https://yuang-chen.github.io/tags/linear-attention/ Recent content in Linear Attention on 陈宇昂 | YuAng Chen Hugo -- gohugo.io zh-cn Wed, 30 Sep 2026 16:00:00 +0800 https://yuang-chen.github.io/posts/2026-09-30-state-rank/ Wed, 30 Sep 2026 16:00:00 +0800 https://yuang-chen.github.io/posts/2026-09-30-state-rank/ Gated DeltaNet 的状态(State)到底用了多少？把剩下的部分丢掉，又会发生什么？ Qwen3.5-0.8B 的每个线性注意力 head 都维护一个 128×128 的矩阵作为 memory。跑