GDN State Matrix有效维度分析

Gated DeltaNet 的状态(State)到底用了多少?把剩下的部分丢掉,又会发生什么? Qwen3.5-0.8B 的每个线性注意力 head 都维护一个 128×128 的矩阵作为 memory。跑...

2026.09.30 · 4095 字 · YuAng Chen