门控 DeltaNet-2：在线性注意力中解耦擦除与写入

用通道级擦除门和写入门解耦线性注意力的记忆编辑

前置知识

线性注意力与循环状态

线性注意力把 softmax 注意力的无界 KV 缓存替换为固定大小的循环状态 $S_t$，更新 $S_t = S_{t-1} + k_t v_t^\top$，读出 $o_t = S_t^\top q_t$。序列混合复杂度降为线性、解码内存为常数，但有限状态要承载长上下文全部关联，精确检索困难。

本文所有改进都围绕如何更精细地编辑这份固定大小的压缩记忆，理解循环状态是读懂擦除/写入解耦的前提。

Delta 规则 (Delta rule)

DeltaNet 用 delta 规则替代简单累加：写前先读出当前 key 关联的值并减去再写残差，更新 $S_t=(I-\beta_t k_t k_t^\top)S_{t-1}+\beta_t k_t v_t^\top$。标量 $\beta_t$ 控制覆盖强度，等价于局部回归损失的一次在线梯度步。

本文的核心就是把 delta 规则里绑定擦除与写入的标量 $\beta_t$ 拆开，不理解 delta 规则就无法理解解耦的对象。

通道级衰减与 KDA

KDA 把 Gated DeltaNet 的标量衰减推广为 key 维向量 $\alpha_t \in (0,1]^{d_k}$，记 $D_t = \mathrm{Diag}(\alpha_t)$，让每个 key 通道按各自速率遗忘，但仍用标量 delta 门 $\beta_t$ 控制擦除与写入。

Gated DeltaNet-2 直接建立在 KDA 之上并把它作为特例还原，KDA 的分块算法也被本文复用。

分块并行训练与 WY 表示

训练时把序列切成大小 $C$ 的块，块内交互用稠密矩阵乘、块间用循环状态。WY 表示把 delta 递归写成三角矩阵 $A=(I+T)^{-1}$ 形式，配合累积衰减吸收，保持线性复杂度并映射到 tensor core。

本文证明解耦后递归仍与 KDA 同形、可复用 WY 分块内核，这是高效训练成立的关键。

研究动机

线性注意力用固定大小的循环状态 $S_t$ 承载长上下文，瓶颈在于如何高效编辑这份压缩记忆而不扰乱已有关联。Mamba-2 用标量衰减 $\alpha_t$ 做全局遗忘，DeltaNet 用 delta 规则做定向覆盖，Gated DeltaNet 把二者结合为 $S_t = \alpha_t(I-\beta_t k_t k_t^\top)S_{t-1} + \beta_t k_t v_t^\top$，KDA 进一步把衰减做成通道级 $\alpha_t \in (0,1]^{d_k}$。然而无论哪一种，控制“擦除多少旧内容”和“写入多少新值”的都只是同一个标量 $\beta_t$。这其实是一种建模限制：擦除是 key 侧操作（决定从当前读方向移除哪些坐标），写入是 value 侧操作（决定提交哪些 value 坐标），二者作用于状态矩阵的不同轴，本不该被一个标量绑定。在多键检索、固定状态区分竞争关联等高干扰场景下，这种绑定直接限制了检索能力。

本文的目标是本文目标是提出 Gated DeltaNet-2，用通道级擦除门 $b_t \in [0,1]^{d_k}$ 和通道级写入门 $w_t \in [0,1]^{d_v}$ 解耦 delta 规则中绑定在一起的两个决策：前者加权用于读取旧内容的 key 坐标（key 侧选择性擦除），后者加权被写入的 value 坐标（value 侧选择性提交）。模型既能通过衰减清除宽泛上下文，又能通过擦除移除选定陈旧关联，还能仅写入应当持久化的 value 通道。同时要保留 KDA 的高效分块训练路径，并在匹配状态大小和参数量的设定下，证明这种解耦在长上下文检索与语言建模上带来的增益。

与已有工作不同的是，独特切入角度在于：作者没有新增记忆容量或改变衰减形式，而是直击 delta 规则里被忽视的“标量绑定”约束。关键观察是擦除与写入作用于状态矩阵的不同轴——擦除因子在 key 侧、写入在 value 侧——用一个标量 $\beta_t$ 同时控制两者是对更新规则的限制，而非 delta 规则的内在要求。Gated DeltaNet-2 让擦除矩阵的右因子变成 $b_t \odot k_t$（通道选择性读），左因子保持 $k_t$（保留 delta 规则的写方向），并把写入项写成 $k_t(w_t \odot v_t)^\top$（通道选择性写）。当 $b_t$、$w_t$ 都塌缩为同一标量时精确还原 KDA，再让衰减塌缩则还原 Gated DeltaNet，即把已知标量门控更新作为被绑定的子空间保留下来。

核心方法

整体思路先给直觉再走技术路线。直觉上，Gated DeltaNet-2 把 delta 规则的“减去当前读、写入新值”拆成两步可独立调控的操作：用 $e_t = b_t \odot k_t$ 决定沿哪个 key 方向读旧内容并擦除，用 $z_t = w_t \odot v_t$ 决定写哪些 value 通道。技术路线分四块：(1) 建模——提出 Gated Delta Rule-2 更新 $S_t = (I - k_t(b_t \odot k_t)^\top)D_t S_{t-1} + k_t(w_t \odot v_t)^\top$；(2) 快速权重视角——证明它是局部在线优化问题的闭式解；(3) 分块训练——把通道级衰减吸收进 rank-one 擦除因子的左右两侧，归一化状态后递归变成纯非对称 delta 形式，WY 辅助量 $Y=A\bar{E}$、$U=AZ$ 与 KDA 同形；(4) 门控感知反向——擦除门和写入门是不同的对角算子，必须在累积点处出现而不能事后标量缩放。混合模型在循环 mixer 后再插一层滑动窗口注意力处理局部证据。

核心创新是把 delta 规则里绑定在一起的标量 $\beta_t$ 拆成两个独立的通道级门。与已有方法的本质区别：KDA 把衰减从标量推广到通道级，但残差项仍是标量 $\beta_t(v_t - \bar{S}_t^\top k_t)$；Gated DeltaNet-2 直接改变残差本身，变成 $z_t - \bar{S}_t^\top e_t = w_t \odot v_t - (D_t S_{t-1})^\top(b_t \odot k_t)$，让擦除坐标和写入坐标沿不同通道模式工作。擦除矩阵左因子仍是 $k_t$ 以保留 delta 规则的写方向，右因子变为 $b_t \odot k_t$ 使读方向通道可选。两个门用 token 表示的独立投影经 sigmoid 产生 $b_t=\sigma(W_b x_t)$、$w_t=\sigma(W_w x_t)$，对数衰减沿用 $g_t = -\exp(a) \odot \mathrm{softplus}(W_f x_t + \delta)$，并支持把擦除门范围扩展到 $[0,2]^{d_k}$ 以容纳负特征值变体。

方法步骤详情

完整步骤：(1) 对 $x_t$ 做线性投影+短卷积+SiLU 产生 $q_t,k_t,v_t$，对 $q_t,k_t$ 做 L2 归一化；(2) 三个独立分支产生衰减 $\alpha_t$（fp32 对数衰减避免精度损失）、擦除门 $b_t=\sigma(W_b x_t)$、写入门 $w_t=\sigma(W_w x_t)$；(3) 块内每步先衰减 $\bar{S}_t=D_t S_{t-1}$，沿 $e_t=b_t \odot k_t$ 读出 $r_t$，再写 $S_t=\bar{S}_t+k_t(z_t-r_t)^\top$，$z_t=w_t \odot v_t$；(4) 分块训练 $C=64$，构建 $A=(I+T)^{-1}$ 及辅助 $Y=A\bar{E}$、$U=AZ$，块末状态与输出沿用与 KDA 同形的 WY 公式；(5) 反向用门控感知 VJP 累积 $dA{+}{=}dU Z^\top$、$dA{+}{=}dY\bar{E}^\top$，门必须烘焙进点积；(6) 输出经 RMSNorm+SiLU 门控投影回模型维度，混合模型再插一层 SWA。

技术新颖性

技术新颖性四点：(1) 首次在 delta 规则里解耦擦除与写入，用 $b_t$（key 侧）和 $w_t$（value 侧）两个通道级门替代绑定标量 $\beta_t$，并证明 KDA、Gated DeltaNet 都是其塌缩特例；(2) 推导快速权重视角，给出 Gated Delta Rule-2 是局部在线优化 $\mathcal{L}_t(S)=\|S-\bar{S}_t\|_F^2 - 2\langle S^\top k_t,\, z_t-\bar{S}_t^\top e_t\rangle$ 的闭式解，并在 Table 1 统一对比六种更新；(3) 把通道级衰减吸收进 rank-one 擦除因子两侧，归一化后递归与 KDA 同形，复用 WY 分块算法和 Triton 内核结构；(4) 门控感知反向——标量后缩放无效（$w_s$ 是逐行不同的对角算子），门必须烘焙进点积。

**Figure 1**: Visualization of the hybrid architecture and block design of Gated DeltaNet-2

实验结果

1.3B 参数、100B FineWeb-Edu tokens、匹配状态（262144 floats）下对比 Transformer/Mamba-2/GDN/KDA/Mamba-3。语言建模与常识推理（Table 2）：循环版 GDN-2 平均 53.11、混合版 53.97 均第一，胜过 Mamba-3 MIMO 的 52.39/52.72；WikiText ppl 循环 15.90、LAMBADA ppl 混合 10.43 均最佳，Transformer 循环平均仅 50.86。合成检索 RULER（Table 3）：GDN-2 在干扰最重处领先，循环 MK-NIAH-1 1K/2K/4K 达 72.6/51.4/37.8，远超 GDN/KDA/Mamba-3。真实检索（Table 4）循环/混合平均 29.88/42.28 均第一。消融（Table 5）：仅 b 通道 Wiki ppl 16.12，仅 w 通道 16.55，全量 15.90，擦除门贡献最大。吞吐（Fig 2）从 38.0 仅降到 36.1 Kt/s 保持近平台。

**Table 1**: Fast-weight update view of DeltaNet, Mamba-2, Gated DeltaNet, KDA, Mamba-3, and Gated DeltaNet-2

**Table 2**: Performance comparison on language modeling and zero-shot common-sense reasoning

**Table 3**: Accuracy on Single/Multi-Key Needle-In-A-Haystack (RULER)

**Table 4**: Accuracy on real-world retrieval tasks with input length truncated to 2K tokens

**Table 5**: Gate structure and erase range ablations in the recurrent-only setting

**Figure 2**: Training throughput on a H100 GPU

查看结构化数据

任务	指标	本文	基线	提升
语言建模与常识推理平均（循环模型）	零样本平均准确率 / perplexity	GDN-2 循环平均 53.11，WikiText ppl 15.90	Mamba-3 MIMO 52.39，KDA 52.28，Transformer 50.86	平均准确率比次优 Mamba-3 MIMO 高 0.72 个百分点，WikiText ppl 最低
语言建模与常识推理平均（混合模型）	零样本平均准确率 / perplexity	GDN-2 混合平均 53.97，LAMBADA ppl 10.43	Mamba-3 MIMO 52.72，KDA 52.68	平均准确率比次优高 1.25 个百分点，LAMBADA ppl 最低
RULER MK-NIAH-1 多键检索（循环，4K 上下文）	检索准确率 (%)	GDN-2 4K 达 37.8（1K/2K 为 72.6/51.4）	GDN 27.8，KDA 28.0，Mamba-3 MIMO 18.0	4K 上比次优 KDA 高 9.8 个百分点，干扰控制优势最明显
真实世界检索平均（混合模型）	抽取/问答召回平均 (%)	GDN-2 混合平均 42.28（SWDE 41.96，TriviaQA 62.38）	KDA 40.14，Mamba-3 MIMO 40.11，Transformer 38.07	比次优 KDA 高 2.14 个百分点，循环版 29.88 也第一
H100 单卡训练吞吐（混合 1.3B）	千 tokens/秒 (Kt/s)	GDN-2 从 38.0 降到 36.1（2K×8 到 16K×1）	Transformer 随序列长度急剧下降；相对 KDA 仅有小常数差距	保持循环模型近平台扩展，为更精细记忆控制只付常数开销

局限与改进

作者承认：真实检索在 NQ 和 DROP 上仍有差距，因为这些格式还需局部证据聚合，混合模型靠 SWA 补足；擦除门范围从 $[0,1]^{d_k}$ 扩到 $[0,2]^{d_k}$ 在 1.3B 规模无一致增益；GDN-2 相对 KDA 有小的常数吞吐开销。我的额外观察：(1) 全部实验只在 1.3B/100B token 单一规模，未验证规模定律——通道级门在大模型上是否仍是净增益未知；(2) 训练长度仅 4K，长上下文优势主要靠 RULER 合成任务和 2K 截断的真实任务推断，缺乏 32K+ 真实长文档评测；(3) 标量后缩放无效意味着必须为 b 和 w 单独写门控感知内核，工程门槛高、可能与更低精度训练冲突；(4) 与 Mamba-3 MIMO 差距很小（混合 53.97 vs 52.72），统计显著性信息缺失；(5) 消融只平均化单个门验证通道自由度，未与 KDA 在完全相同 kernel 下对比 FLOPs。

独立分析的弱点

(1) 解耦带来参数与计算开销——两个通道级门各需独立投影 $d_{model}\to H d_k$ 和 $\to H_v d_v$，门控感知反向内核更复杂，在 Hopper 上还须把 warp 搜索限制在 2/4 warp 以规避 Triton WGMMA 布局断言，部署门槛提高，改进方向是门共享投影或低秩门。(2) 擦除门 $[0,2]$ 扩展在本规模无收益，可能因 L2 归一化下负特征值收益需更大状态/更长上下文才显现，建议在更长训练长度和更大规模上重测。(3) 标量后缩放无效使低精度（bf16/fp8）训练下门必须以 fp32 烘焙进点积，可能与未来 fp8 kernel 不兼容，需要专门量化策略。(4) 与 Mamba-3 MIMO 差距小且未报方差，难以判断解耦增益是否统计显著，建议多 seed 训练。(5) 仅在 FineWeb-Edu 上训练，代码、多语言等分布外能力未验证，可能影响通用性结论。

未来方向

作者方向：把门控感知内核的调度细节（Hopper/Ampere dispatch、fp8 支持）作为后续工程工作；在更长上下文和更大规模上验证负特征值变体。基于成果可延伸：(1) 把解耦思路推广到 Mamba-3 的 MIMO 写入——当前 Mamba-3 只写相关性不做减读，可结合通道级门增强其残差编辑；(2) 探索三层解耦，把衰减 $\alpha_t$、擦除 $b_t$、写入 $w_t$ 在 value 轴也做通道级（目前衰减和擦除都在 key 轴）；(3) 把 Gated Delta Rule-2 的快速权重在线优化视角扩展为多步增量更新或二阶更新，逼近更深的记忆编辑；(4) 在真实长文档（如 128K）上系统评测，验证 RULER 合成优势能否迁移到长文档 QA；(5) 与分组查询注意力等现代 Transformer 技巧结合，做更大混合模型的 scaling law 研究。

复现评估

作者提供代码仓库 https://github.com/NVlabs/GatedDeltaNet-2。复现要素较完整：训练用 FineWeb-Edu 公开数据，100B tokens、1.3B 参数；超参全给出——AdamW、峰值 lr $4\times10^{-4}$、weight decay 0.1、grad clip 1.0、cosine 衰减、1B token warmup、global batch 0.5M tokens、训练长度 4K、混合 SWA 窗口 2K；状态大小匹配 $H d_k d_v = 16\cdot128\cdot128 = 262144$ 与 Mamba 的 $(2d_{model})d_{state}=4096\cdot64$ 对齐；chunk size $C=64$；评测用 RULER 及 SQuAD/TriviaQA/DROP/NQ/SWDE/FDA。难度在工程：需自研门控感知 Triton 内核，内核级细节在附录。算力门槛高——1.3B×100B token 约需多卡 H100 数天，fp32 衰减与 WY solve 精度标志是复现关键。

门控 DeltaNet-2：在线性注意力中解耦擦除与写入 Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention