深度 Delta 学习：可编辑的 Transformer 残差流 Deep Delta Learning
DDL通过rank-1重写机制让Transformer残差流可被显式替换而非累积
前置知识
残差连接
残差连接是深度神经网络中用于缓解梯度消失和模型退化问题的关键技术，其形式为 $x_{l+1} = x_l + F_l(x_l)$，其中 $x_l$ 是第 $l$ 层的输入，$F_l(x_l)$ 是该层的变换函数。这种设计保留了一条恒等路径 $x_{l+1} = x_l$，使得梯度可以直接流过，同时每个层只需要学习残差 $F_l(x_l)$ 而不是完整变换。在 Transformer 中，残差连接也是所有注意力层和 MLP 层共享的 token 级状态容器。
论文的核心创新正是重新设计残差连接的更新规则，如果不理解传统加法残差的工作原理和局限性，就无法领会 DDL 引入可编辑机制的重要性。
门控机制
门控机制通过可学习的参数控制信息流动，常见形式包括使用 sigmoid 激活的标量门或向量门。在神经网络中，门控可以实现 $y = g \cdot a + (1-g) \cdot b$ 这样的线性插值，其中 $g \in [0,1]$ 是门控值。当 $g=0$ 时保留 $b$，当 $g=1$ 时选择 $a$，中间值则实现平滑过渡。门控在 LSTM、GRU 等架构中广泛应用，也是 Transformer 中多头注意力的重要组成部分。
DDL 的核心创新是使用一个标量门 $\beta_l$ 同步控制擦除和写入操作，这种耦合设计是区分 DDL 与普通门控残差分支的关键所在。
低秩更新
低秩更新是指通过秩受限的矩阵或向量外积来修改参数或状态的计算方式。秩-1 更新可以表示为 $A + uv^\top$，其中 $u$ 和 $v$ 是向量，这种更新形式在计算效率上具有优势，因为只需要存储和计算 $O(d)$ 个参数而非 $O(d^2)$。在神经网络中，低秩适应技术（如 LoRA）利用这种特性在保持大部分参数冻结的情况下实现高效微调。DDL 的更新形式 $X_{l+1} = X_l + \beta_l k_l (v_l^\top - k_l^\top X_l)$ 本质上也是一种秩-1 重写操作。
理解低秩更新有助于领会 DDL 如何通过简单的秩-1 操作实现复杂的擦除-写入效果，以及为什么这种方法在保持计算效率的同时能提供强大的表达能力。
扩展残差状态
扩展残差状态是指将传统的向量残差流 $x_l \in \mathbb{R}^d$ 扩展为矩阵形式 $X_l \in \mathbb{R}^{d \times d_v}$，其中 $d_v > 1$ 是值通道数。这种设计让每个 token 可以存储多个相关的特征表示，而不是单一数值。在 DDL 中，扩展状态通过学习到的压缩操作与标准 Transformer 子层（保持宽度 $d$）交互，将存储容量与计算带宽解耦。这种方法类似于在残差流中增加可编辑的内存空间，而不需要加宽昂贵的注意力计算。
扩展状态是 DDL 在实验中取得更好效果的关键之一，理解它与普通残差流的区别以及压缩-处理-重写协议的工作原理对于掌握论文贡献至关重要。
研究动机
传统 Transformer 模型使用加法残差更新规则 $x_{l+1} = x_l + F_l(x_l)$，这种设计虽然简单稳定且硬件友好，但存在一个根本性的不对称性：累积新特征是直接操作，而替换过时、冗余或冲突的分量必须通过间接方式实现，即产生一个同时取消旧内容和写入新内容的更新向量。在深度网络中，随着层数增加，残差流会不断累积各种特征，当某些特征变得不再需要或产生冲突时，模型必须学习精确的反向更新来抵消它们，这增加了优化难度。作者指出，尽管现有的残差和门控通路设计可以调节跨层信息流，但局部的残差流原语仍然主要是加法的，导致残差状态替换被视为向量加法的隐式结果而非显式操作。
本文的目标是本文的目标是引入一种新的残差更新规则，在保留恒等路径的同时，让每一层都能显式地选择性地重写残差内容。具体而言，作者希望设计一个机制，使得当不需要编辑时层可以退化为恒等映射，而当编辑有用时可以直接替换选定的分量，而不是依赖无约束的加法向量隐式地抵消和重写。作者还希望评估这种机制在语言模型中的效果，特别是在保持注意力计算宽度不变的情况下，通过扩展残差状态来增加可编辑内存容量。
与已有工作不同的是，本文的独特切入角度是将高效序列模型中用于时间维度的 delta-rule 记忆更新机制应用于网络深度维度，将残差流视为可编辑状态而非仅可累积的累加器。这种深度维度的 delta-rule 更新与现有工作的关键区别在于：现有的门控通路设计主要控制有多少信息通过或在不同层之间流动，而 DDL 改变了局部残差操作本身，给每一层提供秩-1 擦除/写入方向，同时保留恒等限制。此外，DDL 使用单个门同步擦除和写入，这与通用门控残差分支不同，后者可以使用独立的擦除和写入门，但会失去这种清晰的读-比较-写解释。
核心方法
Deep Delta Learning 的整体思路是引入一个深度维度的 delta-rule 更新规则，让每一层都能对持久的残差流进行受控的编辑操作。具体来说，DDL 通过学习三个关键量来实现这一点：一个标识编辑位置的向量方向 $k_l$、一个指定要写入内容的目标值 $v_l$，以及一个确定编辑强度的标量门 $\beta_l$。这些量通过一个轻量级分支从当前残差状态生成，然后应用于更新规则 $X_{l+1} = X_l + \beta_l k_l (v_l^\top - k_l^\top X_l)$。从直觉上看，这个操作首先读取当前残差内容沿学习方向 $k_l$ 的值 $k_l^\top X_l$，然后将其与学习到的目标 $v_l^\top$ 比较，最后将门控的修正 $\beta_l (v_l^\top - k_l^\top X_l)$ 写回同一方向。当门关闭时 $(\beta_l \approx 0)$，块退化为恒等映射；当门完全打开时 $(\beta_l = 1)$，选定分量被精确覆盖。
DDL 的核心创新是引入了一个共享门控的秩-1 重写操作，它与通用门控残差分支的本质区别在于使用同一个标量门 $\beta_l$ 同步控制擦除和写入。这种耦合设计将操作转化为 delta-rule 而非通用的门控分支。在 $\beta_l = 0$ 时，更新规则给出 $X_{l+1} = X_l$，因此整个块有恒等限制；在 $\beta_l = 1$ 时，对选定方向的投影满足 $k_l^\top X_{l+1} = v_l^\top$，因此选定分量被目标值精确覆盖。使用独立的擦除和写入门会更加通用，但会允许无擦除的写入或无写入的擦除行为，并会失去这种清晰的读-比较-写解释。另一个关键创新是 DDL 可以将残差存储与骨干计算解耦，通过扩展的残差状态 $X_l \in \mathbb{R}^{B \times T \times d \times d_v}$ 增加持久可编辑内存，而注意力键、查询、值和 MLP 激活保持在原始宽度 $d$。
方法步骤详情
DDL 的完整工作流程分为三个主要步骤：首先，方向分支提议一个未归一化的方向 $e_k(X_l) \in \mathbb{R}^d$，然后归一化为 $k_l = k(X_l) = e_k(X_l) / \|e_k(X_l)\|_2$，其中 $\|k_l\|_2 = 1$，单位范数约束使 $k_l^\top X_l$ 成为当前残差内容的归一化读出，并赋予门在层间一致的尺度。值分支产生 $v_l = v(X_l) \in \mathbb{R}^{d_v}$，被解释为此读出的目标内容，门分支产生标量 $\beta_l = \beta(X_l)$。其次，条件于 $X_l$，定义直接快捷操作算子 $A_l = A(X_l) = I - \beta_l k_l k_l^\top$。DDL 块将此快捷方式应用于当前残差状态，然后沿同一方向写入秩-1 分量：$X_{l+1} = A_l X_l + \beta_l k_l v_l^\top$，这等价于 $X_{l+1} = X_l + \beta_l k_l (v_l^\top - k_l^\top X_l)$。行向量 $v_l^\top - k_l^\top X_l \in \mathbb{R}^{1 \times d_v}$ 是选定坐标中的残差误差：当当前读出已经匹配目标时它消失。最后，对于扩展状态 $(d_v > 1)$，在标准 Transformer 子层之前，学习到的压缩器将扩展状态读入向量表示 $x_l^{in} \in \mathbb{R}^d$，然后以原始计算宽度 $d$ 应用注意力或 MLP 子层，最后使用生成的表示和归一化残差上下文生成未归一化方向 $e_{k_l}$、归一化方向 $k_l$、$v_l$ 和 $\beta_l$，并通过更新规则更新扩展残差状态。
技术新颖性
DDL 的技术新颖性体现在多个方面：首先，它将 delta-rule 记忆更新从序列时间维度应用到网络深度维度，将残差流视为可重写状态而非仅可累加的累加器。其次，DDL 的共享门设计提供了一个清晰的几何解释：学习的门控制沿着选定方向的保留、覆盖和更强编辑机制，快捷方式算子 $A_l = I - \beta_l k_l k_l^\top$ 的特征值为 1（重数 $d-1$）和 $1-\beta_l$（重数 1），对应特征向量 $k$ 和特征空间 $k^\perp$。第三，DDL 的压缩-处理-重写协议将残差存储与骨干计算分离，扩展的持久状态获得额外可编辑内存，而注意力键、查询、值和 MLP 激活保持原始宽度 $d$。最后，DDL 在低精度训练中实现了友好的归一化：通过 RMS 归一化和固定缩放因子 $k_{scale} = 1/\sqrt{d}$ 实现 $\|k_l\|_2 \approx 1$ 约束，这在硬件实现上更加高效稳定。
实验结果
论文在 FineWeb-Edu 数据集上进行了 491.5B token 的受控预训练，评估了 DDL 在 GPT-2 small (124M 参数) 和 GPT-2 medium (353M 参数) 规模下的效果。主要发现包括：在验证损失方面，标量状态 DDL $(d_v = 1)$ 在小规模上从基线的 2.8543 改善到 2.8482（提升 0.0061），在中等规模上从 2.6053 改善到 2.6039（提升 0.0014）；扩展状态变体 $(d_v = 4)$ 提供了更大的改进，其中 DDL-CC 在小规模上达到 2.8329（提升 0.0214），在中等规模上达到 2.5758（提升 0.0295）。在下游任务方面，小规模上扩展状态变体的平均 1-shot 准确率从基线的 48.56 提升到 49.47（DDL-TC，提升 0.91 分），中等规模上从 53.96 提升到 55.14（DDL-CC，提升 1.18 分）。具体到各任务，中等规模 DDL-CC 在 SciQ 上达到 90.50（基线 87.30，提升 3.20 分），在 WinoGrande 上达到 55.72（基线 52.57，提升 3.15 分），在 ARC-E 上达到 65.57（基线 67.05，略低 1.48 分）。成本方面，扩展状态增加了内存和吞吐量开销：小规模 DDL-TC 的训练吞吐量为 783.5K token/s（基线 1509.6K，降低 48%），峰值内存为 3.38GB（基线 2.94GB，增加 15%）；DDL-CC 的训练吞吐量为 1158.0K token/s（基线 1509.6K，降低 23%），峰值内存为 3.08GB（基线 2.94GB，增加 5%）。中等规模 DDL-CC 的训练吞吐量为 422.3K token/s（基线 537.1K，降低 21%），峰值内存为 7.20GB（基线 7.06GB，增加 2%）。这些结果表明 DDL 在不扩大注意力或 MLP 计算的情况下改善了语言建模质量，而扩展残差状态提供了额外的有用容量，但也引入了显式的内存和带宽开销。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语言建模（验证损失） | Validation Loss | 2.5758 (DDL-CC, Medium) | 2.6053 (Baseline, Medium) | 0.0295 绝对改善 |
| 平均 1-shot 下游任务 | Average Accuracy | 55.14 (DDL-CC, Medium) | 53.96 (Baseline, Medium) | 1.18 百分点 |
| SciQ 1-shot | Accuracy | 90.50 (DDL-CC, Medium) | 87.30 (Baseline, Medium) | 3.20 百分点 |
| 训练吞吐量 | Tokens/second (K) | 422.3 (DDL-CC, Medium) | 537.1 (Baseline, Medium) | -21% 开销 |
| 峰值内存 | Peak Memory | 7.20GB (DDL-CC, Medium) | 7.06GB (Baseline, Medium) | +2% 开销 |
局限与改进
论文中作者承认的局限性包括：实验仅在 GPT-2 small 和 medium 规模上进行，尚未验证 DDL 在更大规模模型（如 GPT-3 风格的数十亿参数模型）上的效果；0-shot 平均准确率取决于实现，有些变体不如基线，表明 DDL 的优势可能主要体现在 1-shot 设置中；扩展状态引入了显式的内存和吞吐量开销，特别是 DDL-TC 变体的吞吐量降低了近一半；自回归生成中，令牌轴压缩器在 DDL-TC 中需要最近扩展残差状态的短缓存，而通道轴压缩器在 DDL-CC 中避免了这种令牌历史缓存，但代价是不同的计算模式。此外，从独立观察的角度来看，论文中的实验都是单次运行，没有报告多次运行的标准差或置信区间，这使得结果的统计显著性不够明确；论文使用了 FineWeb-Edu 这一特定数据集，没有在其他数据集上进行验证，限制了结论的泛化性；扩展状态的 $d_v$ 值只测试了 4，没有探索更大的值，不清楚容量与收益之间的饱和点；论文专注于仅解码器的语言模型，没有探讨 DDL 在编码器-解码器架构或视觉 Transformer 中的适用性。
独立分析的弱点
DDL 的主要弱点在于计算成本与性能增益之间的权衡。扩展状态变体 $(d_v = 4)$ 虽然提供了更好的验证损失和下游准确率，但引入了显著的吞吐量和内存开销。具体来说，DDL-TC 在小规模模型上将训练吞吐量降低了 48%，这在实际应用中可能不可接受。一个可能的改进方向是探索更高效的压缩算法，例如使用可学习的注意力机制而非固定卷积，或者自适应地选择何时使用扩展状态而非标量状态。另一个弱点是 DDL 的增益相对较小，验证损失改善约 0.02-0.03，这在某些应用场景中可能不足以证明额外复杂性的合理性。可以考虑将 DDL 与其他架构改进（如更好的位置编码、更高效的注意力机制）结合，以获得更大的累积收益。此外，DDL 在 0-shot 设置下的表现不稳定，有些变体不如基线，这表明 DDL 可能更适合需要上下文学习的场景，改进方向可以是专门优化 0-shot 性能，例如通过预训练目标的设计或更好的初始化策略。
未来方向
作者提出的未来工作方向包括将 DDL 扩展到更大规模的模型以验证其可扩展性，以及探索不同的压缩轴和机制以找到更好的质量-成本权衡。基于论文成果，其他有价值的未来研究方向包括：探索不同的 $d_v$ 值（如 2、8、16）以找到容量与收益之间的平衡点；将 DDL 应用于编码器-解码器架构（如 T5、BART）和视觉 Transformer，验证其跨模态的有效性；研究 DDL 在持续学习场景中的应用，其中显式的擦除-写入机制可能特别有用；开发自适应门控策略，让模型根据输入动态决定使用加法更新还是 DDL 更新；探索 DDL 与参数高效微调方法（如 LoRA）的结合，利用其低秩重写特性；研究 DDL 对模型可解释性的影响，因为可编辑的残差流可能更容易分析和调试；在不同的预训练数据集和更长的训练时间上验证 DDL 的效果，以排除数据集特定的偏差。
复现评估
论文在复现性方面表现良好。作者提供了项目页面 https://github.com/yifanzhang-pro/deep-delta-learning，代码基于 nanoGPT 代码库，这使得其他研究者可以相对容易地复现结果。实验使用了 FineWeb-Edu 数据集，这是一个公开可用的数据集。硬件配置为 4 张 NVIDIA H200 GPU，这是一个相对高端但合理的配置。训练配置详细公开，包括学习率 $1e^{-3}$、余弦学习率调度、2000 步预热、AdamW 优化器（权重衰减 0.1，$\beta_1 = 0.9$，$\beta_2 = 0.95$）、梯度裁剪 1.0、无偏置项、dropout 0.0。作者还提到了使用优化的 Triton 内核来实现 CC 和 EC 启用的实现，这表明他们关注了实现效率。然而，论文没有提供用于复现的具体随机种子或详细的超参数搜索过程，所有结果都是单次运行，没有报告方差。此外，论文没有公开训练好的模型检查点，这可能限制了其他研究者进行更深入的分析或直接在下游任务上评估。总体而言，复现难度中等偏易，主要挑战在于计算资源需求和训练时间，但代码和数据都是公开的，实验设置也描述得相当详细。
论文图表
