← 返回 2026-05-20

Delta 注意力残差：通过路由增量表示解决深层 Transformer 的跨层连接坍塌问题 Delta Attention Residuals

Cheng Luo, Zefan Cai, Junjie Hu 📅 2026-05-13 👍 8 2026-07-13 08:36
Transformer架构 残差连接 深度学习 跨层路由
arXiv HuggingFace PDF

用增量表示替代累积状态，实现跨层选择性连接，困惑度降低1.7-8.2%

前置知识

残差连接

残差连接是深度神经网络中的关键组件，通过将输入直接加到输出上（h_{l+1} = h_l + f(h_l)）来缓解梯度消失问题，为梯度提供高速公路。它允许网络学习恒等映射，使得深层网络可以更有效地训练。在 Transformer 中，每个注意力层和 MLP 层都使用残差连接，让信息能够跨层流动。

本文提出的 Delta Attention Residuals 是对标准残差连接的改进，理解残差连接的基本原理和作用机制是理解本文创新点的基础。

Softmax 注意力

Softmax 注意力是一种加权聚合机制，通过计算查询向量与一组键向量的相似度，得到注意力权重 α_i = exp(w^T k_i) / Σ_j exp(w^T k_j)，然后对值向量进行加权求和。权重总和为 1，且高权重会集中在最相关的输入上。当输入相似度很高时，softmax 输出会接近均匀分布，失去选择性。

本文的核心问题是 Attention Residuals 中的 softmax 注意力在深层中失效，理解 softmax 的特性和失效条件对理解路由坍塌问题至关重要。

RMSNorm

RMSNorm 是一种归一化技术，通过计算输入向量元素的均方根进行归一化：RMSNorm(x) = x / sqrt(mean(x^2) + ε)。与 LayerNorm 相比，RMSNorm 去掉了中心化操作（减去均值），计算更简单且效果相当。它被广泛应用于现代大语言模型中，用于稳定训练。

论文中的路由机制使用 RMSNorm 对源表示进行归一化后再计算注意力权重，这是实现稳定跨层路由的关键技术细节。

研究动机

Attention Residuals [Kimi, 2025] 试图用学习的 softmax 注意力替代标准的加性残差连接，实现对前层输出的选择性聚合。然而，该方法存在一个根本性问题：它对累积的隐藏状态 h_i = h_0 + Σ_{j=1}^{i} v_j 进行注意力计算，相邻状态之间的相似度随深度增加而急剧上升。在 Qwen3-0.6B 模型（L=28 层）的实验中，深层路由的最大 softmax 权重下降到约 0.2，意味着注意力分布接近均匀，模型失去了选择信息源的能力。这种现象被称为路由坍塌，使得 Attention Residuals 在深层模型中实际上退化成对所有源的简单平均。

本文的目标是本文的目标是解决 Attention Residuals 的路由坍塌问题，提出一种能够在深度增加时仍保持选择性路由能力的跨层连接机制。具体来说，作者希望找到更好的层间表示作为路由源，使得相邻源之间保持足够的差异性，从而让 softmax 注意力能够保持高对比度的权重分布。同时，该方法需要能够与预训练模型兼容，支持通过微调将现有检查点转换为新的架构，而不会破坏已学到的知识。

与已有工作不同的是，本文的独特切入角度是重新思考应该路由什么。大多数相关工作关注如何改进路由机制本身，比如使用更复杂的注意力函数或学习策略，但本文发现问题的根源在于路由源的选择。作者观察到，累积状态 h_i 的大部分内容是之前所有层的重复，而真正的信息增量来自于每一层的输出 v_i = h_{i+1} - h_i。这种 delta 表示天然具有差异性，因为不同子层（注意力和 MLP）输出位于不同子空间，不同深度的输出捕获不同抽象级别的信息。通过路由这些增量而非累积状态，可以从根本上解决源冗余问题。

核心方法

Delta Attention Residuals 的核心思想是用每一层的增量变化而非累积状态作为跨层路由的源。直觉上，想知道从哪里获取信息时，应该关注每一层改变了什么而不是模型目前处于什么状态。具体来说，对于第 i 个子层的输出 v_i = h_{i+1} - h_i，我们将其存储为 delta 源，然后在后续层中使用 softmax 注意力对这些 delta 进行加权聚合，再将结果加到当前隐藏状态上。这种方法可以在保持路由选择性的同时，通过加性公式保留原始残差流，避免了替换式路由带来的信息丢失问题。

核心创新点有两个：第一是使用 delta 表示 v_i = h_{i+1} - h_i 作为路由源，而非累积状态 h_i。delta 表示捕获的是每个子层的独特贡献，相邻 delta 之间结构上天然多样化，因为注意力和 MLP 输出占据不同子空间，不同深度捕获不同抽象级别。第二是采用加性路由公式 h_hat_l = h_tilde_l + Σ_i α_{i→l} · v_i，而非 Attention Residuals 的替换式路由 h_hat_l = Σ_i α_{i→l} · s_i。加性路由保留了原始残差流 h_tilde_l，只需学习额外的增量信息，这不仅避免了信息丢失，还实现了零初始化时的安全映射，使得预训练模型可以无缝微调。

方法步骤详情

方法分为两个粒度：Delta AttnRes 在每个子层级别路由，每个注意力输出和 MLP 输出都是独立的源（L 层有 2L 个源）；Delta Block 在块级别路由，将多个子层的 delta 聚合成一个块级增量 Δ_b = h_{b+1} - h_b（B 个块有 B+1 个源）。前向传播时，首先计算当前子层的输出，然后将其作为 delta 存入列表，接着对所有历史 delta 计算 softmax 注意力权重 α_{i→l} = softmax(w_l^T RMSNorm(v_i))，最后将加权后的 delta 加到当前隐藏状态上：h = depth_route(deltas, hidden_states, proj, norm)。depth_route 函数首先将所有 delta 堆叠成张量，对每个 delta 应用 RMSNorm 归一化，然后使用可学习的查询向量计算注意力权重，最后将加权后的 delta 加到残差流上返回。

技术新颖性

技术新颖性体现在三个方面：首先，提出了 delta 表示作为跨层路由源的新范式，挑战了使用累积状态的常规做法，从理论上证明了源冗余导致路由坍塌的机制。其次，加性路由公式的设计实现了三个关键优势：残差流保留、无信息丢失、安全初始化，这是对现有替换式路由的本质改进。最后，方法在保持优异性能的同时，通过块级聚合实现了实用性，Delta Block 在 7.57B 参数模型上仅增加 0.008% 的参数（589.8K）和 35% 的计算开销，而困惑度降低 8.2%。这种性能与开销的平衡使得方法具有实际部署价值。

Architecture comparison. (a) Standard Residuals: uniform additive accumulation with fixed unit coefficients. (b) Full Attention Residuals: learned softmax attention (weights w, aggregation a) over cumulative hidden states, but source redundancy degrades routing to max weight ~0.2 in deep layers. (c) Proposed Delta Attention Residuals: attends over per-sublayer delta outputs, maintaining sharp routing (max weight ~0.6) via additive routing. Compatible with MLP layers.
Figure 2: Architecture comparison. (a) Standard Residuals: uniform additive accumulation with fixed unit coefficients. (b) Full Attention Residuals: learned softmax attention (weights w, aggregation a) over cumulative hidden states, but source redundancy degrades routing to max weight ~0.2 in deep layers. (c) Proposed Delta Attention Residuals: attends over per-sublayer delta outputs, maintaining sharp routing (max weight ~0.6) via additive routing. Compatible with MLP layers.
Delta Attention Residuals pseudocode. depth_route computes additive softmax routing over delta sources. Delta Block stores the embedding on first call and appends block deltas (change since last source); Delta AttnRes appends all sublayer outputs directly.
Figure 3: Delta Attention Residuals pseudocode. depth_route computes additive softmax routing over delta sources. Delta Block stores the embedding on first call and appends block deltas (change since last source); Delta AttnRes appends all sublayer outputs directly.

实验结果

实验在 FineWeb-Edu 数据集上使用 Qwen3 架构进行了全面验证，覆盖从 220M 到 7.6B 参数的五个规模。Delta 方法在所有规模上均取得最佳性能，验证困惑度从 220M 的 36.83 到 7.6B 的 16.00，相比基线提升 1.7-8.2%。关键发现是路由质量的根本性改善：在 Qwen3-0.6B 模型中，Delta Block 的最大路由权重保持约 0.6-1.0，而 Attention Residuals 退化到约 0.2，平均最大权重提升 1.8 倍（0.62 vs 0.35）。更值得注意的是，随着规模扩大，Attention Residuals 出现性能退化：在 1044M 规模上，AttnRes 的困惑度为 31.76，比基线 29.70 差 6.9%，Full AttnRes 更是差 12.3%。而 Delta Block 保持在 29.19，仍优于基线。微调实验显示，Delta Block 在 8 个下游任务上平均准确率 55.6%，超过基线 55.0% 和 AttnRes 54.1%，特别是在 ARC-Easy（66.5 vs 61.5）和 ARC-Challenge（37.3 vs 36.7）上优势明显。

Results across three model scales (10K steps, FineWeb-Edu). All methods share identical architecture, data, and hyperparameters per scale; only the depth-mixing mechanism differs. Best per scale in bold. Tok/s measured on 8xH100 (BF16, torch.compile); Mem is peak per-device GPU memory during training (batch size 4 per GPU, seq len 1024).
Table 1: Results across three model scales (10K steps, FineWeb-Edu). All methods share identical architecture, data, and hyperparameters per scale; only the depth-mixing mechanism differs. Best per scale in bold. Tok/s measured on 8xH100 (BF16, torch.compile); Mem is peak per-device GPU memory during training (batch size 4 per GPU, seq len 1024).
From-scratch training at Qwen3-0.6B scale (L=28, N=28, 10K steps, lr 6x10^-4).
Table 2: From-scratch training at Qwen3-0.6B scale (L=28, N=28, 10K steps, lr 6x10^-4).
Scaling to 8B (10K steps, FineWeb-Edu, seq len 2048, batch 64, 8xH100 FSDP). Delta Block achieves the best PPL while AttnRes degrades below baseline, consistent with the 1044M trend. Tok/s and Mem measured on 8xH100 (BF16, torch.compile, gradient checkpointing). Best in bold.
Table 3: Scaling to 8B (10K steps, FineWeb-Edu, seq len 2048, batch 64, 8xH100 FSDP). Delta Block achieves the best PPL while AttnRes degrades below baseline, consistent with the 1044M trend. Tok/s and Mem measured on 8xH100 (BF16, torch.compile, gradient checkpointing). Best in bold.
Delta Block block size ablation (10K steps). Tok/s on 8xH100.
Table 4: Delta Block block size ablation (10K steps). Tok/s on 8xH100.
Fine-tuning Qwen3-0.6B on FineWeb-Edu. Downstream accuracy (0-shot) on 8 benchmarks. Delta Block outperforms baseline (55.6% vs. 55.0%), while AttnRes lags behind (54.1%).
Table 5: Fine-tuning Qwen3-0.6B on FineWeb-Edu. Downstream accuracy (0-shot) on 8 benchmarks. Delta Block outperforms baseline (55.6% vs. 55.0%), while AttnRes lags behind (54.1%).
Routing analysis at Qwen3-0.6B scale (L=28, N=28). (a) Delta Block maintains sharp routing (max weight ~0.6–1.0) while AttnRes degrades to ~0.2 in deep layers. (b) Delta Block achieves 1.8x higher average max weight (0.62 vs. 0.35). (c) Training loss: Delta Block (green) consistently outperforms AttnRes (red).
Figure 4: Routing analysis at Qwen3-0.6B scale (L=28, N=28). (a) Delta Block maintains sharp routing (max weight ~0.6–1.0) while AttnRes degrades to ~0.2 in deep layers. (b) Delta Block achieves 1.8x higher average max weight (0.62 vs. 0.35). (c) Training loss: Delta Block (green) consistently outperforms AttnRes (red).
Routing analysis (Qwen3-0.6B fine-tuned on FineWeb-Edu). (a) Per-layer routing sharpness: Delta Block maintains high max attention weight (~0.87) throughout depth, while AttnRes degrades from 0.7 to 0.3. (b) Average routing quality: Delta Block achieves 1.8x higher max weight (0.87 vs. 0.49). (c) Validation loss: AttnRes (blue) starts higher due to initialization disruption and converges slower; Delta Block (green) outperforms baseline.
Figure 5: Routing analysis (Qwen3-0.6B fine-tuned on FineWeb-Edu). (a) Per-layer routing sharpness: Delta Block maintains high max attention weight (~0.87) throughout depth, while AttnRes degrades from 0.7 to 0.3. (b) Average routing quality: Delta Block achieves 1.8x higher max weight (0.87 vs. 0.49). (c) Validation loss: AttnRes (blue) starts higher due to initialization disruption and converges slower; Delta Block (green) outperforms baseline.
Learned routing weights (Qwen3-0.6B, from scratch). Left: AttnRes [Kimi, 2025] with cumulative states and replacement routing—attention becomes diffuse in deep layers due to source redundancy. Right: Delta Block (ours) with delta sources and additive routing—sharp cross-layer shortcuts, with deep layers selectively concentrating on specific early outputs.
Figure 6: Learned routing weights (Qwen3-0.6B, from scratch). Left: AttnRes [Kimi, 2025] with cumulative states and replacement routing—attention becomes diffuse in deep layers due to source redundancy. Right: Delta Block (ours) with delta sources and additive routing—sharp cross-layer shortcuts, with deep layers selectively concentrating on specific early outputs.
查看结构化数据
任务指标本文基线提升
From-scratch training (220M) Validation Perplexity 36.83 (Delta AttnRes) 38.71 (Baseline) -4.9%
From-scratch training (533M) Validation Perplexity 31.05 (Delta AttnRes) 32.00 (Baseline) -3.0%
From-scratch training (1044M) Validation Perplexity 29.13 (Delta AttnRes) 29.70 (Baseline) -1.9%
From-scratch training (Qwen3-0.6B) Validation Perplexity 31.45 (Delta Block) 32.22 (Baseline) -2.4%
From-scratch training (7.57B) Validation Perplexity 16.00 (Delta Block) 17.43 (Baseline) -8.2%
Fine-tuning downstream tasks Average Accuracy (8 tasks) 55.6% (Delta Block) 55.0% (Baseline) +0.6%
Fine-tuning ARC-Easy Accuracy 66.5% (Delta Block) 61.5% (Baseline) +5.0%
Routing quality (Qwen3-0.6B) Average Max Weight 0.62 (Delta Block) 0.35 (AttnRes) +77%

局限与改进

作者承认的主要局限性是 Delta AttnRes 的计算和内存开销显著。在 1044M 规模上，Delta AttnRes 的吞吐量下降到 34k tok/s（相比基线的 108k，下降 69%），内存增加到 77.7 GB（相比基线的 22.5 GB，增加 3.5 倍）。虽然推荐使用的 Delta Block 缓解了这个问题（86k tok/s，28.4 GB），但仍有 20% 的吞吐量损失和 26% 的内存增加。此外，实验仅在 FineWeb-Edu 单个数据集上进行验证，缺乏在多样化数据集（如代码、数学、多语言）上的泛化性验证。另一个未充分探索的方面是与其他先进残差连接方法（如 Highway Networks、Skip Connections 的变体）的系统性比较，无法完全定位 Delta Attention Residuals 在更广阔设计空间中的位置。

独立分析的弱点

从独立分析角度看，方法的第一个弱点是块大小的选择需要经验调优，论文的消融实验显示在 220M 规模上，B=4-6 取得最佳效果，但未提供自动化选择机制。对于不同架构和任务，最优块大小可能不同，这增加了部署的复杂度。第二个弱点是 delta 表示可能对训练噪声敏感，因为 v_i = h_{i+1} - h_i 本质上是两个大数的差，如果相邻层输出接近，delta 可能很小且不稳定。第三个弱点是方法的理论解释不够充分，虽然实验显示 delta 表示更有效，但缺乏对为什么 delta 比累积状态携带更多信息)的严格数学证明。可能的改进方向包括：引入自适应块大小机制、在 delta 计算中加入正则化防止数值不稳定、从信息论角度量化 delta 和累积状态的表示能力差异。

未来方向

作者提出的未来方向包括探索 delta 表示在模型可解释性中的应用，因为每个 delta 对应一个特定子层的贡献，分析路由权重可以揭示哪些层对特定任务最重要。基于本文成果，可以延伸的研究方向包括：将 delta 路由与动态深度选择结合，根据输入自适应地跳过不太重要的层；研究 delta 路由在模态间迁移（如视觉-语言模型）的效果，因为不同模态的子层可能有更清晰的增量贡献；探索增量表示在知识蒸馏中的应用，教师模型的 delta 可能比完整状态更容易传递给学生模型；在大规模数据集（如 The Pile、RedPajama）上验证方法的泛化性，特别是在代码、数学等需要精确推理的任务上；研究 delta 路由与 MoE（Mixture of Experts）架构的结合，使用 delta 权重指导专家选择。

复现评估

论文的复现性评估总体良好，代码已在 GitHub 开源（https://github.com/wdlctc/delta-attention-residuals-code），提供了完整的 PyTorch 实现。实验设置详细透明：使用 8× NVIDIA H100 80GB GPU，BF16 混合精度训练，torch.compile 编译。训练超参数明确：AdamW 优化器（β1=0.9, β2=0.95, wd=0.1），余弦学习率调度（500 步预热），学习率 6×10^-4（小规模）或 3×10^-4（大规模），有效批量大小 32 或 64，序列长度 1024 或 2048。数据集 FineWeb-Edu 公开可获取。然而，完整的超参数列表、训练日志和检查点未在论文中提供，需要查看代码仓库。对于学术研究，7.6B 参数模型需要在 8×H100 上训练约 10K 步，成本较高，这可能限制复现的可行性。小规模模型（220M-533M）的计算需求更适中，适合学术验证。

论文图表

Source redundancy in cross-layer routing (Qwen3-0.6B, L=28). (a) Per-layer routing sharpness: AttnRes routing degrades to max weight ~0.2 in deep layers, while Delta Block maintains sharp routing (~0.6). (b) Routing quality: Delta Block achieves 1.8x higher average max weight (0.62 vs. 0.35). (c) Training loss: Delta Block (green) consistently outperforms AttnRes (red).
Figure 1: Source redundancy in cross-layer routing (Qwen3-0.6B, L=28). (a) Per-layer routing sharpness: AttnRes routing degrades to max weight ~0.2 in deep layers, while Delta Block maintains sharp routing (~0.6). (b) Routing quality: Delta Block achieves 1.8x higher average max weight (0.62 vs. 0.35). (c) Training loss: Delta Block (green) consistently outperforms AttnRes (red).

Figure 1 通过三个子图展示了 Qwen3-0.6B 模型中跨层路由的源冗余问题及其解决方案。子图 (a) 显示每层的路由锐度，横轴是层索引，纵轴是最大路由权重。Attention Residuals（红色）的权重在深层下降到约 0.2，接近均匀分布；而 Delta Block（绿色）保持约 0.6，表明仍有选择性。子图 (b) 比较了平均最大权重，Delta Block 为 0.62，AttnRes 为 0.35，提升 1.8 倍。子图 (c) 展示了训练损失曲线，Delta Block（绿色）始终低于 AttnRes（红色），验证了更好的路由质量带来更好的训练效果。

这张图是论文的核心证据，直观地展示了路由坍塌问题和 Delta Attention Residuals 的解决方案。它用具体的数字（0.2 vs 0.6）量化了性能差异，为后续所有实验提供了理论基础。这张图应该在 motivation 章节展示，因为它直接说明了问题的严重性和解决方案的有效性。