注意力残差：用深度维度的softmax注意力替代固定残差连接 Attention Residuals

AttnRes的实现分为Full AttnRes和Block AttnRes两个变体。Full AttnRes的步骤如下：(1) 对于第 $l$ 层，定义键 $k_i$ 和值 $v_i$，其中 $v_0 = h_1$（token嵌入），$v_i = f_i(h_i)$（第 $i$ 层的输出），键通过对值做RMSNorm得到 $k_i = \text{RMSNorm}(v_i)$；(2) 定义查询 $q_l = w_l$，其中 $w_l \in \mathbb{R}^d$ 是可学习的伪查询向量；(3) 计算注意力分数 $\phi(q_l, k_i) = \exp(q_l^\top \text{RMSNorm}(k_i))$，经softmax归一化得到权重 $\alpha_{i \to l} = \phi(q_l, k_i) / \sum_{j=0}^{l-1} \phi(q_l, k_j)$；(4) 第 $l$ 层的输入为 $h_l = \sum_{i=0}^{l-1} \alpha_{i \to l} \cdot v_i$。Block AttnRes的步骤如下：(1) 将 $L$ 层划分为 $N$ 个块，每块 $S = L/N$ 层；(2) 块内用标准残差累加：$b_n = \sum_{j \in B_n} f_j(h_j)$，同时维护块内部分和 $b_n^i$；(3) 块间用注意力聚合：第一层只访问已完成的块表示 $[b_0, b_1, \ldots, b_{n-1}]$，后续层还额外访问当前块的部分和 $b_n^{i-1}$；(4) 伪查询 $w_l$ 必须初始化为零，确保初始注意力权重均匀，防止训练不稳定。推理时采用两阶段策略：Phase 1并行计算块间注意力（批量查询所有 $S$ 个层），Phase 2顺序计算块内注意力并用online softmax合并。

AttnRes的技术新颖性体现在多个层面。首先，这是首次将softmax注意力机制从序列维度迁移到深度维度，完成了深度维度从线性注意力到softmax注意力的跨越。通过结构化矩阵分析，作者证明标准残差（全1下三角矩阵）、Highway Networks（1-半可分矩阵）、mHC（m-半可分矩阵）本质上都是深度维度的线性注意力的不同形式，而AttnRes产生秩为 $L$ 的密集矩阵，是完整的softmax注意力。其次，伪查询 $w_l$ 的设计极其轻量——每层只增加一个 $d$ 维向量和一个RMSNorm，参数开销可以忽略不计，但实现了内容依赖的深度选择。第三，Block AttnRes的块结构是一个巧妙的效率-质量权衡：$N=1$ 退化为标准残差，$N=L$ 恢复Full AttnRes，实验表明 $N \approx 8$ 即可恢复大部分收益。第四，跨阶段缓存优化将流水线并行下的通信开销从 $O(C^2)$ 降至 $O(P^2 + (V-1) \cdot 2P)$，实现了 $V \times$ 的改进。第五，两阶段计算策略利用伪查询与前向计算解耦的特性，将块内所有层的查询批量处理，将内存访问从每层 $O(Ld)$ 分摊为每层 $O((N/S + 3)d + 2d)$。

本文存在几个值得深入探讨的弱点。第一，伪查询 $w_l$ 是静态学习参数，不依赖于输入内容，这意味着不同输入样本对同一层使用相同的深度聚合权重。消融实验表明输入依赖查询（1.731）优于静态查询（1.737），但作者因引入 $d \times d$ 投影的额外开销而选择静态方案。改进方向可以探索更轻量的输入依赖方案，例如用输入的全局统计量（如均值或CLS token）通过小型MLP生成查询，以极低开销获得输入依赖性。第二，块内仍使用标准残差累加，这意味着块内的PreNorm稀释问题未被解决。当块大小 $S$ 较大时，块内仍存在深度稀释。改进方向可以探索块内的轻量级选择性机制，如块内层间的小型门控。第三，RMSNorm在注意力分数中的使用虽然防止了幅度偏差，但也限制了模型利用层间幅度信息的可能性。某些层的大幅度输出可能本身就携带重要信号，被归一化后丢失。第四，注意力权重的可视化显示对角线主导性——每层主要依赖其直接前序层，这说明AttnRes学到的模式可能大部分时间接近标准残差，只有在需要时才激活跨层访问，这引发了关于其实际效率的思考。

作者和本文成果可延伸出多个有前景的研究方向。首先，作者指出随着未来硬件互联的改进，Full AttnRes的 $O(Ld)$ 通信将变得可行，届时可以完全释放深度维度softmax注意力的潜力，这值得在下一代硬件上验证。其次，将AttnRes与其他残差改进技术（如Highway Networks的门控、mHC的多流递推）结合，可能产生协同效果——例如用门控替代固定块内累加。第三，AttnRes的深度维度注意力与序列维度注意力的交互机制值得深入研究：两种注意力如何协同工作？深度注意力是否会补偿序列注意力的某些盲区？第四，将AttnRes扩展到视觉Transformer（ViT）和其他模态的Transformer架构中，验证其跨模态的通用性。第五，探索更高效的深度注意力变体，如线性复杂度的深度注意力（借鉴GLA、Mamba等在序列维度的高效注意力），在保持性能的同时进一步降低开销。第六，AttnRes揭示的深度维度注意力沉现象（某些层始终吸引高权重）与序列维度的注意力沉现象类似，这为理解Transformer的信息流提供了新的研究视角。

从复现角度来看，本文的可复现性存在一定的挑战和优势。优势方面：作者在GitHub上开源了代码（https://github.com/MoonshotAI/Attention-Residuals），提供了详细的PyTorch伪代码（Figure 2）和完整的算法描述（Algorithm 1），AttnRes的实现本身并不复杂——核心是每层添加一个RMSNorm和一个 $d$ 维伪查询向量。消融实验清晰地展示了各组件的影响，为复现者提供了调参指导。挑战方面：最终的大规模模型实验（48B/3B激活参数，1.4T tokens）需要巨大的计算资源，普通研究团队难以复现。缩放定律实验涉及5个模型尺寸各3个变体的完整训练，也需要相当的算力。数据方面，作者使用了与Kimi Linear相同的数据和训练配方，但未公开具体数据集，这增加了精确复现的难度。总体而言，AttnRes的算法设计和小规模验证实验相对容易复现，但大规模实验的复现需要大型团队的资源支持。