混合注意力大语言模型中的多语言性 Multilinguality in Hybrid Attention LLMs
首次揭示混合注意力LLM的多语言表征组织方式,证明首层全注意力布局让多语言训练提速至2.5倍
前置知识
混合注意力架构(Hybrid Attention)
在同一个 Transformer 中交替堆叠传统 softmax 全注意力层与线性复杂度的循环注意力层(如 Gated DeltaNet、Mamba-2、Lightning Attention)。循环层维护一个固定大小的压缩状态、按 $O(T)$ 复杂度扫描序列,擅长高效的状态追踪;全注意力保留对全部历史 token 的精确内容寻址,擅长长程检索。主流配比是每 3-4 层循环注意力后插入 1 层全注意力。
本文的全部问题都围绕这种异质堆叠展开:循环层与全注意力层的不同归纳偏置如何影响多语言处理、层与层之间的排序是否重要。不懂混合化的动机就无法理解为什么要质疑层排序。
循环注意力与 Delta Rule
Katharopoulos 等人证明去掉 softmax 后注意力可改写为线性复杂度的递推。Gated DeltaNet 进一步把每层的注意力实现为可更新的键值联想记忆:状态按 $M_t = \alpha_t M_{t-1}(I - \beta_t k_t k_t^\top) + \beta_t v_t k_t^\top$ 更新,其中输入相关的门 $\alpha_t$ 控制遗忘、$\beta_t$ 控制写入强度。Mamba-2 则是带遗忘门、加性更新的选择性状态空间模型。
本文研究的四对模型使用了不同的循环变体,理解它们共享的'固定状态压缩历史'本质,才能理解为什么作者推测循环层的归纳偏置会改变语言表征的组织方式。
跨语言表征对齐
多语言可解释性研究发现 LLM 内部呈'三段式':早期层做语言特定的 detokenization(把子词还原为语言无关表征),中间层构建跨语言共享的抽象表征,末期层转回语言特定生成。跨语言对齐度衡量不同语言的等价内容在表征空间中的相似程度,文献普遍认为更高的中层对齐有利于跨语言迁移。
本文用对齐度作为'透镜'观察混合模型的内部组织,全部可解释性发现(Finding 2-6)都是对逐层对齐曲线形态的解读。
CKA 与 SoftCKA
中心化核对齐(CKA)通过 RBF 核矩阵的几何相似性成对比较两组神经网络隐藏状态,不关心绝对数值只关心表征空间结构。本文提出的 SoftCKA 把它推广到长度不等、无逐 token 对应的平行句对之间:对 $X_1\in\mathbb{R}^{T_1\times d}$、$X_2\in\mathbb{R}^{T_2\times d}$ 构建语言内核 $K_{11},K_{22}$ 和跨语言核 $K_{12}$,中心化后按 $\mathrm{SoftCKA}=\sum h_{12}/\sqrt{\sum h_{11}\sum h_{22}}$ 归一化。
SoftCKA 是本文的核心测量工具,所有层序相关的发现都建立在该指标的曲线形态之上,附录 D 给出了完整数学定义。
KL 散度蒸馏与层转换
把全注意力模型转成混合模型的资源高效做法:以冻结的全注意力模型为教师,把学生(由教师转换而来)训练得在相同输入下输出分布尽可能接近教师,目标通常为 $\mathcal{L}=\tau^2 D_{\mathrm{KL}}(p_T\|p_S)$。转换层通过继承教师的 $W_Q,W_K,W_V,W_O$ 初始化(如 RADLADS、HALO 方法),大幅加速收敛。
本文的核心实验是在多语言数据上蒸馏不同层排序的混合学生模型,实验结论(首层全注意力更快)正是在这个受控设置下得出的。
研究动机
随着智能体与推理类应用对超长上下文的需求激增,全 softmax 注意力的 $O(T^2)$ 计算复杂度成为瓶颈,越来越多最先进的开源模型(如 Kimi K3、NVIDIA Nemotron、Qwen3.5、MiniMax)转向混合注意力架构:用线性复杂度的循环注意力层与少量全注意力层交替堆叠。然而这些模型的层排序几乎完全是行业惯例——主流做法是每 3-4 层循环注意力后插入 1 层全注意力,前沿实验室从不公开这样排列的理由(仅提到比例经经验优化、便于 KV cache 管理之类),而且几乎可以肯定多语言因素从未被纳入设计考量。与此同时,多语言场景恰恰放大了长序列问题:许多语言 tokenization 效率很差,即便采用大词表 tokenizer,英语与约鲁巴语的平行数据上 Qwen3.5 的序列长度比达 2.6 倍,英语中心的 OLMo 在某些非拉丁文字语言中上下文膨胀高达 10 倍。更深层的问题是,循环注意力维护一个压缩的演化状态,与全注意力直接访问全部历史 token 有着本质不同的归纳偏置,这可能系统性改变模型处理语言表层形态、构建跨语言抽象的方式——此前没有任何工作研究过混合化对多语言处理的影响,而已有研究恰恰表明注意力在 LLM 多语言能力中扮演着远超比例的角色。
本文的目标是本文的目标是回答三个层层递进的问题。第一,混合注意力在 token 膨胀的多语言长序列上,其内存/速度优势和检索能力损失究竟如何随上下文长度变化——即把'能容纳更长序列'与'能检索其中内容'这两个能力分开评估。第二,混合架构内部的多语言计算是如何组织的:与全注意力模型中平滑的'早期语言特定→中层语言共享→末期语言特定'演化模式相比,循环层与全注意力层的交替是否导致截然不同的表征轨迹,层排序本身是否在塑造这种轨迹。第三,也是最有工程价值的一步:既然跨语言表征的变化明显以全注意力层为界,那么传统的层排序(循环在前、全注意力收尾的周期块)是否真的是最优的?作者希望通过在多语言数据上、以完全受控的方式改变全注意力层的位置,检验是否存在能显著更快学会多语言建模的替代布局,并最终为多语言 LLM 的架构设计提炼出可操作的建议。
与已有工作不同的是，本文的独特之处在于把多语言性当作透视模型内部计算的'透镜',而非仅仅是一项待评测的能力。平行文本提供了语义等价但表层形式不同的输入对,逐层比较它们的表征,可以把'绑定于具体语言表层形式的处理'与'跨语言共享的抽象表征'区分开来——这是纯英语分析无法做到的。与以往多语言可解释性工作(语言特异性神经元、MoE 专家路由)不同,本文首次聚焦注意力机制本身的异质性:循环层与全注意力层的交错如何塑造跨语言表征。第二个独特切入是敢于质疑'每个周期块内循环在前、全注意力在后'这一几乎所有主流模型共同遵循的默认设置:作者梳理文献后发现支持这种排序的实验证据稀少且互相矛盾,而多语言显然不在当初的考量之内。第三,作者没有停留在观察性分析,而是设计了严格控制变量的干预实验——固定全注意力比例为 25%,只改变这些层出现的位置——把一个可解释性观察转化为可检验、可复现的架构假说,这是从'相关'走向'因果'的关键一跃。
核心方法
论文的整体思路分四步:先确认'混合模型在多语言长文本上有独特效率特征'的事实,再用可解释性度量定位表征组织与层排序的关联,最后用受控实验验证因果假设。第一步(观察):选取四对尽量可比的混合/非混合模型——Qwen3.5-35B-A3B(Gated DeltaNet,3:1)对 Qwen3-30B-A3B、OLMo-Hybrid(带负特征值的 Gated DeltaNet,3:1)对 OLMo-3-7B、Ring-mini-linear-2.0(Lightning Attention-2,4:1)对 Ring-mini-2.0、Granite-4.0-H-Micro(Mamba-2,全注意力位于 4/14/24/34 层)对 Granite-4.0-Micro,并补充 Ling-2.6-flash(7:1)与 SWA 混合的 Tiny Aya Global 作对照。第二步:用 OneRULER 的 5 个大海捞针任务在 8K/32K/64K 上下文下对比英语与 10 种非英语的检索精度与 OOM 情况。第三步:提出 SoftCKA 指标,在 FLoRes 英语-13 语言平行句子上逐层测量跨语言表征对齐;把注意力块视为黑箱,分别考察进入各层的隐藏状态($attn\_in$)与各块对残差流的贡献($attn\_delta = attn\_out - attn\_in$)。第四步(干预):把 Qwen3-4B-Base(36 层保留 9 层全注意力)和 Granite-4.1-3B-Base(40 层保留 10 层)经 KL 蒸馏转成 Gated DeltaNet 混合学生,在固定 1B token、固定 25% 全注意力比例下比较 5 种布局的多语言学习速度与最终损失,并用新数据种子和第二个教师做复现。
核心创新有二。其一是方法论上的 SoftCKA 指标:跨语言比较的最大障碍是 tokenization 与句法结构导致 token 无法一一对应,传统做法(均值池化或取末 token)信息损失严重。SoftCKA 基于 CKA 思想,对平行句对的隐藏状态 $X_1\in\mathbb{R}^{T_1\times d}$、$X_2\in\mathbb{R}^{T_2\times d}$ 构建跨语言 RBF 核矩阵 $K_{12}$(其 $[i,j]$ 项衡量语言 1 第 $i$ 个 token 与语言 2 第 $j$ 个 token 的相似性,实现无需显式分配的'软匹配'),行列中心化后取 Frobenius 范数得 $h_{12},h_{11},h_{22}$,再按语料库聚合归一化,即 $\mathrm{SoftCKA}(\mathcal{D})=\sum_{s}h_{12}^{(s)}/\sqrt{\sum_{s}h_{11}^{(s)}\sum_{s}h_{22}^{(s)}}$,在作者探索的各种备选方案中噪声最低。其二是发现'层的归纳偏置排序'对多语言表征组织有一阶影响:混合模型中跨语言对齐在每个全注意力层前被逐步拉升、并在该处发生突变,其中第一个全注意力层是最显著的'跨语言事件'发生地;而 SWA 混合模型完全没有此现象,说明这是循环机制特有的。由此引出论文最大胆的主张:决定全注意力层放置位置的行业惯例(置于块末尾)并非最优——所有以全注意力开头的布局都能大幅加速多语言学习。这是首次有人证明'层排序'本身(而非层比例或机制选择)是决定多语言学习效率的关键变量。
方法步骤详情
可解释性部分:对每个解码层记录 $attn\_in$(进入注意力块的隐藏状态)与 $attn\_delta$(注意力块对残差流的贡献),在 FLores 平行句子上逐层计算对英语及 13 种语言的 SoftCKA。蒸馏实验流程:(1) 以冻结的全注意力教师(Qwen3-4B-Base 或 Granite-4.1-3B-Base)为起点,把预设集合 $\mathcal{F}$ 之外的层转为 Gated DeltaNet,直接继承教师的 $W_Q,W_O$、按组克隆 GQA 的 K/V 头,卷积初始化为恒等短卷积、衰减门初始化为近乎不遗忘;(2) 解绑 LM 头为独立可训练副本,用前向 KL 散度 $\mathcal{L}=\frac{\tau^2}{Bn}\sum_{b,i}D_{\mathrm{KL}}(p_T\|p_S)$ 训练整个学生——作者刻意跳过 RADLADS/HALO 中'先对齐被替换层隐藏状态'的阶段,以免学生的多语言组织方式被教师预设;(3) 训练数据为 FineWeb2 多语言子集:30% 英语锚定 + 26 种语言(覆盖 7 个语系、多种文字,按资源分 3.5:2:1 三档,分别 300M/40.8M/23.3M/11.7M token),共 1B token 打包成 1024 长度序列,每语言留 1000 验证 + 1000 测试文档,验证每 10M token 评估一次;(4) 五种布局:standard periodic(每 4 层块末尾放全注意力,行业基线)、reverse periodic(块开头)、sandwich(全部集中在首尾)、interleaved sandwich(2/3 在两端、其余周期分布)、endpoint spread(首层末层 + 中间均匀铺开)——四个替代方案的唯一共同点是第一层为全注意力;(5) 超参:双学习率组 $\hat\eta_{rec}=7\times10^{-5}$、$\hat\eta_{rest}=2\times10^{-5}$,3% 线性预热后余弦退火至 $10^{-5}$,batch $96\times1024$,单张 L40S 上 Qwen 约 99 小时、Granite 约 82 小时;(6) 指标为对教师的逐 token KL 与交叉熵差距 $\bar\delta$,并用重采样数据(种子 s1)和 Granite 教师复现 reverse periodic 与基线的对比。
技术新颖性
技术新颖性体现在四个方面。第一,问题本身是全新的:混合注意力已是 SOTA 开源模型的主流范式,但此前所有分析(长检索、表达力、预训练效率)都绕开了多语言,本文填补空白且结论直接关联真实部署场景(多语言智能体的长上下文工作流)。第二,SoftCKA 把 CKA 推广到'两组长度不等、无逐 token 对应'的表征比较场景,用跨语言 RBF 核软匹配替代硬对齐;其在非混合模型上'中层上升、末期下降'的形态与使用完全不同方法的多语言可解释性研究一致,提供了交叉验证。第三,实验设计巧妙规避了蒸馏设置的混淆:跳过隐藏状态预对齐阶段、只对输出分布做 KL,让混合结构自己决定如何组织多语言处理;层集合 $\mathcal{F}$ 是唯一自由变量,使层排序成为被隔离的因果因素。第四,结论与无关文献形成三角互证:Li et al. 的 KL 引导层选择在纯英语数据上从不把第一层选为全注意力,而本文发现在多语言数据上所有优秀布局都以全注意力开头,两者共同指向'第一层全注意力是多语言特有的需求',作者据此推测与首层承担 detokenization 有关。这些设计让一个资源有限的学术团队(单卡 L40S、1B token)能够对工业界的默认架构选择提出有说服力的挑战。
实验结果
核心发现按七个 Finding 展开。效率方面(Finding 1):混合模型在多语言长上下文上有压倒性内存优势——128K 上下文时 Qwen3.5 在 40 个语言-任务评估中完成 25 个,Qwen3 仅完成 1 个;Granite 的 64K 评估耗时从全注意力版的 61.5 小时降至混合版的 13.5 小时;更反直觉的是,混合模型的检索劣势随上下文变长而缩小,英语 64K 时 Granite-H(61.6%)反超 Granite(47.2%),尽管非英语 64K 上 Granite-H 仍落后(34.9% 对 38.1%),其中低资源语言 Sesotho 贡献了主要差距。表征方面(Finding 2-6):混合模型的跨语言对齐整体更低(Qwen3.5 在 13 种语言中 10 种低于 Qwen3,Ring-linear 11/13);其逐层 SoftCKA 曲线在每个全注意力层处呈锯齿状突变,与非混合及 SWA 混合模型的平滑曲线形成鲜明对比;最剧烈的事件发生在第一个全注意力层——Qwen3.5/OLMo-Hybrid/Granite-H 的注意力块贡献在该处呈正向尖峰,而 Ring 与 Ling-2.6-flash 呈大的负尖峰;SWA 混合(Tiny Aya、OLMo-3)完全不存在此类重组;此外混合模型中的全注意力层比非混合模型的注意力层更偏向局部注意力。干预方面(Finding 7):所有四种以全注意力开头的布局在整个训练过程中都持续优于标准周期布局——每个方案用约 40% 的训练量(reverse periodic 在 Qwen 上 34.5%、Granite 上 42.5%)就达到基线 1B token 后的最终交叉熵,即最快提速约 2.5-2.9 倍;测试集上 Qwen 的 reverse periodic 的平均对教师交叉熵差距 $\bar\delta=0.045$ 对基线 $0.071/0.068$ nats,相对 DKL $R=0.677/0.697$;Granite 上 $\bar\delta=0.020$ 对 $0.042$($R=0.767$),距教师的验证损失仅 0.01 nats;26 种语言中 23 种(Qwen 两次运行)困惑度下降、Granite 达 25 种,最大增益 3-13% 集中在泰卢固语、马拉雅拉姆语、泰米尔语、缅甸语、高棉语等非拉丁文字语言,中位数语言提升约 1%;复现实验显示重采样数据只移动约十分之一的差距,且训练末期两布局差距未见收敛。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OneRULER 大海捞针(5 任务,非英语 10 语言,64K 上下文) | 准确率 | Qwen3.5-35B-A3B(混合):93.8% | Qwen3-30B-A3B(全注意力):92.0% | +1.8pt,且混合模型在 128K 完成 25/40 个语言-任务评估,全注意力版仅 1/40 |
| OneRULER 大海捞针(英语,64K 上下文) | 准确率 / 评估耗时 | Granite-4.0-H-Micro(混合):61.6%,耗时 13.5 小时 | Granite-4.0-Micro(全注意力):47.2%,耗时 61.5 小时 | +14.4pt 且耗时降为约 1/4.6,混合模型检索劣势在长上下文消失并反超 |
| 多语言蒸馏(教师 Qwen3-4B,26 语言平均) | 对教师的交叉熵差距 $\bar\delta$(nats/token,越低越好) | reverse periodic:0.045(两次独立数据运行均为 0.045) | standard periodic:0.071 / 0.068 | 差距缩小约 34-37%,训练量仅需 34.5% 即达基线最终水平(提速约 2.9 倍) |
| 多语言蒸馏(教师 Granite-4.1-3B,26 语言平均) | 交叉熵差距 $\bar\delta$(nats/token) | reverse periodic:0.020 | standard periodic:0.042 | 缩小 52%,且距教师的验证损失仅 0.01 nats,几乎追平全注意力教师 |
| 多语言蒸馏(两教师,26 语言几何平均) | 相对 KL 散度 $R$(以标准周期布局为 1.000) | reverse periodic:0.697(Qwen)/ 0.767(Granite);sandwich 平均最优 0.665 | standard periodic:1.000 | 所有替代布局 KL 降低 23-34%,且在几乎每种语言上一致 |
局限与改进
作者坦承的局限:所有干预实验都是小规模蒸馏(3-4B 学生、单遍 1B token、所有运行均未收敛),且只用了 Gated DeltaNet 一种循环架构;'第一个全注意力层事件'的方向在不同模型间不一致(Qwen3.5/OLMo-Hybrid/Granite-H 为正尖峰,Ring 与 Ling-2.6-flash 为大的负尖峰),迫使作者使用含糊的'事件'一词;四对观察模型并非严格可比(混合版更新、更大、训练配方不同,Granite-H 连层布局都不规则),控制最严格的 OLMo 对却刻意排除了多语言数据;SoftCKA 的平滑性无法证明其忠实性。我自己的观察:第一,论文完全没有评估下游任务能力——更低的语言建模损失是否转化为多语言指令跟随、推理或长文本问答的优势未知,蒸馏学生在任何标准多语言基准上的表现都未报告;第二,OneRULER 的部分结论被 OOM 截断(128K 时 Qwen3 只完成 1/40),比较的是不完整样本;第三,验证/测试仅评估 1024 token 的短序列,与长上下文叙事脱节,布局优势是否会延伸到长序列生成尚不清楚;第四,五种布局均未收敛,'学得快'不保证'最终更好',尽管 Granite 距教师仅 0.01 nats 提供了间接证据;第五,各模型位置编码异质(RoPE/YaRN/NoPE)是未控制的混淆变量,作者也承认这可能影响多语言表征演化;第六,统计显著性仅靠两次独立数据重采样支撑,没有正式的显著性检验。
独立分析的弱点
独立分析的弱点:第一,'首层全注意力'的收益机制仍停留在相关性层面——作者猜测与 detokenization(首层把子词映射为语言无关表征)有关,但没有直接证据,可通过首层表征手术(层交换、激活修补)或在受控合成 tokenization 上实验来验证;第二,蒸馏学生统一采用 Gated DeltaNet,而观察对象覆盖 Mamba-2、Lightning Attention、Gated DeltaNet 等多种循环机制,'事件'方向的不一致(正/负尖峰)可能正是不同循环机制归纳偏置差异的信号,值得逐机制系统消融而非只用一种学生;第三,sandwich 布局在相对 KL 上平均最优($R=0.665$)而 reverse periodic 在交叉熵上最优($\bar\delta=0.045$),两个指标的分歧未被解释,实际部署应优先优化哪个并不明确;第四,缺少'仅首层改动'的单项消融布局(例如把全注意力从每块末尾移到块开头之外的单一位置变化),虽然四个替代布局的唯一共同点是首层全注意力,但严格归因仍需该消融;第五,1B token 单遍蒸馏与工业界数万亿 token 预训练差距巨大,小模型上的结论外推到百亿参数级或从头预训练存在风险,作者自己也只以'理论'自称。改进方向:加入单项消融、延长训练至 10B+ 观察差距是否持续、补充多语言指令微调与代理式长上下文任务的下游评估、对不同循环机制重复全套实验、在保持首层全注意力的前提下搜索最优的非首层排布。
未来方向
作者提出的开放问题:混合模型跨语言重组的机制性解释(哪些注意力头或电路负责多语言抽象、循环状态携带了什么信息)仍是开放挑战,作者认为对每块归纳偏置的角色('LLM 学会把某种多语言相关任务保留给全注意力层')目前只能停留在这个抽象层面。基于本文成果可延伸的方向:第一,与同组的 MoE 多语言路由研究联动——附录 G 显示混合模型中 MoE 路由发散在前几个循环层保持平稳、直到第一个全注意力层之后才开始下降,而非混合模型立即下降,说明首层全注意力可能同时是语言抽象与专家专业化的开关,值得联合建模;第二,把层排序纳入架构搜索:Li et al. 的 KL 引导层选择在英语上从不选首层,本文证明多语言需要首层,直接后续是把该方法搬到多语言语料上,看搜索是否自动发现 reverse periodic 式布局;第三,直接检验'首层 detokenization 假说',例如比较首层为全注意力/循环注意力时子词边界表征的语言不变性;第四,在多语言长上下文智能体场景验证 reverse periodic 布局是否在保持 KV cache 效率的同时改善跨语言检索;第五,位置编码设计:既然 SWA 层常不用位置嵌入且不影响跨语言表征,首层全注意力 + 无位置编码循环层的组合值得系统研究;第六,从头预训练验证'多语言 LLM 应以全注意力开始'的理论——这是作者明确指向但资源受限无法完成的方向。
复现评估
复现性总体良好,属于学术团队可负担的范围。开源情况:所有分析对象均为公开权重模型(Qwen3.5-35B-A3B、Qwen3-30B-A3B、OLMo-3-7B 与 OLMo-Hybrid、Ring-mini-2.0 与 Ring-mini-linear-2.0、Granite-4.0-Micro 与 H-Micro、Ling-2.6-flash、Tiny Aya Global),蒸馏教师 Qwen3-4B-Base 与 Granite-4.1-3B-Base 同样开源。实验细节披露非常完整:Algorithm 1 给出完整伪代码,包括 Gated DeltaNet 的初始化细节(恒等短卷积、$A_{\log}=-4$ 的近无遗忘初始化、GQA K/V 头按组克隆、$b_\Delta$ 在 $[\log 10^{-3},\log 10^{-1}]$ 上采样),Table C.3 列出全部超参数,Table C.1/C.2 精确到每种语言的 token 配额(英语 300M、高/中/低资源每语言 40.8M/23.3M/11.7M)与 FineWeb2 文档量,held-out 文档的固定划分方法(与数据种子无关)也写明,保证了所有运行在相同的验证/测试 token 序列上打分。算力需求:每个 1B-token 运行在单张 NVIDIA L40S(48GB)上约 99 小时(Qwen)或 82 小时(Granite),bf16 + 梯度检查点 + 8-bit AdamW;完整复现 7 个运行(5 种布局 + 2 个复现)约需单卡一个月,门槛不高。依赖栈明确:PyTorch 2.10、Transformers 4.56.2、FLA 0.5.2、bitsandbytes 0.50.0;SoftCKA 的完整数学定义(核构造、中心化、语料聚合)在附录 D。未明确提及官方代码仓库发布,SoftCKA 与评测脚本可能需按论文自行实现;从头预训练级别的验证则超出原论文资源,是社区协作的机会。整体难度中等:熟悉 FLA 库与蒸馏流程的团队一周内可搭建首个复现运行。
论文图表
(a) Qwen3-4B 学生五种布局的验证集对教师交叉熵差距曲线(数据种子 0);(b) Granite-4.1-3B 学生的 standard periodic 与 reverse periodic 对比(种子 1)。红色虚线为 standard periodic 最后检查点的值(0.073/0.033 nats):所有替代布局在首次评估即领先并全程保持,(a) 中均在大约 40% 训练量内达到该值,reverse periodic 最快为 34.5%;(b) 中 reverse periodic 在 42.5% 训练量达到。
干预实验(Finding 7)的主结果图:以训练动态曲线的形式证明层排序对多语言学习速度有一阶影响,是'首层全注意力'结论的直接证据。
测试集汇总:各布局的相对 KL 散度 $R$(同教师同数据的标准周期布局为 1.000)与平均交叉熵差距 $\bar\delta$。Qwen3-4B:standard periodic $1.000/1.000$ 与 $0.071/0.068$(两次运行),reverse periodic $0.677/0.697$ 与 $0.045/0.045$,sandwich $0.665$ 与 $0.050$,interleaved sandwich $0.689$ 与 $0.049$,endpoint spread $0.722$ 与 $0.049$;Granite-4.1-3B:standard periodic $1.000$ 与 $0.042$,reverse periodic $0.767$ 与 $0.020$。
核心定量结论汇总表:四种替代布局全面优于基线,reverse periodic 在交叉熵上领先、sandwich 在 KL 上领先,数据同时展示了两次独立运行的复现性。
按语言(按语系分组)给出每个运行的 DKL 与 LLM 差距。亮点:reverse periodic 使泰卢固语 LLM 差距从 0.130 降至 0.027、泰米尔语从 0.078 降至 0.019、马拉雅拉姆语从 0.096 降至 0.017、缅甸语从 0.150 降至 0.036、高棉语从 0.045 降至 0.005;KL 降幅最大的八种语言(泰卢固、马拉雅拉姆、泰米尔、缅甸、高棉、藏语、阿姆哈拉、亚美尼亚)在两个教师下完全一致,且全部为非拉丁文字。
逐语言明细揭示了收益的分布规律:非拉丁文字语言受益最大,这与'首层全注意力服务 detokenization'的猜想一致,是理解结论适用范围的关键。
Qwen3.5 各注意力块与 MLP 块贡献的 SoftCKA 逐层曲线:第一个全注意力层之前的若干块呈现渐进的'准备'变化,该层本身出现最剧烈的事件,紧接着出现大幅下降。
细化 Finding 4 的机制图景:模型在到达第一个全注意力层前就开始系统性铺垫,说明该层在计算组织中扮演精心编排的角色,而非孤立事件。
SWA 混合模型 Tiny Aya Global 的逐层 SoftCKA 曲线:与循环混合模型不同,曲线平滑,在(红色虚线标出的)全注意力层处没有任何突变,形态与非混合全注意力模型无异。
作为 Finding 5 的关键对照:排除'任何长上下文效率机制都会导致重组'的替代解释,证明锯齿状重组是循环注意力归纳偏置特有的现象。
Qwen3-4B 五种布局的训练批次 KL 散度曲线(淡线为逐步 DKL,粗线为指数滑动平均,$\alpha=0.1$,对数坐标,起点在 7.0-10.5 nats 之间):所有替代布局的曲线始终位于 standard periodic 之下且相互接近。
补充 Figure 6 的训练目标视角,展示优势从训练最初期就存在且全程稳定,排除'后期反超'或'某布局早期占优后期失效'的可能。
混合模型 Qwen3.5 的逐层跨语言 MoE 路由 JS 散度:在前几个循环注意力层保持平稳,直到第一个全注意力层之后才开始下降(与 Figure G.2-G.4 中非混合的 Qwen3 与 Ring-mini-2.0 立即下降形成对比)。
把本文发现与 MoE 多语言路由研究衔接:混合模型中语言共享的专业化路由同样要等首层全注意力之后才启动,为'首层全注意力是语言抽象的开关'提供独立证据。