混合线性注意力大语言模型中的巨激活：全注意力前尖峰与尖峰间平台 Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

第一步（锚点识别）：对输入 $x$，把所有全注意力层、所有头接收到的注意力概率按有效查询数 $|Q_t|$ 归一化后取平均，选总和最大的token为共识沉降 $t^\star_x$（式5），跨层跨头平均以抑制局部波动。第二步（跨层追踪）：固定该token位置，逐层记录 $m^{(\ell)}_{x,t^\star} = \|X^{(\ell)}_{x,t^\star,:}\|_\infty$，允许最大激活的特征下标随深度演化。第三步（PAS量化）：对每个全注意力层 $f$ 及其前方线性块 $B_f$，检验共识沉降是否在 $f-1$ 层取得块内最大，统计500条输入（5域×100条）的对齐率；另定义连续的峰超额 $E_{x,t,f} = \log_2\big(m^{(f-1)}_{x,t} / \max_{\ell \in B_f \setminus \{f-1\}} m^{(\ell)}_{x,t}\big)$ 度量尖峰显著度，与非sink token、首token及期望为 $1/11 \approx 9.1\%$ 的随机层基线对照。第四步（ISP量化）：对相邻PAS对 $(p_i, p_{i+1})$ 之间的层集 $J_i$，计算 $\mathrm{ISR} = \min\big(1, \text{平均层间激活} / \min(m_{p_i}, m_{p_{i+1}})\big)$ 并宏平均，比值截断为1防止超参考水平的激活虚增分数。第五步（大规模验证）：在Kimi Linear 48B-A3B（Base/Instruct）、Qwen3.5 35B-A3B/122B-A10B、Nemotron-H 56B、Zamba2等12个开源检查点上重复上述分析。第六步（受控预训练）：用Flash Linear Attention框架从零训练24层GDN模型（340M训10B tokens、每1B记录；1.3B训50B tokens、每5B记录），把单个全注意力层插入第4/12/20层研究PAS定位与幅度，用3:1配置研究ISP；再做两组门控干预——给全注意力加输出门（GDN-GatedFA）与去掉GDN原生门（GDN-NoOutGate），其余设置全部冻结。第七步（机制验证）：在1.3B GDN 12:1模型的 $f=12$ 全注意力前，固定坐标 $(t^\star, j^\star)$（$j^\star = \arg\max_j |X^{(f-1)}_{t^\star,j}|$），分三阶段追踪有符号激活与逐模块更新：层11写入极值（写）、层12全注意力中 $t^\star$ 吸引不成比例注意力（沉）、后续反号更新大幅抵消（消）。

技术新颖性体现在四个层面。问题层面：此前所有巨激活/系统性离群值文献（Sun et al. 2024、An et al. 2025等）均限于softmax Transformer，本文首次系统研究层交错HLA，并证明其形态定性不同——不是稳定平台而是尖峰+平台的混合组织。方法层面：发现幅度排序与注意力行为在HLA中脱钩（sink token的幅度排名跨层漂移、最大激活token相邻层切换频繁），提出以全注意力层间共识沉降为锚的追踪协议，并配套对齐率、峰超额、ISR、绝对层间激活 $A_{ISP}$（式9）一套量化指标，均可被后续研究复用。发现层面：PAS/ISP在五种线性机制、六个混合比、五个数据域、base与instruct变体、周期与非均匀注意力调度、1.2B–397B参数规模上一致复现，且受控预训练证明二者在训练早期（1B tokens内）即出现并随优化固化，排除了'精选检查点的伪影'这一替代解释。理论层面：'取消时机'账户把全注意力上的有符号离群值框架推广到混合架构，给出了纯线性（无形态）→稀疏全注意力（PAS主导）→密集全注意力（全深度平台）的统一连续谱。

弱点一：相关性有余而因果性不足。论文展示了形态指标与下游任务的并列数据，但没有任何干预实验证明PAS/ISP本身对召回有益、有害或中性。改进方向：训练时用正则化直接压制PAS幅度（固定其他条件），再测NIAH/RULER等召回任务，把相关性升级为因果证据。弱点二：机制账户偏定性。'取消时机'由固定坐标的有符号更新图（Figure 6/7/14-16）支撑，但缺少定量预测——是什么决定某一层选择立即抵消还是延迟抵消？FFN层、线性层的遗忘门、还是训练动态？改进方向：对抵消更新做逐模块归因，建立抵消时机与门控参数（如GDN的 $F_t$）的定量联系。弱点三：输入覆盖窄。核心轨迹图多基于一句话，量化分析用每域100条短样本；长文档、代码仓库级上下文中sink可能不在首token，PAS/ISP是否保持同样形态未验证。改进方向：补充4K–128K长度扫描与真实检索场景。弱点四：追踪方法在纯线性极限失效。共识沉降依赖全注意力层的注意力矩阵，$\rho=\infty$ 时无锚点可用，导致'从纯线性到全注意力'的连续谱故事在最左端缺乏直接观测。改进方向：为纯线性模型设计替代锚点（如梯度归因或状态范数）。弱点五：干预手段单一。只测试了输出门控，未对比其他已知去MA手段（如QK归一化、softmax off-by-one修复、值态裁剪），无法判断'全注意力中心性'是输出门控特有的还是架构层面的普遍规律。

作者明确提出的方向：（1）确定调控抵消时机的因素——哪些模块、参数或训练信号决定离群值被立即抵消还是持续存在；（2）判明瞬态PAS与持续ISP是否支持不同的计算角色，例如PAS是否专为全注意力sink服务、ISP是否在线性层间传递某种全局状态。基于本文成果可以延伸的方向：（3）把PAS/ISP定位用于工程优化——混合模型的KV cache只来自全注意力层，沉降锚点+尖峰定位或可指导混合模型的cache量化/驱逐策略（作者团队在KVSink、RotateKV上的前期工作可自然衔接）；（4）用ISP密度作为混合比率选择的诊断指标：既然ISR随 $\rho$ 单调上升且架构间存在差异（DeltaNet在6:1即成平台、GDN需3:1），可探索用小规模模型的形态指标预测不同混合比下的召回性能，为3:1、7:1等工业配置提供理论依据；（5）长上下文因果研究：在RULER式任务上干预PAS/ISP并测召回，回答'形态是否功能性的'；（6）扩展形态学普查到其他混合范式（块级混合Jamba、MoE+线性注意力如LongCat、每k层一注意力的非均匀调度）并追踪形态随规模至百B+级；（7）结合gated attention文献设计既保留线性层效率、又在架构层面控制MA负效应（如对量化的破坏）的混合层变体。

复现条件总体较好。开源情况：分析代码托管在 GitHub（StartLuxLabs/Massive-Activations-HLA）；受控预训练的检查点发布在 HuggingFace（startlux-models/Massive-Activations-HLA）；推理时分析依赖的M-A-P混合模型套件（340M/1.3B，覆盖5架构×多混合比）本身公开，预训练用Flash Linear Attention框架、语料为FineWeb-Edu（340M用20B tokens/50K batch，1.3B用100B tokens/1M batch，AdamW+cosine）。评估数据（WikiText-103、Scientific Papers、GSM8K、CodeSearchNet、FLORES-200、NIAH/SWDE/FDA等）全部公开，指标式(5)–(9)定义明确，附录给出检查点清单、层调度、超参与协议。算力门槛：推理时分析只需前向hook，340M–1.3B模型单卡即可，12个开源检查点中最大397B（Kimi K3级）需要多卡高显存环境，是一般复现者的主要障碍；受控预训练340M×10B与1.3B×50B tokens约需数十至数百GPU天，属中等规模、可负担。风险点：固定坐标分析中'代表性坐标'的选取带有一定主观性（尽管附录E.2提供了跨模型复现），以及下游小样本评估（NIAH每项单值、方差未报告）的稳定性。综合判断：推理时验证为低-中难度，完整复现受控预训练为中高难度但远低于前沿大模型训练。