HLA：基于分块级动态混合的高表达力混合线性注意力 HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing

第一步，token 级 GDN 转移：单层单头中，预卷积查询/键 $q_t,k_t$ 经短卷积和 $\ell_2$ 归一化得 $\bar{q}_t,\bar{k}_t$，状态 $S_t\in\mathbb{R}^{d_k\times d_v}$ 按 $S_t=A_tS_{t-1}+B_t$ 演化，$A_t=\exp(g_t)(I-\beta_t\bar{k}_t^\top\bar{k}_t)$，$B_t=\beta_t\bar{k}_t^\top v_t$。第二步，分块精确总结：把长度 $T$ 的序列切成 $N=\lceil T/L\rceil$ 个不超过 $L=256$ token 的分块，复合块内 token 级更新得到精确 $(A_j,B_j)$。第三步，池化代表键：每块按窗口 $p$ 分成 $P=L/p$ 个不重叠窗口，窗口内预卷积键经可学习投影 $W^{Q,r},W^{K,p},W^{V_p},W^{O_p}$ 做自注意力池化后均值池化，得到代表键 $\bar{k}^r_{j,b}$。第四步，打分与门控：对历史块 $j$，用 log-mean-exp 聚合查询与 $P$ 个代表键的相似度得 $s_{i,j}=\log\frac{1}{P}\sum_b\exp\!\big(q^r_i\bar{k}^{r\top}_{j,b}/\sqrt{d_k}\big)$，门控 $w_{i,j}=\sigma(s_{i,j})$；当前块 $w_{i,c(i)}=1$，未来块 $w_{i,j}=0$。第五步，查询条件状态：从 $S_{i,0}=0$ 按时间序应用 $S_{i,j}=[(1-w_{i,j})I+w_{i,j}A_j]S_{i,j-1}+w_{i,j}B_j$，再经当前块因果前缀转移 $S^{HLA}_i=A_{c(i),\le i}S_{i,c(i)-1}+B_{c(i),\le i}$，用原生读出 $\bar{q}_iS^{HLA}_i/\sqrt{d_k}$ 接不变的门控归一化与输出投影。第六步，训练目标 $\mathcal{L}=\mathcal{L}_{LM}+\lambda_b\mathcal{L}_{budget}+\lambda_s\mathcal{L}_{support}$：预算项惩罚历史路由总量 $G_i=\sum_{j<c(i)}w_{i,j}$ 超过 $K_b=3$ 的部分，支持项用归一化权重的有效支持数 $K^{eff}_i=(\sum_j\pi^2_{i,j})^{-1}$ 惩罚超过 $K_s=3$ 的分散路由（$\lambda_b=0.005$，$\lambda_s=0.001$），两者均不含当前块。第七步，推理：低于 $\theta=0.1$ 的门控置零且不重新归一化；置零后跳过对应恒等转移是精确的，直接减少仿射状态访存与计算。

技术新颖性有四点。其一，精确性：分块级 $(A_j,B_j)$ 不是近似摘要，而是 token 级更新复合而来的精确转移，使门控缩放具有明确语义（1 恢复原状、0 完全跳过），而非对模糊代理信号的软加权。其二，作用位置：把查询依赖引入状态转移复合过程本身，而非输出读出的凸组合——查询控制的是'历史如何被重放'，这在循环线性注意力文献中是新的设计点。其三，门控形式：独立 sigmoid 权重匹配仿射复合的代数结构，规避 softmax 求和为一约束对稀疏性的破坏，同时保持连续可微便于训练；当前块恒为权重 1 保证与原生 GDN 的兼容性（全置 1 即恢复原递推）。其四，稀疏化配套：借鉴 Hill 的 order-2 有效数构造 $K^{eff}=(\sum\pi^2)^{-1}$ 作为可微有效支持度量，与预算正则一起在训练期塑造稀疏路由，使推理期硬阈值造成的近似可控，且置零跳转可精确兑换成延迟收益。与 MHLA 的固定权重及混合架构'靠少量 softmax 层兜底'相比，HLA 在线性层内部解决选择性访问问题，与混合化正交、可叠加。

独立分析几点弱点。第一，规模递减效应：路由模块只学'怎么读历史'而不改'怎么写历史'，9B 上 LongBench-V2 仅 +1.19 pt；改进方向是解冻部分中间/高层骨干联合微调（贡献分析显示收益恰集中在中上层），或按层异构设置路由容量。第二，稀疏正则的全局副作用：$\mathcal{L}_{budget}$、$\mathcal{L}_{support}$ 把路由硬性压到约 3 个分块，伤害 FWE/CWE 这类需统计全篇词频的聚合任务（8K FWE 从 17.28 跌至 2.72）；改进方向是让 $K_b,K_s$ 由查询自适应预测，或对聚合型查询放宽约束、双通路并存。第三，固定阈值 $\theta=0.1$ 是手工超参且训练-推理不一致（训练连续、推理置零），可改为训练中模拟阈值化（直通估计或 $L_0$ 正则）或动态阈值。第四，分块粒度僵化：chunk 256 是检索粒度与上下文完整性的折中，对需要句子级精确检索或跨块推理的查询可能仍粗；可探索粗细两级层级分块状态。第五，缓存与延迟：$O(N(d^2+Pd))$ 缓存和解码 13.9–18.8% 开销在批量吞吐敏感场景被放大；可对 $A_j$ 做低秩/结构化近似，或深化 Triton/CUDA Graph 融合。第六，外推上限：32K 时 S1 也只有 67.4，远距离检索仍随长度衰减，缺乏对 128K+ 的验证。

作者提出的首要方向是把机制推向长程智能体工作负载：多轮工具使用、持久记忆、目标与观察持续累积而每次决策只引用少量历史的场景，最能检验查询依赖路由的价值。基于本文成果还可延伸：一是与混合架构正交叠加，在 Kimi Linear 式 3:1 线性/全注意力模型中对所有线性层启用 HLA，检验能否进一步降低全注意力层占比；二是把精确仿射转移表示推广到 GLA、Mamba/KDA 等其他循环线性注意力家族——只要递推可写成仿射形式即可复用该框架；三是从头训练更大规模模型并联合训练骨干，研究路由与记忆写入的协同进化，缓解规模递减；四是对 $A_j$ 做低秩或块结构近似以压缩 $O(Nd^2)$ 历史缓存，逼近纯 GDN 存储成本；五是把阈值化引入训练目标消除训练-推理不一致；六是在 128K+ 上下文与真实长文档、代码库基准上验证外推，并与检索增强、分层记忆等系统方向结合；七是研究理论性质——查询条件仿射复合这一类函数的表达力边界，以及稀疏路由与秩约束的交互。

复现条件较为友好。论文给出完整数学描述、两个算法伪代码（训练/prefill 与动态解码）以及 PyTorch 风格参考实现（含池化、打分、逆序历史读出、缓存管理的逐行代码），超参披露充分：预训练适配冻结骨干只训路由与池化模块，4096-token 序列、$L=256$、训练 $p=16$/评估 $p=32$、$K_b=K_s=3$、$\lambda_b=0.005$、$\lambda_s=0.001$、AdamW 峰值学习率 $10^{-4}$ 线性预热余弦衰减、推理阈值 $\theta=0.1$；从头训练为 1.3B 模型在 SlimPajama 上以 4K 上下文训 100B token，与 GDN 基线同批同优化预算。项目页为 https://caesarhhh.github.io/hla/，正文未明确给出开源代码仓库链接，训练代码是否释出需关注项目页。算力方面：路由适配只优化轻量模块，少量 GPU 即可完成，是性价比最高的复现路径；从头训练 100B token 需数十卡量级集群。附录的贡献分析需按公式 (14) 实现仿射分解并用扩展 GDN 值 $[v|0]$、状态初始化 $[0|I]$ 联合计算 $(A_j,B_j)$，作者声明已对每个分析层做数值校验。总体难度：适配实验中等，从头训练偏高（主要是算力），若官方 Triton/CUDA Graph 推理内核不开源，复现论文延迟数字需额外工程功夫。