MiniCPM-SALA：混合稀疏与线性注意力实现高效长上下文建模 MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling
首个将稀疏与线性注意力混合的9B参数模型，支持1M tokens上下文，推理速度提升3.5倍
前置知识
稀疏注意力（Sparse Attention）
稀疏注意力机制通过计算注意力矩阵中最重要的部分来降低计算复杂度。传统全注意力机制的计算复杂度为O(N²)，其中N是序列长度。稀疏注意力采用滑动窗口或全局锚点等策略，只计算最相关的token对之间的注意力权重。例如InfLLM-V2采用分层稀疏策略，在保持长距离信息检索能力的同时显著减少计算量。这种方法的主要优势是能够保持高保真的长上下文建模能力，但缺点是仍然需要存储完整的KV-Cache。
理解稀疏注意力是理解MiniCPM-SALA混合架构中25%稀疏注意力层设计的基础，它解决了线性注意力在长距离信息处理上的精度瓶颈问题。
线性注意力（Linear Attention）
线性注意力通过循环公式将计算复杂度从O(N²)降低到O(N)。它利用核函数近似softmax操作，将注意力计算分解为递归形式。Lightning Attention是其中的代表实现，它通过线性化softmax注意力来获得常数计算和内存复杂度。具体来说，它将注意力计算转换为状态更新形式：S_t = S_{t-1} + k_t * v_t^T，其中S_t是累积状态。这种设计使得模型在处理长序列时具有恒定的内存开销。
线性注意力是MiniCPM-SALA中75%层采用的核心技术，它提供了全局效率，但单独使用会导致信息损失和性能下降，因此需要与稀疏注意力配合。
KV-Cache
KV-Cache是Transformer在自回归生成过程中存储的历史token的Key和Value状态。对于8B参数模型，即使使用Grouped Query Attention（GQA），处理百万token时KV-Cache可能需要几十甚至上百GB显存。这是导致长序列推理内存瓶颈的主要原因。稀疏注意力虽然降低了计算量，但仍需存储完整KV-Cache；而线性注意力通过循环状态压缩，可以显著减少内存占用。
KV-Cache的内存占用是长上下文推理的核心挑战，MiniCPM-SALA通过混合架构在计算效率和内存效率之间取得平衡，使得在单张GPU上处理1M tokens成为可能。
HyPE（混合位置编码）
HyPE是一种混合位置编码策略，针对稀疏和线性注意力层采用不同的位置编码方案。在线性注意力层中应用Rotary Positional Embedding（RoPE），帮助模型保持token的相对位置信息；而在稀疏注意力层中移除RoPE，防止长距离信息衰减。这种设计平衡了位置感知和长距离信息保留：RoPE帮助线性注意力层理解序列顺序，而移除RoPE让稀疏注意力层能更精确地检索远距离信息。
HyPE是MiniCPM-SALA实现长度泛化能力的关键技术，使得模型在训练长度（520K）之外能成功扩展到2M tokens，且无需额外辅助技术如YaRN。
HALO（Hybrid Attention via Layer Optimization）
HALO是一种将预训练Transformer模型转换为混合注意力架构的框架。它通过层选择算法确定哪些层保留为softmax注意力（后续转换为稀疏注意力），哪些层转换为线性注意力。转换过程高效，仅需1.3B tokens训练，且只训练转换后的线性注意力层，其他参数保持冻结。这种方法避免了从头训练的巨大计算成本，可以复用预训练模型的权重和知识表示。
HALO是MiniCPM-SALA实现75%训练成本节省的核心框架，它使得从现有Transformer模型构建高性能混合模型成为可能，而无需从头训练。
研究动机
大语言模型向超长上下文应用发展面临严重的计算和内存瓶颈。传统Transformer的全注意力机制计算复杂度为O(N²)，当上下文扩展到百万token级别时，推理延迟急剧增加。具体而言，对于典型8B参数模型，即使使用GQA技术，处理百万token的KV-Cache仍需数十甚至上百GB显存。现有两种解决方案各有局限：稀疏注意力方法虽然降低了计算开销，但仍面临稀疏计算密集存储的困境，必须保留完整KV-Cache支持上下文信息检索；线性注意力利用循环公式将复杂度降至O(N)，但这种极端效率是通过有损压缩上下文信息实现的，不可避免地导致性能下降，特别是在长距离信息处理上表现不佳。实验表明，纯线性注意力模型在NoLiMa等长上下文基准测试中性能显著低于全注意力模型。
本文的目标是本文旨在开发一种混合架构，将稀疏注意力的高保真长上下文建模能力与线性注意力的全局效率相结合，实现既高效又高性能的长序列处理。具体目标包括：在单张消费级GPU上支持高达1M tokens的上下文长度；在256K序列长度下实现比全注意力模型快3.5倍的推理速度；保持与全注意力模型相当的通用能力；通过Transformer-to-hybrid转换范式将训练成本降低约75%。这些目标旨在解决现有方法在效率与性能之间的权衡问题，使长上下文模型在资源受限的边缘设备上也能部署。
与已有工作不同的是，MiniCPM-SALA的独特切入角度在于首次大规模验证稀疏与线性注意力混合架构的可行性。与现有工作相比，本文有三个关键创新：第一，采用1:3的混合比例（25% InfLLM-V2稀疏注意力+75% Lightning Attention线性注意力），通过层选择算法优化层放置；第二，采用Transformer-to-hybrid转换范式而非从头训练，复用预训练权重，将训练成本降至约25%；第三，引入HyPE混合位置编码，针对不同注意力类型采用不同位置编码策略。这种设计使得模型既能保持全注意力模型的通用能力，又能在长上下文任务上获得显著优势，实现了效率与性能的平衡突破。
核心方法
MiniCPM-SALA采用混合架构设计，整体思路是将高效稀疏注意力与全局线性注意力结合。具体来说，模型基于MiniCPM-4.0的中间检查点，通过HALO框架将标准Transformer转换为混合架构。转换后，25%的层采用InfLLM-V2稀疏注意力，负责高保真的长距离信息建模；75%的层采用Lightning Attention线性注意力，提供O(N)复杂度的全局效率。每层都保留FFN块确保知识表示能力。训练过程分为五个阶段：架构转换、持续稳定训练、短衰减训练、长衰减训练和监督微调，总训练量约2T tokens。技术路线包括HyPE混合位置编码、QK-Normalization和输出门等关键组件，共同提升模型稳定性和性能。
MiniCPM-SALA的核心创新在于稀疏与线性注意力的协同设计，与已有方法有本质区别。传统混合方法要么均匀交错两种注意力，要么采用固定比例，而本文通过HALO层选择算法优化层放置，确定哪些层最适合稀疏注意力。关键创新点包括：第一，采用1:3的混合比例而非1:1或2:1，基于小规模实验确定最优比例；第二，引入HyPE混合位置编码，对线性注意力层应用RoPE，对稀疏注意力层移除RoPE，分别优化位置感知和长距离信息保留；第三，采用输出门机制防止注意力坍塌问题；第四，通过转换范式而非从头训练，将预训练权重有效适配到混合架构。这些设计使得模型在256K序列下达到全注意力模型的3.5倍推理速度，同时在标准基准测试上保持76.53的平均得分，与全注意力模型相当。
方法步骤详情
MiniCPM-SALA的训练分为五个具体阶段：第一阶段是架构转换（HALO），使用1.3B tokens、512序列长度，将softmax注意力转换为线性注意力，仅训练转换后的线性注意力层，保持其他参数冻结。第二阶段是持续稳定训练，使用314.6B tokens、4K序列长度，禁用稀疏注意力，学习率设为7.5e-3，目的是协调转换后的线性注意力层与其他模型组件。第三阶段是短衰减训练，使用1006.6B tokens、4K序列长度，学习率从7.5e-3衰减到3.75e-4，重点增加高质量数据和PDF语料比例。第四阶段是长衰减训练，逐步扩展上下文长度：32K（102.2B tokens）、160K（62.9B tokens）、520K（50.6B tokens），启用稀疏注意力，学习率分别衰减到2e-4、1e-4、3.75e-5。第五阶段是监督微调，使用204.5B tokens（64K长度）和213.3B tokens（140K长度），包含推理密集型数据和合成长上下文数据，学习率从1e-3衰减到1e-4。
技术新颖性
MiniCPM-SALA的技术新颖性体现在多个层面。首先，它是首个大规模验证稀疏-线性混合注意力可行性的9B参数模型，证明了这种混合架构可以在保持通用能力的同时显著提升长上下文性能。其次，采用Transformer-to-hybrid转换范式，通过HALO框架实现从全注意力到混合架构的高效转换，训练成本仅为从头训练的25%。第三，引入HyPE混合位置编码，针对不同注意力类型采用差异化的位置编码策略，解决了传统位置编码在长序列中的衰减问题。第四，通过1:3的混合比例和层选择算法，优化了两种注意力机制的协同工作方式。第五，采用输出门机制，防止注意力坍塌问题，提升模型稳定性。这些技术创新共同使得模型在推理速度上达到全注意力模型的3.5倍，支持最高1M tokens的上下文长度，在单张消费级GPU上即可运行。
实验结果
MiniCPM-SALA在多个评估维度上展现了显著优势。在标准评估中，模型平均得分76.53，与全注意力模型Qwen3-8B（73.45）、MiniCPM-4.1-8B（76.13）相当，证明了混合架构不会损害通用能力。在长上下文评估中，模型在RULER基准上89.37（128K长度），显著优于其他模型；在NoLiMa基准上23.86（128K长度），远超其他基线。在超长上下文评估中，模型成功外推到2048K tokens，得分81.6，甚至超越了参数更多的Qwen3-Next-80B-A3B-Instruct（80.3，1000K长度）。推理速度测试显示：在NVIDIA A6000D上，256K序列长度下，MiniCPM-SALA的TTFT为51.6秒，比Qwen3-8B的180.8秒快3.5倍；在512K和1024K长度下，Qwen3-8B因OOM失败，而MiniCPM-SALA仍能正常运行。在消费级RTX 5090上，MiniCPM-SALA成功支持1M tokens上下文，而Qwen3-8B在128K长度就因OOM失败。量化测试进一步证实了模型在资源受限环境下的实用性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 标准知识评估 | CMMLU平均分 | 81.55 | Qwen3-8B: 81.68, MiniCPM-4.1-8B: 84.72 | 与全注意力模型相当，证明混合架构保持通用能力 |
| 长上下文理解 | RULER 128K | 89.37 | Qwen3-8B: 71.74, Nemotron-Nano-v2-9B: 68.01 | 提升约25%，显著优于其他模型 |
| 长距离信息检索 | NoLiMa 128K | 23.86 | Qwen3-8B: 11.25, Nemotron-Nano-v2-9B: 5.80 | 提升约112%，优势尤为明显 |
| 超长上下文外推 | RULER 2048K | 81.6 | Qwen3-Next-80B-A3B-Instruct: 80.3 (1000K) | 参数更少但性能更优，展现长度泛化能力 |
| 推理速度 | TTFT 256K (A6000D) | 51.6秒 | Qwen3-8B: 180.8秒 | 提升3.5倍推理速度 |
| 内存效率 | 最大支持上下文长度 | 1M tokens | Qwen3-8B: 512K (OOM) | 支持2倍更长上下文，突破内存限制 |
局限与改进
尽管MiniCPM-SALA取得了显著成果，但仍存在一些局限性。首先，模型在某些标准基准测试上略低于最佳基线，例如MMLU-Pro得分67.04，低于Qwen3-8B的73.26，表明混合架构在特定任务上可能牺牲少量精度。其次，训练过程虽然节省了75%成本，但仍需约2T tokens的训练量，对计算资源要求较高。第三，模型的长度泛化能力虽然出色，但在超过520K训练长度后性能仍有下降，从89.4（128K）降到81.6（2048K）。第四，论文未详细讨论模型在实际应用场景中的表现，如代码仓库分析或长文档理解的具体案例。此外，模型的可解释性有限，稀疏注意力层的选择机制和层间交互仍需进一步分析。最后，虽然模型支持量化部署，但量化对性能的影响细节未充分探讨。
独立分析的弱点
从独立分析的角度，MiniCPM-SALA存在几个可改进的弱点。首先，混合比例固定为1:3可能不是最优选择，不同任务或数据分布可能需要动态调整稀疏与线性注意力的比例，未来可以探索自适应混合策略。其次，HALO层选择算法基于小规模实验确定，对于不同架构或数据特性可能不是最优，可以考虑引入元学习或强化学习进行层选择优化。第三，HyPE混合位置编码中，稀疏注意力层完全移除RoPE可能损失位置信息，可以探索更精细的位置编码方案，如相对位置编码的变体。第四，模型的训练数据配比（如L2高质量数据、PDF语料、L3合成数据）未进行充分消融研究，最优数据策略可能进一步提升性能。第五，推理优化方面，虽然展示了速度提升，但未讨论批处理效率和多请求并发场景，实际部署可能面临挑战。
未来方向
基于MiniCPM-SALA的成果，未来研究可以从多个方向展开。首先，可以探索更灵活的混合架构设计，例如根据输入序列长度动态调整稀疏与线性注意力的比例，实现计算资源的自适应分配。其次，可以研究更高效的层选择算法，利用神经架构搜索或进化算法自动发现最优层配置。第三，可以扩展模型规模，验证混合架构在更大参数量（如70B、130B）上的扩展性。第四，可以探索混合架构与其他效率技术的结合，如知识蒸馏、模型压缩、推测解码等。第五，可以研究混合架构在多模态任务中的应用，如长视频理解、多文档处理等。第六，可以探索更细粒度的注意力混合，例如在单个注意力头内混合稀疏与线性模式。最后，可以研究混合架构的训练动态，理解稀疏与线性注意力层之间的协同学习机制。
复现评估
从复现评估角度看，MiniCPM-SALA的复现难度较高。模型权重已开源在HuggingFace（openbmb/MiniCPM-SALA）和GitHub（OpenBMB/MiniCPM），提供了良好的基础。然而，训练过程需要约2T tokens的数据和大量计算资源，从头复现需要显著投入。论文提供了详细的训练阶段描述（五个阶段，每个阶段的具体参数），但未开源训练数据和完整训练脚本。HALO框架和HyPE位置编码的实现细节在论文中有描述，但具体超参数和实现可能依赖内部代码库。评估使用OpenCompass框架，这是可复现的，但长上下文评估基准（RULER、MRCR、NoLiMa）需要专门设置。总体而言，模型推理复现较容易，但完整训练复现具有挑战性，需要充足的计算资源和数据准备。
论文图表
表4展示了模型在超长上下文（128K-2048K tokens）上的评估结果。MiniCPM-SALA在RULER基准上：128K得分89.4，512K得分87.1，1000K得分86.3，2048K得分81.6。对比Qwen3-Next-80B-A3B-Instruct（30B参数）：1000K得分80.3。MiniCPM-SALA以更少参数实现了更优性能。
这个表格证明了模型的长度泛化能力，展示了在训练长度（520K）之外的性能表现，是评估模型实际应用潜力的关键指标。