MiMo-V2-Flash技术报告：高效混合注意力MoE大语言模型 MiMo-V2-Flash Technical Report
小米309B参数MoE模型，混合滑动窗口注意力+多教师蒸馏，推理提速2.6×
前置知识
混合注意力机制
交替使用局部滑动窗口注意力（SWA）和全局注意力（GA）的架构。SWA限制每个token只关注局部窗口内的token，将计算复杂度从O(n^2)降到O(n*w)，其中w是窗口大小。GA则允许token关注整个序列，捕捉长距离依赖。通过合理设置SWA:GA比例（如5:1），可以大幅降低KV缓存存储和计算开销。
本文核心创新点，需要理解如何在保持模型性能的同时大幅减少长上下文建模的计算成本。
注意力sink偏置
在每个注意力头的softmax分母中引入可学习的偏置参数s_sink，使得模型可以在必要时将注意力权重分配给虚拟的sink token而非真实token。这允许模型在不关注任何token时保持数值稳定，解决了激进SWA的长上下文建模能力问题。
本文使激进滑动窗口（仅128-token）成为可能的关键技术，理解它对于理解本文架构选择至关重要。
多教师在线策略蒸馏（MOPD）
一种三阶段后训练范式：先进行通用SFT，再训练领域专业教师模型（通过RL），最后学生模型通过在线RL学习多个教师的专门能力。核心是使用反向KL散度损失，学生从自身分布采样并接受教师的token级监督。
本文提出的创新训练范式，解决了传统后训练中的能力失衡和学习低效问题。
多token预测（MTP）
除了预测下一个token外，同时预测后续多个token的训练目标。在推理时，MTP头可以作为草稿模型进行投机解码：先生成多个候选token，然后用主模型并行验证，大幅提升吞吐量。接受长度与上下文不确定性相关，低熵场景可达到3.6 token的接受长度。
本文实现2.6倍推理加速的关键技术，也是RL训练加速的重要手段。
研究动机
现有的大语言模型在长上下文建模中面临严重的计算效率问题。全注意力机制的复杂度为O(n^2)，当上下文长度扩展到256K时，KV缓存和注意力计算成为巨大瓶颈。特别是在需要长上下文的推理和智能体工作流中，模型必须同时具备快速处理和强健推理的能力。当前的开源模型如DeepSeek-V3.2和Kimi-K2虽然性能强劲，但参数规模巨大（分别671B和1043B总参数），部署成本高昂。此外，传统后训练方法存在能力失衡问题，提升一个技能往往导致其他技能下降，以及学习低效问题，未能充分利用来自多个专业模型的训练信号。
本文的目标是本文目标是构建一个高效、成本效益好的大语言模型，在保持强推理和智能体性能的同时实现快速推理。具体来说，MiMo-V2-Flash旨在：通过混合滑动窗口注意力架构大幅降低长上下文建模的计算复杂度；引入轻量级MTP模块实现投机解码加速；提出MOPD范式高效整合多个专业领域教师的能力；最终在参数规模显著小于顶级开源模型的情况下（309B vs 671B/1043B），达到甚至超越其性能水平。
与已有工作不同的是，本文的独特切入角度在于系统性地解决长上下文建模的效率问题，而非单纯增加参数量。与之前使用稀疏注意力或传统混合注意力的工作不同，本文通过引入可学习的注意力sink偏置，使得极其激进的128-token滑动窗口和5:1的SWA:GA比例成为可能，这在之前的工作中会导致严重的性能下降。同时，MOPD范式将多教师知识融合建模为在线强化学习过程，避免了传统参数合并或离线蒸馏的暴露偏差和分布不匹配问题，这是一个新颖的视角。
核心方法
MiMo-V2-Flash采用混合滑动窗口注意力架构，交替使用128-token的滑动窗口注意力和全局注意力，比例为5:1，将KV缓存存储和注意力计算降低近6倍。模型包含8个混合块，每个块包含5个SWA层和1个GA层，总共39层SWA和9层GA。每层使用256个MoE专家，每个token激活8个专家。训练分为三阶段：第一阶段使用32K上下文在27T token上预训练；第二阶段增加代码和合成推理数据；第三阶段将上下文扩展到256K。后训练采用MOPD三阶段范式：先进行通用SFT，再训练领域专业教师模型（代码、搜索、数学、推理、安全等），最后通过在线RL整合多个教师的能力。MTP模块使用密集FFN和SWA，参数仅0.33B，在推理时作为草稿模型实现投机解码。
核心创新点包括三个方面：首先，通过引入可学习的注意力sink偏置，使得使用仅128-token的滑动窗口和5:1的SWA:GA激进比例成为可能，这在之前的工作中会导致严重的性能下降。注意力sink允许模型在不需要关注任何token时保持数值稳定，解决了激进SWA的长上下文建模能力问题。其次，MOPD将多教师知识融合建模为在线强化学习过程，学生从自身分布采样并接受教师的token级监督信号，避免了传统离线蒸馏的暴露偏差。第三，轻量级MTP设计使用密集FFN而非MoE，使用SWA而非GA，使其成为高效的草稿模型，在推理时实现高达2.6倍的加速。
方法步骤详情
预训练分为三个阶段。第一阶段（0-22T token）：在32K上下文长度上训练多样化高质量语料库，建立强基础语言能力，学习率从3.2e-4线性warmup后保持恒定，然后cosine衰减到1.0e-4。第二阶段（22-26T token）：修改数据混合比例，上采样代码数据并加入约5%合成推理数据，增强逻辑推理和程序合成能力，学习率从1.0e-4cosine衰减到3.0e-5。第三阶段（26-27T token）：将上下文窗口扩展到256K token，上采样长依赖数据，学习率从3.0e-5cosine衰减到1.0e-5。后训练MOPD包含：Stage 1 SFT建立基础指令遵循能力；Stage 2训练领域专业教师模型，代码智能体在12万个真实GitHub issue上训练，搜索智能体在15万个任务上训练，数学和推理智能体通过可验证奖励优化；Stage 3 MOPD在线蒸馏，学生模型从自身分布采样，接受教师的token级KL散度奖励和结果级ORM奖励。
技术新颖性
技术新颖性体现在四个方面。第一，本文首次系统性地探索了可学习注意力sink偏置在激进混合SWA架构中的作用，证明128-token窗口配合sink偏置可以超越全注意力基线，这与之前认为小窗口会导致性能下降的直觉相反。作者提出小窗口起到正则化作用，迫使模型专注局部上下文，同时将长距离依赖委托给全局注意力层，实现了更清晰的分工。第二，MOPD范式是首次将多教师知识融合建模为在线强化学习过程，避免了参数合并的能力权衡和离线蒸馏的分布不匹配。第三，轻量级MTP设计专门为投机解码优化，使用密集FFN和SWA而非MoE和GA，避免了成为新的推理瓶颈。第四，本文展示了大规模代码智能体RL训练的广泛泛化性，代码智能体训练不仅提升SWE-Bench性能，还泛化到数学、推理和一般智能体任务，说明智能体训练发展了广泛可迁移的问题解决能力。
实验结果
在基准测试中，MiMo-V2-Flash-Base在推理任务上超越同规模基线：MMLU-Pro达到73.2%（Kimi-K2-Base 69.2%，DeepSeek-V3.2-Exp-Base 62.1%），GPQA-Diamond达到55.1%（Kimi-K2-Base 48.1%，DeepSeek-V3.2-Exp-Base 52.0%），AIME 24&25达到35.3%（Kimi-K2-Base 31.6%，DeepSeek-V3.2-Exp-Base 24.8%）。在SWE-Bench（AgentLess Repair）上，MiMo-V2-Flash-Base达到30.8%，超越了参数大得多的Kimi-K2-Base（28.2%）。长上下文方面，混合SWA架构在32K到256K范围内实现近100%的检索成功率（NIAH-Multi），在极端长上下文推理基准GSM-Infinite上，从16K到128K的性能衰减很小（37.7%到29.0%），相比之下DeepSeek-V3.2-Exp在32K达到最高但在64K和128K显著下降（41.5%到28.7%）。MOPD后训练后，模型在多个基准上达到顶尖性能：AIME 2025达到94.1%，SWE-Bench Verified达到73.4%，SWE-Bench Multilingual达到71.7%，LiveCodeBench-v6达到85.1%。MTP推理加速在不同批量下实现1.82倍到2.70倍的加速，接受长度达到3.6 token。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMLU-Pro | 准确率 | 73.2% | Kimi-K2-Base: 69.2%, DeepSeek-V3.2-Exp-Base: 62.1% | 分别提升4.0和11.1个百分点 |
| GPQA-Diamond | 准确率 | 55.1% | Kimi-K2-Base: 48.1%, DeepSeek-V3.2-Exp-Base: 52.0% | 分别提升7.0和3.1个百分点 |
| AIME 24&25 | 准确率 | 35.3% | Kimi-K2-Base: 31.6%, DeepSeek-V3.2-Exp-Base: 24.8% | 分别提升3.7和10.5个百分点 |
| SWE-Bench Verified | 解决率 | 73.4% | Kimi-K2-Thinking: 71.3%, DeepSeek-V3.2-Thinking: 73.1%, GPT-5 High: 74.9% | 超越所有开源模型，接近GPT-5 High |
| SWE-Bench Multilingual | 解决率 | 71.7% | Kimi-K2-Thinking: 61.1%, DeepSeek-V3.2-Thinking: 70.2%, Claude Sonnet 4.5: 68.0% | 最佳开源性能 |
| GSM-Infinite (Hard, 128K) | 准确率 | 29.0% | Kimi-K2-Base: 8.8%, DeepSeek-V3.2-Exp-Base: 25.7% | 相比64K到128K衰减较小，鲁棒性强 |
| NIAH-Multi (256K) | 检索成功率 | 96.7% | Kimi-K2-Base: 无法支持，DeepSeek-V3.2-Exp-Base: 无法支持 | 支持更长上下文且性能稳定 |
| 推理加速 | 加速比 | 2.6x (接受长度3.6, 批量64) | 无MTP: 1.0x | 无需额外硬件成本 |
局限与改进
作者承认模型与最强的闭源模型仍存在明显差距，特别是知识容量方面受限于参数数量，在SimpleQA上表现不如更大的模型（MiMo-V2-Flash-Base 20.6% vs Kimi-K2-Base 35.3%）。同时，本文的架构探索仍然初步，对设计权衡的分析有限。我观察到，注意力sink的理论机制仍不完全清楚，尽管效果显著，但缺乏深入的理论解释。MOPD虽然避免了传统权衡，但在某些任务上仍观察到轻微的技能回归，例如在Creative Writing上从90.1%降到86.2%，说明完美的能力整合仍是挑战。此外，混合SWA架构在超长上下文（超过256K）下的可扩展性尚未验证，可能需要调整SWA:GA比例或窗口大小。
独立分析的弱点
模型的主要弱点体现在知识容量受限和某些泛化场景下的不足。在知识密集型任务如SimpleQA上，模型表现明显落后于更大的基线模型（20.6% vs 35.3%），这直接源于其较小的活跃参数规模（15B vs 32B/37B）。改进方向可以是增加参数规模或引入更高效的知识存储机制，如检索增强生成（RAG）或知识蒸馏。在开放域写作任务如Arena-Hard Creative Writing上，模型相比部分基线有所下降（从90.1%到86.2%），这可能是由于MOPD过度强化了推理和智能体能力，牺牲了一定的创造性。改进方向可以在MOPD中增加创造力相关任务的教师权重，或在训练数据中平衡创造性和准确性。混合SWA架构在极端长上下文（如512K或1M）下的鲁棒性尚未验证，可能需要动态调整窗口大小或引入更多全局注意力层。此外，MTP的接受长度与任务类型相关（WebDev可达3.6，MMLU Pro仅约2.9），在高不确定性场景下加速效果有限，可以探索自适应MTP层数或基于上下文熵的动态调整。
未来方向
作者提出的未来工作包括：通过扩大模型规模和训练计算来缩小与最强闭源模型的差距；设计更鲁棒高效、面向智能体的模型架构；扩展MOPD中教师和学生的迭代协同进化计算，充分释放其潜力。基于本文成果，未来可以探索多个方向：第一，深入分析注意力sink的理论机制，理解为什么它能有效补偿激进SWA的信息损失，这可能推动更高效的稀疏注意力架构设计。第二，将MOPD扩展到更多领域和任务类型，探索自动教师选择和权重分配机制，实现更灵活的多教师集成。第三，研究混合SWA架构在超长上下文（如512K或1M）下的可扩展性，可能需要动态调整窗口大小或引入层级化注意力结构。第四，优化MTP设计，探索基于上下文熵的自适应MTP层数或预测长度，进一步提升加速效果。第五，研究智能体训练的广泛泛化机制，理解为什么代码智能体训练能泛化到数学和推理任务，这可能揭示智能体能力的本质。第六，探索MOPD与现有对齐方法（如RLHF、DPO）的结合，实现更全面的模型能力提升。
复现评估
模型权重和3层MTP权重已在GitHub开源（https://github.com/XiaomiMiMo/MiMo-V2-Flash），这是高度开源的实践。预训练使用了27T token，包括公开网络内容、书籍、学术论文、代码、数学和STEM材料，数据处理pipeline主要遵循MiMo-7B。后训练数据规模巨大，包括数百万SFT样本、12万个代码智能体任务、15万个搜索智能体任务等。训练计算需求极高，预训练使用FP8混合精度，需要大规模GPU集群。RL训练基础设施基于SGLang（推理引擎）和Megatron-LM（训练引擎），实现了Rollout Routing Replay (R3)、Data Scheduler和Tool Manager等扩展模块。复现难度很高，主要挑战在于数据规模和计算资源。作者提供了详细的模型配置、训练超参数和评估设置，有利于学术界的研究。然而，完整的复现需要访问大规模GPU集群和专有的RL训练环境，这对大多数研究机构来说是难以实现的限制。
论文图表
