Step 3.5 Flash：以 11B 激活参数实现开源前沿级智能 Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters
196B MoE 模型仅激活 11B 参数，通过架构与 RL 创新达到 GPT-5.2 水平
前置知识
Mixture-of-Experts (MoE)
混合专家模型是一种稀疏激活架构，每一层包含多个独立的前馈网络（称为'专家'），通过路由机制（router）为每个 token 选择性地激活其中少数几个专家进行计算。这种方式使得模型总参数量可以非常大（如本文的 196B），但每个 token 实际参与计算的参数量很小（本文仅 11B），从而在保持强大建模容量的同时显著降低推理成本。路由通常采用 top-k 策略，即根据路由概率选择得分最高的 k 个专家。MoE 的核心挑战包括负载均衡（避免部分专家过载而其他闲置）和训练稳定性（专家坍塌、激活爆炸等）。
本文采用 288 个路由专家 + 1 个共享专家的细粒度 MoE 设计，理解 MoE 的工作原理是理解本文架构选择和训练挑战的基础。
Sliding Window Attention (SWA)
滑动窗口注意力是一种线性复杂度的注意力机制，每个 token 只关注其前后固定窗口大小（本文设为 W=512）内的 token，而非整个序列。相比标准全注意力的 $O(n^2)$ 复杂度，SWA 的复杂度为 $O(n \cdot W)$，在长序列场景下能大幅减少计算量和内存占用。SWA 保留了标准注意力的语义，天然兼容基于 KV masking 的投机解码（speculative decoding），因此在推理效率上优于线性注意力等替代方案。
本文采用 3:1 的 SWA 与全注意力交错布局，SWA 是实现长上下文高效处理的核心机制，直接影响模型的推理延迟和吞吐量。
Multi-Token Prediction (MTP)
多 Token 预测是一种训练范式，要求模型在每个位置不仅预测下一个 token，还要同时预测后续若干个 token。本文的 MTP-3 设计附加了 3 个轻量级预测头，每个头仅增加约 0.81B 参数。MTP 的核心价值在于支持投机解码：在推理时，MTP 头可以快速生成候选 token，主模型并行验证，从而减少自回归生成的步数。为控制训练开销，主训练阶段仅优化 MTP-1，后训练阶段再将 MTP-2 和 MTP-3 从 MTP-1 克隆初始化并联合微调。
MTP 是本文实现低延迟推理的关键技术之一，使模型在 Hopper GPU 上达到约 170 tokens/s 的吞吐量，对智能体的多轮交互场景至关重要。
Reinforcement Learning from Verifiable Rewards (RLVR)
基于可验证奖励的强化学习是一种利用可客观验证的奖励信号（如数学答案的正确性、代码的测试通过率）来优化语言模型策略的训练方法。与依赖人类偏好的 RLHF 不同，RLVR 的奖励信号是确定性的、可复现的，因此更适合数学推理、编程等需要精确性的任务。本文在 RLVR 的基础上进一步引入了 MIS-PO 方法来解决长推理链场景下策略梯度方差过大的问题。
RLVR 是本文后训练流程的核心组成部分，MIS-PO 是本文的关键算法创新，理解 RLVR 的基本框架是理解这些贡献的前提。
Head-wise Gated Attention
头级门控注意力为每个注意力头分配一个轻量的、输入依赖的标量门控值 $g_i = \sigma(\mathbf{w}_{\text{gate}}^\top \mathbf{x}_i)$，用于动态调节该头的输出。这可以看作引入了数据依赖的 sink token：当输入窗口中没有有用信息时，门控值趋近于零，注意力输出被抑制，避免了将注意力浪费在无关 token 上。相比传统的固定 sink token（与输入无关），头级门控能根据每个输入动态调整，理论上和实践中都更有效。该机制几乎不增加计算开销和延迟。
这是本文在注意力机制上的关键创新，在 100B-A10B 模型上相比固定 sink token 提升了 1.97 个百分点的平均性能，是弥补 SWA 性能退化的重要手段。
MIS-PO (Metropolis Independence Sampling-Filtered Policy Optimization)
MIS-PO 是本文提出的 RL 优化方法，灵感来自 Metropolis 独立采样。与传统重要性采样（用连续比率缩放梯度、方差大）不同，MIS-PO 在 token 级和轨迹级两个粒度上应用二元掩码来过滤偏离目标分布的样本：token 级过滤概率比率超出 $[\rho_{\min}, \rho_{\max}]$ 的 token，轨迹级丢弃几何均值比率偏离过大的整条轨迹。保留的样本被视为'有效 on-policy'，从而大幅降低梯度方差。这使得 RL 在 MoE 模型的长推理链场景中能够稳定训练。
MIS-PO 是本文解决 MoE 模型大规模 RL 训练不稳定问题的核心方案，相比 PPO 和 GSPO 在样本效率和训练稳定性上均有显著优势。
研究动机
当前开源大语言模型在可验证任务上已逐步缩小与闭源前沿系统的差距，但在复杂推理和智能体（agentic）场景中仍存在明显不足。具体而言，开源模型在数学竞赛（如 AIME、IMO）、代码生成（如 LiveCodeBench）和长周期工具使用（如 BrowseComp、Terminal-Bench）等任务上落后于 GPT-5.2 xHigh、Gemini 3.0 Pro 等闭源前沿模型。此外，现有 MoE 模型面临严重的效率瓶颈：长上下文场景下的自回归延迟过高，导致多轮智能体交互的 wall-clock 时间过长；专家并行（EP）部署中的路由不平衡引发 straggler 问题，降低吞吐量。在训练层面，当前 RL 方法在 MoE 模型的长推理链场景中面临梯度方差爆炸问题——推理轨迹越长，token 级概率偏差累积越严重，加上 MoE 路由引起的分布偏移，优化极不稳定。
本文的目标是本文的目标是构建一个兼具前沿级智能和高推理效率的开源模型。具体来说，Step 3.5 Flash 旨在：（1）以仅 11B 激活参数实现与 GPT-5.2 xHigh、Gemini 3.0 Pro 等闭源模型相当的推理能力；（2）通过架构-系统协同设计将推理延迟降至最低，支持智能体在工业场景中的大规模部署；（3）设计一套可扩展的 RL 训练方案，使 MoE 模型能在长推理链场景中稳定地自我改进。
与已有工作不同的是，本文的独特切入角度在于'模型-系统协同设计'（model-system co-design）。不同于传统方法将架构设计和系统优化分开考虑，Step 3.5 Flash 从智能体工作负载的特征出发（大量上下文预填充 + 长周期多轮交互解码），沿注意力、稀疏 MoE、多 Token 预测三个耦合轴联合优化延迟。具体地，选择 SWA 而非线性注意力是因为前者天然兼容投机解码；选择 GQA-8 是因为 8 个 KV 头与 8 路张量并行对齐；选择 MTP 是因为它同时服务于训练目标和推理加速。在训练方面，本文提出了 MIS-PO 替代传统重要性采样，通过离散掩码而非连续比率来处理 off-policy 样本，从根本上降低了长推理链场景的梯度方差。这种'从智能体需求倒推技术选择'的思路是区别于已有工作的核心差异。
核心方法
Step 3.5 Flash 的整体技术路线可以概括为三个阶段：架构设计、预训练与中期训练、后训练。在架构层面，采用 45 层稀疏 MoE Transformer（3 个稠密层 + 42 个 MoE 层），每层包含 288 个路由专家和 1 个共享专家，top-k=8 激活，总参数 196B、激活参数 11B。注意力采用 3:1 的 SWA/全注意力交错布局，SWA 窗口大小 W=512，并通过增加 SWA 查询头数（64 到 96）和头级门控注意力来弥补混合注意力的性能退化。在训练层面，预训练阶段使用 Muon 优化器在 17.2T 高质量 token 上训练，中期训练阶段将上下文窗口从 32k 扩展到 128k 并强化智能体能力。后训练阶段采用两阶段 SFT + 大规模 RL 的方案，其中 RL 使用本文提出的 MIS-PO 方法，配合可验证奖励和生成式奖励模型，实现数学、代码、工具使用等多领域的自我改进。
本文的核心创新点有三个层面。第一是架构层面的'效率-容量'协同设计：通过 SWA/全注意力交错布局将注意力计算量降低到全注意力的约 1/3（prefill FLOPs 从 2.90 降至 1.00），同时通过增加 SWA 查询头和头级门控机制弥补质量损失，最终在 LongCtx 评测上仅比全注意力低 0.6 个点。第二是训练层面的稳定性工程：通过微批次级异步监控系统提前发现并缓解三类 MoE 训练故障模式（Muon 数值敏感性、专家坍塌、局部激活爆炸），实现 17.2T token 训练中仅出现一次 loss spike。第三是 RL 层面的 MIS-PO 方法：与 PPO 的连续重要性采样不同，MIS-PO 用二元掩码在 token 和轨迹两个层级过滤 off-policy 样本，将有效样本视为 on-policy 进行优化，大幅降低了梯度方差。在 MoE 模型上，MIS-PO 不仅比 PPO 更稳定，还比同样针对方差问题的 GSPO 在样本效率和训练-推理一致性上表现更优。
方法步骤详情
Step 3.5 Flash 的训练流程分为以下步骤：（1）预训练阶段 1：在 14.6T token 的广泛开放域数据上以 4k 上下文进行预训练，使用 Muon 优化器，学习率从 0 线性预热到 $2.5 \times 10^{-4}$ 后余弦衰减到 $5 \times 10^{-5}$，batch size 从 4096 逐步增加到 16384。（2）预训练阶段 2：退火阶段，数据混合向代码和 PR/Issue/Commit 数据倾斜，在 4k 上下文训练 2T token 后切换到 32k 上下文训练 1T token，初始化长上下文能力。（3）中期训练阶段 1：在 32k 上下文下以 386B token 进行专业化训练，重点强化软件工程和工具使用能力。（4）中期训练阶段 2：将上下文扩展到 128k，用 364B token 进行长上下文专业化训练，包括合成长推理数据和自然长文档。（5）SFT 阶段：两阶段 SFT，第一阶段覆盖数学、代码、STEM、逻辑、通用 QA、代码智能体、工具使用、搜索智能体和长上下文理解共 871k 样本 7.23B token；第二阶段注入 OOD 信号（30k 专家级化学轨迹和合成算术任务）以激发潜在能力。（6）领域专用 RL：分别针对数学、代码、STEM、工具使用、长上下文理解、人类偏好和智能体推理进行领域专用 RL 训练。（7）自蒸馏：用专家模型生成高质量轨迹，通过拒绝采样整合到统一学生模型中。（8）全局 RL：使用 MIS-PO 在所有领域上进行可验证奖励和非可验证奖励的大规模 RL 训练，token 级过滤边界为 [0.5, 2]，轨迹级边界为 [0.996, 1.001]。
技术新颖性
本文的技术新颖性体现在多个方面。首先，EP-Group 均衡负载策略是一个新的 MoE 负载均衡损失 $\mathcal{L}_{EP} = G \sum_{g=1}^{G} f_g p_g$，它在专家并行组级别（而非传统的方法在单个专家级别）显式促进均匀的 rank 利用率，解决了 loss-free 负载均衡在 EP 场景下无法保证微批次级负载均衡的问题。其次，头级门控注意力从数学上等价于引入数据依赖的 sink token：$\mathbf{o}_{\text{gate}} = \sum_j \frac{\exp(s_{i,j})}{Z_i + e^{-g_i} Z_i} \mathbf{v}_j$，其中 $e^{-g_i} Z_i$ 充当动态 sink 质量，这比固定 sink token 更灵活且效果更好（+1.97%）。第三，MIS-PO 将 Metropolis 独立采样的思想引入 RL 策略优化，通过离散掩码替代连续重要性采样比率，在 token 级（$x_t = \pi_{\theta_{\text{old}}}(a_t|s_t) / \pi_{\theta_{\text{vllm}}}(a_t|s_t)$）和轨迹级（$\bar{\rho}(\tau)$）两个粒度进行分布过滤，这是一个在 LLM RL 领域全新的优化范式。第四，关于局部激活爆炸的分析揭示了 MoE 训练中一个此前未被充分关注的故障模式：SwiGLU 结构中 gate 和 up 投影的高对齐度可产生稀疏激活的极端幅值，配合 pre-norm 和 Muon 优化器的低秩更新放大效应，导致个别专家的输出范数无界增长，而训练 loss 完全无法反映这一内部不稳定性。
实验结果
Step 3.5 Flash 在推理和智能体任务上均达到了前沿水平。在推理任务上，AIME 2025 达到 97.3%（GPT-5.2 xHigh 为 95.0%，Gemini 3.0 Pro 为 96.1%），HMMT 2025 Feb. 达到 98.4%，IMO-AnswerBench 达到 85.4%（DeepSeek V3.2 为 78.3%），LiveCodeBench-v6 达到 86.4%（Kimi K2.5 为 84.8%，Claude Opus 4.5 为 87.7%）。在智能体任务上，tau2-Bench 达到 88.2%（GPT-5.2 xHigh 为 92.5%），BrowseComp（带上下文管理）达到 69.0%（GPT-5.2 xHigh 为 57.8%），Terminal-Bench 2.0 达到 51.0%（DeepSeek V3.2 为 46.4%）。在代码智能体上，SWE-Bench Verified 达到 74.4%（Gemini 3.0 Pro 为 76.2%）。在预训练评测上，Step 3.5 Flash Base（11B 激活/196B 总参数）在 SimpleQA 上达到 31.6%，超过 DeepSeek-V3.2-Exp Base（27.0%，671B 总参数），展现了极高的参数效率。RL 训练带来的提升显著：IMO-AnswerBench +3.2%，CF-Div2-Stepfun-cpp +6.1%，ARC-AGI-1 +10.6%，HLEtext +3.4%。工具集成推理进一步提升性能：AIME 2025 从 97.3% 提升到 99.8%（+2.5），HMMT 2025 Nov. 从 94.0% 提升到 98.0%（+4.0）。在工具使用增益（Delta tool）方面，Step 3.5 Flash 以平均 52.0 的增益领先所有对比模型，表明其最善于利用外部信息弥补知识不足。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2025（数学竞赛） | pass@1（avg@64） | 97.3% | GPT-5.2 xHigh 95.0% / Gemini 3.0 Pro 96.1% | 超越 GPT-5.2 xHigh 2.3 个百分点 |
| IMO-AnswerBench（数学推理） | pass@1（avg@8） | 85.4% | DeepSeek V3.2 78.3% / Gemini 3.0 Pro 83.3% | 超越 DeepSeek V3.2 7.1 个百分点 |
| LiveCodeBench-v6（代码生成） | pass@1（avg@8） | 86.4% | Kimi K2.5 84.8% / GPT-5.2 xHigh 87.7% | 超越 Kimi K2.5 1.6 个百分点 |
| tau2-Bench（工具使用） | 平均得分 | 88.2% | GPT-5.2 xHigh 92.5% / Gemini 3.0 Pro 90.7% | 接近前沿水平，超越 Kimi K2.5（85.2%）3.0 个百分点 |
| BrowseComp（带上下文管理） | pass@1（avg@3） | 69.0% | GPT-5.2 xHigh 57.8% / Gemini 3.0 Pro 74.9% | 超越 GPT-5.2 xHigh 11.2 个百分点 |
| Terminal-Bench 2.0（终端交互） | avg@8 | 51.0% | DeepSeek V3.2 46.4% / GPT-5.2 xHigh 59.3% | 超越 DeepSeek V3.2 4.6 个百分点 |
| SWE-Bench Verified（软件工程） | avg@4 | 74.4% | DeepSeek V3.2 73.8% / GPT-5.2 xHigh 80.9% | 超越 DeepSeek V3.2 0.6 个百分点 |
| SimpleQA（预训练知识） | 5-shot accuracy | 31.6% | DeepSeek-V3.2-Exp Base 27.0% | 在仅 196B 参数下超越 671B 参数的 DeepSeek V3.2 Exp 4.6 个百分点 |
局限与改进
作者在论文第 7 节明确承认了三个主要局限性。第一，Token 效率问题：Step 3.5 Flash 达到前沿级智能所需的生成轨迹比 Gemini 3.0 Pro 更长，意味着在达到同等质量时消耗更多 token 和时间，后续需要对思维过程进行剪枝和压缩。第二，高效全能掌握：当前的领域专家训练和自蒸馏流程仍有优化空间，作者计划推进 on-policy 蒸馏变体以提高样本效率。第三，开放世界智能体 RL：虽然在学术基准上表现优异，但将 RL 应用于专业工作、高级工程和科学研究等真实复杂任务仍是未解决的挑战。此外，作者指出模型在分布偏移下可能出现稳定性问题，包括重复推理、混合语言输出、时间和身份感知不一致等。从独立观察来看，该模型在长上下文检索任务（MRCR-8needle 仅 28.8%）上与 GPT-5.2 xHigh（73.0%）差距明显，说明虽然架构设计优化了效率，但在需要精确长距离信息定位的任务上仍有较大提升空间。HLEtext（23.1%）与前沿模型（Gemini 3.0 Pro 37.7%）的差距也表明在高难度推理任务上仍存在瓶颈。
独立分析的弱点
本文存在以下几个可改进的弱点。首先，MRCR-8needle 长上下文检索任务表现较弱（28.8% vs GPT-5.2 xHigh 的 73.0%），这可能源于 SWA 的 512 窗口大小限制了远距离 token 之间的直接交互，虽然全注意力层可以部分弥补，但在需要精确 needle 检索的场景中仍显不足。改进方向可以考虑动态窗口大小或引入专门的长距离检索注意力层。其次，模型的 HLEtext 得分（23.1%）与最强模型（Gemini 3.0 Pro 37.7%）差距达 14.6 个百分点，说明在需要深度专业知识的高难度推理任务上能力仍有局限，可能需要在预训练数据中增加更多高质量专业领域数据。第三，MIS-PO 的轨迹级过滤边界 [0.996, 1.001] 非常严格，这意味着大量 off-policy 轨迹被丢弃，可能导致样本利用率较低，可以探索更宽松的过滤策略配合更精细的重要性校正。第四，作者承认 token 效率不如 Gemini 3.0 Pro，模型需要更长的生成轨迹才能达到同等质量，这在实时应用中可能成为瓶颈。改进方向包括更激进的 MTP 训练、更好的思维压缩策略，或在推理时采用更高效的搜索算法。
未来方向
作者在论文中提出了三个明确的未来研究方向。第一，Token 效率优化：计划对思维过程进行剪枝和压缩，在保持竞争性能的同时减少生成长度。第二，高效全能掌握：推进 on-policy 蒸馏变体，让模型以更高的样本效率内化专家行为，解决当前自蒸馏方案中领域专家迭代成本高的问题。第三，开放世界智能体 RL：将 RL 从学术基准扩展到专业工作、高级工程和科学研究等真实复杂任务，这是实现真正自主智能体的前提。基于本文成果，还可以延伸以下方向：（1）将 MIS-PO 推广到更多类型的 MoE 模型和更长的推理链场景，验证其通用性；（2）探索 MIS-PO 与 on-policy 蒸馏的结合，实现更高效的自我改进循环；（3）利用 Step 3.5 Flash 的高效推理能力，研究 test-time compute scaling 在更多智能体任务上的效果；（4）将 EP-Group 负载均衡策略与其他 MoE 路由方法结合，进一步提升专家利用率。
复现评估
本文在复现方面具有以下特点。模型权重和代码已开源（GitHub、HuggingFace、ModelBlog），这为社区复现和进一步研究提供了基础。然而，完全复现训练过程面临显著挑战：需要 4096 张 NVIDIA H800 GPU 的大规模集群，预训练消耗约 18.35T token（17.6T 预训练 + 750B 中期训练），SFT 数据包含 871k 样本 7.23B token，RL 训练的 rollout 配置为推理任务 256 prompt x 16 响应、偏好任务 512 prompt x 8 响应，计算需求极大。训练框架 Steptron 是内部系统，未开源，但基于 PyTorch 和 Megatron-LM 构建。评测协议描述详尽，包括 prompt 模板、few-shot 配置、评判模型等，有助于公平对比。数据方面，StepCrawl 爬虫系统和部分数据处理管线未开源，但评测数据集大多来自公开基准。总体而言，使用已开源模型进行推理和微调是可行的，但从头复现完整训练流程需要巨大的算力投入和内部基础设施。
论文图表
