Nemotron-Cascade 2：基于级联RL和多域在线蒸馏的LLM后训练 Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation
30B MoE模型通过级联RL+在线蒸馏，在IMO/IOI/ICPC三大竞赛获金牌
前置知识
Mixture-of-Experts (MoE)
混合专家模型是一种稀疏激活的神经网络架构。模型包含多个专家子网络，但每次推理时只激活其中一部分（本文30B总参数中仅激活3B）。路由网络根据输入动态选择最相关的专家，从而在保持大模型容量的同时大幅降低计算成本。这种设计让小模型也能拥有大模型的知识容量。
本文的核心卖点就是用30B MoE（仅3B激活参数）达到接近前沿大模型的推理能力，理解MoE架构是理解本文智能密度概念的基础
Cascade RL（级联强化学习）
级联RL是一种分阶段、按领域顺序进行强化学习训练的框架。不同于一次性在所有任务上训练，Cascade RL将不同能力领域（如指令遵循、数学推理、代码生成）排成序列，每个阶段专注优化一个或一组相关领域。关键特性是：(1)各阶段对先前阶段的成果有较强抗遗忘能力；(2)可针对每个领域定制超参数和训练课程；(3)同一领域内的任务响应长度和验证时间更一致，节省计算资源。
这是本文提出的核心训练范式，理解其工作原理和优势是理解整篇论文的关键
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习算法，通过从当前策略采样一组G个响应，然后计算组内相对奖励来更新策略。公式为：对每个问题q采样G个响应{o_i}，计算每个响应的奖励r_i，然后用组归一化后的优势估计（(r_i - mean) / std）进行梯度更新。本文进一步简化了标准GRPO，完全移除了KL散度项，使其等价于带组归一化奖励的REINFORCE算法。
本文所有RL训练阶段都基于GRPO算法，理解它是理解训练细节的基础
On-Policy Distillation（在线蒸馏）
在线蒸馏是一种知识迁移技术，学生模型在生成响应的同时从教师模型学习。与离线蒸馏不同，学生模型用自己的策略采样响应，然后计算教师模型对这些响应的token级概率差异作为训练信号。本文的多域在线蒸馏（MOPD）从Cascade RL过程中选择每个领域最强的中间检查点作为教师，使用反向KL散度作为token级蒸馏优势。这提供了比稀疏结果奖励更密集的训练信号，显著提高训练效率。
MOPD是本文的关键创新，用于恢复Cascade RL过程中的性能退化，并提供更高效的训练
Test-Time Scaling（测试时扩展）
测试时扩展是指在推理阶段通过增加计算量来提升模型性能的技术。具体方法包括：(1)生成多个候选答案；(2)对候选答案进行验证和评分；(3)基于验证结果精炼和改进答案。本文在IMO和IOI竞赛中采用了generate-verify-refine的迭代框架，允许模型在推理时进行多轮生成和自我改进，而不是仅依赖单次生成。
本文在竞赛中获得金牌的关键技术之一，理解它有助于理解模型如何在有限参数下实现超强推理能力
研究动机
随着大语言模型被赋予越来越复杂的推理和代理能力需求，强化学习后训练面临的核心挑战是如何成功整合更广泛的RL环境和多样化的推理/代理任务。现有方法在多领域RL训练时存在严重问题：(1)联合训练不同领域会导致灾难性遗忘，一个领域的优化可能严重损害其他领域的性能；(2)不同领域的响应长度和验证时间差异巨大，导致计算资源浪费；(3)RL训练往往会降低模型熵、缩短推理链，从而负面影响数学推理等需要长链思考的任务。例如，RLHF优化可能部分牺牲指令遵循行为，而某些RLVR训练会减少模型的探索能力。这些问题使得在单一模型上同时优化多个能力领域变得极其困难。
本文的目标是本文的具体目标是：(1)开发一个仅有30B总参数（3B激活参数）的MoE模型，在数学和代码推理任务上达到接近前沿开源模型的性能；(2)在2025年IMO、IOI和ICPC世界总决赛三大顶级竞赛中获得金牌水平，此前这被认为只有Gemini Deep Think等前沿闭源模型和DeepSeek-V3.2-Speciale-671B-A37B等超大开源模型才能达到；(3)在指令遵循、长上下文理解、代理任务等多个领域同时保持强劲性能；(4)完全开源模型权重、训练数据和方法细节，使研究社区能够复现和扩展所提出的Cascade RL训练范式。
与已有工作不同的是，本文的独特切入角度是将级联RL与多域在线蒸馏（MOPD）深度整合。与先前工作（Nemotron-Cascade 1）相比，本文抓住了三个被忽视的关键点：(1)Cascade RL过程中性能退化的本质是可恢复的——通过从同一SFT初始化的不同阶段选择最强检查点作为教师，可以在不引入外部模型家族的情况下进行有效的知识蒸馏；(2)token级的密集蒸馏信号比稀疏的结果奖励更高效——MOPD在AIME25上25步内就能达到GRPO需要更多步数才能达到的性能；(3)Cascade RL的阶段顺序不是固定的，应根据模型的行为动态和学习轨迹来确定——本文将IF-RL放在第一阶段（而非先前工作的后续阶段），因为后续阶段可以恢复人类偏好对齐的退化。
核心方法
Nemotron-Cascade 2的训练流程可以类比为一个精心设计的能力阶梯：先打好基础（SFT），然后逐级攀登不同能力台阶（Cascade RL），每上一级都用之前最强的自己来帮助恢复平衡（MOPD），最后进行整体微调（RLHF）。技术路线上，模型首先在精心策划的多领域SFT数据上进行监督微调，获得基础的推理、对话和指令遵循能力。然后进入Cascade RL阶段，按照IF-RL、多域RL、MOPD、RLHF、长上下文RL、代码RL、SWE RL的顺序逐步优化。每个RL阶段使用GRPO算法，从当前策略采样多个响应，用组归一化奖励进行更新。MOPD阶段从Cascade RL过程中选择每个领域最强的检查点作为教师，使用反向KL散度计算token级蒸馏优势，提供比稀疏奖励更密集的训练信号。
本文最核心的创新是将多域在线蒸馏（MOPD）深度整合到Cascade RL框架中，形成一个自我恢复和自我增强的训练循环。与已有方法的本质区别在于：(1)先前的Cascade RL虽然减少了灾难性遗忘，但无法完全消除随着训练环境增加而产生的能力漂移；(2)传统知识蒸馏需要独立的外部教师模型，而MOPD直接从Cascade RL过程中选择最强的中间检查点作为教师，避免了模型家族间的分布偏移；(3)MOPD提供token级密集训练信号，而标准RL算法（如GRPO）只提供稀疏的结果奖励。具体地，MOPD的优势估计定义为a^MOPD_t = log π_{domain_i}(y_t|s_t) - log π_{train}(y_t|s_t)，当教师模型对采样token分配更高概率时为正，引导学生模型向教师靠拢。实验表明，MOPD在AIME25上25步内达到92.0分（教师水平），而GRPO需要更多步数才能达到91.0分。
方法步骤详情
完整训练流程分为以下步骤：(1) SFT阶段：在涵盖数学、代码、科学、长上下文、对话、指令遵循、安全、代理等领域的数据上进行单阶段训练，序列长度256K tokens，约1.5个epoch收敛。(2) IF-RL阶段：使用可验证的指令遵循数据训练，采用动态过滤技术剔除全对或全错的样本，180步收敛，IFBench准确率达83.13%。(3) 多域RL阶段：混合训练MCQA（55%）、工具调用（30%）和结构化输出（15%），70步收敛。(4) MOPD阶段：选择三个领域教师（数学教师=SFT检查点，RLHF教师=经过RLHF优化的检查点，多域教师=IF-RL+多域RL后的检查点），batch size 128，rollout size 4，学习率2e-6带30步warmup，40-50步收敛。(5) RLHF阶段：使用Qwen3-235B-A22B-Thinking-2507作为生成奖励模型，25步收敛。(6) 长上下文RL：使用Nemo-Gym环境，30步收敛。(7) 代码RL：从竞赛编程平台筛选3.5K高难度样本，最大响应长度118K tokens。(8) SWE RL：包括无代理RL和基于执行的代理RL，后者在OpenHands框架中训练，允许最多200轮交互。
技术新颖性
本文的技术新颖性体现在多个层面：(1) MOPD机制的引入——与传统离线蒸馏或独立教师模型不同，MOPD从Cascade RL过程中选择每个领域最强的中间检查点作为教师，教师和学生共享相同的tokenizer和词汇表，减少了分布偏移。(2) Cascade RL阶段顺序的动态确定——与Nemotron-Cascade 1相比，本文将IF-RL移到第一阶段，因为研究发现RLHF对指令遵循的影响很小，而IF-RL会负面影响人类偏好对齐，所以先最大化指令遵循再用后续阶段恢复对齐。(3) 训练效率的显著提升——MOPD在52步内将ArenaHard v2的Hard Prompt从71.5提升到85.5、Creative Writing从40.6提升到71.0，而RLHF需要160步才能达到类似效果。(4) 完全移除KL散度项——简化GRPO目标为标准REINFORCE，提高训练稳定性。(5) 执行级SWE RL——在完全可执行的软件环境中训练代理，端到端优化整个问题解决轨迹。
实验结果
Nemotron-Cascade-2-30B-A3B在多个关键基准上取得了突破性成果。在竞赛数学方面，模型在IMO 2025上获得35/42分（金牌），成功解决前5道题（第6题未得分）；在AIME 2025上达到92.4%准确率（使用工具集成推理TIR时达98.6%）；在HMMT Feb25上达到94.6%。在竞赛编程方面，IOI 2025获得439.28/600分（金牌），在Problem 3和4上获得满分；ICPC World Finals 2025解决10/12题（金牌），其中8题仅用100次提交就解决。在LiveCodeBench v6上达到87.2%（TIR时88.4%），LiveCodeBenchPro 25Q2 Medium难度达27.6%（TIR时36.8%）。在指令遵循方面，ArenaHard v2达到83.5%（Hard Prompt 88.2%，Creative Writing 78.7%），IFBench达到82.9%。在长上下文方面，NIAH@1M达到99.0%。与Qwen3.5-35B-A3B相比，本文模型在数学和代码推理上全面领先；与更大的Nemotron-3-Super-120B-A12B相比，也在多数基准上取得优势。值得注意的是，MOPD相比标准RLHF展现出显著的训练效率优势：在AIME25上，MOPD在30步内达到92.0分，而GRPO在25步后仅达到91.0分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IMO 2025 | 总分/42 | 35 | DeepSeek-V3.2-Speciale-671B-A37B (IMO Gold) | 30B MoE达到671B模型的金牌水平 |
| AIME 2025 | avg@64 (%) | 92.4 (98.6 TIR) | Qwen3.5-35B-A3B: 91.9 | +0.5 (无TIR) |
| IOI 2025 | 总分/600 | 439.28 | Qwen3.5-35B-A3B: 348.6 | +90.68 |
| ICPC World Finals 2025 | 解题数/12 | 10 | 仅DeepSeek-V3.2-Speciale和Gemini Deep Think达到金牌 | 30B模型首次达到此水平 |
| LiveCodeBench v6 | avg@8 (%) | 87.2 (88.4 TIR) | Qwen3.5-35B-A3B: 74.6 | +12.6 |
| ArenaHard v2 | 平均分 (%) | 83.5 | Nemotron-3-Nano-30B-A3B: 67.7 | +15.8 |
| IFBench | prompt (%) | 82.9 | Nemotron-3-Nano-30B-A3B: 71.5 | +11.4 |
| NIAH@1M | RULER Subset (%) | 99.0 | Nemotron-3-Nano-30B-A3B: 94.8 | +4.2 |
| SWE Verified (OpenHands) | avg@4 (%) | 50.2 | Qwen3.5-35B-A3B: 69.2 | -19.0 (弱项) |
| MMLU-Pro | EM (%) | 79.8 | Qwen3.5-35B-A3B: 85.3 | -5.5 (弱项) |
局限与改进
论文承认了多个局限性：(1) 知识密集型任务上表现不如Qwen3.5-35B-A3B，如MMLU-Pro（79.8 vs 85.3）、GPQA-Diamond（76.1 vs 84.2），说明预训练阶段的知识注入可能不够充分。(2) 代理任务上存在明显短板，SWE Verified（50.2 vs 69.2）、τ2-Bench（58.9 vs 81.2）、Terminal Bench（21.1 vs 40.5）均大幅落后于Qwen3.5-35B-A3B，表明代理能力的RL训练还需加强。(3) IMO 2025第6题未解决（0分），专家评审指出部分证明过长、包含多余中间步骤或定义、偶尔暴露中间推理痕迹、有时包含轻微排版问题。(4) 对于需要构造性算法、交互式方法和假设驱动思想的问题，模型仍有弱点（作者在ELO分析中承认）。(5) 长上下文和上下文学习任务表现一般，AA-LCR（39.1）和LongBench v2（40.3）低于Qwen3.5-35B-A3B（58.5和59.0）。
独立分析的弱点
从独立分析的角度，本文存在以下弱点：(1) 知识密集型任务的差距表明Cascade RL+MOPD主要提升了推理能力，但对模型的世界知识注入帮助有限。改进方向是在预训练阶段增加高质量知识数据的比例，或在SFT阶段引入更多知识密集型的QA对。(2) 代理任务的大幅落后暗示当前的SWE RL和终端RL训练可能不够充分。改进方向包括：扩大SWE RL的训练数据规模（当前仅3.5K高难度样本）；增加更多样的代理环境和任务类型；探索更长时间跨度的代理训练。(3) MOPD依赖于从Cascade RL过程中选择教师，如果某个领域的中间检查点本身就不够强，蒸馏效果会受限。改进方向是引入外部强模型作为补充教师，或开发自动选择最优教师的策略。(4) 模型在处理需要跳出框架思考的问题（如构造性算法）时表现不佳，这可能是因为RL训练的奖励信号过于依赖结果验证，缺乏对解题过程多样性的鼓励。改进方向是引入过程奖励模型或多样性奖励。
未来方向
作者提出和基于成果可延伸的未来方向包括：(1) 更强的知识密集型预训练——论文明确指出在知识和代理基准上的落后凸显了更强知识密集型预训练和代理RL的重要性。(2) 扩展Cascade RL到更多领域——当前框架主要覆盖数学、代码、指令遵循等，未来可扩展到科学推理、多模态推理等领域。(3) 优化Cascade RL的阶段顺序——作者发现最优顺序随模型和数据质量变化，未来可探索自动化的阶段排序算法。(4) MOPD教师选择策略——当前手动选择每个领域的最强检查点，未来可开发自动化的教师选择和组合方法。(5) 测试时扩展的进一步优化——在IMO和IOI上已展示generate-verify-refine框架的有效性，未来可探索更智能的搜索策略和验证方法。(6) 面向更复杂代理任务的RL——当前SWE RL仅在OpenHands框架中训练，未来可扩展到更复杂的软件工程工作流和多代理协作场景。
复现评估
本文在开源和复现性方面做得非常好：(1) 完全开源了模型权重（Nemotron-Cascade-2-30B-A3B）、SFT数据集（Nemotron-Cascade-2-SFT-Data）和RL数据集（Nemotron-Cascade-2-RL-Data）。(2) 详细描述了所有训练超参数（附录B中有完整的表格），包括每个阶段的batch size、学习率、rollout数量、温度等。(3) 使用公开可用的Nemo-RL和Nemo-Skills代码库进行训练。(4) 评估设置也完全透明，包括使用的prompt模板（附录C）和评估框架。复现难度评估：中等偏高。虽然代码和数据都开源，但Cascade RL的8个训练阶段需要大量计算资源（每个阶段数十到数百步，每步采样16-64个响应），且需要维护多个中间检查点。此外，MOPD需要从Cascade RL过程中选择教师，这意味着必须先完成完整的Cascade RL训练才能进行MOPD。
论文图表
