Nemotron 3 Ultra：面向智能体推理的高效开源混合 Mamba-Transformer 混合专家模型 Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
550B总参/55B激活的MoE+Mamba混合架构，主打智能体长任务推理，吞吐量最高达同精度开源模型的5.9倍。
前置知识
Mixture-of-Experts (MoE)
MoE是一种稀疏激活架构，每个Transformer层包含大量「专家」子网络（如Nemotron 3 Ultra每层有512个专家），每个token通过路由机制（router）只激活其中一小部分（如Top-22个）。这种设计让模型总参数量可以非常大（550B），但每个token的前向计算量只与激活参数（55B）相关，从而在保持推理效率的同时获得大模型的容量。
Nemotron 3 Ultra的核心卖点就是550B总参/55B激活的10:1比例，理解MoE才能看懂它为什么能在大幅扩展容量的同时还能保持高吞吐量。
LatentMoE (潜在空间MoE)
Elango等人提出的MoE变体，把专家的隐藏维度降低但增加专家数量。例如Ultra每层有512个专家但中间维度只有5120，相比标准Granular MoE能在固定推理成本下塞入更多专家，从而实现「每参数更准确」。
LatentMoE是Ultra能在550B/55B的激活比例下取得强准确率的关键架构选择，是与DeepSeek等模型不同的设计路线。
Mamba-2 状态空间模型 (SSM)
Mamba是一种基于状态空间模型（SSM）的序列建模架构，与Transformer的self-attention不同，SSM的每步计算成本与序列长度无关（O(1) per step），且状态是固定大小而非像KV cache那样随长度增长。Mamba-2是其改进版本，速度更快、与Transformer更兼容。在Ultra中Mamba-2与Attention交替使用，构成「混合」架构。
Mamba-2是Ultra实现长上下文（1M token）和高解码吞吐量的核心组件，理解SSM才能理解为何它的KV cache比纯Transformer小、解码速度更快。
Multi-Token Prediction (MTP) 与推测解码
MTP让模型一次预测多个未来token（在Ultra中通过2个共享参数的MTP头实现）。在推理时，MTP头作为「草稿模型」生成候选token，由主模型一次性验证；接受的token可以并行进入下一步，从而显著降低单步解码的时间。
MTP是Ultra推理加速的第二根支柱，与Mamba-2一起让它在解码密集场景下大幅领先其他开源模型。
NVFP4 4位浮点预训练
NVFP4是NVIDIA针对Blackwell GPU设计的FP4格式，使用E2M1数据类型、2D块量化、对输入做随机Hadamard变换、对梯度做随机舍入等技巧，把训练阶段从BF16降到FP4，从而大幅加速计算、节省显存。这是目前最大规模的FP4稳定训练实验。
NVFP4预训练是Ultra能在GB200上实现高吞吐量的工程基础，也是模型质量与BF16差距小于0.4%的关键。
On-Policy Distillation (在线蒸馏) 与 GRPO
在线蒸馏是让学生模型在训练时由自己采样轨迹，再让教师模型对每个token给反馈（dense token-level reward），从而把教师的能力迁移到学生。GRPO则是一种基于群体相对策略优化的强化学习算法，常用于RLVR阶段。
Ultra后训练流程的核心创新「MOPD」就是异步在线蒸馏，理解它才能看懂论文后半部分算法。
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种奖励可直接验证（如代码测试、数学答案）的强化学习方法，避免奖励模型的hack问题。在Nemotron 3 Ultra中，RLVR覆盖了智能体、推理、代码、安全等十几个领域的统一训练。
RLVR是Ultra后训练中SFT之后的第一阶段，是后训练pipeline的核心组成部分。
研究动机
随着LLM从聊天机器人演化为需要自主写代码、跑研究、长时间完成任务的「智能体」，单次推理的成本和延迟成为制约其实际部署的瓶颈。现有开源大模型（如DeepSeek V3.2、Kimi K2.6、GLM-5.1、Qwen-3.5）在「准确性-吞吐量」前沿上表现不理想：GLM-5.1 (754B-A40B) 总参数和激活参数都偏高，Kimi K2.6 (1T-A32B) 接近1万亿参数，Qwen-3.5-397B-17B虽然激活参数只有17B但总容量受限。同时纯Transformer架构在长上下文（1M token）和智能体长任务中面临KV cache爆炸、推理成本飙升的问题，例如GLM-4.5 Base在RULER 128K上得分仅0.00，Kimi-K2 Base在RULER 256K上没有可用结果。这表明纯Transformer+纯MoE路线已经触碰到效率天花板。
本文的目标是Nemotron 3 Ultra的目标是构建一个能在「准确率-吞吐量」二维前沿上同时领先的开源大模型：总参数550B（容量大）、激活参数仅55B（推理便宜），原生支持1M token上下文（支撑长任务），同时在Terminal Bench 2.1、SWE-Bench Verified、GDPVal、BrowseComp等智能体基准上达到或超过更大的开源竞品，并实现相对GLM-5.1的5.9×、相对Kimi K2.6的4.8×、相对Qwen-3.5的1.6× 推理吞吐提升。它既要足够大以支撑复杂智能体决策，又要足够快以服务真实工作负载。
与已有工作不同的是，本文的独特切入角度是同时在架构层（MoE + Mamba-2混合 + LatentMoE）、训练层（NVFP4预训练 + MOPD多教师蒸馏）和推理层（MTP推测解码 + 拓扑感知部署）三个层面进行协同设计，而非单独优化某一层。具体来说：(1) 用LatentMoE在固定推理成本下塞更多专家；(2) 用Mamba-2替代大部分Attention层，让KV cache变成固定大小SSM状态，大幅降低长上下文解码成本；(3) 用NVFP4在训练阶段就获得吞吐红利；(4) 用MOPD把10+个领域专家模型融合进单一学生模型，避免不同领域RLVR信号稀释问题。这条「全栈效率」路线与单纯堆参数的GLM/Kimi路线形成鲜明对比。
核心方法
Nemotron 3 Ultra的总体思路是「稀疏激活的容量 + 状态空间的效率 + 推测解码的加速 + 异步蒸馏的能力合并」。模型由108层构成，层模式为「Mamba ×3 → LatentMoE」重复加上几个Attention「锚点」层（具体模式见图2），其中Mamba的head dimension 64、state dimension 128、groups 8，Attention层只有2个KV head（n_kv=2）以压缩KV cache。MoE部分每层有512个专家，每次激活Top-22，每个专家隐藏维度5120，还有一个共享专家（intermediate size 10240），整体构成550B/55B的稀疏模式。预训练阶段用20T token在NVFP4精度下训练，分两阶段（15T多样性 + 5T高质量），后训练阶段包括SFT（2阶段共224K样本）、统一RLVR（batch size 8192、16 rollouts/sample）、两轮MOPD（10+领域教师 + 学生自蒸馏），最后做MTP Boosting和NVFP4 PTQ量化。
核心创新点有三个层次。架构层是「Mamba + Attention + LatentMoE」三合一：Mamba-2把解码复杂度从O(L)拉到O(1) per step，Attention作为「锚点」保证全局信息流，LatentMoE在固定激活成本下增加专家多样性，这与单纯扩大MoE专家隐藏维度的DeepSeek式路线根本不同。训练层是MOPD（Multi-teacher On-Policy Distillation）：用10+领域专门教师（SWE教师、Office教师、Search教师、Terminal-use教师、Chat教师、STEM教师、CUDA教师、RTL教师等）做异步在线蒸馏，学生采样、教师打分、教师-学生KL最小化，并引入「MOPD Warmup」让学生先在教师分布上做轻量SFT以缓解分布失配问题，相比传统RLVR可大幅提升每个领域的学习信号（GDPVal从28.9跳到46.7）。推理层是MTP Boosting：固定主模型参数，只训练MTP头，但MTP输入分布改为「来自前几步MTP生成的hidden state的随机采样」而非直接复用前一步输出，从而缓解train-inference mismatch，让深层MTP draft position的接受率提升3-6%。
方法步骤详情
完整流程分四步。第一步是预训练：108层模型在NVFP4（E2M1 + 2D块量化 + RHT输入变换 + 梯度随机舍入）下用Warmup-Stable-Decay学习率（warmup 200B token到peak 2.5e-4，sqrt衰减到2.5e-6，跑20T token）训练；前15T为多样性阶段，后5T为高质量阶段，MTP loss scaling=0.1。第二步是长上下文扩展（LC-Phase）：用32路context parallel + 8路tensor parallel + 128路expert parallel + 2路pipeline parallel在GB200上做1M context的持续预训练，46%长上下文数据 + 54% phase 2数据，8%迭代跑4K短序列以维持短benchmark精度，共训33B token。第三步是后训练SFT（2阶段，packed length 294K → 515K，global batch size 64）+ 统一RLVR（global batch 8192、16 rollouts/prompt、生成长度48K→64K）+ 两轮MOPD（batch 1024 prompts、1 rollout/prompt、生成长度192K）。第四步是MTP Boosting（head only、12K steps、global batch 64、seq 8K、温度2的前向KL损失）和NVFP4 PTQ（5.03 BPE的混合NVFP4 + FP8 + BF16精度）。
技术新颖性
技术新颖性主要体现在：(1) 首次把NVFP4预训练扩展到550B参数规模，NVFP4 vs BF16的loss gap < 0.4%，是已知最大规模的FP4稳定训练；(2) 提出MOPD框架并系统研究warmup的影响（GDPVal +11.4点，BrowseComp +11.4点），揭示「teacher-student分布失配」是on-policy蒸馏的核心瓶颈；(3) 提出MTP Boosting，用「MTP-step k的输入从1..k-1步hidden state中采样」的方式模拟推理时的noisy输入，在SPEED-Bench上获得3-6%的相对解码加速；(4) 单一NVFP4 checkpoint同时服务Blackwell（native FP4）和Hopper（W4A16），通过证明W4A16在Ultra规模下比W8A8还快，颠覆了「Hopper应该用FP8」的直觉；(5) 提出用Mamba SSM snapshotting解决draft rejection时的状态回滚问题，并扩展到prefix caching，弥补了Mamba缺乏attention式prefix caching的短板。
实验结果
在8K输入/64K输出的解码密集场景下（GB200 NVFP4），Ultra相对GLM-5.1-754B-A40B、Kimi-K2.6-1T-A32B、Qwen-3.5-397B-17B分别实现5.9×、4.8×、1.6×的吞吐量提升，同时准确率持平（Figure 1）。在基础模型评测（Table 2），Ultra Base以MMLU 89.08、MMLU-Pro 79.07、GPQA 50.00、HumanEval 83.84、MATH 82.00、RULER 1M 76.83全面领先DeepSeek V3.2、Mistral Large 3、Kimi K2和GLM-4.5，特别是RULER 128K得分92.49（vs GLM-4.5的0.00）。在后训练模型评测（Table 10），Ultra在GDPVal 46.7、SWE-Bench Verified 70.7、BrowseComp 44.4、TauBench V3平均70.9上具有竞争力，但BrowseComp（44.4 vs Kimi 61.3）、HLE with tools（37.4 vs Kimi 54.0）等少数基准仍弱于更大模型。MOPD两轮迭代在Terminal Bench（34.5 → 54.0，+172.7% teacher recovery）、GDPVal（23.2 → 46.7，+86.4%）、SWE-Bench（63.5 → 71.7，+88.1%）、OmniScience Non-Hallucination（4.8 → 78.7，+79.6%）上显著超越RLVR student，部分基准甚至超过教师。MTP Boosting在SPEED-Bench上把Coding类平均接受长度从5.152提升到5.452、Humanities从3.950到4.102，平均接受长度从4.387提升到4.584（+4.5%）。Test-time scaling方面，Ultra用generate-verify-refine流水线在IMO-ProofBench Advanced拿到82.3%（173/210）、IMO 2025拿到83.3%（35/42，第2-3名人类之间）、Putnam 2025 96.7%、USAMO 2026 97.6%。量化方面，5.03 BPE的NVFP4量化在所有benchmark上与BF16几乎无差（例如GPQA 86.67 → 86.36，AA-LCR 63.67 → 65.33），而AA-LCR从62.25（4.85 BPE）跳到64.69（5.03 BPE）证明long-context恢复对FP8层的依赖性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMLU (Base) | 5-shot accuracy | 89.08 | DeepSeek V3.2 Base 87.82 / GLM-4.5 Base 86.50 | +1.26 vs DeepSeek, +2.58 vs GLM |
| MMLU-Pro (Base, CoT EM) | 5-shot CoT EM | 79.07 | DeepSeek 63.26 / Mistral 67.42 / Kimi K2 69.15 / GLM-4.5 65.78 | +9.92 vs best baseline (Kimi) |
| HumanEval (Base, sanitized) | sampled pass@1, n=32 | 83.84 | DeepSeek 61.85 / Mistral 66.71 / Kimi 78.20 / GLM 78.16 | +5.64 vs best baseline (Kimi) |
| GPQA (Base, CoT EM) | 5-shot CoT EM | 50.00 | DeepSeek 31.82 / Mistral 34.85 / Kimi 43.43 / GLM 34.85 | +6.57 vs best baseline |
| RULER 128K (Base) | 0-shot | 92.49 | GLM-4.5 Base 0.00 | +92.49 (GLM无法支持) |
| RULER 1M (Base) | 0-shot | 76.83 | 其他模型未支持1M | 唯一支持1M RULER的同尺寸基模型 |
| SWE-Bench Verified (post-trained) | pass rate | 70.7 | MiniMax-2.7 75.3 / GLM-5.1 76.2 / Kimi-K2.6 75.7 / Qwen-3.5 73.6 / DS-v4-Pro 74.5 | 略低于最大模型 (-5.5 vs GLM-5.1)，但参数少30%+ |
| Terminal Bench 2.1 (post-trained) | accuracy | 56.4 | Kimi-K2.6 67.2 / GLM-5.1 59.3 / MiniMax-2.7 55.5 | 低于Kimi (-10.8)，但优于Qwen和DS |
| GDPVal (post-trained) | score | 46.7 | GLM-5.1 54.7 / Kimi 50.4 / DS-v4-Pro 54.6 / Qwen 34.6 | 落后最大模型7-8点，但优于Qwen 12.1点 |
| BrowseComp (post-trained) | accuracy | 44.4 | Kimi 61.3 / GLM 59.4 / DS-v4-Pro 59.4 / MiniMax 54.1 / Qwen 40.5 | 落后搜索专长的Kimi -16.9点 |
| IOI 2025 (post-trained) | score/600 | 570.0 | GLM-5.1 456.5 / Kimi 585.0 / DS-v4-Pro 580.1 / Qwen 441.3 | 略低于Kimi和DS-v4-Pro，介于IOI第2-3名人类选手之间 |
| LiveCodeBench v6 (post-trained) | accuracy | 89.0 | GLM-5.1 85.7 / Kimi 90.2 / DS-v4-Pro 92.5 / Qwen 79.3 | 接近Kimi (-1.2)，落后DS-v4-Pro -3.5 |
| HLE no tools (post-trained) | accuracy | 26.7 | GLM-5.1 27.2 / Kimi 34.8 / DS-v4-Pro 37.7 / Qwen 28.5 | 落后DS-v4-Pro -11.0点 |
| RULER 1M (post-trained) | 0-shot | 94.7 | Qwen 90.1 / DS-v4-Pro 94.2 / DS-v4-Flash 87.7 | +0.5 vs DS-v4-Pro |
| 8K/64K 推理吞吐量 (NVFP4) | tokens/s/GPU on GB200 | 5.9× GLM-5.1 | GLM-5.1 baseline | 5.9× vs GLM, 4.8× vs Kimi K2.6, 1.6× vs Qwen-3.5 |
| NVFP4 vs BF16 准确率 (post-trained) | pass@1 | NVFP4平均几乎不下降 | BF16 baseline | GPQA 86.67→86.36 (-0.31)、IFBench 82.12→82.42 (+0.30)、AA-LCR 63.67→64.00 (+0.33) |
局限与改进
局限性分析需要从作者承认和读者观察两个角度看。**作者承认的局限**：(1) 训练过程中出现了两次loss divergence（8T和16T token处），第二次原因未确定，只能通过提前启动LR annealing到20T horizon来规避，这说明在550B参数+NVFP4+LatentMoE的组合下，训练稳定性边界仍未完全理解；(2) MOPD在HLE等自包含推理任务上恢复率仅16.9%，作者指出原因是教师的能力来自额外SFT/RL数据暴露而非学生已采样的偏好，导致on-rollout蒸馏信号失配；(3) BrowseComp 44.4 vs Kimi 61.3、SWE-Bench Multilingual 67.7 vs Kimi 77.1等智能体基准仍落后最大模型，说明教师蒸馏还没完全把搜索/编码教师的优势迁移过来；(4) NVFP4只在GB200上获得原生FP4加速，Hopper上以W4A16运行且作者证明其比W8A8更快，但Hopper用户实际拿到的速度提升可能不如Blackwell显著；(5) 量化时排除了W4A8路径，因为E2M1权重的E4M3 block scale导致直接降级到FP8会饱和。**读者可观察的局限**：(1) 一些benchmarks的CritPt得分（3.1-3.4）远低于DS-v4-Pro（14.0），显示物理研究级推理仍有差距；(2) Banking子任务TauBench 22.6分明显低于Kimi 23.1 / GLM 12.8 / DS-v4-Pro 25.9，表明特定领域子任务不均衡；(3) HLE with tools 37.4 vs Kimi 54.0差距较大，工具使用推理的融合能力仍可优化；(4) 部分基础设施收益数字（如20% end-to-end NVLink placement提升）来自内部集群，难以独立复现。
独立分析的弱点
**独立分析的弱点**：(1) MOPD对「需要额外off-policy数据的能力」效果有限（Self-Contained Reasoning）。具体场景：HLE这类自包含推理任务，教师优势来自额外SFT而非轨迹偏好，on-policy student rollouts落在教师分布外。建议改进方向：把off-policy数据SFT融入学生SFT阶段，或对教师信号做distribution correction。**潜在收益**：HLE从26.7向32.1（教师水平）靠近。(2) 单次On-policy rollout在长horizon agentic任务上训练效率低，paper承认「多轮智能体rollout在MOPD中难以高效融合」。建议：发展分层级MOPD（单步决策层用单turn rollout，跨回合层用异步回放），或采用LeDS-style的trajectory-level importance sampling。**潜在收益**：智能体benchmarks可能+5-10点。(3) 教师之间的「知识冲突」未明确处理。比如STEM教师强调长链推理，而Chat教师强调简洁友好，多教师同时蒸馏可能让student学到不一致行为。建议：引入domain-aware logit gating或教师互评机制作为辅助信号。**潜在收益**：Multi-Challenge、Chat相关benchmarks更均衡。(4) SSM cache虽然在KV cache之上是固定大小，但Mamba state仍需16 bit精度（论文承认FP16 SR只-0.26% drop，INT8 SR+checkpointing更优但kernel尚在开发）。**改进方向**：完成INT8 SR + 周期性checkpointing kernel，减少16 bit存储和D2D带宽。**潜在收益**：超长context推理更便宜。(5) SWE-Bench Multilingual 67.7比Verified 70.7低3点，验证了paper承认的multilingual + agent能力融合仍有缺口；BrowseComp 44.4（vs Kimi 61.3）也提示长horizon搜索+证据合成的教师蒸馏做得不够深。**改进方向**：为multilingual agent专门设计teacher并加大MOPD weight。
未来方向
**作者提出的方向**：(1) 完善MOPD的logit-matching变体（目前sampled-token objective仍优于full-distribution matching，作者认为这是开放问题）；(2) 把MOPD扩展到long-horizon agentic rollout，平衡单turn和多turn任务的训练效率；(3) 探索unified SFT阶段让教师和学生共享初始分布，从根本上缓解分布失配。**基于成果可延伸的方向**：(1) INT8 Mamba cache + 周期性checkpointing kernel的工程落地，预计可进一步降低Ultra长上下文推理的DRAM footprint；(2) Reasoning budget control目前已有三种模式（off/regular/medium-effort），可探索fine-grained per-token budget；(3) 单一NVFP4 checkpoint同时服务Hopper和Blackwell的设计可推广为多硬件统一的量化策略，避免为每个硬件单独维护checkpoint；(4) Test-time scaling在IMO 2025达83.3%，但与Aletheia 91.9%仍有差距，可借鉴其多智能体协作；(5) Agentic Safety Teacher的间接prompt injection防御可推广到其他模型；(6) LatentMoE可与Adaptive Expert Choice等更激进的路由策略结合；(7) 探索更小的「Ultra-Lite」版本（例如50B/5B）来满足边缘部署。
复现评估
**复现评估**：(1) **开源情况**：完整开源 — HuggingFace上发布Base / Post-Trained / NVFP4 / GenRM四个checkpoint，以及Nemotron-Pretraining-Code-v3 (173B token)、Nemotron-Pretraining-Legal-v1、Nemotron-Pretraining-Specialized-v1.2、Nemotron-Posttraining-v3等数据集；NeMo-RL、NeMo-Evaluator、Model-Optimizer、Megatron-LM全部开源。(2) **数据规模**：预训练20T token + 多阶段SFT（204.8K + 19.2K packed samples）+ 33B token长上下文扩展 + RLVR（global batch 8192、16 rollouts × 约千prompt规模）+ 两轮MOPD（每个1024 prompts × 192K token生成长度）+ 12K step MTP Boosting。(3) **算力需求**：3K+ GPU规模的GB200 NVL72集群（论文明确提及），单次预训练需要数周、千卡规模的全互联网络；后训练加上RL infrastructure优化（Ray GCS、NVLink-aware placement、JIT cache等）后需要在大型Slurm集群运行。**复现难度**：极高。完整复现需要：a) 至少数百GB200 GPU；b) 已获得商业许可的OpenResearcher、OpenCodeReasoning、Nemotron-Cascade-2、Nemotron-Math-V2等训练数据；c) NVIDIA NVFP4 cuBLAS kernel + FlashInfer等闭源/半闭源依赖；d) 一支能维护3K+ GPU集群的工程团队。**部分复现可行性**：仅复现NVFP4 PTQ或评估pipeline在中等规模（8-16 GPU）上是可行的。**总体**：是一个工程壁垒极高的开源项目，但提供了完整的checkpoint和recipe让中小团队可以基于Ultra做下游应用研究。
论文图表
