← 返回 2026-04-15

Nemotron 3 Super：面向智能体推理的开放高效混合专家混合 Mamba-Transformer 模型 Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

NVIDIA, Aakshita Chandiramani, Aaron Blakeman, Abdullahi Olaoye, Abhibha Gupta, Abhilash Somasamudramath, Abhinav Khattar, Adeola Adesoba, Adi Renduchintala, Adil Asif, Aditya Agrawal, Aditya Vavre, Ahmad Kiswani, Aishwarya Padmakumar, Ajay Hotchandani, Akanksha Shukla, Akhiad Bercovich, Aleksander Ficek, Aleksandr Shaposhnikov, Alex Gronskiy, Alex Kondratenko, Alex Neefus, Alex Steiner, Alex Yang, Alexander Bukharin, Alexander Young, Ali Hatamizadeh, Ali Taghibakhshi, Alina Galiautdinova, Alisa Liu, Alok Kumar, Ameya Sunil Mahabaleshwarkar, Amir Klein, Amit Zuker, Amnon Geifman, Anahita Bhiwandiwalla, Ananth Subramaniam, Andrew Tao, Anjaney Shrivastava, Anjulie Agrusa, Ankur Srivastava, Ankur Verma, Ann Guan, Anna Shors, Annamalai Chockalingam, Anubhav Mandarwal, Aparnaa Ramani, Arham Mehta, Arti Jain, Arun Venkatesan, Asha Anoosheh, Ashwath Aithal, Ashwin Poojary, Asif Ahamed, Asit Mishra, Asli Sabanci Demiroz, Asma Kuriparambil Thekkumpate, Atefeh Sohrabizadeh, Avinash Kaur, Ayush Dattagupta, Barath Subramaniam Anandan, Bardiya Sadeghi, Barnaby Simkin, Ben Lanir, Benedikt Schifferer, Benjamin Chislett, Besmira Nushi, Bilal Kartal, Bill Thiede, Bita Darvish Rouhani, Bobby Chen, Boris Ginsburg, Brandon Norick, Branislav Kisacanin, Brian Yu, Bryan Catanzaro, Buvaneswari Mani, Carlo del Mundo, Chankyu Lee, Chanran Kim, Chantal Hwang, Chao Ni, Charles Wang, Charlie Truong, Cheng-Ping Hsieh, Chenhan Yu, Chenjie Luo, Cherie Wang, Chetan Mungekar, Chintan Patel, Chris Alexiuk, Chris Holguin, Chris Wing, Christian Munley, Christopher Parisien, Chuck Desai, Chunyang Sheng, Collin Neale, Cyril Meurillon, Dakshi Kumar, Dan Gil, Dan Su, Dane Corneil, Daniel Afrimi, Daniel Burkhardt Eliuth Triana, Daniel Egert, Daniel Fatade, Daniel Lo, Daniel Rohrer, Daniel Serebrenik, Daniil Sorokin, Daria Gitman, Daria Levy, Darko Stosic, David Edelsohn, David Messina, David Mosallanezhad, David Tamok, Deena Donia, Deepak Narayanan, Devin O'Kelly, Dheeraj Peri, Dhruv Nathawani, Di Wu, Dima Rekesh, Dina Yared, Divyanshu Kakwani, Dmitry Konyagin Brandon Tuttle, Dong Ahn, Dongfu Jiang, Dorrin Poorkay, Douglas O'Flaherty, Duncan Riach, Dusan Stosic, Dustin Van Stee, Edgar Minasyan, Edward Lin, Eileen Peters Long, Elad Segal, Elena Lantz, Elena Lewis, Ellie Evans, Elliott Ning, Eric Chung, Eric Harper, Eric Pham-Hung, Eric W. Tramel, Erick Galinkin, Erik Pounds, Esti Etrog, Evan Briones, Evan Wu, Evelina Bakhturina, Evgeny Tsykunov, Ewa Dobrowolska, Farshad Saberi Movahed, Farzan Memarian, Fay Wang, Fei Jia, Felipe Soares, Felipe Vieira Frujeri, Feng Chen, Fengguang Lin, Ferenc Galko, Fortuna Zhang, Frankie Siino, Frida Hou, Gantavya Bhatt, Gargi Prasad, Geethapriya Venkataramani, Geetika Gupta, George Armstrong, Gerald Shen, Giulio Borghesi, Gordana Neskovic, Gorkem Batmaz, Grace Lam, Grace Wu, Greg Pauloski, Greyson Davis, Grigor Nalbandyan, Guoming Zhang, Guy Farber, Guyue Huang, Haifeng Qian, Haran Kumar Shiv Kumar, Harry Kim, Harsh Sharma, Hayate Iso, Hayley Ross, Herbert Hum, Herman Sahota, Hexin Wang, Himanshu Soni, Hiren Upadhyay, Huy Nguyen, Iain Cunningham, Ido Galil, Ido Shahaf, Igino Padovani, Igor Gitman, Igor Shovkun, Ikroop Dhillon, Ilya Loshchilov, Ingrid Kelly, Itamar Schen, Itay Levy, Ivan Moshkov, Izik Golan, Izzy Putterman, Jain Tu, Jan Baczek, Jan Kautz, Jane Polak Scowcroft, Janica Rosenberg, Jared Casper, Jarrod Pflum, Jason Grant, Jason Sewall, Jatin Mitra, Jeffrey Glick, Jenny Chen, Jesse Oliver, Jiacheng Xu, Jiafan Zhu, Jialin Song, Jian Zhang, Jiaqi Zeng, Jie Lou, Jill Milton, Jim Chow, Jimmy Zhang, Jinhang Choi, Jining Huang, Jocelyn Huang, Joel Caruso, Joey Conway, Joey Guman, Johan Jatko, John Kamalu, Johnny Greco, Jonathan Cohen, Jonathan Raiman, Joseph Jennings, Joyjit Daw, Juan Yu, Julio Tapia, Junkeun Yi, Jupinder Parmar, Jyothi Achar, Kari Briski, Kartik Mattoo, Katherine Cheung, Katherine Luna, Keith Wyss, Kevin Shih, Kezhi Kong, Khanh Nguyen, Khushi Bhardwaj, Kirill Buryak, Kirthi Shankar Sivamani, Konstantinos Krommydas, Kris Murphy, Krishna C. Puvvada, Krzysztof Pawelec, Kumar Anik, Laikh Tewari, Laya Sleiman, Leo Du, Leon Derczynski, Li Ding, Lilach Ilan, Lingjie Wu, Lizzie Wei, Luis Vega, Lun Su, Maarten Van Segbroeck, Maer Rodrigues de Melo, Magaret Zhang, Mahan Fathi, Makesh Narsimhan Sreedhar, Makesh Sreedhar, Makesh Tarun Chandran, Manuel Reyes Gomez, Maor Ashkenazi, Marc Cuevas, Marc Romeijn, Margaret Zhang, Mark Cai, Mark Gabel, Markus Kliegl, Martyna Patelka, Maryam Moosaei, Matthew Varacalli, Matvei Novikov, Mauricio Ferrato, Mehrzad Samadi, Melissa Corpuz, Meng Xin, Mengdi Wang, Mengru Wang, Meredith Price, Micah Schaffer, Michael Andersch, Michael Boone, Michael Evans, Michael Z Wang, Miguel Martinez, Mikail Khona, Mike Chrzanowski, Mike Hollinger, Mingyuan Ma, Minseok Lee, Mohammad Dabbah, Mohammad Shoeybi, Mostofa Patwary, Nabin Mulepati, Nader Khalil, Najeeb Nabwani, Nancy Agarwal, Nanthini Balasubramaniam, Narimane Hennouni, Narsi Kodukula, Natalie Hereth, Nathaniel Pinckney, Nave Assaf, Negar Habibi, Nestor Qin, Neta Zmora, Netanel Haber, Nick Reamaroon, Nickson Quak, Nidhi Bhatia, Nikhil Jukar, Nikki Pope, Nikolai Ludwig, Nima Tajbakhsh, Nir Ailon, Nirmal Juluru, Nirmalya De, Nowel Pitt, Oleg Rybakov, Oleksii Hrinchuk, Oleksii Kuchaiev, Olivier Delalleau, Oluwatobi Olabiyi, Omer Ullman Argov, Omri Almog, Omri Puny, Oren Tropp, Otavio Padovani, Ouye Xie, Parth Chadha, Pasha Shamis, Paul Gibbons, Pavlo Molchanov, Peter Belcak, Peter Jin, Pinky Xu, Piotr Januszewski, Pooya Jannaty, Prachi Shevate, Pradeep Thalasta, Pranav Prashant Thombre, Prasoon Varshney, Prerana Gambhir, Pritam Gundecha, Przemek Tredak, Qing Miao, Qiyu Wan, Quan Tran Minh, Rabeeh Karimi Mahabadi, Rachel Oberman, Rachit Garg, Rahul Kandu, Raina Zhong, Ran El-Yaniv, Ran Zilberstein, Rasoul Shafipour, Renee Yao, Renjie Pi, Richard Mazzarese, Richard Wang, Rick Izzo, Ridhima Singla, Rima Shahbazyan, Rishabh Garg, Ritika Borkar, Ritu Gala, Riyad Islam, Robert Clark, Robert Hesse, Roger Waleffe, Rohit Varma Kalidindi, Rohit Watve, Roi Koren, Ron Fan, Ruchika Kharwar, Ruisi Cai, Ruoxi Zhang, Russell J. Hewett, Ryan Prenger, Ryan Timbrook, Ryota Egashira, Sadegh Mahdavi, Sagar Singh Ashutosh Joshi, Sahil Modi, Samuel Kriman, Sandeep Pombra, Sanjay Kariyappa, Sanjeev Satheesh, Santiago Pombo, Saori Kaji, Satish Pasumarthi, Saurav Mishra, Saurav Muralidharan, Scott Hara, Sean Narenthiran, Sebastian Rogawski, Seonjin Na, Seonmyeong Bak, Sepehr Sameni, Seth Poulos, Shahar Mor, Shantanu Acharya, Shaona Ghosh Adam Lord, Sharath Turuvekere Sreenivas, Shaun Kotek, Shaya Gharghabi, Shelby Thomas, Sheng-Chieh Lin, Shibani Likhite, Shiqing Fan, Shiyang Chen, Shreya Gopal, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shuo Zhang, Shuoyang Ding, Shyam Renjith, Shyamala Prayaga, Siddhartha Jain, Simeng Sun, Sirisha Rella, Sirshak Das, Smita Ithape, Sneha Harishchandra S, Somshubra Majumdar, Soumye Singhal, Sri Harsha Singudasu, Sriharsha Niverty, Stas Sergienko, Stefana Gloginic, Stefania Alborghetti, Stephen Ge, Stephen McCullough, Sugam Dipak Devare, Suguna Varshini Velury, Sukrit Rao, Sumeet Kumar Barua, Sunny Gai, Suseella Panguluri, Sushil Koundinyan, Swathi Patnam, Sweta Priyadarshi, Swetha Bhendigeri, Syeda Nahida Akter, Sylendran Arunagiri, Tailling Yuan, Talor Abramovich, Tan Bui, Tan Yu, Terry Kong, Thanh Do, Thomas Gburek, Thorgane Marques, Tiffany Moore, Tijmen Blankevoort, Tim Moon, Timothy Ma, Tiyasa Mitra, Tomasz Grzegorzek, Tomer Asida, Tomer Bar Natan, Tomer Keren, Tomer Ronen, Traian Rebedea, Trenton Starkey, Tugrul Konuk, Twinkle Vashishth, Tyler Condensa, Udi Karpas, Ushnish De, Vahid Noorozi, Vahid Noroozi, Vanshil Atul Shah, Veena Vaidyanathan, Venkat Srinivasan, Venmugil Elango, Victor Cui, Vijay Korthikanti, Vikas Mehta, Virginia Adams, Virginia Wu, Vitaly Kurin, Vitaly Lavrukhin, Vladimir Anisimov, Wan Seo, Wanli Jiang, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wei-Ming Chen, Wendy Quan, Wenliang Dai, Wenwen Gao, Will Jennings, William Zhang, Xiaowei Ren, Xiaowen Xin, Xin Li, Yang Yu, Yangyi Chen, Yaniv Galron, Yashaswi Karnati, Yejin Choi, Yev Meyer, Yi-Fu Wu, Yian Zhang, Ying Lin, Yonatan Geifman, Yonggan Fu, Yoshi Suhara, Youngeun Kwon, Yuan Zhang, Yuki Huang, Zach Moshe, Zhilin Wang, Zhiyu Cheng, Zhongbo Zhu, Zhuolin Yang, Zihan Liu, Zijia Chen, Zijie Yan, Zuhair Ahmed 📅 2026-04-14 👍 39 2026-07-13 08:36

Agentic Reasoning Hybrid Mamba-Transformer LatentMoE Mixture-of-Experts Multi-Token Prediction NVFP4 Quantization Speculative Decoding

arXiv HuggingFace PDF

NVIDIA 发布的 120B 参数混合专家模型，采用 LatentMoE 和 MTP 技术，推理吞吐量提升高达 7.5 倍

前置知识

Mixture-of-Experts (MoE)

混合专家架构是一种通过稀疏激活来扩展模型参数而不增加计算成本的方法。每个 token 只通过路由器选择激活部分专家（top-k 路由），其他专家保持静默。这使得模型可以拥有大量总参数，但每次前向传播只使用少量活跃参数。传统 MoE 中，每个专家是完整的 FFN 层，参数量为 $d \times m$，其中 $d$ 是隐藏维度，$m$ 是中间维度。

LatentMoE 是对传统 MoE 的改进，理解传统 MoE 的工作原理和瓶颈（内存带宽、通信开销）是理解 LatentMoE 创新点的基础

State Space Models (SSM) / Mamba

状态空间模型是一类基于线性系统理论的序列建模方法。Mamba 是一种选择性状态空间模型，通过数据依赖的参数实现高效的线性时间复杂度序列建模。与传统 Transformer 的 $O(n^2)$ 注意力机制不同，Mamba 的状态更新公式为 $h_t = A_t h_{t-1} + B_t x_t$，使得生成过程中只需维护常数大小的状态，大幅降低 KV cache 内存占用。

Nemotron 3 Super 采用混合 Mamba-Attention 架构，理解 Mamba 的线性复杂度和状态缓存机制对于理解其长上下文和推理效率优势至关重要

Speculative Decoding

投机解码是一种加速推理的技术，使用较小的 draft 模型快速生成多个候选 token，然后用主模型并行验证这些候选。被接受的候选 token 直接输出，未被接受的部分则重新生成。这种方法将多次串行解码变为一次并行验证，显著降低延迟。Multi-Token Prediction (MTP) 通过训练模型同时预测多个未来 token，提供了内部的 draft 模型能力。

MTP 是 Nemotron 3 Super 的核心创新之一，它将投机解码直接集成到模型训练中，避免了外部 draft 模型的开销，理解其原理对于评估模型推理效率提升很重要

Quantization (NVFP4)

量化是将模型的权重和激活从高精度（如 BF16）降低到低精度（如 FP4）以减少内存占用和计算量的技术。NVFP4 是 NVIDIA 专为 Blackwell 架构设计的 4 位浮点格式，使用 E2M1 元素格式（1 位指数，2 位尾数）和 16 元素的微块缩放，相比简单的 MXFP4 格式提供更好的精度保持。PTQ（Post-Training Quantization）在训练后对模型进行量化校准。

NVFP4 是 Nemotron 3 Super 实现高效部署的关键，理解其量化策略和精度保持机制对于评估模型在实际部署中的性能和准确性平衡很重要

研究动机

现有大语言模型面临三个核心挑战：推理成本高昂、长上下文处理效率低、智能体能力不足。传统密集模型如 GPT-OSS-120B 虽然精度高，但每次前向传播需要激活所有 120B 参数，导致推理吞吐量受限。现有 MoE 模型虽然在计算效率上有优势，但在低延迟在线部署场景下，专家权重的内存带宽读取和 all-to-all 路由通信成为瓶颈。此外，大多数模型缺乏针对长上下文任务和复杂智能体操作（如软件工程、终端使用、工具调用）的专门训练，在这些实际应用场景中表现不佳。

本文的目标是Nemotron 3 Super 的目标是构建一个同时具备高精度、高推理吞吐量和强智能体能力的开放模型。具体来说，它要在保持与 GPT-OSS-120B 和 Qwen3.5-122B 相当的基准测试精度的同时，实现 2.2× 到 7.5× 的推理吞吐量提升。此外，通过支持最长 1M token 的上下文长度和专门的智能体训练，使模型能够在软件工程、终端操作、工具使用等长任务中展现强大能力。

与已有工作不同的是，本文的独特切入角度在于硬件感知的 MoE 架构设计（LatentMoE）与混合 Mamba-Attention 架构的结合。不同于传统 MoE 只关注计算效率（accuracy per FLOP），LatentMoE 从硬件-软件协同设计角度出发，同时优化计算效率、内存带宽和通信开销，实现 accuracy per parameter 的提升。此外，这是首次将 LatentMoE、MTP 推理加速、NVFP4 低精度训练和大规模智能体 RL 训练整合到单一模型中，形成完整的效率-能力协同优化方案。

核心方法

Nemotron 3 Super 采用三阶段流水线：预训练、后训练和量化。预训练阶段使用 25 万亿 token 数据，采用 NVFP4 低精度训练，引入 LatentMoE 架构和 MTP 层。LatentMoE 通过将路由和专家计算投影到低维潜在空间，减少参数加载和通信量，然后用节省的计算资源增加专家数量和 top-k 激活数。MTP 通过共享权重的多头设计训练模型预测多个未来 token，为投机解码提供内部 draft 能力。混合 Mamba-Attention 架构周期性地插入全局注意力层作为锚点，在保持长程依赖建模的同时利用 Mamba 的线性复杂度优势。后训练阶段包括两阶段 SFT 和三阶段 RL（RLVR、SWE-RL、RLHF），重点增强智能体能力。最后通过 PTQ 量化到 FP8 和 NVFP4 格式，实现高效部署。

核心创新点是 LatentMoE 架构和共享权重 MTP 设计。LatentMoE 与传统 MoE 的本质区别在于引入了潜在空间投影：每个 token 先从原始隐藏维度 $d$ 通过可学习的下投影矩阵 $W_{\downarrow} \in \mathbb{R}^{\ell \times d}$ 投影到低维潜在空间 $\mathbb{R}^{\ell}$（$\ell < d$），然后在潜在空间中进行路由和专家计算，最后通过上投影矩阵 $W_{\uparrow} \in \mathbb{R}^{d \times \ell}$ 恢复到原始维度。这使得专家权重加载和 all-to-all 通信减少 $d/\ell$ 倍，用节省的预算将专家数从 $N$ 增加到 $N' = N \cdot d/\ell$，top-k 从 $K$ 增加到 $K' = K \cdot d/\ell$，在相似推理成本下提升模型质量。MTP 的核心创新是使用共享权重的多头预测头，而不是独立训练不同 offset 的头，这使得同一个头可以递归应用于更长的 draft，缓解训练-推理不匹配问题，提高投机解码的接受率。

方法步骤详情

预训练阶段包含以下步骤：首先，模型在 20 万亿 token 上进行第一阶段训练（80% 总 token），使用多样化数据混合促进广泛覆盖；然后在 5 万亿 token 上进行第二阶段训练（20% 总 token），聚焦高质量数据和基准精度。训练使用 Warmup-Stable-Decay 学习率调度，初始 2000 亿 token warmup 到峰值 LR $4.5 \times 10^{-4}$，稳定阶段后通过 minus-sqrt 衰减到最小 LR $4.5 \times 10^{-6}$。在训练期间采用 checkpoint merging 技术，在稳定阶段通过滑动窗口合并最近的 checkpoint（125B、250B、500B token 窗口）产生比训练 checkpoint 高 2-4 点的基准平均分，节省约 4 万亿 token 的计算成本。长上下文扩展阶段使用 64 路 context parallelism 和 64 路 expert parallelism 在 GB200 上训练，先在 1M 上下文长度训练 340 亿 token，然后在 1M 和 4K 序列交替训练 170 亿 token以缓解对数学基准的轻微影响。后训练阶段包括：SFT 第一阶段使用 token 级平均损失，256K 序列打包，全局 batch size 64；第二阶段切换到 sample 级平均损失防止长输出主导损失，使用 512K 序列打包和长达 512K 的长上下文数据。RL 阶段包括多环境 RLVR（21 个环境）、SWE-RL（软件工程端到端任务）和 RLHF，最后进行 MTP healing 以恢复 MTP 准确性。量化阶段使用 Model-Optimizer 进行 PTQ，FP8 检查点使用 W8A8 量化，NVFP4 检查点使用混合精度策略，通过 AutoQuantize 自动选择敏感层升级到 FP8 或 BF16。

技术新颖性

技术新颖性体现在三个方面：1) LatentMoE 是首个硬件感知的 MoE 架构设计，通过潜在空间投影同时优化内存带宽、通信开销和计算效率，这是对传统 MoE 仅考虑 FLOP 效率范式的突破；2) 共享权重 MTP 设计解决了标准 MTP 在自回归 drafting 时的训练-推理不匹配问题，使得模型可以在不增加参数的情况下实现更长 draft 的稳定投机解码；3) 大规模异步 RL 基础设施支持 21 个环境和 37 个数据集的联合训练，解决了智能体任务中长 horizon 训练的效率和 OOD 泛化问题，特别是 PivotRL 方法通过复用 SFT 轨迹中的关键转折点，大幅提升了智能体 RL 的训练效率。此外，NVFP4 训练稳定性的深入分析和对 Mamba SSM cache 量化误差累积的解决方案（随机舍入）也为低精度训练提供了新的技术洞察。

**Figure 2**: Nemotron 3 Super layer pattern.

**Figure 3**: Standard MoE vs. LatentMoE.

**Figure 10**: Data mixtures for each phase of pre-training.

**Figure 11**: Average accuracy across 12 benchmarks for trained checkpoints versus the best offline checkpoint merge during pretraining.

实验结果

Nemotron 3 Super 在多个方面展现了显著成果。在推理效率方面，在 8K 输入/64K 输出设置下，相比 GPT-OSS-120B 实现 2.2× 吞吐量提升，相比 Qwen3.5-122B 实现 7.5× 吞吐量提升（Figure 1）。在基准测试方面，Base 模型在长上下文任务上显著领先 Ling-flash-Base-2.0 和 GLM-4.5-Air-Base，RULER@64K 达 92.26 vs 72.12/80.26，RULER@128K 达 88.26 vs 52.03/61.70（Table 4）。后训练模型在智能体任务上表现强劲，SWE-Bench (OpenHands) 达 60.47，Terminal Bench Hard 达 25.78，TauBench V2 平均 61.15（Table 5）。MTP 在 SPEED-Bench 上的平均接受长度为 3.45（draft length 7），超过 DeepSeek-R1 的 2.70，接近 Qwen3-Next 的 3.33（Table 2），且在较长 draft 位置（4-7）保持更高接受率（Figure 4）。量化后的 FP8 和 NVFP4 检查点保持了 99.8% 的基准精度，NVFP4 检查点在多数任务上与 BF16 基线精度几乎相当（Table 8）。

**Table 1**: Nemotron 3 Super Architectural Dimensions.

**Table 2**: MTP average acceptance lengths on SPEED-Bench using a draft length of 7.

**Table 4**: Comparison of Ling-flash-base-2.0, GLM-4.5-Air-Base, and Nemotron Super 120B-A12B Base.

**Table 5**: Evaluation suite for Nemotron 3 Super. We compare against Qwen-3.5-122B-A10B and GPT-OSS-120B.

**Table 8**: Evaluation suite for Nemotron 3 Super. We compare our FP8 and NVFP4 optimized models with BF16 model.

**Figure 1**: Accuracy and throughput comparisons of Nemotron 3 Super with GPT-OSS-120B and Qwen3.5-122B.

**Figure 4**: MTP acceptance rate by draft index on SPEED-Bench using a draft length of 7.

**Figure 5**: Total vs. user throughput for an NVFP4 checkpoint (TRT-LLM, TP=1, B300 GPU).

查看结构化数据

任务	指标	本文	基线	提升
RULER@256K	Accuracy	96.83	GLM-4.5-Air-Base: 80.26	+20.6%
RULER@512K	Accuracy	95.22	Qwen3.5-122B-A10B: 95.95	-0.7%
RULER@1M	Accuracy	91.64	Qwen3.5-122B-A10B: 91.33	+0.3%
MATH Level 5	4-shot EM	70.00	GLM-4.5-Air-Base: 26.30	+166%
HMMT Feb25 (with tools)	Accuracy	94.73	Qwen3.5-122B-A10B: 89.55	+5.8%
AIME 2024	pass@32	53.33	GLM-4.5-Air-Base: 20.00	+167%
SWE-Bench (OpenHands)	Resolved	60.47	GPT-OSS-120B: 41.9	+44%
LiveCodeBench v5	pass@1 avg-of-8	81.19	GPT-OSS-120B: 88.00	-7.7%

局限与改进

作者承认的局限性包括：NVFP4 训练中观察到零值权重梯度的增长（训练结束时占总参数的 7%），这可能与低精度下的下溢和通道幅度模式有关（Figure 6-8）。在切换到 MXFP8 的消融实验中，虽然改善了 loss 轨迹，但没有带来下游任务精度的提升（Figure 9），表明精度提升与任务精度之间存在 gap。在基准测试方面，Nemotron 3 Super 在某些任务上仍落后于竞争对手，如 MMLU-Pro 83.73 vs Qwen3.5-122B-A10B 的 86.70，HLE (no tools) 18.26 vs Qwen3.5-122B-A10B 的 25.30，LiveCodeBench 81.19 vs GPT-OSS-120B 的 88.00（Table 5）。此外，论文未提供训练的总计算成本和碳排放数据，使得难以全面评估其环境友好性。智能体 RL 的训练虽然显著扩展了环境和数据，但具体的训练奖励收敛曲线和不同环境的训练细节并未完全公开。

独立分析的弱点

独立分析的弱点包括：1) Mamba 状态缓存量化虽然通过随机舍入解决了冗长问题，但这种方法依赖于特定硬件（Blackwell 的 Philox RNG 指令），在其他 GPU 架构上的可移植性可能受限；2) LatentMoE 的潜在维度选择（1024）是基于理论分析和实验确定的，但论文未系统探讨不同潜在维度对精度-效率权衡的影响，这限制了架构优化的通用性；3) 智能体 RL 中的 PivotRL 方法虽然提高了训练效率，但其效果依赖于 SFT 轨迹的质量，如果 SFT 数据中的专家行为不是最优的，RL 可能学到次优策略；4) 长上下文扩展虽然达到 1M token，但在 RULER@1M 上精度下降到 71%（Base 模型），表明极端长上下文任务仍有改进空间；5) 论文未提供模型在真实世界部署中的延迟和吞吐量细粒度分析（不同 batch size、不同上下文长度下的性能曲线），这使得难以评估其在实际应用场景中的表现。

未来方向

作者提出的未来方向包括：探索 LatentMoE 的潜在维度自动搜索机制，根据硬件特性和任务需求动态选择最优维度；扩展 MTP 到更多应用场景，如代码生成中的多语句预测；改进智能体 RL 的样本效率，减少对大规模 SFT 数据的依赖；探索更低精度的训练格式（如 INT4）以进一步提升训练效率。基于本文成果，可以延伸的方向包括：将 LatentMoE 与其他高效架构（如线性 attention、稀疏 attention）结合，探索更极致的效率优化；将 MTP 与其他推理加速技术（如 Medusa、EAGLE）结合，实现更高效的 speculative decoding；扩展长上下文能力到更长序列（如 2M、4M token），并研究上下文长度的动态分配机制；改进智能体 RL 的泛化能力，使其能够在新环境中快速适应而不需要大量重新训练。

复现评估

论文在复现性方面表现良好。作者公开了预训练数据集（Nemotron-Pretraining-Specialized-v1.1）和后训练数据集（Nemotron-Super-Post-Training-Data），包括合成代码概念、算法问题、经济学问题、形式逻辑和多选问题数据。模型检查点包括 Base BF16、Post-trained BF16、NVFP4 和 FP8 四个版本，均在 HuggingFace 上开源。训练超参数详细记录（学习率调度、batch size、序列长度、MoE 配置等），评估使用开源的 Nemo Evaluator SDK 和 LM Evaluation Harness，评估配置和设置在 GitHub 上公开。然而，完整的训练代码、RL 环境实现和数据处理 pipeline 并未完全开源，这可能限制完全复现训练过程的能力。算力需求方面，25T token 的预训练和大规模后训练需要数千个 GPU（论文提到 RL 阶段使用 1K GPU），这超出了大多数研究机构的能力范围，但提供的检查点和数据集使得下游应用和微调研究成为可能。