长程强化学习需要 Muon：单次异步 rollout 智能体训练的优化器与配方研究 Long-Horizon RL Needs Muon
Muon 配合 SPO++、辅助惩罚与 TIS，让长程智能体 RL 成功率远超 Adam 基线
前置知识
Muon 优化器
面向隐藏层权重矩阵的优化器：对动量更新后的梯度矩阵用 Newton-Schulz 迭代做近似正交化。若梯度 $G = U_r \Sigma_r V_r^\top$（紧致 SVD），更新方向取 $\Delta W^* = -\eta U_r V_r^\top$，即保留奇异向量、把非零奇异值拉平，且满足谱范数约束 $\|\Delta W\|_2 \le \eta$，从而限制每层输出变化 $\|\Delta W x\|_2 \le \eta\|x\|_2$。与 Adam 的逐元素对角缩放不同，Muon 约束的是整层输出的最坏扰动；embedding、输出头与归一化参数通常仍用 AdamW。
论文标题即「长程 RL 需要 Muon」，全文核心变量就是 Adam 与 Muon 的对照，不理解其谱范数机制就无法理解它为何能抑制长程训练崩溃。
单次 rollout 异步强化学习（SPO / SPO++）
传统 GRPO/PPO 每个 prompt 采多条轨迹才能算组内基线，长程任务代价过高。Single-stream Policy Optimization（SPO）对每条 issue 只采一条 rollout，用任务级在线统计做基线并跨轨迹标准化优势；SPO++ 进一步做流内（stream-aligned）优势估计。采集与训练异步进行，因此训练时策略 $\pi^{train}_{old}$ 与采样时策略 $\pi^{rollout}$ 存在策略滞后（policy lag）。
本文全部实验都建立在这套单 rollout 异步框架上，配方中的 TIS、token 平均等组件都是为解决它特有的方差与错位问题而设计。
截断重要性采样（TIS）
异步训练中损失用的是新策略 $\pi^{train}_{old}$，数据却由旧策略 $\pi^{rollout}$ 采得，需用重要性比率 $\pi^{train}_{old}(a_t|s_t)/\pi^{rollout}(a_t|s_t)$ 修正分布错位。为防止比率爆炸，取权重 $w_t = \min(C, \cdot)$ 截断（本文 $C=2$），直接乘到掩码后的 token 级损失上，不做批内归一化。
TIS 是完整配方的组成部分之一，其消融（去 TIS）在两个模型上分别使成功率降到 53.8% 与 58.3%，是理解配方各组件贡献的关键。
Token 级与序列级损失聚合
一个 batch 内 $N$ 条轨迹的有效 token 数 $T_i$ 差异很大。Token 级平均 $\mathcal{L}_{token} = \sum_{i=1}^{N}\sum_{t=1}^{T_i} \ell_{it} / \sum_{i=1}^{N} T_i$ 让每条轨迹按其长度加权（长轨迹贡献大）；序列级平均 $\mathcal{L}_{sequence} = \frac{1}{N}\sum_i \frac{1}{T_i}\sum_t \ell_{it}$ 让每条轨迹等权。聚合方式决定了长轨迹与短轨迹在梯度中的相对话语权。
长程 RL 中轨迹长度方差巨大，聚合方式直接影响训练动力学；论文消融显示在长度惩罚关闭时两种聚合的相对表现随种子波动。
PPO 裁剪与 Clip-Higher
PPO 用比率 $r_t = \pi_\theta(a_t|s_t)/\pi_{old}(a_t|s_t)$ 的裁剪目标限制单步策略偏移。DAPO 提出的 Clip-Higher 使用非对称区间：放宽上界 $\epsilon_{high}$、收紧下界 $\epsilon_{low}$，鼓励低概率 token 被探索同时抑制概率坍缩。本文取 $\epsilon_{low}=0.2$、$\epsilon_{high}=0.28$。
裁剪是所有对比配置共享的更新规则，理解它才能分清「更新规则失效」与「优化器失效」各自对崩溃的贡献。
稀疏结果奖励与奖励塑形（F2P/P2P）
软件工程智能体常用二值结果奖励：按 SWE-bench 规则，补丁须同时通过全部 fail-to-pass（F2P，验证 issue 被修复）与 pass-to-pass（P2P，验证无回归）测试才得 1，否则为 0。奖励塑形则在此基础上加入辅助信号（如长度惩罚、工具错误惩罚）引导行为，同时保持结果奖励不变。
稀疏二值奖励正是长程训练困难的根源，论文的长度/工具错误惩罚与优势标准化都是针对它的对症处理，也是消融分析的对象。
研究动机
仓库级 issue 解决是典型的长程智能体任务：模型要读懂 issue 描述、在真实代码库中导航检索、多次调用编辑与测试工具，并根据执行反馈迭代修改补丁。这类任务的强化学习信号极为稀疏——只有最终补丁通过全部 fail-to-pass（F2P）与 pass-to-pass（P2P）测试才给奖励 1，否则为 0；不同 issue 的轨迹长度差异巨大；且 rollout 由异步采集，训练时策略 $\pi^{train}_{old}$ 与采样时策略 $\pi^{rollout}$ 之间存在持续的策略滞后。在稀疏奖励、长轨迹、离策略程度不断变化的三重压力下，作者观察到基于 Adam 的 PPO 式训练极不稳定：在两个模型家族上，SPO + Adam 的多个配置在约 100 次更新内训练成功率持续下滑甚至彻底崩溃（Figure 4、5 中标为 collapse），MiniCPM5-2B 上全部 6 个含 Adam 的配置、Qwen3.5-4B 上同样数量的 Adam 配置均出现崩溃，说明优化器已成为长程智能体 RL 的主要失败点。
本文的目标是本文要回答一个具体问题：在单次 rollout 异步强化学习（每条 issue 只采一条轨迹、采集与更新并行推进）设定下，优化器的选择如何影响从稀疏结果奖励中学习，以及 Muon 能否与异步训练框架、优势标准化、奖励塑形、重要性修正等组件组合成一套稳定可扩展的长程训练配方。具体路径是：以 Single-stream Policy Optimization（SPO）为基线，先在 MiniCPM5-2B 与 Qwen3.5-4B 两个模型家族、相同数据与 rollout 预算下对比 Adam 与 Muon；再把 Muon 与 SPO++ 的流内优势估计、长度惩罚与工具错误惩罚两项辅助塑形、截断重要性采样（TIS）以及 token 级损失聚合组合成完整配方，用统一指标（每次更新中最终补丁通过全部测试的 rollout 比例，即训练成功率）在 R2E-Gym 任务上做组件级消融，逐一验证每个成分的贡献。
与已有工作不同的是，已有工作留下两个空白。其一，Muon 此前主要被研究用于预训练以及数学推理、交互式 RL（如 Fan et al. 2026、Ruan et al. 2026a），尚无人系统检验它在多轮软件修复这类超长程、稀疏二值奖励、异步采集场景中的作用。其二，处理长程异步训练的 SPO、SPO++、SAO、FlashREINFORCE 等方法的创新都集中在优势估计、turn 级重要性修正或方差控制上，优化器默认使用 Adam 系，不稳定的责任从未被归于优化器本身。本文独辟蹊径地把优化器作为第一变量：先固定数据、rollout 预算、终止规则与损失聚合，只把 Adam 换成 Muon，再逐层加回配方组件，从而把「优化器效应」与「配方效应」干净分离。这种优化器优先的消融视角，加上把长程训练的三类方差来源（轨迹长度差异、无效工具调用、策略滞后）分别映射到长度惩罚、标准化与 TIS 的对应处理，构成了本文区别于既往 agentic RL 配方研究的独特切入角度。
核心方法
整体思路的直觉是：长程智能体 RL 的不稳定来自几个相互独立的来源——优化器在稀疏奖励下走出的更新方向质量、不同长度轨迹对损失的贡献失衡、无效工具调用注入的噪声优势、以及异步采集造成的训练/采样策略错位。配方对每个来源各给一个对症组件：用 Muon 替换 Adam 负责更新方向质量，用 SPO++ 的跨轨迹标准化负责优势尺度，用长度惩罚与工具错误惩罚负责优势塑形，用 TIS 负责修正策略滞后，用 token 级平均负责长度公平。技术路线上，每个 issue 由智能体通过 Claude Code harness（v2.1.118）与 R2E-Gym 容器环境交互，异步产出一条完整 rollout；补丁通过全部 F2P 与 P2P 测试得奖励 1，否则 0；逐轮辅助惩罚先合并截断、再加到该轮有效 token 的优势上并跨轨迹标准化；损失按 token 级平均聚合，经 TIS 加权与非对称 PPO 裁剪后，由 Muon 更新隐藏层权重矩阵。
核心创新是把 Muon 的谱范数解释引入长程智能体训练。对非零矩阵梯度 $G$ 作紧致 SVD $G = U_r \Sigma_r V_r^\top$，局部线性问题的解为 $\Delta W^* = -\eta U_r V_r^\top$：该方向保留梯度的奇异向量、把非零奇异值拉平，并以 $\|\Delta W x\|_2 \le \eta \|x\|_2$ 约束每层输出的变化幅度。这与 Adam 按对角元素自适应缩放有本质区别：在奖励稀疏、策略分布快速漂移的异步训练中，谱范数球约束天然限制了单步更新对任意输入方向输出的最大扰动，相当于一个隐式的、与 PPO token 级裁剪互补的信任域。工程实现用 Newton-Schulz 迭代近似正交化以避免显式 SVD，且只作用于隐藏层权重矩阵，embedding、输出头、归一化与向量参数仍用 AdamW。与 SPO++ 等前作的本质区别在于：它们在 Adam 框架内修优势估计与重要性采样，而本文用对照实验证明换掉优化器本身才是消除训练崩溃的关键一步。
方法步骤详情
训练流程分五步。（1）采样：对 R2E-Gym 的每个 issue，策略模型经 Claude Code harness 检查仓库、编辑文件、运行测试，异步产出一条多轮轨迹；环境观测 token 不进策略损失，agent 生成的 token 记为有效 token。（2）打分：按 SWE-bench 规则，补丁须同时通过全部 fail-to-pass 与 pass-to-pass 测试才得 $r=1$。（3）塑形：回复超 2048 token 触发长度惩罚（最强 $-0.5$，最后一轮不计），无效动作或各类执行错误触发 $-0.5$ 惩罚；逐轮合并为 $c^k = \mathrm{clip}(c^k_{len}+c^k_{tool},-0.25,0.25)$加进该轮优势后跨轨迹标准化。（4）修正与聚合：取 $\epsilon_{low}=0.2$、$\epsilon_{high}=0.28$ 做非对称 PPO 裁剪；TIS 权重 $w_t=\min(C,\pi^{train}_{old}/\pi^{rollout})$（$C=2$，无批内归一化）乘到掩码 token 损失，按 token 级平均聚合。（5）优化：Muon 经 Newton-Schulz 迭代更新隐藏层矩阵，其余参数用 AdamW。
技术新颖性
技术新颖性体现在三处。其一，把优化器提升为长程智能体 RL 的第一公民：SPO、SPO++、SAO、FlashREINFORCE 等单流异步方法的创新都在优势估计、turn 级重要性修正或方差控制上，优化器默认 Adam；本文在相同数据、rollout 预算、终止规则与损失聚合下的对照显示，仅把 Adam 换成 Muon 就能让 Qwen3.5-4B 从 18.0%/18.2% 提升到 45.2%，MiniCPM5-2B 从 26.8% 到 45.2%。其二，Muon 的谱范数约束 $\|\Delta W x\|_2 \le \eta \|x\|_2$ 在此被赋予新角色——隐式的序列级信任域，与 PPO 的 token 级裁剪在不同粒度上互补，为「Adam 为何在长程任务崩溃」提供几何解释入口。其三，配方层面的对齐设计：辅助惩罚逐轮 clip 后注入优势、TIS 权重不做事后归一化、token 级平均抵消长度偏差，每个组件在 Figure 2 下半部分都有对应的消融条目，使「哪部分带来多少提升」可逐项检验，而非黑盒配方。
实验结果
核心数字来自 Figure 2（updates 90-100 的训练成功率均值，单种子选定 run）。主对比：MiniCPM5-2B 从 SPO + Adam 的 26.8% 升到 SPO + Muon 的 45.2%，再到完整配方 SPO++ + Muon 的 74.1%；Qwen3.5-4B 从 18.0%、18.2% 跃升至 66.9%——较 Adam 基线分别高出 47.3 与 48.9 个百分点。组件消融（Muon 固定）：MiniCPM5-2B 去掉长度惩罚降到 59.1%，去掉工具错误惩罚 70.5%，两惩罚皆无 46.7%，无长度惩罚时改用序列级平均 70.9%、再去掉 TIS 53.8%；Qwen3.5-4B 对应为 25.8%、68.2%、84.4%、59.7%、58.3%。Figure 4/5 的逐更新曲线（100 次更新，粗线为 span-5 EMA）显示：两个家族的全部 Adam 配置均在训练中崩溃（标红 collapse），完整配方（标绿）则持续上升。注意 Qwen3.5-4B 去掉两个惩罚反而最高达 84.4%，提示单种子方差较大，惩罚组件的边际贡献并不像主对比那样干净。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| R2E-Gym 仓库级 issue 修复（MiniCPM5-2B） | 训练成功率 %（updates 90-100 均值） | 74.1（完整配方 SPO++ + Muon） | 26.8（SPO + Adam）；45.2（SPO + Muon） | +47.3pp 对比 Adam 基线；+28.9pp 对比 SPO + Muon |
| R2E-Gym 仓库级 issue 修复（Qwen3.5-4B） | 训练成功率 %（updates 90-100 均值） | 66.9（完整配方 SPO++ + Muon） | 18.0（SPO + Adam）；18.2（SPO + Muon） | +48.9pp 对比 Adam 基线；+48.7pp 对比 SPO + Muon |
| 配方组件消融（SPO++ + Muon 固定） | 训练成功率 % | MiniCPM5-2B 完整配方 74.1；Qwen3.5-4B 完整配方 66.9 | 无长度惩罚 59.1/25.8；无工具错误惩罚 70.5/68.2；两个惩罚皆无 46.7/84.4；无长度惩罚+序列平均 70.9/59.7；再加无 TIS 53.8/58.3（依模型顺序） | 完整配方在 MiniCPM5-2B 上为最优；Qwen3.5-4B 上惩罚组件贡献被种子噪声部分掩盖（两惩罚皆无反而 84.4） |
局限与改进
局限性有四层。作者承认这是 work in progress：曲线取每个配置可得的最长 run，MiniCPM5-2B 的 SPO + Muon 还是单独挑选的 run（Figure 3），存在选择偏差；部分比较依赖同种子配对，且全文没有多种子误差棒。指标层面，全文只报告训练成功率，即在训练任务上的在线表现，没有 SWE-bench Verified 等留出集的 resolved rate，无法区分真实泛化与对训练任务的过拟合。我自己的观察：其一，Qwen3.5-4B 两个惩罚都去掉反而达到 84.4%、高于完整配方的 66.9%，与「每个组件都有贡献」的叙事冲突，提示单种子方差足以吞掉组件效应；其二，惩罚超参（2048 token 阈值、$-0.5$ 强度、$\pm 0.25$ 截断、$C=2$）没有敏感性分析；其三，训练管线依赖闭源的 Claude Code harness（v2.1.118），奖励定义与 harness 的报错消息耦合；其四，论文没有解释 Muon 起效的机理，也未报告算力与墙钟时间，Adam 崩溃的具体动力学（梯度范数、熵、KL）没有任何可视化。
独立分析的弱点
独立来看，实验设计有几处值得改进的弱点。（1）统计功效不足：每个配置实质上只有一条被选中的训练曲线，主对比 +47 个百分点的幅度虽大到难以完全归因于噪声，但 3-8 个百分点的组件级消融（如 70.5 对 74.1、70.9 对 74.1）完全可能落在种子噪声范围内，应至少跑 3 个种子并报均值与标准差。（2）训练成功率作为唯一指标会奖励对训练分布的记忆，应补充留出 issue 的通过率与 pass@1，否则无法排除配方只是在记住训练任务的测试结构。（3）崩溃判定是定性的图上标注，缺少定量判据（如梯度范数爆炸、熵坍缩或 KL 阈值），不利于他人复现与横向比较。（4）组件交互未被解耦：TIS 与损失聚合的消融只在长度惩罚关闭时进行，无法回答「长度惩罚开启时 TIS 是否仍必要」这类条件性问题。（5）Adam 为何崩溃缺乏机制探查，改进方向上可为每个组件引入自动超参调度（如按响应长度分布自适应设定阈值），并加入基于监控信号的崩溃早期检测与检查点回滚。
未来方向
后续工作可沿四条线延伸。作者方向上：把配方推广到更多长程域（Web 操作、计算机使用、科研代码库）验证 Muon 效应的普适性；与 SAO 的 value-model 学习、FlashREINFORCE 的 critic-free 重要性采样等异步修正正交组合，观察收益是否叠加；并解释 Muon 为何在稀疏奖励下更稳，例如谱范数约束与优势二阶矩的定量关系。基于成果可延伸的方向：（1）多种子、多尺度（7B/14B/32B）系统研究，确认增益随模型与任务规模的变化趋势，检验 Adam 崩溃是否存在规模阈值；（2）把手工的长度/工具错误惩罚改造成学习到的奖励模型或自动课程，消除 2048 token、$-0.5$、$\pm 0.25$ 等魔法数字；（3）研究 Muon 学习率 $\eta$ 与 PPO 裁剪区间的联合缩放规律——两者本质上都是对更新步长的信任域；（4）用留出 issue 的在线通过率做模型选择与早停，纠正训练成功率的挑选偏差；（5）开源完整的异步 Muon RL 训练栈，降低社区验证与扩展成本。
复现评估
复现难度中等偏高。有利条件：训练环境 R2E-Gym 开源；两个模型 MiniCPM5-2B 与 Qwen3.5-4B 均为开放权重；算法组件全有公开参考实现（Muon 的 Newton-Schulz 迭代、PPO 非对称裁剪、TIS）；论文披露了几乎所有关键超参——$C=2$、$\epsilon_{low}=0.2$、$\epsilon_{high}=0.28$、2048 token 阈值、惩罚强度 $-0.5$、合并惩罚截断 $\pm 0.25$、约 100 次更新预算、EMA span 5。不利条件：论文未承诺发布代码；智能体 harness 是 Claude Code v2.1.118，需自行搭建工具调用与容器执行接口，工具错误惩罚还依赖 harness 的拒答消息定义；单次 rollout 异步训练要求采集与训练进程解耦的基础设施；论文未披露 GPU 数量与墙钟时间，两个模型家族乘以十余个配置、每个 100 次更新的总算力不低。建议复现者先在单配置（MiniCPM5-2B 的 SPO++ + Muon）上打通管线并复现 74.1% 量级，再逐步加回消融与 Adam 对照。
论文图表