MInTRL：稀疏离策略干预可增强在策略强化学习 MInTRL: Off-policy Intervention can boost On-policy RL
在在策略rollout中做稀疏局部纠正，用优势回归学习混合来源轨迹，兼顾探索与可学习性。
前置知识
RLVR（可验证奖励强化学习）
以自动可验证的结果奖励（数学答案对错、代码是否通过测试）训练大语言模型的强化学习范式：模型对每个问题采样多条推理轨迹，验证器给出 0/1 奖励，再用策略梯度类算法更新策略，无需人工标注过程。DeepSeek-R1、Qwen3 等推理模型的后训练核心手段。
本文全部理论与实验都建立在 RLVR 设定之上，理解其「结果奖励 + 自采样轨迹」机制是读懂动机与方法的起点。
在策略（on-policy）与离策略（off-policy）
在策略指训练数据由当前策略自身采样得到，训练与行为分布一致、优化稳定，但学习上限受限于模型自己能采到什么；离策略指使用其他分布（如更强教师模型）生成的数据，能引入模型之外的知识，但分布偏移大，直接套用策略梯度会不稳定。
本文的核心问题正是在两者之间折中：用极少量离策略干预扩展探索边界，同时让轨迹大体保持在策略，理论部分讨论的覆盖—可学习性权衡就源于此。
GRPO 与重要性采样
GRPO 是 RLVR 常用算法：同一问题采样一组轨迹，用组内平均奖励作基线计算优势后做策略梯度更新。当数据来自非当前策略的行为策略时，需逐 token 乘以 $\pi/\mu$ 的重要性比率修正，该比率沿轨迹连乘后极易爆炸或塌缩，导致训练崩溃。
MInTRL 的轨迹混入了干预策略写的 token，若直接用 GRPO 必须做重要性修正；论文改用回归目标正是为了从根上绕开这一步，这是理解方法设计的钥匙。
优势回归（advantage regression）目标
从 KL 正则化 RL 目标 $\max_\pi \mathbb{E}[r] - \beta D_{KL}(\pi\|\pi_t)$ 的闭式最优解出发，可得到逐轨迹最优性条件 $\beta \log \frac{\pi^*_\beta(y|x)}{\pi_t(y|x)} = A^*_\beta(x,y)$，即每条轨迹的对概率比应等于其优势。回归损失 $\mathcal{L}(\theta) = \mathbb{E}\left[(\beta \log \frac{\pi_\theta(y|x)}{\pi_t(y|x)} - A^*_\beta)^2\right]$ 直接拟合该条件，对任何 $\pi_t(y|x)>0$ 的轨迹都有定义，与生成它的行为策略无关。
这是 MInTRL 能直接消化「策略 + 干预混合来源轨迹」的数学基础，是方法一节的核心公式。
Pass@k 与策略熵
Pass@k 指对每题采样 $k$ 条答案、至少一条正确的比例，衡量给定采样预算下模型的探索上限；策略熵衡量输出分布的随机性，熵骤降意味着探索多样性丧失、训练过早收敛。RLVR 中常见「奖励升、熵崩」现象，是衡量训练健康度的重要指标。
论文用 Pass@k（直到 k=32）和训练熵论证 MInTRL 在提升奖励的同时保住了多样性，这是「扩展覆盖」主张的关键实证证据。
正确轨迹的 ε-支撑集
对二值验证奖励，策略 $\pi$ 的 ε-支撑集定义为 $supp_\epsilon(\pi;x)=\{y \in C(x): \pi(y|x)>\epsilon\}$，即概率大于 ε 的正确轨迹集合。有限采样预算下只有「推理支撑集」（阈值 $\epsilon_{inf}$）内的轨迹能被观察到，而训练仍能从概率更低的「训练支撑集」（阈值 $\epsilon_{train} < \epsilon_{inf}$）轨迹中学习。
论文理论部分用这套语言刻画稀疏干预最多能扩展多少覆盖（$N$ 次纠正扩展 $(1/\nu)^N$ 倍）、何时越过可学习边界，是读懂第 3 节的前提。
研究动机
RLVR 几乎全部建立在纯在策略学习之上：训练数据完全来自当前策略自己的采样。这带来一个根本瓶颈——如果策略在有限次采样内根本采不到正确答案，该问题就只能产生零优势梯度，训练信号直接浪费掉。近期研究（Chen et al. 2026b; Wu et al. 2025）证实，在策略 RLVR 往往无法发现基座模型在有限采样预算下本就不可达的推理轨迹。数字非常直观：Qwen3-1.7B 基座在 AIME25 上 Pass@1 只有 8.85%，HMMT25 只有 4.48%，大量题目在 rollout 中几乎见不到正确解；标准 GRPO 训练 500 步后数学三基准平均也只从 7.40 提到 17.74。另一条路是引入外部知识：SFT 或蒸馏能完整展示教师模型的成功路径，但整条轨迹都来自教师，与学生分布偏差巨大（SFT+GRPO 在 1.7B 数学上平均只有 25.21，不如部分干预式方法），且学生难以从「远超自身能力」的示范中可靠学习。
本文的目标是本文要回答一个基础问题：LLM 能否在 RL 训练过程中有效吸收外部知识？如果可以，应该引入多少离策略信息？具体目标是设计一种机制，在 rollout 阶段只注入极少量（实验中约 2–4% 的 token）离策略内容，让当前策略暴露于靠自己采样难以发现的正确推理路径，同时保持轨迹整体在策略性质以保住可学习性；配套地，需要一个不依赖重要性采样的训练目标来消化这些混合来源轨迹；最后用理论刻画「干预多少最合适」这一权衡。
与已有工作不同的是，已有工作分两类：一类整条替换轨迹（SFT+GRPO、ReGFT、ReLIFT），分布偏移大；另一类做干预但用策略梯度 + 重要性权重（MENTOR 在 token 级混合学生与专家分布，需要投机采样协调解码）。MInTRL 的独特切入点是「局部性 + 回归」：干预只在错误发生的步骤附近出现，是轨迹中孤立的短片段，其余部分完全由策略自主生成，纠完立刻交还控制权；训练端则用 KL 正则目标的闭式最优解做序列级优势回归，行为策略只决定「看到哪些轨迹」而不进入梯度修正，从根上免除重要性采样。此外，本文首次用支撑集理论把「稀疏纠正能扩展多少覆盖、何时越过可学习边界」变成可定量分析的定理，为倒 U 形干预强度曲线提供了解释框架。
核心方法
直觉上，RL 的问题是「看不见正确答案就学不到」，SFT 的问题是「看到太多自己学不动的答案」。MInTRL 让策略像平时一样自己写推理，一个裁判—干预模型（judge–intervention policy，$\pi_{JI}$）像 code review 一样分段检查：发现第一个致命错误时，砍掉错误后缀、由 $\pi_{JI}$ 补一小段纠正（不超过 64 个 token），然后立刻把笔交还给策略继续写。这样一条轨迹中约 96–98% 的 token 仍由当前策略生成，但关键岔路口被拉回正轨，策略得以从「够得着的正确前缀」继续自主探索。技术路线分两个阶段：第一阶段是半在策略 rollout 采样（Algorithm 1），策略按 chunk 生成、裁判逐段审查、KEEP 或 REVISE（截断 + 短纠正）循环直至完成；第二阶段是回归式 RL 训练，用 KL 正则 RL 目标的闭式最优性条件构造序列级平方回归损失，优势基线只用纯在策略控制 rollout 估计，干预 token 的参考概率用常数锚点 $\kappa$ 放宽。工程上还配套了步骤级错误定位（按 \n\n 或代码围栏切分）、双温度 $\beta_1 \gg \beta_2$ 设计，以及「前 200 步开干预、后 300 步纯在策略」的早停策略。
核心创新有三点，每一处都对应已有方法的明确短板。第一，「最小干预」的半在策略数据生成：与 MENTOR 的 token 级混合分布不同，MInTRL 的离策略信息只以孤立的短 span 出现在错误点，学生解码在两次审查之间完全连续；与 SFT 的整轨迹替换相比，轨迹的状态分布基本留在当前策略附近，这正是「可学习性」得以保住的原因——干预被当作引导探索的路标而非监督信号，策略优化始终由可验证的结果奖励驱动，纠正内容本身错了也不会直接污染梯度。第二，用优势回归替代策略梯度：回归目标 $\mathcal{L}(\theta)=\mathbb{E}[(\beta\log\frac{\pi_\theta(y|x)}{\pi_t(y|x)}-A^*_\beta)^2]$ 对任意 $\pi_t(y|x)>0$ 的轨迹都有定义，与行为策略无关，因此混合来源轨迹可以直接当回归样本用，完全不需要重要性加权。第三，支撑集理论：在最优 token 可达性假设下，$N$ 次最优纠正最多把可见正确轨迹的概率下界扩展 $(1/\nu)^N$ 倍，但只有当 $\epsilon_{inf}\nu^N \geq \epsilon_{train}$ 时扩展的轨迹仍在训练支撑集内——第一次把「该干预多少」表述成覆盖与可学习性之间的定量权衡。
方法步骤详情
完整流程如下。输入：问题 $x$、当前策略 $\pi_t$、裁判—干预策略 $\pi_{JI}$（主实验用 Qwen3-4B-Instruct-2507）。第一步，半在策略采样（Algorithm 1）：初始化接受前缀 $p=\emptyset$；$\pi_t$ 以 chunk 为单位生成（数学 512 token、代码 128 token）；用双换行 \n\n 或代码围栏把新 chunk 切成步骤；$\pi_{JI}$ 在 $(x, p)$ 上下文中审查，输出 KEEP 或 REVISE 加最早错误步骤索引（Prompt 模板见附录 C）；KEEP 则整个 chunk 追加进前缀，REVISE 则保留错误步骤之前的内容，由 $\pi_{JI}$ 以保留前缀为条件生成不超过 64 token 的短纠正 $h$，拼接后控制权交还 $\pi_t$；每条轨迹最多审查 4 次，循环直至响应完成（上限 16384 token）。第二步，训练数据构造：每个 prompt 采 8 条半在策略轨迹（允许干预）加 8 条纯在策略控制轨迹。第三步，优势估计：基线只用 8 条控制轨迹的平均奖励 $\hat{V}(x)=\frac{1}{N_c}\sum_j r(x,y_j^{ctrl})$，优势 $\hat{A}=r-\hat{V}$，控制与半在策略轨迹都作为回归样本。第四步，回归更新：最小化 $(\beta_2 \log\frac{\pi_\theta}{\hat{\pi}_t} - \hat{A})^2$，其中策略 authored token 的锚点取 $\log\pi_t$（MInTRL-Proxy）或常数 $\kappa$（MInTRL-Const，数学 −0.2、代码 −0.1），$\beta_1=\infty$（均值基线）、$\beta_2=10^{-3}$。第五步，调度：AdamW、学习率 $10^{-6}$、共 500 步，前 200 步允许干预，之后关闭 $\pi_{JI}$ 转纯 GRPO 式在策略训练。
技术新颖性
对比各条已有路线可以看清新颖性所在。对比纯在策略方法（GRPO/DAPO）：首次把「稀疏局部干预」系统地作为扩展探索的原语，并给出支撑集层面的理论刻画。对比 SFT+RL 类方法（ReGFT、ReLIFT、BREAD）：不整条替换轨迹，干预 span 只占约 2–4% token，且优化信号始终来自结果奖励而非模仿教师，从机制上隔离了教师错误的危害（图 9 的失败案例仍被结果奖励正确惩罚）。对比最接近的 MENTOR：MENTOR 在 token 级混合学生与专家分布，需要重要性权重修正和投机采样协调；MInTRL 分段审查、学生解码连续，实验上训练时间反超 2.50–3.45 倍。对比 on-policy distillation（OPD/GKD）：OPD 逐 token 匹配教师分布，MInTRL 只在失败处请教师介入、目标仍是结果奖励，因此不会把教师风格强加给学生。对比 A*PO 等优势回归工作：本文是首批把回归目标用于「策略 + 干预混合来源」轨迹的场景，并提出用常数锚点 $\kappa$ 处理低概率干预 token 的实用技巧——消融显示这个看似粗糙的技巧反而普遍优于精确的策略锚点。
实验结果
主实验（Table 1）覆盖 Qwen3-1.7B/4B 两个规模、数学与代码两个领域，每题采 32 样本估计 Pass@1。Qwen3-1.7B 上 MInTRL-Const 数学平均 35.45（AIME25 40.73、AIME26 41.56、HMMT25 24.06），比 GRPO 的 17.74 和 OPD 的 21.84 高出 +13.61pp，且六个子基准全部领先；比最强竞争者 MENTOR 的数学平均 26.01 高 9.44pp（摘要所称的最大领先幅度即来自这里）。代码平均 61.95（LCB 37.85、HumanEval+ 80.81、MBPP+ 67.20），相对 GRPO/OPD 较强者 +14.12pp。Qwen3-4B 上规模增大后收益收窄但仍稳定：数学 55.73（+3.02pp vs GRPO 52.71），AIME25 达 65.31；代码 72.63（+6.80pp vs GRPO 65.83）。一个反直觉发现是常数锚点的 MInTRL-Const 普遍优于用精确策略对数概率锚定的 MInTRL-Proxy，作者归因于弱策略下干预 token 概率极低、被策略锚点过度约束。训练动态（Figure 3、4）：MInTRL 的训练奖励与熵双高，Pass@k 直到 k=32 仍优于 GRPO；干预 token 上的经验 forward KL 随训练下降，半在策略与纯在策略 rollout 的奖励差距收敛到零，说明策略逐步内化了纠正知识。行为分析（Figure 5）：代码上 wait/actually/maybe 等反思词频率相对 GRPO 上升 55.0–84.2pp，compute/use/we can/we will 等执行词下降 25.5–33.8pp。消融（Table 2）显示自我干预（基座模型 + 特权上下文充当 $\pi_{JI}$）依然有效：Proxy 52.29 vs GRPO 47.26。Figure 6 给出核心消融：干预强度呈倒 U 形，离策略 token 占比约 2–4% 最优，过量干预甚至不如不干预的基线。效率上（Table 5），达到相近性能时 MInTRL-Const 比 MENTOR 快 2.50–3.45 倍（如 1.7B 数学 6.44h vs 22.21h），wall-clock 缩减 60.0–71.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（Qwen3-1.7B，AIME25/AIME26/HMMT25 平均） | Pass@1（每题32采样均值） | MInTRL-Const 35.45 | GRPO 17.74；OPD 21.84；MENTOR 26.01；SFT+GRPO 25.21 | 较最强竞争者 MENTOR +9.44pp，较 GRPO +17.71pp |
| 代码生成（Qwen3-1.7B，LCB/HumanEval+/MBPP+ 平均） | Pass@1（每题32采样均值） | MInTRL-Const 61.95 | GRPO 47.01；OPD 47.83；MENTOR 50.76；SFT+GRPO 59.88 | 较 GRPO/OPD 较强者 +14.12pp |
| 数学推理（Qwen3-4B） | Pass@1（每题32采样均值） | MInTRL-Const 55.73（AIME25 65.31） | GRPO 52.71；MENTOR 55.35 | +3.02pp（vs GRPO） |
| 代码生成（Qwen3-4B） | Pass@1（每题32采样均值） | MInTRL-Const 72.63 | GRPO 65.83；MENTOR 71.80；SFT+GRPO 70.81 | +6.80pp（vs GRPO） |
| 训练效率（对比 MENTOR，同为干预期） | wall-clock 时间 | 1.7B 数学 6.44h（3.45×）；4B 代码 9.59h（3.28×） | MENTOR 1.7B 数学 22.21h；4B 代码 31.49h | 2.50–3.45× 加速，时间缩减 60.0–71.0% |
| 干预强度扫描（消融） | 相对无干预基线的 Pass@1 增益 | 离策略 token 占比约 2–4% 时增益最大 | 0% 干预（纯在策略对照）；40% 过量干预 | 倒 U 形：过量干预增益转负、低于基线 |
局限与改进
作者在附录 I 承认三点局限：其一，实验只覆盖 Qwen3 家族 1.7B/4B 与数学、代码两类单轮任务，未验证长程 agentic 场景；其二，judge 审查与干预生成本身带来额外推理开销（尽管 wall-clock 分析显示被训练效率收益抵消）；其三，judge 可能拒绝正确的推理或给出错误纠正——Figure 9 的失败案例里学生已自行纠正符号错误得到 $f'(1)=-1$，judge 却误判并注入错误符号的纠正，最终答案错成 1。我的补充观察：第一，主表报告的是「三基准平均最高的 checkpoint」而非最终 checkpoint，而附录 E 显示 4B 上 MInTRL-Proxy 最终掉到 47.88、低于 GRPO 的 52.43，说明 Proxy 变体在较大模型上存在后期退化，方法的稳健性对锚点选择敏感；第二，理论假设「最优下一个 token 概率 $\geq \nu$」且纠正即最优 token，与实现中的步骤级、启发式裁判之间有明显落差，定理更多是概念性解释而非性能保证；第三，常数锚点 $\kappa$ 取 −0.2/−0.1 仅靠 pilot rollout 粗估，未做敏感性消融；第四，每题仅 32 个采样评估，AIME 这类小基准上方差不可忽略；第五，方法隐式要求一个比学生强、且与学生分布不太远的裁判模型，这个「既要强又要近」的匹配条件在现实中并不总容易满足（Table 4 中更强的 DeepSeek-V4-Flash 判官反而没带来一致提升）。
独立分析的弱点
第一，对裁判质量的依赖是最大软肋：判错轻则浪费算力、重则毁掉本来正确的轨迹（Figure 9）。改进方向是给裁判加置信度门槛、多次采样投票，或训练专门的过程奖励模型做错误定位，只在「高置信错误」时才触发干预。第二，超参维度多且相互耦合：chunk 大小、审查次数、纠正长度、锚点 $\kappa$、干预停止时机共约五个，目前靠粗调选定；论文自己给出的「半在策略与在策略奖励差距收敛」信号其实可以直接改造成自适应干预开关——差距大就多干预、趋零就停，替代固定 200 步的硬调度。第三，4B 规模上 MInTRL-Proxy 后期明显退化（最终 checkpoint 数学平均 47.88 vs GRPO 52.43），说明策略锚点在大模型 + 长训练下不稳定，可尝试教师概率与策略概率的插值锚点或动态退火。第四，理论与实现脱节：定理需要最优 token 纠正和均匀可达性假设，真实裁判给的是近似最优的步骤级补丁，把分析推广到「近似最优、步骤级」情形会让理论更有预测力。第五，评估面窄：只在 Qwen3 上验证，且缺少对同一计算预算下与「把 judge 推理算力拿去做更多 GRPO 采样」这一朴素替代方案的公平对比，目前无法断言稀疏干预是这批推理算力的最优用法。
未来方向
作者明确提出的方向包括：扩展到更多学生模型家族与长程 agentic 任务；设计更高效的 rollout 调度与自适应干预预算；提升错误检测与局部纠正的可靠性以减少无益干预。基于本文成果还可延伸：其一，用奖励差距信号做干预的自动启停，把「干预多少」变成在线决策而非超参；其二，让干预策略本身可学习——学习何时干预、在哪里干预（与 InT 等自提议干预工作结合），甚至用 RL 优化裁判的触发策略；其三，支撑集框架理论上可以推出最优干预预算 $N^*$ 的闭式（令 $\epsilon_{inf}\nu^N=\epsilon_{train}$ 处），值得形式化并实验验证；其四，纠正来源不必是更强教师——检索结果、工具执行反馈、验证器反例都可充当局部干预，构成「多源最小干预」；其五，把稀疏干预与异步/陈旧数据 RL 结合，用同一套覆盖—可学习性语言统一刻画两类离策略信息；其六，在多轮对话、工具调用等长轨迹场景检验「局部性」假设是否仍然是收益的主要来源。
复现评估
复现要素相当齐全，但未见明确的开源代码链接。有利条件：训练数据全部公开（AceReason-Nemotron 过滤子集、DeepCoder-Preview）；基座与裁判全是开源权重模型（Qwen3-1.7B/4B、Qwen3-4B-Instruct-2507、DeepSeek-V4-Flash）；数学与代码两套裁判/干预 prompt 全文给出（附录 C）；超参完整列出（附录 H Table 6：batch 32 prompt × 16 轨迹、8 条在策略 + 8 条半在策略、温度 1.0、top-p 1.0、响应上限 16384、AdamW 学习率 1e-6、梯度裁剪 1.0、$\beta_2=10^{-3}$、$\kappa$ 取值、chunk 配置、200 步干预期）；训练基于开源框架 veRL。算力需求中等偏重：NVIDIA H100 80GB，1.7B 数学干预期约 6.44 小时 wall-clock、全程 500 步，4B 规模干预期约 10–11 小时，需要多卡。主要工程难点在于实现分段「生成—审查—截断—纠正—续写」的 rollout 循环，涉及双模型服务与学生 KV cache 的中断恢复。难度评估：有 veRL 工程经验的团队约需数周复现主结果；无代码情况下属于「可复现但费工程」，且 Table 1 报告的是最优 checkpoint，严格复现数值还需逐一评估每 50 步保存的全部 checkpoint。
论文图表
(a) 域平均 Pass@k 随采样数 k=1..32 变化，MInTRL 两个变体在所有预算下都优于 GRPO；(b) 干预 token 上的经验 forward KL 随训练步下降，且半在策略与纯在策略 rollout 的奖励差距从约 0.1 收敛到 0。
(a) 说明收益来自真实能力提升而非采样分布变化；(b) 提供策略逐步「内化」干预知识的两层量化证据，也暗示了自适应停止干预的可行信号。
代码题 rollout：学生起初按三角形数思路写出 1+n(n+1)/2，judge 用公开样例 n=2（公式给 4 而答案是 19）触发干预并提示重新考虑六边形几何，随后学生自行发现第 k 环含 6k 格，求和得正确公式 1+3n(n+1) 并实现。
展示 judge 如何用最小线索（一个反例 + 一句提示）撬动学生自主完成剩余推理，体现「最小干预」的设计意图。
失败案例：学生已自行纠正符号错误得到正确导数 f′(1)=−1，judge 却错误地拒绝该纠正并注入带错误符号的干预，恢复生成的学生跟随错误干预输出错答 1。
诚实呈现方法的风险面：干预不是监督信号也会误导探索，对应附录 I 关于裁判质量的局限性讨论。
主结果表：Qwen3-1.7B 与 4B 在 AIME25/AIME26/HMMT25（数学）与 LCB/HumanEval+/MBPP+（代码）上的 Pass@1，对比 Base、GRPO、OPD、MENTOR、SFT+GRPO、MInTRL-Proxy/Const。1.7B 上 Const 数学平均 35.45、代码 61.95，全面领先；4B 上 55.73/72.63 仍居首。
论文所有结论的数字基础，包含每个子基准的分项成绩，是评估方法有效性与优势幅度的核心证据。
跨家族裁判鲁棒性：换用 DeepSeek-V4-Flash 后 MInTRL 仍稳定优于 GRPO/OPD（如 1.7B 数学 Proxy 36.84 vs GRPO 17.74），但更强的裁判并未带来一致提升——1.7B 代码 Proxy 53.42 反而低于用 Qwen 裁判时的 55.63。
说明「裁判强」不等于「学得好」，纠正 token 与学生分布的距离同样关键，支撑「最小干预」而非「最强干预」的主张。