InT：自我提出的干预实现LLM推理中的信用分配 InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning
通过模型自我验证和提出单步纠正干预，解决强化学习在LLM推理中的信用分配问题
前置知识
信用分配（Credit Assignment）
在强化学习中，信用分配是指确定哪些中间步骤对最终结果（成功或失败）负有责任的过程。在LLM推理场景中，一个推理轨迹可能包含数百个步骤，有些步骤是正确的，有些是错误的。信用分配的目标是识别出导致失败的关键错误步骤，同时保护那些正确的中间推理步骤。传统的方法需要训练过程奖励模型（PRM）来为每个步骤提供信用分数，但这种方法计算成本高且训练不稳定。例如，Qwen2.5-Math-PRM系列模型使用了约300万个推理轨迹和复杂的过滤管道。
本文的核心问题就是解决信用分配，理解这个概念是理解InT方法的基础。InT通过自我验证来避免训练显式PRM的需求，实现了更简单高效的信用分配。
结果奖励强化学习（Outcome-reward RL）
一种强化学习范式，只在最终答案的正确性上提供奖励信号。在数学推理任务中，模型生成完整的推理过程，只有当最终答案正确时才获得正奖励（通常为1），否则获得零奖励。这种奖励分配方式会导致所有步骤被均匀强化或惩罚，无论它们是否对最终结果有贡献。例如，在一个错误的推理轨迹中，前面的正确步骤也会被惩罚，而在成功的轨迹中，可能存在的冗余或错误步骤也会被错误地强化。这导致了两个具体问题：抑制正确推理模式的学习，以及强化次优推理模式。
这是现有方法的主要局限，也是InT要解决的核心问题。理解结果奖励RL的局限性有助于理解为什么需要更精细的信用分配方法。
过程奖励模型（Process Reward Models, PRMs）
一种显式训练的模型，用于为推理过程中的每个步骤提供信用分数。与结果奖励不同，PRM可以识别哪些步骤是正确的，哪些是错误的。然而，训练高质量的PRM需要大量的计算资源和数据。例如，Qwen2.5-Math-PRM系列模型使用了约300万个推理轨迹和复杂的过滤管道。此外，即使有了PRM，如何利用它来优化策略仍然是一个挑战，因为需要在巨大的可能步骤空间中搜索替代的正确步骤。这使得PRM方法在实践中面临计算和统计上的双重困难。
InT通过自我验证避免了训练显式PRM的需求，这是其关键创新之一。理解PRM的局限性有助于理解InT方法的价值。
GRPO（Group Relative Policy Optimization）
一种策略梯度方法，通过在每个问题上采样多个推理轨迹并计算相对优势来更新策略。具体来说，对于每个问题，GRPO生成一组推理轨迹，计算每个轨迹的奖励，然后通过减去组内平均奖励来标准化这些奖励，得到优势值。优势为正的轨迹会被强化，优势为负的轨迹会被抑制。这种方法在LLM推理训练中被广泛使用，但仍然面临信用分配的挑战，因为优势是在整个轨迹层面计算的，无法区分单个步骤的贡献。在本文中，GRPO被用作InT之后的RL训练方法。
InT使用GRPO作为后续的RL训练方法，理解GRPO有助于理解InT的整体训练流程和最终的RL微调阶段。
通过率@k（pass@k）
一种评估LLM推理能力的指标，表示在k次独立采样中至少生成一次正确答案的概率。例如，pass@1表示单次采样就生成正确答案的概率，而pass@128表示在128次采样中至少有一次正确的概率。较高的pass@k值表明模型具有更强的推理能力，即使单次采样可能失败，但通过多次采样仍然可以找到正确答案。在强化学习训练中，pass@k是一个重要的诊断指标，因为RL训练主要将高pass@k模型的能力转化为高pass@1的性能。本文使用pass@k作为主要评估指标来衡量InT的效果。
本文使用pass@k作为主要评估指标，理解这个指标有助于理解实验结果和InT对模型能力的提升。
研究动机
强化学习在LLM推理中的应用面临严重的信用分配问题。当使用结果奖励（只在最终答案正确性上提供奖励）训练时，整个推理轨迹被均匀地强化或惩罚，无论单个步骤的贡献如何。这导致两个具体问题：首先，在错误的推理轨迹中，前面的正确步骤也会被惩罚，这会抑制模型学习正确的推理模式；其次，在成功的轨迹中，可能存在的冗余或错误步骤也会被错误地强化，这会导致模型学习到次优的推理模式。实验数据显示，在奥林匹克级别的数学问题上，超过80%的推理轨迹组在训练开始时没有任何成功的轨迹。此外，失败的轨迹平均比成功轨迹多出10,000到15,000个token，这表明长轨迹更容易失败，而传统RL方法在这些情况下无法提供有效的学习信号。当训练使用较大的token预算时，奖励往往早期就达到平台期，并且在训练过程中不会显著提高。同时，回复变得要么过于冗长，要么过早截断，往往无法最大化底层的结果奖励。
本文的目标是本文的目标是开发一种有效的信用分配方法，能够在不训练显式过程奖励模型（PRM）的情况下，准确识别推理轨迹中的错误步骤并提供纠正信号。具体来说，研究者希望利用LLM自身的验证能力来识别错误，并提出单步纠正干预，然后通过监督微调（SFT）将这些干预模式内化到模型中，为后续的RL训练提供更好的初始化。最终目标是提高LLM在复杂数学推理任务上的性能，特别是在那些传统RL方法无法提供有效学习信号的困难问题上。作者专注于错误推理轨迹的信用分配，因为在更具挑战性的RL任务中，错误的推理轨迹在训练过程中占主导地位，例如在奥林匹克级别的数学问题上，超过80%的推理轨迹组在训练开始时没有任何成功的轨迹。
与已有工作不同的是，现有方法存在两个主要差距：首先，训练高质量的过程奖励模型（PRM）需要大量的计算资源和数据，例如Qwen2.5-Math-PRM系列模型使用了约300万个推理轨迹，这在实践中是昂贵的；其次，即使有了PRM，如何利用它来优化策略仍然是一个挑战，因为需要在巨大的可能步骤空间中搜索替代的正确步骤。InT的独特切入点是利用LLM内部能力的不对称性：生成正确解决方案从零开始是困难的，但验证单个步骤的正确性相对容易，特别是当有参考解决方案可用时。通过让模型自我验证并提出纠正干预，InT将价值估计和策略优化合并为一个单一过程，避免了训练显式PRM的需要。这种方法不需要外部模型或人工反馈，也不需要修改RL目标函数，是一种简单而有效的信用分配方法。InT利用文本比较（即文本差异）来识别推理轨迹中的第一个错误，这比从头开始生成正确解决方案要容易得多。
核心方法
InT（Intervention Training）的核心思想是利用LLM内部能力的不对称性来实现信用分配。具体来说，生成正确的解决方案从零开始是困难的，但验证单个步骤的正确性相对容易，特别是当有参考解决方案可用时。InT通过三个主要步骤实现这一目标：首先，让模型生成推理轨迹并自我验证，识别出第一个错误步骤；其次，提出一个单步纠正干预来替代错误步骤；最后，通过监督微调（SFT）将这些干预模式内化到模型中，为后续的RL训练提供更好的初始化。这种方法不需要训练显式的过程奖励模型，也不需要修改RL目标函数，是一种简单而高效的信用分配方法。InT的关键洞察是，验证单个步骤的正确性比从头开始生成正确解决方案要容易得多，因此即使是同一个模型也能有效地完成自我验证和提出干预。通过这种方式，InT将价值估计和策略优化合并为一个单一的自我验证过程。
InT的核心创新是将价值估计和策略优化合并为一个单一的自我验证过程。传统方法需要两个独立步骤：首先训练一个过程奖励模型（PRM）来估计每个步骤的价值，然后利用这个价值函数来优化策略。这两个步骤都面临挑战：训练PRM需要大量计算和数据，而利用PRM优化策略需要在巨大的步骤空间中搜索替代方案。InT通过让模型自我验证来绕过这些挑战：给定一个错误的推理轨迹和参考解决方案，模型被要求识别第一个错误步骤并提出一个单步纠正干预。这个干预直接提供了替代的正确步骤，从而同时完成了价值估计（识别错误步骤）和策略优化（提出正确替代）。关键洞察是，验证（比较推理轨迹与参考解决方案）比生成（从零开始解决）容易得多，因此即使是同一个模型也能有效地完成自我验证和提出干预。这种不对称性使得InT能够在不需要外部模型或人工反馈的情况下实现有效的信用分配。
方法步骤详情
InT的方法分为三个主要步骤：首先是生成干预，对于每个训练问题，首先让基础模型生成推理轨迹y。然后，使用相同的模型来验证这个轨迹，通过比较推理轨迹与参考解决方案来识别第一个错误步骤y_t*及其位置t*。这个验证过程使用专门的提示（Box 2中的pInT），要求模型逐步验证每个步骤的逻辑正确性，并明确指出错误位置。识别出第一个错误后，模型提出一个单步纠正干预来替代错误步骤。其次是监督微调（SFT），使用收集到的干预数据进行SFT训练。关键的设计选择包括：克隆错误步骤之前的前缀y_{<t*}和干预，但不包括后续的正确后缀。此外，只保留那些在32次采样中至少产生一次正确后续轨迹的干预。SFT的目标函数是最大化前缀和干预的似然性。最后是强化学习（RL）微调，使用标准的GRPO算法在SFT初始化的模型上进行RL训练。如果模型成功内化了干预模式，其推理轨迹应该避免基础模型中的许多错误，同时强化之前正确的行为。
技术新颖性
InT的技术新颖性体现在几个方面。首先是自我验证而非外部验证：与需要训练显式PRM或使用更大模型进行验证的方法不同，InT让同一个模型自我验证。这利用了LLM内部能力的不对称性：验证比生成容易，因此即使是同一个模型也能有效地完成自我验证。其次是单步干预而非完整重写：与自我反思方法（要求模型重写整个解决方案）不同，InT只要求提出单步纠正干预。这种有针对性的纠正更高效，因为干预通常很短（平均约135.8个token），而完整推理轨迹平均约6835.6个token，干预保持了大部分原始轨迹的在策略特性，避免了分布偏移问题。第三是价值估计与策略优化的统一：传统方法将价值估计（训练PRM）和策略优化（利用PRM）分开，而InT将它们合并为一个单一的自我验证过程。这不仅简化了流程，还避免了PRM训练中的不稳定性问题。最后是保持在策略特性：与使用参考解决方案或自我反思的方法相比，InT生成的轨迹在基础模型下具有更高的似然性（更低的负对数似然），避免了熵增加和分布偏移问题。
实验结果
实验结果表明，InT在多个方面优于现有方法。首先是干预有效性：在334个困难问题上，基于干预的推理将平均奖励从0.0713%提高到1.56%，提升了22倍。同时，问题覆盖率从29/334提高到80/334，表明干预使模型能够解决之前无法解决的问题。其次是SFT性能：干预训练后的SFT模型在pass@k指标上显著优于基础模型，其中k=16,32,...,1024。在训练集和测试集上，SFT模型的一致性提升表明干预数据有效地丰富了成功轨迹的分布。第三是RL训练效果：InT初始化的RL模型在训练奖励和零优势比（zero-advantage ratio）方面表现最佳。零优势比是指模型从未产生正确推理轨迹的问题比例，InT显著降低了这个比例，表明它减少了持续失败模式。第四是基准测试性能：在四个挑战性数学推理基准测试上，InT的平均得分为33.72，相比基础模型（21.17）提升了约59%，相比标准RL（28.26）提升了约19%。在IMO-AnswerBench上，InT的得分（25.62）是基础模型（11.68）的两倍多，超过了gpt-oss-20b（23.36）。最后是分布特性：InT生成的轨迹在基础模型下具有更高的似然性（更低的NLL），避免了熵增加问题。这与使用参考解决方案或自我反思的方法形成对比，后者会导致显著的分布偏移。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IMO-AnswerBench | Pass@1 | 25.62% | 11.68% (Base), 23.46% (RL), 23.36% (gpt-oss-20b) | +13.94% over base, +2.16% over RL, +2.26% over gpt-oss-20b |
| HMMT 2025 November | Pass@1 | 49.77% | 41.61% (Base), 46.46% (RL) | +8.16% over base, +3.31% over RL |
| AMO-Bench | Pass@8 | 36.16% | 26.24% (Base), 35.21% (RL) | +9.92% over base, +0.95% over RL |
| Apex Shortlist | Pass@8 | 28.22% | 20.79% (Base), 22.72% (RL) | +7.43% over base, +5.5% over RL |
局限与改进
尽管InT表现出色，但仍存在一些局限性。首先是依赖参考解决方案：InT需要参考解决方案来进行自我验证，这在某些领域可能不可用。虽然实验表明即使没有参考解决方案，干预也能带来一定提升，但效果显著减弱（从80/334问题覆盖降至47/334）。其次是指令跟随能力要求：干预的有效性高度依赖模型的指令跟随能力。实验显示，专门针对推理优化的模型（如Qwen3-4B）在干预生成上表现不佳，因为它经常无法遵循验证指令，导致可用干预减少。第三是计算开销：虽然比训练PRM便宜，但InT仍然需要为每个训练问题生成推理轨迹和干预，这增加了额外的计算成本。不过，干预通常很短（平均约135.8个token），这在一定程度上缓解了这个问题。第四是单步干预限制：InT只提出单步纠正干预，对于需要多步骤纠正的复杂错误可能效果有限。此外，对于某些问题类型，单步干预可能不足以将轨迹引导至正确方向。最后是基准测试饱和度：在某些基准测试（如HMMT 2025 November）上，基础模型已经取得了较高的性能（41.61%），这可能限制了InT的相对提升空间。
独立分析的弱点
基于独立分析，InT存在以下弱点。首先是验证能力瓶颈：InT的性能受限于基础模型的验证能力。如果模型无法准确识别第一个错误步骤，后续的干预就无法有效纠正。改进方向包括：专门训练验证任务以增强验证能力，或使用元验证器（meta-verifier）来验证验证结果本身。其次是干预质量依赖：干预的质量直接影响SFT的效果。当前方法使用同一个模型生成干预，但可能从使用更强模型生成干预中受益（如实验中使用30B模型生成干预效果更好）。改进方向包括：使用更强的模型生成干预，或训练专门的干预生成模型。第三是分布偏移风险：虽然InT保持了大部分在策略特性，但SFT仍然会改变模型的输出分布。如果SFT步骤过多或干预数据不足，可能导致过拟合。改进方向包括：更精细的SFT超参数调整，或使用正则化技术来保持与基础模型的分布接近。第四是问题类型局限：InT主要在数学推理任务上验证，其在其他推理类型（如逻辑推理、常识推理）上的有效性尚不清楚。改进方向包括：在更多样化的推理任务上验证InT，或调整干预生成策略以适应不同问题类型。
未来方向
论文提出了几个有前途的未来研究方向。首先是自我改进：通过结合不同的LLM能力来实现更自主的自我改进。具体来说，可以训练模型在验证任务上，从而消除对参考解决方案的依赖。这将使LLM能够处理需要逐步正确性检查的任务，如IMO-ProofBench。理想情况下，验证器可以与解决方案生成模型一起持续改进。其次是持续学习中的信用分配：将InT扩展到持续学习场景，其中推理轨迹被逐步压缩为LLM生成的摘要或神经记忆模块。这涉及如何将信用追溯到可能只通过记忆表示持续存在的早期决策，以及如何区分由于生成不佳和记忆不完善导致的错误。第三是问题生成：LLM能否通过建模专家问题提出者遇到的轨迹来学习构建自己的训练问题？这将实现一个完全自主的系统，其中一个模型提出问题，另一个模型解决，验证器提供奖励信号来驱动持续的参数更新。最后是更强的验证器训练：虽然当前工作利用了生成和验证之间的不对称性，但可以通过在验证任务上显式训练模型来进一步加强验证。这可能消除对参考解决方案的依赖，并允许LLM处理需要逐步正确性检查的任务。
复现评估
InT的复现性评估如下。首先是开源情况：论文提供了项目网站（https://intervention-training.github.io/），但未明确说明代码是否开源。不过，论文详细描述了方法、实验设置和超参数，为复现提供了足够信息。其次是数据可用性：使用的数据集是公开可用的，包括Polaris、AceReason-Math、Omni-MATH和IMO-AnswerBench。参考解决方案来自这些数据集或使用Gemini生成。干预生成的提示在Box 2中提供。第三是计算资源：实验使用了H100 GPU资源，但未明确说明具体计算需求。不过，干预生成和SFT步骤相对轻量，主要计算成本来自RL训练（400个训练步骤）。第四是复现难度：中等。方法本身相对简单，但需要：(a) 对Qwen3模型的访问；(b) 生成干预数据的计算资源；(c) RL训练的GPU资源。论文提供了详细的实验设置和超参数，有助于复现。最后是关键依赖：Qwen3-4B-Instruct-2507模型、GRPO实现、标准数学推理评估基准。这些在开源社区中大多可用。
论文图表
