超越正确性：通过可迁移推理获得鲁棒推理

提出 RLTR，在 RLVR 中加入跨模型可迁移奖励，提升推理鲁棒性与采样一致性。

前置知识

RLHF（从人类反馈的强化学习）

RLHF 指用人类偏好数据训练奖励模型，再用策略优化（如 PPO）对语言模型进行对齐。它让模型输出更符合人类期望，但也带来奖励模型不稳定、易被“奖励破解”（reward hacking）以及对标注数据依赖高等问题。本文将此背景定位为 RLVR 出现的动因：用可验证的规则奖励替代学习到的奖励模型，以降低对人类标注和代理奖励的依赖，从而缓解训练复杂性与鲁棒性不足的挑战。

本文在 RLHF 之上引入“可迁移奖励”的思路，需要理解 RLHF 的优势与局限，才能把握为何要在 RLVR 中增加跨模型迁移奖励来提升鲁棒性。

RLVR（带可验证奖励的强化学习）

RLVR 用可验证的规则奖励（如最终答案与真值的匹配）来评估生成结果，避免学习代理奖励模型带来的偏差。训练目标通常包含答案奖励与格式奖励，结合 GRPO 等算法更新策略。RLVR 降低了奖励破解风险，训练管线更简单，但也只对最终答案进行监督，忽视中间推理过程的鲁棒性、可迁移性与可重复性。

本文在此基础上提出 RLTR，是在 RLVR 框架中加入“可迁移奖励”的扩展，因此需清楚 RLVR 的目标与机制，以便理解 RLTR 的创新点。

可迁移性（transferability）

可迁移性指一个模型生成的推理前缀能否被另一个模型继续完成并得到正确答案。具体做法是将生成器的推理截断成前缀，交给接收模型继续生成；若接收模型的最终答案正确，则认为前缀具有可迁移性。该信号用于衡量推理过程的鲁棒性、可复用性以及对截断的稳健性。

RLTR 的核心奖励来自可迁移性，因此理解这一概念是理解本文方法与结论的关键。

多数投票一致性（Maj@K）

Maj@K 通过对 K 个样本的最终答案进行多数投票，选出出现次数最多的答案，再判断是否与真值一致。它反映在采样多样性条件下模型输出的稳定性与一致性，是评估推理鲁棒性的重要指标。Maj@K 高意味着模型在不同采样路径下更易给出同一正确结论。

RLTR 的主要收益体现在高 K 的 Maj@K 提升，因此理解该指标有助于把握本文的结果与意义。

奖励破解（reward hacking）

奖励破解指策略在训练过程中通过利用奖励模型的缺陷获得高奖励但低质量输出的现象。RLHF 中由于奖励模型是代理信号，策略可能产生“高分但无意义”的输出。RLVR 用可验证奖励缓解了这一问题，但若只关注最终答案，仍可能忽视中间推理的鲁棒性与可迁移性，导致推理路径脆弱、易变。

本文通过引入可迁移奖励，进一步降低对最终答案的单一依赖，旨在提升推理过程的质量与稳健性，因此需理解奖励破解及其影响。

研究动机

现有 RLVR 框架将训练目标聚焦于最终答案的正确性，通过答案奖励与格式奖励来更新策略。这种方法在提升单样本准确率方面表现良好，但对推理过程本身的鲁棒性、可重复性与可迁移性缺乏直接监督。论文指出，在 MATH-500 等基准上，RLVR 的单样本准确率提升显著（例如从 71.0 提升到 76.2），但随着采样数增加，Maj@K 的增益并不稳定，甚至在高 K 下出现退化（如 Maj@16 从基线的 81.2 下降到 RLVR 的 80.2）。这表明 RLVR 倾向于产生更脆弱、路径依赖性强的推理轨迹，导致不同样本之间难以汇聚到同一正确答案，降低了多采样一致性与鲁棒性。

本文的目标是本文的目标是提升推理的鲁棒性，使推理轨迹在截断、重新解释、跨模型继续推理等情境下仍能导向正确答案，并提升多数投票的稳定性。核心思路是将“可迁移性”作为新的训练信号，让生成器产出的推理前缀不仅能被自身继续完成，也能被另一个模型继续完成并得到正确结果。通过引入跨模型的转移奖励，促使模型形成更稳健、可复用、可解释的推理模式，从而在保持准确率的同时提升采样效率与一致性。

与已有工作不同的是，与以往只关注最终答案正确性的 RLVR 相比，RLTR 的独特切入角度在于将“可迁移性”显式纳入奖励设计。作者提出：如果一个推理前缀是稳健的，那么由另一个模型继续推理也应能得出正确答案。这一思想将对“过程质量”的监督从人工标注或复杂的逐步奖励模型中解放出来，改为通过跨模型续写来验证。该设计不需要额外的逐步标注，也不依赖大型过程奖励模型（PRM），却能提供过程级别的监督信号，直接激励模型产生更可靠、可迁移的推理路径。

核心方法

RLTR 在 RLVR 的基础上引入“可迁移奖励”（transfer reward），通过跨模型续写来评估推理前缀的稳健性与可迁移性。整体思路是：生成器模型产出完整推理与答案，随后将推理截断成前缀交给一个冻结的接收模型继续生成，以验证前缀是否能被另一个模型复用并得到正确答案。训练时将答案奖励与可迁移奖励组合成统一奖励信号，用 GRPO 等算法更新生成器策略。这样做的直觉是：稳健的推理前缀应具备清晰的中间结构、逻辑自洽性与抗干扰能力，使得截断后仍能被他人续写得到正确结果。

RLTR 的核心创新在于将“跨模型可迁移性”作为奖励信号，直接监督推理过程的鲁棒性，而非仅监督最终答案。与传统 RLVR 相比，RLTR 不需要训练逐步过程奖励模型，也不需要额外的逐步标注数据，而是通过冻结的接收模型对截断前缀进行续写来获得过程级别的反馈。这使得训练目标从“自问自答”转向“他问他答”的跨模型协作验证，鼓励生成器产出更稳健、可解释、可复用的推理轨迹。

方法步骤详情

训练流程包括三个阶段：第一，生成器对输入问题进行完整的推理与答案生成，得到 $y_{gen}$；第二，按随机截断比例 $ au$ 截取推理前缀 $y_{gen}[:\ell]$，将其连同原始输入传给冻结的接收模型 $M_{rcv}$，让其继续生成，得到 $y_{rcv}$；第三，分别计算答案奖励 $R_{ans}$ 与可迁移奖励 $R_{trans}$，并加上格式奖励 $R_{fmt}$，组合成统一奖励 $R_{RLTR} = R_{RLVR} + t R_{trans}$，用 GRPO 对生成器策略进行更新。训练中 $ au$ 在 $[0.3, 0.9]$ 之间随机采样，以避免模型对固定截断点产生依赖。

技术新颖性

RLTR 的技术新颖性在于将跨模型续写作为“过程鲁棒性”的直接评估手段，形成一种低成本、可扩展的过程监督信号。与传统过程奖励模型（PRM）相比，RLTR 不需要大量逐步标注，也不训练额外的奖励网络，而是通过冻结接收模型的续写结果来验证推理前缀的可迁移性。该设计既保持了 RLVR 的简洁性，又引入了过程级别的监督，促使模型在训练中学会产出更稳健、可复用的推理轨迹。

**Figure 3**: RLTR improves transferability consistently

**Figure 4**: Detailed Analysis of transferability on various truncation ratios τ ∈{0.3, 0.5, 0.7, 0.9}

实验结果

在多个数学与科学推理基准上，RLTR 在平均准确率与高 K 的 Maj@K 上均优于 RLVR 与基线模型。以 MATH-500 为例，RLTR 将平均准确率从 71.0 提升到 77.0，Maj@64 从 82.6 提升到 84.2；在 GSM8K 上，平均准确率从 89.1 提升到 92.0，Maj@64 从 93.3 提升到 94.2。更具挑战性的基准也呈现出类似趋势：在 AIME2024 上，平均准确率从 9.8 提升到 14.8，Maj@64 从 16.7 提升到 21.1；在 AMC23 上，平均准确率从 52.8 提升到 53.5，Maj@64 从 61.7 提升到 67.5。训练动态分析表明，RLTR 在更少的训练步数内达到与 RLVR 相同的准确水平（约 2.5 倍更少步数），同时 Maj@64 与可迁移性随训练持续提升，显示出更强的采样效率与鲁棒性。接收模型的选择对结果有影响，使用更强的接收模型（如 Qwen2.5-3B-Instruct）在高 K 下表现更好，但即便使用较小的接收模型，RLTR 也优于 RLVR。

**Table 5**: RLTR generalize beyond mathematical domain

**Table 6**: RLTR retains diversity better in notion of Pass@k

**Table 7**: RLTR is adaptable on other LLM architectures

**Table 8**: Hyperparameters for RLTR and RLVR training

**Table 9**: Model architectures for Qwen2.5-7B-Instruct and Qwen2.5-3B-Instruct

**Table 10**: FLOPs breakdown per training step

**Table 13**: User templates for MATH, GSM8K, AMC23, and AIME2024

**Figure 2**: Training dynamics and transferability

查看结构化数据

任务	指标	本文	基线	提升
MATH-500（分布内数学推理）	平均准确率（Acc.）、Maj@K	Acc. 77.0；Maj@4 79.0；Maj@16 83.8；Maj@64 84.2	RLVR: Acc. 76.2；Maj@4 78.2；Maj@16 80.2；Maj@64 82.2	平均准确率提升约 0.8 个百分点，Maj@64 提升约 2.0 个百分点，Maj@16 提升约 3.6 个百分点。
GSM8K（分布外数学推理）	平均准确率（Acc.）、Maj@K	Acc. 92.0；Maj@4 93.4；Maj@16 94.0；Maj@64 94.2	RLVR: Acc. 89.4；Maj@4 90.9；Maj@16 92.5；Maj@64 92.9	平均准确率提升约 2.6 个百分点，Maj@64 提升约 1.3 个百分点，Maj@16 提升约 1.5 个百分点。
AIME2024（高难度数学竞赛）	平均准确率（Acc.）、Maj@K	Acc. 14.8；Maj@4 18.9；Maj@16 20.0；Maj@64 21.1	RLVR: Acc. 11.6；Maj@4 14.4；Maj@16 17.8；Maj@64 18.9	平均准确率提升约 3.2 个百分点，Maj@64 提升约 2.2 个百分点，Maj@16 提升约 2.2 个百分点。
AMC23（高难度数学竞赛）	平均准确率（Acc.）、Maj@K	Acc. 53.5；Maj@4 59.2；Maj@16 66.7；Maj@64 67.5	RLVR: Acc. 52.8；Maj@4 55.8；Maj@16 62.5；Maj@64 61.7	平均准确率提升约 0.7 个百分点，Maj@64 提升约 5.8 个百分点，Maj@16 提升约 4.2 个百分点。
GPQA（科学推理）	平均准确率（Acc.）、Maj@K	Acc. 34.8；Maj@4 37.3；Maj@8 37.5；Maj@16 37.7	RLVR: Acc. 33.0；Maj@4 35.2；Maj@8 36.8；Maj@16 37.0	平均准确率提升约 1.8 个百分点，Maj@16 提升约 0.7 个百分点。

局限与改进

论文指出，RLTR 依赖一个冻结的接收模型来评估可迁移性，其性能与接收模型的质量和规模相关。若接收模型较弱或与生成器分布差异较大，可迁移奖励信号可能变得不稳定，从而影响训练效果。此外，RLTR 仍以最终答案的正确性作为主要监督信号，虽然通过可迁移奖励引入了过程级别的信号，但并未直接对中间推理步骤进行逐句评估，可能在某些需要严格过程正确性的场景中仍存在不足。作者也承认，训练中需要额外计算接收模型的续写，增加了每步计算成本，尽管总体训练效率更高。

独立分析的弱点

第一，接收模型的选择对训练影响显著，若接收模型与生成器能力不匹配或存在分布漂移，可能导致可迁移奖励信号失真，影响鲁棒性提升。第二，RLTR 仍以最终答案正确性为核心，过程监督主要通过续写结果间接获得，若任务对中间步骤的严格正确性要求很高（如证明题、程序调试），可能需要更细粒度的过程奖励。第三，训练中需要冻结接收模型进行续写推理，增加了每步计算开销，尽管总体效率更高，但在资源受限场景下仍需权衡。

未来方向

作者建议将可迁移性作为测试时验证信号，用于评估推理前缀的鲁棒性，从而在推理阶段选择更可靠的解答。未来可探索在多步任务、代码生成、定理证明等领域引入跨模型续写验证，或结合过程奖励模型与可迁移信号形成混合监督，以提升对中间步骤的质量控制。此外，可研究自适应选择接收模型、动态调整截断比例与奖励权重，以在不同任务与难度下最大化鲁棒性与效率。

复现评估

论文提供了详细的训练与评估设置：训练数据为 MATH-train 的 3K 子集（难度 ≥3），评估基准包括 MATH-500、GSM8K、AIME2024、AMC23 与 GPQA。生成器使用 Qwen2.5-7B-Instruct，接收模型默认为 Qwen2.5-3B-Instruct，并测试了 Qwen2.5-1.5B-Instruct 与 Llama3.2-3B-Instruct。训练采用 VERL 框架，算法为 GRPO，超参数包括学习率 1e-6、批大小 1024、每样本生成 8 次、最大生成长度 8192 等。评估使用 Math Verify 与 SimpleRL 工具，温度设为 1.0，并重复三次随机种子取平均。论文还给出了模型架构、FLOPs 估算、以及不同截断比例的分析，便于复现与扩展。

超越正确性：通过可迁移推理获得鲁棒推理 Beyond Correctness: Learning Robust Reasoning via Transfer