基于参考引导微调在强化学习中学习困难问题 Learn Hard Problems During RL with Reference Guided Fine-tuning
通过参考引导微调(ReGFT)合成模型自有推理轨迹，解决RL训练中的奖励稀疏问题
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种用于数学推理的强化学习框架。它通过为每个问题采样多条推理轨迹，然后使用基于规则的自动验证器（verifier）根据最终答案的正确性分配奖励，从而优化模型以增加正确轨迹的概率。这种方法不需要人工标注或训练奖励模型，通过系统性地促进与可验证正确性一致的推理路径、抑制错误路径，来激发和强化基础模型中潜在的推理能力。在本文中，RLVR是核心训练范式，但面临奖励稀疏的根本性挑战。
理解RLVR是理解本文问题背景的基础，本文正是要解决RLVR在困难问题上因采不到正确轨迹而导致训练停滞的核心瓶颈。
奖励稀疏 (Reward Sparsity)
奖励稀疏是指在RL训练过程中，对于超出模型当前推理能力的困难问题，模型无法生成任何正确的推理轨迹，导致所有采样轨迹的奖励为零。在这种情况下，训练缺乏有意义的梯度信号，实际上停滞不前。大量计算被浪费在不提供任何信息性反馈的轨迹上。这种现象在数学推理等需要精确推理的任务中尤为严重，因为即使推理过程大部分正确，最终答案错误仍会得到零奖励。
奖励稀疏是本文要解决的核心问题，ReGFT方法的设计目标就是通过提高模型在困难问题上的通过率来增加奖励密度。
ReFT (REinforced Fine-Tuning)
ReFT是一种将强化学习与监督微调结合的方法。它通过采样模型自身的推理轨迹，然后对验证为正确的轨迹进行监督微调（SFT）。由于只使用模型自己生成的on-policy轨迹，ReFT避免了直接在人类参考答案上微调时常见的分布不匹配问题。然而，ReFT的根本局限在于：它只能在模型已经能够生成正确答案的问题上发挥作用，对于模型完全无法解决的困难问题，由于采不到任何正确轨迹，ReFT无能为力。
ReFT是本文方法的直接前身和重要基线，理解其局限性直接说明了ReGFT的创新动机和必要性。
DAPO (Decoupled Clip and Dynamic sAmpling Policy Optimization)
DAPO是GRPO的一种改进变体，用于大语言模型的强化学习训练。它包含两个关键设计：一是解耦裁剪（Decoupled Clipping），通过设置不对称的裁剪阈值（下界 $\varepsilon_{low}=0.2$，上界 $\varepsilon_{high}=0.28$），在不破坏策略多样性的前提下灵活强化高质量轨迹；二是动态采样（Dynamic Sampling），确保每次更新都基于奖励多样的轨迹组，从而在稀疏奖励下仍能提供信息性学习信号。本文选择DAPO作为RL算法，目的是展示ReGFT的收益与RL算法本身的改进是正交的。
DAPO是本文实验中使用的RL算法，理解其机制有助于理解实验设计的合理性以及ReGFT与RL算法的互补关系。
pass@k 评估指标
pass@k是一种评估模型推理能力的重要指标，用于衡量在k次独立采样中至少生成一条正确轨迹的概率。具体计算公式为 $pass@k = 1 - \frac{\binom{N-c}{k}}{\binom{N}{k}}$，其中 $N$ 是总采样次数（本文中 $N=1024$），$c$ 是正确样本数。pass@k反映了模型在给定推理预算下解决问题的能力上限，更高的pass@k表明模型能更可靠地发现正确解决方案。本文发现ReGFT在所有k值下都展现出更强且更稳定的pass@k性能。
pass@k是评估推理时间扩展性能的关键指标，本文用它来证明ReGFT不仅能提升单次推理准确率，还能在更大推理预算下持续获益。
研究动机
强化学习在数学推理中面临一个根本性的瓶颈：奖励稀疏问题。当面对超出模型当前推理能力的复杂问题时，LLM无法采样到任何正确的推理轨迹，导致所有轨迹的奖励为零，RL训练实际上停滞不前。在OmniMath数据集的4,428个奥林匹克级别数学问题中，标准采样仅能解决68.58%的问题，这意味着超过31%的问题对模型而言是完全不可解的，无法为RL提供任何正向学习信号。大量计算被浪费在不提供信息性反馈的轨迹上。即使增加采样数量（如每个问题采样16或64条轨迹），也难以从根本上解决这一问题，因为模型本身的推理能力上限决定了它无法触及这些困难问题的正确解空间。
本文的目标是本文的核心目标是：如何在不改变RL算法本身的前提下，通过改进模型的初始能力，使得原本不可解的困难问题在RL训练前就变得部分可解，从而为后续RL提供更密集、更有信息量的奖励信号。具体而言，作者希望利用训练数据中已经存在的人类参考解答（如AoPS上的问题解答），通过一种巧妙的方式将其转化为模型自己的推理轨迹，既保留参考解答的指导价值，又避免直接模仿人类推理时的分布不匹配问题。
与已有工作不同的是，现有工作主要从三个方向尝试解决奖励稀疏问题：（1）扩展RL本身的探索规模，如增加rollout数量或延长训练时间；（2）在RL过程中修改问题分布，如添加提示或部分解答；（3）在RL训练中交替插入SFT。这些方法都是在RL训练过程中进行干预。本文的独特切入角度是：在RL开始之前，通过参考引导微调（ReGFT）来提升模型的初始能力。具体创新在于：不是直接在人类参考解答上进行监督微调（这会导致分布不匹配），而是将参考解答作为部分提示（partial hint），让模型在此引导下生成自己的推理轨迹。这些轨迹既受益于参考解答的指导，又保持在模型自身的推理分布内，形成了一种'有指导的自生成'范式。
核心方法
ReGFT的方法思路可以这样理解：想象一位学生在做数学题时，老师不是直接给出完整解答让学生抄写，而是先给出解题思路的前半部分作为提示，然后要求学生根据这个提示自己完成剩余的推理过程。这样既保证了学生接触到正确的解题方法，又确保了解答过程是学生自己思考的结果，而不是机械模仿。在技术层面，ReGFT首先对OmniMath中的4,428个问题进行标准采样和参考引导采样，分别获得正确轨迹。对于模型无法独立解决的困难问题（即在原始模型16次采样中准确率低于25%的问题），ReGFT使用参考解答的前80%句子作为提示，让模型生成自己的推理轨迹。然后将这些参考引导轨迹与模型自生成的正确轨迹混合，在RL训练前进行监督微调，从而显著提升模型在困难问题上的通过率。
ReGFT的核心创新点在于'模型衍生推理'（model-derived reasoning）的概念。与ReFT仅使用模型自己采样到的正确轨迹不同，ReGFT额外引入了参考引导轨迹。与直接SFT在人类参考解答上不同，ReGFT要求模型在部分参考的引导下生成自己的推理过程。关键区别在于：ReFT无法处理模型完全不能解决的问题，因为根本采不到正确轨迹；直接SFT虽然能接触参考解答，但模型无法有效内化不属于自身推理分布的证明方法，导致泛化能力差。ReGFT通过让模型'半自主'地生成推理轨迹，找到了一个平衡点：轨迹保持在模型的推理分布内（避免分布偏移），同时又受益于参考解答的结构指导（突破模型能力边界）。实验证明，参考引导采样能使模型额外解决5.85%在标准采样下完全不可解的问题。
方法步骤详情
ReGFT方法包含以下具体步骤：第一步，数据准备。从OmniMath数据集的4,428个奥林匹克数学问题中，对每个问题使用标准采样生成64条独立推理轨迹，同时进行参考引导采样（提供参考解答的前80%句子作为提示）生成64条轨迹。第二步，困难问题识别。定义困难问题为在原始模型的标准采样中准确率低于25%的问题，这些问题将获得参考引导轨迹的增强。第三步，轨迹筛选与混合。对困难问题，收集来自两种采样策略的所有正确轨迹；对非困难问题，仅使用标准采样的正确轨迹。第四步，监督微调。在混合轨迹数据集上对模型进行监督微调，得到ReGFT检查点。第五步，强化学习。以ReGFT检查点为初始点，使用DAPO算法进行RL训练，每个问题采样64条响应，使用AdamW优化器，学习率 $1 \times 10^{-6}$，前20个rollout步骤进行线性预热，mini-batch大小为2048。
技术新颖性
ReGFT的技术新颖性体现在多个层面。首先，在方法论层面，它提出了'预RL能力提升'的范式，与现有在RL过程中进行干预的方法形成互补。其次，在技术实现上，'参考引导采样'是一种巧妙的信号注入机制：通过只提供参考解答的前80%（通常包含推导过程但省略最终答案），既避免了模型直接复制答案，又保留了解题思路的结构指导。第三，困难问题的自动识别机制（25%准确率阈值）使得训练资源集中在最有价值的问题上，避免在简单问题上过拟合。第四，混合训练策略——同时使用自生成轨迹和参考引导轨迹——兼顾了on-policy一致性和能力边界扩展。最后，实验设计的严谨性也值得注意：作者选择Qwen3-4B-Instruct作为基础模型，明确指出Qwen2.5对虚假奖励信号敏感，展现了对实验细节的深入理解。
实验结果
本文在三个高难度数学推理基准上进行了全面实验，使用Qwen3-4B-2507-Instruct作为基础模型，在OmniMath上训练。核心发现包括：（1）ReGFT初始化的模型在整个RL训练过程中始终优于原始检查点，在AIME 2024上最终达到70.0%，AIME 2025达到61.6%，Beyond-AIME达到40.3%，分别比原始DAPO高出2.9%、1.1%和0.5个百分点，同时展现出更快的收敛速度。（2）ReGFT相比ReFT在所有基准上都取得了更高的最终准确率，特别是在Beyond-AIME上ReFT表现甚至不如原始DAPO（38.3% vs 39.8%），而ReGFT达到40.3%，说明参考引导轨迹的引入对扩展模型能力边界至关重要。（3）直接在人类参考解答上进行SFT的效果显著弱于ReGFT，验证了模型衍生推理的必要性——仅仅提供正确解答是不够的，关键是要保持在模型自己的推理分布内。（4）在pass@k评估中，ReGFT+DAPO在所有k值下都展现出最强的推理时间扩展性能，特别是在k=256时仍保持明显优势，表明ReGFT扩展了模型的解空间覆盖。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 数学推理 | 准确率 (%) | ReGFT+DAPO: 70.0% | Raw: 59.2%, ReFT+DAPO: 68.3%, Raw+DAPO: 67.1% | 相比Raw+DAPO提升2.9%，相比ReFT+DAPO提升1.7% |
| AIME 2025 数学推理 | 准确率 (%) | ReGFT+DAPO: 61.6% | Raw: 46.7%, ReFT+DAPO: 60.8%, Raw+DAPO: 60.5% | 相比Raw+DAPO提升1.1%，相比ReFT+DAPO提升0.8% |
| Beyond-AIME 数学推理 | 准确率 (%) | ReGFT+DAPO: 40.3% | Raw: 30.5%, ReFT+DAPO: 38.3%, Raw+DAPO: 39.8% | 相比Raw+DAPO提升0.5%，相比ReFT+DAPO提升2.0% |
| OmniMath 训练集 | pass@64 (%) | ReGFT: 72.5% | Raw: 68.6%, ReFT: 70.2% | 相比Raw提升3.9%，相比ReFT提升2.3% |
局限与改进
本文存在以下局限性：首先，作者坦承即使在参考引导下，模型在OmniMath上的表现仍远低于100%，这主要归因于两个因素：模型解释和内化复杂数学推理的能力有限，特别是当参考解答依赖高级数学工具或领域特定知识时；OmniMath使用的基于规则的验证器无法可靠评估开放式或证明类解答，即使模型推理实质正确也可能产生假阴性。其次，ReGFT依赖于训练数据中存在参考解答，这在某些应用场景中可能不可用。第三，困难问题的阈值设定（25%准确率）是一个需要调优的超参数，不同任务可能需要不同阈值。第四，本文仅在Qwen3-4B-Instruct上进行了实验，虽然作者提到了其他模型的敏感性问题，但缺乏在更大规模模型或多模型家族上的系统性验证。此外，参考解答前80%的选择是一个启发式方法，最优的提示比例可能因任务而异。
独立分析的弱点
ReGFT存在以下可改进的弱点：（1）参考提示比例的固定性——当前使用参考解答的前80%句子作为提示，这是一个固定启发式，缺乏自适应机制。不同难度的问题可能需要不同程度的指导，简单问题可能只需很少提示，而极难问题可能需要更详细的引导。改进方向可以是设计自适应提示策略，根据问题难度或模型当前能力动态调整提示长度。（2）困难问题阈值的固定性——25%准确率阈值是固定的，但在RL训练过程中模型能力在不断变化，初始的困难问题可能逐渐变得容易。改进方向可以是设计动态阈值机制，在不同训练阶段重新评估问题难度。（3）仅使用单轮参考引导——当前方法只进行一次参考引导采样，对于极难问题可能需要多轮迭代引导。改进方向可以是设计迭代式参考引导，每轮根据上一轮的失败模式调整引导策略。（4）缺乏对参考解答质量的评估——ReGFT假设所有参考解答都是高质量的，但实际上参考解答的质量可能参差不齐。改进方向可以是引入参考解答质量评估和筛选机制。
未来方向
基于ReGFT的成果，未来研究可以从以下方向展开：（1）将ReGFT扩展到更大规模模型——本文仅在4B参数模型上验证，探索在70B+规模模型上ReGFT的收益是否更显著将非常有价值。（2）跨领域迁移——将ReGFT应用于代码生成、科学推理等其他需要精确推理的领域，验证其通用性。（3）与RL过程中的干预方法结合——ReGFT专注于预RL阶段，将其与RL过程中的方法（如BREAD的专家前缀注入、RL Teachers的知识蒸馏）结合，可能产生叠加收益。（4）自适应参考引导策略——设计能根据模型反馈自动调整引导强度和方式的智能引导系统。（5）多模态参考解答——对于几何、物理等问题，参考解答可能包含图表，探索如何在多模态场景下进行参考引导将是有趣的扩展。（6）参考解答生成——当训练数据缺乏参考解答时，探索如何使用更强的模型自动生成参考解答，然后用ReGFT训练较弱的模型。
复现评估
本文的复现条件相对较好：（1）数据方面，OmniMath是一个公开的奥林匹克数学数据集，包含4,428个问题和参考解答，易于获取。（2）模型方面，Qwen3-4B-2507-Instruct是公开可用的模型，但需要注意作者特别指出Qwen2.5模型对虚假奖励信号敏感，因此选择特定模型家族可能影响结果。（3）框架方面，所有实验使用verl框架进行，这是一个公开的强化学习框架。（4）计算资源方面，论文未详细说明所需GPU数量和训练时间，但从实验设置（每个问题采样64条响应、最大生成长度16,384 tokens）来看，需要相当的计算资源。（5）代码方面，论文未明确说明是否开源代码，但方法描述足够详细，理论上可以复现。（6）关键细节方面，作者提供了完整的提示模板和超参数设置（学习率、裁剪阈值等），这对复现非常有帮助。总体而言，复现难度中等，主要挑战在于计算资源需求。
论文图表
表格报告了Raw、ReFT和ReGFT三个模型在OmniMath训练集上的pass@64准确率，以及在AIME24、AIME25和BeyondAIME三个评估基准上的表现。ReGFT在训练集上达到72.5%的pass@64，分别比Raw和ReFT高出3.9%和2.3%，同时在评估基准上也表现出色。
这个表格定量展示了ReGFT微调阶段的收益，证明了参考引导轨迹能有效提升模型在训练集上的通过率，同时不会损害泛化能力。