ReflectRL：从黄金负向轨迹中学习的反思式到直接推理

用专家失败轨迹做反思学习，提升LLM推理能力

前置知识

On-policy训练 / RLVR

On-policy训练指模型在自己采样出的轨迹（rollout）上更新策略。RLVR（Reinforcement Learning with Verifiable Rewards）是其代表范式：用规则化verifier（如MathVerify判定数学答案对错）给出二值奖励$r(q,o)\in\{0,1\}$，再通过策略梯度优化模型。它在数学、代码等有客观答案的推理任务上广泛使用。

ReflectRL的基线和改良对象就是RLVR，理解RLVR的奖励稀疏问题才能明白为什么要引入Golden Negative Trajectories。

GRPO（Group Relative Policy Optimization）

GRPO是DeepSeek提出的RLVR代表算法。对每个查询$q$从冻结的rollout策略采样一组$N$个输出，用同一组内的奖励均值$\mu_{r(q)}$和标准差$\sigma_{r(q)}$归一化得到相对优势$\hat{A}_i=(r_i-\mu_{r(q)})/\sigma_{r(q)}$，从而省去独立的critic网络。ReflectRL在RLVR侧正是基于GRPO的联合组相对目标。

论文方法直接复用GRPO的优势估计和PPO目标，只改rollout构造方式，不懂GRPO就无法理解ReflectRL的损失函数和优势计算。

On-Policy Distillation (OPD)

On-Policy Distillation用学生模型自己生成的轨迹$ o\sim\pi_\theta(\cdot|q) $，逐token最小化学生与教师预测分布间的反向KL散度$\mathcal{L}_{OPD}=\sum_s D_{KL}(\pi_\theta(\cdot|q,o_{<s})\|\pi_{teacher}(\cdot|q,o_{<s}))$。相比离线SFT，它缓解分布偏移和暴露偏差。

ReflectRL的第二个落地场景就是OPD，其中GNT作为教师端特权信息喂给教师而非学生，理解OPD的师生分布匹配机制是读懂§3.4的关键。

Process Reward Model (PRM)

PRM（过程奖励模型）对推理轨迹的每一步打分，衡量步骤级质量，区别于只看最终答案的outcome reward。论文用Qwen2.5-Math-PRM-7B给不同失败来源的轨迹画步骤质量曲线，证明GNT的有效推理前缀更长、错误更局部化。

图1(b)用PRM曲线作为描述性证据解释反思优势的来源，理解PRM才能看懂为何GNT比自生成失败或弱模型失败更有价值。

Exposure Bias（暴露偏差）

暴露偏差指模型训练时一直见到某种输入分布（如带有专家轨迹的反思prompt），但推理时却见不到这种输入，导致分布失配、性能下降。如果只用反思接口训练，模型会依赖推理时不可用的GNT。

Reflective-to-Direct Policy Transition的核心动机就是消除暴露偏差，把反思学到的能力迁移回推理时唯一的直接接口，这是方法设计的灵魂。

研究动机

On-policy训练（如RLVR和OPD）已成为提升大模型推理能力的核心范式，常借助更强专家模型（如DeepSeek-R1）生成的黄金轨迹（正确推理路径）来引导训练：在RLVR中正确专家轨迹引导rollout走向更有前途的推理路径，在OPD中作为特权信息塑造学习信号。然而当专家模型在更难的问题上失败时，这些轨迹导向方法就失去了主要的正向监督来源。失败轨迹通常被当作负样本过滤掉，大量来自强模型的结构化推理被白白浪费。更严重的是，在困难问题上直接采样往往产生稀疏的正向奖励和微弱的策略更新——标准优势估计$\hat{A}_i$无法把结构化、高质量的专家失败与模型自身的低质自失败区分开，无法驱动策略更新。作者由此提出一个开放性问题：能否利用这些被丢弃但仍有信息量的负向轨迹来持续提升推理能力？

本文的目标是本文的目标是系统性地利用专家失败轨迹（Golden Negative Trajectories, GNTs）这一被忽视的资源，在on-policy训练中挖掘其学习信号，从而在专家无法解决的难题上也能获得有效的策略更新。具体而言，作者希望在不修改基础训练目标（不引入辅助损失、不改变结果奖励$r(q,o)$、不改变推理接口）的前提下，设计一种轻量级、即插即用的机制，将GNTs融入RLVR（GRPO/DAPO/EchoRL）和OPD等主流on-policy范式，并通过反思而非模仿来内化失败轨迹中的推理信号，最终使模型在推理时无需依赖任何专家模型也能提升直接推理能力。伴随目标还包括发布OpenR1-GNT-69k数据集供社区使用。

与已有工作不同的是，本文的独特切入角度是识别出反思优势（Reflection Advantage）这一行为现象：对于难题，对一段有缺陷的轨迹进行反思，往往比从零开始直接求解更容易、更有效。这与现有方法的本质区别在于：传统方法要么把专家失败轨迹丢弃（RLVR因无法产生正向奖励而无法利用），要么把外部轨迹设计为待模仿的正向示范（OPD），两者都与失败轨迹的有缺陷本质相悖。作者通过行为、描述和因果三层证据证明：高质量专家失败的「有效前缀」与「局部错误区域」共同驱动了反思优势，而低质失败（自身或弱模型）或长度匹配的错配GNT反而带来负收益。这一洞察首次把负向轨迹转化为正向学习信号，开辟了从失败中学习的新路径。

核心方法

ReflectRL的整体思路是用反思替代模仿，并保持基础训练流水线完全不变，仅修改训练rollout的构造方式。直觉上：与其让模型从零解决难题（容易陷入稀疏奖励、零reward无梯度），不如先给它一段专家的失败轨迹作为上下文脚手架，引导它定位错误、修复推理、得出正确解，这种反思-修复-求解过程能为模型提供稠密且建设性的学习信号。技术路线上，ReflectRL定义两套基于不同提示模板的推理接口——直接推理（Direct Reasoning，仅给出原始问题）和反思推理（Reflective Reasoning，给出问题加GNT）。训练时按一个随步数衰减的核$g(t)$混合这两种rollout，前期用反思推理激活学习信号，再通过反思式到直接策略过渡逐步把能力迁移回直接推理，使模型推理时无需依赖专家。论文在9个基准、4个LLM骨干、4种训练方法上验证，并强调计算开销极小。

核心创新点是反思式到直接策略过渡（Reflective-to-Direct Policy Transition）机制。其本质区别在于：单纯用反思接口训练会带来暴露偏差，模型依赖推理时不可用的专家失败轨迹；而过早放弃反思又无法充分内化学习信号。ReflectRL用一个过渡核$g(t)=p_l+\frac{p_h-p_l}{2}[1+\cos(\pi\tau(t))]$（余弦衰减）控制每个训练步中反思推理rollout的数量$K_t=\text{round}(N\cdot g(t))$，其余$N-K_t$个rollout用直接推理。训练前期以反思为主激活信号，后期平滑过渡到直接推理，促使模型把从GNT学到的纠错行为编译进自身参数，同时消除对专家的依赖。作者还通过图6的对照实验发现：平滑过渡核（余弦、反sigmoid）显著优于突变核（截断式），最终余弦核准确率最高，说明功能形式不如平滑性重要。

方法步骤详情

步骤如下。第一步离线预生成GNT：从OpenR1-Math-220k子集用DeepSeek-R1生成轨迹，用MathVerify筛除错误轨迹得69k条Golden Negative Trajectories。第二步为查询$q$定义两套接口：直接接口$x_D(q)=\text{Chat\_TempD}(q)$与反思接口$x_R(q,o^-)=\text{Chat\_TempR}(q,o^-)$，后者提示模型反思纠错。第三步RLVR侧对每个查询生成$N=8$个混合rollout：前$K_t$个用反思接口、后$N-K_t$个用直接接口，用同一verifier评估$r=\text{MathVerify}(a,o^{(i)})$，按GRPO公式$\hat{A}_i=(r_i-\mu)/\sigma$联合算组内优势并最大化联合目标。第四步OPD侧GNT作教师端特权信息：学生始终用直接接口生成rollout，教师对$K_{\text{batch}}$个样本用反思接口提供更优目标分布，学生最小化反向KL散度蒸馏纠错能力，全程看不到GNT。第五步按$g(t)$衰减反思比例直至直接推理。

技术新颖性

技术新颖性体现在三个方面。首先理念新颖：首次提出GNT不是待模仿的正向示范，而是待反思的有缺陷轨迹，颠覆了失败=负样本的惯例，并发布OpenR1-GNT-69k数据集。其次设计轻量：ReflectRL不引入任何辅助损失项、不改变结果奖励、不改变推理接口、不增加可训练参数或梯度，仅修改rollout构造方式，真正即插即用。其联合组相对目标的巧妙之处在于：在二值奖励下，组归一化只改变优势幅度，正确rollout保持正优势、错误rollout保持负优势，直接推理不会被系统性不利化。最后，OPD中的特权信息设计独特：GNT只喂给教师，学生全程看不到GNT，从根本上消除学生对专家的依赖。计算开销方面，GNT离线预生成、rollout和verifier预算不变，唯一额外开销是反思prompt的GNT prefill，且随$g(t)$衰减趋零，最终反而因rollout更短而把每步更新时间从约20秒降到约13秒。

实验结果

论文在9个基准（AIME24/25、AMC、MATH-500、Minerva、Olympiad为域内ID；ARC-c、GPQA、MMLU-Pro为域外OOD）、4个LLM骨干、4种on-policy方法上验证。表1（Qwen2.5-Math-7B）：GRPO+ReflectRL使ID 37.0→42.4（+5.4）、OOD 20.9→40.0（+19.1）；DAPO+ReflectRL使ID 38.4→43.5（+5.1）、OOD 25.3→37.0（+11.7）；OPD+ReflectRL（学生Qwen2.5-3B）使ID 26.7→29.0（+2.3）、OOD 21.6→39.1（+17.5），图4显示在1.5B/3B/8B的Qwen和Llama上都稳定超越GRPO。图3训练动态三点：每步更新时间约20秒→约13秒、推理长度800+token→约420token、有效缓解熵坍缩（GRPO熵从0.97跌至0.03以下，ReflectRL在250步仍约0.15）。图1用PRM证明反思优势源于GNT有效前缀+局部错误区域；GT引导反而致策略漂移，而GNT全程稳定。

**Table 1**: Overall in-distribution and out-of-distribution performance comparison on Qwen2.5-Math-7B

**Table 2**: Detailed evaluation results across Qwen2.5-1.5B/3B-Instruct and Llama-3.1-8B-Instruct on 9 benchmarks

**Figure 3**: Training dynamics comparison on Qwen2.5-Math-7B

**Figure 4**: Performance comparison of Baseline, GRPO, and ReflectRL across Llama-3.1-8B, Qwen2.5-1.5B, Qwen2.5-3B on 9 benchmarks

**Figure 6**: Comparison of different policy transition kernels on Qwen2.5-Math-7B

查看结构化数据

任务	指标	本文	基线	提升
Qwen2.5-Math-7B 域内数学推理平均（AIME24/25、AMC、MATH-500、Minerva、Olympiad）	平均准确率%	GRPO+ReflectRL = 42.4	GRPO = 37.0	+5.4
Qwen2.5-Math-7B 域外泛化平均（ARC-c、GPQA、MMLU-Pro）	平均准确率%	GRPO+ReflectRL = 40.0	GRPO = 20.9	+19.1
Qwen2.5-Math-7B ARC-c（域外逻辑推理）	准确率%	DAPO+ReflectRL = 57.4	DAPO = 30.8	+26.6
Qwen2.5-Math-7B MATH-500（域内数学）	准确率%	GRPO+ReflectRL = 77.2	GRPO = 77.2	+0.0
OPD（学生Qwen2.5-3B-Instruct）域外平均	平均准确率%	OPD+ReflectRL = 39.1	OPD = 21.6	+17.5
训练效率（每步更新时间）	秒/步	ReflectRL ≈ 13	GRPO ≈ 20	降低约35%

局限与改进

作者承认的局限：论文聚焦于数学推理这一有可验证奖励的领域，奖励依赖MathVerify这类确定性verifier；OOD提升主要来自ARC-c，泛化并不均衡。从我的观察还有几方面局限：第一，GNT的生成依赖于能获得强专家模型（DeepSeek-R1）且能在训练问题上失败，隐含对专家访问与可控失败的假设——对专家能轻易解决的简单问题无GNT可用，对专家完全不会的难题GNT质量也存疑。第二，过渡核的超参数（$p_h=0.5,p_l=0.05,t_w=50,t_d=250,t_c=300$）在不同模型/数据规模上可能需重新调参，图6显示不同核差异可达数个百分点。第三，实验集中在Qwen和Llama的1.5B-8B小到中等规模模型，是否在70B+规模仍有效未验证。第四，跨域泛化不均衡——GPQA从15.2到17.7（仅+2.5），MMLU-Pro从25.0到36.7，远不如ARC-c（22.5→65.4，+42.9）的暴涨，说明GNT对纯知识/科学问答的迁移有限。

独立分析的弱点

弱点一：领域局限于可验证奖励任务。ReflectRL依赖MathVerify这类确定性verifier，难直接推广到开放式生成、创意写作等领域。改进方向是探索用LLM-as-judge或奖励模型替代verifier，或研究GNT在非数学推理（如逻辑、规划、多步问答）中反思优势是否同样成立。弱点二：GNT获取成本与质量不均衡。需要专家模型在训练问题上失败且失败点要局部化才有用（图1c显示打乱轨迹或只留答案会低于基线）。改进方向是设计自动化GNT生成与质量筛选流水线，甚至学习生成教学性失败轨迹。弱点三：超参数敏感。$g(t)$的形状、$p_h/p_l$、过渡区间在不同设置下需重新调参，图6表明突变核显著掉点。改进方向是把过渡核做成可学习或自适应（如基于熵坍缩程度自动调节），减少手工调参。弱点四：规模与训练成本。需16张H200，对小团队门槛高，且未验证超大模型。改进方向是探索更高效的小规模验证协议和蒸馏到更小模型的方案。

未来方向

作者提出的延伸方向包括：将ReflectRL推广到更多on-policy范式、研究不同领域的反思优势、扩展数据集规模。基于成果可延伸的方向有：第一，将反思机制与思维链外的推理结构（如树搜索ToT、ReAct）结合，探索GNT在更复杂推理拓扑中的作用。第二，研究可学习过渡核——用元学习或bandit根据训练状态自适应选择反思比例，而非固定余弦曲线。第三，把GNT思想推广到多模态推理（论文相关工作中提到MLLMs），用视觉推理失败轨迹训练。第四，与自我博弈、迭代自我改进结合，让模型生成并反思自己的高质量失败。第五，理论层面深入分析为何GNT比GT引导更稳定（图5显示GT导致策略漂移而GNT不），为反思优势建立理论保证，阐明它与模仿学习和对比学习的本质联系。

复现评估

复现评估较为良好。框架基于开源的verl实现，附录E提供了详细超参数：全局batch size 128、每个查询采样8个响应、最大prompt/response长度2048 token、actor学习率$1\times10^{-6}$、熵系数0.001、KL惩罚系数0.0、训练温度1.0、验证温度0.6、PPO micro/mini-batch size 64、rollout用vLLM且tensor parallel size为2、训练温度1.0鼓励探索。数据集OpenR1-GNT-69k已发布（69k条专家失败轨迹，由DeepSeek-R1生成），论文首页标注GitHub/ Dataset/ Model资源。算力方面需16张H200 GPU，对小团队门槛较高。主要复现难点在于：(1)需要DeepSeek-R1等强专家生成GNT；(2)过渡核超参数需调；(3)完整训练成本高。整体上数据、超参、框架均开源，理论可复现，但硬件门槛是实际障碍。

ReflectRL：从黄金负向轨迹中学习的反思式到直接推理 ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning