← 返回 2026-04-08

ThinkTwice：联合优化大语言模型推理与自我改进 ThinkTwice: Jointly Optimizing Large Language Models for Reasoning and Self-Refinement

Difan Jiao, Qianfeng Wen, Blair Yang, Zhenwei Tang, Ashton Anderson 📅 2026-04-02 👍 42 2026-07-13 08:36
GRPO RLVR 强化学习 数学推理 自我改进
arXiv HuggingFace PDF

两阶段RLVR框架联合训练推理和自我改进，无需外部监督信号

前置知识

RLVR (Reinforcement Learning with Verifiable Rewards)

RLVR使用可验证奖励信号训练语言模型，如数学推理用最终答案正确性作为二元奖励，无需中间步骤监督。DeepSeekMath的GRPO通过分组采样计算优势，消除了对独立critic的需求，提高了训练稳定性。

ThinkTwice建立在RLVR框架上，使用相同二元奖励进行两阶段训练，理解RLVR是理解本文训练目标函数和优势计算方式的基础。

GRPO (Group Relative Policy Optimization)

GRPO是基于PPO的LLM优化策略梯度算法，通过组内归一化计算优势，无需独立critic。优化目标为E[1/G sum_i Li - beta D_KL]，Li使用剪枝防止策略更新过快，提高了训练稳定性。

ThinkTwice使用GRPO作为基础RL算法，两阶段都用相同更新公式，理解GRPO数学形式和优势计算对理解训练动态至关重要。

自我改进

自我改进是模型先生成初始解答，然后基于初始解进行批评和修订的过程。通过构造多轮对话提示包含问题和初始解，ThinkTwice通过训练学习可重用的改进策略，而非仅依赖提示工程。

自我改进是ThinkTwice的核心能力，理解如何构造改进提示和评估改进效果对理解Phase 2训练机制和实验设计至关重要。

重要性比率和剪枝

重要性比率衡量新旧策略生成相同响应的概率差异，PPO通过剪枝操作限制比率区间，防止策略更新过快导致不稳定。ThinkTwice在两阶段都用此机制保证训练稳定性。

理解重要性比率剪枝有助于理解ThinkTwice如何在两阶段训练中保持策略稳定性，以及为什么训练过程中奖励信号和响应长度保持相对稳定。

pass@k评估指标

pass@k估计k个独立采样中至少有一个正确答案的概率，通过组合数学公式计算。ThinkTwice采样32个独立解报告pass@4，比单次采样更能反映模型真实能力，因为它允许多次尝试。

论文所有性能比较都用pass@4指标，理解其计算和解释对正确解读实验结果和性能提升幅度至关重要。

研究动机

现有LLM自我改进方法存在显著局限性。训练自由的方法如Self-Refine和Reflexion只在推理时通过提示让模型批评和修订，但不学习可重用的改进策略。如图1(A)所示，即使是前沿LLM在AIME24上使用自我改进提示后性能反而略有下降，表明这种即时改进方法对于推理任务特别脆弱，缺乏外部反馈时不可靠。训练基础的方法学习改进行为，但现有方法通常依赖过程监督（需要标注中间步骤是否正确）、批判注释（需要更强模型提供可靠批评）或显式信号指示初始答案是否正确。但在前沿模型场景下，没有更强的模型提供可靠批评，人工监督对挑战性问题可能不足，这限制了现有训练方法在只有最终答案可验证场景下的应用。

本文的目标是本文提出ThinkTwice，一个统一的RLVR框架，能够在没有外部信息的情况下联合优化推理和自我改进能力。具体目标是：(1)在每对训练步骤中，先优化模型解决一批推理问题，然后优化模型改进自己对同一问题的解决方案；(2)使用通用的审查指令和相同的二元正确性奖励，无需正确性信号、批判注释或外部教师模型；(3)通过两阶段训练让模型同时提升直接推理和自我改进能力；(4)验证该方法在多个数学推理基准和不同规模模型上的有效性。

与已有工作不同的是，本文的独特切入点在于发现了两阶段训练中的隐式课程学习效应。现有工作要么只优化推理（如GRPO、DAPO），要么在优化改进时需要额外的监督信号。ThinkTwice的关键创新是：通过随机采样基础解决方案作为改进阶段的输入，自然形成先纠正错误后巩固正确解的课程。早期训练时模型常产生错误解，改进阶段主要训练错误纠正；随着模型进步，错误解减少，改进阶段自然转向打磨和保持正确解。这种动态产生了更纠正的奖励信号，因为改进阶段从基础尝试单独失败的题目中恢复了有用的学习信号。此外，ThinkTwice添加的每次步3%训练开销很小，在16%更少的wall-clock时间内达到最佳checkpoint。

核心方法

ThinkTwice是一个在统一GRPO框架内交替进行两个训练阶段的RLVR方法，如图2所示。直觉上，ThinkTwice让模型在每个训练批次中对每个问题思考两次：第一次从头解决，第二次基于第一次的解进行改进。这种双重暴露使模型学会互补的能力——直接的推理能力和从自己错误中恢复的能力。技术路线上，Phase 1使用标准GRPO优化推理能力，生成G个候选解并使用二元正确性奖励更新策略；Phase 2从Phase 1的G个rollout中随机选择一个基础解，构造多轮对话提示，模型生成G个改进尝试，使用相同的二元奖励更新策略。两个阶段共享同一个模型骨干网络，改进阶段的策略已经经过Phase 1更新，因此更好地装备来改进基础解。

核心创新点在于：(1)两阶段联合训练：同一模型依次优化推理和改进，使用相同的二元正确性奖励，无需任何额外监督信号；(2)随机基础解采样：从G个rollout中随机选择一个作为改进输入，这种简单策略覆盖了全谱训练样本，并建立了隐式课程；(3)隐式纠正-巩固课程：早期训练改进主要纠正错误，随着模型进步自然转向打磨正确解，这种动态产生更纠正的奖励信号；(4)通用改进指令：使用任务无关的审查指令，不包含关于基础解是否正确的任何指示，与依赖外部批评信号的方法有本质区别；(5)优化效率：添加的改进阶段只有3%每步开销，但丰富的训练信号导致更快收敛，在16%更少wall-clock时间达到最佳性能。

方法步骤详情

ThinkTwice的完整训练流程如算法1所示。对于每个训练迭代t = 1, 2, ..., T：Phase 1（推理优化）：(1)从训练集D采样一批问题{x_j}；(2)对每个问题x_j，用当前策略生成G个解{y_j,1, ..., y_j,G}；(3)计算每个解的正确性奖励；(4)在推理样本上更新策略到pi_theta；(5)从{(x_j, y_j,i)}中采样改进配对。Phase 2（改进优化）：(1)对每个，通过构造改进提示；(2)用更新后的策略生成G个改进尝试；(3)计算每个改进解的正确性奖励；(4)在改进样本上更新策略到pi_theta。两个阶段都使用相同的GRPO更新公式和优势计算。

技术新颖性

技术新颖性体现在多个方面：(1)首次在RLVR框架内联合训练推理和自我改进，之前工作要么只优化推理，要么在优化改进时需要额外监督信号；(2)最简单有效的改进阶段设计：随机选择基础解、通用审查指令、相同二元奖励，无需复杂的架构设计或多目标优化；(3)首次系统分析了两阶段训练动态，发现了纠正-巩固隐式课程，这种课程无需显式设计而自然涌现；(4)训练效率优化：改进阶段添加的上下文长度会增加计算开销，但随着训练进展改进解变短，开销差距缩小，最终总wall-clock时间仅增加3%，但收敛更快；(5)跨模型改进能力验证：实验显示ThinkTwice作为改进模型应用其他基线解时也能达到最高分，证明其改进能力泛化超越自身输出。

ThinkTwice at a glance.
Figure 2: ThinkTwice at a glance.

实验结果

ThinkTwice在五个数学推理基准和两个模型家族上显著超越竞争基线。对于Qwen3-4B，直接推理方面ThinkTwice达到平均65.57%，超越所有基线，在最具挑战性的AIME上达到44.11%，比GRPO高5.05个百分点。自我改进方面，ThinkTwice达到平均71.88%，比DAPO高2.9个百分点，比GRPO高4.5个百分点。在AIME上，ThinkTwice达到60.43%，比GRPO高11.52个百分点。对于OLMo3-7B，趋势一致：ThinkTwice在自我改进上达到平均69.35%，在所有基线中最高。跨模型改进评估显示，无论哪个模型产生基础解，ThinkTwice作为改进模型都达到最高分，证明其改进能力泛化。训练动态分析揭示了隐式课程：早期训练fix-wrong率持续高于基线，峰值在训练中期；后期damage-correct率降至接近零，而基线保持在5倍以上。效率方面，ThinkTwice添加的改进阶段每步只增加3%开销，在220步达到最佳checkpoint，比GRPO的280步少16% wall-clock时间。

Reasoning performance (pass@4, ↑) across five mathematical reasoning benchmarks. Bold and underline denote the best and second-best results per dataset within each model.
Table 1: Reasoning performance (pass@4, ↑) across five mathematical reasoning benchmarks. Bold and underline denote the best and second-best results per dataset within each model.
Self-refinement performance (pass@4, ↑) across five mathematical reasoning benchmarks. Bold and underline denote the best and second-best results per dataset within each model. † denotes training-free methods.
Table 2: Self-refinement performance (pass@4, ↑) across five mathematical reasoning benchmarks. Bold and underline denote the best and second-best results per dataset within each model. † denotes training-free methods.
Cross-model refinement evaluation (average pass@4, ↑). Rows denote the backbone reasoning model; columns denote the refinement model.
Figure 3: Cross-model refinement evaluation (average pass@4, ↑). Rows denote the backbone reasoning model; columns denote the refinement model.
Training dynamics of refinement across checkpoints. The vertical dashed lines mark the best checkpoints. Left (a): transition metrics on the training set across checkpoints. Right (b): formatting and length metrics across checkpoints during training. Top: boxed-answer and final-answer marker rates; bottom: average response length for self-refinement on correct-only base solutions.
Figure 4: Training dynamics of refinement across checkpoints. The vertical dashed lines mark the best checkpoints. Left (a): transition metrics on the training set across checkpoints. Right (b): formatting and length metrics across checkpoints during training. Top: boxed-answer and final-answer marker rates; bottom: average response length for self-refinement on correct-only base solutions.
Training-time cost and dynamics of ThinkTwice compared with GRPO. * denoted best checkpoint step of models. (a) Mean reward. (b) Response length. (c) Wall-clock time per update. (d) Accumulated training time. (e) Within-checkpoint macro average benchmark accuracy.
Figure 5: Training-time cost and dynamics of ThinkTwice compared with GRPO. * denoted best checkpoint step of models. (a) Mean reward. (b) Response length. (c) Wall-clock time per update. (d) Accumulated training time. (e) Within-checkpoint macro average benchmark accuracy.
查看结构化数据
任务指标本文基线提升
数学推理（直接） pass@4 65.57% GRPO: 62.22% +3.35个百分点
数学推理（直接）- AIME pass@4 44.11% GRPO: 39.06% +5.05个百分点
数学推理（自我改进） pass@4 71.88% GRPO: 67.42% +4.46个百分点
数学推理（自我改进）- AIME pass@4 60.43% GRPO: 48.91% +11.52个百分点
OLMo3-7B自我改进 pass@4 69.35% GRPO: 66.08% +3.27个百分点
收敛效率 wall-clock时间 7.2小时（220步） GRPO: 8.6小时（280步） 少16%时间

局限与改进

作者承认的局限：(1)只在数学推理任务上验证，虽然有可验证答案，但未在其他领域如代码生成上验证；(2)只使用了一步自我改进，框架支持多步迭代改进但未探索；(3)训练时间分析在2×H100 80GB GPU上测量，不同硬件配置下开销比例可能不同。我观察到的局限：(1)随机选择基础解的策略虽然简单有效，但可能不是最优采样策略，可能探索更智能的采样方式；(2)通用审查指令在不同任务上可能需要调整，论文未讨论任务特定的指令设计；(3)改进阶段添加的上下文长度会增加显存需求，对更大模型或更大batch size可能有挑战；(4)实验只对比了GRPO系列基线，未与其他RLVR变体如Open-Reasoner-Zero、Skywork-OR1等比较。

独立分析的弱点

独立分析的弱点：(1)基础解随机采样策略简单但可能次优：随机选择意味着早期训练时改进阶段可能遇到很多无法挽救的完全错误解，浪费计算资源。改进方向：可以探索基于置信度、多样性或难度感知的采样策略，或者使用curriculum learning逐步增加基础解难度。(2)单步改进限制：论文只评估一步自我改进，某些复杂问题可能需要多轮迭代才能完全解决。改进方向：扩展框架支持多步迭代改进，分析多轮改进的收益和训练稳定性。(3)通用指令的领域适应性：虽然通用指令在数学推理上有效，但在代码生成、逻辑推理等不同领域可能需要领域特定的提示工程。改进方向：研究不同任务下的最优改进指令，或学习任务特定的改进策略。(4)计算开销：虽然每步只增加3%开销，但改进阶段的上下文更长，对显存要求更高。改进方向：探索高效的上下文压缩技术或分层策略，减少改进阶段的输入长度。(5)奖励信号稀疏：二元正确性奖励只看最终答案，可能错过部分正确或有价值的中间推理步骤。改进方向：探索部分奖励或过程监督信号，在保持无外部监督的前提下提供更丰富的训练信号。

未来方向

作者提出的未来方向：(1)将ThinkTwice应用到其他有结果奖励的任务，如代码生成，验证方法的领域泛化性；(2)探索多步迭代自我改进，框架原生支持多轮对话格式，可以研究多轮改进的收益和训练挑战。基于成果可延伸的方向：(3)研究智能的基础解采样策略，如基于不确定性、多样性或学习到的采样策略；(4)探索跨任务迁移学习，在一个任务上训练的改进能力能否迁移到其他任务；(5)分析ThinkTwice在不同模型规模上的表现，理解改进能力是否随模型规模线性增长；(6)研究ThinkTwice与其他RL技术的结合，如curriculum learning、multi-objective优化等；(7)探索改进阶段的可解释性，分析模型如何检测和修正不同类型的错误；(8)研究ThinkTwice在zero-shot和few-shot场景下的表现，不仅限于经过充分RL训练的模型。

复现评估

复现性评估：(1)开源情况：论文在摘要中提到提供匿名代码库https://github.com/CSSLab/ThinkTwice，实现使用VERL框架；(2)数据来源：训练使用MATH训练集，评估在五个基准：AIME、AMC、MATH500、Minerva Math、OlympiadBench，所有数据集公开可用；(3)模型：使用Qwen3-4B-Instruct-2507和OLMo3-7B-Instruct两个公开的指令微调模型；(4)奖励计算：使用Math-Verify进行精确匹配验证；(5)实现细节：附录B.1提供完整的训练工作流程和代码级说明，包含确切的改进指令、超参数配置（表4）和数据集链接；(6)实验设置：遵循Dr. GRPO的训练和评估协议；(7)资源需求：时间分析在2×H100 80GB GPU上测量，达到最佳checkpoint需要约7-9小时训练；(8)复现难度：中等，需要熟悉VERL框架和RL训练，但提供了足够的实现细节和超参数。总体来说，论文的复现性良好，提供了足够的代码、数据和配置信息。

论文图表

(A) Prompt-only reflection can reduce top frontier LLM performance on AIME24, indicating brittleness. (B) ThinkTwice compared with existing method families. (C) ThinkTwice addresses these gaps by sequentially training a shared model backbone—first solving, then reflecting—yielding significant gains (+5 points reasoning, +11 points refinement) on AIME with Qwen3-4B.
Figure 1: (A) Prompt-only reflection can reduce top frontier LLM performance on AIME24, indicating brittleness. (B) ThinkTwice compared with existing method families. (C) ThinkTwice addresses these gaps by sequentially training a shared model backbone—first solving, then reflecting—yielding significant gains (+5 points reasoning, +11 points refinement) on AIME with Qwen3-4B.

Figure 1(A)展示了即时改进方法的脆弱性，前沿LLM在AIME24上使用自我改进提示后性能反而略有下降，说明训练自由的即时改进方法对推理任务不可靠。Figure 1(B)将ThinkTwice与现有方法家族对比，显示ThinkTwice填补了无需外部监督信号的联合训练空白。Figure 1(C)展示了ThinkTwice在Qwen3-4B上的核心结果：推理提升5个百分点，自我改进提升11个百分点，直观显示方法的有效性。

这张图对理解论文至关重要，因为它(1)清晰地展示了问题的存在——即时改进方法不仅不可靠，甚至可能降低性能；(2)定位了ThinkTwice在方法谱系中的位置——无需外部监督的联合训练方法；(3)概括了核心贡献——在AIME上+5推理、+11改进的显著提升，这是读者首先会关注的关键数字。