JudgeRLVR：先判断后生成的高效推理训练范式 JudgeRLVR: Judge First, Generate Second for Efficient Reasoning
两阶段训练：先学判断再学生成，提升推理效率
前置知识
RLVR（基于可验证奖励的强化学习）
RLVR是一种训练大语言模型进行推理的方法，通过提供可自动验证的奖励信号（如最终答案是否正确）来优化模型。与传统监督学习不同，RLVR允许模型探索超越训练演示的推理策略。该方法在数学、代码等推理任务上表现优异，但存在一个关键问题：当模型仅被优化为追求最终答案正确性时，往往会发展出冗长、低效的思维模式，表现为大量的试错和自我纠正。
本文的核心动机正是源于对RLVR局限性的观察，JudgeRLVR旨在解决RLVR中质量-效率权衡的难题。
思维链（Chain-of-Thought, CoT）
思维链是指大语言模型在生成最终答案前输出的详细推理过程。在RLVR训练的模型中，输出通常分为两部分：CoT轨迹（包含模型冗长思维过程的所有细节）和解决方案响应（呈现清晰的逻辑流程和最终答案）。传统RLVR训练的模型往往产生冗长的CoT轨迹，包含大量的'但是'、'然而'、'让我再试一次'等回溯性表达，信息密度较低。
理解CoT轨迹和解决方案响应的区别是理解本文方法的关键，JudgeRLVR的目标正是优化推理过程的质量而非仅仅追求最终答案正确性。
判别式学习（Discriminative Learning）
判别式学习是指训练模型区分正确和错误解决方案的能力。认知科学表明，专家推理的特征不是外化详尽搜索，而是早期判别和剪枝：在展开之前过滤掉没有前途的路径。JudgeRLVR的核心假设是，判别能力是高效生成的先决条件——通过学习区分有效解决方案，模型可以内化一种引导信号来剪枝搜索空间。
这是JudgeRLVR的核心创新点，即先训练判别能力再进行生成优化，与传统直接优化生成的方法有本质区别。
GRPO/DAPO算法
DAPO（Dynamic Sampling Policy Optimization）是GRPO系列策略梯度方法的一种，用于强化学习训练。该算法在rollout过程中动态采样，过滤掉通过率为0或1的样本，以提高训练效率。本文使用DAPO作为训练算法，批量大小为256，rollout大小为n=8，学习率为3×10^-6，采用10步预热。
DAPO是本文采用的具体训练算法，理解其机制有助于理解实验设置和结果。
困惑度（Perplexity, PPL）
困惑度是语言模型对序列平均负对数似然的指数，衡量模型对序列内容的'惊讶'或'困惑'程度。较低的PPL值表明模型更熟悉该序列内容。在本文中，使用Base SFT模型作为固定评估器，计算不同训练方法下输出的PPL变化，这些变化反映了训练过程中的风格转变。JudgeRLVR训练过程中PPL显著增加，表明判别训练诱导了系统性的风格转移。
PPL是本文用于验证风格转移机制的关键指标，帮助理解JudgeRLVR如何改变模型的推理风格。
研究动机
当前基于可验证奖励的强化学习（RLVR）在训练大语言模型进行推理时存在严重的质量-效率权衡问题。当模型仅被优化为追求最终答案正确性时，往往会发展出冗长、低效的思维模式。具体表现为：推理输出中包含大量试错和自我纠正过程，频繁使用'但是'、'然而'、'让我再试一次'等回溯性表达。现有方法如Kimi K1.5和DAPO通过引入长度惩罚来减少token数量并稳定训练，但往往伴随着准确率下降。例如，在Qwen3-30B-A3B模型上，Vanilla RLVR在AIME24任务上产生21.8k token的平均长度，在BeyondAIME上更是达到34.3k token，这些冗长的推理轨迹信息密度较低，消耗大量计算资源。
本文的目标是本文旨在探索一种能够显式地针对更高质量思维模式的训练范式，而不是希望模型通过反复试错'偶然发现'这些模式。具体目标是实现质量-效率的最优平衡：在保持或提升准确率的同时，显著减少生成长度。作者希望证明判别能力是高效生成的先决条件——通过学习区分有效解决方案，模型可以内化一种引导信号来剪枝搜索空间，从而产生更直接、更可靠的推理模式。这一目标的核心是实现从外化试错搜索向内部决策过程的转变。
与已有工作不同的是，现有方法主要关注奖励设计或优化，对质量-效率权衡的探索不足。虽然有工作训练评估器和使用判别式监督来引导LLM输出，但很少采用先训练判断再用其指导生成的两阶段流水线。本文的独特切入角度是：受认知科学启发，专家推理的特征不是外化详尽搜索，而是早期判别和剪枝。因此，作者提出'先判断后生成'的范式，认为要实现高效推理，应该先培养判断什么是直接有效推理的能力，然后学习如何为具体问题进行推理。这种方法填补了判别式学习和生成式优化之间的空白。
核心方法
JudgeRLVR采用两阶段训练范式，将单一推理策略的训练分为两个顺序阶段：判别阶段和生成阶段。核心直觉是：判别能力是高效生成的先决条件。在判别阶段，模型学习判断解决方案的有效性，内化什么构成有效的推理轨迹；在生成阶段，模型利用这种内化的判别能力进行更高效的生成优化。这种方法不施加任何显式的长度或质量惩罚，因此任何冗余减少或推理风格改进都可以归因于从判别阶段转移的判别先验。整个流程如论文Figure 2所示，展示了从数据构建到两阶段训练的完整流水线。
JudgeRLVR的核心创新在于将'先判断后生成'的范式应用于RLVR训练，这与传统直接优化生成的方法有本质区别。关键洞见来自认知科学：专家推理的特征是早期判别和剪枝，而不是外化详尽搜索。具体来说，在判别阶段，模型学习区分正确和错误的解决方案响应；在生成阶段，模型初始化自判别阶段的权重，然后进行标准的RLVR训练。这种顺序训练使得模型能够将判别能力内化为生成时的引导信号，从而在不依赖显式长度惩罚的情况下减少冗余推理。实验表明，这种方法相比混合训练策略（Mixed Strategy）更有效，证明了顺序两阶段训练的必要性。
方法步骤详情
JudgeRLVR的训练分为两个阶段：第一阶段（判别阶段，145步）：(1) 数据构建：对于每个问题x，使用MiMo-7B RL和目标模型Qwen3-30B-A3B-SFT各生成8个推理轨迹和答案，共16个不同的推理路径；(2) 困难负例挖掘：优先选择通过率既非0也非1的中等难度问题，产生更有信息量的'近乎正确'错误；(3) 类别平衡：对每个问题下采样以平衡正例（正确）和负例（错误），避免多数类偏差；(4) 训练：模型学习判断解决方案响应，输出评论c和裁决token v∈{0,1}，奖励为裁决是否匹配真实标签。第二阶段（生成阶段，105步）：(1) 初始化：模型从判别阶段权重初始化；(2) 训练：进行标准RLVR训练，优化最终答案正确性；(3) 奖励：稀疏的二元正确性信号，基于最终答案是否正确。
技术新颖性
JudgeRLVR的技术新颖性体现在多个方面：首先，这是首次将'先判断后生成'的两阶段范式应用于RLVR训练，与传统单阶段或混合训练方法形成鲜明对比。其次，方法不依赖任何显式的长度或质量惩罚，任何冗余减少都归因于判别先验的转移，这提供了更优雅的解决方案。第三，通过困难负例挖掘和类别平衡的数据构建策略，确保了判别阶段训练的有效性。第四，实验设计巧妙地通过消融研究（Judge Only和Mixed Strategy）验证了顺序两阶段训练的必要性，证明了'先判别再生成'比单纯添加更多训练信号更有效。
实验结果
在Qwen3-30B-A3B模型上的实验表明，JudgeRLVR在多个基准测试中实现了优异的质量-效率权衡。在域内数学任务上，JudgeRLVR相比Vanilla RLVR平均准确率提升+3.7个百分点，同时平均生成长度减少42%。具体而言，在AIME24上准确率从86.3%提升至89.0%（+2.7pp），长度从21.8k降至12.9k（-41%）；在AIME25上准确率从77.0%提升至78.7%（+1.7pp），长度从27.2k降至17.2k（-37%）；在HMMT_feb_2025上准确率从60.8%大幅提升至70.0%（+9.2pp），长度从26.9k降至20.4k（-24%）；在BeyondAIME上准确率从58.3%提升至63.9%（+5.6pp），长度从34.3k降至21.3k（-38%）。在域外任务上，JudgeRLVR平均准确率提升+4.5个百分点，长度减少3.9%，在GPQA Diamond（+5.2pp）、LiveCodeBenchv6（+5.7pp）等任务上均表现出色。消融实验表明，Judge Only设置在多个基准上准确率下降（平均-3.9pp），长度增加92%，证明判别阶段虽然是必要前提但不能替代生成阶段优化。Mixed Strategy设置整体表现更不稳定，证明顺序两阶段训练的重要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24（数学推理） | 准确率（%） | 89.0% | 86.3%（Vanilla RLVR） | +2.7个百分点，长度减少41% |
| AIME25（数学推理） | 准确率（%） | 78.7% | 77.0%（Vanilla RLVR） | +1.7个百分点，长度减少37% |
| MATH500（数学推理） | 准确率（%） | 97.2% | 98.0%（Vanilla RLVR） | -0.8个百分点，长度减少71% |
| HMMT_feb_2025（数学推理） | 准确率（%） | 70.0% | 60.8%（Vanilla RLVR） | +9.2个百分点，长度减少24% |
| BeyondAIME（数学推理） | 准确率（%） | 63.9% | 58.3%（Vanilla RLVR） | +5.6个百分点，长度减少38% |
| GPQA Diamond（科学推理） | 准确率（%） | 66.4% | 61.2%（Vanilla RLVR） | +5.2个百分点，长度减少7.5% |
| LiveCodeBenchv6（代码生成） | 准确率（%） | 63.9% | 58.2%（Vanilla RLVR） | +5.7个百分点，长度减少18% |
局限与改进
尽管JudgeRLVR取得了显著成果，但仍存在一些局限性。首先，在某些任务上（如IFEval和ZebraLogic）出现了'准确率更高但输出更长'的现象，表明对于强调格式合规、约束满足或离散规则验证的任务，模型可能需要生成更多显式检查来确保正确性，牺牲了一些长度优势。其次，在相对饱和的数据集（如MATH500）上，JudgeRLVR的准确率略有下降（-0.8pp），尽管长度大幅减少，表明对于已经高度优化的任务，进一步准确率提升的空间有限。第三，Judge Only设置虽然在某些域外任务上可实现相当或略高的准确率且输出更短，但这种收益不稳定，无法替代完整的两阶段流水线。最后，本文实验仅在Qwen3-30B-A3B模型上进行，未探索该方法在不同规模或架构模型上的泛化能力。
独立分析的弱点
JudgeRLVR存在几个可改进的弱点。首先，判别阶段的数据构建依赖于从多个模型rollout生成解决方案，这增加了计算成本和数据准备的复杂性。改进方向可以是探索更高效的数据构建策略，如主动学习或课程学习方法。其次，方法假设判别能力和生成能力可以通过顺序训练有效转移，但Mixed Strategy实验表明这种转移可能受到干扰。未来可以探索更精细的转移机制，如渐进式训练或多任务学习。第三，当前方法仅使用二元正确性标签，未考虑解决方案质量的更细粒度评估。引入过程奖励或质量评分可能进一步提升效果。最后，实验设置中判别阶段和生成阶段的步数分配（145步和105步）可能不是最优的，需要更系统的超参数搜索。
未来方向
未来研究方向包括：(1) 探索JudgeRLVR在不同规模模型（如7B、70B、100B+）和不同架构（如稠密模型vs MoE模型）上的泛化能力；(2) 将方法扩展到更多任务领域，如代码生成、科学推理、多模态推理等；(3) 研究判别阶段训练数据的质量和多样性对最终性能的影响，探索更高效的数据选择策略；(4) 开发更精细的奖励机制，结合过程奖励和结果奖励，以进一步优化推理质量；(5) 探索将JudgeRLVR与推理时计算（inference-time compute）方法结合，如思维树（Tree-of-Thought）或自我一致性（self-consistency）；(6) 研究判别能力如何在不同任务间迁移，以及如何设计更好的预训练判别任务。
复现评估
本文提供了相对详细的实验设置，包括模型配置、训练数据、超参数等，为复现研究提供了良好基础。训练使用DAPO算法，批量大小256，rollout大小8，学习率3×10^-6，训练温度1.0，测试温度0.6。然而，完全复现存在一定挑战：(1) 训练数据来自多个开源资源的组合，具体筛选和处理细节可能影响结果；(2) 使用了MiMo-7B RL和Qwen3-30B-A3B-SFT进行rollout生成，这些模型的可用性可能受限；(3) 训练需要大量计算资源（Qwen3-30B-A3B是30B参数的MoE模型），对算力要求较高；(4) 评估基准包括多个专业数学竞赛题集，部分数据集可能需要额外获取。总体而言，有经验的研究团队在充足计算资源下应该能够复现主要结果。
论文图表
该图展示了Vanilla RLVR和JudgeRLVR在解决相同数学问题时的推理模式对比。左侧Vanilla RLVR的输出包含大量试错过程（CoT tokens > 300），频繁使用'But here'、'Let me confirm'、'just to be thorough'等回溯性表达；右侧JudgeRLVR的输出更加简洁直接（CoT tokens < 100），呈现清晰的逻辑流程：'We need to convert (0,3) to polar coordinates. r = sqrt(x^2 + y^2) = 3. Theta is angle from positive x-axis to (0,3). That's 90 degrees = pi/2 rad.'
这张图直观展示了JudgeRLVR的核心优势：通过先训练判别能力，模型能够产生更高效、信息密度更高的推理模式，而不是冗长的试错过程。