← 返回 2026-06-18

REVES：修订与验证增强的测试时扩展训练 REVES: REvision and VErification--Augmented Training for Test-Time Scaling

Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong 📅 2026-06-17 👍 3 2026-07-13 08:37
序列修订 强化学习 数据增强 测试时扩展
arXiv HuggingFace PDF

通过将中间错误答案转化为修订与验证提示，训练LLM的测试时序列修订能力

前置知识

测试时扩展（Test-Time Scaling, TTS）

一种在推理阶段通过多次调用大语言模型来提升性能的范式。常见算法包括Best-of-N（并行采样多个候选并选择最好的）、Sequential Revision（根据反馈顺序修订答案）、树搜索和进化改进等。这些算法的共同特点是：给定问题、之前的尝试和反馈，生成改进的响应。

本文的核心动机就是如何训练模型来适应这类测试时部署策略，而非传统的单次推理。理解TTS是把握论文问题背景的关键。

序列修订（Sequential Revision, SR）

一种具体的TTS算法。过程是：从原始问题$x$生成初始响应$y_1 \sim \pi_\theta(\cdot|x)$，然后对于$t=2,\ldots,K$，根据之前的尝试$y_{t-1}$和反馈信号$f_{t-1}$（如编译器错误）生成修订$y_t \sim \pi_\theta(\cdot|x,y_{t-1},f_{t-1})$，在第一个验证正确的响应处停止。SR在规划任务上与树搜索和进化改进性能相当。

本文选择SR作为训练目标，因为理论上改善SR能力也能改善其他所有使用修订的TTS算法（Theorem 3.1），且SR本身就足够强大。

元强化学习（Meta-RL）

传统RL学习一个固定策略来在单一环境中获得高回报，而元强化学习要求策略能够适应多种任务或环境分布。在本文中，TTS算法$\phi$会根据历史生成一系列不同的提示状态$S_\phi$，同一策略$\pi_\theta$需要在这些不同上下文中都表现良好，这正是一个元RL问题。

论文第3节明确将测试时扩展形式化为元RL问题，这是理解为什么标准单次RL目标不匹配的关键理论视角。

强化学习后训练（RLVR, GRPO等）

在基础模型预训练后，通过RL进一步对齐人类偏好或优化特定目标的方法。RLHF（来自人类反馈的RL）优化单次期望奖励$J^{\text{OneShot}}(\theta) = \mathbb{E}_{x\sim\mathcal{X}, y\sim\pi_\theta(\cdot|x)}[r^\star(x,y)]$，这与测试时多步部署不匹配。RLVR和GRPO也是类似单次目标。

本文的核心论点是标准后训练目标与测试时部署策略根本性不匹配，理解这些方法是把握论文动机的基础。

轨迹级信用广播（Trajectory-level Credit Broadcasting）

多轮RL的一种特性。考虑一个错误-错误-正确的轨迹，三个轮次的梯度都获得相同的正终端优势，包括两个产生错误中间响应的轮次。这种信用分配是有偏的，只能在多个轨迹的期望中抵消。

REVES的核心创新就是避免这种路径依赖的信用分配，而是将每个中间状态视为独立的恢复问题，实现更精确的局部学习信号。

研究动机

标准后训练方法与测试时部署策略存在根本性不匹配。现有RLHF、RLVR、GRPO等方法优化的是单次期望奖励$J^{\text{OneShot}}(\theta) = \mathbb{E}_{x\sim\mathcal{X}, y\sim\pi_\theta(\cdot|x)}[r^\star(x,y)]$，但实际部署时模型会进行多步推理。例如在LiveCodeBench上，Qwen2.5-7B-RL单次性能18.0%，但如果允许32次修订（TC-32）性能可以提升到23.0%。同样在MATH500上，Qwen2.5-7B-RL单次性能76.1%，Oracle-32（允许32次修订且用正确答案作为停止信号）可达85.9%。这证明模型通过多步修订确实可以获得显著提升，但训练目标没有针对这一能力进行优化。此外，多轮RL直接优化轨迹级目标，但其信用广播机制将相同的正信号分配给轨迹中的所有步骤，包括那些产生错误中间响应的步骤，导致高方差且粗粒度的学习信号。

本文的目标是本文目标是设计一种后训练算法，能够显式提升大语言模型的测试时序列修订能力。具体而言，作者希望优化$J_\phi^{SR}(\theta) = \mathbb{E}_{x\sim\mathcal{X}, y_{1:\tau}\sim(\pi_\theta,\phi^{SR})}[r^\star(x, y_\tau)]$，其中$\phi^{SR}$是序列修订算法，$\tau$是停止时间。同时，作者希望这种提升能够迁移到其他所有使用修订的TTS算法（如MCTS、AB-MCTS、Mind Evolution等），而不仅仅是SR本身。

与已有工作不同的是，本文的独特切入角度是从元RL的视角重新审视测试时扩展问题。大多数现有工作要么关注单次训练目标，要么直接做多轮RL但受限于轨迹级信用分配。本文的核心洞察是：将$J_\phi^{SR}$精确分解为每个状态的单步恢复概率之和（Lemma 4.1），从而暴露出单状态、单轮的梯度信号，完全避免了地平线信用分配问题。在此基础上，作者提出两阶段迭代框架：Stage I通过当前策略运行SR，保留成功的轨迹，将中间的“near-miss”答案转换为解耦的修订和验证提示；Stage II在增强的提示集上进行标准单轮RL训练。这种“从错误中学习”的思路与现有方法形成鲜明对比：现有方法要么不利用中间错误答案，要么将其视为需要模仿的动作，而REVES将其视为需要从其中恢复的状态。

核心方法

REVES是一个两阶段迭代框架，目标是通过策略自身的错误来训练其恢复能力。直觉是：如果模型能在一个错误答案的基础上生成正确答案（恢复），那么它就能从各种类型的错误中学习。技术路线上，作者首先将序列修订目标$J_\phi^{SR}$精确分解为每个状态的访问频率乘以单步恢复概率的加权和（Lemma 4.1），证明提升任何访问状态的恢复概率都能直接提升整体目标。基于此，REVES每轮迭代执行两个阶段：Stage I（数据增强）使用当前策略运行SR，只保留在预算$K$内成功的轨迹，将每个中间状态$(x, y_i)$转换为两种提示——修订提示（要求模型改进之前的响应）和验证提示（要求模型判断当前响应是否正确）；Stage II（策略优化）在原始RL提示和新生成的增强提示集上进行标准单轮RL训练，更新后的策略作为下一轮的 rollout 策略。这个过程持续迭代，策略不断进步，生成的错误答案也随之演化，确保训练信号始终与策略当前的失败模式对齐。

REVES与已有方法有三个本质区别。第一，训练目标的分解：Lemma 4.1证明了$J_\phi^{SR} = \sum_{t=1}^K \mathbb{E}_{x,\zeta}[\mathbb{1}\{\tau \geq t\} V_\pi(z_t)] = \sum_z \rho_\theta(z) \mathbb{E}_{y' \sim \pi_\theta(\cdot|z)}[r^\star(x,y')]$，其中$V_\pi(z) = \mathbb{P}_{y \sim \pi(\cdot|z)}[r^\star(x,y)=1]$是单步恢复概率，$\rho_\theta(z)$是状态访问频率。这表明提升任何访问状态的恢复概率都能直接提升整体目标，无需地平线信用分配。第二，数据生成方式：Stage I只保留成功的轨迹（那些最终达到正确答案的轨迹），因为对于远非最优的基础策略，从失败轨迹的在线采样很少产生验证接受的恢复，浪费tokens。第三，提示设计：同时生成修订提示和验证提示，前者训练模型的修订能力，后者训练模型的自我评估能力（用于测试时停止）。这种分离允许策略在没有外部验证器的情况下自我停止，同时提升了修订能力本身。

方法步骤详情

REVES的两阶段迭代框架具体步骤如下。Stage I（数据增强）：对于每个输入问题$x$，使用当前策略$\pi_\theta$运行序列修订：生成初始响应$y_1 \sim \pi_\theta(\cdot|x)$，然后对于$t=2,\ldots,K$，根据之前的尝试$y_{t-1}$和反馈信号$\text{Feedback}(y_{t-1})$生成修订$y_t \sim \pi_\theta(\cdot|x,y_{t-1},\text{Feedback}(y_{t-1}))$，在第一个验证正确的响应处停止或耗尽预算$K$。丢弃那些失败或已经在$y_1$就正确的轨迹。对于每个保留的成功轨迹$(x, y_1, \ldots, y_\ell)$（其中$r^\star(x, y_\ell) = 1$），构建两类数据：（1）修订数据$\{\text{RevisionPrompt}(x, y_i)\}_{i=1}^\ell$，每个提示要求模型修订之前的响应；（2）验证数据$\{\text{VerificationPrompt}(x, y_i)\}_{i=1}^\ell$，每个提示要求模型判断$y_i$是否正确。Stage II（策略优化）：在原始RL提示和Stage I生成的提示的并集上训练$\pi_\theta$，使用标准单轮RL（如GRPO）。更新后的策略作为下一轮Stage I的rollout策略。这个过程持续迭代，随着策略进步，生成的错误答案也会演化，确保训练信号始终与策略当前的失败模式对齐。

技术新颖性

REVES的技术新颖性体现在多个方面。理论层面，作者首次将测试时扩展明确形式化为元强化学习问题（Theorem 3.1），证明了改善序列修订能力也能改善其他所有使用修订的TTS算法。定理给出了一个条件转移界：$J_\phi(\pi_1) - J_\phi(\pi_0) \geq \frac{1}{C_\phi}(J_\phi^{SR}(\pi_1) - J_\phi^{SR}(\pi_0)) - \|\rho_\phi^{\pi_1} - \rho_\phi^{\pi_0}\|_1(1 - \frac{1}{C_\phi}\|\rho_{\phi^{SR}}^{\pi_1} - \rho_{\phi^{SR}}^{\pi_0}\|_1)$，其中$C_\phi$是覆盖常数。这为以SR为训练目标提供了理论保证。算法层面，Lemma 4.1提供了精确的目标分解，将轨迹级目标转化为状态级目标之和，这是REVES避免路径依赖信用分配的理论基础。实现层面，两阶段框架实现了高效的离策略数据生成：增强数据可以与RL训练并行运行，模型继续在原始RL提示上训练的同时异步生成新的增强数据，避免任何中断；训练本身是单轮的，每个梯度步只处理一个（提示，响应）对，没有内部的多步顺序rollout，这是多轮RL的主要成本。作者还提出了针对不同任务的测试时停止规则：数学推理使用Tail Confidence指标，编码任务使用公开测试用例。

Mapping Eq. (1) onto the figure
Figure 3: Mapping Eq. (1) onto the figure
Overview of the proposed RL-based data augmentation framework
Figure 4: Overview of the proposed RL-based data augmentation framework

实验结果

REVES在多个基准测试中持续显著优于基线方法。在编码任务上，使用Qwen2.5-7B，在LiveCodeBench（2024年8月至2025年1月）上，REVES（TC-32）达到29.5%，相比单次RL基线（23.0%）提升+6.5个百分点，相比标准多轮训练（25.5%）提升+4.0个百分点。在Qwen3-4B上，提升更加明显：REVES（TC-32）达到50.9%，比多轮基线（49.5%）提升+1.4个百分点，比单次RL（41.7%）提升+9.2个百分点。在数学推理任务上，REVES在AIME24上的Oracle-32达到45.7%，相比单次RL（33.5%）提升+12.2个百分点，相比多轮（30.3%）提升+15.4个百分点。在MATH500上，REVES的Oracle-32达到94.7%，相比单次RL（85.9%）提升+8.8个百分点，相比多轮（87.1%）提升+7.6个百分点。特别值得注意的是，在circle packing基准测试中，Qwen3-4B训练的REVES达到了2.635983（n=26时的半径和），这与之前使用更大系统（Gemini-2.0 Pro/Flash和Qwen3-8B）的进化搜索系统的最优结果相匹配，但REVES使用的是最小的4B基础模型且rollout次数更少。在分布外任务（n_queens和mini_sudoku）上，尽管只在数学和代码数据上训练，REVES仍然显著优于基线，证明了强大的跨任务泛化能力。此外，作者验证了J_\phi^{SR}-训练的策略也能改进其他使用修订的TTS算法。在LiveCodeBench上，Qwen2.5-7B-REVES在MCTS上达到28.9%，AB-MCTS-A(Beta)上达到31.0%，Mind Evolution上达到29.0%，全部优于对应的RL基线（22.7%、26.0%、25.7%），这与Theorem 3.1的预测一致。

Sequential-revision test-time scaling performance on coding benchmarks (LCB, CodeContest)
Table 1: Sequential-revision test-time scaling performance on coding benchmarks (LCB, CodeContest)
Circle packing benchmark (sum of radii at n=26, ↑)
Table 2: Circle packing benchmark (sum of radii at n=26, ↑)
Sequential-revision test-time scaling performance on math benchmarks (AIME24/25, MATH500)
Table 3: Sequential-revision test-time scaling performance on math benchmarks (AIME24/25, MATH500)
Comparison of model performance on different test-time strategies
Table 4: Comparison of model performance on different test-time strategies
Effect of revision and verification prompts on AIME25
Table 5: Effect of revision and verification prompts on AIME25
Out-of-distribution puzzle benchmarks (n_queens and mini_sudoku)
Figure 5: Out-of-distribution puzzle benchmarks (n_queens and mini_sudoku)
Ablations on data augmentation (AIME24)
Figure 6: Ablations on data augmentation (AIME24)
查看结构化数据
任务指标本文基线提升
LiveCodeBench (Aug 24–Jan 25) TC-32 Accuracy (%) 29.5 Multi-Turn: 25.5 +4.0
LiveCodeBench (Jan 25–May 25) TC-32 Accuracy (%) 42.0 Multi-Turn: 40.9 +1.1
AIME24 Oracle-32 Accuracy (%) 45.7 RL: 33.5 +12.2
MATH500 Oracle-32 Accuracy (%) 94.7 Multi-Turn: 87.1 +7.6
Circle Packing (n=26) Sum of radii 2.635983 ThetaEvolve: 2.635983 Matched SOTA with 4B model vs 8B
n_queens Accuracy (%) 47.0 Multi-Turn: 36.0 +11.0
mini_sudoku Accuracy (%) 59.0 Multi-Turn: 42.5 +16.5

局限与改进

作者在论文中讨论了一些局限性。首先是计算开销：REVES需要进行Stage I的SR rollouts来生成增强数据，这会带来额外的计算成本。虽然作者声称离策略生成可以与训练并行，但在实际部署中这仍是一个考虑因素。其次，方法依赖于基础策略的质量：对于非常差的基础策略，成功轨迹过滤可能导致训练数据量很少，限制学习。作者提到随着策略改进，过滤器会逐渐放宽。第三，论文主要聚焦于可验证奖励任务（如代码执行、约束满足），对于自然语言等缺乏明确验证器的任务，效果如何尚不清楚。虽然作者提出了Tail Confidence作为数学任务的替代停止信号，但这只是一个启发式方法。作者还承认，实验中使用的默认候选数和训练预算设置可能不是最优的，存在超参数敏感性的问题。最后，验证提示的效果主要通过AUROC间接评估，没有直接测试其在测试时停止规则中的表现。

独立分析的弱点

REVES存在几个值得改进的弱点。第一，计算开销：Stage I的SR rollouts需要额外计算，虽然可以并行，但在大规模部署中成本仍然显著。改进方向可以是更高效的状态采样策略，如基于不确定性的采样而非均匀采样。第二，成功轨迹过滤的偏差：只保留成功轨迹可能使模型过度学习容易恢复的错误类型，而忽略难以恢复的错误。改进方向可以是动态调整过滤阈值，或为困难状态分配更高权重。第三，基础策略依赖：对于非常差的基础策略，初期训练数据可能很少。改进方向可以是先用小规模数据预热训练，或混合使用离策略数据。第四，超参数敏感性：论文中使用的默认$K=32$等设置可能不是最优的，不同任务可能需要不同的预算。改进方向可以是自适应预算策略，根据任务难度动态调整。第五，验证提示的效果有限：从Table 5看，VerificationOnly配置在AIME25上的Oracle-4只有10.3%，低于RevisionOnly的16.5%。改进方向可以是设计更好的验证提示模板，或引入自我一致性等机制。

未来方向

作者在论文中提出了一些未来方向。首先是扩展到不可验证奖励任务，如自然语言生成、对话等。这些任务缺乏明确的停止信号，需要探索更复杂的置信度估计或外部评估机制。其次是研究数据增强预算与性能之间的权衡，如何在不同计算预算下最大化性能提升。第三，探索更精细的状态选择策略，如基于模型不确定性的采样，而非均匀采样。第四，研究如何将REVES与现有的RLHF流程结合，在训练人类对齐的同时也训练测试时扩展能力。第五，探索更高效的并行实现，进一步降低计算开销。基于本文成果可以延伸的方向包括：将两阶段框架扩展到其他TTS算法（如树搜索、进化改进），而不仅仅是SR；研究跨任务的知识迁移，如在多个相关任务上训练一个通用的修订能力；探索更细粒度的信用分配机制，如为不同类型的错误分配不同的权重；研究如何将REVES与思维链（Chain-of-Thought）等方法结合，提升复杂推理任务的性能。

复现评估

REVES的复现性评估需要考虑多个方面。代码方面，作者提到代码可在https://github.com/yxliu02/REVES.git获取，但没有明确说明是否完全开源训练代码。数据方面，训练数据来自Skywork/Skywork-OR1-RL-Data，包含7298个数学问题和1015个编码问题，共8313个示例。这个数据集是公开的，方便其他研究者复现。算力方面，论文没有明确报告具体的训练时间或硬件配置，但从模型规模（Qwen2.5-7B、3B、Qwen3-4B）和数据量推测，训练需要相当可观的GPU资源。实验方面，论文报告了多个基准测试的结果，包括LiveCodeBench、AIME24/25、MATH500等，这些基准测试都有公开的评估协议，便于验证。然而，论文中没有报告实验的随机种子、运行次数等统计信息，这使得评估结果的稳定性难以判断。整体而言，REVES的复现难度属于中等：代码和数据基本可获得，但需要较大的算力投入，且实验细节不够完整。

论文图表

(a) Standard RL: single call (b) Meta-RL inside ϕ: K calls
Figure 1: (a) Standard RL: single call (b) Meta-RL inside ϕ: K calls

这张图对比了标准RL和元RL的差异。左侧(a)显示标准RL：策略$\pi_\theta$将问题$x$映射到响应$y$并获得奖励$r^\star(x,y)$，这是一个提示、一个响应、一个奖励。右侧(b)显示TTS算法$\phi$中的元RL：同一个$\pi_\theta$被调用多达$K$次，每个提示$s_t$都从之前的历史构建（虚线箭头），最终在停止时间$\tau \leq K$提取最终响应$\hat{y}=y_\tau$。策略在$\phi$生成的整个上下文分布中都必须表现良好。

这张图对理解论文至关重要，因为它直观地展示了为什么标准单次RL目标与测试时多步部署不匹配。论文的核心论点是训练必须适应$\phi$生成的多步上下文分布，而不仅仅是回答原始问题，这张图完美地传达了这一关键洞察。

Performance of Different Test-Time Algorithms on TravelPlanner
Figure 2: Performance of Different Test-Time Algorithms on TravelPlanner

这张图展示了不同测试时算法在TravelPlanner上的性能。左侧柱状图比较了Vanilla、BoN、MCTS、AB-MCTS-A(Gaussian/Beta)、AB-MCTS-M、Sequential Revision和Mind Evolution的准确率，Sequential Revision达到95.6%，超过或匹配Mind Evolution（93.9%）和AB-MCTS（94.4%）。右侧折线图显示了准确率与平均成本的权衡，随着修订上下文窗口大小$k$从1增加到2、3或全部历史，成本从5美元增长到20美元，而准确率从89.4%增长到94.4%。

这张图支持了论文选择SR作为训练目标的决定：SR不仅本身就是强大的TTS算法（匹配或超越MCTS和Mind Evolution），而且更简单易实现。右侧的cost-accuracy曲线展示了修订上下文窗口的影响，证明了SR的Markov性质（$\pi_\theta(\cdot|x,y_{prev},f)$）在成本-准确率前沿上的优势。