面向LLM推理的RLVR更新方向：识别与利用 On the Direction of RLVR Updates for LLM Reasoning: Identification and Exploitation
用token级log概率差识别RLVR稀疏更新方向，提升推理精度
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种利用可验证奖励信号对大语言模型进行强化学习微调的范式。与传统RLHF依赖人类偏好不同，RLVR使用任务特定的验证器（如数学题的正确性检查）作为奖励信号，从而能够精确评估模型输出的质量。DeepSeek R1、Qwen3等推理模型均采用此方法训练，通过GRPO等算法在无需额外critic模型的情况下优化策略，使模型逐步学会生成更准确的推理链。
本文的核心研究对象就是RLVR训练过程中的模型更新模式，理解RLVR的基本框架是读懂全文的前提。
GRPO (Group Relative Policy Optimization)
GRPO是PPO的一种变体，专为LLM训练设计，核心优势在于消除了对独立critic模型的需求。其工作流程是：对每个QA对生成一组G个响应，计算每个响应的奖励，然后通过组内相对方式估计优势 $\hat{A}_{i,t} = (R_i - \text{mean}) / \text{std}$。策略通过最大化带有重要性采样比率和裁剪机制的目标函数来优化，同时可选地使用KL正则化保持与参考策略的接近。
论文分析了GRPO/DAPO目标函数的梯度特性，推导出Lemma 3.1，解释了为何RLVR的更新集中在低概率token上。
DAPO (Dynamic Sampling Policy Optimization)
DAPO是当前最先进的无critic RLVR算法，在GRPO基础上引入了多项改进：clip-higher机制（$\epsilon_{high}$与$\epsilon_{low}$不对称）、动态采样策略（过滤掉全对或全错的样本组）、token级损失聚合、过长惩罚以及移除KL惩罚。其目标函数在约束条件 $0 < |\{y_i | \text{is\_equivalent}(a, y_i)\}| < G$ 下优化，确保每个训练样本组既包含正确也包含错误的响应。
本文以DAPO作为主要baseline和实验平台，所提出的训练时重加权方法直接修改DAPO的优势函数。
Token级Log概率差 $\Delta \log p$
定义为 $\Delta \log p(y_t|x, y_{<t}) = \log \pi_{RL}(y_t|x, y_{<t}) - \log \pi_{Base}(y_t|x, y_{<t})$，直接量化RLVR训练在每个token位置上对概率分布的定向偏移。正值表示RLVR模型更偏好该token，负值表示base模型更偏好。与熵或KL散度等仅衡量变化幅度的指标不同，$\Delta \log p$ 携带方向信息，能区分哪些token被RLVR增强、哪些被抑制。
这是论文的核心分析工具，贯穿统计分析、token替换实验、测试时外推和训练时重加权所有实验。
Token替换实验 (Selective Token Replacement)
一种干预实验方法，源自Meng et al. (2026)的交叉样本实验。在解码过程中，先从base模型采样token，然后根据特定指标的阈值判断是否将其替换为RLVR模型的token。通过调整阈值控制替换比例，比较不同指标在相同比例下恢复RLVR性能的能力，从而评估各指标识别推理关键token的精度。
这是验证 $\Delta \log p$ 优越性的核心实验范式，论文用它证明只需替换约10%的token即可恢复RLVR性能。
研究动机
现有对RLVR效果的分析主要关注模型更新的幅度（magnitude），例如Wang et al. (2025b)将变化与高熵token关联，Huan et al. (2025)用KL散度衡量分布偏移，Yang et al. (2025b)分析梯度范数的稀疏性。然而，幅度指标存在根本缺陷：如论文Fig. 1(b)所示，熵和KL散度的直方图在base模型和RLVR模型输出上几乎完全重叠，无法有效区分两个模型的生成分布。这意味着仅凭变化大小无法回答一个关键问题——RLVR究竟在哪些token上学到了更好的推理模式。此外，虽然RLVR诱导的更新被确认为稀疏的（仅影响少量token），但这些稀疏更新的性质和方向从未被系统性地研究过。
本文的目标是本文旨在引入一种新的分析视角——更新方向（direction），通过有符号的token级log概率差 $\Delta \log p$ 来刻画RLVR训练如何在每个token位置上定向移动概率质量。在此基础上，论文追求两个具体目标：一是开发一种测试时增强方法，沿学到的 $\Delta \log p$ 方向外推策略分布以提升推理准确率；二是设计一种训练时重加权方法，聚焦于 $\Delta \log p$ 指示的低概率token以强化推理关键位置的学习。
与已有工作不同的是，本文的独特切入在于将分析焦点从变化了多少转向往哪个方向变。$\Delta \log p$ 的直方图展现出清晰的双峰模式——正尾对应RLVR偏好的token，负尾对应base模型偏好的token——这种方向性签名是熵和KL散度等幅度指标完全无法捕捉的。基于此发现，论文不仅提供了一种更精确的诊断工具（用更少的token替换达到RLVR性能），还开创性地将诊断结果转化为实用的性能提升策略，形成从分析到理解再到利用的完整闭环。此外，论文通过梯度分析建立了理论解释，将稀疏更新与策略梯度对低概率token的天然聚焦联系起来。
核心方法
论文的方法论可以概括为先诊断、再干预的两阶段路线。第一阶段是诊断分析：通过对比 $\Delta \log p$ 与熵、KL散度等幅度指标，发现 $\Delta \log p$ 的直方图呈双峰分布，能清晰区分base和RLVR模型的生成（而幅度指标的直方图几乎重叠）。进一步通过token替换实验验证，$\Delta \log p$ 仅需替换约10%的token即可恢复RLVR性能，精度显著优于其他指标。第二阶段是基于诊断结果的干预：（1）测试时外推——将 $\Delta \log p$ 视为推理方向，在推理关键token上沿此方向放大策略信号；（2）训练时重加权——利用 $\Delta \log p$ 与低概率token的关联，在DAPO的优势函数中为低概率token赋予更高权重。
论文的核心创新在于提出并验证了方向比幅度更重要这一关键洞察。具体而言，$\Delta \log p = \log \pi_{RL} - \log \pi_{Base}$ 不仅是一个分析指标，更是一种可操作的推理方向信号。与已有方法的本质区别体现在三方面：第一，在分析层面，先前工作（如Wang et al., 2025b关注高熵token；Huan et al., 2025用KL散度）都只看变化大小，本文首次系统性地引入方向信息，发现双峰模式这一全新现象；第二，在理论层面，论文推导了Lemma 3.1证明DAPO梯度的 $\ell_1$ 范数正比于 $1 - \pi_\theta(y_{i,t})$，建立了低概率token到大梯度再到高 $\Delta \log p$ 的因果链条；第三，在应用层面，将方向分析直接转化为测试时外推和训练时重加权两种实用策略，而非停留在诊断层面。
方法步骤详情
方法分为三个递进的步骤。步骤一：统计分析与指标比较。在AIME-24数据集上，对ORZ、DAPO、UniReason等模型对，计算每个生成token的熵、正/反/平均KL散度和 $\Delta \log p$，绘制直方图比较其区分base与RLVR模型输出的能力。步骤二：选择性token替换验证。在解码时，先从base模型采样token，然后根据指标阈值判断是否替换为RLVR模型的token。对 $\Delta \log p$，替换条件为 $f^{\log p}_\tau(y_t|x, y_{<t}) = \mathbb{I}[\Delta \log p(y_t|x, y_{<t}) < \tau]$（替换负 $\Delta \log p$ 的token，即base模型偏好而RLVR抑制的token）。通过调整 $\tau$ 控制替换比例，在0-30%范围内比较各指标的性能恢复曲线。步骤三：两种应用策略。（a）测试时外推：定义外推策略 $\log \pi_\gamma^{Extra} = (1+\gamma) \log \pi_{RL} - \gamma \log \pi_{Base} + z(x, y_{<t})$，仅在 $\Delta \log p$ 显著负的位置应用外推。（b）训练时重加权：修改DAPO优势为 $\tilde{A}_{i,t} = [1 + \alpha \cdot (1 - \pi_{\theta_{old}}(y_{i,t}|x, y_{i,<t}))] \cdot \hat{A}_{i,t}$，放大低概率token的学习信号。
技术新颖性
论文的技术新颖性体现在多个层面。首先，$\Delta \log p$ 作为RLVR分析工具是全新的——它将信息论中对分布差异的度量从无符号的散度/熵拓展为有符号的逐token概率对数差，这种定向视角直接揭示了双峰分布模式。其次，Lemma 3.1的推导（$\|\nabla_z \mathcal{J}_{DAPO}\|_1 = 2|w_{i,t}| \cdot (1 - \pi_\theta(y_{i,t}))$）为低概率token的梯度优势提供了精确的数学表达，将经验观察与理论分析衔接。第三，测试时外推方法 $\pi_\gamma^{Extra}$ 与reward-guided decoding文献建立联系，但创新性地将 $\Delta \log p$ 本身作为token级奖励信号，无需额外训练奖励模型。第四，Theorem 4.1在tabular softmax bandit设定下证明了沿 $\Delta \log p$ 方向外推可提升期望奖励，为经验方法提供了理论保证。最后，训练时重加权策略直接作用于优势函数，与PPL-based重加权（Deng et al., 2025）和Dominate重加权（Yang et al., 2025b）形成对比，且在实验中取得最佳效果。
实验结果
论文的核心发现可分为三个层次。第一，统计分析发现：$\Delta \log p$ 的直方图呈清晰的双峰分布（正尾对应RLVR偏好token，负尾对应base偏好token），而熵和KL散度的直方图在base与RLVR模型输出上几乎完全重叠，无法有效区分。这在ORZ、DAPO、UniReason三组模型对上均得到验证。第二，token替换实验发现：$\Delta \log p$ 在约10%的替换率下即可恢复RLVR模型的AIME-24准确率，显著优于KL散度和熵，后者需要更多替换。例如在ORZ-32B上，base模型仅3.02分，RLVR模型46.15分，$\Delta \log p$ 在10%替换率时已接近RLVR性能。第三，梯度分析发现：DAPO的策略梯度范数正比于 $1 - \pi_\theta(y_{i,t})$，低概率token虽然采样频率低但承担了绝大部分梯度质量。top-p过滤实验进一步证实，即使温和的过滤（top-p=0.95）也会导致训练性能显著下降。第四，应用结果：测试时外推在AIME-24上为ORZ-32B（46.15到47.50）、DAPO-32B（52.50到54.06）、UniReason-14B（54.58到55.83）带来提升；训练时重加权在Qwen2.5-Math-7B上将平均性能从DAPO的42.12提升至43.75，在Qwen3-8B-Base上从44.26提升至46.78。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME-24 数学推理 | Avg@32 | 重加权方法: Qwen2.5-Math-7B 39.06, Qwen3-8B 38.13 | DAPO: Qwen2.5-Math-7B 35.73, Qwen3-8B 36.98 | Qwen2.5-Math-7B +3.33, Qwen3-8B +1.15 |
| AIME-25 数学推理 | Avg@32 | 重加权方法: Qwen2.5-Math-7B 18.54, Qwen3-8B 31.15 | DAPO: Qwen2.5-Math-7B 17.6, Qwen3-8B 26.67 | Qwen2.5-Math-7B +0.94, Qwen3-8B +4.48 |
| AMC 数学推理 | Avg@32 | 重加权方法: Qwen2.5-Math-7B 73.64, Qwen3-8B 71.05 | DAPO: Qwen2.5-Math-7B 73.04, Qwen3-8B 69.13 | Qwen2.5-Math-7B +0.60, Qwen3-8B +1.92 |
| AIME-24 测试时外推 | Avg@32 | ORZ-32B: 47.50, DAPO-32B: 54.06, UniReason-14B: 55.83 | RLVR原始: ORZ-32B: 46.15, DAPO-32B: 52.50, UniReason-14B: 54.58 | ORZ-32B +1.35, DAPO-32B +1.56, UniReason-14B +1.25 |
| 综合数学推理 | Avg@32 (AIME24+AIME25+AMC平均) | Qwen2.5-Math-7B: 43.75, Qwen3-8B: 46.78 | DAPO: Qwen2.5-Math-7B: 42.12, Qwen3-8B: 44.26 | Qwen2.5-Math-7B +1.63, Qwen3-8B +2.52 |
局限与改进
论文明确指出的主要局限包括：（1）测试时外推方法需要同时持有base模型和RLVR模型，计算成本翻倍，未来可结合参数高效微调降低开销；（2）外推方法引入了额外超参数（外推强度 $\gamma$ 和选择阈值 $\tau$），需要仔细调优，未来可探索自适应策略将两者统一。此外，从独立观察来看：（3）论文的实验仅在数学推理任务上验证（AIME、AMC），对于代码生成、常识推理等其他推理任务的泛化性尚未证明；（4）模型规模集中在7B-32B范围，在更大规模（如70B+）模型上的效果有待验证；（5）理论分析（Theorem 4.1）依赖于tabular softmax bandit的简化假设，与实际Transformer策略的差距未被充分讨论；（6）重加权方法仅与PPL和Dominate两种替代策略对比，未与其他更广泛的RL改进方法（如reward shaping、curriculum learning）进行比较。
独立分析的弱点
独立分析论文的弱点，可以识别以下几点。第一，测试时外推的实用性受限：需要同时加载base和RLVR两个模型，在实际部署中内存和推理成本翻倍，这在大规模服务场景下可能不切实际。改进方向包括通过LoRA等参数高效方法将差值向量压缩为轻量模块，或开发单模型近似外推方法。第二，超参数敏感性未充分探索：$\gamma$ 和 $\tau$ 的选择对性能有显著影响（如Table 1所示替换率从1.8%到20%性能从53.96到55.10不等），但论文缺乏系统的消融实验来指导超参数选择。改进方向是开发基于验证集的自动调优策略。第三，重加权方法的 $\alpha$ 值对不同模型可能需要不同设置，论文未报告 $\alpha$ 的选择过程和敏感性分析。第四，token替换实验的阈值选择依赖于经验，缺乏理论指导的最优阈值确定方法。
未来方向
论文提出的未来方向和基于成果可延伸的研究方向包括：（1）将测试时外推与参数高效微调（如LoRA）结合，训练一个小模块来近似 $\Delta \log p$ 的外推效果，避免双模型开销；（2）探索自适应外推策略，根据每个token的 $\Delta \log p$ 大小自动调整外推强度 $\gamma$，而非使用统一的超参数；（3）将 $\Delta \log p$ 分析扩展到更大规模模型（70B+）和其他推理任务（代码生成、科学推理等）；（4）将重加权方法与其他RLVR改进技术（如课程学习、动态采样策略）结合；（5）深入研究 $\Delta \log p$ 的双峰模式是否在不同训练阶段稳定存在，以及如何利用这一信号进行早期停止或训练诊断；（6）探索 $\Delta \log p$ 在模型编辑和知识注入等更广泛应用中的潜力。
复现评估
从复现角度来看，论文的实验基于公开可用的模型（Qwen2.5-Math-7B、Qwen3-8B-Base）和数据集（AIME-24、AIME-25、AMC），且以DAPO作为baseline，而DAPO的训练配方已有详细开源文档。token替换和外推方法的实现相对直接，核心公式（Eq. 1、7、8）均有明确数学定义。然而，完整复现存在以下挑战：（1）RLVR训练本身需要大量GPU资源，论文未报告具体训练时长和硬件配置；（2）论文提到的Project Page和GitHub链接在论文正文中以占位符形式出现，需确认是否已开源代码；（3）测试时外推需要同时部署两个模型，对显存有较高要求；（4）32次采样的评估设置（Avg@32、Pass@16）增加了评估成本。总体而言，方法的核心逻辑清晰、数学定义完备，中等算力条件下可复现主要结果。
论文图表
