稀疏但关键：RLVR微调LLM中分布偏移的Token级分析 Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs
RLVR仅通过修改极少量关键token分布即可大幅提升推理性能
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种用于提升大语言模型推理能力的微调范式，通过可验证的奖励信号（如数学题答案的正确性）来优化模型策略。与传统RLHF依赖人类偏好标注不同，RLVR使用自动可验证的奖励，使得训练更加高效和可扩展。典型方法包括GRPO（Group Relative Policy Optimization）和DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization）等。
本文的核心研究对象就是RLVR微调如何在token级改变模型分布，理解RLVR的基本原理是读懂本文的前提。
JS散度 (Jensen-Shannon Divergence)
JS散度是一种对称的分布距离度量，定义为两个分布与它们平均分布之间KL散度的平均值：$D_{JS}(P \| Q) = \frac{1}{2}D_{KL}(P \| M) + \frac{1}{2}D_{KL}(Q \| M)$，其中 $M = \frac{1}{2}(P+Q)$。与KL散度相比，JS散度是对称的、有界的（取值范围为 $[0, \log 2]$），且在分布没有绝对连续性时仍然有定义。
本文使用JS散度来量化基础模型和RL微调模型在每个token位置上的分布差异，是全文分析的核心度量指标。
GRPO与DAPO
GRPO是一种基于群组相对优势的策略优化方法，对同一问题采样多个响应，用组内归一化的优势来更新策略。DAPO在GRPO基础上引入了不对称裁剪机制（clip-higher）、动态采样、token级平均和去除显式KL惩罚等改进。DAPO的clip-higher机制允许更大的上界裁剪（如 $\epsilon_{high}=0.28$ vs $\epsilon_{low}=0.2$），从而鼓励更广泛的探索。
本文主要对比分析了这两种RLVR方法产生的分布偏移差异，DAPO的clip-higher机制被认为是导致更广泛分布变化的关键因素。
交叉采样 (Cross-Sampling)
本文提出的一种实验方法，通过在生成过程中在特定token位置切换采样策略（在基础模型和RL模型之间切换），来测试稀疏分布变化对推理性能的功能重要性。前向交叉采样将RL采样的token注入基础模型生成中，反向交叉采样则将RL生成中的token替换为基础模型的选择。
这是本文的核心实验设计，通过控制性的干预实验直接证明了稀疏的token级变化与推理性能之间的因果关系。
研究动机
尽管RLVR（如GRPO和DAPO）在数学推理等任务上取得了显著的性能提升，但这些改进背后的token级机制仍然不清楚。现有评估主要关注聚合层面的指标（如准确率、奖励、响应长度），这些指标只能提供高层视角，无法揭示模型行为变化的具体机制。一个核心未解决的问题是：RLVR如何重塑基础模型的token级预测分布？这些变化中哪些真正驱动了下游推理性能的提升？近期工作开始从token级熵和不确定性角度分析RL微调，但更细致的分布变化视图仍然缺失：这些变化在位置和上下文中如何结构化，概率质量如何在候选token间重新分配，以及它们在训练过程中如何演化。
本文的目标是本文的目标是开发一个细粒度的、token级的视角来理解RLVR微调过程，通过分布变化的视角系统地研究RLVR如何改变相对于基础模型的下一token分布，并将这些分布偏移直接与序列级推理性能联系起来。具体而言，作者想要回答三个关键问题：(1) RLVR诱导的分布偏移在token级有多稀疏？(2) 这些稀疏的分布变化在功能上有多重要？(3) 在发生显著变化的token位置，这些更新的本质是什么？
与已有工作不同的是，本文的独特切入角度在于将RLVR视为一个稀疏的轨迹引导机制，而不是全局策略转换。与现有工作主要关注参数级变化或聚合指标不同，本文首次系统地从token级分布角度分析RLVR，通过JS散度、熵分析、位置分析等多维度刻画分布偏移的结构，并通过创新的交叉采样实验建立分布变化与推理性能之间的因果联系。这种视角揭示了RLVR的本质：它不是重新编写模型行为，而是在一小部分关键token位置进行有针对性的概率重新分配，引导生成走向基础模型本身可以访问但未被充分利用的更有效推理轨迹。
核心方法
本文的方法论可以概括为三个层次的分析：首先，通过token级JS散度分析刻画基础模型和RL模型之间分布偏移的整体结构；其次，通过前向和反向交叉采样实验验证这些稀疏分布变化的功能重要性；最后，通过top-k重叠、排名重排、低概率token行为和训练演化分析揭示分布变化的精细机制。整体思路是先证明RLVR诱导的分布变化是稀疏的，再证明这些稀疏变化在功能上是关键的，最后分析这些变化的具体机制——它们主要是重新分配已有候选token的概率质量，而非引入全新的token。
本文的核心创新点在于将RLVR重新定义为一种稀疏的轨迹引导机制。与传统的观点（认为RL会广泛改变模型行为）不同，本文发现RLVR仅修改极少量的token分布（在DAPO下超过83%的token位置接近零散度，在SimpleRL下超过98%），但这些稀疏的变化对推理性能至关重要。前向交叉采样实验表明，仅注入约1-10%的RL采样token就能恢复RL级别的准确率；反向交叉采样实验表明，替换类似比例的RL token选择就会使性能崩溃回基础模型水平。这一发现的本质区别在于：RLVR不是全局策略转换，而是在基础模型的推理轨迹空间中，通过少量关键token的选择来引导生成走向更有效的路径。
方法步骤详情
本文的方法分为三个主要步骤：(1) Token级分布分析：对于每个token位置 $t$ 和前缀 $x_{ \epsilon\}$，通过控制干预预算来测量稀疏变化对性能的影响；(3) 精细机制分析：通过top-k候选集重叠、排名重排分析、低概率token行为和训练演化来揭示分布变化的内在机制。
技术新颖性
本文的技术新颖性体现在多个方面：首先，首次系统地从token级分布视角分析RLVR，使用JS散度作为核心度量，避免了KL散度的非对称性和无界性问题；其次，创新性地提出交叉采样框架，通过混合策略和切换规则建立分布变化与推理性能的因果关系，这与投机解码和BiLD有概念联系但目的截然不同；第三，发现RLVR的分布变化具有高度稀疏性（>80-98%的token接近零散度），这与SFT产生更密集分布变化形成鲜明对比；第四，提出散度加权优势信号作为诊断工具，通过 $\tilde{A}_t = w_t \cdot \hat{A}_t$ 的形式将token级散度信息融入训练目标，其中权重 $w_t = 1 + s[\sigma(\alpha \cdot KL_t) - \frac{1}{2}]$ 使用sigmoid变换实现平滑的散度感知加权。
实验结果
本文的核心发现可以归纳为四个方面：(1) 分布偏移的高度稀疏性：在DAPO下，超过83%的token位置表现出接近零的JS散度；在SimpleRL下，这一比例超过98%。即使在没有KL正则化的情况下，DAPO策略在大多数token分布上仍保持接近零的散度。(2) 交叉采样的功能验证：对于Qwen2.5-32B使用SimpleRL，前向交叉采样仅需约3.86%的有效token替换（约38个token/序列）就能将AIME 2024准确率从8.23%提升至超过25%；反向交叉采样仅需约5%的有效token替换（约29个token）就能将准确率从25.52%崩溃至低于8.3%。对于DAPO，需要更多干预（前向约7.8%，反向约10.1%），但仍仅占总token的一小部分。(3) 分布变化的机制：在高散度位置，基础模型和RL模型的top-k候选集重叠率很高（k≥2时SimpleRL超过80%，DAPO略低但仍显著），表明分布变化主要发生在共享的候选集内，而非引入全新token。(4) 散度加权训练：在Qwen2.5-Math-7B上，低KL增强和高KL增强配置均能提升性能，整体平均准确率从基线的42.48%提升至44.92-45.05%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 (SimpleRL, 前向交叉采样) | Mean@32准确率 | >25% | 8.23% (基础模型) | 仅用3.86%有效token替换恢复RL性能 |
| AIME 2024 (DAPO, 前向交叉采样) | Mean@32准确率 | >44% | 8.23% (基础模型) | 仅用7.8%有效token替换恢复RL性能 |
| AIME 2024 (SimpleRL, 反向交叉采样) | Mean@32准确率 | <8.3% | 25.52% (RL模型) | 仅替换5%有效token即崩溃至基础水平 |
| Qwen2.5-Math-7B 散度加权训练 | AIME24/AIME25/AMC整体平均 | 45.05% (高KL增强) | 42.48% (标准DAPO) | +2.57%绝对提升 |
局限与改进
本文的局限性包括以下几个方面：(1) 散度加权优势的探索目前仅作为诊断工具，作者明确指出有效跨训练配置的散度加权可能需要模型特定的范式或自适应调度机制来稳定学习动态，当前方法在不同模型和训练方法间的效果尚不确定。(2) 分析主要集中在Qwen2.5-32B和Qwen2.5-Math-7B等特定模型架构上，虽然附录展示了对Qwen3-8B和Mistral-Small-24B的扩展，但对更大规模模型（如70B+）和更多样化架构的验证仍然有限。(3) 交叉采样实验使用的散度阈值是手动选择的（如SimpleRL前向ε=0.03，DAPO前向ε=0.08等），缺乏自动化的阈值选择机制。(4) 分析主要在数学推理任务上进行（AIME 2024/2025、GPQA-Diamond），对其他推理任务（如代码生成、逻辑推理）的泛化性需要进一步验证。(5) 作者承认低概率token的提升虽然罕见但可能对推理性能重要，这一观察需要更深入的因果分析。(6) 计算资源限制导致某些实验（如Qwen3-32B的长时间训练）无法充分探索，作者提到超过140,000 GPU小时的训练成本限制了研究的深度。
独立分析的弱点
本文的弱点包括：(1) 散度阈值的选择缺乏理论指导——交叉采样实验中的ε值是通过经验选择的，不同模型和任务可能需要不同的阈值，这限制了方法的自动化程度。改进方向可以是开发自适应阈值选择机制，例如基于分布偏移的统计特性动态调整。(2) 缺乏对'为什么这些特定token位置是关键的'的深入解释——虽然论文展示了稀疏性，但对于这些高散度token在推理过程中的具体角色（如推理步骤的转折点、关键逻辑连接词等）缺乏细粒度的语义分析。可以通过结合推理链的结构分析来改进。(3) 散度加权优势的探索相对初步——当前的sigmoid加权方案 $w_t = 1 + s[\sigma(\alpha \cdot KL_t) - \frac{1}{2}]$ 是一个简单的启发式方法，缺乏理论保证。可以探索更复杂的自适应加权策略。(4) 对训练动态的分析不够深入——虽然论文展示了分布偏移随训练的演化，但对于'为什么某些token在训练后期变得关键'缺乏机制性解释。
未来方向
基于本文的发现，未来研究可以在以下方向展开：(1) 开发基于token级散度的自适应训练策略——既然稀疏的关键token对性能至关重要，可以设计训练方法来更有效地识别和强化这些token的更新信号，例如使用课程学习逐步聚焦于高散度token。(2) 将散度分析与推理链结构结合——理解为什么某些token位置在推理轨迹中具有'杠杆效应'，可以结合思维链（Chain-of-Thought）的结构分析来设计更精细的训练目标。(3) 探索散度感知的采样策略——在推理阶段，可以根据token级散度动态调整采样温度或策略，在关键决策点进行更仔细的探索。(4) 扩展到更多任务和模型——将本文的分析框架应用到代码生成、常识推理、多步规划等任务，验证稀疏分布偏移的普适性。(5) 理论分析——建立RLVR稀疏更新的理论框架，解释为什么少量token变化能产生如此大的性能差异，可能与推理轨迹的混沌动力学或分岔理论有关。
复现评估
本文的复现性较好。作者使用了公开可用的模型（Qwen2.5-32B、Qwen2.5-Math-7B、Qwen3-8B、Mistral-Small-24B）和标准数据集（AIME 2024/2025、GPQA-Diamond）。推理使用vLLM框架，训练使用verl框架，这些都是广泛使用的开源工具。论文提供了详细的实验超参数（如DAPO的裁剪比率 $\epsilon_{low}=0.2$, $\epsilon_{high}=0.28$，学习率 $1 \times 10^{-6}$，512个prompt×16个响应的采样配置等）。散度加权训练的具体参数（如 $s=0.3$，$\alpha$ 从0线性增加到50）也有明确记录。然而，完整的RLVR训练（特别是Qwen3-32B的训练）需要大量计算资源（超过140,000 GPU小时），这对大多数研究团队来说是一个重大障碍。token级分布分析本身计算成本相对较低，但需要访问模型的完整概率分布。总体而言，分析方法可以复现，但完整的训练实验需要显著的计算投入。
论文图表
