STAPO：通过静默稀有伪标记来稳定大语言模型的强化学习训练 STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens
屏蔽0.01%伪标记token，稳定RL训练并提升LLM推理准确率
前置知识
GRPO（Group Relative Policy Optimization）
GRPO是一种无需显式价值函数的策略优化方法。对于每个输入提示 $x$，GRPO从参考行为策略 $\pi_{\theta_{old}}$ 中采样一组 $G$ 个输出序列，通过组内奖励标准化计算优势估计 $\hat{A}_i = \frac{R(x, y_i) - \text{mean}}{\text{std}}$，并使用裁剪的替代损失函数进行优化。GRPO避免了PPO中需要训练独立价值网络的开销，是当前大规模LLM RL训练的主流方法之一。
STAPO在GRPO基础上改进优化目标，理解GRPO的优势估计机制和裁剪损失是理解本文方法的前提。
DAPO的Clip-Higher机制与Token归一化
DAPO是GRPO的改进变体，去除了KL惩罚项，并引入了非对称裁剪机制（clip-higher）。其核心思想是使用不同的上下裁剪边界 $\epsilon_{low}$ 和 $\epsilon_{high}$，允许策略在正优势方向上做更大的更新。同时，DAPO采用token级别的损失归一化，将损失平均到所有token而非所有序列，从而更好地处理不同长度的输出。DAPO和JustRL都是当前RL for LLM领域的重要基线方法。
论文将DAPO的目标函数作为基线，STAPO在此基础上引入了token掩码机制来过滤伪标记token，理解DAPO是理解改进对照的关键。
策略熵（Policy Entropy）
策略熵衡量策略分布的不确定性，定义为 $H(\pi_\theta) = -\sum_n \pi_\theta(v_n) \log \pi_\theta(v_n)$。在RL训练中，熵是探索与利用平衡的核心指标：过高的熵意味着模型在随机猜测，过低的熵意味着模型陷入局部最优、缺乏探索。在LLM推理训练中，熵的动态变化（爆炸或坍塌）直接关联训练稳定性和最终推理质量。
论文的核心贡献之一是稳定策略熵动态，理解熵在RL训练中的角色是理解STAPO为什么能带来稳定性的关键。
重要性采样比率 $\rho_{i,t}(\theta)$
重要性采样比率定义为 $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i, 1$ 时表示新策略对该token赋予更高概率，当 $\rho < 1$ 时表示降低概率。裁剪机制将 $\rho$ 限制在 $[1-\epsilon_{low}, 1+\epsilon_{high}]$ 范围内，防止策略更新过大。
理解 $\rho$ 的裁剪机制有助于理解伪标记token如何通过梯度放大效应破坏训练，以及STAPO如何通过掩码消除这种放大。
RLVR（Reinforcement Learning with Verifiable Rewards）
RLVR是利用可验证奖励进行强化学习的范式，其核心特点是使用外部验证器（如代码编译器、数学规则检查器）提供二值奖励 $R(x,y) \in \{-1, 1\}$。与人类偏好反馈（RLHF）不同，RLVR的奖励信号是确定性的、客观的，但代价是奖励是序列级别的——所有token共享相同的奖励信号，导致信用分配问题。
论文指出RLVR的序列级奖励是伪标记问题的根本原因：所有token继承相同的奖励，使得不相关的token也被错误地强化。
研究动机
在大规模语言模型的强化学习训练中，现有方法如GRPO、DAPO和JustRL都面临一个共同的严重问题：训练后期会出现性能崩塌。具体而言，20-Entropy和JustRL会出现熵爆炸（entropy explosion），导致模型从连贯推理退化为浅层、重复甚至无意义的输出；而GRPO则会出现熵坍塌（entropy collapse），过度抑制探索能力。论文在Qwen3-1.7B基座模型上进行DAPO-MATH-17K训练时观察到，尽管现有的熵正则化、样本增强和优势重加权等稳定技术能够在全局层面调节熵，但它们过于粗糙，无法捕获单个token在优化过程中的异质作用，往往要么过度抑制有用的探索信号，要么引发振荡的熵动态，导致次优性能。这些现象说明，在token级别上存在一个被忽视的系统性问题。
本文的目标是本文的具体目标是在有效探索和强大推理能力之间找到一个平衡点。作者希望在token粒度上分析优化动态，识别出导致训练不稳定的根本原因，并设计一种轻量级、高效的方法来解决这一问题。具体来说，论文提出了三个递进的目标：第一，从理论上系统分析token级别的优化影响，建立统一的评估框架；第二，提出一种高效的机制来识别和抑制有害的token更新；第三，在多种模型规模和多个基准测试上验证方法的稳定性和有效性。
与已有工作不同的是，本文的独特切入角度是从token级别的微观视角来分析RL训练不稳定性。与之前在全局层面进行熵控制的方法不同，作者发现约0.01%的token——被命名为 spurious tokens（伪标记token）——是训练不稳定的关键来源。这些token在正确响应中几乎不贡献于推理过程，但由于继承了序列级奖励，却获得了不成比例的大幅梯度更新。论文进一步从概率-熵两个维度将token空间划分为四个象限，系统分析了不同token类型对优化的影响，发现低概率且低熵的token具有最高的伪标记风险、最大的梯度范数和最强的熵爆炸效应。这种双维度的精细分析框架是之前工作所不具备的。
核心方法
STAPO方法的整体思路是：在RL训练过程中，不应对所有token一视同仁地施加梯度更新，而应该识别并静默那些对推理结果几乎没有贡献、却会严重干扰优化方向的伪标记token（spurious tokens）。直觉上，如果一个token在正确响应中出现的概率极低（低概率），且模型对该位置的输出缺乏自信（低熵，意味着存在高度可信的候选token），那么这个token很可能是采样过程中的随机噪声，而非推理逻辑的一部分。技术路线分为三步：首先，通过统一框架分析token级别的优化影响（包括伪标记风险、梯度范数和熵变化）；其次，提出S2T（Silencing Spurious Tokens）机制，利用概率阈值 $\tau_p$ 和熵分位数阈值 $\tau_h^{(q)}$ 双重条件筛选伪标记token；最后，将S2T集成到基于组的目标函数中，形成完整的STAPO算法。
STAPO的核心创新在于提出了 spurious tokens（伪标记token）的概念并设计了针对性的抑制机制。与已有方法的本质区别体现在三个层面：第一，与熵正则化等全局方法不同，STAPO在token粒度上进行精细调控，只屏蔽约0.01%的有害token，而保留其余所有token的正常更新；第二，与简单的低概率token过滤不同，STAPO引入了熵维度的第二重过滤，将低概率token进一步区分为探索性token（高熵，保留）和伪标记token（低熵，屏蔽），从而避免了JustRL-FullMask中全面过滤低概率token导致的熵坍塌问题；第三，STAPO通过二元掩码 $I_{i,t}^{S2T}$ 直接将伪标记token的梯度贡献置零，同时动态调整归一化项仅对有效token计算平均损失，这是一种简洁而高效的设计。
方法步骤详情
STAPO算法的具体步骤如下：对于每个训练迭代，首先同步旧策略参数 $\theta_{old} \leftarrow \theta$，然后从数据集 $D$ 中采样提示 $x$，使用旧策略生成 $G=8$ 个响应 $\{y_1, \ldots, y_G\}$。对于每个mini-batch中的每个响应 $y_i$ 和每个token $y_{i,t}$：第一步，计算token概率 $p_{i,t} = \pi_\theta(y_{i,t} | x, y_{i, 0$（即响应正确）且 $p_{i,t} < \tau_p$（概率低于阈值 $\tau_p=0.002$）且 $h_{i,t} < \tau_h^{(q)}$（熵低于低概率正确token的 $q=75\%$ 分位数），则将掩码 $I_{i,t}^{S2T}$ 设为0，否则设为1；第三步，使用修改后的STAPO目标函数更新参数，该函数用掩码零化伪标记token的损失，并将归一化分母调整为仅对有效token求和。整个过程通过veRL框架实现，在64块NVIDIA H20 GPU上训练5-7天。
技术新颖性
STAPO的技术新颖性体现在以下几个方面：首先，论文首次系统定义并分析了 spurious tokens（伪标记token）这一现象，这是对LLM RL训练不稳定性根源的全新认识。其次，论文提出了一个统一的token级优化分析框架，涵盖三个维度（伪标记风险、梯度范数、熵变化），并通过Lemma 3.2（熵更新机制）和Theorem 3.3（策略梯度范数界）提供了严格的理论支撑。特别是Theorem 3.3证明了低概率低熵token的梯度范数满足 $\|\nabla_{a_{i,t}} J\|_2^2 \geq |w_{i,t}|^2(1 - 2\pi_\theta(y_{i,t}) + e^{-H(\pi_\theta)})$，当 $\pi_\theta$ 小且 $H$ 小时梯度范数大幅增长，为伪标记token的梯度放大效应提供了理论依据。第三，S2T机制在概率-熵二维空间中进行token筛选，而不是简单的单一阈值过滤，这种联合考量使得方法在抑制有害信号的同时保留探索能力，实现了稳定性和探索性的平衡。
实验结果
论文在六个数学推理基准测试（AIME24、AIME25、AMC23、MATH500、Minerva、OlympiadBench）和三种模型规模（Qwen 1.7B、8B、14B基座模型）上进行了全面评估。在训练对齐配置（温度 $\rho_T=1.0$，top-p=1.0）下，STAPO在1.7B模型上平均准确率达到36.85%，相比GRPO（29.92%）、20-Entropy（29.60%）和JustRL（31.10%）分别提升了23.2%、24.5%和18.5%；在8B模型上达到60.96%，相比最强基线20-Entropy（57.63%）提升5.8%；在14B模型上达到67.76%，相比GRPO（61.49%）提升10.2%。在JustRL评估配置（$\rho_T=0.7$，top-p=0.9）下，STAPO同样在所有模型规模上取得最优结果。尤为值得注意的是，STAPO通过屏蔽不到0.01%的token（图6显示掩码比率在warmup后稳定在0.01%以下）就实现了这些显著提升，说明训练不稳定性确实源于极少量的有害token。在熵稳定性方面，STAPO在warmup后维持了稳定、良好调节的熵曲线，而GRPO出现熵坍塌、JustRL和20-Entropy出现熵爆炸。通过token级别分位数分析，STAPO将熵集中在高分位（如80%以上），使大部分token保持确定性，同时为关键token保留探索能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24（1.7B基座模型，$\rho_T=1.0$） | 准确率（avg@32） | 18.44% | GRPO 7.60% / 20-Entropy 11.98% / JustRL 9.17% | 相比最强基线20-Entropy提升53.9% |
| AMC23（1.7B基座模型，$\rho_T=1.0$） | 准确率（avg@32） | 54.22% | GRPO 37.81% / 20-Entropy 42.66% / JustRL 43.20% | 相比最强基线JustRL提升25.5% |
| AIME24（8B基座模型，$\rho_T=1.0$） | 准确率（avg@32） | 38.33% | GRPO 31.25% / 20-Entropy 31.25% / JustRL 25.21% | 相比最强基线GRPO/20-Entropy提升22.6% |
| AIME24（14B基座模型，$\rho_T=1.0$） | 准确率（avg@32） | 51.04% | GRPO 41.04% / 20-Entropy 42.08% / JustRL 34.48% | 相比最强基线20-Entropy提升21.3% |
| 六基准平均（1.7B基座模型，$\rho_T=1.0$） | 平均准确率 | 36.85% | GRPO 29.92% / 20-Entropy 29.60% / JustRL 31.10% | 平均相对提升18.49% |
| 六基准平均（8B基座模型，$\rho_T=1.0$） | 平均准确率 | 60.96% | GRPO 56.24% / 20-Entropy 57.63% / JustRL 50.70% | 平均相对提升5.78% |
| 六基准平均（14B基座模型，$\rho_T=1.0$） | 平均准确率 | 67.76% | GRPO 61.49% / 20-Entropy 60.77% / JustRL 55.74% | 平均相对提升10.20% |
局限与改进
论文在局限性方面坦诚地指出，当前研究主要聚焦于正确响应中被错误奖励的token，尚未分析错误响应中的token动态。具体来说，当模型生成错误答案时，所有token都被赋予负优势，但其中可能也存在类似的伪标记效应，这一方向值得进一步探索。此外，论文仅在数学推理任务上进行了验证，尚未扩展到代码生成、自然语言推理或其他任务领域。从实验设置来看，所有实验均使用DAPO-MATH-17K数据集，且训练规模为256的全局批大小和8个rollouts，尚未验证在更大规模数据集或不同超参数配置下的表现。作者也提到，当前方法依赖于两个超参数——概率阈值 $\tau_p$ 和熵分位数 $q$，虽然敏感性分析显示性能对 $\tau_p$ 较为鲁棒，但在完全不同的训练场景下可能需要重新调优。最后，STAPO仅屏蔽正确响应中的token，未考虑错误响应中的异常token，这可能限制了方法在更复杂推理任务中的泛化能力。
独立分析的弱点
尽管论文展示了令人印象深刻的结果，但仍存在几个值得关注的弱点。首先，S2T机制依赖于固定概率阈值 $\tau_p$ 和动态熵分位数 $q$ 的组合，虽然论文进行了敏感性分析，但在不同训练阶段、不同数据分布或不同模型架构下，最优阈值可能发生变化，缺乏自适应机制是一个潜在局限。其次，伪标记token的定义仅针对正确响应（$\hat{A}_i > 0$），这排除了错误响应中可能存在的有害token——错误响应中某些token可能因为被错误惩罚而产生有害的梯度信号。第三，论文在token分类中使用了二元划分（低/高概率、低/高熵），而实际的token分布可能具有更复杂的多模态结构，连续的软掩码可能比硬二元掩码更精细。改进方向包括：设计自适应阈值机制（如基于训练进度动态调整 $\tau_p$ 和 $q$）；将分析扩展到错误响应中的token；探索软掩码策略，根据token的伪标记风险程度给予不同的梯度权重而非简单的0/1掩码。
未来方向
论文作者明确提出了几个未来研究方向。第一，将分析范围从正确响应中的token扩展到错误响应中的token，探索是否也存在类似的伪标记现象，以及如何在错误响应中进行有效的信用分配。第二，将STAPO从数学推理任务推广到代码生成、自然语言推理、多轮对话等更多任务领域，验证方法的通用性。第三，探索自适应的阈值机制，使 $\tau_p$ 和 $q$ 能够根据训练阶段和任务特性自动调整。基于论文当前成果，还有几个值得延伸的方向：一是研究伪标记token与模型规模之间的关系，探索在更大模型（如70B、700B）上伪标记比例是否保持在0.01%左右；二是将STAPO与其他探索增强技术（如动态采样、课程学习）结合，进一步提升推理能力；三是分析伪标记token在多步推理中的传播效应，即一个伪标记token如何影响后续token的生成和质量。
复现评估
论文的复现条件较为有利。首先，作者基于开源框架veRL实现STAPO，代码可复现性较好。训练数据集DAPO-MATH-17K也是公开的数学推理数据集。论文详细列出了所有超参数（表3），包括学习率 $1 \times 10^{-6}$、批大小256、裁剪范围 $[0.8, 1.28]$、梯度裁剪1.0、warmup步数10等，这为复现提供了充分的信息。然而，复现的主要门槛在于算力需求：所有实验在64块NVIDIA H20 GPU上训练5-7天，这对大多数研究团队而言是较大的资源投入。此外，论文使用的基座模型为Qwen3系列（1.7B/8B/14B），虽然这些模型是开源的，但具体版本和下载路径需要确认。验证器CompassVerifier-3B也是开源的轻量级验证器。总体而言，论文在开源、数据和实验细节方面做到了较好的透明度，主要复现难度在于计算资源和训练时间。
论文图表
展示了Qwen3-1.7B、8B和14B三个模型在训练过程中伪标记token比例的变化曲线。在warmup阶段（前约200步）比例较高，之后迅速下降并稳定在0.01%以下。这一结果表明，即使在不同模型规模下，需要被屏蔽的token比例始终极低，验证了STAPO的高效性。
该图直接验证了论文的核心假设：训练不稳定性确实源于极少量的token，STAPO的掩码操作是轻量级的。