通过样本路由统一组相对和自蒸馏策略优化 Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing
SRPO将正确样本路由到GRPO、失败样本路由到SDPO，实现早期效率和长期稳定性的双重优势
前置知识
Group Relative Policy Optimization (GRPO)
GRPO是一种无需学习critic的策略梯度方法，通过在一个rollout组内对奖励进行归一化来估计优势。对于每个prompt x，策略生成G个rollouts并获得对应的奖励r_i，优势A^{GRPO}_i = (r_i - r_bar) / (sigma_r + epsilon)，其中r_bar和sigma_r是组内奖励的均值和标准差。策略使用clipped surrogate objective更新。GRPO的优势估计是序列级数量，均匀分配到rollout的每个token，因此虽然对齐奖励但粒度粗糙。
GRPO是RLVR领域广泛采用的方法，理解其粗粒度信用分配的局限性是理解本文动机的基础。
Self-Distillation Policy Optimization (SDPO)
SDPO通过自蒸馏提供密集的logit级别监督。学生分布是pi_theta(cdot|x)，而自教师分布是pi_theta(cdot|x, f)，其中f表示rollout过程中获得的辅助信息（如同组内的成功兄弟rollout或环境反馈如执行轨迹）。SDPO通过最小化学生分布与自教师分布之间的logit级散度来训练：L^{SDPO}(theta) = sum_t KL(pi_theta(cdot|x, y_{<t}) || stopgrad(pi_theta(cdot|x, f, y_{<t})))。自教师不生成新轨迹，而是在丰富上下文(x, f)下重新评分学生自己的rollout，整个过程保持on-policy。
SDPO是本文统一框架的另一个基础方法，理解其快速收敛但后期崩溃的特性是关键。
Reinforcement Learning with Verifiable Rewards (RLVR)
RLVR是一种用于大语言模型后训练的标准范式，通过可验证的奖励信号来改进模型的推理和问题解决能力。不同于需要人工标注的RLHF，RLVR使用自动可验证的奖励（如数学题的正确性、代码执行结果、工具调用的成功与否）。这种范式允许在训练过程中获得大量、即时且客观的反馈信号，特别适合需要精确推理的任务。
RLVR是本文研究的应用背景，理解其特点有助于把握SRPO方法的应用场景和意义。
Importance-Sampling Ratio (rho)
在策略梯度方法中，importance-sampling ratio rho_{i,t}(theta) = pi_theta(y_{i,t}|x, y_{i,<t}) / pi_theta_old(y_{i,t}|x, y_{i,<t})衡量了新策略相对于旧策略在特定token位置的概率变化率。这个比率是clipped surrogate objective的核心，通过将优势估计乘以这个比率来调整策略更新幅度。clipping机制限制rho在[1-epsilon, 1+epsilon]范围内，防止过大的策略更新导致的训练不稳定。
理解importance-sampling ratio是理解GRPO和SDPO的policy gradient更新机制的基础。
研究动机
现有RLVR方法存在核心权衡问题。GRPO虽然简单稳定，但其序列级的粗粒度信用分配对失败rollouts施加统一惩罚，缺乏聚焦特定偏差所需的token级别焦点。在Chemistry等任务上的实验显示，GRPO收敛较慢，样本效率低下。相反，SDPO通过密集的logit级别监督实现更快的前期提升，在复杂推理任务（如科学推理和agentic工具使用）中表现出色，但长期训练时会发生灾难性崩溃。如图1(a)所示，在Chemistry任务上，SDPO在早期（1h）达到71.6%准确率，超过GRPO的62.1%，但在10h后被GRPO超越（80.6% vs 78.9%）。Qwen3-8B上五个基准的平均显示，SDPO在5h和10h的准确率相同（均为71.1%），表明其早期饱和且后期不稳定。
本文的目标是本文的目标是提出一个统一的框架，能够同时保留GRPO的长期稳定性和SDPO的早期效率优势。具体而言，希望设计一种方法能够在训练早期充分利用自蒸馏的密集纠正信号实现快速改进，同时在训练后期保持稳定并超越两种基线方法的峰值性能。此外，还希望控制响应长度，避免GRPO的冗长和纯SDPO的过度简洁，并降低每步计算成本。
与已有工作不同的是，本文的独特切入角度是从样本级别的路由和信号可靠性角度诊断SDPO的不稳定性根源，而非仅仅观察现象。作者识别出两个内在原因：第一，在已经正确的样本上进行自蒸馏引入了优化歧义——强迫一个成功的rollout匹配另一个成功的兄弟rollout会在奖励等价的推理路径之间施加任意的logit级别偏好。图1(b)的消融实验支持这一点：将SDPO更新限制在错误样本上保留了大部分收益，而仅应用于正确样本反而降低性能并加速崩溃。第二，自教师的蒸馏信号质量随训练进展而退化，随着师生差距缩小，自教师的token级熵上升（图1(c)），表明预测变得越来越不确定。这种基于样本学习状态动态选择优化信号的角度，与简单地混合两种优势的传统方法有本质区别。
核心方法
SRPO的核心直觉是：GRPO和SDPO具有互补的优化特性，适用于不同学习状态的样本。对于正确样本，GRPO的序列级信用分配通常足够，其蒙特卡洛优势能够稳健地将策略更新锚定到奖励最大化；而对于存在局部推理错误的失败样本，SDPO的密集logit级别纠正更有效。SRPO是一个统一的on-policy框架，通过样本路由机制将正确样本发送到GRPO分支，将有教师信息的失败样本发送到SDPO分支。为缓解后期信号退化，SRPO进一步为SDPO分支配备了熵感知动态加权机制，降低不确定蒸馏目标的权重并强调可靠的纠正。该设计能够在训练早期实现快速纠正，随着更多rollouts变为正确而越来越多地依赖奖励对齐的强化，从而稳定后期优化。
SRPO的核心创新在于样本级别的动态路由，而非传统的优势级别静态混合。具体而言，每个rollout根据其正确性和教师信息可用性被路由到最适合的优化信号：z^{SDPO}_i = (1 - c_i) m_i和z^{GRPO}_i = 1 - z^{SDPO}_i，其中c_i = 1[y_i是正确的]，m_i = 1[y_i的教师信息可用]。这意味着只有错误且有教师信息的rollouts被路由到SDPO分支，其余所有rollouts使用GRPO优化。这种设计保留了策略梯度结构，因为两个分支更新同一个策略的同一个on-policy轨迹，仅优势估计器的形式不同。另一个关键创新是熵感知动态加权，它根据教师熵在token级别重新加权SDPO损失：w_tilde_{i,t} = exp(-beta H_{i,t})，其中H_{i,t}是自教师在位置t的熵，beta控制对熵差异的敏感性。归一化权重为w_{i,t} = w_tilde_{i,t} / (|Omega_sdpo|^{-1} sum_{(j,s)inOmega_sdpo} w_tilde_{j,s})，加权token损失为ell^{DW-SDPO}_{i,t} = w_{i,t} ell^{SDPO}_{i,t}。这种重新加权不改变SDPO的功能形式，仅根据教师置信度调整每个token的贡献。
方法步骤详情
SRPO的训练过程可以完整描述为四个步骤。首先，对于每个prompt x，当前策略pi_theta生成G个on-policy rollouts {y_i}_{i=1}^G。其次，在环境中评估所有rollouts，获得对应的奖励{r_i}_{i=1}^G和正确性标签{c_i}_{i=1}^G。第三，从成功兄弟rollouts和/或环境反馈构造教师信息{f_i}_{i=1}^G，确定教师可用性标志{m_i}_{i=1}^G。第四，对每个rollout i执行路由判断：如果y_i不正确且教师信息可用（即z^{SDPO}_i = 1），则计算教师分布q_{i,t}(v) = pi_theta(v|x, f_i, y_{i,<t})和加权SDPO损失ell^{DW-SDPO}_{i,t}；否则（z^{GRPO}_i = 1），计算GRPO损失ell^{GRPO}_{i,t}。最后，聚合所有路由损失（仅对有效响应token求和）：L^{final} = (sum_{i,t} z^{GRPO}_i ell^{GRPO}_{i,t} + sum_{i,t} z^{SDPO}_i ell^{DW-SDPO}_{i,t}) / (sum_{i,t} z^{GRPO}_i + sum_{i,t} z^{SDPO}_i)，通过梯度下降更新参数theta。分母通过路由token总数归一化，使每个分支按其覆盖的token比例贡献，避免引入额外的混合超参数，自然适应不断演化的样本组成。
技术新颖性
SRPO的技术新颖性体现在三个方面。第一，首次从样本路由角度统一GRPO和SDPO两种范式，突破了传统方法在优势级别混合的局限。作者证明样本级别路由比优势级别混合（A^{Mix}_{i,t}(v) = lambda A^{GRPO}_{i,t}(v) + (1-lambda) A^{SDPO}_{i,t}(v)）在长视界上更稳健：在Qwen3-8B上，Advantage Mix在1h略好（+0.7），但在5h落后2.5点，在10h落后3.3点。第二，提出熵感知动态加权机制来自适应调制SDPO分支的信号质量，这是首次将教师熵作为信号可靠性的指标用于动态加权。第三，通过路由实现的自然自适应平衡：训练早期失败频繁时，更多token通过SDPO分支，密集纠正占更大权重；随着策略改进，更多rollouts成功，GRPO分支主导，将更新锚定到奖励目标。这种设计无需额外的混合超参数，能够根据训练进展自动调整两种信号的相对重要性。
实验结果
在五个基准（Chemistry、Physics、Biology、Materials、Tool Use）和两个Qwen3模型规模（4B和8B）上的实验表明，SRPO在训练效率、长期稳定性和峰值性能方面均优于两种基线。在Qwen3-8B上，SRPO将10h平均从SDPO的71.1%和GRPO的74.0%提升到77.4%；在Qwen3-4B上，相应提升从66.7%和69.7%到74.2%。值得注意的是，SDPO在两个尺度上都在5h达到饱和（Qwen3-8B的5h和10h平均均为71.1%），而GRPO改进更稳但最终达到平台期。SRPO避免了这两个问题，匹配SDPO的快速早期上升，同时保持长期稳定改进并最终超过两种基线的峰值性能。在Qwen3-8B的10h时间点，SRPO在Chemistry上超过GRPO +4.1，Physics +4.8，Biology +2.2，Materials +3.7，Tool Use +2.2。学习曲线显示两种模式：当自蒸馏有效时（如Chemistry），SRPO扩展优势——SDPO在1h领先（71.6 vs SRPO的69.2），但SRPO在5h超越并达到83.0；当自蒸馏无效时（如Tool Use），SRPO保持稳定并跟踪或超过GRPO（65.2、71.2、71.2 vs GRPO的64.3、68.5、69.0）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Chemistry (scientific reasoning) | avg@16 accuracy (%) at 10h | 83.0 | GRPO: 78.9, SDPO: 80.6 | +4.1 over GRPO, +2.4 over SDPO |
| Physics (scientific reasoning) | avg@16 accuracy (%) at 10h | 78.4 | GRPO: 73.6, SDPO: 74.0 | +4.8 over GRPO, +4.4 over SDPO |
| Biology (scientific reasoning) | avg@16 accuracy (%) at 10h | 72.8 | GRPO: 70.6, SDPO: 58.5 | +2.2 over GRPO, +14.3 over SDPO |
| Materials (scientific reasoning) | avg@16 accuracy (%) at 10h | 81.5 | GRPO: 77.8, SDPO: 76.6 | +3.7 over GRPO, +4.9 over SDPO |
| Tool Use (tool invocation) | avg@16 accuracy (%) at 10h | 71.2 | GRPO: 69.0, SDPO: 65.7 | +2.2 over GRPO, +5.5 over SDPO |
| Five-benchmark average (Qwen3-8B) | avg@16 accuracy (%) at 10h | 77.4 | GRPO: 74.0, SDPO: 71.1 | +3.4 over GRPO, +6.3 over SDPO |
| Five-benchmark average (Qwen3-4B) | avg@16 accuracy (%) at 10h | 74.2 | GRPO: 69.7, SDPO: 66.7 | +4.5 over GRPO, +7.5 over SDPO |
局限与改进
作者承认的局限性包括：SRPO依赖于可验证的奖励信号，这在某些开放域任务中可能难以获得；熵感知动态权重的温度参数beta需要调整，作者使用默认值1但未提供消融；实验仅限于Qwen3模型系列，在其他架构（如LLaMA）上的泛化性未验证；训练环境使用8块NVIDIA H20 GPU，资源要求较高。此外，SRPO在自蒸馏无效的任务（如Tool Use）上相对于GRPO的提升有限（10h仅+2.2），表明在这些任务中路由策略可能需要进一步调整。另一个观察是SRPO需要教师信息可用，这意味着不是所有失败样本都能从SDPO分支受益，这限制了某些场景下的有效性。最后，虽然SRPO在响应长度上取得平衡，但作者未分析这种平衡对不同类型任务（如创意写作vs数学推理）的具体影响。
独立分析的弱点
SRPO存在几个潜在弱点。首先，路由策略是二元且硬性的（要么GRPO要么SDPO），这种粗粒度的决策可能在边界情况（如部分正确但教师信息不可用）下不是最优的。改进方向可以是引入软路由机制，基于连续的置信度分数在两种信号之间插值。其次，熵感知动态加权仅考虑教师熵，没有考虑学生熵或两者之间的交互关系。更精细的加权可以同时考虑师生分歧度、奖励梯度幅度等多维指标。第三，SRPO仅在失败rollouts上使用SDPO，但在某些场景下（如探索新推理路径），在正确rollouts上使用密集logit指导可能仍有价值。改进的扩展可以设计更细粒度的路由策略，例如基于rollout内部错误的局部化程度而非整体正确性。第四，当前实现仅使用成功兄弟rollouts作为教师信息，其他丰富的反馈形式（如执行跟踪、中间步骤验证）未被充分利用。未来工作可以扩展教师信息来源，在更多类型的反馈上应用SRPO框架。
未来方向
作者提出的未来方向包括将SRPO框架扩展到具有更丰富反馈的环境，使自蒸馏分支能够更好地利用环境信息。基于当前成果的可延伸研究方向包括：1) 探索更复杂的路由策略，如基于多层学习状态（如局部错误位置、置信度分数、奖励梯度信息）的精细路由；2) 研究熵感知加权的温度参数beta的自适应调整机制，例如基于训练阶段的元学习；3) 将SRPO应用于其他RLVR场景，如代码生成、逻辑推理、多轮对话等；4) 研究SRPO与其他技术（如curriculum learning、反事实推理）的协同效应；5) 分析SRPO在不同模型架构（如LLaMA、Mistral）和训练策略（如off-policy RL、model-based RL）上的泛化性；6) 探索将样本路由思想扩展到多智能体或联邦学习场景。
复现评估
论文提供了较为详细的实验设置，但未明确声明是否开源代码。作者描述了超参数选择过程：对于GRPO和SDPO，遵循原始SDPO论文的训练设置，每个方法的配置通过网格搜索学习率和mini-batch大小来最大化验证准确率。GRPO使用mini-batch大小8和学习率1 x 10^-6，SDPO使用32和1 x 10^-5。SRPO保持训练batch大小、mini-batch大小和rollout数量与SDPO相同，学习率设为5 x 10^-6以平衡奖励驱动和自蒸馏信号，动态权重温度beta默认值为1。所有实验在8块NVIDIA H20 GPU上进行。数据集来自公开基准（SciKnowEval和ToolAlpaca风格工具使用任务），按照SDPO的训练-测试分割进行。这些信息提供了足够的复现基础，但缺乏实际代码发布和运行时间细节（如每个epoch的时间、总训练步数）可能增加复现难度。评估协议（报告每个wall-clock预算内达到的最高avg@16准确率）清晰可操作。
论文图表
Figure 1展示了三个关键诊断结果。(a)子图显示训练动态：SDPO在早期训练中比GRPO改进更快，但后来被超越并崩溃，而SRPO实现了快速初始改进和稳定长期优化。具体数字上，SDPO在约5小时后开始衰退，GRPO稳定但增长缓慢，SRPO持续改进并在约7小时超越两者达到峰值约83%。(b)子图是路由策略的消融实验：限制SDPO更新到错误样本保留了大部分整体收益，而仅应用于正确样本降低性能并使训练不稳定，支持样本路由的必要性。(c)子图显示自教师的token级熵在训练过程中上升，表明蒸馏信号越来越由不确定预测主导。曲线显示5步滚动均值，阴影带表示±1标准差。
Figure 1对理解论文至关重要，因为它提供了SDPO不稳定性问题的实证证据和SRPO设计动机的直观支持。(a)展示了需要解决的核心问题（SDPO的早期效率与后期崩溃的权衡），(b)验证了样本路由策略的有效性，(c)揭示了自蒸馏信号退化的机制，为熵感知动态加权的设计提供了依据。没有这张图，读者难以直观理解为什么需要SRPO以及其各个组件的必要性。