SCOPE：基于双路自适应加权的信号校准在线策略蒸馏增强 SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting
基于轨迹正确性和困惑度进行双路自适应加权的在线策略蒸馏框架，提升LLM推理对齐效果
前置知识
On-Policy Distillation (OPD)
在线策略蒸馏（OPD）是一种强化学习方法，通过教师模型对学生模型自行生成的轨迹进行密集监督，使用token级KL散度来引导学习过程。学生在训练时采样生成轨迹，教师计算每个token的概率分布，通过最小化反向KL散度让学生向教师的分布靠近。相比仅依赖稀疏结果奖励的方法，OPD能提供更细粒度的过程监督，在保持分布一致性和训练效率之间取得平衡。
本文提出的方法正是基于OPD的扩展，理解OPD的基本机制和局限性是理解SCOPE创新点的基础
Perplexity (困惑度)
困惑度是衡量语言模型对给定序列预测不确定性的指标，定义为 PPL(y|x) = exp(-1/|y| * log p(y|x))，其中 |y| 是序列长度。低困惑度表示模型对该序列有较高的预测置信度，高困惑度则表示模型不太确定。在本文中，教师困惑度用于评估对错误轨迹提供纠正指导的可靠性，学生困惑度用于识别成功但低置信度的边界样本。
困惑度是SCOPE方法的核心信号源，用于自适应调整不同轨迹的权重，必须理解其物理含义和计算方式
Pass@k 悖论
Pass@k 悖论指在强化学习训练中出现的一种现象：虽然单次采样的准确率（Pass@1）提升了，但多次采样的通过率（Pass@32）反而下降。这是因为均匀强化学生的正确答案会放大其主导推理路径，边缘化有效但低概率的替代方案，导致推理多样性下降和模式崩溃。这种现象在Qwen2.5-7B上表现明显，PSR训练使Pass@1提升但Pass@32从93.7%降至84.9%。
Pass@k 悖论是SCOPE要解决的核心问题之一，理解这个现象才能明白为什么需要对学生困惑度加权
Group-Level Normalization
组级归一化是在每个提示的候选响应组内部进行权重归一化的机制。对于正确轨迹集合，学生引导权重通过组内softmax计算；对于错误轨迹集合，教师引导权重也通过组内softmax计算。这种归一化确保不同难度的提示具有可比的权重分布，使训练在不同难度样本间保持平衡。
组级归一化是SCOPE实现自适应校准的关键技术，需要掌握其数学形式和稳定训练的作用
研究动机
现有在线策略强化学习方法在LLM推理对齐中存在两个关键问题。首先，对于错误轨迹，教师模型在受到学生生成的错误前缀条件时可能提供不可靠的指导。通过错误恢复实验发现，当教师困惑度较高时（Q4桶平均PPL=2.38），恢复率显著低于低困惑度情况（Q1桶平均PPL=1.36），在80%截断水平时相差高达19.4%。这是因为高教师PPL表明前缀严重退化，破坏了教师的推理过程，产生高熵噪声。其次，对于正确轨迹，均匀的最大似然估计会过度强化已经掌握的样本，边缘化低置信度的边界样本。在Qwen2.5-7B上的实验显示，正样本强化（PSR）训练使Pass@1提升但Pass@32从93.7%降至84.9%；在DeepSeek-R1-Distill-Qwen-1.5B上的OPD训练也观察到类似模式，Pass@1增加但Pass@32从76.5%降至75.0%。
本文的目标是本文的目标是提出一个信号质量感知的在线策略蒸馏框架，能够根据轨迹的正确性和信号可靠性进行自适应加权。具体而言，要解决两个子目标：一是能够识别并优先处理教师能够提供可靠纠正指导的错误轨迹，过滤掉由缺陷前缀引起的噪声；二是能够识别并强化学生成功但低置信度的正确轨迹，保持推理多样性。最终目标是在提升准确率的同时避免推理多样性的退化，打破Pass@k悖论。
与已有工作不同的是，本文的独特切入点在于揭示了在线策略蒸馏中信号质量的异质性，这是之前工作中被忽视的关键问题。现有方法如GRPO、KD、OPD都假设教师监督在所有轨迹上是均匀可靠的，或者对所有正确样本同等重视。SCOPE首次系统地分析了教师困惑度与错误纠正能力之间的相关性，以及学生困惑度与边界样本识别之间的关系，并据此设计了双路自适应加权机制。这种基于信号质量感知的视角为在线策略优化提供了新的范式，区别于传统的统一监督方法。
核心方法
SCOPE框架的整体思路是首先根据轨迹结果将在线策略rollouts分成两条互补的监督路径，然后对每条路径应用基于困惑度的自适应权重，最后通过统一目标进行优化。对于正确轨迹，应用学生困惑度加权的最大似然估计，专注于能力边界的低置信度样本；对于错误轨迹，应用教师困惑度加权的KL蒸馏，优先处理教师展现真正纠正能力的情况。这种双路设计确保了在成功轨迹上保持推理多样性，在失败轨迹上只从教师处提取有信息的纠正信号，同时组级归一化机制在提示难度变化的情况下自适应校准权重分布。
SCOPE的核心创新点在于双路自适应加权（DPAW）机制，这与标准OPD的统一监督有本质区别。标准OPD对所有样本应用相同的KL散度损失，忽略了信号质量的异质性。SCOPE的创新在于：1）根据轨迹正确性进行显式分组分支，将rollouts划分为正确集和错误集；2）对正确路径使用学生困惑度加权，放大非常规有效路径；3）对错误路径使用教师困惑度加权，过滤前缀诱导的噪声；4）组级归一化确保不同难度提示的权重分布可比。这种设计使SCOPE能够在统一框架内实现质量感知的监督。
方法步骤详情
SCOPE方法的完整步骤包括四个阶段。第一阶段：在线策略rollout，对于每个输入提示x，学生模型生成N个响应，每个响应是token序列。第二阶段：结果驱动的组分支，使用验证器对每个响应计算二元奖励（0或1），将轨迹划分为正确集和错误集。第三阶段：双路自适应权重计算，对于正确轨迹，计算学生引导权重；对于错误轨迹，计算教师引导权重，两种权重都使用组级softmax归一化。第四阶段：统一目标优化，计算整体损失，结合加权的MLE损失和加权的反向KL散度损失。这种方法确保了对不同质量信号的自适应处理。
技术新颖性
SCOPE的技术新颖性体现在多个方面。首先，它首次在在线策略蒸馏中引入了信号质量感知的概念，通过困惑度这一简单但有效的代理指标来量化监督信号的可靠性。其次，双路设计实现了对成功和失败轨迹的差异化处理，正确路径侧重于探索性强化，错误路径侧重于选择性蒸馏，这与传统方法的统一监督形成鲜明对比。第三，组级归一化机制确保了自适应权重在不同难度提示间的稳定性，这是实现实际训练收敛的关键技术。最后，SCOPE提供了一个统一的数学框架，将两种互补的监督机制整合在单一目标函数中，既保持了理论清晰性，又实现了实际有效性。
实验结果
核心发现表明SCOPE在数学推理基准上取得了显著提升。在主要配置（教师：SkyWork-OR1-7B，学生：DeepSeek-R1-Distill-Qwen-1.5B）下，SCOPE在所有6个基准上都取得了最佳Avg@32性能。与强基线OPD相比，SCOPE实现了平均相对提升+5.54%，在Olympiad上增益+10.69%，在AMC23上增益+6.59%。这些提升来源于教师引导权重自适应惩罚高困惑度的失败轨迹，从而绕过缺陷前缀陷阱并提取精确的纠正信号。Pass@32结果显示SCOPE保持了推理多样性并克服了Pass@k悖论，特别是在优化原始基础模型时这一挑战更加严重。在Qwen3-1.7B-Base上的实验显示，标准范式（如GRPO、KD）严重降低了基础模型的内在探索能力，表明严重的模式崩溃，而SCOPE有效防止了这种退化并显著提升了多样本通过率。训练动态分析表明，GRPO显示持续的熵衰减，而OPD和SCOPE保持了健康的策略熵，但标准OPD很快达到性能平台期，而SCOPE通过双路自适应加权实现了持续卓越的性能和样本效率。消融研究表明，移除整个DPAW模块导致严重性能退化，AIME25 Pass@32从50.9%显著降至45.7%，验证了忽略信号质量的标准均匀加权无法最优利用在线策略rollouts。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（AIME24） | Avg@32 | 42.7% | OPD: 40.2% | +6.22% |
| 数学推理（AIME24） | Pass@32 | 77.9% | OPD: 75.0% | +3.87% |
| 数学推理（OlympiadBench） | Avg@32 | 49.7% | OPD: 44.9% | +10.69% |
| 数学推理（AMC23） | Avg@32 | 80.9% | OPD: 75.9% | +6.59% |
| 代码生成（HumanEval） | Avg@32 | 67.2% | OPD: 64.3% | +4.51% |
| 代码生成（LiveCodeBench） | Avg@32 | 32.3% | OPD: 30.2% | +6.95% |
局限与改进
作者承认了两个主要局限性。首先，SCOPE依赖于可自动验证的结果信号来将轨迹划分为正确和错误分支，因此实验在可以可靠检查正确性的领域进行，包括数学推理和代码生成。将SCOPE应用于具有主观性、不完整或偏好驱动反馈的任务，如开放对话或创意写作，可能需要额外的奖励模型或更复杂的验证机制。其次，经验评估受到计算资源的限制，虽然SCOPE在多个基准和教师-学生配置下进行了评估，但在更大基础模型、MoE架构和更多样化的可验证领域上的进一步实验仍然是重要的未来方向。从观察角度来看，SCOPE的组级归一化依赖于合理的rollout数量（论文中使用N=32），在实际应用中可能需要根据计算预算进行调整。此外，温度参数的选择需要超参数调优，不同任务可能需要不同的温度设置来最优平衡探索和利用。
独立分析的弱点
独立分析的弱点包括几个方面。首先，SCOPE仍然依赖于二元结果奖励（正确/错误），对于部分正确或渐进改进的情况无法提供细粒度的反馈，这在复杂推理任务中可能限制学习效率。改进方向可以是引入多级奖励或过程奖励模型来提供更丰富的监督信号。其次，教师困惑度作为纠正能力代理指标在某些情况下可能失效，特别是当教师模型本身在某些领域存在系统性偏见或错误时。改进方向可以是结合多个信号源，如奖励模型置信度、一致性检查等来更可靠地评估信号质量。第三，组级归一化在rollout数量较少时可能不稳定，改进方向可以是引入跨提示的统计信息或贝叶斯平滑来增强鲁棒性。最后，SCOPE主要针对可验证任务设计，对于开放域生成任务的适用性有待验证，改进方向可以是扩展框架以支持软奖励和偏好学习。
未来方向
未来研究方向可以从多个角度展开。作者提出的方向包括在更大基础模型、MoE架构和更多样化的可验证领域上进一步实验验证SCOPE的有效性。基于成果可以延伸的方向包括：1）将SCOPE扩展到多教师场景，利用不同教师的优势来提供更丰富的监督信号；2）探索动态温度调整策略，根据训练进度自适应调整温度参数；3）研究SCOPE与过程奖励模型的结合，提供更细粒度的步骤级监督；4）将SCOPE应用于开放域对话和创意写作等非可验证任务，通过引入人工反馈或偏好模型来替代二元验证器；5）探索SCOPE在持续学习和在线学习场景中的应用，解决分布漂移和灾难性遗忘问题；6）研究SCOPE的计算效率优化，如并行rollout、分布式权重计算等，以支持更大规模的训练。
复现评估
复现评估方面，论文提供了较为完整的实现细节。代码已在GitHub开源，这为复现提供了基础。训练设置包括全局批量大小256、最大提示长度4096 tokens、补全长度12288 tokens、rollout温度0.6、权重温度1.0，这些参数都明确给出。评估设置包括rollout温度0.6、top-p采样p=0.95、最大响应长度32768 tokens。使用的模型都是公开可用的。数据集也是公开的。然而，论文没有提供具体的训练时间和硬件资源消耗，这对于估算复现成本很重要。总体而言，给定足够的计算资源，复现本工作是可行的，但需要注意到模型和数据集的下载可能需要较长时间，训练过程可能需要多GPU支持以在合理时间内完成。
论文图表
Figure 1(a)展示了在AIME24基准上训练前后的性能变化，显示PSR和OPD训练都提升了pass@1但以pass@32为代价，突出了准确性和推理多样性之间的明显权衡。Figure 1(b)展示了教师模型在不同截断水平上的恢复率，以截断的学生错误轨迹为前缀，并按困惑度分层，显示低困惑度前缀（Q1）在所有截断水平上始终产生显著高于高困惑度对应物（Q4）的恢复率，最高相差+19.4%，验证了困惑度作为真正纠正能力代理指标的有效性。
这张图对理解论文至关重要，因为它提供了两个关键的经验证据：一是Pass@k悖论的存在，证明需要解决推理多样性退化问题；二是教师困惑度与错误恢复能力之间的强相关性，证明使用困惑度加权来过滤噪声的合理性。这两个发现直接驱动了SCOPE的双路设计。