信任域在线策略蒸馏 Trust Region On-Policy Distillation

步骤如下：(1)学生模型采样轨迹 $x\sim\pi_S$，对每个token计算师生概率比 $\pi_T(x)/\pi_S(x)$，按伯努利分布 $P_{trust}=\min(\pi_T/\pi_S,1)$ 判定其属于信任域 $M_x$ 还是离群区 $\bar{M}_x$；(2)信任区token用K1反向KL目标 $-M_x\log(\pi_S/\pi_T)$ 优化；(3)离群区token用top-k($k=64$)前向KL目标 $-\bar{M}_x\sum_{v\in V_k^T}\pi_{T,v}\log(\pi_{T,v}/\pi_{S,v})$ 优化；(4)另采样教师前缀加学生续写的混合轨迹，用前向KL($\beta=0.001$)做离线模仿学习；(5)三项相加得到统一总目标 $J^{TrOPD}$，训练时离线前缀长度按余弦退火从最大序列长度逐步降到零，使最终完全在线。

技术新颖性体现在三方面融合：一是首次将推测解码的接受概率机制迁移到蒸馏梯度的可靠性判定，给出无需人工阈值的自适应信任域；二是离群区用top-k前向KL回收监督而非丢弃，且该目标在学生不支持时自动熄灭($\sum\pi_S(v)\to0\Rightarrow\mathrm{KL}\to0$)，数学上天然不干扰信任区；三是把统一目标 $J^{TrOPD}$ 中的信任域反向KL、离群前向KL、离线引导三项纳入一个框架，并明确各部分显存复杂度(信任区 $O(n)$、离群区 $O(nk)$、离线 $O(n)$)。这种把可靠性判定、监督回收、探索引导三者协同的设计在此前OPD工作中未见。

弱点一：信任域判定需对每个token计算师生联合概率，必须同时跑师生两模型前向，推理与显存开销大，但论文未给出训练吞吐、FLOPs或显存对比，实际部署成本不明——改进方向是缓存教师logits或直接复用推测解码框架的验证前向。弱点二：离群区top-k前向KL需 $O(nk)$ 显存($k=64$)，对超长推理序列仍是瓶颈——可探索更稀疏的token采样或离线预算分配策略。弱点三：信任区判定基于单token概率比，忽略了多token轨迹层面的可靠性——可引入序列级信任度量。弱点四：仅200步短训练，未展示长程稳定性与最终收敛上限，易让人质疑增益是否可持续。

作者提出的方向：把TrOPD与预训练、中训练结合，研究多阶段协同提升SRM的实用部署性能；探索TrOPD与AOPD等正交优化策略的组合(表6已显示组合可从40.63提升到41.67)。基于本文成果可进一步延伸：信任域思想可迁移到GRPO等RL后训练中梯度可靠性问题；自适应阈值 $\min(\pi_T/\pi_S,1)$ 可推广到教师集成或自我蒸馏场景；离线引导的余弦退火调度可与其他课程学习策略结合；可在Agent任务、多模态推理蒸馏中验证TrOPD的可迁移性与通用性。

复现性中等偏好。论文明确给出关键超参：训练200步、学习率 $5\times10^{-6}$、$k=64$、$\beta=0.001$、prompt batch 128、每prompt采样4个rollout、最大生成长度8096 tokens；教师模型(Skywork-OR1-Math-7B、Skywork-OR1-7B、Qwen3-Nemotron-4B)与学生模型(DeepSeek-Distill-Qwen-1.5B、Qwen3-SFT-1.7B)及训练数据(OpenThoughts3)均公开；评测基准(AIME/AMC/GPQA/MMLU-Redux/IFBench/LiveCodeBench)标准且每结果取32次平均。不足在于：代码与权重未随论文发布(仅提到GitHub主页)，信任域采样的工程实现、师生联合前向的显存优化细节缺失，需自行实现；计算上训练1.7B学生加4-7B教师需多卡GPU，门槛较高。