并非每个Token都值得蒸馏：Direct-OPD的选择性监督 Not Every Token Is Worth Distilling: Selective Supervision for Direct-OPD

第一步，构造设置：给定 pre-RL reference $\pi_{ref}$、post-RL teacher $\pi_T$（均为公开发布的 1.5B checkpoint，实验不自己跑 RL）和初始化为 $\pi_{stu}$ 的更大 student $\pi_\theta$；对 prompt $x$ 与 student 采样的回复 $y$，位置 $t$ 的状态为 $s_t=(x,y_{<t})$。第二步，候选集压缩：取 student 在 $s_t$ 的 top-$K{=}16$ 候选集 $V_K(s_t)$，对 $M\in\{T,ref\}$ 定义 $\tilde\pi^M(v|s_t)=\pi^M(v|s_t)$（$v\in V_K$），并用残差 token $v_o$ 收集剩余质量 $1-\sum_{u\in V_K}\pi^M(u|s_t)$，不做重归一化。第三步，打分：计算 $\tilde d_t=D_{JS}(\tilde\pi^T(\cdot|s_t)\|\tilde\pi^{ref}(\cdot|s_t))$。第四步，选择：在每个响应的有效位置集 $T$ 内保留 $\tilde d_t$ 最大的 $k=\max\{1,\lceil\rho|T|\rceil\}$ 个状态（默认 $\rho=0.1$，至少保留 1 个），得掩码 $m_t$。第五步，掩蔽优化：最大化 $J_{\text{S2D-OPD}}(\theta)=\mathbb{E}[\Delta_t(y_t|s_t)-\alpha D_{KL}[\pi_\theta\|\pi_{stu}]\mid m_t{=}1]$，实现上对 batch 内全部保留状态等权平均梯度 $g=\frac{1}{|\mathcal I_B|}\sum_{t\in\mathcal I_B}[g_t^R-\alpha\nabla_\theta D_{KL}]$，其中 $g_t^R=\sum_{v\in V_K}\mathrm{sg}[\bar p_t(v)\log\frac{\pi_T(v|s_t)}{\pi_{ref}(v|s_t)}]\nabla_\theta\log\pi_\theta(v|s_t)$；被 mask 的状态既不接受奖励也不接受 anchor。KL 系数 $\alpha$ 沿用 Direct-OPD 的符号控制器（$\alpha_0=2.5$、步长 $\epsilon=0.01$、区间 $[0.5,2.5]$），在全位置上统计。训练基于 verl，8×H200，global batch 128，300 步，学习率 $10^{-6}$，rollout $n=4$，最大回复长 2048。

技术新颖性体现在四个层面。其一，理论刻画新：Prop. 1 给出"质量不变性"三位一体结果——reward 不变性、固定非零更新、三个 divergence 随 $\epsilon$ 线性缩放——证明 Direct-OPD 的更新对概率质量这一单一自由度完全失明，而非仅是启发式观察；配套的 $D_{TV}\le\sqrt{2D_{JS}}$ 界从相反方向说明低 JSD 状态上"teacher 行为可证地几乎没变"，两者合起来精确刻画了低 divergence 遮蔽到底删除了什么。其二，机制归因新：多数选择性蒸馏工作把增益归因于"挑出了好样本"，本文用随机 10% 对照（51.2 vs dense 51.3，几乎无差）、十分位分箱（最低两箱崩溃）与双 teacher 对比较（低 JSD 的 QuestA 对获益更大）三组实验论证增益主要来自"删除有害监督"。其三，工程上极简：分数完全复用 Direct-OPD 已有的前向计算，零额外前向传播；响应内 top-k 使掩码与 batch 无关，可无锁并行。其四，诊断工具新：top-16 token overlap 追踪（App. C）显示最优转移发生在"向 teacher 靠拢同时不丢失与 reference 的重叠"时，提示弱到强迁移可通过共享候选集内的相对偏好变化实现，而不必把 student 推出 reference 的高概率集合，这为理解迁移机制提供了新视角。

弱点一：分数不辨对错。JSD 只度量 teacher 分布改变的幅度，RL 强化错误的状态（图 11 的 parity 案例）与真正的纠正获得同样的保留资格，S2D-OPD 把"错误传播"问题原样继承给下游。改进方向：在分数中引入方向或正确性信号，如 verifier 对该局部推断的一致性检查、outcome reward 回传的信用分配，或按"偏移与最终答案对错的相关性"加权。弱点二：对 student 状态无感知。student 早已按 teacher 偏移行事的状態和完全没有跟上偏移的状态得到同样预算，前者是浪费、后者才值得投入。改进方向：融合 student 侧信号（如 $\pi_\theta$ 与 $\pi_T$ 在候选集上的 KL、student 熵），构建"偏移幅度 × 学习缺口"的复合分数，Proxy-OPD 的 student 侧校准是现成参照。弱点三：静态均匀保留率。$\rho$ 是全局常数，忽略响应间与训练阶段间的偏移密度差异。改进方向：按每条响应的 JSD 分布自适应分配预算，或让 $\rho$ 随训练进度退火。弱点四：证据面窄。全部结论来自 1.5B→≤8B 的数学推理且每配置单次运行，0.2–0.5 点量级的增益缺乏种子方差下界，部分设置的提升可能不显著。改进方向：对代表性设置做 3 种子重复，并在代码生成等第二领域复验。弱点五：top-K=16 的候选集压缩虽由数据处理不等式保证不放大 JSD，但截断了长尾上的行为变化——若 RL 的改变恰恰发生在 student 候选集之外（如引入全新技能 token），分数会系统性低估，这类状态可能被错误 mask，可考虑对"残差质量变化"单独设阈值。

作者明确提出的方向：把状态选择扩展到自适应保留率（让机制自己学"该保留多少"），以及推广到数学推理之外的领域（代码生成、agentic 任务），检验 RL 偏移在这些场景中是否同样稀疏分布。基于本文成果可自然延伸的研究：第一，正确性感知的选择器——结合 process reward model、verifier 或结果奖励的信用分配，把"幅度大"与"方向对"统一进一个分数，直接解决图 11 揭示的错误保留问题；第二，student 感知的双通道选择——将 teacher–reference JSD（偏移显著性）与 teacher–student 散度（学习缺口）组合，可借鉴 TIP 的熵–散度分类框架做理论化；第三，与 OPD2 的符号门控、TA-OPD 的支撑集限制等正交机制组合消融，确认不同选择准则能否叠加收益；第四，更大规模的弱到强验证——机制在 30B–70B+ student 上是否成立是弱到强文献最关心的实践问题；第五，理论深化——目前的对数线性拟合（$R^2=0.97$）是单设置经验观察，若能把"迁移增益是保留状态平均 divergence 的函数"形式化为可预测的标度律，将大幅提升该方向的指导价值；第六，与数据课程结合——按 divergence 分布组织训练样本顺序，或反过来用 JSD 选择值得做弱到强转移的 RL 数据（只转移 RL 真正改变行为的任务）。

复现条件相当友好。开源情况：论文声明代码完全公开（GitHub 链接在首页），两个 teacher 对的四个 checkpoint 均为公开发布模型（R1-Distill-1.5B、JustRL-1.5B、Nemotron-1.5B、QuestA-1.5B），四个 student（Qwen3-1.7B/4B/8B、R1-Distill-7B）也是公开权重，因此完全无需自己跑 RL。数据：Skywork-OR1-RL-Data 数学子集公开可得；评测集 AIME24/25（选 checkpoint）与 AIME26、HMMT Nov25/Feb26（held-out，均晚于所有 student 的发布时间）都是标准竞赛题集。算力：App. F 与 Table 2 给出完整配置——verl 框架、8×NVIDIA H200、global batch 128、300 步、学习率 $10^{-6}$、top-K=16、最大回复 2048、采样温度 1.0（训练）/0.7+top-p 0.95（评测，每题 32 样本），单配置一次训练的成本对学术实验室可承受。难度评估：方法改动极小（在 Direct-OPD 上加 JSD 打分与 top-k 掩码），若已有 Direct-OPD/verl 基础设施，实现量级在百行以内；主要复现风险在于每配置单次运行带来的种子方差（作者自认 CI 不含训练方差），以及 adaptive KL 控制器等继承组件需与原实现对齐。总体属于"中低难度、高确定性"的复现，适合作为选择性蒸馏研究的 baseline 代码库。