CADENCE：通过覆盖自适应的在线策略蒸馏弥合推理鸿沟 CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation

完整步骤如下。第 0 步（TFW 预热）：20 步教师强制 SFT（在教师生成的轨迹上直接监督），让重要性权重从一开始就良好条件化，防止冷启动。第 1 步（在线采样）：学生 $\pi_\theta$ 对每 prompt 采样 $n_g=4$ 条轨迹 $x_{1:T} \sim \pi_\theta(\cdot|s)$。第 2 步（教师打分）：冻结教师 $\pi_\phi$ 对每个 token 给 $\log\pi_\phi(x_t|s_t)$。第 3 步（对数比与重要性权重）：算 $\hat{k}_t$，截断自归一化得 $A^{fwd}_t$。第 4 步（DRIFT 优势）：按 COVA 调度得 $\beta$，凸组合得 $A^{DRIFT}_t$。第 5 步（FTB 增强）：用全局熵参考 $H_{ref}=2.0$ nats 给高教师熵位置加权 $A^{FTB}_t = A^{DRIFT}_t(1+\gamma_{ftb}\min(1, H_\phi(t)/H_{ref}))$（$\gamma_{ftb}=0.5$）。第 6 步（CCD 稠密奖励）：对每条 rollout 抽取答案 $\hat{a}^{(i)}$，正确则 $r_i = w_c + w_{con}C$，错误但数值接近则 $r_i = w_{partial}\cdot p_i$，其中 $p_i = \frac{1}{1+|\hat{a}^{(i)}-a_{gold}|/\max(|a_{gold}|,1)}$（$w_c=0.30, w_{con}=0.15, w_{partial}=0.10$）。第 7 步（LAP 简短偏好）：对正确 rollout 加长度无关的 SFT 项 $\mathcal{L}_{LAP} = \alpha_{lap}\mathbf{1}[\hat{a}=a_{gold}](1-G/G_{max})(-\frac{1}{G}\sum_t\log\pi_\theta)$（$G_{max}=192, \alpha_{lap}=0.10$）。第 8 步（EMR 标定）：在分叉 token（$H_\phi(t)>\eta=1.0$）上加熵匹配 $\mathcal{L}_{EMR} = \lambda_{emr}\frac{\sum_t(H_\theta(t)-H_\phi(t))^2\mathbf{1}[H_\phi(t)>\eta]}{\sum_t\mathbf{1}[H_\phi(t)>\eta]+\epsilon}$（$\lambda_{emr}=0.10$）。第 9 步（KTR 信任域）：$\mathcal{L}_{KTR} = \lambda_{ktr}\frac{1}{G}\sum_t\max(0,|\hat{k}_t|-\delta_{ktr})^2$（$\lambda_{ktr}=0.005, \delta_{ktr}=3.0$）约束逐 token 对数比。第 10 步（策略梯度更新）：合成总损失做一步 AdamW，配合学生 EMA（衰减 0.99）。第 11 步（BSD 后阶段）：训练结束后再采样、筛一致性 $\geq\tau_{bsd}=0.80$ 且正确的轨迹做 30 步自蒸馏 SFT，正确性门控避免「自信地一致地错误」。

技术新颖性分几点。第一，DRIFT 把逐 token 代理目标显式化并配 Proposition 1 证明端点（$\beta=0$ 是 REINFORCE 估计反向代理，$\beta=1$ 是自归一化 IS 估计前向代理），同时用 Remark 1 诚实声明这不是序列级 KL 梯度——这种「讲清楚它是什么、不是什么」的理论自省很罕见。第二，COVA 的覆盖度门控 $cov_t$ 让 β 调度首次变成数据自适应，且 Proposition 2 证明 $cov\leq\gamma$ 时 COVA 不偏离基线，作用范围被严格刻画。第三，CCD 的数值邻近度部分信用 $p_i$ 直接作用于错误轨迹（而不是只给已正确的重打分），把非零奖励比例从 49% 提到 55%，是对症奖励稀疏的原创设计。第四，FTB 用固定全局熵参考 $H_{ref}=2.0$ 替代早期草稿的逐轨迹最大值，恢复跨序列可比性。第五，五个诊断指标（SAG=$pass@16-pass@1$、FTA 分叉 token 准确率、KLPE、CNI 单位 PFLOP 得分、RLD 响应长度分布）给出机械性分解，配合跨方法诊断表揭示「反向 KL 高 FTA 低 SAG、前向 KL 反之、CADENCE 兼得」。第六，消融明确区分边缘非冗余与统计独立（移除 CCD −3.5、TFW −3.2、FTB −2.9 为最大），承认组件正向交互。

第一，奖励信号仍偏二值化与数值邻近。CCD 的部分信用 $p_i$ 只对数值答案有效，对符号答案、证明题、代码题无能为力；且提升幅度有限（49%→55%）。改进方向：引入步级过程奖励（PRM 风格）或轻量级推理链评分模型，给中间步骤稠密信号——作者自己也列为未来工作。第二，COVA 只修「过渡太慢」是已知不对称缺陷。若基线余弦退火过激导致过早锐化，COVA 不干预，只能靠人工保守选 β。改进方向：设计双向门控，既能在覆盖不足时延后过渡，又能在覆盖已饱和但模型仍欠锐化时主动推进；或用学生在验证集上的 FTA/SAG 实时反馈来闭环调节。第三，超参数空间大。八个组件十几个超参数，虽然都在 200 题验证集上选，但验证集小、搜索网格有限，泛化到其它数据/模型存在过拟合验证集的风险。改进方向：用贝叶斯优化或元学习自动选超参，并扩大验证集。第四，FTB 的熵代理不够精确。高熵位置含风格性分叉，FTB 目标集是理想集的超集，会误增强无关 token。改进方向：结合教师/学生分歧（如 SelecTKD）或正确性反馈来精炼「真正推理关键」的 token 集合。第五，域狭窄。只在数学推理验证，LAP 的简短偏好与代码/长推理任务可能冲突。改进方向：在代码（HumanEval）、逻辑、多步问答上验证，并为不同域设计长度归一化策略。

作者明确提出的方向：(1) 为 CCD 引入步级过程奖励，取代/补充数值邻近度部分信用，以获得更稠密的信号；(2) 跨域评估，扩展到代码生成和逻辑推理；(3) token 级自适应 β，把 COVA 的覆盖度门控进一步细化到逐 token。基于本文成果可延伸的方向：把 DRIFT 的逐 token 凸组合推广到更一般的 f-散度路径插值（α-divergence），理论上有 variational inference 的根（Minka 2005）；将五个诊断指标（SAG/FTA/KLPE/CNI/RLD）标准化为蒸馏评测套件，供社区复用；把 BSD 的自蒸馏+正确性门控思想与自一致性解码（Wang 2023）结合，做训练-解码联合优化；探索更大教师（7B+）下 COVA 门控行为是否变化，以及是否能闭合剩余的 23.8%–36.8% 师生差距；研究 EMR 的标定效益在教师本身欠标定的基准上是否衰减（作者提到 EMR 的 ECE 收益依赖教师标定良好，需在附录验证）；把整套框架迁移到多教师或迭代蒸馏设置。

复现性总体良好但门槛不低。有利因素：作者公开了所有超参数（LoRA r=16/α=32/dropout 0.05、AdamW lr $2\times10^{-5}$、400+30 步、$n_g=4$、COVA γ=0.15、FTB γftb=0.50/Href=2.0、CCD wc=0.30/wcon=0.15/wpartial=0.10、LAP αlap=0.10、EMR λemr=0.10/η=1.0、BSD τbsd=0.80、KTR λktr=0.005/δktr=3.0、TFW 20 步、IS clip c=10、β 余弦 1.0→0.0），数据集（GSM8K、MATH-500）公开，基线和教师（Qwen2.5-Math-1.5B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-0.5B-Instruct）公开，5 种子报均值±标准差，超参在 200 题 GSM8K 验证集上选择，Table 6 还给出 COVA/BSD 的验证-测试扫描曲线。硬件门槛友好：单台苹果 Mac Studio（M 系列、16 核 CPU、40 核 GPU、64GB 统一内存），1.5B→0.5B 约 14 小时/种子，3B→0.5B 约 22 小时/种子，5 种子顺序跑——远低于数据中心规模。不利因素：论文为预印本，未见明确的开源代码链接（文末未给 repository）；评估协议细节（Qwen2.5-Math 匹配的 $\boxed{...}$ 提取器、512 token 上限）需自行复现；八个组件的工程实现（尤其 leave-one-out 基线、学生 EMA、TFW 预热与主循环衔接）有一定实现复杂度；FTB 的 $H_{ref}=2.0$ 是基于初始训练 run 的教师熵分布经验选定的，换模型/换域可能需重选。综合看，按论文细节可复现主结果，但首次复现预计需要相当的工程投入。