中期训练中的知识蒸馏偏向推理而非事实记忆 Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall

完整流程（对应 Algorithm 1）如下。第一步，前向计算：用温度 $\tau=2$ 对教师和学生的 logits 做 softmax 得到软化分布 $p_T^{(\tau)}$、$p_S^{(\tau)}$（7B/13B 教师以 FP8 量化加载，1B 用 BF16）。第二步，计算每个有效 token 位置 $n$ 的教师预测熵 $H_n=-\sum_{v\in V}p_T^{(\tau)}(v|x_{<n})\log p_T^{(\tau)}(v|x_{<n})$。第三步，路由：在 batch 内对 $\{H_n\}$ 取分位数，得到低熵集合 $S_q=\{n: H_n\le\text{Quantile}_q(\{H_n\})\}$，默认 $q=20\%$（扫描 10%/20%/30% 后选定）。第四步，分别计算两个损失：对 $S_q$ 用 $\frac{\tau^2}{|S_q|}\sum\mathrm{RKL}(p_S\|p_T)$（mode-seeking 特性适合强化教师已集中的预测），对补集 $\bar{S}_q$ 用 $\frac{1}{|\bar{S}_q|}\sum-\log p_S(y_n|x_{<n})$；两项独立归一化，保证 $q$ 只影响路由策略而不改变蒸馏强度。第五步，求和反传更新学生。训练设置：从 OLMo-2 1B 的 4T-token stage1 checkpoint 出发，训练 60.4B token、28,800 步，峰值学习率 $7.45\times10^{-5}$ 线性衰减，全局 batch 2,097,152 token/步。

技术新颖性体现在四个层面。其一，问题新：首次系统证明 KD 行为具有阶段依赖性，发现的“推理-事实权衡”此前未被刻画，且该效应跨教师规模（1B/7B/13B）、KL 方向（FKD/RKD）与蒸馏强度稳健存在，并在 SmolLM2 生态复现。其二，解释新：给出完整因果链——教师熵按域不对称（程序性域低熵，跨 12 个阶段-规模组合 ROC AUC 0.744–0.826）、熵预测监督质量（五分位内 top-1 命中率单调下降）、熵预测习得顺序（预训练结束时最低熵分位 67% 事实已学、最高分位仅 5%）、KD 金标梯度随熵衰减至约 0.5 倍 NTP——并用闭式推导支撑：$g_{\text{NTP}}=1-p_S^1(A)$，而 FKD 的蒸馏项把监督目标从 1 换成教师质量 $p_T^{(\tau)}(A)$，天然有界。其三，方法新：熵路由+低熵 RKL 的组合极简，但消融证明熵路由是主要增益来源（换成 oracle 域路由推理掉 7.2 分、随机路由掉 6.5 分、teacher-correct 路由掉 4.4 分）。其四，验证新：增益穿过四阶段后训练管线仍保留，这在中间目标研究中少见。

弱点一：固定全局 q 的路由策略较粗糙。batch 间域组成不同（数学文档与网页混合），20% 百分位在不同 batch 对应完全不同的绝对熵水平，同一 token 的命运取决于它与谁同 batch。改进方向：改用绝对熵阈值、按域条件化分位数，或引入可学习路由器（作者也承认 MoE 式 router 是自然延伸）。弱点二：教师熵低不等于教师正确。RKL 会强化教师的众数预测，若教师在某事实上自信但错误（低熵幻觉），蒸馏会放大该错误且无纠错机制。改进：用 ground-truth 一致性信号或多个教师的分歧做二次过滤，只在高一致且低熵时蒸馏。弱点三：方法不感知学生状态。机理解释里学生知识状态是关键一环，但方法本身只用教师熵；若加入学生置信度做双向路由（师生都确定时用 CE 即可、都不确定时降低权重），可能更省算力也更稳。弱点四：事实召回仍小幅落后 NTP（-1.0pt），对知识密集应用（封闭式问答、检索增强场景的底座）可能仍需搭配知识保持正则或事实定向数据。弱点五：结论主要建立在 1B 学生、60B token 的中期训练上，向 7B+ 学生与更长中期训练的外推缺乏证据，且推理评测偏数学，代码/多语言场景未测。

作者提出的方向：更丰富、更具表达力的路由策略，例如学习型 router 网络（类似 MoE 门控）；与优化数据池本身的方法（数据选择、增强、配比优化）正交结合；刻画标准 KD 何时停止帕累托改进并开始产生权衡——作者猜测晚期预训练与持续预训练等“学生知识已大幅演化”的阶段同样适用 Switch Distillation。基于本文成果可延伸的方向：把熵路由引入 on-policy 蒸馏与 RLVR 前的中期训练，研究其对后训练探索行为的影响；将路由信号从教师熵扩展为学生-教师联合量（如 $\mathrm{KL}(p_S\|p_T)$ 或两者置信度差）做自适应分配；在理论层面，附录 D.4 的 CE-KL 梯度余弦几何分析可推广为权衡现象的一般理论，解释何时该 mode-covering、何时该 mode-seeking；探索多教师场景下按熵选教师；在更大规模与代码、多语言数据上验证边界。

复现条件相当好。开源情况：代码公开在 facebookresearch/midtraining-distillation，全部基于开源栈——训练用 Meta 的 lingua 框架，后训练用 AI2 的 open-instruct，模型 checkpoint（OLMo-2 1B 学生与 1B/7B/13B Instruct 教师、SmolLM2/SmolLM3）与数据（Dolmino Mix 1124）全部公开，评测用标准化 OLMES harness；论文附完整超参（表 5、6）、评测任务配置（表 7）与约 11 行伪代码（Algorithm 1）。算力：预训练+中期训练+多数后训练在 32 张 H200（4 节点）上运行，DPO 单节点；7B/13B 教师用 FP8 量化、1B 用 BF16，蒸馏温度 $\tau=2$。难度评估分两档：单独复现 Switch Distillation 本身非常容易——它只是标准在线 KD 加上熵与分位数计算，近零额外成本，接入任何已有中期训练管线即可；但完整复现论文全部受控实验（预训练 100B + 中期训练 60B + 四阶段后训练 × 多配置多教师）估计需要数千 H200-GPU 时，属大规模实验。只想验证方法有效性的话，从公开的 4T-token stage1 checkpoint 起跑中期训练即可，成本可控。