知道何时施教：多语言推理蒸馏中的可教前缀学习

检测教师漂移起点并验证可恢复性，只在可教前缀上蒸馏，提升低资源语言推理。

前置知识

在策略自蒸馏（OPSD）

On-Policy Self-Distillation 用同一个语言模型同时充当学生和特权教师：学生只看问题 $x$ 生成推理轨迹，教师额外看到参考解答 $y^\star$，并对学生自生成轨迹的每个 token 计算两个下一 token 分布的散度作为监督信号。因为师生是同一模型、仅提示条件不同，不需要额外的大教师模型，就能从模型自生成的错误中获得稠密反馈。

本文的全部动机与改进都建立在 OPSD 框架之上：教师漂移是 OPSD 在多语言场景下的失效模式，TOPSD 是对它的门控化改造，不理解 OPSD 就无法理解改进的靶点。

知识蒸馏与分布散度

知识蒸馏让更强模型的输出分布指导学生分布。token 级蒸馏在学生生成的每个位置上，最小化师生分布之间的散度 $\sum_{t=1}^{|\hat{y}|} D(p_{S,t}, p_{T,t})$（常用 KL 散度或其变体），使学生在相同前缀条件下逐步逼近教师的预测。GKD 等方法把这一思想用于学生自生成的序列。

TOPSD 的目标函数就是 OPSD 的 token 级散度加上掩码加权与双层归一化，读懂 $D(p_{S,t},p_{T,t})$ 与似然比 $N_{i,t}$ 的关系是理解方法与消融实验的前提。

Teacher Drift（教师漂移）

本文提出的核心现象：随着学生推理中错误逐步累积，特权教师会从「纠正错误」滑向「附和错误」。论文用两个互补度量刻画它：累积师生似然比 $C_{i,t}$ 趋近 1 表示教师与学生越来越一致；可恢复率 $\text{Rec}(m)$ 随前缀长度 $m$ 增长而下降表示教师纠错能力退化，且漂移在低资源语言中出现得更早。

不理解教师漂移就无法理解 TOPSD 的两阶段设计——可教前缀选择回答漂移「在哪里发生」，恢复验证回答教师「是否仍可靠」，二者都直接针对这一现象。

LoRA 低秩适配

LoRA 冻结预训练权重 $W$，给每层注入低秩更新 $W+BA$（秩 $r$ 远小于维度 $d$），只训练新增的小矩阵，大幅降低显存与计算开销，同时保留接近全参数微调的效果，是小模型上做蒸馏式后训练的标准配置。

本文在 Qwen3-1.7B/4B/8B 三个规模上均用 LoRA 训练学生、教师保持冻结基模型，复现实验时必须按此配置搭建训练管线。

Avg@3 与 Pass@3

推理评测常用的两种采样指标：Avg@3 是每道题采样 3 次的平均正确率，衡量稳定性；Pass@3 是 3 次采样中至少一次答对的比例，衡量能力上限。多语言评测还会按高/中/低资源语言分组取平均，观察改进是否集中在弱语言上。

论文所有主表（Table 1、Table 4）同时报告这两个指标并按语言资源分组，TOPSD 需在两者上均超过 OPSD/COPSD 基线才能说明方法有效。

研究动机

OPSD（On-Policy Self-Distillation）让同一模型兼任学生与特权教师：学生只看目标语言题目，教师额外拿到参考解答，并对学生自生成轨迹做逐 token 监督。这套设定隐含假设「教师全程可靠」，但多语言场景下并不成立。作者在韩语算例中观察到典型失败：学生反复声称内接于半径 $r$ 圆的正十二边形有 10 条边，教师在该错误第一次（$t=36$）和第二次（$t=180$）出现时仍能纠正为 12 条边，但错误累积到第三次出现（$t=314$）时，教师也预测了与学生相同的错误 token——作者称之为 Teacher Drift（教师漂移）。多语言分析显示漂移在低资源语言中出现更早、师生似然对齐更显著，而 Vanilla Qwen3-1.7B 在孟加拉语、泰卢固语、斯瓦希里语上 PolyMath High 的 Avg@3 仅有 2.13%、0.00%、0.27%，说明教师在这些语言上几乎没有可靠的全程监督能力。

本文的目标是本文的目标是让多语言自蒸馏系统能自主判断两件事：教师监督应施加在轨迹的「哪里」（where），以及「是否」应该施加（whether）。具体而言，对每条学生自生成轨迹，先定位教师尚未被带偏、仍能提供有效纠正信号的前缀区间（teachable prefix），再验证教师从这个前缀出发能否恢复出正确答案；只有同时通过定位与验证的 token 状态才参与蒸馏，其余部分不产生监督信号。作者希望在十种语言、三个 Qwen3 模型规模的多语言数学推理基准上稳定超越 OPSD 与 COPSD 基线，且改进集中于最需要的低资源和中资源语言，同时保持 on-policy 蒸馏性质——训练目标始终是学生自己的轨迹，而非教师的续写文本。

与已有工作不同的是，已有工作把多语言蒸馏的瓶颈归结为「教师不够强」：COPSD 给教师额外提供英文题目与英文参考解答，借模型在英语上更强的推理能力来增强教师监督。但这条路只强化了教师的输入，完全没有追问教师监督在轨迹展开过程中是否始终可靠。本文的独特切入是反过来审视监督信号本身的时间结构：教师可能在开头正确、在错误累积后失效，而失效点随语言资源水平系统性移动。于是「何时施教」被形式化为一个逐轨迹的两级门控问题——用师生似然比检测漂移起点，用可恢复性验证决定是否监督——这与既往固定提示、全程无差别蒸馏的设计形成本质区分，也把教师可靠性从静态属性变成了随上下文演化的动态量。

核心方法

直觉上，教师像一个会被学生带偏的导师：学生错误越多，教师越倾向附和而非纠正，所以应该在教师还没被带偏的前段施教。TOPSD 据此设计两阶段门控蒸馏。第一步 Teachable Prefix Selection：对学生轨迹每个位置 $t$ 计算师生对数似然比 $N_{i,t}=\log \frac{p_{T,i,t}(\hat{y}_{i,t})}{p_{S,i,t}(\hat{y}_{i,t})}$，再几何平均得到累积似然比 $C_{i,t}=\exp\left(\frac{1}{t-1}\sum_{s=1}^{t-1}N_{i,s}\right)$；$C_{i,t}$ 趋近 1 说明师生越来越一致，即漂移发生。取最早使 $C_{i,j}$ 连续 $K$ 个位置超过阈值 $\tau$ 的位置 $d_i$ 作为截断，得到候选可教前缀。第二步 Teacher Recoverability Verification：让教师从截断处贪心续写，与学生前缀拼接后验证最终答案，成功才把蒸馏施加到原学生轨迹前缀内的状态上，最终掩码为 $M^{\text{TOPSD}}_{i,t}=G_i M^{\text{prefix}}_{i,t}$。

核心创新是把「教师监督该不该给」从全程无差别变成逐轨迹的两级门控。Where：基于累积师生似然比 $C_{i,t}$ 的连续 $K$ 次阈值穿越检测漂移起点，用连续性要求过滤孤立的似然波动，只锁定持续性对齐。Whether：不盲信似然信号，而是直接考核教师——从候选前缀贪心续写并验证最终答案（$G_i\in\{0,1\}$），只有能从该前缀恢复正确答案的前缀才允许蒸馏。与 COPSD 的本质区别在于：COPSD 只改教师的条件输入（英文题目+英文参考解答）而默认监督全程有效；TOPSD 承认监督可靠性随前缀增长而衰减，动态裁剪监督范围。另一个关键设计是教师续写仅用于验证而非训练目标，蒸馏对象始终是原学生轨迹的 token，从而保住 on-policy 性质，不引入分布偏移。

方法步骤详情

流程分六步。(1) 采样：学生 $p_S(\cdot|x)=\pi_\theta(\cdot|x)$ 只看目标语言题目，生成轨迹 $\hat{y}\sim p_S(\cdot|x)$；教师 $p_T(\cdot|x,y^\star)$ 额外条件于英文题目与参考解答 $y^\star$。(2) 打分：对每个位置计算 $N_{i,t}$，累积成 $C_{i,t}$。(3) 选前缀：$d_i=\min\{j \mid C_{i,j+k}>\tau,\ \forall k\in\{0,\dots,K-1\}\}$；若无有效检测则 $d_i=T_i+1$（整条轨迹候选），掩码 $M^{\text{prefix}}_{i,t}=\mathbb{I}[t<d_i]$。(4) 验证：教师以 $m=d_i$ 贪心解码续写 $z_{\geq d_i}$，拼接后用验证器 $V$ 判定 $G_i=V(\hat{y}_{<d_i}\oplus z_{\geq d_i},\ a_i)$。(5) 门控：$G_i=0$ 则整条轨迹跳过；$G_i=1$ 则 $M^{\text{TOPSD}}_{i,t}=G_iM^{\text{prefix}}_{i,t}$。(6) 优化：在掩码状态上做 token 级分布散度蒸馏，损失先按轨迹内监督 token 数 $n_i$ 归一化，再在语言内合格轨迹与语言间均匀平均，防止长前缀或高资源语言主导。

技术新颖性

技术新颖性体现在四个层面。其一，首次把 Teacher Drift 形式化为可测量的现象：用累积似然比 $C_{i,t}$ 刻画师生对齐速度，用可恢复率 $\text{Rec}(m)=\frac{1}{|I|}\sum_{i\in I}V(\hat{y}_{<m}\oplus z_{\geq m},\ a_i)$ 刻画教师纠错能力，两者互补地证明「对齐越早、恢复越差」，且低资源语言更严重。其二，前缀选择采用连续 $K$ 次阈值穿越而非单点检测，抗噪且可解释。其三，「验证即门控」的训练信号过滤：消融实验（Table 2）显示仅前缀选择把 Qwen3-1.7B 的 Avg@3 从 9.95% 提到 10.76%，叠加恢复验证到 11.60%，而监督失败恢复的前缀只有 10.21%——证明验证步骤不可或缺。其四，损失的语言级均匀平均是针对多语言场景的工程创新，避免高资源语言的样本量优势淹没低资源语言的梯度信号。

**Figure 3**: Overview of TOPSD. The student generates a reasoning trajectory in the target language, while the privileged teacher additionally observes the English problem and reference solution. Step 1 (Teachable Prefix Selection) uses the cumulative teacher-student likelihood ratio to select a candidate teachable prefix. Step 2 (Teacher Recoverability Verification) checks whether the teacher can recover the correct answer from the selected prefix.

实验结果

主实验在 PolyMath High 上覆盖十种语言与三个 Qwen3 规模。Avg@3：TOPSD 在 1.7B/4B/8B 分别达 11.60%、17.79%、25.12%，比最强基线高 1.65、1.07、2.64 个百分点；Pass@3 分别为 18.72%、26.00%、35.28%，提升 2.08、0.88、3.36 个百分点。改进集中于低/中资源组：Avg@3 提升 0.89–3.47 点，Pass@3 提升 0.80–4.00 点；最显著的是 8B 中资源组，Avg@3 从 24.09% 提至 27.56%，Pass@3 从 35.73% 提至 39.73%。消融（Table 2）证实两组件均必要：仅前缀选择 10.76%，仅监督失败恢复前缀只有 10.21%。Table 3 显示截断检出率 95.94%–99.28%，平均相对截断位置 6.98%–10.47%，低资源语言更早（1.7B 时仅 4.09%）。Table 4 泛化实验：英文 AIME 2024 上 Qwen3-4B 的 Pass@3 达 90.00%（Vanilla 80.00%），AIME 2025 Avg@3 71.11%（Vanilla 64.44%）。定性案例（Figure 4）：孟加拉语「求所有使 $17_b$ 整除 $97_b$ 的整数底数 $b>9$ 之和」，COPSD 反复重述整除条件且无格式化答案，TOPSD 引入整数商 $k$，由 $9b+7=k(b+7)$ 推出 $b=21,49$，得出正确答案 70。

**Table 1**: Avg@3 and Pass@3 (%) on PolyMath High across ten languages grouped by resource level. Group and Overall averages are mean performance within each group and across all ten languages, respectively.

**Table 2**: Ablation of Teachable Prefix Selection and Teacher Recoverability Verification. Avg@3 (%) on PolyMath High with Qwen3-1.7B.

**Table 3**: Teachable prefix selection statistics. Cutoff Detection Rate is the percentage of trajectories with a detected cutoff. Relative Cutoff Position reports the cutoff as a percentage of trajectory length, averaged over trajectories with detected cutoffs.

**Table 4**: Generalization to English mathematical reasoning on AIME 2024 and AIME 2025. Results are reported in percentages.

**Figure 4**: Qualitative comparison of COPSD and TOPSD on Bengali mathematical reasoning. Starting from similar correct formulations, COPSD becomes stuck in repeated divisibility statements, while TOPSD continues the derivation to b=21 and b=49 and obtains the correct answer 70.

查看结构化数据

任务	指标	本文	基线	提升
多语言数学推理 PolyMath High（Qwen3-1.7B，十语言总平均）	Avg@3 (%)	11.60	COPSD 9.95	+1.65
多语言数学推理 PolyMath High（Qwen3-8B，十语言总平均）	Avg@3 (%)	25.12	COPSD 22.48	+2.64
多语言数学推理 PolyMath High（Qwen3-1.7B，十语言总平均）	Pass@3 (%)	18.72	OPSD 16.64	+2.08
多语言数学推理 PolyMath High（Qwen3-8B，十语言总平均）	Pass@3 (%)	35.28	OPSD 31.92	+3.36
多语言数学推理 PolyMath High（Qwen3-8B，中资源组 JA/KO/TH）	Avg@3 (%)	27.56	COPSD 22.31	+5.25
英文数学推理 AIME 2025（Qwen3-4B，500 条英文 OpenThoughts 训练）	Avg@3 (%)	71.11	OPSD 67.78	+3.33
英文数学推理 AIME 2024（Qwen3-4B，500 条英文 OpenThoughts 训练）	Pass@3 (%)	90.00	OPSD 86.67	+3.33

局限与改进

作者在 Limitations 中承认三点：结论局限于数学推理，能否推广到其他推理域和其他模型族未经验证；教师监督的效用依赖模型在各语言上的既有能力，改进幅度会随语言和模型波动；特权信息固定为英文参考解答，对缺乏英语资源的场景或希望用其他源语言的设定未做探索。我的补充观察：其一，验证阶段要求每条轨迹额外一次教师贪心解码，且 $C_{i,t}$ 的计算需要同时以两套提示前向传播，训练开销高于 OPSD/COPSD；其二，阈值 $\tau$、连续长度 $K$ 等超参在正文中未报告敏感性分析，跨模型迁移的稳健性存疑；其三，恢复验证依赖答案可精确判定（数学题天然合适），对开放式生成或需执行反馈的任务需重新设计验证器；其四，高资源语言上并非全面占优——Qwen3-8B 的 Pass@3 中 EN 46.40% 低于 OPSD 的 48.00%，说明门控有时过于保守，会舍弃教师本可贡献监督的状态。

独立分析的弱点

独立分析四个弱点。第一，验证成本：每条轨迹都要做一次教师贪心解码来做恢复验证，长推理链下延迟与算力开销显著，改进方向是提前退出（答案 token 出现即停止解码）或训练一个轻量回归器直接预测恢复概率。第二，似然信号可能被欺骗：$C_{i,t}$ 度量的是师生分布一致性，若学生生成「低困惑度的系统性错误」（如稳定的错误单位换算），对齐信号可能迟到或失灵，改进方向是叠加步骤级一致性检查或过程奖励模型作为第二信号源。第三，门控偏保守：8B 模型在英语、俄语等高资源语言的 Pass@3 略低于 OPSD（如 EN 46.40% vs 48.00%），提示可按语言资源水平自适应调整 $\tau$，或对教师本身较强的语言放宽甚至跳过验证。第四，训练规模小且用 LoRA：每语言仅 500 条、LoRA 微调 160 步量级，全参数训练、32B 级更大模型与更长训练日程是否仍有效未验证，需要在更强设定下复测。

未来方向

作者提出把 TOPSD 从数学推理扩展到其他推理域，并研究参考解答的语言与质量如何影响监督。基于本文成果可自然延伸的方向：其一，源语言选择——目前特权信息固定英文，可按目标语言自动挑选最优参考语言或融合多语言参考；其二，用过程奖励模型（PRM）替代最终答案验证器，使可恢复性验证适用于无唯一答案或需要执行反馈的任务（代码、Agent 轨迹）；其三，把「何时施教」的门控思想引入 RLVR 或在线蒸馏循环，随训练进度动态调整 $\tau$——训练后期学生更强，可教前缀理应变长，静态阈值会浪费监督窗口；其四，因果层面研究教师漂移：漂移是否由上下文内错误重复次数驱动，可设计干预实验（如剔除前缀中的错误段再测恢复率）；其五，将教师漂移检测用于推理时路由或自纠错，判断何时该切换到更强模型接管。

复现评估

复现条件较友好但有几个信息缺口。模型：Qwen3-1.7B/4B/8B，学生用 LoRA 微调，教师为冻结基模型加英文条件提示，全词表 logit 蒸馏；数据：COPSD 发布的多语言 OpenThoughts，每语言采样 500 条、共 5000 条，覆盖 BN/EN/ES/JA/KO/RU/SW/TE/TH/ZH；评测：PolyMath High 报 Avg@3 与 Pass@3，泛化实验用 500 条英文 OpenThoughts 训练 160 步后在 AIME 2024/2025 评测。算力：8B 级 LoRA 加 5k 样本短程训练，单张 A100 级 GPU 可承担；额外成本主要在逐 token 的师生双前向（两套提示各一次）与每轨迹一次教师贪心解码。缺口：正文未给出代码仓库链接，$\tau$、$K$ 的具体取值在附录 A（正文未展示），且需自行实现 $C_{i,t}$ 打分与验证门控逻辑。总体评估为中等复现难度：数据与基线均公开可得、方法描述完整，但需补齐超参数与工程细节。

知道何时施教：多语言推理蒸馏中的可教前缀学习 Knowing When to Teach: Learning from Teachable Prefixes in Multilingual Reasoning Distillation