面向多语言推理的跨语言在策略自蒸馏方法 Crosslingual On-Policy Self-Distillation for Multilingual Reasoning
用同一模型的双角色自蒸馏，将英语推理能力迁移到17种低资源非洲语言。
前置知识
On-Policy Self-Distillation (OPSD)
在同一份模型权重上同时构造学生和教师两种策略：学生只看到与推理时刻一致的输入，额外拼接参考解等特权信息后则得到教师分布。训练目标是在学生自己采样出的轨迹上，对每一步最小化教师和学生的 token-level 分布散度（论文中采用 reverse KL）。这样既保留了 on-policy 训练（避免 SFT 训练-推理分布错位），又能给出比 outcome RL 更稠密的 token 级监督。
COPSD 整篇工作都是把 OPSD 从单语推理扩展到跨语言推理：如果不熟悉 OPSD 中'同一模型两种 policy'的设定和它在 token-level 散度上优化的目标，就无法理解 COPSD 为什么不需要外部教师，也不需要目标语言推理链路作为监督。
Group Relative Policy Optimization (GRPO)
一类基于最终答案对错给出稀疏奖励的强化学习方法：对同一 prompt 采样多条轨迹，按组内相对优势进行策略更新。它在 DeepSeek-R1 等系统中被用于激发链式思维推理，但奖励信号只在回答正确时为 1、错误时为 0。
论文把 COPSD 与 GRPO 直接对比，是论证'稠密 token 级监督 vs 稀疏结果级监督'在低资源场景下效果差距的关键实验，理解 GRPO 的稀疏奖励局限才能体会论文的核心动机。
Pass@k 指标与多语言数学基准
Pass@k 指对每个问题采样 k 个回答，只要其中至少一个最终答案与标准答案一致就算通过，常用 k=12 报告。AfriMGSM 是把 MGSM 人工翻译到 17 种非洲语言的数学推理基准；PolyMath 是难度多档、跨多语种的数学推理基准，论文用它们量化低资源推理能力。
论文所有数值都建立在 Pass@12 上，且跨 AfriMGSM 17 种语言和 PolyMath 8 种语言平均。如果不熟悉这种'多采样、k 中至少 1 个对'的评估方式以及这两个基准覆盖的语言规模，就难以判断论文中 9.11→15.53 这类提升的实际意义。
Reverse KL 散度与 token-level 蒸馏
KL 散度用于度量两个概率分布的差异；reverse KL 指 $D_{\mathrm{KL}}(p_T \Vert p_S)$，具有'均值搜索'性质，会让学习分布 $p_S$ 覆盖到教师的高概率区域而避开低概率区域。在 token-level 蒸馏中，对学生采样出的每一步前缀都计算 teacher 与 student 的下一 token 分布差异并求和，得到整条轨迹上的稠密监督。
COPSD 的目标函数 $\mathcal{L}_{\text{COPSD}} = \mathbb{E}_{\hat{y}^{(L)} \sim p_S(\cdot|x^{(L)})} [D(p_T \Vert p_S)(\hat{y}^{(L)}|x^{(L)})]$ 正是 reverse KL 形式的轨迹平均 token-level 散度；理解其'逐 token、稠密'的监督性质是看懂损失函数和实验对比的基础。
研究动机
大语言模型在数学推理上虽然取得了长足进步，但这种能力在不同语言上极不均衡。论文明确指出低资源语言（如 17 种 AfriMGSM 涉及的非洲语言）在 Qwen3-1.7B 上的平均 Pass@12 仅 9.11 分，相较英语等高资源语言动辄 40%-70% 的得分存在巨大的跨语言鸿沟。造成这一差距的根源有两层：其一，LLM 的预训练和后训练（包含 SFT 与 RLHF/RL）以高资源语言尤其是英语为主导数据，导致低资源语言在 post-training 阶段几乎得不到高质量推理监督；其二，模型虽然在英语上具备解题的潜在能力，但当题目和推理链路必须用低资源语言表达时，这种能力就难以被激活和利用。
本文的目标是论文的具体目标是在不依赖外部教师模型、也不需要目标语言推理链路（target-language rationales）作为监督的前提下，显著提升开源 Qwen3 系列（1.7B/4B/8B）在 17 种低资源非洲语言上的多语言数学推理能力，并使该方法在 8 种资源跨度更大的 PolyMath 语言上同样有效。作者希望得到一种训练信号既稠密、又与模型实际在低资源语言中产生的推理路径对齐的方法，从而在 GRPO 失效的低资源场景下依然能稳定提升。
与已有工作不同的是，已有方法大致有三类不足：translate-and-test 流水线只把问题翻译后再用英语推理，绕开了低资源语言推理；翻译英语推理链路做 SFT 会引入数学表达式翻译噪声，并带来 train-inference 分布错位（学生被迫模仿一份与自身生成风格不一致的范本）；基于 outcome 的 RL（GRPO）在低资源设置下奖励极其稀疏——模型本就很难在低资源语言中答对题，0/1 的最终奖励几乎不提供关于中间步骤该如何改进的信息，因而训练低效且不稳定。COPSD 的独特切入角度是把高资源语言信息当作特权上下文，让同一个模型在两种 policy 之间做自蒸馏：学生只见低资源题目，匹配推理时刻的真实分布；教师额外拿到英语翻译和参考解，由同模型在特权信息下生成的更可靠分布来提供稠密的 token 级监督。这是一种'用模型自己擅长的语言（英语）来纠正在不擅长语言中的推理'的新角度。
核心方法
COPSD 的整体思路是'同一个 LLM 扮演两个角色'：把低资源语言的题面 $x^{(L)}$ 给学生策略 $p_S$，把同一个 $x^{(L)}$ 加上英语翻译 $x^{(H)}$ 和英语参考解 $y^*$ 一起给教师策略 $p_T$。两个策略共享参数 $p_\theta$，但在条件上不同。技术上沿用 OPSD（On-Policy Self-Distillation）路线：先让学生在 $x^{(L)}$ 上做 on-policy rollout 得到 $\hat{y}^{(L)}$，然后在每一步 $n$ 上同时计算 $p_S^n = p_\theta(\cdot|x^{(L)},\hat{y}^{(L)}_{<n})$ 与 $p_T^n = p_\theta(\cdot|x^{(L)},x^{(H)},y^*,\hat{y}^{(L)}_{<n})$，最后用 reverse KL 把整条轨迹上的 token 级散度平均后最小化。梯度只回传给 student logits，teacher 充当固定的分布目标。这种设计的好处是训练信号与学生自身探索出的推理路径完全对齐（避免 SFT 的 train-test mismatch），同时又利用教师在英语下'知道答案'的优势，把每一步 token 的优劣都告诉学生，比 GRPO 那种只在最后答案上给 0/1 的反馈稠密得多。
COPSD 的核心创新是把'特权信息'的概念从单语 OPSD 扩展到跨语言场景：高资源语言（英语）的题面翻译和参考解不再用于构造目标语言推理链路做 SFT，而是作为教师策略的额外条件，让同一模型在两种不同 context 下形成两个不同强度的分布，再用 token-level KL 把学生拉向教师在英语知识加持下给出的更可靠分布。这与已有方法的本质区别在于：(1) 与翻译推理链路的 SFT 不同，COPSD 不需要任何目标语言 CoT 监督，也不存在翻译式 CoT 引入的算式/逻辑错位；(2) 与 outcome-RL 不同，反馈不在答案层而在每个 token 上，密度远高于 0/1 奖励；(3) 与跨语言蒸馏需要一个强外部教师不同，COPSD 用模型自己当教师，避免了 teacher-student 思维模式不匹配带来的负面迁移。直觉上，COPSD 是在用模型英语中'看得到的那部分推理能力'来修正低资源语言中'说不出来的那部分'。
方法步骤详情
方法的具体步骤如下。第一步是数据构造：从 OpenThoughts 数据集取 0.5K 道带英语参考解的数学题，用 Gemini-3-Flash 把英语题面翻译到 17 种 AfriMGSM 低资源非洲语言，保留所有数字和 LaTeX 表达式，得到 $\mathcal{D}=\{(x^{(L)}, x^{(H)}, y^*)\}$。第二步是构造两个 policy：学生策略 $p_S(\cdot|x^{(L)}) = p_\theta(\cdot|x^{(L)})$ 只接收低资源题面，匹配推理时刻的设置；教师策略 $p_T(\cdot|x^{(L)},x^{(H)},y^*) = p_\theta(\cdot|x^{(L)},x^{(H)},y^*)$ 在此基础上额外接收英语翻译和英语参考解。第三步是 on-policy rollout：在每次训练迭代中，给定一个 $x^{(L)}$，由当前学生策略采样整条推理轨迹 $\hat{y}^{(L)} = (\hat{y}^{(L)}_1,\ldots,\hat{y}^{(L)}_{|\hat{y}^{(L)}|}) \sim p_S(\cdot|x^{(L)})$，最大生成长度设为 2048 个 token。第四步是计算 token-level 散度：在学生生成的每个前缀 $\hat{y}^{(L)}_{ 后插入一段目标语言前缀（如斯瓦希里语的 'Kwa ombi, nitaanza kufikiria kwa Kiswahili.'），并配合语言专属指令，引导显式推理在低资源语言内完成。训练侧使用 LoRA（rank 64、$\alpha=128$）、AdamW 优化器、bf16 精度、最长 2048 token 的补全、batch size 32、learning rate $5\times 10^{-6}$，最多 100 步；每 5 步保存 checkpoint。
技术新颖性
技术新颖性体现在三个层面。第一，框架层面：把 OPSD 首次系统地扩展到多语言/低资源推理场景，并明确论证了为什么 reverse KL 在此场景下既保留了 on-policy 性质又提供了比 outcome RL 稠密得多的监督。第二，方法论层面：把高资源语言信息定位为'特权上下文'而非'监督数据'，从而绕开了 SFT 翻译式 CoT 的算式错误和 train-test 分布错位难题，也绕开了 GRPO 奖励稀疏的瓶颈。第三，工程层面：全词表 logit 蒸馏 + LoRA + 固定教师 + on-policy rollout 的组合，使得训练 17 种语言×3 个模型规模 = 51 个模型仍然可行（每模型 100 步、约 0.5K 数据），算力门槛大幅低于完整 RL 微调。
实验结果
在 AfriMGSM 17 种低资源非洲语言、Pass@12、4 096 token 预算下的主表（Table 1）显示，COPSD 在 Qwen3-1.7B/4B/8B 三档模型上的平均得分从 9.11/19.20/19.41 提升到 15.53/20.61/23.55，相对基线分别提升 +70.5% / +7.3% / +21.3%；相比之下，GRPO 在 1.7B/4B/8B 上的平均得分仅 9.18 / 19.36 / 19.22，1.7B 与 4B 几乎与基线持平，8B 反而略降。1.7B 上 COPSD 的提升尤其大，几乎在所有 17 种语言上都优于基线，例如 Amharic (AMH) 从 15.6→23.6、Swahili (SWA) 从 14.8→26.0、Lingala (LIN) 从 11.2→23.6。训练动态（Figure 3、Table 2）表明 COPSD 收敛极快：Qwen3-4B 和 Qwen3-8B 往往在几个梯度步内就达到最佳，之后逐步衰减，作者认为这是因为学生迅速吃下了教师给出的稠密蒸馏信号，但继续更新可能让模型过拟合到并不完美的教师分布，或伤害目标语言本身的生成能力。Format rate（答案是否被正确放入 \boxed{}）与 Pass@12 的 Pearson 相关在 1.7B/4B/8B 上分别高达 0.628/0.838/0.728，意味着 COPSD 的相当一部分收益来自它让模型更稳定地输出符合规范的最终答案。Test-time scaling（Table 3、Figure 4）显示，COPSD 在 1 024→4 096 token 预算下，Qwen3-8B 平均得分从 18.12 涨到 23.55（+30.0%），而 GRPO 仅从 16.89 涨到 19.22（+13.8%）；Zulu 语言上 Qwen3-8B 在 4 096 token 时 COPSD 达到约 28% Pass@12，基线和 GRPO 都只有约 16%。N-gram repeat rate（Figure 5、Figure 9）显示 COPSD 训练后 2-/3-/4-/5-/6-gram 的重复率在三种规模下都稳定低于基线和 GRPO，作者把这解读为推理更连贯、陷入循环更少的信号。在 PolyMath（Figure 6）的 8 种语言、low/medium/high 三档难度、8 192 token 预算下，COPSD 在 medium 档 Swahili +32.0、Telugu +32.8、Bengali +15.2，远超对日、俄、中、西等高资源语言 0-7 分的提升，说明增益与目标语言资源量呈反相关——模型本身越'说不出来'的目标语言，COPSD 越有发挥空间。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AfriMGSM 17 语言数学推理（Qwen3-1.7B） | Pass@12（4096 token） | 15.53（平均） | 9.11（Base）/ 9.18（GRPO） | +70.5% vs Base，+6.35 绝对提升；GRPO 几乎无提升（+0.07） |
| AfriMGSM 17 语言数学推理（Qwen3-4B） | Pass@12（4096 token） | 20.61（平均） | 19.20（Base）/ 19.36（GRPO） | +7.3% vs Base；GRPO 仅 +0.16 |
| AfriMGSM 17 语言数学推理（Qwen3-8B） | Pass@12（4096 token） | 23.55（平均） | 19.41（Base）/ 19.22（GRPO） | +21.3% vs Base；GRPO 反而 -0.19 |
| AfriMGSM Swahili（Qwen3-8B）test-time scaling | Pass@12（1024→4096 token） | 约 18%→约 28% | Base 约 18%→约 16%；GRPO 类似 | 更长预算下 COPSD 与基线差距从接近到 ~12 个百分点 |
| PolyMath Swahili（Qwen3-4B）medium 难度 | Pass@12（8192 token） | +32.0（相对基线绝对增量） | Base 约 50% Pass@12 | +32.0 绝对点 |
| PolyMath Telugu（Qwen3-4B）medium 难度 | Pass@12（8192 token） | +32.8 绝对点 | Base 约 35% | +32.8 绝对点 |
| PolyMath Bengali（Qwen3-4B）medium 难度 | Pass@12（8192 token） | +15.2 绝对点 | Base 约 40% | +15.2 绝对点 |
局限与改进
作者在 Limitations 一节坦率承认三点。第一，COPSD 把英语当作高资源特权语言并假设可以拿到英语参考解，这在某些真实低资源场景下可能不可用，比如目标语言社区的英语资源本身就薄弱，或者另一种高资源语言（如法语对部分非洲国家）反而提供更贴切的推理先验。第二，训练问题虽然只翻译题面不翻译推理链，但翻译题面本身也可能引入歧义或语序异常（论文用 Gemini-3-Flash 完成翻译并强调保留数字与 LaTeX，但仍可能受机器翻译质量影响）。第三，COPSD 的教师是同一个模型，这意味着当模型对某低资源语言本身的生成能力就很弱时，教师分布即使有英语信息加持也仍然不完美，这解释了为什么在 Qwen3-4B/8B 上训练超过几个步后性能就开始下降——可学习信号存在上限。除此之外，从实验数据上还能观察到一些论文未深入讨论的局限：1.7B 模型虽然在平均分上提升最大（+70.5%），但其绝对水平 15.53 仍远低于 4B/8B 的 20.61/23.55，提示小模型在低资源语言中能学到的推理能力本身存在天花板；GRPO 在 Qwen3-8B 上甚至略低于基线（19.22 vs 19.41），可能与 outcome 奖励在难语言中沦为噪声有关，但论文并未对此做控制变量分析。
独立分析的弱点
独立分析来看，COPSD 至少存在三处可改进的弱点。第一，单语言单模型扩展成本：论文为 17 种语言 × 3 个模型规模训练了 51 个独立模型（每模型 0.5K 数据 × 100 步），虽然每模型成本低，但若要扩展到几十种低资源语言+多档尺寸，'一语言一模型'的方案在工程上不可持续。一个改进方向是引入语言无关的'学生-教师'提示结构或语言 embedding，让单一模型可同时学习多语言特权蒸馏。第二，依赖英语作为唯一特权语言：当目标语言与英语在词序、文化背景或数学表达习惯上差异巨大（如 Amharic 的埃塞俄比亚数字、阿拉伯式 Sgaw 数字体系），用英语参考解去教可能引入第二次翻译噪声。改进方向是允许教师使用与目标语系更接近的高资源语言（如对班图语用斯瓦希里语作特权语），或让教师可访问多语种参考解取最相关的一份。第三，过早饱和与教师信号退化：Figure 3 中 Qwen3-4B/8B 在几步后即开始下降，作者归因于教师信号上限；改进方向包括：使用回放/重置的学生 checkpoint 防止过拟合、采用教师 EMA 平滑、或在学生生成质量下降到一定程度时切换为自训练（self-bootstrapping）模式。
未来方向
作者在 Limitations 和 Conclusion 中明确了几条未来方向：用其它高资源语种替代或补充英语作特权语言、研究翻译题面质量对训练的影响、缓解教师能力不足导致的信号饱和。基于结果还可以延伸出多个方向：把 COPSD 推广到更难的推理任务（代码、形式证明）、与其他 RL 目标（如 DPO、RLOO）结合形成混合信号、探索非英语高资源语言作为特权源的跨语言迁移、利用 PolyMath 上观察到的'语言越低资源、COPSD 增益越大'现象做模型选择（在低资源场景下优先蒸馏）。此外，COPSD 的密 token 级监督还可用于解释分析——既然 format rate 和 Pass@12 强相关，可以进一步看教师分布的熵变化、可视化哪些 token 上的 KL 最大，定位低资源语言推理真正卡住的位置。
复现评估
复现评估整体较为友好：作者公开了代码与数据（https://github.com/cisnlp/COPSD），包含全部 17 种语言的目标语前缀、学生/教师 prompt 模板、翻译 prompt。训练侧有详细超参（LoRA r=64, $\alpha=128$；AdamW；lr $5\times10^{-6}$；bf16；batch 32；最多 100 步；最差情况 17×3×100 步 rollout），可在 8×A100 或 4×H200 上完成。数据侧用 OpenThoughts 0.5K 题 + Gemini-3-Flash 翻译，翻译 prompt 显式约束保留数字与 LaTeX，便于复用。评估侧启用 thinking mode、temperature 1.0、top-p 0.95、12 采样、Math-Verify 校验，Pass@12 标准做法。可能的复现难点：(1) 翻译结果依赖 Gemini-3-Flash，不同版本/替换模型可能引入偏移；(2) 论文为每语言独立训练一个 LoRA，需管理 51 份权重；(3) 极小步数下（5-10 步）即达到峰值，意味着一旦超参偏差很容易错过最佳 checkpoint。整体看代码、数据、超参都齐全，复现难度中等偏下。
论文图表
三档模型上 format rate 与 Pass@12 的 Pearson/Spearman 相关系数（mean 与 pool 两种聚合方式）。1.7B/4B/8B 的 mean Pearson 分别 0.628/0.838/0.728，pooled 也均为正。
把'format 率提升是 Pass@12 提升的重要驱动力'从视觉上变成定量结论，是回答'为什么 COPSD 有效'的关键证据。