通过协作式逐步多教师解码蒸馏长链思维推理 Distilling Long-CoT Reasoning through Collaborative Step-wise Multi-Teacher Decoding
提出 CoRD 框架，让多教师 LRM 协同逐步解码合成高质量长 CoT 推理数据。
前置知识
长链思维推理 (Long-CoT)
指大推理模型（如 DeepSeek-R1、QwQ-32B）在测试时通过生成长达数千甚至上万 token 的内部推理过程，包含策略切换、自我反思、假设修正等动态思维节点，最终得到正确答案。这种推理范式是 LRMs 区别于普通 LLM 的核心能力。
本文核心问题就是如何把 LRMs 的 Long-CoT 能力蒸馏到小模型，需要先理解 Long-CoT 的结构特征（动态、自我修正、长度大）才能明白为什么传统 PRM/MCTS/curation 方法失效。
推理蒸馏 (Reasoning Distillation)
指在序列级别（而非 token 级 logit 匹配）将大教师模型的完整推理轨迹作为监督信号训练小学生的过程。学生模仿教师的整个思考过程而非仅模仿答案分布，是当前把小模型训练成强推理器的标准做法。
CoRD 是为推理蒸馏设计的数据合成方法，与 SFT、logit KD 的关系决定了它的定位：不训练新模型，只生成更高质量的训练数据。
过程奖励模型 (PRM)
对推理中间步骤打分的过程级奖励模型，常配合 MCTS 用于筛选推理路径。它假设每一步独立可评判，但 Long-CoT 中看似错误的中段可能恰恰是后续自我修正的关键。
CoRD 在对比实验中明确把 PRM 作为基线选择方法并指出其在 Long-CoT 上的局限，理解 PRM 的工作机制有助于体会作者选择「预测困惑度」而非「逐步打分」的动机。
预测困惑度 (Predictive Perplexity)
用 meta-prover 评估「前缀拼接候选步骤后预测真实答案的联合条件概率」，取指数归一到 $[0,1]$ 得 $S=\exp\big(\tfrac{1}{M}\log p_{\text{meta}}(A|\tau_{<t}\oplus s_t^{(k)})\big)$，越高越好。
这是 CoRD 选择下一步骤的核心评分函数，必须理解它衡量的是「前缀能否引导出正确答案」，而非「步骤本身好坏」，这是它能保留策略切换路径的关键。
束搜索 (Beam Search)
在每步保留 top-$B$ 条最高分路径而非单条最优路径的解码策略。复杂度为 $O(TKMB)$，其中 $T$ 为步数、$K$ 为教师数、$M$ 为元验证器开销、$B$ 为束宽，可在局部最优与全局探索间取得平衡。
CoRD 用 beam=4 替代贪心解码，是其对抗 MCTS 高复杂度（$O(TK\log(T)MB)$）的关键设计点。
研究动机
现有 Long-CoT 蒸馏方法主要分两类但都有显著缺陷：基于 PRM/MCTS 的方法假设推理步骤可独立打分，但在 Long-CoT 设置下，初始看似次优的中段常常包含关键的自我修正与策略切换，被过早淘汰；同时 Long-CoT 长度可达上万 token，MCTS 的搜索空间呈指数增长，rollout 代价完全不可接受。基于 curation 的方法（如 S1、LIMO-v1/v2）则采用「先全部生成、后整体挑选」的策略，每个教师 LRM 独立产出整条完整轨迹再选最佳，这种事后评估既无法在生成过程中跨教师协同，也无法动态调整探索方向，造成大量被丢弃候选上的算力浪费，且完全错过了多教师互补推理的合成机会——没有任何单一教师能独立产生这种协作推理路径。
本文的目标是本文目标是设计一个让多个异构大推理模型在生成过程中实时协作、共同构造 Long-CoT 推理轨迹的解码框架，使得中等算力预算下合成的训练数据就能蒸馏出逼近甚至超越教师性能的学生模型；具体希望同时解决三件事：(i) 让异构教师在解码层而非文本层融合；(ii) 找到比 PRM 更适合 Long-CoT 的逐步评分信号；(iii) 比 MCTS 更高效地保留多假设以应对策略切换，最终在 AIME24/25 上实现 79.6%/70.2% 的 32B 学生 Pass@1。
与已有工作不同的是，CoRD 的独特切入角度是把「教师协作」从「生成后融合」挪到「生成中融合」，并把每个推理步骤重新定义为自回归解码的「token」——候选步骤集合 $V_t=\{s_t^{(1)},\ldots,s_t^{(K)}\}$ 取代传统词表，每步通过元验证器算出的预测困惑度作为打分；再用 beam search 保留 top-$B$ 条轨迹。这种「逐步协同解码 + 预测困惑度 + 束搜索」的组合是相对现有 curation、integration、MCTS 路线都没尝试过的设计。
核心方法
CoRD (Collaborative Reasoning Decoding) 的核心直觉是把 Long-CoT 推理轨迹的构造过程类比为语言模型的自回归解码，但把解码词表从子词替换为「多个教师在当前前缀下各自提出的下一步候选」。整体流程是：先用 prompt-guided 模板 ` ### Step t.` 强制所有教师以一致粒度分段；在每个 step 边界处每个教师独立采样一个候选步骤 $s_t^{(k)}$；用 QwQ-32B 作为 meta-prover 计算把该候选拼到前缀后能多准确地预测 ground-truth 答案（即预测困惑度 $S$）；按束搜索保留 top-$B=4$ 条轨迹进入下一步；遇 `` 或达到 token 上限结束。这种设计让原本事后挑选的整条轨迹变成了「逐拍决策」的增量构建过程。
本质区别是把推理蒸馏从「完整轨迹后验打分」重写为「逐步自回归解码 + 教师协作词表」。Curation/Integration 都是先生成完整推理再融合，PRM 是逐步打分但奖励模型不感知最终答案；CoRD 用 meta-prover 对「前缀+候选 → 真实答案」的预测概率直接打分，等价于「答案级监督反向传播到步骤级」，兼顾了逐步决策与全局一致性；再用 prompt-guided 分段保证跨教师的可比性，用 beam search 替代 MCTS 维护多条假设，从而在 $O(TKMB)$ 复杂度内实现协作合成。
方法步骤详情
CoRD 流程含四组件：(1) Prompt-guided step segmentation——在教师 prompt 注入 ` ### Step t.` 标记，让异构教师以一致粒度分段，比 line-break 与 prefix-based 更稳定。(2) 候选生成：每步 $t$ 由 $K$ 教师在共享前缀 $\tau_{` 或 16,384 token 上限终止。
技术新颖性
技术新颖性体现在三个交叉点：第一，把协作蒸馏从「完整轨迹融合」下沉到「单步候选竞争」，在算力预算内首次让异构 LRMs 在生成过程中实时互补；第二，用「对真实答案的预测困惑度」替代「过程奖励」作为逐步打分函数，本质上是答案级监督的细粒度反向利用，避免了 PRM 对 Long-CoT 中段策略切换的误杀；第三，把步进协作与束搜索结合，在 $O(TKMB)$ 复杂度下达到 MCTS 级别（$O(TK\log(T)MB)$）的多假设保留能力。论文 Figure 2 还展示了一个有趣的副产物：协作模式让 R1-Qwen-32B 与 QwQ-32B 主导前 40% 的「问题理解」阶段，Phi4-Reasoning-Plus 在 ≥80% 的「综合结论」阶段接管，形成角色分工。
实验结果
在 LIMO-v1（817 题）上用 QwQ-32B（homo）或 R1-Qwen-32B+QwQ-32B+Phi4-Reasoning-Plus（hetero）协作合成数据。Table 2：CoRD 推理质量领先，hetero 下答案准确率 93.1%/PP 0.774 vs Curation 84.8%/0.652。Table 3：CoRD-Hetero-32B 学生取得 AIME24 79.6%/AIME25 70.2%，超过最强教师 Phi4-Reasoning-Plus 78.9%/67.9%。Table 4-6 消融：(a) prompt-guided 在 AIME24 提升 2.5-2.9 个百分点；(b) 预测困惑度优于 PRM 75.0% 与 Binary 77.7%；(c) beam search 优于 greedy 76.7% 与 MCTS 75.8%。Table 7 泛化良好：MATH500 94.8%、TaTQA 95.2%、PubMedQA 91.8%。Figure 3 在 S1k-1.1/LIMO-v1/v2 上 CoRD 蒸馏均稳定优于原版。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIMO-v1 推理质量（homogeneous） | 答案准确率 / 预测困惑度 | CoRD 90.0% / 0.726 | Curation 77.4% / 0.664 | +12.6 个百分点 / +0.062 |
| LIMO-v1 推理质量（heterogeneous） | 答案准确率 / 预测困惑度 | CoRD 93.1% / 0.774 | Curation 84.8% / 0.652 | +8.3 个百分点 / +0.122 |
| AIME24 学生蒸馏（CoRD-Hetero, R1-Qwen-32B） | Pass@1 | 79.6% | Curation-Hetero 75.0% | +4.6 个百分点，超过最强教师 Phi4-Reasoning-Plus 78.9% |
| AIME25 学生蒸馏（CoRD-Hetero, R1-Qwen-32B） | Pass@1 | 70.2% | Curation-Hetero 62.1% | +8.1 个百分点，超过最强教师 67.9% |
| MATH500（in-domain 泛化） | Pass@1 | CoRD-Hetero 94.8% | Curation-Hetero 93.4% | +1.4 个百分点 |
| TaTQA（out-of-domain 表格推理） | Pass@1 | CoRD-Hetero 95.2% | Curation-Hetero 88.2% | +7.0 个百分点 |
| PubMedQA（开放式生物医学问答） | Pass@1 | CoRD-Hetero 91.8% | Curation-Hetero 88.4% | +3.4 个百分点 |
| 效率对比（wall-clock vs MCTS） | 相对计算时间 | CoRD wall-clock ≈ 49.0% of MCTS | MCTS 100% | 算力减半且推理质量更高 |
局限与改进
作者承认两点：(1) 评估集中在单语 AIME24/25，跨语言 Long-CoT 蒸馏的泛化未验证；(2) 仅用 SFT，未结合 DPO 等偏好对齐。独立观察的额外局限：(a) 未在 MMLU/HumanEval/GPQA 等非数学任务充分验证，开放域只测了 PubMedQA 一个数据集；(b) meta-prover 默认选教师池最强 QwQ-32B，本身是 32B 级重型调用，部署门槛高；(c)「学生超过教师」现象未深入分析是协作归纳偏置还是数据增广统计效应；(d) Integration 基线学生崩溃到个位数准确率（7-12%），疑似该基线实现存在缺陷，论文未做敏感性分析。
独立分析的弱点
独立分析认为 CoRD 还有若干可改进之处：(1) 计算开销上，$O(TKMB)$ 中 $M$（meta-prover 推理）实际并不「可忽略」，附录 G.4 仅在同 GPU 集群上做了相对对比，缺乏与 curation 的绝对算力基准；(2) 异构教师选择高度依赖多样性，但论文未给出教师池选择的系统准则，若教师能力重叠或风格趋同，协作优势可能被稀释；(3) 评分函数 $S$ 只用最终答案作监督，对中间推理的逻辑性没有直接约束，存在「meta-prover 容易预测答案但步骤本身不严谨」的可能性；(4) 束宽 $B=4$ 是经验值，未做不同 $B$ 值的 Pareto 分析；(5) prompt 模板 ` ### Step` 是英文硬编码，多语言任务与中文数学题（如 CN-MATH）下的分词一致性未验证。建议改进方向包括：用更强的过程一致性约束（例如基于定理/规则验证器）补充 $S$、探索自适应束宽、用更轻量的 7B 级 meta-prover 配合蒸馏后的学生作为评分器降低部署成本。
未来方向
作者在 Limitations 与 Conclusion 中给出了两条明确方向：(1) 把 CoRD 拓展到跨语言 Long-CoT 蒸馏，通过翻译或双语 prompt 让非英语推理 trace 也能用 CoRD 合成；(2) 把 CoRD 合成的高质量推理与 DPO 等偏好对齐方法结合，进一步缩小 LRMs 与学生之间的差距。基于论文成果还可延伸几个方向：(a) 把逐步协作解码用于 agentic reasoning，把外部工具调用步骤也作为候选纳入词表；(b) 把 beam search 替换为更高效的 tree-structured 探索（如 MCTS 的轻量化变体）以保留更多假设；(c) 用 CoRD 合成的数据集预训练更小的推理专用基础模型（如 1.5B/3B），研究协作信号是否能迁移到极小模型；(d) 在多模态推理任务（图文混合数学题）上验证 CoRD 是否仍然奏效。
复现评估
论文声明使用 4 个 LRM：开源 LRMs 通过 HuggingFace checkpoints 调用，闭源通过 OpenAI API；模型清单与 meta-prover prompt 见附录 A。代码、数据、权重均开源在 https://github.com/DISL-Lab/CoRD。主要超参：束宽 $B=4$、最大输出 20,480 token（16,384 给 、4,096 给最终答案），评估 32,784 token + 温度 0.6。复现难点：(1) 需至少 3 个 32B 级 LRM 作教师加 meta-prover 推理，占用 H100 级 GPU；(2) AIME Pass@1 需 16 次平均，单次实验成本显著；(3) SFT 细节（学习率、batch size）散落附录 C，需对照附录才能完整复现。整体难度中等偏高，但所有关键组件开源。
论文图表
