TraceForge：以学生家族自身风格合成推理链的蒸馏方法 TraceForge: Distilling with Your Own Thinking
保留教师答案，自行生成学生家族风格的推理链，蒸馏效果反超教师原生思维链
前置知识
知识蒸馏
用大模型的输出训练小模型：强模型（教师）对一组问题作答，弱模型（学生）在这些问答对上微调，从而缩小能力差距。如果训练信号还包含教师得出答案前的中间推理过程，学生学到的不只是“是什么”，还有“怎么想”，通常比只学答案有效得多。本文延续这一传统：用 5,000 个问题的教师答案构建训练语料，并系统比较推理链不同来源的影响。
本文全部实验建立在“教师答案固定、只改变推理链来源”的对照设计上，不懂蒸馏就无法理解 S1–S5 五组语料的含义与差异。
思维链 / 推理链
模型在给出最终答案前生成的一段自然语言推理文本。本文把它形式化为对话消息列表中的一个元素 $R$，其余部分记为系统提示 $S$、用户轮次 $U$、答案 $A$、工具调用与响应 $T$。推理链在蒸馏中的价值在于提供比最终答案更密集的监督信号，DeepSeek-R1 等工作已证明其对推理能力迁移的关键作用。
TraceForge 的重建目标正是 $P(R \mid S, U, A, T)$——给定对话其余部分，还原家族风格的推理链，理解这个条件分解是读懂方法的前提。
生成器–评论器对抗训练
借鉴 GAN 思想：生成器负责产出候选样本，判别器（评论器）学习区分真样本与生成样本，二者交替对抗、共同进化。本文用家族真实推理链作正样本、生成链作负样本训练评论器；能骗过评论器的生成链反过来成为评论器的训练数据，骗不过的则构成生成器的偏好对，如此循环五轮。
生成链“以假乱真”的能力完全由这套对抗机制保证，它决定合成推理链的质量上限，是方法能否生效的关键部件。
DPO（直接偏好优化）
一种无需单独训练奖励模型的偏好对齐方法：给定同一提示下的一对答案（ chosen 与 rejected ），通过对其相对似然比的对数施加损失，直接拉大好答案与差答案的概率差距。本文在对抗回合中，把没骗过评论器的生成链与真实链构造成偏好对，用类 DPO 目标继续优化生成器。
它解释了对抗阶段生成器如何从失败样本中学习，是理解五轮共训如何逐步把真实感分数从 0.54 提到 0.68 的训练机制。
pass@1 与 HumanEval+/MBPP+
代码生成评测的常用指标：pass@1 指模型一次生成即通过全部测试用例的比例。HumanEval+ 与 MBPP+ 是两个经典基准的增强版，扩充了大量边界测试用例以抑制“碰巧通过”，比原版更严格。文中的多选题任务（ARC-Easy/ARC-Challenge/BoolQ）则分别用 acc-norm 与 accuracy 衡量，属于非推理型通用能力。
论文的核心数字（64.63 对 68.29、52.38 对 59.52 等）全部来自这两个代码基准的 pass@1，不看懂指标就无法评估其结论强度。
研究动机
前沿实验室正在关闭蒸馏中最重要的一条通道。用强模型生成训练数据来训练另一个模型，是这个领域从起步至今最通用的训练方式，但如今最强的闭源模型 API 只返回最终答案或简短的推理摘要，详细的推理链不再对外提供，理由是安全与知识产权，实际效果是筑起一道护城河。绕过的尝试各有硬伤：近期工作把服务商返回的加密推理块跨模型重放、逐字恢复隐藏推理链，虽然技术上可行，却直接违反服务条款，无法作为产品长期依赖；另一类方案如 TraceInversion 从答案反推推理链，但产出的链条“可辨识地合成”——用通用腔调叙述解法、使用家族模型从不写的编号步骤、常常复述答案而非推导答案，用它训练学生在 HumanEval+ 上仅得 3.66、MBPP+ 上仅 6.61。此外，从蒸馏模型再蒸馏的学生（“吸二手烟”）容易在思考时陷入死循环和无意义重复。
本文的目标是本文要建立一条完全合法、不违反任何服务商条款的蒸馏管线：保留教师给出的答案 $A$ 与上下文 $S,U,T$，由学生自己家族的模型重新生成抵达该答案的推理链，称为“家族原生”（family-native）推理链。并在严格受控的条件下回答一个简单的问题——固定基座模型 Qwen3.5-9B-Base、固定训练配方与 5,000 题预算，只改变推理链与答案的来源，家族原生链训练出的学生能否追平甚至超过用教师真实推理链训练的学生。可量化的判据是 HumanEval+ 与 MBPP+ 上的 pass@1，以及每个中间检查点的成绩轨迹。
与已有工作不同的是，已有工作要么原样窃取隐藏推理链（违反条款、不可持续），要么用与模型家族无关的通用风格合成推理链（TraceInversion）。本文抓住一个被忽视的点：推理链的“风格—家族匹配度”可能比推理链的来源和撰写者的绝对能力更影响蒸馏效果。教师提供内容（答案），学生家族提供形式（推理文风）；由于生成器只在学生家族自己的 10,000 条对话上训练、从未见过任何 Claude 或 OpenAI 的 token，产出天然落在学生熟悉的分布内。论文用“最好的学生不是由最强的教师直接教出，而是由强教师用学生听得懂的方式教出”这一教学类比来概括该假说，并用 S1/S2、S4/S5 两组控制变量的对照实验加以验证。
核心方法
直觉上，TraceForge 把蒸馏拆成“内容”与“形式”两个可分离的部件：教师贡献答案（内容），家族生成器补写推理链（形式）。形式化地，把对话表示为消息列表，$R$ 为推理链，$S,U,A,T$ 分别是系统提示、用户轮次、答案与工具调用/响应，生成器建模 $P(R \mid S, U, A, T)$——给定对话中除推理链外的一切，还原家族模型本会写出的推理。训练分三阶段：先用 10,000 条家族对话监督微调生成器，输入中移除 $R$、损失只落在 $R$ 上；再用同样规模的正负匹配对训练评论器判别真实链与生成链；随后进行 5 轮在线对抗共训，让两者互相施压。推理时对教师答案合成家族原生链，评论器再从 4 个候选中挑最像的一条。下游学生训练是常规 SFT：5,000 条样本、prompt 掩码、全参数 BF16、学习率 $2\times10^{-5}$ 余弦退火至 $2\times10^{-6}$、8 张 H20 GPU（TP4/PP2 加序列并行）。
核心创新是把“重建目标”设为推理链本身，并把生成约束在学生家族的分布里。与 TraceInversion 等从答案反推推理链的方法不同，生成器的监督目标永远是家族自己写的真实推理链，因此推理链的“形态”是从数据里学出来的，而不是靠提示词请求出来的；答案 $A$ 只出现在输入、绝不出现在输出，迫使模型学会“以推导收束到 A”而非复述 A，这也意味着生成器不可能在背诵见过的链条。与跨模型重放加密块的做法不同，整条管线不触碰违反条款的数据：生成器与评论器从未见过一个 Claude 或 OpenAI token，全部监督信号来自条款允许使用的 Qwen3.8-Max 对话。评论器还有第二个用途：推理时做无标签的 best-of-4 选择，把独立裁判（GPT-6.1-SOL）给出的真实感均分从 0.68 进一步抬到 0.82，全程不需要任何步骤级正确性标注。
方法步骤详情
第一步，监督训练生成器：从 Qwen3.8-Max 收集 10,000 条五要素齐全的家族对话，把推理链 $R$ 从输入移除，微调 Qwen 家族模型最大化 $\log P(R \mid S,U,A,T)$；此阶段生成链的裁判真实感均分为 0.54，真实家族链为 0.66。第二步，监督训练评论器：为每条真实链产出一个生成负样本，构成 10,000 匹配对；评论器给正样本的概率比负样本高至少 0.2 即停，且规模不得小于生成器（作者记录的教训：小评论器会拟合捷径、给生成器提供不了学习信号）。第三步，5 轮在线对抗共训：每轮生成 5,000 条链，骗过评论器的成为评论器新数据，没骗过的构成偏好对、用类 DPO 目标优化生成器；每轮末用裁判重打分，5 轮后饱和，生成链达 0.68，评论器 best-of-4 选择后达 0.82。第四步，合成学生语料：取教师的 $S,U,A,T$，生成家族原生链。第五步，SFT 训练学生：5,000 条、上下文最长 256K token、不截断（每行低于 262,144 token）、微批次 1、seed 42、不打乱。
技术新颖性
与四条相关技术线逐一对照可见其新颖性。其一，推理链恢复线（Panfilov 等的加密块重放）追求逐字还原隐藏推理链，本文明确放弃还原、只追求“有用的家族原生训练链”，并援引“写出的推理未必忠实反映真实计算”的观察为自己辩护。其二，推理链合成线（Trace Inversion、REER）的生成器不绑定任何模型家族，本文用家族自有数据训练生成器、用家族链评论器做对抗反馈。其三，蒸馏目标线（MiniLLM 的反向 KL）改的是目标函数，本文改的是训练文本本身，把答案来源与推理链来源解耦成两个可独立替换的因子。其四，自举与选择线（STaR、过程监督、自洽性）依赖答案正确性或步骤级标签，本文的评论器只需区分真假家族链。与指令后翻译（instruction backtranslation）相比，重建对象从指令换成了条件于完整对话与答案的推理链。
实验结果
最终检查点上，三个非推理型多选任务（ARC-E/ARC-C/BoolQ 分别在 80.98–81.52、58.19–59.73、88.35–89.63 之间）无法区分五种语料，两两差距不超过 1.6 分；代码基准则拉开 60 分以上。发现一：S2（家族原生链+Fable 5 答案）反超 S1（教师原生链+答案），HumanEval+ 68.29 对 64.63（+3.7），MBPP+ 59.52 对 52.38（+7.1），且 MBPP+ 领先在每个检查点都保持。发现二：S3（Qwen3.8-Max 自写链与答案）远逊预期，HumanEval+ 46.95、MBPP+ 24.60，落后 S2 约 21 与 35 分——教师能力是必要条件而非充分条件。发现三：S4（TraceInversion+GPT-6.1-SOL 答案）崩溃至 3.66/6.61，而共用同批答案、只换合成器的 S5 达 59.15/60.05，差距 55 与 53 分；S5 比 S2 在 HumanEval+ 低 9 分、MBPP+ 持平，恰对应两位教师自身的差距。轨迹方面：S1 剧烈震荡（HumanEval+ 600 步 66.46、1200 步 33.54、终回 64.63）；S2 稳步上行；S5 从 0.61/10.32 单调爬升至 59.15/60.05；S3 冲高 48.78 后一蹶不振；S4 于 900 步见顶后崩落。S3/S4 的退化伴随死循环与无意义重复的“二手烟”现象，家族原生链则完全不出现该模式。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 代码生成（HumanEval+） | pass@1 | 68.29（S2：家族原生链 + Fable 5 答案） | 64.63（S1：Fable 5 原生推理链 + 答案） | +3.66 分 |
| 代码生成（MBPP+） | pass@1 | 59.52（S2：家族原生链 + Fable 5 答案） | 52.38（S1：Fable 5 原生推理链 + 答案） | +7.14 分 |
| 代码生成（HumanEval+） | pass@1 | 68.29（S2：家族原生链） | 46.95（S3：Qwen3.8-Max 自写推理链） | +21.34 分 |
| 代码生成（MBPP+） | pass@1 | 59.52（S2：家族原生链） | 24.60（S3：Qwen3.8-Max 自写推理链） | +34.92 分 |
| 代码生成（HumanEval+） | pass@1 | 59.15（S5：家族原生链 + GPT-6.1-SOL 答案） | 3.66（S4：TraceInversion 合成链 + 同批答案） | +55.49 分 |
| 代码生成（MBPP+） | pass@1 | 60.05（S5：家族原生链 + GPT-6.1-SOL 答案） | 6.61（S4：TraceInversion 合成链 + 同批答案） | +53.44 分 |
| 推理链真实感（GPT-6.1-SOL 裁判打分，0–1） | 平均真实性分数 | 0.82（评论器 best-of-4 选择）/ 0.68（直接生成） | 0.66（真实家族推理链） | 选择后 +0.16，超过真实链 |
局限与改进
作者承认的局限包括：每个单元格只跑一次（“One run per cell”），没有方差与显著性检验，而 S1 在 1,200 步的 33.54 这类剧烈波动恰恰说明单次结果的噪声不可忽略；生成链的真实感分数衡量的是“像不像家族写的”，与推理正确性无关，0.82 的高分不代表推理更对；S1/S2 对照固定了答案与题目，但未能把“家族风格”与两条管线的一切其他差异完全隔离开（作者在相关工作中自己承认）。我自己的观察：实验只覆盖 Qwen 学生家族与两个教师，家族风格假设对其他家族是否成立未经验证；“Qwen3.5 中训练大量使用 Claude 系数据、很少 GPT 系数据”只是圈内传闻（原文用 widely said），却被用来解释 S5 的爬升曲线，证据薄弱；推理能力只用代码基准测量，缺少数学推理（GSM8K/MATH）等任务；真实感裁判本身是 GPT-6.1-SOL，用教师家族模型评估学生家族风格存在系统性偏置的可能。
独立分析的弱点
第一，单种子单次运行是最大的统计软肋：S1 在 HumanEval+ 上 66.46→33.54→64.63 的过山车、S4 在 900 步见顶后崩到 3.66，都可能部分来自训练不稳定而非数据本质差异，改进方向是多种子重复实验加学习率扫描，报告均值与置信区间。第二，“家族风格更易学”只是事后猜测，缺少直接消融：例如把生成器换到其他家族数据上训练、或对 S2 语料做刻意风格打乱再训练，才能把风格因素与数据质量因素分离。第三，真实感指标可能被 Goodhart 化：best-of-4 的 0.82 是评论器自己选出来的，又用同一裁判打分，存在循环增强风险，建议引入家族外的第三方裁判或人工盲评交叉验证。第四，法律边界实际仍系于“使用教师答案是否合规”这一前提，管线只消除了推理链层面的条款风险；对仍担心接触闭源输出的团队，作者的替代方案（家族原生链 + Qwen3.8-Max 重写答案、无任何闭源 token 回传）值得从附录提升为默认配置。第五，5,000 条训练样本规模很小，结论在 50K、500K 规模下是否保持未知，且训练/评测存在基准污染的潜在风险（代码题可能出现在教师轨迹中）。
未来方向
作者提出的方向包括：把管线扩展到其他模型家族（其 API 目前只返回 Qwen 系推理链），以及推广“无闭源 token 回传”的全家族化变体。基于成果可延伸的方向：给生成链增加正确性维度——把评论器与过程监督结合，让 best-of-4 不仅选“最像”还选“最对”，弥补真实感不等于正确性的缺口；系统研究风格—家族匹配度与蒸馏效率的定量关系，例如用学生与训练文本的 token 级分布距离预测下游增益，把“熟悉度假说”变成可计算的工具；把家族原生链合成接入 RL 流水线，作为可验证奖励任务的初始化或拒绝采样的候选源；利用论文已有的工具调用元素 $T$，扩展到多轮 agent 轨迹的蒸馏；以及检验该结论随学生规模（9B 以下到 70B 以上）的缩放规律。
复现评估
复现难度中等偏高。有利条件：学生基座 Qwen/Qwen3.5-9B-Base 与教师轨迹数据集 TeichAI/Fable-5-Cursor-Traces 都是公开的；训练配方描述得异常详细——全参数 BF16 SFT、AdamW 权重衰减 0.1、梯度裁剪 1、学习率 $2\times10^{-5}$ 余弦退火至 $2\times10^{-6}$、5% warmup、微批次 1、seed 42、不截断（每行低于 262,144 token），方法部分把每一步的样本量（生成器 10,000 条、评论器 10,000 对、对抗每轮 5,000 条共 5 轮）和停止条件都写明了。障碍：生成器与评论器的监督数据（Qwen3.8-Max 家族对话）未说明是否开源，裁判打分与 S4/S5 答案依赖 GPT-6.1-SOL、S1/S2 依赖 Fable 5 这类闭源 API 的持续可用性；算力需求为 8 张 H20（TP4/PP2 加序列并行）训练约 1,600 步，外加对抗阶段的批量生成与评分开销，对个人研究者不现实，对小型企业团队可行。论文未提及训练或推理代码开源。
论文图表