← 返回 2026-04-17

如何微调推理模型？一种师生协作框架合成学生风格一致的SFT数据 How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo 📅 2026-03-23 👍 35 2026-07-13 08:36
代码生成 师生协作 推理模型 数据合成 监督微调
arXiv HuggingFace PDF

用师生交替生成解决推理模型SFT中的风格冲突问题

前置知识

监督微调（SFT）

用标注好的样本对预训练大模型做有监督训练，使其输出分布对齐目标数据分布。损失函数通常是 $\mathcal{L}=\sum_i -\log p_\theta(y_i|x,y_{<i})$ 的形式，让模型在每个 token 上逼近教师示范。

TESSY的核心目标就是构造更好的SFT数据，必须先理解SFT的数据分布匹配目标才能看懂它的分解损失。

推理模型（Reasoning Model）

在回答前先生成一段长思维链（thinking content）再做答的模型，如 Qwen3-8B、GPT-OSS-120B。这类模型在后训练阶段已形成独特的风格偏好，再用风格不一致的数据微调容易灾难性遗忘。

论文明确区分Base/Instruct模型与推理模型，发现推理模型对数据风格极度敏感，这是TESSY出发的根本前提。

分布外监督学习与灾难性遗忘

当训练数据分布 $P_D$ 与模型原生分布 $P_{M_S}$ 显著不同时，模型会为了拟合新分布而破坏已学到的能力，表现为整体性能下降。风格差异越大的教师数据越容易触发此现象。

本文的核心论断是性能下降的主因不是数据质量而是分布不匹配，必须先理解这一现象才能体会 TESSY 的动机。

vLLM与prefix caching

vLLM是高效推理引擎，支持PagedAttention和prefix caching，把多轮对话已计算的KV缓存复用，显著降低师生模型频繁切换的推理开销。TESSY需要不停在两个模型间切换，依赖这种优化。

工程实现细节，决定TESSY的合成速度是否能实用；论文也承认速度仍低于理论上限是未来工作。

研究动机

业内普遍采用更强模型生成SFT数据来增强小模型，但当这一范式套用到新兴的推理模型（如Qwen3-8B）时却屡屡失效，甚至带来显著性能倒退。论文报告用 GPT-OSS-120B 直接微调 Qwen3-8B，在 LiveCodeBench-Pro 上下降3.25%、在 OJBench 上下降10.02%；其他教师主导的数据合成方法（Teacher-Only、Teacher-Mix、Teacher-Think、Teacher-Answer）也都出现不同程度的退化。研究团队最初以为是数据质量、prompt设计或评测集泄漏问题，但排查后发现关键症结在于风格不一致——教师生成的连接语、语气词与学生天然分布差异巨大，强行让学生学习这些风格 token 会引发灾难性遗忘，连带把能力 token 的学习效果也拖垮。

本文的目标是论文的目标是构造一种合成数据方法，让SFT训练样本中负责任务求解的能力 token 来自更强的教师模型，而负责语气、过渡、衔接等与解法无关的风格 token 来自学生模型本身，从而既保留教师的推理能力又保持与学生原生分布的一致性。最终希望借此进一步提升推理模型在代码生成等任务上的表现，缓解对推理模型做 SFT 时普遍存在的性能倒退现象。形式上论文把每个 token 的生成规则写成 $y_i \sim P_{\mathcal{M}_T}$ 若 $i\in\mathcal{T}_{Cap}$、$y_i \sim P_{\mathcal{M}_S}$ 若 $i\in\mathcal{T}_{Sty}$，把直觉落到可优化的目标函数上。

与已有工作不同的是，已有工作大多只关注教师侧的数据质量或对教师做分布对齐微调，忽略了推理模型间天然存在的风格鸿沟；自蒸馏（Self-Distillation）虽尝试让学生改写教师内容，但论文实验显示它在推理模型上仍造成OJBench下降约4.53%；推测式蒸馏和AdaSwitch等在线协作方法聚焦推理加速而非离线数据合成，且跨词表模型难以直接套用。TESSY的独特切入点是显式把token切分为 $\mathcal{T}_{Cap}$（能力）和 $\mathcal{T}_{Sty}$（风格）两类，并提出离线、可跨词表运行的师生交替生成+边界回退机制，把两件事解耦做。

核心方法

TESSY的核心思路非常直觉化：让学生的嘴说学生的话，让教师的脑子做教师的推理。具体实现上，TESSY把一条训练样本拆成若干能力段和风格段交替拼接 $[s_1,t_1,s_2,t_2,\ldots]$，其中 $s_i$ 由学生模型 $\mathcal{M}_S$ 生成、$t_i$ 由教师模型 $\mathcal{M}_T$ 生成。关键难点是「边界」——怎么在生成过程中知道什么时候该停、什么时候该切。TESSY用「生成后回退」策略：每次让当前模型一口气生成 $k=20$ 个 token，再用训练好的边界预测器 $\mathcal{B}_T$ 或 $\mathcal{B}_S$ 找到最后一个属于当前类型 token 的位置并截断，剩余部分交给对方模型继续生成。最后思维链结束后的最终答案仍交还给学生模型，因为答案部分通常风格更强、对学生负担更小。

TESSY与传统Teacher-Only的本质区别在于把能力损失 $\mathcal{L}_{Cap}$ 和风格损失 $\mathcal{L}_{Sty}$ 显式解耦，并从合成数据层面让每个 token 的来源对齐它应有的分布：能力 token 采样自教师 $P_{\mathcal{M}_T}$，风格 token 采样自学生 $P_{\mathcal{M}_S}$。这与传统 SFT（让模型同时逼近教师所有 token 的分布）形成对照，也是 Self-Distillation（仍由教师产出全部参考内容）做不到的。与 Speculative Distillation 等在线协作方法相比，TESSY是离线合成数据，跨词表场景也能跑（必要时丢掉末尾 word 避免子词错配），并明确区分了能力/风格的边界判定机制。

方法步骤详情

TESSY 的完整流程对应 Algorithm 1，按如下五步执行：(1) 输入 prompt $x$、学生 $\mathcal{M}_S$、教师 $\mathcal{M}_T$、能力边界预测器 $\mathcal{B}_T$、风格边界预测器 $\mathcal{B}_S$、单次最大 token 数 $k=20$；(2) 初始化输出序列 $y=\emptyset$，生成模型设为 $\mathcal{M}_S$，边界预测器设为 $\mathcal{B}_S$；(3) 循环中让当前模型生成 $\hat{z}=\mathcal{M}(x,y,k)$，再用对应边界预测器找到截断点 $b$ 保留 $z=\hat{z}_{<b}$ 追加到 $y$；(4) 若发生截断则交换师生角色继续生成；(5) 思维链结束后由 $\mathcal{M}_S$ 一次性生成最终答案 $a$。边界预测器基于 Qwen3-0.6B-Base 加 token 级二分类头训练，监督信号来自 GPT-OSS 标注的 100K 风格片段。

技术新颖性

技术新颖性体现在三点：第一，将 SFT 损失按 token 类别显式分解为 $\mathcal{L}_{Cap}$ 与 $\mathcal{L}_{Sty}$ 并据此设计采样规则（公式3），为后续工作提供了可分析的目标函数；第二，提出 generate-then-rollback 配合小型边界预测器的工程方案，把「何时切换师生角色」这一连续决策问题转化为每个 token 的二分类问题，实现了细粒度且可控的协作；第三，是首个针对推理模型 SFT 的离线师生协作合成框架，相比在线方法更适合跨词表、大规模数据生产，且配套开源了 80K 的 TESSY-Code 训练集，便于复现与扩展。

Overview of the teacher–student cooperation data synthesis framework
Figure 2: Overview of the teacher–student cooperation data synthesis framework
Teacher-Student Cooperation Data Synthesis
Algorithm 1: Teacher-Student Cooperation Data Synthesis

实验结果

在四个代码生成基准上 TESSY 让 Qwen3-8B 全面提升：LiveCodeBench-V5/V6/Pro 从 55.09/49.58/25.35 涨到 62.87/55.43/36.69，OJBench 从 18.75 涨到 25.43。同条件下 Teacher-Only 在 OJBench 反而掉到 8.73（-10.02）。域外数学评测 AIME-2024/2025 也分别提升 3.75 和 0.93 个百分点。换用 Qwen3-30B-A3B 学生时领先 Teacher-Only 5.52 到 8.41 分；换用异源教师（DS-R1、Qwen3-235B、GPT-OSS）时 TESSY 仍领先 1.07 到 16.79 分。最反直觉的是 TESSY 中 22.4% token 来自较弱学生，但综合表现仍比 GPT-OSS-120B 在 40K token 上限下高 10.99%。

Performance comparison between TESSY and SFT baselines on in-domain code generation and out-of-domain test sets
Table 1: Performance comparison between TESSY and SFT baselines on in-domain code generation and out-of-domain test sets
Experimental comparison using Qwen3-30B-A3B as the student model
Figure 3: Experimental comparison using Qwen3-30B-A3B as the student model
Performance of TESSY under different student models for data synthesis and model training on OJBench
Figure 4: Performance of TESSY under different student models for data synthesis and model training on OJBench
Comparison between Teacher-Only and TESSY with different teacher models
Figure 5: Comparison between Teacher-Only and TESSY with different teacher models
Data quality comparison on OJBench
Figure 6: Data quality comparison on OJBench
Comparison of TESSY and Teacher-Only across Base and Thinking versions of models
Figure 7: Comparison of TESSY and Teacher-Only across Base and Thinking versions of models
Visualization of the data distribution changes caused by TESSY across three teacher models
Figure 8: Visualization of the data distribution changes caused by TESSY across three teacher models
查看结构化数据
任务指标本文基线提升
LiveCodeBench-V5 (代码生成) pass@1 (%) 62.87 55.09 (Qwen3-8B原模型) +7.78
LiveCodeBench-V6 (代码生成) pass@1 (%) 55.43 49.58 (Qwen3-8B原模型) +5.85
LiveCodeBench-Pro (代码生成) pass@1 (%) 36.69 25.35 (Qwen3-8B原模型)；22.10 (Teacher-Only) +11.34 vs 原模型；+14.59 vs Teacher-Only
OJBench (代码生成) pass@1 (%) 25.43 18.75 (Qwen3-8B原模型)；8.73 (Teacher-Only) +6.68 vs 原模型；+16.70 vs Teacher-Only
AIME-2024 (数学，域外) pass@1 (%) 80.42 76.67 (Qwen3-8B原模型) +3.75
AIME-2025 (数学，域外) pass@1 (%) 70.10 69.17 (Qwen3-8B原模型) +0.93

局限与改进

作者明确承认两点局限：(1) 在不限生成长度的条件下，Teacher-Only凭借教师模型的更强绝对能力会略胜TESSY（图6中GPT-OSS-120B在64K上限时反超约2.86%），说明TESSY的能力上限受限于学生的协作天花板，未来需要继续提升能力 token 部分的生成质量；(2) 由于工程实现约束，TESSY当前合成速度低于理论极限，主要瓶颈在师生模型频繁切换的调度开销。此外，本文主要验证任务集中在代码生成，数学与科学仅作域外评测，未覆盖多模态、长文本对话、智能体等任务；并且合成流水线暂未集成拒绝采样等质量筛选技术，作者强调解决分布不匹配后再叠加质量优化可以进一步提升，但目前数据质量维度的纯净度并未充分保障。

独立分析的弱点

独立审视可发现三个可改进点：(1) 边界预测器仅基于 Qwen3-0.6B-Base + GPT-OSS 标注训练，在跨词表或换用小众教师时预测精度可能下降，可考虑训练更大或词表无关的边界模型；(2) 单次最大 token 数 $k=20$ 是经验值，过小会导致师生切换频繁、推理延迟升高，过大又会浪费生成并增加截断失败概率，缺少对 $k$ 的消融分析；(3) 评估主要依赖 pass@1 这种最终答案正确率指标，未衡量模型在思维链层面的多样性、错误类型分布或可解释性，难以判断提升究竟来自推理路径更优还是单纯风格更顺。每个弱点的改进方向分别是：扩大边界预测器的训练规模并加入主动学习、对 $k$ 做敏感性消融、引入过程级评估指标如思考步骤数、关键决策点匹配度等。

未来方向

作者在结论中提出两条主线：一是进一步精化边界预测，让能力/风格的切分更精准并提升合成速度（探索推测解码、模型合并等加速手段）；二是把协作范式推广到更多任务和异构模型设置，探索多模型协同的可扩展性。基于实验结果还可延伸的方向包括：将TESSY用于多模态推理、智能体轨迹合成等场景；与 RLHF/DPO 等偏好优化结合，在分布对齐后再做质量对齐；以及研究「风格蒸馏」本身，把学生风格作为独立可迁移表征用于其他微调任务（如对话、写作）。

复现评估

论文复现友好度较高：作者开源了代码仓库 https://github.com/CoopReason/TESSY 和 80K 的训练集 https://huggingface.co/datasets/CoopReason/TESSY-Code-80K，prompt 模板见表4。算法超参明确（$k=20$、batch=128、lr=5e-5、最多 9 epoch），评测平台 OpenCompass 也是公开工具。但实际复现存在两个门槛：(1) 教师 GPT-OSS-120B 与 32 张 H200 GPU 的算力门槛较高，读者需要云服务或机构集群支持；(2) 推理评测需要 40K token 的最大生成长度，单次推理耗时可观；边界预测器的训练细节（标注 prompt、训练曲线）只在附录简要描述，需要额外查阅仓库。

论文图表

Illustration of the Teacher–Student Cooperation Data Synthesis Framework
Figure 1: Illustration of the Teacher–Student Cooperation Data Synthesis Framework

以一道字符串删除回文子串的DP问题为示例，分别展示教师GPT-OSS-120B和学生Qwen3-8B独立生成完整回答的差异（蓝色和粉色代表能力相关文本，绿色和紫色代表风格相关文本），以及TESSY协作合成的最终结果：能力段由教师产出、风格段由学生产出。

这是论文最核心的motivation图，直观告诉读者「风格不一致」具体长什么样，以及TESSY要达成的合成样式是什么。