← 返回 2026-04-02

大语言模型在线策略蒸馏综述 A Survey of On-Policy Distillation for Large Language Models

Mingyang Song, Mao Zheng 📅 2026-04-01 👍 13 2026-07-13 08:36
在线策略学习 大语言模型 强化学习 模仿学习 知识蒸馏
arXiv HuggingFace PDF

系统性综述LLM在线策略蒸馏(OPD)的理论框架、方法分类、失败模式和工业实践

前置知识

知识蒸馏

一种模型压缩技术，通过让一个较小的学生模型模仿一个较大教师模型的行为，将教师模型的知识转移到学生模型中。传统方法包括温度软化输出分布和最小化KL散度等。核心思想是教师模型的输出分布包含暗知识，即不同类别之间的相对关系，这些信息在硬标签中不可见。通过软化输出，学生模型可以学习教师模型对错误答案的相对偏好，从而获得比单纯模仿正确答案更丰富的知识。

本文围绕蒸馏展开，理解基础蒸馏方法是理解在线策略蒸馏演进的前提，后者是对传统方法暴露偏差问题的根本性改进。

暴露偏差

序列生成模型在训练时使用真实历史前缀，但在推理时必须基于自身可能错误的输出进行后续生成。这种训练与推理之间的分布不匹配导致误差沿序列长度二次累积，数学上表示为O(εT²)，其中ε是单步误差率，T是序列长度。在长序列推理任务中这个问题尤其严重，例如一个需要10步推理的数学证明，即使每步准确率达到95%，整体正确率也仅为60%左右，远低于直觉预期的95%。

暴露偏差是在线策略蒸馏要解决的核心问题，理解它才能明白为什么需要让模型在自身生成的状态上学习，而不是在静态数据集上学习。

f-散度

一类衡量概率分布差异的泛化指标，数学上定义为D_f(P,Q)等于从分布Q中采样y时计算f(P(y)/Q(y))的期望，其中f是凸函数且满足f(1)等于0。常见的特例包括前向KL散度，它是mode-covering或者zero-avoiding的，鼓励学生在教师分配概率的地方也分配概率；反向KL散度，它是mode-seeking或者zero-forcing的，让学生专注于教师的高概率子集；以及JSD散度，它是对称有界的，在两者之间平滑插值。

本文用f-散度框架统一了各种OPD目标函数，是理解不同方法本质差异的数学基础，不同的f选择决定了学生是覆盖教师所有模式还是聚焦于高概率子集。

DAgger算法

交互式模仿学习的经典算法，其核心思想是让学习者在自身访问的状态上向专家咨询最优动作，而不是在专家生成的轨迹上学习。通过混合策略采样轨迹，将训练分布从静态数据集转移到学习者自身的探索行为。理论上可以将暴露偏差导致的O(εT²)误差降低到O(εT)，这是在线策略蒸馏的理论起点。算法通过不断收集学习者在探索过程中遇到的状态并让专家提供行动指导，从而缩小训练与推理的分布差距。

DAgger理论是在线策略蒸馏的理论起点，GKD等方法本质上是DAgger在自回归语言模型上的重新实现，理解这一算法有助于把握OPD的理论根基。

研究动机

传统离线策略蒸馏存在结构性缺陷，学生模型在训练时基于完美的教师前缀生成，但在推理时必须基于自身可能错误的输出继续生成。这种分布不匹配沿轨迹累积，导致误差二次放大。Gudibande等人报告，离线模仿专有LLM往往只能复制表面风格而无法获得底层推理能力。数学证明任务中，单个早期错误可能导致整个证明崩溃，即使每步达到95%的准确率，10步后整体正确率仅约60%。DAgger定理预测这种情况下的误差增长为O(εT²)，而非独立误差假设下的O(εT)，这意味着离线蒸馏在长序列推理任务中会遭受严重的性能下降。

本文的目标是本文旨在提供在线策略蒸馏的统一理论框架和系统综述。将OPD形式化为在学生采样轨迹上的f-散度最小化问题，沿三个设计轴组织现有方法，整合成功条件、常见失败模式，并建立OPD与KL约束强化学习之间的形式化联系。论文通过四个主要贡献实现这一目标，包括统一理论框架、设计中心分类法、失败理论解释和跨制度比较分析。

与已有工作不同的是，现有文献分散在知识蒸馏、强化学习和模仿学习社区，缺乏统一处理。已有LLM蒸馏综述仍采用经典压缩框架，将离线和在线方法视为可互换变体，而非具有不同理论性质和失败模式的范式。没有现有处理提供在线策略动力学的统一数学描述，系统比较白盒、黑盒和自蒸馏实例的方法仍然缺失，这些是研究人员和工程师在实践中必须权衡的选择。本文是首个将在线策略蒸馏视为独立范式的综述，发展统一数学框架。

核心方法

本文首先在数学上形式化自回归生成中的暴露偏差问题，建立统一f-散度框架来描述OPD目标。然后沿三个设计轴组织方法，包括目标函数设计、信号源架构和训练动力学优化。第一个轴关注要优化的数学量，第二个轴关注监督信号的来源，第三个轴关注如何在实际训练中稳定优化过程。每轴独立映射到OPD目标的特定项。最后整合失败模式分析、工业部署案例和开放问题，为研究人员和工程师提供全面的方法选择指南。

核心创新是将离线到在线策略蒸馏的转变重新形式化为序列决策问题，证明核心OPD算法是学生采样轨迹上f-散度最小化的实例。这一统一框架为之前孤立研究的方法提供了共同分析词汇，阐明了它们在散度选择、参数排序和采样混合方面的关系。具体而言，OPD目标可以写作从混合策略采样轨迹的期望下，对每个token位置计算教师与学生分布之间的f-散度之和，其中f的选择决定了mode-seeking或mode-covering行为。

方法步骤详情

全文结构遵循设计轴逻辑展开。第2节发展数学预备知识，形式化自回归生成为序列决策问题，推导暴露偏差及其数学性质。第3节呈现方法全景和选择考虑，包括分类方法论和代表性方法比较表。第4节到第6节遍历三个设计轴，从优化什么到信号来源再到实践中如何稳定训练，每节建立在前一节的选择之上。第7节整合理论视角，展示第4节到第6节观察到的模式源于少数统一原理。第8节讨论工业部署、系统级优化和新兴领域。第9节列出从综合中涌现的开放问题。

技术新颖性

技术新颖性体现在四个方面，包括首个将在线策略蒸馏视为独立范式的统一理论框架，将分散在知识蒸馏、RLHF和模仿学习社区的方法整合到一起；三轴设计中心分类法，而不是按表面相似性分组，澄清了方法之间的关系；整合失败模式的形式化理论解释，包括错误前缀陷阱、自博弈饱和、多样性崩溃、校准能力差距以及新兴的多轮agent失败模式；跨白盒、黑盒和自蒸馏制度的比较分析，为实践中的方法选择提供指导。

实验结果

核心发现包括方法分布在三个设计轴上呈明显时间趋势，早期工作集中在目标轴争论前向KL、反向KL和JSD，中期转向信号架构特别是无外部教师的自蒸馏方法，近期关注训练动力学以解决在线采样引入的不稳定性。自蒸馏构成最大且增长最快的类别。GKD实验表明，适度在线策略混合在指令遵循和摘要任务上优于纯离线训练，支持分布对齐假设。DeepSeek-V4报告全词汇表logit蒸馏比采样token KL产生更稳定梯度，通过缓存教师隐藏状态和实时重构logit，即使超过100K词汇量也可行。Busbridge等人发现师生能力差距现象，初始时更强教师改善学生，但超过临界教师容量后学生吸收能力饱和。vOPD在六个推理基准上平均增益3%到6.2%，匹配全词汇表OPD同时减少计算时间。

Comparison of key OPD methods categorized by their primary contribution
Table 1: Comparison of key OPD methods categorized by their primary contribution
Representative experimental configurations of on-policy distillation methods across different application domains
Table 2: Representative experimental configurations of on-policy distillation methods across different application domains
OPD methods: Fixed divergence objectives
Table 3: OPD methods: Fixed divergence objectives
OPD methods: Adaptive divergence objectives
Table 4: OPD methods: Adaptive divergence objectives
OPD methods: RL-augmented objectives
Table 5: OPD methods: RL-augmented objectives
OPD methods: White-box logit supervision innovations
Table 6: OPD methods: White-box logit supervision innovations
查看结构化数据
任务指标本文基线提升
数学推理 准确率 vOPD相比vanilla OPD提升6.2% 标准单样本OPD 绝对准确率提升6.2个百分点
竞赛数学 平均分数提升 AOPD平均提升4.09分和8.34分 标准在线策略基线 强初始化提升4.09分，弱初始化提升8.34分
推理任务 相对性能 EOPD超越固定散度基线 固定前向或反向KL 在六个竞赛数学推理基准上获得一致性能优势
推理任务 墙钟时间 vOPD减少57.7%计算时间 全词汇表OPD 计算效率提升57.7%
数学推理 训练步数 AntiSD在2到10倍少步数达到GRPO级准确率 标准GRPO 样本效率提升2到10倍

局限与改进

局限性包括作者明确指出的开放问题，蒸馏扩展律尚未建立，缺乏预测质量如何联合随教师大小、学生大小、数据量和在线策略rollout预算扩展的综合框架。自蒸馏奖励校准偏差可能将教师logit移离最优目标，特别是在反思增强偏差的情况下。错误前缀陷阱中，教师对严重分布外学生前缀的条件分布本身可能校准不良，因为教师很少在这样的输入上训练。观察到的局限性包括在线策略蒸馏的计算开销高昂，每个rollout步骤需要学生完整前向传播，计算成本随rollout预算线性扩展而学习收益可能呈递减回报。教师对严重hallucinated前缀的条件分布可能产生误导性梯度，违反交互式模仿学习的核心假设。

独立分析的弱点

独立分析发现的弱点主要包括计算开销高昂的问题，在线策略rollout需要每步学生前向传播，成本随rollout预算线性扩展。改进方向包括prefix-truncated rollouts和离线缓存策略，Lightning-OPD报告在教师一致性条件下获得4倍加速。错误前缀陷阱的问题，教师对严重分布外前缀的条件分布可能校准不良，产生误导梯度。改进方向包括token级可靠性过滤和自适应信任机制。自蒸馏回报饱和的问题，模型从自身生成bootstrap改进的能力有限，可能陷入局部最优。改进方向包括多教师辩论和外部奖励增强的目标函数。任务特定性的问题，不同任务需要不同散度选择，缺乏自动调参机制。改进方向包括自适应散度路由方法。

未来方向

作者提出的开放问题包括建立蒸馏扩展律，需要建立预测质量如何联合随教师大小、学生大小、数据量和rollout预算扩展的综合框架；不确定性感知的教师反馈，让教师表达对自身在学生生成状态下信号质量的置信度；agent级蒸馏，将OPD扩展到多步agent轨迹，而不仅是单轮生成。基于成果可延伸的方向包括跨架构蒸馏，进一步放宽共享词汇表假设，支持异构模型家族间蒸馏；多模态OPD，扩展到视觉语言模型和跨模态任务；因果credit assignment，结合结构奖励和局部错误纠正；环境重建，让学生恢复教师底层优化景观而不仅仅是模仿行为。

复现评估

复现评估方面，本文是综述论文，不提供原始实验数据。但引用方法的复现性各异。工业级方法如Qwen3、DeepSeek-V4、Gemma 2通常只报告性能指标而不开源代码或数据。学术方法如GKD、MiniLLM、DistiLLM、EOPD、AOPD、vOPD等部分开源，但完整复现需要白盒访问教师模型用于同组织部署，或API调用配额用于黑盒方法。推理任务需要权威基准如AIME、HMMT、MATH-500等，通常有标准评估脚本。计算要求高，在线策略rollout需要持续学生生成，师生同时推理，硬件需求显著高于离线蒸馏。整体复现难度属于中等偏高，主要受限于教师访问权限和计算预算。

论文图表

Taxonomy of On-Policy Distillation methods organized along three design axes
Figure 1: Taxonomy of On-Policy Distillation methods organized along three design axes

该图展示了OPD方法的三轴分类法，包括目标函数设计、信号源架构和训练动力学优化三个主要设计轴。目标函数设计下分为固定散度目标、自适应散度目标和RL增强目标三个子类；信号源架构分为外部教师蒸馏和自蒸馏两大类，外部教师下又细分为白盒logit监督和黑盒API约束；训练动力学包括token和样本权重、课程和难度适应、计算优化三个方向。每个叶子节点列出了代表性方法子集，徽章显示该小节涵盖的方法总数。

这张图对理解论文至关重要，因为它直观展示了整个OPD研究领域的组织结构，是理解后续章节详细讨论的方法地图。它将分散在知识蒸馏、RLHF和模仿学习社区的方法统一到一个框架中，帮助读者快速把握全貌。

Forward KL vs. Reverse KL divergence for fitting a student distribution PS to a bimodal teacher PT
Figure 2: Forward KL vs. Reverse KL divergence for fitting a student distribution PS to a bimodal teacher PT

该图通过三个子图展示了前向KL和反向KL在拟合双峰教师分布时的行为差异。左子图显示教师分布PT有两个等有效模式，代表两个正确答案或两种风格变体；中间子图展示前向KL的mode-covering行为，学生分布PS跨越两个模式产生宽分布，并在模式间的hallucination区域分配概率，这对应于混合两个有效答案的输出；右子图展示反向KL的mode-seeking行为，学生锐化到单峰，丢弃模式1但在选定模式内产生清晰连贯生成。

这张图对理解论文非常重要，因为它直观解释了为什么需要自适应散度方法。固定散度要么产生hallucination（前向KL）要么丢失多样性（反向KL），这种根本性权衡激发了EOPD、AOPD等根据局部分布几何自适应选择散度的方法。

Table 7: OPD methods: Black-box and API-constrained distillation

该表格列出了黑盒和API约束蒸馏的OPD方法，包括GAD、Lion、OVD、LUFFY、PRISM、ROPD、DASD、DDT、ORPO-Distill、OmniOPD等方法。Lion使用自然语言反馈课程；OVD查询教师对成对偏好的文本打分；ROPD使用基于规则的语义评分；OmniOPD使用分块蒙特卡洛验证加KL锚定。这些方法在只能访问API的约束下从文本输出提取知识，显著提升了样本效率。

这个表格对理解论文重要，因为它展示了在只能访问API时的约束解决方案，如何从文本输出提取知识以及样本效率优化，对没有白盒访问权限的实践者具有重要指导意义。