面向语言模型的特权信息蒸馏 Privileged Information Distillation for Language Models
利用训练时特权信息蒸馏前沿模型，无需Chain-of-Thought
前置知识
知识蒸馏 (Knowledge Distillation)
知识蒸馏是一种模型压缩和能力迁移技术，核心思想是用一个强大的"教师模型"(teacher model)的输出来指导一个较小的"学生模型"(student model)的训练。在标准设置中，教师模型是一个更大或更精确的网络，其软标签(soft labels)包含了比硬标签更丰富的类别间关系信息。学生模型通过最小化自身输出分布与教师输出分布之间的KL散度来学习教师的行为。本文中，蒸馏的概念被拓展到了训练时特权信息的转移场景，教师和学生共享同一组参数，教师额外接收特权信息作为输入条件。
本文的核心框架就是基于教师-学生蒸馏范式的改进，理解标准蒸馏才能理解本文的创新之处——如何在参数共享的单一模型中实现教师到学生的知识转移。
特权信息 (Privileged Information, PI)
特权信息(PI)的概念最早由Vapnik和Vashist在2009年提出，指的是在训练时可获取但在推理(测试)时不可用的额外信息。在本文的语境下，PI特指从前沿模型(frontier model)的完整轨迹中提取的、但推理时学生模型无法获得的信息。例如，前沿模型的完整推理链(Chain-of-Thought)、工具调用序列、工具参数、或者模型自行生成的提示摘要。PI可以显著改变模型的采样分布，使其在训练时能够成功完成原本无法完成的任务，但关键挑战在于如何将这种能力迁移到没有PI的推理场景中。
本文的全部工作都围绕着如何有效利用训练时PI来提升推理时无PI的模型性能，PI的概念贯穿论文始终，是理解本文动机和方法的核心。
KL散度 (Kullback-Leibler Divergence)
KL散度是衡量两个概率分布之间差异的非对称度量。给定两个分布 $ 和 $，KL散度定义为 {KL}(P \| Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)}$。在本文中，KL散度被用于两个关键目的：一是作为正则化项，约束教师策略和学生策略之间的距离，防止它们在训练过程中偏离太远或坍缩到相同分布；二是用于度量PI条件策略和无条件策略之间的初始分布偏移(distributional shift)，研究者发现这个初始KL值是预测PI转移效果的重要指标。文中使用了反向KL散度 {KL}(\pi_T \| \pi_S)$ 来正则化教师，以及 {KL}(\pi_S \| \pi_T)$ 来约束学生。
KL散度是本文两个算法(π-Distill和OPSD)中正则化项的核心组成部分，控制β参数调节KL惩罚的强度。实验表明KL散度的大小直接决定了PI转移的成败，是分析部分的关键变量。
GRPO (Group Relative Policy Optimization)
GRPO是由DeepSeek提出的一种策略优化算法，是对PPO的改进。其核心思想是：对于每个状态 $，采样一组 $ 条轨迹 $\{o^g\}_{g=1}^G$，然后通过比较单条轨迹的回报与组内平均回报来计算群组相对优势 {s,g}$。优化目标为 512931J_{GRPO}(\theta) = \mathbb{E}\left[\sum_{g,k} \min\left(\rho_{g,k} A_{s,g}, \text{clip}(\rho_{g,k}, 1-\epsilon, 1+\epsilon) A_{s,g}\right)\right]512931，其中 $\rho_{g,k}(\theta) = \frac{\pi_\theta(o_{g,k} | s_i, o_{g,<k})}{\mu(o_{g,k} | s_i, o_{g,<k})}$ 是token级重要性比率。相比PPO，GRPO不需要价值网络(value network)，通过组内对比来估计优势函数，更简洁高效。
本文所有基于RL的实验(包括标准RL、π-Distill和OPSD的RL部分)均使用GRPO作为底层策略优化算法，理解GRPO的机制对于理解实验结果的计算方式和对比基础至关重要。
多轮智能体交互 (Multi-turn Agentic Interaction)
多轮智能体交互是指语言模型作为自主代理(agent)，在多个时间步与环境进行交互的过程。在每个时间步，代理根据当前上下文 $ (包含初始用户提示、模型历史输出和环境响应)生成包含推理token $ 和动作token $ 的输出 = (z, a)$，环境则根据动作产生新的状态 {t+1} \sim P(\cdot | s_t, o_t)$。这种交互可以用马尔可夫决策过程(MDP)建模。本文关注的是工具调用(tool-calling)场景中的多轮智能体交互，如客服系统中查询订单、修改预约等复杂操作。
本文的所有实验都在多轮智能体交互环境中进行，包括Travel Planner和τ-Bench等benchmark。理解这一交互形式对于理解实验设置和PI的具体作用方式至关重要。
Chain-of-Thought (CoT) 推理链
Chain-of-Thought(思维链)是指语言模型在给出最终答案之前展示的逐步推理过程。在智能体场景中，CoT通常包含模型分析当前状态、规划下一步行动、推理工具调用参数等思维过程。然而，越来越多的前沿模型提供商(如OpenAI、DeepSeek等)选择隐藏完整的CoT，仅提供动作摘要或简化版本，出于商业机密和安全考虑。这种信息隐藏使得传统的蒸馏方法无法直接使用，因为虽然可以看到模型执行了什么动作，但无法获知其推理过程。
本文的核心动机就是解决CoT不可用时的蒸馏问题。π-Distill和OPSD的设计目标就是在缺乏CoT的情况下，仅通过动作轨迹(action trajectories)实现有效的知识转移。
研究动机
在利用语言模型构建复杂多轮智能体系统时，业界的标准做法是对前沿模型(frontier model)的输出进行监督微调(SFT)，然后通过强化学习(RL)进一步优化。然而，越来越多的模型提供商限制了重要信息的访问——最典型的就是隐藏模型的完整Chain-of-Thought(CoT)推理轨迹。例如，OpenAI等提供商仅向用户暴露动作和简化的摘要，而非完整的推理过程。这种不透明性从根本上破坏了标准的蒸馏流程：我们可以观察到成功智能体做了什么，但无法了解其推理过程。实验数据清楚地表明了这个问题的严重性：在τ-Bench零售任务上，Qwen3-8B基线模型仅能获得3.35%的成绩，而使用SFT w/o CoT(即只看到动作没有推理链)也只能达到12.8%，远低于SFT w/ CoT的16.5%。这意味着在没有推理链的情况下，标准蒸馏损失了大量有用信息，导致非前沿模型难以有效地学习前沿模型的复杂工具调用能力。
本文的目标是本文的直接目标是解决一个实际而紧迫的问题：在前沿模型隐藏其推理链(CoT)的约束条件下，如何有效地将前沿模型的能力蒸馏到更小的非前沿模型中。具体而言，研究者希望利用训练时可获得的特权信息(Privileged Information, PI)——即仅在训练阶段可用、推理时不可用的额外信号——来弥补CoT缺失带来的信息损失。文章引入了两个互补的算法：π-Distill和OPSD，目标是在多个智能体基准测试上达到甚至超过依赖完整CoT数据的行业标准方法(SFT w/ CoT + RL)的性能，同时保持更高的训练效率和更好的域外泛化能力。
与已有工作不同的是，本文的独特切入角度在于将特权信息(PI)的概念与师生蒸馏框架进行了创新性的结合。传统蒸馏通常假设教师和学生是两个独立的模型，且教师的知识通过输出分布直接传递。而本文的核心洞察是：在PI场景下，基础模型并不会自动知道如何利用特权信息(实验见Section 7)，需要先学会使用PI才能从中获益；同时，即学会了使用PI的策略，也需要将这种能力迁移到无PI的推理策略中。这种"学习利用PI"和"转移PI知识"的双重挑战在现有文献中缺乏系统性的解决方案。此前的变分推理工作(如Zhou et al. 2025的变分推理器)使用独立参数的教师和学生进行迭代训练，且假设可以访问标准答案。本文的突破在于让教师和学生共享同一组参数、联合训练，且不需要访问标准答案，仅需从前沿模型的纯动作轨迹中提取PI即可。
核心方法
本文提出了两个互补的算法来解决PI转移问题，整体思路可以概括为：利用前沿模型的纯动作轨迹构造特权信息(PI)，然后通过共享参数的师生框架在训练时让模型学会使用PI，同时确保推理时在没有PI的条件下也能保持这种能力。核心直觉是：如果教师策略(有PI)和学生策略(无PI)共享同一组参数，那么教师学会利用PI的过程中获得的知识表示会自然地传递给学生。第一个算法π-Distill采用离策略(off-policy)学习，教师使用PI生成轨迹，学生从中学习；第二个算法OPSD采用在策略(on-policy)学习，学生自己生成轨迹，通过反向KL散度与PI条件的教师进行对齐。两者都使用GRPO作为底层策略优化算法。
π-Distill的核心创新在于"参数共享的联合师生训练"，这与传统蒸馏有本质区别。在传统设置中，教师和学生是两个独立模型，先训练教师再蒸馏到学生。而π-Distill使用单一模型，同时充当教师(接收PI)和学生(不接收PI)两个角色。通过在同一个优化步骤中同时更新教师目标和学生目标，模型的内部表示被塑造成既能有效利用PI、又能在没有PI时正常工作的状态。教师目标 $\mathcal{J}_{Teacher}(\theta)$ 通过反向KL惩罚 {KL}(\pi_T^\theta \| sg[\pi_S^\theta])$ 鼓励教师拟合学生熟悉的高回报模式；学生目标 $\mathcal{J}_{Student}(\theta)$ 从教师的轨迹中学习，通过 {KL}(sg[\pi_T^\theta] \| \pi_S^\theta)$ 学习教师的行为。两者联合优化 $\mathcal{J}_{\pi\text{-Distill}}(\theta) = \alpha \mathcal{J}_{Teacher} + (1-\alpha) \mathcal{J}_{Student}$，参数 $\alpha \in [0,1]$ 控制教师和学生学习的平衡。另一个关键创新是OPSD，它让学生策略作为采样策略，使用反向KL散度作为密集的逐token奖励来将学生向教师对齐，这在PI场景下是全新的应用。
方法步骤详情
π-Distill的训练步骤如下：(1)从前沿模型(DeepSeek-chat-v3.1)收集成功的动作轨迹，这些轨迹仅包含工具调用和结果，不包含完整推理链。(2)将这些轨迹转化为三种形式的PI：工具调用及参数(Tool Calls and Arguments，保留完整的函数名和输入参数)、仅工具调用(Tool Calls Only，仅保留函数名，模型需自行推断参数)、自生成提示(Self-Generated Hints，由已训练模型对成功轨迹生成摘要)。(3)在每个训练步骤中，从PI条件的教师策略 $\pi_T^\theta(o|s, I)$ 采样轨迹。(4)计算教师目标：$\mathcal{J}_{Teacher}(\theta) = \mathbb{E}[R(o,s) - \beta D_{KL}(\pi_T^\theta \| sg[\pi_S^\theta])]$，教师最大化奖励同时保持与学生策略的接近。(5)计算学生目标：$\mathcal{J}_{Student}(\theta) = \mathbb{E}[\frac{\pi_S^\theta(o|s)}{sg[\pi_T^\theta(o|s,I)]} (R(o,s) - \beta D_{KL}(sg[\pi_T^\theta] \| \pi_S^\theta))]$，学生从教师轨迹中学习。(6)联合优化：$\mathcal{J}_{\pi\text{-Distill}} = \alpha \mathcal{J}_{Teacher} + (1-\alpha) \mathcal{J}_{Student}$。对于OPSD：学生策略作为采样策略生成轨迹，优化目标为 $\mathcal{J}_{OPSD}(\theta) = \mathbb{E}_{\pi_S}[R(o,s) - \beta D_{KL}(\pi_S^\theta \| sg[\pi_T^\theta])]$，反向KL作为密集的逐token奖励。两算法均使用2块H100 GPU，上下文限制25k token，并对超过15k token的轨迹施加长度惩罚。
技术新颖性
本文的技术新颖性体现在多个层面。首先，参数共享的师生联合训练是PI蒸馏领域的新范式。此前的工作(如Zhou et al. 2025的变分推理器)使用独立参数的教师和学生进行迭代训练，计算成本高且不稳定。本文让教师和学生共享theta，不仅提高了计算效率，还通过隐式的表示迁移避免了分布偏移问题——教师和学生使用相同的网络参数，教师学到的PI利用能力自然传递给学生。其次，将OPSD(自蒸馏)引入PI转移场景是首次。此前的自蒸馏工作(Shenfeld et al. 2026, Zhao et al. 2026, Hubotter et al. 2026)关注的是其他场景(如标准答案、自我反思反馈、持续学习)，而本文首次将其应用于无标准答案、PI仅为动作轨迹的场景。第三，文章从变分EM(Variational Expectation-Maximization)的角度统一了π-Distill的理论基础，将教师策略视为近似后验，将学生策略视为目标分布的近似，E步改进教师、M步蒸馏到学生，提供了理论上的优雅解释。第四，对PI类型系统性的三维度分析(工具调用及参数、仅工具调用、自生成提示)揭示了不同信息密度PI的转移特性，这一分析视角在现有文献中也是新颖的。
实验结果
本文在Travel Planner和τ-Bench两个智能体基准测试上进行了全面实验，使用了三个不同规模和家族的模型(Qwen3-4B、Qwen3-8B、R1-Distill-Llama-8B)。核心发现包括：(1)π-Distill在几乎所有设置下都超越了依赖完整CoT数据的行业标准方法SFT w/ CoT + RL。在Qwen3-8B上，π-Distill(alpha=1)在Travel Planner达到44.1%，而SFT w/ CoT + RL仅为32.3%，提升了11.8个百分点；在τ-Bench零售上，π-Distill(alpha=0)达到31.1%，SFT w/ CoT + RL为29.1%。这意味着即使没有推理链，π-Distill通过纯动作轨迹的PI蒸馏也能超越有完整推理链的基线。(2)训练效率方面，π-Distill只需要单一训练阶段，而SFT + RL方法需要在多个SFT检查点间进行昂贵的超参数搜索才能达到最佳性能。(3)联合训练(alpha=0.5)是最稳健的配置，在16个场景中有7个表现最好，仅1个最差，有效避免了独立训练的失败模式。(4)OPSD在τ-Bench上表现突出，尤其在Qwen3-8B上，τ-Bench零售达到27.3%，航空(OOD)达到14.0%。(5)在域外泛化方面，使用τ-Bench零售选择的最佳检查点在GEM搜索工具基准套件(7个数据集)上评估，π-Distill和OPSD在更强的推理模型(Qwen3-8B)上显著优于SFT w/ CoT + RL，展示了更好的泛化能力。(6)分析发现，初始KL散度 {KL}(\pi_T^{base} \| \pi_S^{base})$ 是预测π-Distill性能的关键因素：KL越高，最终性能往往越低。同时，PI的效用 $\Delta = score(\pi_T^{base}) - score(\pi_S^{base})$ 也很重要：即使初始效用为负，通过训练教师学会利用PI(alpha>0)，仍可获得正的最大改进。(7)正则化参数beta>0对于稳定训练和达到最佳性能至关重要，尤其在教师更新参与训练时(alpha>0)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Travel Planner (Qwen3-8B) | 准确率 (%) | π-Distill πT (α=1): 44.1% ± 2.16 | SFT w/ CoT + RL: 32.3% ± 1.10 | +11.8个百分点，相对提升36.5% |
| τ-Bench Retail (Qwen3-8B) | 准确率 (%) | π-Distill πS (α=0): 31.1% ± 0.73 | SFT w/ CoT + RL: 29.1% ± 2.14 | +2.0个百分点，相对提升6.9% |
| τ-Bench Airline OOD (Qwen3-4B) | 准确率 (%) | π-Distill πT (α=1): 12.0% ± 5.29 | SFT w/ CoT + RL: 6.67% ± 5.77 | +5.33个百分点，相对提升79.9% |
| τ-Bench Retail (Qwen3-4B) | 准确率 (%) | π-Distill πS (α=0): 25.3% ± 0.60 | SFT w/ CoT + RL: 23.3% ± 3.02 | +2.0个百分点，相对提升8.6% |
| GEM Search-Tool Suite OOD (Qwen3-8B) | Pass@1 / Pass@10 | π-Distill和OPSD显著优于SFT w/ CoT + RL | SFT w/ CoT + RL在Qwen3-8B上性能下降 | 更强推理模型从在策略学习中获益更多 |
局限与改进
作者坦诚地指出了几个重要局限性。首先，所有PI都来源于前沿模型的动作轨迹，而在既没有前沿模型动作也没有标准答案的情况下如何高效获取有用的PI，文章并未解决，这是一个重要的开放问题。其次，实验仅限于≤8B参数的模型，更大规模的π-Distill和OPSD可能展现出不同的特性，文章未能探索这些规模化效应。第三，Section 7的分析是观察性的(observational study)，而非系统性地控制所有变量，这意味着因果关系的推断存在不确定性。此外，R1-Distill-Llama-8B在大多数PI设置下表现不佳，甚至在SFT w/ CoT + RL下出现性能退化(低于基线模型)，表明方法对模型家族有一定的依赖性。从独立观察来看：(1)文章对alpha参数的搜索空间较为有限(仅测试0、0.5、1三个值)，更细粒度的调优可能带来更好结果，作者也承认了这一点；(2)τ-Bench中移除了transfer_to_human_agents工具来避免reward hacking，但这种修改可能改变了任务的本质难度；(3)自生成提示(Self-Generated Hints)对R1-Distill-Llama-8B无效(模型倾向于返回原始输入或工具调用)，提示PI方法对模型能力有一定门槛要求；(4)三种PI类型之间的比较主要基于τ-Bench和Travel Planner两个域，泛化性结论需要更多验证。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，参数共享虽然提高了效率，但也可能引入优化冲突：教师目标和学生目标的梯度方向可能在某些维度上相互矛盾，导致训练不稳定。文章通过alpha和beta参数来缓解这个问题，但缺乏对梯度冲突的直接分析和量化。改进方向可以是引入梯度投影或冲突检测机制，自动调整两个目标的相对权重。第二，π-Distill本质上是离策略学习，学生从教师生成的轨迹中学习，而教师的分布可能与学生推理时的分布存在偏移。尽管KL正则化可以缓解这一问题，但在高KL场景下(如使用Tool Calls and Arguments作为PI时)，这种偏移可能导致次优性能。一个可能的改进是引入重要性采样的自适应调整或课程学习策略，从低KL的PI类型逐步过渡到高KL类型。第三，OPSD在Qwen3-4B上表现不稳定，尤其在GEM OOD评估中出现显著退化，说明小模型可能过度拟合教师监督，泛化能力受限。改进方向可以是对OPSD引入更多正则化或自适应的KL惩罚。第四，文章将PI仅限于从前端模型轨迹中提取，没有探索更广泛的PI来源(如人工标注的推理提示、结构化知识图谱等)，限制了方法的通用性。
未来方向
作者和基于本文成果可以延伸出多个重要的研究方向。首先，作者明确指出探索在既没有前沿模型动作也没有标准答案时如何获取有用PI是一个有趣方向。Concurrent work(Hubotter et al. 2026)已开始探索通过自我反思挖掘PI，这是一个有前景的方向。其次，将π-Distill和OPSD扩展到更大规模的模型(如70B、400B参数)，研究规模化效应和新的挑战。第三，探索更精细的alpha调优策略——作者发现alpha=0.5最稳健但不一定最优，自适应alpha调度可能带来显著提升。第四，将PI蒸馏框架应用于更广泛的场景，如代码生成(PI可以是参考实现)、数学推理(PI可以是解题步骤)、多模态任务(PI可以是视觉特征)等。第五，研究更丰富的PI形式及其最优编码方式，例如将PI编码为特殊的token序列或嵌入向量而非直接拼接到输入中。第六，探索π-Distill与OPSD的混合策略，在训练不同阶段自适应切换两种算法。第七，从理论角度深化对变分EM视角的理解，特别是当教师和学生共享参数时的收敛性保证和最优性分析。
复现评估
本文的复现性较好。文章提供了详细的实现细节：所有实验使用2块H100 GPU，上下文限制25k token，对超过15k token的轨迹施加长度惩罚。超参数搜索在App. E.3中有完整列表。PI的具体构造方式在Section 4.2和App. H中有详细描述，包括三种PI类型的构造过程和注入prompt的格式(App. H.4)。数据方面，τ-Bench零售训练集500个任务(PI覆盖300个)，Travel Planner 45个训练任务(PI全覆盖)，训练轨迹分别有15,885条和1,986条。所有基线方法都有详细配置说明，包括SFT检查点选择策略和GRPO的具体参数设置。然而，复现仍有一定门槛：需要DeepSeek-chat-v3.1 API来收集原始轨迹，需要H100级别的GPU进行训练，且文章未明确提到代码是否开源。此外，使用Qwen-14B替代原始GPT-4o用户模拟器(在τ-Bench中)以及移除transfer_to_human_agents工具等修改，需要在复现时特别注意。三个随机种子的多次实验和标准差报告增强了结果的可靠性。
论文图表
