OVD：在策略语言蒸馏 OVD: On-policy Verbal Distillation
用离散语言分数替代token级概率匹配，实现内存高效的推理能力蒸馏
前置知识
知识蒸馏
知识蒸馏是一种模型压缩技术，通过将大型教师模型的知识转移到小型学生模型，使学生模型在保持较小计算开销的同时获得接近教师模型的性能。传统方法需要教师模型输出完整的词汇表概率分布，计算和内存开销巨大。
理解知识蒸馏是理解本文改进的基础，本文正是针对传统蒸馏方法的内存瓶颈问题提出了创新解决方案。
在策略学习
在策略学习是指学生模型在训练过程中使用自己生成的样本进行优化，而不是使用预先生成的教师样本。这避免了分布偏移问题，但传统方法需要存储完整的token级概率分布，导致内存瓶颈。
本文的核心创新之一就是实现了内存高效的在策略学习，通过语言分数替代token级概率存储。
GRPO
Group Relative Policy Optimization是一种强化学习算法，通过对每个问题的多个轨迹进行组内相对奖励标准化来消除难度偏差，然后应用PPO风格的裁剪梯度进行策略更新。
本文在GRPO框架基础上集成了语言蒸馏，是算法实现的技术基础。
语言反馈
语言反馈是指教师模型通过离散的分数（如0-9）对推理轨迹的质量进行评估，而不是输出完整的词汇表概率分布。这种方法更符合人类推理的层次结构，且大大减少了内存需求。
语言反馈是本文的核心创新点，替代了传统的token级概率匹配，实现了内存效率的数量级提升。
研究动机
传统token级知识蒸馏方法存在严重的内存瓶颈。以Qwen-7B模型为例，当批次大小B=8、每个问题N=4个样本、序列长度L=8192、词汇表大小V=152K时，存储FP32的logits需要约160GB内存，远超现代加速器的容量。内存消耗随序列长度线性增长，使得长推理链的token级蒸馏变得不可行。此外，token级蒸馏将所有token同等对待，忽略了推理的层次结构，并且严格匹配学生和教师分布限制了模型的探索能力。
本文的目标是本文旨在开发一种内存高效的蒸馏框架，能够在不存储完整词汇表概率分布的情况下，将大型推理模型的推理能力转移到小型学生模型。具体目标包括：大幅降低内存消耗、支持从黑盒教师模型进行蒸馏、保持在策略学习的分布匹配优势、提供可解释的步骤级反馈。
与已有工作不同的是，现有方法要么依赖token级概率匹配（内存开销大），要么只能进行序列级监督（反馈稀疏）。本文的独特切入角度是用离散的语言分数（0-9）替代token级概率匹配，实现轨迹级优化而非token级优化。这种方法不仅大幅降低内存（从O(N·L·V)降至O(N·K·v)，其中K≪L是推理步骤数，v=10是语言词汇表大小），还提供了语义有意义的反馈，能够评估推理质量而不仅仅是token匹配。
核心方法
OVD框架的核心思想是将知识蒸馏重新定义为轨迹匹配问题，而非token级概率匹配问题。整体技术路线如下：首先，学生模型生成多步推理轨迹；然后，教师模型通过语言评分接口提供离散分数（0-9）评估轨迹质量；接着，应用语言拒绝采样筛选高质量轨迹；最后，在混合的教师-学生轨迹上进行GRPO优化。这种方法将内存消耗从与词汇表大小V成正比降低到与语言词汇表大小v成正比（v=10），实现了数量级的内存节省。
OVD的核心创新是用离散的语言分数替代token级概率匹配。传统方法需要存储每个token在整个词汇表上的概率分布，而OVD只存储教师对整个轨迹的离散分数（0-9）。具体来说，对于Web问答任务，教师评估搜索查询质量和推理连贯性；对于数学推理任务，教师评估逻辑推导的正确性。这种设计不仅将内存从O(N·L·V)降至O(N·K·v)（约48000倍减少），还提供了语义有意义的反馈，解释为什么步骤正确或错误。
方法步骤详情
OVD的完整训练流程包含以下步骤：1）策略采样：在每次迭代中，学生模型为每个问题生成N个轨迹y(j)i ~ πS(·|xi)，每个轨迹包含可变长度的推理步骤；2）语言评分：教师模型对每个轨迹提供离散分数S(y) ∈ {0,1,...,9}，可以在步骤级或轨迹级进行评分；3）语言拒绝采样：根据分数阈值θ接受或拒绝轨迹，a(y) = 1[S(y)≥θ]，低分轨迹被拒绝并替换为教师示范；4）奖励计算：为接受的轨迹计算奖励，Web问答使用F1分数R(y) = F1(y,y*)，数学推理使用精确匹配R(y) = δ(y,y*)；5）优势标准化：在每个问题的轨迹组内标准化奖励A(y(j)i) = (R(y(j)i) - μi)/(σi + ϵ)以消除难度偏差；6）策略优化：使用PPO风格的裁剪梯度LRL = -E[min(ρA, clip(ρ,1-ϵc,1+ϵc)A)]进行更新，其中ρ = πS(y|x)/πoldS(y|x)。
技术新颖性
OVD的技术新颖性体现在多个方面：首先，它是首个将知识蒸馏与环境智能体的可验证反馈相结合的在策略蒸馏框架，能够利用环境代理（如搜索引擎）提供的丰富监督信号。其次，语言拒绝采样机制与标准拒绝采样不同，它不需要访问教师的token级概率分布，仅使用离散分数进行轨迹筛选，适用于黑盒教师模型。第三，OVD建立了与交互式模仿学习的理论连接，证明了语言拒绝采样产生无偏梯度估计，并展示了混合训练分布如何自动调整从教师示范到学生自主学习的课程。第四，框架统一处理了Web问答（包含搜索交互的轨迹）和数学推理（纯推理步骤）两种任务类型。
实验结果
实验在Web问答和数学推理两大类任务上验证了OVD的有效性。在Web问答任务中，OVD在8个基准测试上持续超越所有基线方法：以Qwen-2.5-3B-Base为骨干，OVD平均EM分数达到43.96%，比Search-R1（32.8%）高出11.16个百分点，比ZeroSearch（34.5%）高出9.46个百分点。在最具挑战性的GAIA数据集上，OVD（13.33%）比ZeroSearch（7.27%）提升83%。在数学推理任务中，OVD展现出卓越的样本效率：仅使用1个随机训练样本，在800步训练后达到55.3%的平均准确率，比基线（23.9%）提升31.4个百分点。使用2个样本时，OVD在300步就达到55.2%，接近1个样本800步的效果（55.3%），展示了快速收敛能力。特别值得注意的是，SFT训练的环境代理比基于提示的代理性能提升101.7%（平均分数0.486 vs 0.241），这展示了从模拟数据中涌现出的判别能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Web问答（8个基准平均） | 精确匹配(EM) | 43.96% | 32.8% (Search-R1) | +11.16个百分点 |
| GAIA（最具挑战性） | 精确匹配(EM) | 13.33% | 7.81% (Search-R1) | +5.52个百分点（70.7%相对提升） |
| Musique（多跳推理） | 精确匹配(EM) | 26.40% | 13.0% (ZeroSearch) | +13.4个百分点（103%相对提升） |
| 数学推理（10个基准平均） | 准确率 | 55.3% | 23.9% (零样本基线) | +31.4个百分点 |
| SAT-Math | 准确率 | 90.6% | 87.5% | +3.1个百分点 |
局限与改进
尽管OVD取得了显著成果，但仍存在一些局限性。首先，教师模型的质量直接影响蒸馏效果，论文使用QwQ-32B作为数学推理的教师，这本身就是一个大型模型，对于真正资源受限的场景可能不够实用。其次，语言分数的粒度（v=10）是一个固定设计，理论分析表明更大的v能提供更精确的质量评估，但实际中教师模型可能难以校准过度细粒度的分数分布。第三，拒绝采样阈值θ的选择对性能影响显著，论文展示了不同阈值配置的结果差异，但最优阈值可能因任务和模型而异，需要仔细调优。第四，实验主要在相对较小的模型（3B-7B）上进行，对于更大规模模型（如70B+）的适用性尚未验证。此外，Web问答任务的评估依赖于特定的搜索引擎模拟器，真实世界搜索引擎的多样性和动态性可能影响泛化能力。
独立分析的弱点
论文存在几个可改进的弱点：1）教师模型依赖问题：当前方法需要大型教师模型（如QwQ-32B）提供语言评分，这本身需要大量计算资源。改进方向可以是开发更轻量级的评分器，或者使用多个小型专门化评分器的集成。2）静态阈值问题：拒绝采样阈值θ在整个训练过程中保持固定，但最优阈值应该随着学生能力的提升而动态调整。可以设计自适应阈值机制，根据学生的当前接受率αt自动调整θ。3）任务特异性设计：Web问答和数学推理使用不同的奖励函数和轨迹结构，缺乏统一的任务无关框架。未来可以探索更通用的评分和优化机制。4）离散分数的信息损失：将连续的质量评估离散化为0-9的分数会引入量化误差（虽然理论分析显示误差为O(1/v)），可以探索混合离散-连续评分方案。
未来方向
基于OVD的成果，可以延伸出多个研究方向：1）多模态蒸馏：将语言蒸馏扩展到视觉-语言推理任务，评估图像推理轨迹的质量。2）交互式环境扩展：除了搜索引擎，将框架应用于代码执行器、数学求解器、数据库查询等更多可验证环境，创建更丰富的监督信号。3）自适应课程学习：利用理论分析中揭示的自动课程特性（αt从小到大的自然过渡），设计更精细的课程策略。4）多教师蒸馏：整合来自不同专业领域教师的反馈，实现更全面的能力转移。5）实时部署优化：开发推理时的轻量级评分器，支持在资源受限设备上的实时质量评估和轨迹筛选。6）理论深化：研究语言词汇表大小v与收敛速度的精确关系，以及最优阈值选择的理论指导。
复现评估
论文提供了相对详细的复现信息：开源代码和项目页面（https://OVD.github.io）可供访问；实验使用公开可用的基座模型（Qwen2.5-3B-Base、LLaMA-3.2-3B-Base）；Web问答基准测试集都是标准数据集（NQ、TriviaQA、HotpotQA等）；数学推理基准包括SVAMP、ASDiv、MMLU等广泛使用的测试集。计算资源方面，训练使用4块AMD Instinct MI210 GPU（每块64GB HBM2e），环境模拟使用NVIDIA A100 GPU。超参数设置详细记录在附录中，包括学习率（1×10^-6）、批次大小（64）、KL散度系数（0.001）等关键参数。然而，完全复现仍有一定难度：需要训练或获取SFT环境模拟器，这本身需要额外的计算资源和数据；不同任务需要不同的超参数配置；拒绝采样阈值需要针对具体任务调优。总体而言，中等难度的复现挑战。
论文图表
该图展示了在Qwen2.5-7B模型上，token级蒸馏的内存消耗如何随序列长度L线性增长。图中显示了Logits（FP32）、Logits（BF16）、KV Cache（28层）和总内存（FP32+BF16）四种组件的内存占用。当序列长度从0增加到32K时，Logits存储增长约16倍快于KV Cache，成为长上下文蒸馏的主要内存瓶颈。
这张图直观展示了传统token级蒸馏的内存瓶颈问题，是理解本文动机的关键。它清晰显示了为什么需要OVD这样的替代方案——存储完整词汇表概率分布的内存开销随序列长度线性增长，且增长速度远快于KV Cache。
该图展示了在固定序列长度L=8192的情况下，内存消耗如何随每个问题的轨迹数N（从0到32）线性增长。Logits和KV Cache都与N成正比，但Logits需要约16倍更多的内存。当N=32时，仅Logits就需要240GB内存，使得token级蒸馏在强化学习场景中不可行。
这张图进一步强调了在强化学习设置下，当需要为每个问题采样多个轨迹时，token级蒸馏面临的内存挑战。它展示了为什么OVD的轨迹级优化在强化学习场景中尤为重要。