基于变分策略蒸馏的语言反馈学习 Learning from Language Feedback via Variational Policy Distillation

VPD的训练过程分为四个阶段交替进行：(1) 学生rollout收集：从当前学生策略$\pi_\theta$采样多个响应$y \sim \pi_\theta(\cdot|x)$；(2) 文本批评生成：通过环境（如编译器）或LLM法官为每个rollout生成诊断反馈C；(3) E-step教师精炼：使用非配对偏好优化更新教师。具体地，对于正样本（成功轨迹）和负样本（失败轨迹），计算隐式奖励$\tilde{r}_\phi(x,y,C) = \beta \log \frac{q_\phi(y|x,C)}{\pi_\theta(y|x)}$，然后通过二元交叉熵损失优化：$L_{E-step}(\phi) = -E_{y^+} \log \sigma(\tilde{r}_\phi(x, y^+, C^+) - \delta) - E_{y^-} \log \sigma(-(\tilde{r}_\phi(x, y^-, C^-) - \delta))$，其中$\delta$是批次隐式奖励的移动平均；(4) M-step学生优化：通过最小化token级KL散度，将精炼后的教师知识传递给学生：$L_{M-step}(\theta) = E_{x \sim D, y \sim \pi_\theta(\cdot|x)}[\sum_{t=1}^{T} D_{KL}(\pi_\theta(\cdot | x, y_{<t}) \| sg[q_\phi(\cdot | x, C, y_{<t})])]$，其中$sg[\cdot]$是stop-gradient操作，确保优化仅针对学生参数。整个算法支持非对称更新频率，例如每5个M-step进行1个E-step，这能稳定目标分布，让学生在教师前进前内化指导。

VPD的技术新颖性体现在多个层面。首先，理论层面，这是首次将on-policy语言反馈学习严格形式化为变分EM问题，引入数学上严谨的教师-学生协同进化框架，而非启发式的组合方法。其次，算法层面，E-step采用非配对偏好优化（BCO），解决了诊断反馈场景下无法构建标准偏好对的关键难题，这是创新性的技术应用。第三，架构层面，动态信任区域设计（$\pi_{ref} \leftarrow \pi_\theta$）是重要的工程创新，确保了M-step蒸馏的高度稳定性，避免了传统方法中的梯度方差和模式崩溃问题。最后，实现层面，共享权重设计（$\theta = \phi$）在保持协同进化能力的同时，完全消除了多模型范式的显存开销，使得VPD可以在标准硬件上高效执行，这极大地提高了实用性。实验验证显示，这种设计带来的训练稳定性收益远远超过了E-step引入的30-55%计算开销。

独立分析显示VPD存在几个具体方向的弱点。在数学推理等严格逻辑域中，VPD的劣势可能源于教师反馈的微妙误差：如果教师诊断反馈不精确或存在缺陷，蒸馏这种噪声指导会过度约束探索，无意中强化了不正确的推理步骤。一个可能的改进方向是引入反馈不确定性估计，让学生在不确定时减少对教师指导的依赖，保持一定的探索空间。在基础模型冷启动场景中，如果模型缺乏基本指令遵循能力，无法正确消化提示中的诊断反馈C，教师的目标分布就会受到污染。改进可以是在训练初期混合更多的稀疏RL信号，或设计从易到难的课程学习，让模型先获得基本能力再进行复杂自蒸馏。架构层面，严格共享权重限制教师能力，改进可以是使用参数高效微调（如LoRA）单独调整教师部分，在保持内存效率的同时扩展表达能力。此外，VPD需要环境能生成有用的文本反馈，对于缺乏此类反馈的任务，可以考虑从成功-失败轨迹对比中学习对比表示，或预训练一个轻量级批评模型来生成诊断。

作者提出和基于成果可延伸的未来研究方向包括：首先，探索解耦或部分解耦的参数化（如对教师使用参数高效微调），在不重新引入巨大内存开销的情况下扩展教师的诊断能力。其次，分析EM框架在不同反馈噪声程度下的理论边界，理解何时语言反馈的噪声超过其密集信息优势。第三，扩展这个协同进化过程到持续学习场景，让模型能够在不断获得新反馈的情况下持续改进。基于成果的可延伸方向包括：开发半监督方法，将环境奖励与语言反馈结合，利用稀疏奖励的鲁棒性和密集反馈的信息性；探索自主评估方法的协同进化，让批评模型与推理策略共同进步；研究VPD在更开放域（如创意写作、对话）中的适用性，可能需要重新设计反馈生成机制；分析VPD在不同模型尺寸下的scaling law，理解什么规模的模型最能受益于语言反馈蒸馏；开发自动化的E-step更新频率调度策略，根据训练动态自适应调整而非固定的F5配置。

论文未明确提及代码和模型权重的开源计划，但附录中提供了详细的超参数和实验设置。实验在标准硬件上运行，通过共享权重架构消除了多模型方法的显存开销。评估使用了多个公开基准：LiveCodeBench v6、SciKnowEval（生物、化学、材料、物理四个子域）、DAPO-Math、Math500、AIME24/25、AMC23。模型包括Qwen3-1.7B、Qwen3-8B和OLMo3-7B-Instruct。论文提供了在Qwen3-1.7B上的两个主要消融实验（E-step更新频率和参考先验类型）的详细结果。然而，完整复现可能面临挑战：E-step的非配对偏好优化实现细节（如$\delta$的具体更新规则）可能需要仔细调优；不同任务需要设计不同的反馈生成器（如代码编译器 vs LLM法官）；训练稳定性可能对超参数（如$\beta$值、更新频率）敏感。论文提到完整训练增加30-55%运行时间，这对计算资源有一定要求。总体而言，虽然缺少开源代码，但论文提供了足够的技术细节来理解方法，有经验的团队应该能够实现复现。