基于分布式 DAgger 从丰富反馈中进行强化学习 Reinforcement Learning from Rich Feedback with Distributional DAgger
提出 DistIL 算法，通过前向交叉熵和序列级信用分配解决自蒸馏方法的单调性缺陷
前置知识
f-divergence
一类度量两个概率分布之间差异的方法的统称，包括反向 KL 散度 $D_{KL}(p\|q) = \sum p \log \frac{p}{q}$、Jensen-Shannon 散度 $JS(p,q) = \frac{1}{2}KL(p\|m) + \frac{1}{2}KL(q\|m)$ 等。这些度量在自蒸馏方法中用于衡量学生策略与教师策略的差异，通过最小化这种差异来提升学生性能。
本文核心贡献之一是证明了基于 f-divergence 的自蒸馏目标（如 SDPO 使用的反向 KL、OPSD 使用的 JS）不能保证单调策略改进，理解这一概念对于理解本文的动机和理论分析至关重要。
DAgger (Dataset Aggregation)
经典模仿学习算法，通过让学习者在自身策略访问的状态上学习，同时专家在这些状态上提供指导。标准 DAgger 中专家提供单一动作，而本文提出了分布式变体，专家可以提供完整的动作分布。这种方法解决了传统模仿学习中专家与学习者状态分布不匹配的问题。
本文提出的 DistIL 是 DAgger 的分布式变体，理解 DAgger 的基本原理有助于理解 DistIL 的设计思想，特别是为什么要在学生策略访问的状态上进行学习。
信用分配 (Credit Assignment)
在强化学习中，确定哪些行动或决策导致了最终结果的过程。在长序列生成中，早期 token 的影响可能要到后续步骤才显现。局部信用分配只考虑当前步骤的教师-学生不匹配，而序列级信用分配能够将未来的不匹配反向传播到早期决策。
本文证明了现有方法（SDPO、OPSD）使用的局部梯度近似可能导致严格次优策略，而 DistIL 的核心创新之一就是实现了未来感知的序列级信用分配。
自然策略梯度 (Natural Policy Gradient, NPG)
一种策略优化方法，使用 Fisher 信息矩阵 $F(\theta)$ 来对梯度进行预处理，即 $\theta' = \theta - \eta F(\theta)^{-1}\nabla_\theta J(\theta)$。这种方法确保更新方向在策略空间中是自然的，通常能提供更好的稳定性。本文在理论分析中使用 NPG 来证明单调性性质。
本文的理论保证（单调策略改进）是基于自然策略梯度步的分析，理解 NPG 有助于理解为什么 DistIL 的前向交叉熵目标能够保证向更好的教师移动会提升学生性能。
自蒸馏 (Self-Distillation)
将同一模型的条件版本（教师）的知识蒸馏回原始版本（学生）。教师模型通常通过额外反馈 $f$ 条件化，即 $\pi_T(\cdot|x,f,y_{1:t-1})$，学生是原始策略 $\pi_S(\cdot|x,y_{1:t-1})$。训练通过最小化两个分布之间的差异进行，如 $L = \mathbb{E}_x[\sum_t D(\pi_S\|\pi_T)]$。
自蒸馏是从丰富反馈学习的现有范式，本文正是要解决现有自蒸馏方法（SDPO、OPSD）的局限性，理解这一背景有助于理解本文的贡献和对比。
研究动机
现有强化学习从可验证奖励（RLVR）和自蒸馏方法存在两个根本性问题。首先是单调性缺陷：基于 f-divergence 的自蒸馏目标（如 SDPO 使用的反向 KL、OPSD 使用的 Jensen-Shannon）不能保证单调策略改进。论文 Proposition 1 证明了即使教师比学生更好（奖励差距 $\Delta > 0$），自然梯度步也可能降低奖励。Proposition 2 进一步通过构造三臂赌博机问题，证明了反向 KL 蒸馏可以严格降低期望奖励 $J(\pi_{\theta'}) \leq J(\pi_\theta) - c_1\eta$。其次是局部信用分配的局限：现有方法（SDPO、OPSD）使用 token-wise 局部梯度近似，忽略了早期 token 选择如何影响未来教师-学生分歧出现的状态分布。Proposition 3 构造了两步上下文 MDP，证明局部梯度收敛到策略 $\pi_{\text{local}}$ 的期望奖励为 $1/3$，而完整序列级梯度收敛到 $\pi_{\text{seq}}$ 的期望奖励为 $2/5$，说明局部近似会导致严格次优策略。
本文的目标是本文的目标是设计一个从丰富反馈中进行强化学习的算法，该算法应具备三个关键性质：保证单调策略改进（当教师比学生更好时，理想更新应该提升学生）、实现序列级信用分配（将未来的教师-学生分歧反向传播到早期决策）、支持黑盒教师（无需访问教师概率，只需采样）。
与已有工作不同的是，本文的独特切入角度是将学习从丰富反馈问题重新构建为在线模仿学习问题，类似于 DAgger 框架。与现有工作专注于改进蒸馏目标的工程实现不同，本文回到理论基础，分析了为什么 f-divergence 目标和局部梯度会失败，并提出了具有理论保证的替代方案。这种方法论上的区别使得本文能够同时解决单调性和信用分配两个问题。
核心方法
DistIL 的整体思路是将学习从丰富反馈问题视为在线模仿学习。当学生策略 $\pi_\theta$ 生成轨迹时，丰富反馈 $f$ 诱导出一个特权教师策略 $\pi_T$，该教师在学生访问的状态上提供指导。DistIL 优化前向交叉熵目标 $L_{\text{DistIL}}(\theta) = \mathbb{E}_{x\sim\rho, y\sim\pi_\theta(\cdot|x)}[\sum_{t=1}^H H_\times(\pi_T(\cdot|x,y_{1:t-1}), \pi_\theta(\cdot|x,y_{1:t-1}))]$，其中 $H_\times(p,q) = -\mathbb{E}_{y\sim p}[\log q(y)]$ 是前向交叉熵。与前向 KL 不同的是，前向交叉熵不需要访问教师概率，可以用教师样本无偏估计，从而支持黑盒教师。技术路线上，DistIL 使用完整梯度而非局部近似，通过链式法则将未来的不匹配反向传播到早期 token。
核心创新点有两个：目标函数的选择和梯度估计的方式。首先是使用前向交叉熵而非反向 KL 或 Jensen-Shannon，这确保了自然梯度更新直接将学生策略向教师策略移动，而不是通过 log-ratio 加权扭曲更新方向。其次是使用完整序列级梯度而非局部近似，梯度分解为 $\nabla_\theta L_{\text{DistIL}} = \sum_t \mathbb{E}[\nabla_\theta H_\times(\pi_T, \pi_\theta)] + \sum_t \sum_{\tau>t} \mathbb{E}[\nabla_\theta \log \pi_\theta(a_t|s_t) H_\times(\pi_T, \pi_\theta)]$，第一项是教师加权的局部模仿，第二项是将未来的教师-学生分歧通过 $\nabla_\theta \log \pi_\theta(a_t|s_t)$ 反向传播到早期决策。这种设计本质上与 SDPO 不同，SDPO 权重是学生-教师不匹配的 log-ratio，而 DistIL 直接模仿教师分布。
方法步骤详情
DistIL 的完整步骤如下：首先初始化学生策略 $\pi_{\theta_1}$ 和教师策略 $\pi_\phi$（参数 $\phi$ 初始化为 $\theta_1$）。对于每个迭代 $i=1$ 到 $N$：1) 从提示分布采样 $x\sim\rho$；2) 对于每个组内样本 $j=1$ 到 $G$，采样轨迹 $y_j \sim \pi_{\theta_i}(\cdot|x)$ 并收集反馈 $f_j$；3) 对于轨迹中的每个时间步 $t=1$ 到 $|y_j|$，计算未来信用 $C_{\text{fut}}^{j,t} = \frac{1}{|y_j|-t-1}\sum_{\tau>t} H_\times(\text{sg}(\pi_\phi(\cdot|s_\tau, f_j)), \pi_{\theta_i}(\cdot|s_\tau))$；4) 计算梯度 $\nabla_\theta L_{\text{DistIL}} = \frac{1}{G}\sum_{j=1}^G \sum_{t=1}^{|y_j|} C_{\text{fut}}^{j,t} \cdot \nabla_\theta \log \pi_{\theta_i}(y_{j,t}|s_t) - \sum_a \text{sg}(\pi_\phi(a|s_t, f_j)) \cdot \nabla_\theta \log \pi_{\theta_i}(a|s_t)$；5) 使用 PPO 风格的信任域更新 $\theta_i$ 得到 $\theta_{i+1}$；6) 更新教师参数 $\phi \leftarrow \beta\phi + (1-\beta)\theta_{i+1}$。最终返回策略 $\hat{\pi} = \pi_{\theta_{N+1}}$。输入是初始策略和提示分布，输出是训练后的策略。
技术新颖性
技术新颖性体现在三个层面。理论层面，这是首次证明 f-divergence 自蒸馏不能保证单调策略改进，并提供了反例。同时证明了局部梯度近似可以导致严格次优策略。算法层面，DistIL 首次将 DAgger 框架扩展到分布式模仿学习，并引入前向交叉熵目标，在保持与奖励对齐的同时支持黑盒教师。实现层面，完整梯度计算实现了未来感知的信用分配，将未来的不匹配反向传播到早期决策，这是对现有 token-wise 局部更新方法的根本改进。
实验结果
实验在三个设置下验证了 DistIL 的有效性。在科学推理基准 SciKnowEval L3 上，DistIL 在 Qwen3-8B 和 OLMo3-7B-Instruct 两个模型家族上都取得了最佳 Avg@16 性能，大多数列都领先。物理领域在 Qwen3-8B 上达到 80.8 分（5 小时），比 SDPO 的 72.4 分提升 8.4 分，比 GRPO 的 63.6 分提升 17.2 分。化学领域在 Qwen3-8B 上达到 80.8 分，比 SDPO 的 80.2 分提升 0.6 分。OLMo3-7B-Instruct 上，物理领域达到 74.5 分，比 SDPO 的 64.9 分提升 9.6 分。性能优势在约 20 步训练后显现并持续保持，与 Proposition 4 的单调性改进保证一致。在编程任务 LiveCodeBench v6 上，DistIL 在所有 Best@k 和 Maj@k 指标上都一致领先，小 k 时优势最明显。DistIL 的 Accuracy/Avg@16 = 0.656，Score/Avg@16 = 0.482，超过 SDPO 的 (0.643, 0.467) 和 GRPO 的 (0.600, 0.405)。在困难数学推理上，DistIL 在大多数列中取得最佳结果。AIME25 在 Qwen3-4B 上达到 55.3 分，比 SDPO 的 49.6 分提升 5.7 分，比 OPSD 的 51.5 分提升 3.8 分。在 Qwen3-8B 上达到 71.1 分，超过 SDPO 的 68.3 分和 OPSD 的 69.7 分。GRPO 与基线完全相同，确认了零通过率导致零优势的预期失败。SFT 在大多数基准上低于基线，表明过拟合而非可泛化推理。消融研究显示完整信用分配至关重要，只有局部交叉熵的 CE 基线表现出更高方差和严格更差的性能。Top-100 蒸馏达到最佳最终性能和最稳定训练轨迹，优于 Top-1 和 Full 蒸馏。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SciKnowEval L3 科学推理（化学） | Avg@16 (5h) | 80.8 (Qwen3-8B), 81.0 (OLMo3-7B) | SDPO: 80.2 (Qwen3-8B), 79.2 (OLMo3-7B) | +0.6 分 (Qwen3-8B), +1.8 分 (OLMo3-7B) |
| SciKnowEval L3 科学推理（物理） | Avg@16 (5h) | 80.8 (Qwen3-8B), 74.5 (OLMo3-7B) | SDPO: 72.4 (Qwen3-8B), 64.9 (OLMo3-7B) | +8.4 分 (Qwen3-8B), +9.6 分 (OLMo3-7B) |
| LiveCodeBench v6 编程 | Accuracy/Avg@16 | 0.656 | SDPO: 0.643, GRPO: 0.600 | +0.013 vs SDPO, +0.056 vs GRPO |
| LiveCodeBench v6 编程 | Score/Avg@16 | 0.482 | SDPO: 0.467, GRPO: 0.405 | +0.015 vs SDPO, +0.077 vs GRPO |
| AIME25 数学推理 | Avg@16 (Qwen3-4B) | 55.3 | SDPO: 49.6, OPSD: 51.5 | +5.7 vs SDPO, +3.8 vs OPSD |
| AIME25 数学推理 | Avg@16 (Qwen3-8B) | 71.1 | SDPO: 68.3, OPSD: 69.7 | +2.8 vs SDPO, +1.4 vs OPSD |
局限与改进
作者在文中承认的局限性包括：DistIL 需要访问能够诱导更好教师策略的丰富反馈，如果反馈没有帮助（$\Delta \leq 0$），则蒸馏不会提升学生。Proposition 4 的单调性保证依赖于切空间可实现性假设，即教师方向必须在学生策略类的得分函数张成的空间内可表示，尽管作者指出这是对表达能力强的策略类的一个温和条件。理论保证中的 concentrability 系数假设教师和学生覆盖之间有有限比率，这在实践中可能不成立。我观察到的额外局限性：完整梯度计算可能带来额外的计算开销，尽管论文中未提供详细的运行时比较。Top-K 蒸馏需要选择合适的 K（论文使用 K=100），这个超参数可能需要针对不同任务调优。该方法假设反馈可以诱导特权教师，但对于某些类型的反馈（如仅自然语言批评），如何构造有效教师可能需要额外设计。
独立分析的弱点
独立分析的弱点包括：首先是计算复杂度，完整梯度需要计算所有未来时间步的交叉熵并将其反向传播，对于长序列这可能显著增加内存和计算成本。其次是超参数敏感性，Top-K 蒸馏需要选择 K，论文中 Top-100 效果最好，但这个值可能因任务而异，需要额外的调优工作。第三是教师依赖性，虽然支持黑盒教师，但性能仍强烈依赖于教师策略的质量，如果反馈不能诱导出真正更好的教师，方法可能失效。改进方向：可以探索稀疏化或近似技术来降低完整梯度的计算成本，例如只对重要的未来状态计算信用分配。可以设计自适应 K 选择策略，根据教师分布的熵或任务特性自动确定 Top-K 值。可以集成教师质量评估机制，当检测到教师没有改进时动态调整训练策略或切换到其他方法。
未来方向
作者提出的未来研究方向包括：将 DistIL 扩展到更丰富的反馈类型，例如人类偏好、多轮对话中的逐步纠正等。探索与其他方法的结合，如与过程奖励模型或评估器集成，以获得更细粒度的监督。基于成果可延伸的方向包括：研究在离线设置下的应用，当只有固定数据集而非在线采样时如何应用 DistIL。探索在多任务或持续学习设置下的表现，教师和学生可能在多个任务间共享知识。研究如何将 DistIL 与大语言模型的对齐技术结合，例如 RLHF 或 RLAIF，以利用更丰富的反馈信号。可以探索在推理时应用 DistIL 的思想，例如通过自蒸馏改进模型的逐步推理质量。
复现评估
论文提供了代码链接 https://github.com/rishabh-1086/distIL，但需要评估实际代码质量和文档完整性。实验使用了公开可用的基准：SciKnowEval L3（科学推理）、LiveCodeBench v6（编程）、AIME24/25、HMMT25、AMC23、Minerva（数学推理），这些数据集大多可公开获取。模型初始化来自公开的 Qwen3-8B、Qwen3-4B-Instruct-2507、OLMo3-7B-Instruct，这些模型可从 HuggingFace 等平台获取。硬件方面使用 4× NVIDIA H200 GPU 进行训练，这是高端硬件，复现成本较高（估计每块 H200 GPU 成本在 2-3 万美元）。训练时间约 5 小时达到报告性能，虽然时间不算太长，但硬件要求较高。难度评估为中等偏高：代码开源、数据公开、模型公开是优点，但高端硬件要求可能限制一些研究者的复现能力。详细的超参数设置和实验配置需要在代码中进一步验证。
论文图表
