LLM 智能体时代下对 DAgger 算法的再探索 Revisiting DAgger in the Era of LLM-Agents

训练流程（Algorithm 1）按 iteration 循环。输入：teacher $\pi_e$、student $\pi_\theta$、prompt $x$、regime $r\in\{\text{TURN},\text{TRAJ}\}$、mixing 参数 $\beta_i$（DAgger-style）或前缀长度分布 $\rho_i$（AggreVaTe-style）、horizon $T_{\max}$。第 1 步若选 TURN 模式，按 $p^{\text{turn}}_i(b_{1:T_{\max}})=\prod_{t}\beta_i^{b_t}(1-\beta_i)^{1-b_t}$ 采样 turn-level 的 teacher/student 指示符；第 2 步若选 TRAJ 模式，先采前缀长度 $\kappa\sim\rho_i$，再令 $b_{1:\kappa}=0$、$b_{\kappa+1:T_{\max}}=1$。第 3 步初始化状态 $s_1=x$。第 4–9 步进入 rollout 循环：每个 turn 先无条件地查 teacher 拿监督标签 $\tilde{a}_t\sim\pi_e(\cdot\mid s_t)$，然后根据 $b_t$ 决定实际执行动作 $a_t$（$b_t=1$ 用 $\tilde{a}_t$，$b_t=0$ 让 student 自采），环境返回观测 $o_t$，更新 $s_{t+1}=(x,a_{1:t},o_{1:t})$，遇到 finish 或 $T_{\max}$ 终止。第 10 步返回执行轨迹 $\tau$、指示符序列 $b_{1:T}$ 与数据 batch $\mathcal{B}(\tau)=\{(s_t,\tilde{a}_t)\}_{t=1}^T$。训练阶段把收集到的 $\mathcal{D}_i=\{(s_t,\tilde{a}_t)\}$ 装入 batch，用 cross-entropy 损失 $\mathcal{L}_i(\theta)=-\mathbb{E}_{(s_t,\tilde{a}_t)\sim\mathcal{D}_i}\sum_j \log\pi_\theta(\tilde{a}_{t,j}\mid s_t,\tilde{a}_{t,<j})$ 更新 $\theta$；为节省算力，共享前缀的 transitions 会被 pack 到同一条序列里并通过 loss mask 保证梯度与逐条更新等价。$\beta_i$ 与 $\rho_i$ 随迭代衰减，使得早期 teacher 主导、后期 student 主导。

技术新颖性体现在三方面。其一，把 DAgger 从单步 IL 拓展到多轮、部分可观察的 LM agent setting，状态 $s_t\triangleq(x,a_{1:t-1},o_{1:t-1})$ 是不断增长的上下文，关键是 teacher 干预与状态收集都解耦到 turn 粒度，这点在原 DAgger 论文里没有处理过。其二，统一了 SFT/RL/OPD/DAgger 四种后训练方法的优化目标，论文把每种方法抽象为对 (context 分布 $p_s$、label 分布 $p_a$、重要性权重 $w(s,a)$) 的不同选择，得出表 2 的精确映射——这种「用同一损失分解」的观点是本文相对 [2, 22, 49] 的概念贡献。其三，把 Imitation Learning 的混合 rollout 与黑盒 LLM teacher 兼容，无需 teacher 暴露 logits，因此可以直接调用 Gemini/GPT/Claude 等闭源模型作为 $\pi_e$；在 OPD 必须拿到 teacher logits 的限制下，这是一个相当实用的工程突破。

独立观察到的三个弱点。第一个是 teacher 调用成本被低估。DAgger-style 每个 turn 无条件查一次 $\pi_e$ 拿 $\tilde{a}_t$，这意味着 teacher 推理次数近似翻倍（rollout 一次 + 标注一次），在用 Qwen3-30B-A3B 这种 MoE teacher 时，开销可能接近 student 训练本身；论文没有给出 wall-clock 训练时间或 cost-per-improvement 的对比。第二个是 teacher 切换概率 $\beta_i$ 的调度是 hand-tuned（每个 iteration 衰减一个值），并没有给出自动 schedule 的方案——这与 RL 里的 PPO clip ratio、OPD 里的蒸馏温度一样是经验敏感的 knob，但论文没做 ablation。第三个是评估单一。论文只报告了任务分辨率（pass@1 greedy）和一个 reverse KL 指标，没有覆盖 token-level 重复率、平均 trajectory 长度、API cost、人类评估等更细粒度的可用性指标；同时 SWE-Bench Verified-100 与 full Verified 之间「密切跟踪」的判断只来自一句文字，并没有给出相关系数或表格佐证。改进方向：对 $\beta_i$ schedule 做自动调节（可考虑用 student 与 teacher 之间的 reverse KL 闭环反馈来调），并把 DAgger 与 reverse-KL teacher label 显式组合（即同时做 SFT-on-student-state 与 KL-on-student-state 的 hybrid loss），可能在 GRPO 与 OPD 之间再榨出几个点。

作者直接指出的方向包括：把 turn-level 与 trajectory-level 两种 rollout 策略自适应地结合（例如用 reverse KL 估计当前 student 偏离 teacher 的程度，超过阈值再插入 teacher 介入），并探索 decay schedule 的自动化。从结果可延伸的方向有：(1) 把 DAgger 框架搬到多模态/工具更广的 agent benchmark（如 WebArena、GAIA、AI Research Agent 任务），验证算法是否对非 SWE 类的 long horizon 任务同样有效；(2) 研究 teacher 的迭代升级——用当前 DAgger 训练出的 student 充当下一轮 teacher，观察性能是否还能继续抬升，对应经典 DAgger 的 DAGGER 风格迭代是否在 LLM 上 self-play 出新东西；(3) 在 DAgger-style 训练里加入一道 KL 约束（对应统一公式 14 的 $\lambda\Omega_i(\theta)$）防止 student 在 teacher 标签上「过度自信」，理论上能缓解论文提到的 context overflow 问题；(4) 把 prompt/context 长度作为可学习的预算管理，让 student 自己学会提前结束或切分。

复现难度中等偏高。论文没有放出官方代码或 checkpoint 链接（arXiv 2605.12913v1 截至提交未挂 GitHub），但实验栈描述相当充分：student 用 Qwen3-4B-Instruct-2507 与 Qwen3-8B（HuggingFace 公开权重）、teacher 用 Qwen3-Coder-30B-A3B-Instruct（同样公开）、scaffold 用 OpenHands、训练数据 SWE-Gym 公开、评估 SWE-Bench Verified 公开。Appendix E–G 提到 rollout schedule、采样参数、context limit、chat template canonicalization 等实现细节，提供了「同 scaffold + 同数据下对比 SFT/GRPO/OPD」的复现路径。主要障碍在于算力：2,338 任务 + ~8K 有效样本 + 30B-A3B teacher 持续标注，保守估计需要 4B student 跑 200+ GPU·小时、8B 翻倍；而且要复现 reverse KL 评估需要 student 在自己 rollout 上跑 teacher 推理一遍，又是一笔 teacher 成本。整体而言，方法逻辑透明、数据公开，但完整复现需要非平凡的算力预算与工程实现。