← 返回 2026-04-29

TCOD：探索多轮自主智能体在策略蒸馏中的时序课程 TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents

Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng 📅 2026-04-27 👍 9 2026-07-13 08:36
curriculum learning knowledge distillation multi-turn agent on-policy distillation reinforcement learning
arXiv HuggingFace PDF

TCOD用轨迹深度课程解决多轮OPD的KL崩塌问题

前置知识

在策略蒸馏 (On-Policy Distillation, OPD)

OPD 用学生自己生成的轨迹作为状态分布, 通过最小化教师与学生之间的 token 级 KL 散度把教师的推理能力迁移到小模型。与基于稀疏奖励的 RL 不同, OPD 提供稠密监督信号, 样本效率更高。

本文正是研究 OPD 在多轮智能体上的失效模式, 必须理解 OPD 的目标函数才能看懂 TCOD 改进了什么。

KL 散度 (Kullback–Leibler Divergence)

衡量两个概率分布差异的非对称度量, $D_{KL}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}$。本文特别关注整条轨迹上的累积 KL, 用作教师监督信号可靠性的代理指标。

论文核心发现就是多轮 OPD 中轨迹级 KL 单调上升, 这是训练不稳定的诊断信号, 也是 TCOD 设计课程的依据。

课程学习 (Curriculum Learning)

Bengio 等 2009 年提出的训练范式: 让模型先学简单样本再逐步过渡到困难样本。本文把"难度"重新定义为"轨迹深度"——训练初期只让学生走 k 步, 随训练推进 k 线性增长。

TCOD 的两个变体 F2B/B2F 都建立在课程学习思想之上, 但其难度定义不需要外部打分模型, 是关键创新点。

ReAct 智能体框架

Yao 等 2022 提出的范式: LLM 在每轮生成"思考 + 动作"的链式推理, 环境返回观察, 形成 (ot, at, ot+1) 循环。本文所有 benchmark (ALFWorld, WebShop, ScienceWorld) 都基于该范式。

理解每轮会产生累积的历史状态 $h_t$ 才能明白为什么错误会跨轮放大——这是论文分析 KL 不稳定的物理基础。

研究动机

在策略蒸馏 (OPD) 在数学、QA 等单轮任务上已被证明有效, 但作者把它直接搬到多轮智能体场景时发现了严重失效。在 ALFWorld 上用 Qwen3-30B-A3B-Instruct 当教师、Qwen3-0.6B/1.7B 当学生时, 训练过程中轨迹级 KL 不降反升 (Figure 2a), 学生成功率从有希望直接崩塌到接近 0 (Figure 2b); 即便用更大的 Qwen3-3B 学生最终能收敛, 初始 KL 高达 ~1000, 比收敛值 ~60 高出 1 个数量级 (Figure 2c), 训练极不稳定。物理原因是多轮交互会把学生生成的动作和观察追加到历史 $h_t$ 中, 错误随 turn index 单调累积, 让学生逐步滑出教师的有效支持区域 (Figure 2d 显示 per-turn KL 随 turn 单调上升), 教师在那些状态上的概率分布本身就不准, 监督信号变得不可靠。

本文的目标是论文目标是为多轮智能体场景设计一种 OPD 变体, 既要保留 OPD 稠密监督信号的样本效率优势, 又要避免长视野累积错误导致的 KL 崩塌和成功率塌陷。具体而言, 期望在小模型 (如 Qwen3-1.7B) 上能恢复 OPD 已崩溃的训练 (从近零 SR 拉到可用水平), 在大模型 (如 Qwen2.5-7B) 上进一步拉开与教师的差距 (甚至在 hard split 上超越教师), 同时缩短训练时间, 并保持对核心超参数 η 的鲁棒性。最终输出一个只需对现有 OPD 框架做"小改动"就能落地的算法。

与已有工作不同的是，已有改进 OPD 的工作 (Jang 2026, Jin 2026, Ko 2026 等) 都集中在目标函数设计、前后向 KL 平衡、奖励裁剪等单轮优化层面, 没有触及多轮交互独有的"状态-动作因果耦合"问题。另一些课程学习方法 (Zhang 2026, Wang 2025b) 用外部模型度量样本难度, 复杂且与 OPD 的"在线自生成"属性冲突。Lauffer 2025 的"只学专家纠错动作"虽然简单, 但破坏了 on-policy 设定。本文把难度定义为轨迹深度, 完全靠学生自生成数据推进课程, 填补了"多轮 OPD 缺乏与 on-policy 兼容的课程机制"这一空白。

核心方法

TCOD (Temporal Curriculum On-Policy Distillation) 的整体思路是"控制学生每条训练轨迹的最大长度"。直觉是: 多轮 KL 不稳定的根因是错误累积, 那就先让学生在短轨迹上把早期步骤学好, 等学生足够稳再把轨迹逐步拉长, 这样后续轮次学生始终处在教师熟悉的分布内。技术上用线性 pacing 函数 $k = k_{start} + \lfloor n / \eta \rfloor$ 控制第 n 步训练时允许的最大步数 k, k 随训练从 $k_{start}$ 单调增长到 $T_{max}$。作者给出两个变体: F2B (Forward-to-Backward) 让学生从环境初始状态出发自己走 k 步就停; B2F (Backward-to-Forward) 先用教师执行成功轨迹的前缀 (L−k) 步 (stop-gradient), 再让学生接管完成剩余 k 步。两个变体都只需在现有 OPD 训练循环里加几行截断/前缀代码, 改动极轻量。

TCOD 与已有 OPD 改进的本质区别在于: (1) 难度定义不同——不用外部打分模型, 而把"轨迹深度 k"当难度; (2) 干预位置不同——不动损失函数, 而是改截断学生 rollout; (3) F2B 让学生从短到长自我探索, B2F 让教师先铺路, 再让学生从近终点反推回起点, 巧妙地把 train-test mismatch 问题解决在课程末期。具体地, B2F 在训练末段会把教师前缀长度线性缩短到 0, 保证测试时学生可以端到端从初始状态出发。

方法步骤详情

训练前 (仅 B2F 需要): 教师 pass@10 采样收成功轨迹 $\mathcal{T}^*=\{\tau^*\}$。每 step n: ① 算上限 $k=\min(k_{start}+\lfloor n/\eta\rfloor, T_{max})$; ② F2B——学生 $\pi_\theta$ 自走 k 步, 损失 $\mathcal{L}_{F2B}=\sum_{t=0}^{k-1} D_{KL}(\pi_\phi\|\pi_\theta)$; ③ B2F——采样长度 L 的 $\tau^*$, 教师 stop-gradient 走 L−k 步后学生接管 k 步, 损失 $\mathcal{L}_{B2F}=\sum_{t=L-k+1}^{L} D_{KL}(\pi_\phi\|\pi_\theta)$; ④ Adam 更新 $\theta$。默认 $k_{start}=1$, $\eta=2$, 8×H20 上 4 actor + 2 learner + 2 teacher 异步部署, 加 staleness-aware 子轨迹回放 ($\Delta_{max}=2$)。

技术新颖性

技术新颖性体现在三方面: 第一, 把多轮智能体的"错误累积"问题转化为"轨迹深度"这一标量维度的课程, 无需外部难度估计器, 与 on-policy 完全兼容; 第二, 提出 F2B 和 B2F 两种互补的课程方向, F2B 强调正向渐进, B2F 通过教师前缀把学生放到"成功门口"再学, 这一反向课程思路在 OPD 文献中未见; 第三, 工程上把课程截断和子轨迹回放、staleness 过滤、异步 rollout 整合, 在 Trinity-RFT 框架里只需几十行代码改动就能落地。

Overview of our method TCOD-F2B/B2F. Comparison of vanilla on-policy distillation and TCOD.
Figure 3: Overview of our method TCOD-F2B/B2F. Comparison of vanilla on-policy distillation and TCOD.
Temporal Curriculum On-Policy Distillation: TCOD-F2B
Algorithm 1: Temporal Curriculum On-Policy Distillation: TCOD-F2B
Temporal Curriculum On-Policy Distillation: TCOD-B2F
Algorithm 2: Temporal Curriculum On-Policy Distillation: TCOD-B2F

实验结果

ALFWorld 用 GRPO 调 Qwen2.5-7B 当教师 (seen 85.71%, hard 6.61%), TCOD-F2B 让 Qwen2.5-3B 学生在 seen 从 65.72% 提到 81.43% (+15.71), unseen 60.45%→79.19% (+18.74), 平均轮次 14.73→11.76; Qwen2.5-7B 学生 + TCOD-B2F 在 seen 取得 86.43% 比教师高 0.7, hard 6.61%→20.66% (+14.05), 学生可超教师。跨 benchmark (Qwen3-30B 教师), Qwen3-1.7B 学生 OPD 几乎全失败 (三任务平均 0.17%), TCOD 拉到 ~18% (提升 18.47); Qwen3-4B 学生稳定提升 1–2 点。Figure 4 显示 TCOD 训练 KL 平稳不飙升、SR 收敛更快; Figure 6 显示 TCOD-F2B/B2F 总训练时间比 OPD 短 32% 和 24%。$\eta\in\{2,4,6\}$ 下 SR 浮动 <2%, 鲁棒性很好。

Summary of the benchmarks used.
Table 1: Summary of the benchmarks used.
Out-of-domain and hard set performance comparison between TCOD and OPD on ALFWorld.
Table 2: Out-of-domain and hard set performance comparison between TCOD and OPD on ALFWorld.
Performance comparison between TCOD-F2B/B2F and OPD. We report Success Rate (%) on validation sets. η is the curriculum's growth rate.
Table 3: Performance comparison between TCOD-F2B/B2F and OPD. We report Success Rate (%) on validation sets. η is the curriculum's growth rate.
Training Dynamics comparison of TCOD and OPD on ALFWorld. (a)(b) Success rate and KL divergence for Qwen2.5-7B student; (c)(d) Success rate and KL divergence for Qwen2.5-1.5B student.
Figure 4: Training Dynamics comparison of TCOD and OPD on ALFWorld. (a)(b) Success rate and KL divergence for Qwen2.5-7B student; (c)(d) Success rate and KL divergence for Qwen2.5-1.5B student.
Further Analysis of TCOD-F2B/B2F on ALFWorld. (a)(b) average action rounds and advantages for Qwen2.5-7B; (c)(d) max response length and policy gradient loss for Qwen2.5-1.5B.
Figure 5: Further Analysis of TCOD-F2B/B2F on ALFWorld. (a)(b) average action rounds and advantages for Qwen2.5-7B; (c)(d) max response length and policy gradient loss for Qwen2.5-1.5B.
Training time comparison. (a) Qwen3-4B on ScienceWorld; (b) Qwen2.5-7B on ALFWorld.
Figure 6: Training time comparison. (a) Qwen3-4B on ScienceWorld; (b) Qwen2.5-7B on ALFWorld.
查看结构化数据
任务指标本文基线提升
ALFWorld Seen (Qwen2.5-3B 学生) Success Rate (%) TCOD-F2B 81.43%, TCOD-B2F 77.86% Vanilla OPD 65.72%, Teacher 85.71% +15.71 (F2B), +12.14 (B2F) 相对 OPD
ALFWorld Unseen (Qwen2.5-3B 学生) Success Rate (%) TCOD-F2B 79.19%, TCOD-B2F 70.90% Vanilla OPD 60.45% +18.74 (F2B), +10.45 (B2F)
ALFWorld Hard split (Qwen2.5-7B 学生) Success Rate (%) TCOD-B2F 20.66%, TCOD-F2B 18.18% Vanilla OPD 13.22%, Teacher 仅 6.61% +14.05 超过教师 (B2F)
WebShop (Qwen3-1.7B 学生, η=6) Success Rate (%) TCOD-F2B 21.78% Vanilla OPD 0.14% +21.64 相对 OPD
ALFWorld (Qwen3-1.7B 学生, η=6) Success Rate (%) TCOD-B2F 24.91% Vanilla OPD 0.32% +24.59 相对 OPD
ScienceWorld (Qwen3-1.7B 学生, η=4) Success Rate (%) TCOD-B2F 11.34% Vanilla OPD 0.05% +11.29 相对 OPD
ALFWorld 总训练时间 (Qwen2.5-7B) Hours TCOD-F2B 4.9h, TCOD-B2F 5.5h Vanilla OPD 7.18h 训练时间减少约 32% (F2B) / 24% (B2F)

局限与改进

作者明确指出的限制: 第一, TCOD-B2F 依赖教师预收集的成功轨迹 $\mathcal{T}^*$, 在无 pass@10 数据的新域难以直接用, F2B 没这依赖但 hard split 提升有限 (Qwen2.5-3B 上 F2B 9.92% 还比 OPD 低 0.82); 第二, 课程效果与教师在目标域的能力强绑定, 当教师本身不专精时 (Table 3 通用 Qwen3-30B) 学生始终比教师低约 2 个点, TCOD 不能无中生有; 第三, $\eta$、$k_{start}$ 虽在 {2,4,6} 区间鲁棒, 但最优值仍需少量扫描。我自己的观察: 论文只覆盖 ≤30 turn 的环境, TCOD 对 100+ turn 超长视野是否有效未验证; Table 3 中 Qwen3-4B 部分 η 配置 (如 B2F η=4 的 WebShop) 比 OPD 略低 0.91, 说明反向课程并非绝对优势。

独立分析的弱点

独立观察的具体弱点: 1) TCOD-B2F 在 Qwen2.5-3B ALFWorld hard split 仅 13.22%, 提升有限——改进方向是给 B2F 加 warm-up, 先让学生从 k=L 自走建立信心; 2) η=2 在 Qwen3-4B WebShop 反降 0.91, 课程增长过快让学生没时间固化——改进方向是自适应 η, 根据 KL 增速自动放慢; 3) 论文只在 Qwen 系列内蒸馏, 未在 Llama、DeepSeek 等异构师生对验证, TCOD 对词表不匹配时的稳定性未知; 4) TCOD-F2B 的 hard split 表现 (9.92%) 低于 OPD (10.74%), 纯正向课程无法解锁教师也搞不定的尾部任务, 可考虑把 hard 任务单独用 B2F+teacher prompt 工程化处理; 5) B2F 预收集 pass@10 成功轨迹的成本论文未量化。

未来方向

作者明确提到的方向是把 TCOD 推广到更长视野的任务 (例如 100+ turn 的网页操作) 并验证其稳定性。基于成果可延伸的方向包括: 1) 把课程维度从单一"轨迹深度"扩展到"任务难度 + 轨迹深度"的二维课程, 用 RFT 难度判别器打分; 2) 把 TCOD 与 reward shaping 结合, 用课程节拍替代人工 η 调度; 3) 把 F2B 和 B2F 做成端到端混合训练, 每个 batch 随机选择, 互补收益; 4) 研究 TCOD 对非自回归、tool-use 智能体的适配; 5) 探索异步 TCOD 在多任务持续学习 (continual RL) 中的 anti-forgetting 效应。

复现评估

作者基于 Trinity-RFT (Pan et al., 2025) 开源框架实现, 并称 F2B/B2F 只需"small code modifications"即可集成, 但截至论文未给出独立代码仓库链接 (Appendix 无 GitHub URL), 只能从 Algorithm 1/2 自行实现。硬件门槛较高: 8× NVIDIA H20 (96GB) GPU, 4 卡 actor + 2 卡 learner + 2 卡 teacher, 单实验 (Qwen3-4B ScienceWorld) ~10 小时 (Figure 6 给出 8.55/9.6/10h 量级), 跑完所有消融和 4 对师生组可能需要数天到一周。数据方面, ALFWorld/WebShop/ScienceWorld 均为公开 benchmark, B2F 需先用教师 pass@10 在目标域采样成功轨迹, 消耗额外教师推理算力。整体难度: 算法可重现度高, 全量实验算力投入大, 建议优先复现 Table 3 中 Qwen3-1.7B + η=6 这组性价比最高的实验。

论文图表

(left) In OPD for multi-turn agents, as the number of turns increases, the teacher assigns progressively lower probabilities to tokens in student-generated responses, indicating increasing KL divergence at each turn, rendering the supervision signal unreliable. (right) OPD uses all turns and thus includes compounding errors, whereas TCOD-F2B/B2F progressively expands from short to long trajectories, alleviating calculating the error turns.
Figure 1: (left) In OPD for multi-turn agents, as the number of turns increases, the teacher assigns progressively lower probabilities to tokens in student-generated responses, indicating increasing KL divergence at each turn, rendering the supervision signal unreliable. (right) OPD uses all turns and thus includes compounding errors, whereas TCOD-F2B/B2F progressively expands from short to long trajectories, alleviating calculating the error turns.

左半部分用 ALFWorld 中"清洁鸡蛋"任务示意 OPD: 教师在每个 turn 上对 token 分配的概率从 0.86/0.92/0.98 (turn 1) 单调降到 0.00/0.00/0.00 (turn n), 表示 KL 随 turn 上升; 右半部分用学生步(蓝)和教师步(红)的对比说明 TCOD-F2B (从上到下加深) 与 TCOD-B2F (从末端反推回起点) 如何避开错误 turn。

这是论文的核心动机图, 一图讲清两件事: 多轮 KL 不稳定的物理证据, 以及 TCOD 的解决思路, 是理解论文 motivation 最关键的一张图。

Trajectory-level KL analysis across different teacher–student pairs on ALFWorld. (a)(b) show that the KL divergence escalates throughout training and task completion rates collapse. (c) shows the large gap between the initial and converged KL divergence during OPD training. (d) reveals the underlying reason: the KL divergence grows with the turn index.
Figure 2: Trajectory-level KL analysis across different teacher–student pairs on ALFWorld. (a)(b) show that the KL divergence escalates throughout training and task completion rates collapse. (c) shows the large gap between the initial and converged KL divergence during OPD training. (d) reveals the underlying reason: the KL divergence grows with the turn index.

四子图: (a) 训练过程中 KL 单调上升到 ~2000; (b) 同一时间段 success rate 从 0.25 掉到 0; (c) 不同师生对的 initial vs final KL, 差距最大达 1650 vs 97.0; (d) per-turn KL 在 30 个 turn 内从约 20 涨到 30+, 实证错误累积。

这是给出 Trajectory-Level KL Instability 经验证据的图, 把 motivation 中的现象用具体曲线钉死, 阅读时必看。