ActionOPD：蒸馏决策而非词元

以语义动作为监督单元的黑盒在线蒸馏，让小模型 agent 对齐教师决策而非复刻词元

前置知识

在线蒸馏（On-Policy Distillation, OPD）

传统离线蒸馏让学生在教师预先生成的固定序列上做监督微调；在线蒸馏则让学生自己生成序列（或在环境中交互），教师在学生遇到的每个前缀/状态上提供监督信号，例如 token 级 KL 散度或采样 token 的对数概率（GKD、MiniLLM）。由于训练数据来自学生自己的轨迹，训练与部署之间的状态分布偏移被大幅缩小。

ActionOPD 继承了"在学生遇到的状态上监督"的在线思想，但把监督信号从 token 分布换成动作语义，理解 OPD 的动机和代价（需要教师 token 概率、tokenizer 兼容）才能看懂本文的改进点。

REINFORCE 策略梯度

score-function 恒等式 $\nabla_\theta J = \mathbb{E}[r \cdot \nabla_\theta \log \pi_\theta(y|s)]$：只要某个量 $r$ 依赖于动作而不依赖 $\theta$，就可以把它当奖励，用对数概率的梯度来优化期望奖励。它只需要能计算策略自身输出的 log 概率，不需要对奖励做微分。

ActionOPD 的核心推导（公式 2-4）就是把"教师动作似然"目标改写成 REINFORCE 形式，奖励是二值语义一致指示器——这正是它无需教师 token 概率的数学根源。

组相对优势与 PPO 裁剪（GRPO 风格）

对同一状态采一组 $N$ 个响应，用组内平均奖励作为每个候选的基线（免去训练价值网络），再做跨组标准化得到优势 $A$；更新时用 PPO 的裁剪替代目标 $\min(\rho A, \text{clip}(\rho, 1-\eta, 1+\eta)A)$ 限制每次策略更新的幅度，其中 $\rho$ 是新旧策略的概率比。

ActionOPD 的优化器正是"状态组"上的 GRPO+PPO（还叠加 dual clip），组内候选共享同一教师多重集打分，理解这套机制才能读懂它的训练流程和消融实验。

状态分布不匹配（协变量偏移与误差累积）

模仿学习中的经典问题（Ross et al. 2011 的 DAgger 动机）：学生一旦在某一步偏离教师轨迹，就会进入教师示范从未覆盖的状态，在这些状态上的错误又导致进一步偏离，错误随交互轮次复合增长。补救办法是让专家在"学习者访问的状态"上提供标注。

这是本文动机部分的核心论据：离线蒸馏失败于此，ActionOPD 通过在学生自身体验的状态上查询教师来规避，本质上是 DAgger 思想在动作层的重现。

语义动作与工具调用

把 agent 的一步行为抽象为"语义动作"：一次工具调用由工具名加规范化后的参数定义，一条面向用户的回复由其意图和事实内容定义。同一个动作可以有无数种措辞和推理路径实现，例如 get_weather(city="Paris", unit="celsius") 的参数键序无关紧要。

全文建立在这个抽象上：监督在动作语义层匹配，优化却在学生自己的 token 上进行，"解耦决策监督与 token 实现"是理解方法设计和实验解释的钥匙。

研究动机

把昂贵的前沿 agent 蒸馏进小模型时，必须回答两个问题：在哪些状态下监督、以什么粒度对齐。现有两条路线各有硬伤。离线蒸馏（序列级 KD，Kim & Rush 2016）在教师生成的完整轨迹上做微调，监督密集但受状态分布不匹配困扰：学生一旦某步偏离教师轨迹，就会进入示范未覆盖的状态，错误在多轮工具交互中复合累积——后果在实验中可见，未经蒸馏的 Qwen3-4B 在 AppWorld Challenge 上任务完成率（TGC）只有 3.6%，8B 也只有 5.4%。token 级在线蒸馏（GKD、MiniLLM）在学生自生成序列上用教师 token 概率监督，缓解了不匹配，但要求教师暴露 token 概率且与学生 tokenizer 兼容；跨模型家族（例如让 DeepSeek 教 Qwen）需要额外的显式 token 对齐技术。更根本的是，这两类方法都在 token 粒度施加监督，从不显式匹配动作语义：同一个"查询巴黎天气"的决策可以用无数种措辞和推理链实现，强迫学生逐 token 复刻教师文本，把模型容量浪费在与决策无关的表面形式上。

本文的目标是本文要把 agent 蒸馏的监督单元从 token 提升到语义动作，在学生自身遇到的状态上最大化教师动作的期望似然 $\max_\theta \mathbb{E}_{s\sim d^S,\, a^T\sim\pi_T(\cdot|s)}\ \pi_\theta(a^T|s)$，同时只需对教师拥有黑盒生成访问——不需要教师 token 概率、不需要 tokenizer 对齐、不要求同一模型家族。可量化的验收标准是：用 Qwen3-4B/8B 两个学生搭配 Qwen3.7-Flash 与 DeepSeek-V4-Flash 两个跨家族教师组成 2×2 共四种配置，在训练环境之外的四个分布外基准（BFCL Multi-turn、ToolSandbox、AppWorld、τ²-bench）上，平均成绩较各自基座提升 3.3–6.9 个百分点，并在同家族受控对比中与离线蒸馏、token 级 OPD 保持竞争力。论文还希望验证两个经验规律：更大学生、更强教师是否带来更好蒸馏结果，以及同一模型在特权上下文下能否充当自己的教师（Self-ActionOPD）。

与已有工作不同的是，本文的切入角度是把"学什么"与"怎么优化"解耦：监督定义在动作语义层（工具名+规范化参数、消息的意图与事实内容），而参数更新发生在学生自己的推理与动作 token 上。关键观察是一个近乎平凡的恒等式：某个教师动作的"似然"等于所有语义上实现该动作的学生输出的概率质量之和（公式 2），把它代入 score-function 恒等式后，梯度中只剩学生自身的 log 概率和一个二值语义匹配指示器——教师只需被"采样"，不需要被"打分"。相比同期黑盒/语义蒸馏工作（GAD 需训练判别器、OVD 用语言化评分评估推理质量、ASL 需要世界模型比较 UI 状态转移、MENTOR 依赖轨迹级工具集一致性与终端正确性），ActionOPD 直接在学生遇到的状态上采样同状态教师样本并做即时动作匹配，不需要推理文本匹配、完整参考轨迹或终端奖励，也无需训练任何额外组件，这是它区别于所有已有方法的独特位置。

核心方法

先给直觉：学徒应该学师傅"在什么局面下做什么决定"，而不是逐字背诵师傅说过的话——同一个决定可以有一百种说法。技术路线分三步。第一步定目标：最大化学生策略下教师动作的期望似然 $J_{\text{ActionOPD}}(\theta)=\mathbb{E}_{s\sim d^S, a^T\sim\pi_T}[\pi_\theta(a^T|s)]$，其中动作似然按公式 2 展开为 $\pi_\theta(a^T|s)=\sum_y \pi_\theta(y|s)\,\mathbf{1}\{\phi_s(y)=a^T\}$，即所有语义匹配该动作的学生输出的概率质量之和。第二步做估计：在每个状态采 $K=3$ 个教师响应构成多重集，学生候选响应与每个教师样本做语义匹配得到计数 $c(s,y)$，奖励设计为（公式 6）：无效动作 $-1$，有效但零匹配 $0$，有匹配则 $1+\lambda\frac{c(s,y)-1}{K-1}$（$\lambda=0.5$），即首次匹配记满分、后续匹配只加 0.25 的频次加成。第三步做优化：状态组 rollout 让 $N=4$ 个学生候选共享同一教师多重集打分，只执行奖励最高候选的动作推进环境；随后组内奖励中心化、跨批白化得到优势 $A_{g,i}$，广播到候选的所有生成 token，用 PPO 裁剪目标（含 dual clip）更新学生。

本质区别在于"似然"的定义。传统蒸馏最大化复刻某一条教师序列的概率（对数似然），ActionOPD 最大化教师动作被学生以任意措辞实现的概率质量（期望似然）。代入 score-function 恒等式后，梯度为 $\nabla_\theta J=\mathbb{E}[\mathbf{1}\{\phi_s(y)=a^T\}\nabla_\theta\log\pi_\theta(y|s)]$——公式里只剩学生自己的 log 概率和一个二值匹配指示器，教师 token 概率完全不出现，这正是黑盒兼容性与跨家族蒸馏能力的数学来源。论文特意选择期望似然而非期望对数似然 $\mathbb{E}[\log\pi_\theta(a^T|s)]$：后者会引入无法估计的 $1/\pi_\theta(a^T|s)$ 加权因子。另一个关键设计是频次加成：附录 A.2 证明公式 6 恰好分解为匹配计数与 any-match 概率的凸组合 $J_\lambda=\alpha C_\theta+(1-\alpha)U_\theta-V_\theta$（$\alpha=\lambda/(K-1)$），保证"所有候选都匹配教师"的组仍因匹配次数不同而有非零优势，可以继续区分优劣。这套机制让学生保留自己的推理风格，只对齐决策语义。

方法步骤详情

完整流程见 Algorithm 1。(1) 每次迭代冻结行为策略 $\theta_{old}$，对每个任务启动重置环境得到公共状态 $s$。(2) 在 $s$ 采 $K=3$ 个教师响应（每样本允许 2 次格式重试，只保留协议有效样本），解析为语义动作多重集 $M_T(s)$；教师与学生通过各自原生 prompt 接收相同的公共上下文与工具定义。(3) 从 $\pi_{\theta_{old}}$ 采 $N=4$ 个学生候选，逐个与每个教师样本匹配：工具调用先程序化比较工具名与规范化参数（忽略键序、归一化数值），剩余差异交给冻结 LLM 结合工具 schema 判断；自然语言消息先做规范化精确匹配，否则由 LLM 比较意图与事实内容；模糊判断一律判负。得到计数 $c(s_g,y_{g,i})$ 并按公式 6 计奖励 $r_{g,i}$。(4) 整组 $(s_g,\{y_{g,i},r_{g,i}\})$ 存入缓冲区，随后选 $i^\star=\arg\max_i r_{g,i}$ 的解析动作执行、推进环境——重复这一"教师引导提交"产生每任务一条轨迹的状态分布。(5) 收集完成后剔除无监督或等奖励的组，组内奖励中心化、跨批白化得优势 $A_{g,i}$。(6) 以温度缩放概率比 $\rho_{g,i,\ell}(\theta)$ 的 PPO 裁剪目标（$\eta=0.2$，dual clip $c=3$）对 active token 做均值更新；不加 KL 惩罚或熵 bonus。训练超参：AdamW、学习率 $10^{-6}$ 恒定、1 个 PPO epoch、minibatch 32、每步 64 个任务启动。

技术新颖性

与 token 级 OPD 的区别：监督从概率分布退化为采样动作的语义一致率，因此不需要教师 log 概率、logits 或 tokenizer 对齐——DeepSeek-V4-Flash 成功蒸馏进 Qwen3 学生即为直接证据。与离线 KD 的区别：监督发生在学生自身体验的状态上，且不把教师推理文本当作硬性模仿目标。与结果奖励 RL 的区别：奖励来自教师动作语义而非任务成败标签，可用于无可验证奖励的环境。与最相近的 ASL（动作语义学习）相比：ASL 的 RL 变体需要世界模型比较生成动作与参考动作诱导的 UI 状态转移，ActionOPD 只需黑盒教师加匹配器，匹配对象是即时动作而非轨迹级后果。与 GAD/OVD/Rubric 类方法相比：无需训练判别器、无需教师给推理质量打分。状态组 rollout 本身也有新意：通过"采一组候选、提交最优"引入受控的偏 off-policy 状态访问，兼具 DAgger 式专家查询的探索能力与同状态组内比较的局部基线，这是把 RLVR 中的组相对技巧搬到了动作蒸馏场景。

**Figure 3**: ActionOPD at one state. Student candidates are scored against a shared teacher multiset. One highest-reward action is committed. All candidates in retained groups contribute to training.

实验结果

（一）跨基准迁移（Table 1）：在 6,697 个 AWM/EnvScaler 筛选任务上训练 100 步后，四种配置在四个分布外基准的平均成绩全部超过基座，提升 3.3–6.9 个百分点。Qwen3-4B：Base 30.8 → +Qwen3.7-Flash 35.9（+5.1）→ +DeepSeek-V4-Flash 37.7（+6.9）；Qwen3-8B：Base 35.6 → +Qwen3.7-Flash 39.0（+3.3）→ +DeepSeek-V4-Flash 40.0（+4.4）。分项看 4B+DeepSeek：BFCL 34.3→44.1，ToolSandbox 55.5→63.3，AppWorld Normal TGC 9.5→13.1，τ² Telecom pass1 20.6→24.1。（二）Scaling 规律：同等任务预算下 8B 学生最终均值高于 4B（图 1 未取整值：40.03 对 37.66，同为 DeepSeek 教师）；更强教师蒸馏出更强学生，DeepSeek-V4-Flash 直接评估均值 71.2 高于 Qwen3.7-Flash 的 65.6，且在两种学生规模下都领先，证明跨家族蒸馏真实有效。（三）方法对比（Table 2，Qwen3-4B + Qwen3-32B 教师、τ² 178 训练任务、50 步）：KD 的 test 平均 pass4 最高（19.2，重复成功可靠性最好）；OPD test pass1 39.6、pass4 17.5；ActionOPD test pass1 40.0（比 OPD 高 0.4pp）但 pass4 只有 14.2；ActionOPD 训练集平均 37.9/13.7 均高于 OPD 的 34.3/11.7。结论：在线监督普遍优于离线（pass1），ActionOPD 有竞争力但并非全面占优。（四）消融（Table 3）：Validity Reward（只奖励动作有效性）最差，test 30.8/10.0——全有效组没有任何学习信号；Binary Reward 36.9/14.2；Random Commit（放弃教师引导提交）37.5/12.5；完整 ActionOPD 40.0/14.2 最优。（五）模式分析（Table 4）显示训练后学生学会了遵守政策约束（basic economy 禁改签，违规 2/4→0/4）、区分信息来源与操作目标（0/4→3/4）、完成并验证承诺的动作（0/4→2/4）。（六）Self-ActionOPD（Table 5）：同一 Qwen3-4B 在特权上下文下当自己的教师，50 步后 test 平均 pass1/pass4 从 29.2/7.5 提升至 34.0/10.0（+4.8/+2.5pp），且三个域的 pass1 全部上升，说明特权教师学到的决策改进被学生以纯公共上下文保留了下来。

**Table 1**: Cross-benchmark transfer after 100 ActionOPD steps (%).

**Table 2**: Tau distillation comparison: pass1/pass4 (%). Qwen3-4B students and a Qwen3-32B teacher.

**Table 3**: Tau ablations: pass1/pass4 (%).

**Table 4**: Selected positive cases: Qwen3-4B before/after 100 ActionOPD steps with DeepSeek-V4-Flash.

**Table 5**: Self-ActionOPD on Tau: pass1/pass4 (%), using Qwen3-4B.

**Figure 1**: Student–teacher scaling of ActionOPD. Larger students attain higher final averages. DeepSeek-V4-Flash yields higher student averages than Qwen3.7-Flash.

查看结构化数据

任务	指标	本文	基线	提升
四基准平均（BFCL/ToolSandbox/AppWorld/τ²）	等权平均分（%）	Qwen3-4B + DeepSeek-V4-Flash：37.7	Qwen3-4B Base：30.8	+6.9 pp
四基准平均	等权平均分（%）	Qwen3-8B + DeepSeek-V4-Flash：40.0	Qwen3-8B Base：35.6	+4.4 pp
BFCL Multi-turn	Accuracy（%）	44.1（4B+DeepSeek）	4B Base：34.3	+9.8 pp
ToolSandbox（local-only 子集）	Similarity（%）	63.3（4B+DeepSeek）	4B Base：55.5	+7.8 pp
AppWorld Normal	TGC（%）	13.1（4B+DeepSeek）	4B Base：9.5	+3.6 pp
τ²-bench 平均	pass1（%）	40.0（KD/OPD 对比实验）	OPD：39.6；KD：37.5	+0.4 pp（vs OPD）
τ²-bench 平均	pass4（%）	14.2（ActionOPD）	KD：19.2	-5.0 pp（落后于 KD）
τ²-bench（Self-ActionOPD）	test 平均 pass1/pass4（%）	34.0/10.0	Base：29.2/7.5	+4.8/+2.5 pp

局限与改进

作者承认三条局限：其一，语义一致不等于正确，教师的错误或次优决策会成为学习目标，方法没有任何正确性校准机制；其二，LLM 匹配器在比较自然语言消息和工具参数差异时可能产生假阳性或假阴性，错误分配奖励；其三，固定 $K=3$、$N=4$ 的样本集在合理决策高度分散的长程交互中可能几乎没有语义重合，监督信号稀疏，增大 $K$ 和 $N$ 能改善覆盖但生成与匹配成本更高，且该情形下的收益未经实验验证。我的补充观察：Table 2 中 ActionOPD 的 pass4（14.2）明显低于 KD（19.2），说明即时的动作语义对齐未必转化为可重复的任务级成功，原因未被深入分析；论文只做了单次训练、无多随机种子方差报告，0.4pp 的 pass1 优势在 4 次交互试验的噪声下说服力有限；提升集中在低基线分项（如 AppWorld Normal 9.5→13.1），绝对水平与教师（84.5）差距仍大；此外语义匹配器对模糊情形一律判负，可能系统性低估语义等价、压低奖励期望。

独立分析的弱点

第一，匹配器实质上是一个未经校准的奖励模型：模糊判断一律判负的设计虽保守，却会让语义等价但措辞新颖的候选系统性拿低奖励，在多样动作空间里引入负偏噪声，改进方向是让匹配器输出概率化（如多次采样投票）并把 $c/K$ 的期望直接作为奖励。第二，$K=3$ 的教师多重集覆盖太窄：长程任务中合理决策分散，互不匹配的概率迅速上升，监督稀疏，改进方向是按状态的动作熵自适应增大 $K$，或先对教师动作聚类、以类中心参与匹配。第三，纯一致性蒸馏会忠实复制教师的缺陷——agreement 不等于 correctness，改进方向是引入稀疏的结果奖励或验证器通过信号做混合目标（类似 ASL 的 RL 变体），用任务成败修正一致性偏差。第四，教师引导提交机制让状态分布 $d^S$ 偏离学生真实部署分布，这种偏 off-policy 偏差既无理论刻画也无实证度量，改进方向是在评估时同时报告教师引导分布与普通 rollout 分布下的成绩，或训练后期退火回普通采样。第五，pass4 显著落后于 KD 暴露了"即时决策对齐"与"任务级可靠性"之间的断层，奖励完全不看承诺一致性与长期规划，改进方向是在组内比较中加入轨迹级信用分配或后见优势估计。

未来方向

作者明确提出的方向：Self-ActionOPD 证明了同一模型在特权上下文（私有目标摘要、参考动作、目标状态）下可以给自己的公共上下文版本提供有效的动作级监督，这打开了一条 agent 自我改进的路径——模型先把特权信息"消化"进权重，再在下一轮迭代中承担教师角色；作者还提出增大 $K$、$N$ 以改善长程稀疏监督（成本待验证）。基于本文成果可以延伸的方向：把动作一致性奖励与结果奖励做凸组合，兼取黑盒可用性与正确性锚定；特权自蒸馏的迭代化与课程化，逐步收紧特权信息实现自举提升；多教师集成——动作分布层面混合多个黑盒教师的采样；把语义动作接口推广到 GUI agent、机器人等具身域的动作匹配；理论上分析期望似然目标的模式行为——附录 A.1 指出教师分布为 (0.7, 0.3) 时学生把全部质量压在 A 即可最优，目标并不保持教师模式，这种模式寻求特性对探索与多样性的影响值得系统研究。

复现评估

开源情况：论文承诺在 https://github.com/thu-nics/ActionOPD 发布代码、数据与模型 checkpoint；实现基于 verl-agent（Feng et al. 2025，构建于 veRL/HybridFlow）。文档质量很高：附录 A 给出完整推导、伪代码（Algorithm 1）、奖励设计各特例、匹配器行为细节与缓存策略；附录 B 给出任务筛选漏斗（Table 6）、全部训练超参（Table 7：lr $10^{-6}$、PPO clip 0.2/dual clip 3、无 KL 惩罚）与各角色生成设置（Table 8）。算力与依赖：学生为 4B/8B，单机可训，但训练是生成密集型——每个状态需要 3 次教师生成、4 次学生候选生成加 LLM 匹配调用，且教师（DeepSeek-V4-Flash、Qwen3.7-Flash）、匹配器（DeepSeek-V4-Flash，τ² 实验用 Qwen3.8-27B）、用户模拟器全部依赖 API 或大型闭源权重，100 步 × 64 任务/步的迁移实验 token 成本可观。主要复现风险：教师与辅助模型的版本/API 行为漂移、LLM 匹配器的非确定性、以及"每配置只训练一次"带来的超参敏感性未知。总体评估：代码开源后复现难度中等——τ² 对比实验（178 任务、50 步）最容易复现，四基准迁移实验成本更高。

ActionOPD：蒸馏决策而非词元 ActionOPD: Distilling Decisions, Not Tokens