Trajectory2Gym：面向工具调用智能体的决策接地组合式交互合成 Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents
把轨迹生成重构为「造可学习的交互」：组合覆盖合成+决策接地监督
前置知识
监督微调（SFT）
用「输入上下文-目标序列」对训练语言模型以下一词预测方式模仿目标行为：损失形如 $\mathcal{L}=-\frac{1}{N}\sum_i \log \pi_\theta(y_i|h_i)$，只对目标 token 计损失，其余可见内容作为条件。本文所有增益都来自不使用强化学习、单轮的全参数 SFT。
本文核心主张是「什么数据配进 SFT 目标」比「轨迹是否成功」更重要；理解 SFT 的损失结构与平均方式是看懂监督掩码和父级归一化两个设计的前提。
τ-bench（Tau1/Tau2）与 BFCL 基准
τ-bench 在零售、航空、电信等客户服务环境中评测多轮工具调用智能体：需遵守政策、与模拟用户交互、依赖环境状态，由原生检查器判定任务是否成功（Pass@1）。BFCL 则覆盖单轮、并行、多轮函数调用，按类别平均出 Overall。本文用两者加 BFCL 构成等权三基准均值。
论文所有主结果表和配对增益都在这三个基准上报告；不了解其「有状态、多轮、后继决策依赖早前观测」的任务形态，就无法理解增益为何集中在这些设置。
组合式交互（compositional interaction）
指一次交互中「某条观测、用户更新或状态变化决定后续决策」的跨步依赖结构：例如先查账户、邮箱查找失败、改问姓名加邮编并重试、逐个读订单确认状态后才取消或换货。单个调用简单，难学的是它们的编排与信息流。
作者认为轨迹的教学价值由它实现的依赖结构决定，并定义了有序能力路径 $p=(\kappa_1,\dots,\kappa_\ell)$ 来对这些结构记账，这是全文形式化与「支撑缺口」概念的基础。
决策接地（decision grounding）
指每个被模仿的动作必须由智能体决策时刻能看到的历史 $c_t=(x,T_t,V(H_{<t}))$ 所支撑：工具对学生可见、标识符类参数可追溯到此前可见来源。执行成功 $e_t$ 只证明调用合法，接地 $v_t$ 才证明学生从可见信息出发能复现该决策，局部资格为 $g_t=e_t v_t$。
这是本文与主流「按成功/执行过滤轨迹」的本质区别：Figure 1 中两个动作都能执行成功，但只有台灯更换满足接地条件，错误目标的调用必须被拒于训练目标之外。
父级归一化（parent-normalized SFT）
一条语义轨迹渲染后可能产生多个训练样本；按渲染行平均时，父轨迹权重正比于其渲染子样本数，长多轮交互会主导损失。父级归一化改为按轨迹计损失 $\ell_\theta(\tau)=-\frac{1}{N_\tau}\sum_u \log\pi_\theta(y_u|h_u)$，再对所有父轨迹等权求和，让优化单位回归「一次语义交互」。
消融显示这是单项收益最大的设计（三基准均值 +8.04）；理解它需要先弄清 SFT 中「按样本平均」与「按语义轨迹平均」两种优化质量分配方式的差异。
研究动机
主流工具智能体训练管线把「任务完成」当作轨迹的准入证：按任务成功或逐调用执行成功过滤候选轨迹，再直接做 SFT。但成功只证明回合以好结局收尾，不证明它教了什么，也不证明每个被模仿的动作都由智能体当时能看到的信息支撑。作者在其 34,772 条已认证候选轨迹池中量化了两个缺陷：40.9% 的轨迹至多包含两个受监督决策（跨步依赖几乎没有重复支撑），只有 10.0% 包含「真实错误之后的认证决策」（恢复行为极少被示范）。更隐蔽的是接地问题：采集者可能用智能体看不见的标识符直接调 API；Figure 1 中用户最终只确认换台灯，但原生工具重放会同样放行「把大瓶子也换掉」的过期请求——逐调用执行检查对这种错误完全失明。此前甚至有工作显示直接在记录轨迹上做 SFT 会低于初始化模型（Wu et al., 2026a），说明「收集成功轨迹」这条默认路线本身有结构性缺陷。
本文的目标是本文目标是为每个学习规模 $s$ 构造同时具备两个性质的监督数据集 $D_s=\{(\tau_i,m_i)\}_{i=1}^{N_s}$，其中 $m_i\in\{0,1\}^{T_i}$ 是决策级监督掩码：其一，组合覆盖——训练数据对重要的「观测-动作」依赖与多步结构提供足够支撑（Challenge 1）；其二，决策接地——每个被监督动作都由其决策时刻上下文 $c_t$ 与已实现的交互支撑（Challenge 2）。最终只用最朴素的 SFT（从各公开初始化出发、单 epoch 全参数训练）在 Tau1、Tau2、BFCL 三个基准、五个 Qwen3 规模（1.7B、4B、8B、14B、30B-A3B）上全部超过各自初始化，等权三基准均值提升 16.9–29.8 个百分点，以此证明数据构造本身即可在没有强化学习的情况下带来大幅能力提升。
与已有工作不同的是，作者的中心主张是：一条轨迹「教什么」不由其结局决定，而由它实现的依赖结构和其可见历史能支撑的决策决定，由此把轨迹生成从「收集成功轨迹」重新定义为「刻意构造可学习的交互经验」。与现有工作的差异有三层：能力导向的合成管线通常针对改写意图或不可行意图，不按支撑缺口定向补造缺失路径；以执行校验为核心的合成只验证调用能否跑通，不检查目标是否对学生可见、是否符合工作流顺序；TopoCurate 等筛选方法在既有池子里按拓扑选数据，但不改变池子的结构分布。Trajectory2Gym 把「按亏空定向合成、逐决策认证目标资格、按规模分配结构支撑」耦合成一条流水线：没有接地的合成只会教会采集者的捷径，没有合成的接地只能认证一个恢复与探索稀缺的池子，没有前两者的筛选只是重新加权旧池。
核心方法
直觉上，Trajectory2Gym 像一个「健身房」：不捡现成的成功录像当教材，而是照着课表（缺失的能力路径）在真实器械（原生环境）里编排训练动作，再逐个动作检查是否值得模仿。技术路线分三阶段。第一阶段组合式交互合成：维护覆盖语义动作与参数、观测结果、恢复、分支、交接、终止、视界等角色的能力词表 $K$，一条有序路径 $p=(\kappa_1,\dots,\kappa_\ell)$ 在一次交互内组合这些需求；生成器 $G$ 为目标路径构造请求 $x$ 与初始状态 $s_0$，教师 $\pi_T$ 在原生环境中执行，得到真实观测、状态变化与拒绝。第二阶段接地监督：把执行日志转成只含学生可见事件的上下文 $c_t$，逐决策判定资格 $g_t=e_t v_t$，再叠加工作流完成条件得到最终掩码。第三阶段结构支撑学习：按规模的支撑深度 $d_s$（从 1.7B 到 30B-A3B 分别为 1、2、3、4、8）从认证池选轨迹补足亏空 $\delta_s(p;S)=(d_s-n_S(p))^+$，并用父级归一化 SFT 训练，使每条语义轨迹获得等权。只有认证过的结构会更新支撑清单并指导下一轮合成，形成闭环。
核心创新是把监督资格下沉到「单个决策」，并形式化为对智能体可见历史的决策级监督掩码。关键技术区分是本地执行有效性 $e_t\in\{0,1\}$ 与决策时刻接地 $v_t\in\{0,1\}$：前者要求调用经认证的无错误执行或通过原生 action-only 校验；后者要求工具对学生可见（可发现的工具必须先出现在可见检索结果中）、且标识符类参数能追溯到此前可见的来源（请求、用户对话或工具结果）。局部资格 $g_t=e_t v_t$，最终掩码为 $$m_t=R_\tau\,\mathbb{1}[q_\tau\preceq A_\tau]\,g_t,$$ 其中 $R_\tau$ 是原生终局成功，$q_\tau\preceq A_\tau$ 要求任务有序需求是相关用户操作与合格动作的有序子序列。被拒绝的调用与其真实报错保留为可见上下文但不计模仿损失，其后的接地恢复动作才成为监督目标。另一创新是父级归一化：$\ell_\theta(\tau)=-\frac{1}{N_\tau}\sum_{u=1}^{N_\tau}\log\pi_\theta(y_u|h_u)$，$\mathcal{L}_{SFT}=\frac{1}{|D_s|}\sum_{\tau\in D_s}\ell_\theta(\tau)$，父轨迹等权、其质量按认证目标 token 数分摊到渲染样本，重新分组目标不改变目标函数。
方法步骤详情
第一步（能力路径与支撑记账）：定义共享能力词表 $K$，原生工具与观测映射到这些角色；每条轨迹指定一条规范路径 $p(\tau)$，所选集合 $S$ 中路径 $p$ 的支撑为 $n_S(p)=\sum_{\tau\in S}\mathbb{1}[p(\tau)=p]$。输入是环境 $E$ 与支撑清单，输出是低于目标深度 $d_s$ 的缺口路径。第二步（定向合成与原生执行）：生成器 $G(\cdot|p,E)$ 产出请求 $x$ 与初始状态 $s_0$，构造路径所需的实体、前置条件与信息源（例如恢复变体需制造一个可发现的本地拒绝），并把必需值绑定到可见来源；教师 $\pi_T$ 执行 $\tau\sim P_E(\cdot|x,s_0,\pi_T)$，教师专用提示不进入学生轨迹。路径只有在其动作与观测依赖都出现在执行日志中时才被认证；未认证结构不成为训练目标，只用于修正后续生成。第三步（接地监督）：按可见性、本地执行、工作流完成三道检查依次筛选，输出学生上下文与掩码 $m_t=R_\tau\mathbb{1}[q_\tau\preceq A_\tau]g_t$，$\sum_t m_t>0$ 的轨迹进入合格池。第四步（结构选择与训练）：从固定认证核心出发，为每个训练任务补一条完成样本，闭合未覆盖的原子与路径，再优先添加最能减少亏空的轨迹；按所选集合经原生提示与工具模式渲染，以父级归一化 SFT 训一个 epoch，每个规模 11.6k–19.9k 条轨迹。
技术新颖性
与主流「结果过滤」训练相比，本文不把成功轨迹当作可整体模仿的单位，而是逐决策裁决「这个动作学生学不学得会」，与模仿学习中区分示范者特权信息和学生观测的思路（Ross et al., 2011）呼应，但落点是监督掩码而非算法改造。与失败感知方法（加步级信号）、DARC（用失败诊断选恢复干预）、SEAL（诊断引导的训练接口适配）、FACA（用下一轮用户反应做局部信用分配）相比，本文关注的是目标资格而非信用分配。与验证性合成（只验证结果或调用能否执行）相比，本文额外检查参数溯源与工作流顺序：Figure 1 的对照显示执行过滤会保留换错目标的动作，而接地检查依据目录证据与最新确认拒掉它。与 TopoCurate 按交互拓扑筛选既有数据相比，本文先按亏空合成缺失结构、再在更大的池上分配支撑。父级归一化则揭示一个被普遍忽视的问题：多轮轨迹渲染样本数不同会让长交互主导损失；消融中它是单项增益最大的组件（+8.04），说明「优化单位是语义交互而非渲染行」这一表述本身就是贡献。
实验结果
五个 Qwen3 规模（1.7B/4B/8B/14B/30B-A3B）全部在 Tau1、Tau2、BFCL 上超过各自初始化，等权三基准均值提升 16.9–29.8 点；Tau1+Tau2 配对增益为 +20.04/+35.00/+36.21/+40.92/+39.11。监督改变同等容量的上限：后训练 4B 在 Tau2 达 69.17，远超公开 30B-A3B 初始化的 28.33；后训练 30B-A3B 达 84.17，距 GPT-5.2（84.76）与 Claude-4.5-Opus（85.31）仅约 1.2 点。对复评的 agent-training checkpoint，8B 的 Tau2 74.17 至少高 28 点，三基准等权均值 67.97 对最强对照 57.17。25 组域×规模配对中 24 组提升，Tau2 Telecom 在 30B 从 12.50 升至 95.00，唯一持平是 1.7B 的 Tau2 Airline。BFCL Overall +3.35 到 +11.93，集中在 Multi-turn Base（+7 到 +41 点），4B 以上全部超过 GPT-5.5 的 60.00，30B 的 80.93 高于 Gemini-3.0-Pro 的 79.97；例外是 Live Simple 在四个规模降 6–13 点。函数调用能力不等于有状态能力：EnvFactory-8B 的 BFCL 77.55 接近本文 8B 的 78.62，Tau2 却落后 47.5 点。8B 配对消融：定向扩展 +3.55、决策接地 +2.75、结构选择 +2.32（同预算多覆盖 942 条路径，6,360 vs 5,418）、父级归一化 +8.04；深度敏感性均值 72.28/70.55/69.44，Tau2 从 82.50 降到 75.00，支撑非越多越好。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Tau1 + Tau2（有状态客户服务多轮任务） | Pass@1（%） | Qwen3-8B + Trajectory2Gym：Tau1 均值 51.13，Tau2 均值 74.17 | Qwen3-8B 初始化：Tau1 27.87，Tau2 25.00；最强复评对照 MUA-RL-32B：Tau1 54.04，Tau2 45.00 | 配对增益 Tau1 +23.26、Tau2 +49.17；Tau2 比最强对照高 29.17 点 |
| Tau2（30B-A3B 对比闭源系统） | Pass@1（%） | 84.17（Retail 87.50 / Airline 70.00 / Telecom 95.00） | GPT-5.2 (high) 84.76；Claude-4.5-Opus (high) 85.31 | 距两个闭源参考仅 1.2 点以内；Tau1+Tau2 配对增益 +39.11 |
| BFCL Overall | %（Non-live / Live / Multi-turn 三组等权平均） | 8B 78.62；30B-A3B 80.93 | 8B 初始化 67.30；Gemini-3.0-Pro 报告值 79.97 | 8B +11.32，各规模 +3.35 到 +11.93；30B 数值超过 Gemini-3.0-Pro |
| BFCL Multi-turn Base（多轮基础函数调用） | % | 8B 68.00；各规模提升 +7 到 +41 点 | 8B 初始化 36.00；GPT-5.5 报告值 60.00 | 8B +32.0；4B 及以上全部超过 GPT-5.5 |
| 三基准等权均值（8B，对 agent-training checkpoint） | %（Tau1/Tau2/BFCL 等权平均） | 67.97 | 最强复评对照 MUA-RL-32B 57.17 | +10.8，为所有已评测 checkpoint 中最高 |
局限与改进
作者承认的限制：消融每组只有单次运行，Tau2 Airline 单个任务就能移动三基准均值 0.56 点，几点的增益只能视为方向性证据；四个消融各自在不同阶段干预，增益不可相加；定向扩展的对照没有固定目标 token 预算，不能在固定数据量下隔离「定向」这一因素；敏感性实验中深度同时改变数据量与重复度，无法把路径支撑从 token 数中分离；闭源系统与 ToolACE-2-8B 是报告数字而非匹配对照，与公开 checkpoint 的比较在训练数据、模型家族、上下文预算上都不同，无法做组件级归因；Tau1 Airline 是见过任务的转导（transductive）设置。我自己的观察：其一，能力词表 $K$ 与规范路径粒度由人工设定，深度调度（1/2/3/4/8）也是预先声明而非自动搜索，迁移到新环境需要重新设计；其二，评测集中于 τ-bench 三个领域与 BFCL，任务量小且每任务只跑一次，Live Simple 在四个规模一致回退 6–13 点暗示模型可能学会了过度的信息收集行为；其三，方法依赖强教师与带可靠检查器的原生环境，对缺少 $R_\tau$ 与 $q_\tau$ 的开放领域如何落地论文未展开。
独立分析的弱点
第一，支撑深度调度是手工预声明的（1/2/3/4/8），而敏感性结果显示最浅深度反而最好（72.28 vs 69.44），说明当前分配规则没有捕捉到真正「需要的重复度」；改进方向是把 $d_s$ 改为由验证集错误率驱动或可学习的目标，按路径难度自适应分配。第二，工作流完成检查依赖原生任务编码出的有序需求 $q_\tau$：当环境检查器只看终局状态时，像 MUA-RL 那种「先改商品导致订单状态变化、堵死地址更新」的顺序错误无法被自动发现，必须靠构造任务时显式编码顺序约束；改进方向是基于状态差分自动挖掘顺序约束。第三，接地的溯源性检查只认「参数来自可见来源」，对隐式依赖（应由常识补全的参数）可能过严，Live Simple 下降 6–13 点提示模型被塑造成了多余的收集行为；改进方向是在掩码中加入「最小必要证据」的反向正则，惩罚无依据的查询。第四，训练只有 SFT 单轮，未与 RL 组合，消融的几个点增益也远小于主增益，配方中哪些成分能迁移到 on-policy 设定仍未知。第五，教师模型身份、成本与合成-认证循环的样本淘汰率未报告，数据效率无从评估；改进方向是公开教师配置与每阶段的产出/淘汰统计。
未来方向
作者明确提出的方向：把决策级认证扩展到 on-policy rollout——在学生自己采样的轨迹上运行同样的 $e_t v_t$ 认证与掩码，使「目标资格」检查进入在线训练循环；以及推广到 web、软件工程、终端智能体等更广的接口（这些领域的可见历史与原生检查器形态不同）。基于本文成果可延伸的方向：把父级归一化作为独立组件接入 RL 损失（如 GRPO 类按轨迹加权的目标），检验「语义交互为优化单位」在策略梯度下是否同样成立；用支撑清单驱动持续学习——环境或工具更新时只重造受影响的路径，而非全量重合成；让路径发现自动化，由认证池的失败统计自动提出新的候选路径；在多环境设定下把支撑深度与数据量解耦研究（作者已证明二者不单调）；把「覆盖-资格-权重」三层视角作为训练数据集的标准报告维度，使「更大的集合不一定提供更好的监督」可以被量化诊断。
复现评估
论文首页标注了 Homepage、Code 与 Hugging Face 链接，承诺公开训练语料（每个规模 11.6k–19.9k 条轨迹）与后训练模型。所需核心资源：可执行的原生环境（τ-bench 类）、一个强教师模型执行合成任务、五档 Qwen3 全参数 SFT 的算力——1.7B 到 8B 单机多卡可完成，14B 与 30B-A3B（MoE，激活约 3B）需多节点，但单 epoch 训练本身不昂贵（8B 档目标 token 约 19.42M，深度 2/4 档为 18.02M/20.61M），主要成本在合成-认证循环的教师推理。复现难度中等偏上：掩码 $m_t=R_\tau\mathbb{1}[q_\tau\preceq A_\tau]g_t$、选择器亏空目标 $\delta_s(p;S)$ 与损失 $\mathcal{L}_{SFT}$ 在正文给出形式化定义并附证明（Appendix D/E），评测协议（配对比较、同一任务群体、原生接口与打分器、每任务一次）描述清晰，Tau1/Tau2/BFCL 均为公开基准，主表可复现；但能力词表的具体模板（Appendix B.3）、教师身份与提示、各阶段淘汰率等细节需依赖附录与开源仓库的完整度。
论文图表
上半部分对比两种范式：执行检查（单个调用缺上下文、错误换货也能执行）与 Trajectory2Gym（先构建完整链接交互、再对每个动作逐一检查）。下半部分给出 Tau2 Retail 的具体例子：用户先要求更大的瓶子和更暗的台灯，随后只确认台灯；候选动作「换台灯」和「换瓶子」都能被原生工具重放接受，按执行过滤会全部保留，而 Trajectory2Gym 依据目录证据（瓶容量、灯亮度选项）与用户最新确认（只换台灯、保留瓶子）保留台灯更换、拒绝多余的瓶子更换。绿勾表示正确的保留/拒绝决策，红叉表示错误保留。
这张图用最小的例子同时展示了论文的两个核心概念：组合式交互（确认信息决定后续动作）与决策接地（执行成功不等于值得模仿）。它直接说明「按执行过滤」这一主流做法的失明之处，是理解全文动机的钥匙。