ToolSpace：面向长程智能体的工具中心环境合成框架 ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents
从真实执行轨迹挖掘工具依赖，跨环境合成可回放验证的长程智能体训练数据
前置知识
MCP（Model Context Protocol）
MCP 是让大模型接入外部工具服务的标准化协议，每个 MCP 服务器（如 Gmail、Slack、Google Drive、Postgres）按统一的 JSON Schema 暴露一组工具，包括工具名和输入输出参数定义。Smithery 等注册表收录了数千个真实 MCP 服务器，只要任务引用的工具定义与真实服务器精确匹配，就可以直接在真实服务上重新执行。
本文所有轨迹采集与 804 个环境的组织方式都建立在真实 MCP 服务之上，'工具接口必须匹配真实定义'这一核心主张正是相对于 MCP 生态而言的，不理解 MCP 就无法理解'真实工具'的含义。
数据中心环境合成（Data-Centric Environment Synthesis）
现有方法（如 Agent-World、EnvScaler、Simia、GenEnv）的通用范式：先采样一个主题，用 LLM 合成底层数据库 $\mathcal{D}$ 和场景，再据此派生可执行工具集 $\mathcal{F}_e$，最后从两者合成任务 $q$。整条链路中工具是数据库和主题的'衍生品'，与真实工具接口没有必然对应关系；模拟器式方法则让 LLM 直接充当文本世界模型生成工具反馈。
这是本文批判的靶子。理解'数据库→工具→任务'这个三步顺序，才能理解 ToolSpace '轨迹→工具→环境→任务'的反转逻辑及其三大动机。
工具组合图与三类依赖边
把智能体轨迹中相邻的两次工具调用建模为图 $G_{TS}=(V,E,w)$ 上的边：数据边（后一次调用的输入使用了前一次调用的输出值且字段类型匹配）、状态边（前一次调用修改了某环境对象，后一次调用读写同一对象）、重试边（前一次调用报错后换用另一个工具并成功）。每条边按真实轨迹中的转移频次 $w(v_i,v_j)=N_{ij}/N_i$ 加权。
这是 ToolSpace 的核心数据结构，后续的环境聚类、随机游走、任务合成全部在这张图上进行，理解边的语义是读懂方法的前提。
状态快照与回放验证
环境状态 $s_t$ 是第 $t$ 步执行后环境的完整快照，$s_0$ 为初始快照。回放验证指把一条工具链 $\omega$ 从 $s_0$ 出发重新执行一遍，检查状态断言 $V_{state}$（最终状态 $s_L$）、轨迹断言 $V_{trace}$（关键中间快照）和输出断言 $V_{out}$（返回结果必备字段）是否全部通过，只有通过的样本才进入训练集。
这是合成数据质量的'最后一道闸门'，也是 Pro 基准任务可自动判分的依据；理解它才能明白为何合成样本可执行、可审计。
SFT 与 GRPO 强化学习
SFT（监督微调）在教师轨迹上做最大似然训练；GRPO（组相对策略优化）对同一 prompt 采样 $G$ 条轨迹，用组内奖励归一化得到优势 $\hat{A}_i=(R_i-\mu_g)/(s_g+10^{-6})$，配合 token 级 clip 机制（本文上下界 0.8/1.28）更新策略。本文奖励为二值：执行验证脚本通过记 1，否则记 0。
论文最终模型由 'SFT + 653 条 RL 样本的 GRPO' 训练得到，公式 (5)(6) 和训练配置都基于这两个算法，读懂实验设置必须有这个背景。
研究动机
目前扩展智能体工具使用能力的主流路线是'数据中心环境合成'：先由 LLM 根据主题合成底层数据库和场景，再派生可执行工具，最后生成带可验证结果的任务（如 Agent-World、EnvScaler）；Simia、GenEnv 等模拟器式方法则让 LLM 充当文本世界模型直接生成工具反馈。这种顺序带来三个具体问题。其一，工具与功能失配：工具是从合成数据库和主题描述派生的，参数逻辑容易偏离真实工具接口定义，智能体学到的是一套合成协议而非可迁移到真实工具生态的操作。其二，编排关系不真实：现有工作通过随机链接或浅层 LLM 判断构建工具关联图，合成的任务链条缺乏执行证据，而真实服务本身不稳定、含噪声，主观设定的逻辑关系难以成立。其三，任务无法跨环境：任务合成依赖单一环境的数据和规则，而真实任务经常横跨多个服务；由于工具被锁在各自沙箱里，跨环境组合没有显式的可达关系，长程复杂度无法自然增长。三个局限的共同根源是：数据中心范式预设'先有可信环境，再派生工具组合'，恰好颠倒了真实智能体执行的依赖关系。
本文的目标是本文要建立一个以工具为中心的跨环境数据合成框架 ToolSpace：不再从零合成环境生态，而是遵循 Trace-to-ENV 原则，先从真实执行轨迹中重建一个可扩展、可探索的工具空间，再在这个空间中合成横跨多个工具与环境聚类的长程智能体任务，且每条样本都能从初始快照 $s_0$ 回放并通过断言验证。具体拆成四个可检验的子目标：(1) 工具节点与连接关系必须来自并过滤于真实轨迹 $\mathcal{M}=\{(f_t,x_t,o_t)\}$，保证接口真实、组合有据；(2) 环境作为工具图按连接密度聚类的副产品，数据库只对含状态修改操作的环境按需合成；(3) 每条工具链满足依赖可达、状态前置条件和参数溯源，并通过回放验证；(4) 框架既能直接插到已有长程基准上提升难度（产出 AutomationBench Pro 和 τ³-Bench Banking Pro），也能在 8B 到 744B 三个规模上训练出超越同规模基线、逼近前沿闭源模型的智能体。
与已有工作不同的是，本文的独特切入点是把'执行证据'而不是'环境'当作合成的基本单元，具体体现为三个与已有工作的本质差异。第一，反转合成顺序：数据中心路线是数据库→工具→任务，ToolSpace 是轨迹→工具图→环境聚类→任务，环境的角色从'先决条件'降级为'图上连通分量的具象化'——804 个环境是从 2,042 个真实工具的加权图中聚类出来的，平均每个环境仅 10.86 个工具。第二，边的来源不同：不靠 LLM 判断'这两个工具看起来相关'，而是用确定性规则从相邻调用中挖掘数据、状态、重试三类依赖，并按转移频次加权；消融实验证明这种'执行见证的边'显著优于 LLM 判断的边（35B 上 AutomationBench 45.8 对 37.8）。第三，复杂度的增长机制不同：任务难度不再受限于单一环境的数据规模，而来自在图上扩展真实工具组合空间，一次游走最多可跨越 22 个环境、209 次工具调用。
核心方法
直觉上，工具才是智能体能力的原子单元，而不是静态的环境数据；智能体与底层数据库之间始终隔着一层尚未被显式建模的'工具空间'，工具之间的真实连接把可扩展的环境生态连成一体。把任务复杂度从'单环境数据规模'转移到'工具组合空间的广度'上，是全文的设计哲学。技术上 ToolSpace 分两个紧耦合阶段。第一阶段 Tool Space Exploration：从 MCP 生态和开放智能体语料收集 20 万条以上真实执行轨迹，用确定性规则挖掘相邻调用间的数据、状态、重试依赖，构建带权工具组合图 $G_{TS}=(V,E,w)$（77,760 个节点、2,042 个规范工具），再按连接密度聚类出 804 个环境；只对 181 个操作性环境用研究智能体按需合成数据库，状态查询环境用工具返回值锚定初始快照，无状态环境复用缓存的工具返回。第二阶段 Cross-Environment Verifiable Task Synthesis：在图上做带回滚的状态感知随机游走采样长工具链，把每条链反编译成不含工具名和调用顺序的自然语言任务，配上 $V=V_{state}\cup V_{trace}\cup V_{out}$ 三类断言脚本，只有从 $s_0$ 回放全部通过的样本才保留，最终得到 34,376 条 SFT 样本和 653 条 RL 样本。
核心创新是'执行见证的组合'（execution-witnessed composition）这一单一原语。已有方法构建工具链时，要么让 LLM 猜测哪些工具'应该'衔接，要么在合成数据库上随机链接；ToolSpace 的每条边都必须在真实轨迹中出现过：数据边要求后继调用的输入值确实来自前驱输出且字段类型匹配（并额外检查参数可溯源，防止 limit=10 这类公共常数造成的假边）；状态边要求前一次调用修改了某个环境对象、后一次调用读写同一对象而非碰巧相等的值；重试边要求前一次调用报错、轨迹换工具且下一次成功。边权 $w(v_i,v_j)=N_{ij}/N_i$ 让高频真实组合更可能被采样。另一个关键设计是节点粒度：$v_{f,\tilde{x}}=(n_f,\alpha_f,\beta_f,\tilde{x})$ 包含规范化的参数配置 $ ilde{x}$，同一工具在不同参数配置下是不同节点，因为它们产生不同输出和下游依赖，这使得 2,042 个规范工具展开成 77,760 个节点。最终的质量闸门是回放：任何链若不能从 $s_0$ 重放通过全部断言就不进入训练集，这把'看起来合理'升级成'执行上成立'。
方法步骤详情
流水线分六步。第一步轨迹收集：从 Smithery 注册表取真实工具目录，只保留工具定义与真实服务器精确匹配的任务并执行；开放语料按真实性分三级——高（Toucan-1.5M：495 个 MCP 服务器、2,000+ 工具、1.5M 轨迹；ToolBench：16,464 个接口、约 46.9 万次调用）、中（SWE-agent 与 OpenHands 真实容器轨迹）、低（合成轨迹只保留与真实工具 schema 匹配的调用），合计 20 万+ 轨迹。第二步建图：对轨迹中相邻调用按三类规则定边，剪掉低频边与不可溯源的数据边。第三步环境接地：聚类出 804 个环境；181 个操作性环境按主题用研究智能体迭代扩展数据库 $D_k^{(n+1)}=\phi(D_k^{(n)},m_k,T_{res})$ 并经单元测试与状态转移检查；状态查询环境以返回值锚定 $s_0$；无状态环境复用缓存返回。第四步状态感知随机游走：从绑定 $(D_k,s_0)$ 的节点出发，按 $P(v_{t+1}=v\mid v_t)=w(v_t,v)/\sum_u w(v_t,u)$ 在可行邻居中采样，失败或状态与边类型不一致就回滚到 $s_{t-1}$ 重采样，直到达到链长 $L$ 与跨环境数 $K$。第五步反向合成与验收：模型把链反编译成不含工具名和顺序的任务 $q$，生成三类断言脚本，回放全部通过才收进 $X_{TS}$ 并去重。第六步训练：Kimi K3 生成教师轨迹，过验证的 34,376 条做 SFT（8B/35B 用 16 卡、744B 用 256 卡各 1 epoch）；另按 Pass@16 筛出 653 条做 GRPO 强化学习（学习率 $2\times10^{-6}$、batch 256、组大小 16、48 步、全异步 staleness 4）。
技术新颖性
本文有四点区别于既有工作。第一，顺序反转的形式化论证：第 3 节把数据中心合成写成先采样主题 $m$、再依条件分布派生数据库和工具，指出工具是合成数据库的条件产物因而接口逻辑可以与任何真实接口不一致，而 ToolSpace 把优化目标改为在回放验证约束下最大化数据集 $X_{TS}$ 的长程跨环境覆盖，单库保真度不再是目标。第二，边的确定性挖掘：三类规则可复现、可审计，消融显示 LLM 判断的边在五个基准上全面劣于执行见证的边（平均掉 7 分以上），为'图的来源决定数据质量'提供直接证据。第三，按需接地：只有 22.2% 的工具（453/2,042）是操作性的，因此只需为 181 个操作性环境合成数据库，在 500 个抽样环境上合成文件数从 Agent-World 的 2,724 降到 1,218（-55.3%）。第四，难度可控的跨环境合成：通过链长 $L$、跨环境数 $K$ 和跨环境边占比调节难度，直接把 AutomationBench 升级成 Pro 版（300 任务）和 τ³-Bench Banking Pro（98 任务），并经三位博士专家两日评审（Fleiss' $\kappa=0.82$、一致率 93.1%）保证任务质量。
实验结果
主实验覆盖 AutomationBench、SkillsBench、JobBench、τ³-Bench Banking、BFCL V4、Harvey LAB、OfficeQA Pro 七个长程基准。表 1 显示三个规模全面领先：ToolSpace-744B-A40B 平均 56.6 分，超过 GPT 5.6 Sol（48.9）并与 Claude Opus 5 持平，其中 SkillsBench 67.8、BFCL V4 78.4、Harvey LAB 27.5（远超 GPT 5.6 Sol 的 5.0）；35B 级从底座 23.0 提到 SFT 41.0、加 RL 43.2，其中 AutomationBench 8.2→45.8（+37.6），RL 最大增益在 τ³（34.0→42.3）；8B 级 7.2→20.7，而所有 7–8B 环境扩展基线平均分不足 10，说明单环境数据只教会调用的'形式'而非跨环境编排。表 2 的 Pro 基准上七个前沿模型全线大跌：AutomationBench 上 DeepSeek-V4.1-Flash-1017 从 60.5 跌到 22.3（-38.2，最大跌幅）、Claude Opus 5.5 59.2→26.3、GPT 6.1 Sol 50.8→24.7；τ³-Banking Pro 上 Qwen 3.8 Max 跌 25.6 分。图 6 证实 Pro 任务更长：AutomationBench 平均调用次数从 26.8–43.6 升至 56.3–60.6。消融（表 3）：去状态边 τ³ 掉 12.5 分、去数据边 BFCL V4 掉 11.9 分；LLM 判断的边全面变差（45.8→37.8）；均匀游走与去回滚分别降 6.2 和 4.8 分。扩展性：数据从 1/16 到全量 AutomationBench 25.2→45.8，且 1/2→全量仍 +4.6 无平台期；环境扩展在 1/16→1/8 出现 9.2→33.8 跳升；Top-50% 与 Random-50% 环境子集差距 ≤1.7 分排除基准过拟合；DBSCAN 多样性 42 簇多于 EnvScaler 25、Agent-World 31、Agent-Reflex 34。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 七大长程工具基准平均分（744B 级） | 平均分（0-100） | ToolSpace-744B-A40B：56.6 | GPT 5.6 Sol：48.9；底座 GLM-5.2：44.6；Claude Opus 5：56.6 | 超 GPT 5.6 Sol +7.7 分，较底座 +12.0 分，与 Claude Opus 5 持平 |
| 七大长程工具基准平均分（35B 级） | 平均分（0-100） | SFT 41.0，+Agent RL 43.2 | Qwen3.6-35B-A3B 底座：23.0 | +18.0（SFT）/ +20.2（+RL） |
| AutomationBench（35B 级） | 得分 | 45.8 | 底座 8.2；最强同规模基线 WorkRover-35B-A3B 28.7 | 较底座 +37.6，较最强基线 +17.1 |
| τ³-Bench Banking（35B 级，RL 增益） | 得分 | 42.3（+Agent RL） | SFT 版 34.0 | +8.3，为 RL 最大单项增益 |
| 七大基准平均分（8B 级） | 平均分（0-100） | 20.7（+Agent RL） | 最强环境扩展基线 Agent-Reflex-8B：9.2 | +11.5，超过同规模全部基线的一倍以上 |
| AutomationBench Pro（前沿模型难度检验） | Standard→Pro 得分变化 | 构造方，不参赛 | DeepSeek-V4.1-Flash-1017：60.5→22.3 | 最大跌幅 -38.2 分，七个前沿模型全部显著下降，验证 Pro 版难度提升真实有效 |
局限与改进
作者明示的局限有三：一是环境合成成本只用了'合成文件数'作代理指标，未直接测量 token、时间、API 或算力开销；二是重试边贡献最小（去除后 AutomationBench 仅从 45.8 掉到 43.9），与其'对噪声工具鲁棒性'定位相比收益有限；三是 τ³-Bench Banking 在环境扩展下提升缓慢（全环境集才从 19.6 跳到 34.0），因为该基准依赖较窄的有状态银行工具集，图扩展收益存在领域差异。我的补充观察：第一，任务 $q$ 和断言脚本由语言模型生成，训练数据没有像 Pro 基准那样经三位博士专家两日评审，断言写错或过松/过严的风险未量化；第二，无状态环境'复用缓存返回'意味着训练时工具输出是确定性的，与真实 API 的动态性、限流和随机失败存在分布差异，可能影响迁移；第三，边权只编码一阶转移频次，无法捕捉跨步的远程依赖（如第 1 步创建的对象第 8 步才被使用）；第四，Harvey LAB 上 8B 模型所有方法都是 0 分、OfficeQA Pro 上 8B 也只有 12 分，说明对更小模型的长程执行能力帮助有限；第五，评估分数来源混杂（官方榜单、厂商报告、本地复现三种渠道），可比性存在噪音；第六，教师轨迹只来自 Kimi K3 单一模型，教师偏置的系统性影响未分析。
独立分析的弱点
独立分析四个弱点。其一，验证器质量依赖 LLM：$V_{state}/V_{trace}/V_{out}$ 由模型生成，若断言写错或过松，'回放通过'只是虚假保障，整条数据管线的可信度都压在生成断言的模型上；改进方向是引入符号化断言模板与差分测试（多模型重解同一任务交叉验证断言），或像 Pro 基准那样抽样人工审核并报告断言错误率。其二，无状态环境的缓存回放制造了一个'冻结的世界'：搜索结果、邮件列表永远是录制时的旧值，模型可能记住具体返回内容而非学会处理动态响应，面对真实 API 的时效性数据会系统性失败；改进方向是定期用少量真实调用刷新缓存，或在回放中注入受控扰动训练鲁棒性。其三，一阶马尔可夫式的边与游走：依赖只在相邻调用间挖掘，跨步长程依赖会漏掉，加权采样偏向局部高频组合，可能低估低频但关键的编排模式；改进方向是挖掘高阶 motif、引入远程数据流边或在采样中加入探索项。其四，数据真实性分级仍引入噪声：低档合成轨迹只过滤了工具名与 schema 匹配，参数值和输出分布未必符合真实服务，这些边一旦进入图会污染下游任务；改进方向是对低档数据降权、只用于候选边剪枝而不参与边权统计。
未来方向
作者层面提出的方向：数据与环境规模仍未见收益天花板（1/2→全量时五个基准仍全部提升，AutomationBench +4.6），可以继续扩大轨迹语料与环境聚类数量；653 条 RL 样本只是初步尝试，验证驱动的强化学习空间还很大；Pro 基准的构造流程暗示一条'自动难度课程'路线——用链长 $L$、跨环境数 $K$ 和跨环境边占比连续调节任务难度。基于本文成果可延伸的方向包括：把工具空间当作通用智能体世界模型的底座，用于工具生态演化的持续监测和新工具接入时的零样本泛化；将框架推广到多模态工具场景（GUI 操作、代码执行、计算机使用类智能体）；引入在线真实 API 调用与缓存回放的混合执行以缩小训练—部署差距；在图上做课程化采样，从单环境短链逐步过渡到跨环境长链；把重试边扩展为完整的错误恢复图谱（超时、限流、部分失败），训练对噪声工具更鲁棒的智能体；以及探索多教师轨迹生成与教师间一致性过滤，进一步压制教师偏置。
复现评估
复现条件总体较好。开源情况：项目页（toolspace-agent.github.io）、GitHub 代码库（dongguanting/ToolSpace）和 HuggingFace 模型集合（dongguanting/toolspace）均已公开，8B/35B/744B 三个规模的模型可下载。数据方面：轨迹来源全部公开且为开源许可（Toucan-1.5M、ToolBench、SWE-agent、OpenHands 轨迹），MCP 服务来自真实注册表；但 34,376 条合成样本、804 个环境聚类和两个 Pro 基准是否随代码完整发布需查仓库确认。算力方面：SFT 8B 和 35B 各需 16 张 NVIDIA GPU 训 1 个 epoch，744B 需 256 张 GPU；GRPO 为全异步训练（48 步、batch 256、组大小 16、staleness 4），复现 744B 需要大型集群，35B 级别是多数实验室可负担的。难度评估：中高。主要门槛在于需要真实 MCP 服务执行环境（账号、配额和网络调用）、研究智能体迭代合成数据库的工程链路，以及跑通七个基准的评估协议（部分需本地复现官方 harness 并三次运行取平均）。若只使用而不重建，直接下载官方模型和数据是成本最低路径；若从零重建整条流水线，预计需要数周工程投入和持续的真实服务调用开销。
论文图表
四联概览图。(a) 展示智能体、工具空间层与 MCP 环境数据库的三层结构，工具是原子单元，GitHub/Slack/Notion/Drive/Postgres 等服务被纳入全局工具空间；(b) 展示跨电子表格、消息、邮件、文件等服务的工具组合图和一次带状态快照的深度优先游走；(c) 展示 ToolSpace 模型在七个基准上对 GPT 5.6 Sol、Kimi K3 等的泛化优势（如 BFCL V4 78.4 对 74.3、τ³-Banking 43.3 对 34.0）；(d) 展示 Pro 基准上前沿模型大幅下跌（Automation Pro 最高仅 27.5，多数模型跌至 20 左右甚至 1.7）。
一张图浓缩了全文的设计哲学、方法结构和两条主线实验结论，是快速把握论文贡献的入口。
对 EnvScaler、Agent-World、Agent-Reflex、ToolSpace 各随机采样 2k 问题，用 BGE-M3 嵌入、t-SNE 降维、DBSCAN 聚类的对比散点图：ToolSpace 聚出 42 个簇，多于 EnvScaler 25、Agent-World 31、Agent-Reflex 34，且在嵌入空间中覆盖更广、局部聚集更紧凑。
从任务分布层面证明工具中心合成比数据中心方法覆盖更宽的任务空间，与图 9(a) 一起回应'是否只是拟合基准环境'的质疑。
伪代码：输入轨迹语料 $\mathcal{M}$、目标长度 $L$、目标环境数 $K$ 与游走预算；第一步建图（数据/状态/重试规则）并剪掉不可溯源或低权边；第二步聚类接地环境（操作性合成、状态查询恢复 $s_0$、无状态缓存返回）；第三步游走循环——从绑定 $(D_k,s_0)$ 的节点出发按式 (3) 采样邻居、失败或状态不一致则回滚到 $s_{t-1}$ 重采样，达到 $L$ 与 $K$ 后记录链；第四步对每条链反编译任务并生成 $V_{state}\cup V_{trace}\cup V_{out}$ 断言，从 $s_0$ 回放全部通过才收入 $X_{TS}$，最后去重并生成通过验证的教师轨迹。
把两阶段方法落成精确的执行序：正文叙述中分散的回滚条件、验收顺序、去重和教师轨迹生成等细节在算法框中串成闭环，是实现复现时最直接的参照。