EnvFactory：通过可执行环境合成与鲁棒强化学习扩展工具调用智能体 EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL
用三智能体自动构建可执行工具环境，并合成自然多轮轨迹训练工具调用LLM。
前置知识
智能体强化学习 (Agentic RL)
让LLM智能体在可执行环境中通过试错学习工具使用策略的训练范式。智能体在每一步观察消息或工具执行结果，并选择调用工具或回复用户，整个交互流程直到达到最大步数或用户发出停止token。奖励信号通常来自轨迹匹配与最终状态等价性。
EnvFactory的核心训练范式就是Agentic RL，理解agent-environment-user三要素的耦合关系，才能读懂后文复合奖励函数 $R = \alpha \cdot R_{traj} + (1-\alpha) \cdot R_{state} - \gamma \cdot P_{length}$ 中各项的物理意义。
模型上下文协议 (MCP)
由Anthropic于2024年提出的开放协议，规定LLM调用外部工具时工具名称、描述、参数规范的标准化暴露方式。EnvFactory把每个环境自动封装为MCP接口，使智能体训练与推理时统一通过相同工具接口访问。
论文中 $e=(\mathbf{m}, D, \pi, V_e)$ 里的 $V_e$ 默认为MCP，意味着所有工具必须按统一协议暴露，是理解自动环境构建产出形式的必要前置。
有状态数据库与环境状态机
工具环境通常包含持久化或可变状态(订单、联系人、预订记录等)，由后端Pydantic schema管理。EnvFactory在每个环境中维护 $D$ 与可序列化接口，确保多轮交互间状态连续、可复现。
复合奖励中 $R_{state}$ 衡量数据库终态等价，是RL奖励不可或缺的一环。若不掌握工具调用会改变持久状态这一前提，就难以理解为何需要状态奖励以及为何能据此过滤错误轨迹。
BGE-M3 嵌入与参数语义匹配
BAAI开源的多语言多粒度嵌入模型，可输出稠密/稀疏/多向量表示。EnvFactory用其将每个工具的输入/输出参数分别编码为向量，再算两两余弦相似度，超过阈值即在工具依赖图中加入 $v_i \to v_j$ 的有向边。
论文工具图构建第一步完全依赖该嵌入。若不了解语义相似度如何反映参数A可由参数B满足的关系，就无法理解为何仅靠embedding就能恢复大部分真实工具依赖。
GRPO与近端策略优化变体
GRPO(Group Relative Policy Optimization)由DeepSeek提出，是一种去掉critic、采用组内归一化优势的PPO变体。每个prompt采样多条轨迹，组内相对优势归一化，再做近端比值裁剪更新。EnvFactory的RL阶段使用VeRL实现GRPO。
论文描述使用VeRL + GRPO是RL训练基础。如果对PPO/GRPO的clip目标、组内基线没有概念，对RL章节中奖励权重 $\alpha$ 与长度惩罚 $\gamma$ 的消融将无法理解其本质。
图采样与拓扑感知游走
传统随机游走仅沿单一路径前进，难以处理工具B的输入同时来自工具A与工具C的扇入依赖。拓扑感知采样递归回溯逆向边，直到所有required input都被用户或前置工具满足，才把当前节点加入链中。论文中通过子参数随机概率 $\rho$ 注入额外多样性。
这是QueryGen方法的核心机制。理解先解析依赖再扩展邻居的不平凡之处，才能体会它与naive random walk的本质区别，以及为何它能产生自然的多轮任务。
研究动机
用Agentic RL训练工具调用LLM智能体面临两大长期瓶颈。第一是环境侧的真实与可扩展矛盾：(1)真实生产API/MCP(如Xu et al. 2025)调用昂贵、易因网络延迟扰动RL训练；(2)LLM模拟环境(如Chen et al. 2025c, Li et al. 2025)虽能快速原型，但严重幻觉，难以泛化到真实工具生态(Kalai et al. 2025)；(3)沙箱代码合成的环境(如AutoForge、AgentScaler)或无状态、或依赖预先收集的文档，对未见工具生态泛化力弱。第二是数据侧的真实意图缺失：现有合成轨迹(Yin et al. 2025, Xu et al. 2025)为保证通过率常过细枚举任务要求与推理步骤，更像指令清单而非自然人类请求，削弱RL训练价值。先前SoTA如EnvScaler用191环境/11572任务、AWM用526环境/3315任务，但数据效率与跨基准泛化仍不理想，BFCL多轮MCP-Atlas等难基准pass rate长期偏低(Qwen3-4B base仅4.12)。
本文的目标是本文提出完全自动化的EnvFactory框架，统一解决可扩展可验证环境与自然多轮轨迹合成两大瓶颈。具体目标包括：(a)EnvGen通过Search/Code/Test三智能体协作直接从真实在线资源自主探索并验证stateful MCP环境，使85个环境、842个工具即可覆盖商业、金融、旅行、办公等7个领域；(b)QueryGen通过拓扑感知采样与四步校准精炼(隐式引用/动作压缩/歧义引入/目标扩展)，把过指定的指令清单转化为含隐式意图的人类自然请求；(c)仅用2575条轨迹(Qwen3-1.7B/4B/8B三档)做SFT冷启动+RL后训练，在BFCLv3多轮、MCP-Atlas、τ²-Bench、VitaBench四个差异极大的基准上同时刷新SoTA。
与已有工作不同的是，本文独特切入角度集中在两点。其一，与以往依赖预先文档、现有任务集、抽象种子的合成路径不同，EnvFactory让Search Agent从真实在线资源自主发现工具，Code Agent自动构建stateful数据库与可执行接口，再由Test Agent按四项标准(接口一致性、可执行性、行为正确性、状态转移正确性)跑闭环验证并迭代修复——这种自主发现+自动实现+严格验证流水线是AutoForge/AgentScaler/AWM/EnvScaler均未同时覆盖的。其二，在轨迹合成阶段把拓扑感知采样与自然语言精炼显式分开处理：前者保证工具调用的逻辑完备性(每个工具的required input要么用户给、要么前置工具给出)，后者通过四步规则注入隐式意图与歧义，使合成的query同时具备逻辑可解和语言自然两个属性，这是naive random walk + 直接生成query的方法无法兼顾的。
核心方法
EnvFactory分两阶段加训练阶段。直觉可类比先盖工厂、再开机器、最后用产品训练学生。EnvGen阶段：Search Agent主动搜真实API文档与样例生成结构化元数据 $\mathbf{m}$；Code Agent推导Pydantic数据库 $D$ 与Python实现 $\pi$，包装成MCP接口 $V_e$；Test Agent按接口一致性/可执行性/行为正确性/状态转移四项标准生成单元测试，失败时返回error report让Code Agent迭代修订。QueryGen阶段：BGE-M3把全部工具参数嵌入构图，LLM补全无参工具的逻辑依赖得到依赖图 $G$；拓扑感知采样递归解析每个工具required input来源(外部/前置工具)构造工具链 $\tau$；按子目标分解-目标表达两步合成多轮自然查询并注入四步精炼(隐式引用/动作压缩/歧义引入/目标扩展)；最后在沙箱跑k候选轨迹，按状态等价过滤、删冗余、遮蔽参数。训练阶段采用SFT冷启动+VeRL GRPO，复合奖励 $R=\alpha R_{traj}+(1-\alpha)R_{state}-\gamma P_{length}$。
核心创新可浓缩为四个反差。第一反差是少而精优于多而粗：只用85环境、2575轨迹就击败191环境+11572任务的EnvScaler和526环境+3315任务的AWM，关键在于经严格验证的状态化环境+拓扑一致的轨迹双管齐下。第二反差是自主发现优于依赖文档：Search Agent不再局限于已有API说明或任务集，而是从真实在线资源出发推断工具生态，从而具备对未见工具的可扩展性。第三反差是拓扑感知+自然精炼双阶段分离：把逻辑正确(采样阶段保证依赖完备)与语言自然(精炼阶段注入隐式意图)解耦，避免以往工作既要逻辑又要自然顾此失彼的窘境。第四反差是复合RL奖励：单一轨迹匹配无法容忍合理多解(如独立read调用可换序、limit参数可变化)，单一终态等价无法约束中间路径合理，因此本文用 $R=\alpha R_{traj}+(1-\alpha)R_{state}-\gamma P_{length}$ 在两端找平衡，并通过消融证明 $\alpha=0.5$ 时BFCL多轮取得峰值41.38%。
方法步骤详情
七个关键步骤。步骤一(提案)：Search Agent分析环境池 $E$ 识别覆盖缺口，从在线资源抓取功能并为每个候选生成 $\mathbf{m}$。步骤二(建模)：Code Agent从 $\mathbf{m}$ 推导Pydantic schema $D$，封装序列化接口保证会话隔离。步骤三(实现)：Code Agent写每个工具的Python $\pi$ 包装为MCP $V_e$。步骤四(修订)：Test Agent按四项标准测试，失败时产error report，Code Agent迭代修正直到通过。步骤五(构图)：BGE-M3对工具输入/输出参数编码两两算余弦相似度加边；LLM补全无参工具逻辑边并剪伪边得依赖图 $G$。步骤六(采样)：LLM分类每参数为external/internal，递归回溯 $G$ 逆向边直到所有required input满足；可解析参数以 $\rho$ 概率引入额外前置工具增多样性；沿正向边随机采样1-$k$ 邻居生成非线性链 $\tau$。步骤七(QueryGen合成)：把 $\tau$ 切成多轮，每轮1-5工具；用subgoal分解生成逻辑query后用四步精炼注入自然沟通模式；沙箱跑k候选按状态等价筛选、删冗余、参数mask得到最终SFT/RL轨迹。
技术新颖性
技术新颖性体现在五个层面。第一，EnvGen三智能体闭环(搜索-编码-测试)在合成环境领域首次完整自动化，且四项验证标准直接对应RL训练稳定性需要，比AutoForge/AgentScaler/AWM等单次生成更可靠。第二，工具依赖图把工具与参数都建模为节点，使无参数工具也能被LLM-refinement补全逻辑边，是对传统parameter-only graph的实质性扩展。第三，拓扑感知采样在采样前置解决依赖而非采样后过滤，从源头避免naive random walk的缺依赖问题，并通过 $\rho$ 控多样性。第四，四步自然精炼把隐式意图拆解为可独立调用的子规则(隐式引用、动作压缩、歧义引入、目标扩展)，这种规则分解+组合精炼在以往合成轨迹工作中并不存在。第五，复合奖励权重消融首次系统性证明轨迹匹配+状态等价互补且 $\alpha=0.5$ 最佳。EnvFactory是环境合成与轨迹合成两条此前相对独立的研究线在一次完整闭环中的真正合体。
实验结果
核心实验围绕Qwen3-1.7B/4B/8B在BFCLv3单/多轮、MCP-Atlas、τ²-Bench、VitaBench四大基准12指标展开。SFT贡献最大：BFCL多轮 Qwen3-1.7B 16.75→23.25、4B 33.50→44.25；MCP-Atlas Pass Rate 4B 4.12→7.90、8B 5.15→8.25；VitaBench 1.7B 1.33→6.33。RL在SFT基础上又稳定增益：Qwen3-4B BFCL多轮 44.25→48.50、τ²-Bench综合 25.25→30.13、VitaBench 11.33→16.00；Qwen3-8B MCP-Atlas Pass Rate 8.25→13.75(+5.5)、Mean Cov 22.86→25.98。Overall从base 16.27/24.09/29.23提升至19.74/30.77/33.40，数据量仅为EnvScaler的22%、AWM的78%下仍稳定胜出。Scaling消融显示50→85环境边际递减；Direct-RL证明SFT仍必要；精炼消融Miss-Func/Miss-Param场景提升明显(1.7B 21.25→22.12、4B 40.88→41.25、8B 43.00→44.00)；奖励权重 $\alpha=0.5$ 取得BFCL多轮峰值41.38%，纯轨迹匹配与纯状态等价均退化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BFCLv3 多轮工具调用 | Multi-turn Accuracy (%) | Qwen3-1.7B 28.38, Qwen3-4B 48.50, Qwen3-8B 49.00 | EnvScaler Qwen3-1.7B 30.13, Qwen3-4B 45.00, Qwen3-8B 51.88; AWM Qwen3-4B 40.75, Qwen3-8B 42.25 | 对比base提升+11.63/+15.00/+7.75;在4B档比EnvScaler高+3.5、比AWM高+7.75;但1.7B档略低于EnvScaler(28.38 vs 30.13),8B略低(49.00 vs 51.88),体现规模差异 |
| MCP-Atlas 真实工具调用 | Pass Rate (%) | Qwen3-1.7B 3.09, Qwen3-4B 9.97, Qwen3-8B 13.75 | Base Qwen3-1.7B 1.03, Qwen3-4B 4.12, Qwen3-8B 5.15; AWM 4B 4.47, 8B 6.19; EnvScaler 4B 9.97, 8B 9.62 | 对比base提升约2-8.6倍;Qwen3-8B Pass Rate 13.75比AWM提升约2.2倍,比EnvScaler提升+4.13;Mean Cov在4B档达到21.89,接近EnvScaler的22.27并远超AWM的12.33 |
| τ²-Bench (Airline / Retail / Telecom) | Average Score (%) | Qwen3-1.7B 15.11, Qwen3-4B 30.13, Qwen3-8B 33.67 | Base 14.61/25.25/32.30; AWM 4B 22.37, 8B 28.42; EnvScaler 4B 29.25, 8B 34.30 | Qwen3-4B 综合+4.88,接近EnvScaler同档(30.13 vs 29.25);Qwen3-8B综合比AWM高+5.25、略低于EnvScaler -0.63(EnvScaler在8B上Airline 49.12仍占优) |
| VitaBench (Deliver / Store / Ota) | Average Score (%) | Qwen3-1.7B 7.33, Qwen3-4B 16.00, Qwen3-8B 18.67 | Base 1.33/7.67/16.70; AWM 11.67/16.48; EnvScaler 4.36/14.69/18.67 | Qwen3-4B 综合比EnvScaler高+1.31,比AWM高+4.33;Qwen3-8B与EnvScaler同档并列18.67,但Deliver子项22>19略胜;1.7B档比EnvScaler高+2.97 |
| BFCLv3 单轮工具调用 | Single-turn Accuracy (%) | Qwen3-1.7B 78.44, Qwen3-4B 85.46, Qwen3-8B 86.02 | Base 79.48/85.15/84.31; AWM 4B 85.97, 8B 84.80; EnvScaler 4B 83.64, 8B 84.74 | 整体涨幅不大,Qwen3-8B +1.71略超AWM且领先EnvScaler +1.28;1.7B档与base基本持平(-1.04),提示EnvFactory主要贡献在多轮 |
局限与改进
局限性主要有三方面。第一，环境池规模仍有限：85个环境、842个工具虽实现少而精，但相比EnvScaler的191、AWM的526环境，对长尾工具生态的覆盖偏窄，scaling图3(a)显示75→85环境已呈明显边际递减，再往后扩环境可能收益有限。第二，对话式场景在低资源档表现偏弱：τ²-Bench上1.7B档综合15.11虽略胜EnvScaler(13.65)，但Telecom域仅16.67远低于AWM的17.54，8B档Telecom仅13.16远低于EnvScaler的15.79、AWM的25.44，说明对人类对话风格建模在大型模型上仍不如AWM/EnvScaler的经验性监督。第三，可复现性与外部依赖：依赖BGE-M3嵌入、外部LLM做参数分类与精炼、Search Agent需访问在线API文档，环境质量受可用在线资源稳定性影响；论文承诺开源EnvFactory2026 GitHub Page但部分精炼/分类用LLM型号未明示，精确复现仍存门槛。
独立分析的弱点
独立分析可以看出几个作者未充分讨论的弱点。其一，单轮BFCL在1.7B档从base 79.48小幅退化到78.44(-1.04)，提示大量多轮训练可能轻微损害单轮精度，未来可考虑在训练中显式保留单轮监督以维持两能力平衡。其二，环境构建的修订回路虽设了最大修订预算，但论文未给出修订次数的成功分布与环境失败率，难以判断Test Agent在何种复杂度环境下卡死，建议引入失败模式分类与可解释退出条件。其三，拓扑感知采样通过LLM做external/internal分类，但未对该分类准确率做评估；若分类错误会引入用户根本给不出的参数，污染训练分布；增加分类准确率消融或引入规则化启发式分类器作为后备是可改进方向。其四，对τ²-Bench Telecom和VitaBench Ota等极强交互场景，1.7B/4B提升幅度有限甚至落后，暗示模拟用户(user simulator)的行为多样性与真实人类仍存差距，未来可引入基于真实对话日志的user simulator增强。
未来方向
未来研究有三个值得探索的方向，作者也在论文中隐含支持。方向一是扩大Environment Pool的质量而非数量——作者Figure 3(a)展示了50→85环境的递减收益，未来可结合LLM-driven active learning让Search Agent主动补齐当前工具生态缺口(类似RAG-style retrieval)，而非随机扩量，可能在保持85量级的同时进一步提升长尾覆盖。方向二是把RL部分与Trajectory Critique LLM结合——目前复合奖励仍依赖轨迹匹配与终态等价，引入过程级(每步逻辑链)LLM评判作为辅助奖励，可能进一步压缩SFT冷启动数据需求，甚至实现纯RL路线(论文Table 2显示direct RL已能取得非平凡增益)。方向三是把EnvFactory的核心思想迁移到其他领域——既然通用自动环境合成+自然轨迹生成框架在工具调用上有效，同样可以拓展到GUI智能体、机器人操作、代码生成等，让85-量级经严格验证的小型环境成为新基准，验证少而精是否在其他Agentic RL场景同样成立。
复现评估
复现性整体良好但存在几个门槛。开源层面：作者公布GitHub Page https://github.com/LARK-AI-Lab/EnvFactory2026 并明确论文全部图表与85个环境均可从该仓库获取，环境schema由Pydantic统一描述，工具接口遵循MCP标准；底层训练栈使用成熟工具链LlamaFactory(SFT)+VeRL(RL GRPO)，社区接受度高。数据层面：轨迹合成涉及BGE-M3嵌入、外部LLM(论文未指明型号)做参数分类与精炼，算力层面作者未公开具体GPU型号与SFT/RL总机时，参考Qwen3-4B GRPO常用8卡H100/A100量级，复现门槛中等。建议读者直接拉取EnvFactory仓库的85环境与2575条轨迹做下游任务对比，而不是从零重建EnvGen三智能体。
论文图表
