ScaleEnv：从零扩展环境合成以训练通用交互式工具使用智能体 ScaleEnv: Scaling Environment Synthesis from Scratch for Generalist Interactive Tool-Use Agent Training
从零合成可执行交互环境与可验证任务，通过环境多样性扩展训练通用工具使用智能体
前置知识
工具学习（Tool Learning）
工具学习是指训练大语言模型（LLM）调用外部工具（如 API、数据库查询、函数调用）来完成任务的能力。早期方法依赖静态示范数据（SFT），让模型模仿人类的工具调用轨迹。近年来，研究转向强化学习（RL），让智能体在环境中自主探索、试错，从而获得更强的泛化能力。核心挑战在于：智能体需要理解工具的功能描述、参数约束和前置条件，在多轮交互中逐步完成复杂任务。
本文的核心目标就是为工具学习提供高质量的训练环境，理解工具学习的演进脉络是理解本文动机的前提。
强化学习中的环境（Environment in RL）
在强化学习框架中，环境是智能体交互的外部世界，定义了状态空间、动作空间、状态转移函数和奖励函数。智能体通过在环境中执行动作、观察反馈来学习策略。对于工具使用智能体来说，环境包括可用的工具集、数据库状态和用户模拟器。环境的质量直接决定了 RL 训练的效果——如果环境不可靠，智能体会学到错误的策略。
本文的核心贡献就是从零合成高保真、可执行的 RL 环境，理解环境在 RL 中的角色是理解本文技术方案的基础。
部分可观测马尔可夫决策过程（POMDP）
POMDP 是 RL 的一种形式化框架，适用于智能体无法完全观测环境状态的场景。在本文中，每个状态 $s_t = (s_t^{env}, h_t, u)$ 由三部分组成：当前环境状态、交互历史和用户意图。智能体只能看到交互历史，无法直接访问用户的隐藏意图 $u$ 或完整的环境状态，必须通过主动提问和工具调用来推断。动作空间包括自然语言回复和工具调用命令。
本文将工具使用任务形式化为 POMDP，这是理解论文方法论的数学基础。
GRPO（Group Relative Policy Optimization）
GRPO 是一种策略优化算法，通过组内相对比较来估计优势函数，无需额外的价值网络。具体来说，对每个任务采样一组 $G$ 条轨迹，计算组内奖励的均值 $\mu$ 和标准差 $\sigma$，然后将单条轨迹的奖励 $r_i$ 标准化为优势估计 $\hat{A}_i = (r_i - \mu) / \sigma$。这种方式相比 PPO 更加稳定，特别适合多步决策场景。
本文使用 GRPO 作为训练算法，理解其工作原理有助于理解实验设置和结果分析。
分布外泛化（Out-of-Distribution Generalization）
OOD 泛化是指模型在训练时从未见过的分布上仍然能表现良好的能力。在本文中，训练用的 16 个合成领域与评测基准（$\tau^2$-Bench、VitaBench）的领域完全不重叠，且评测数据的交互格式（如策略约束对话）也与训练不同。这要求模型学到的是通用的推理和工具调用策略，而非特定领域的记忆。
本文的核心验证就是 OOD 泛化能力，理解这一概念是评估实验结果说服力的关键。
研究动机
训练通用工具使用智能体需要大量可交互的环境供其自主探索，但这类环境极度稀缺。现有环境构建方法存在三大类问题。第一类是真实世界环境（如真实 API），虽然保真度高，但受限于有限的领域覆盖、安全策略限制、高延迟和高成本，无法支撑大规模 RL 训练。第二类是 LLM 模拟环境，利用大语言模型生成工具响应，虽然成本低、可扩展，但存在严重的幻觉问题，无法维护真实的环境状态一致性，经常生成语义合理但执行失败的工具调用。第三类是合成环境框架如 AutoForge 和 EnvScaler，前者受限于文档生成的扩展性瓶颈，后者难以构建复杂的用户交互任务，且两者生成的任务与环境状态之间一致性不足。具体来说，在 RL 训练中，智能体需要反复试错，如果环境返回的工具执行结果不一致或虚假，会导致奖励信号冲突，使策略无法收敛到正确的决策逻辑。
本文的目标是本文的目标是提出一个完全自动化的框架 SCALEENV，从零构建高保真、可执行的交互式环境和可验证的任务，用于大规模强化学习训练。具体目标包括：（1）环境代码必须经过严格测试确保执行可靠性，不存在运行时错误或状态不一致；（2）任务必须有明确的可验证奖励信号，通过规则化评估器直接检查最终数据库状态；（3）环境多样性可扩展，通过增加领域数量来提升智能体的泛化能力；（4）训练后的模型在未见过的 OOD 基准上实现显著的零样本性能提升。
与已有工作不同的是，本文的独特切入角度在于「从零构建」而非「从已有数据插值」。与依赖外部文档或真实 API 的方法不同，SCALEENV 完全由 LLM 驱动，从领域关键词出发，自顶向下地合成工具 schema、数据库 schema、可执行代码和任务描述。更重要的是，本文抓住了已有方法忽视的一个关键问题：工具代码的执行验证。大多数合成方法只检查语义合理性，不实际执行代码，导致生成的环境在 RL 训练中频繁崩溃。SCALEENV 通过「程序化测试」机制，将工具代码在匹配的数据库实例上实际运行，验证三种结果（成功、预期拒绝、意外失败），确保每个工具都经过真实执行验证。另一个被忽视的点是环境多样性的系统性扩展——本文首次提供了环境扩展曲线的实证证据，证明领域多样性比任务数量更重要。
核心方法
SCALEENV 的核心思路可以用一个比喻来理解：如果把训练智能体比作培养一个全能的「工具使用专家」，那么传统方法是在几间固定的教室里反复练习，而 SCALEENV 则是从零建造一个包含 16 个不同「行业模拟中心」的培训基地，每个中心都有真实的工具、数据库和模拟用户。整个框架分为两个阶段：第一阶段是「可执行图构建」，从一个领域名称（如「求职」）出发，自顶向下地合成工具定义、数据库结构和可执行代码，通过程序化测试确保代码可靠性，最终构建工具依赖图来建模工具间的逻辑关系；第二阶段是「任务实例化」，通过图扩展策略，从种子工具链出发，逐步扩展环境复杂度，生成包含干扰数据的多样化任务。技术路线是：领域关键词 → Schema 定义 → 代码生成与测试 → 依赖图构建 → 种子链采样 → 环境扩展 → 任务合成 → RL 训练。
SCALEENV 最核心的创新在于两个机制的结合。第一个是「程序化测试」（Procedural Testing），这是一个严格的代码验证循环：工具代码由 Code Agent 生成，同时 Test Agent 合成单元测试用例和匹配的数据库实例，然后实际执行工具代码并检查三种可能结果——成功（状态转移匹配预期）、预期拒绝（工具正确处理无效输入）、意外失败（触发 Debug Agent 迭代修复代码）。这与已有方法的本质区别在于：已有方法大多只做语义层面的检查（看起来对不对），而 SCALEENV 做的是执行层面的检查（跑起来对不对）。第二个核心创新是「依赖感知的图扩展」（Dependency-Aware BFS），在扩展环境时不是随机注入工具，而是从工具依赖图出发，使用广度优先搜索，只添加那些输入输出依赖能被当前子图满足的工具节点，避免引入依赖死胡同。同时通过 LLM 门控机制，综合考虑结构复杂度、可行性和可用工具数量来决定是否继续扩展，平衡多样性与可解性。
方法步骤详情
SCALEENV 的完整流程可以分为以下几个步骤：（1）Schema 定义——给定领域名称（如「求职」），LLM 自顶向下生成工具 schema，包括功能描述、参数和前后置条件；同时 Database Agent 分析工具定义，反向推导出所需的数据库表结构和完整性约束。（2）代码实现——优先生成数据库代码（因为工具依赖数据库），通过并发生成测试脚本来验证；然后生成工具代码，通过程序化测试机制在匹配的数据库实例上实际执行，验证三种结果，失败时由 Debug Agent 迭代修复直到所有测试通过。（3）依赖图构建——Tool Dependency Agent 从数据流、前后置条件和状态依赖三个维度分析已验证工具间的成对关系，建立有向边，将原子工具整合为统一的工具依赖图 $G$。（4）种子链采样——从依赖图 $G$ 中采样种子工具链 $C_1 = (a_1, a_2, \ldots, a_k)$ 作为参考解路径，将其表示为可执行代码以确保数据流约束。（5）初始状态构建——基于种子链构建初始环境状态 $s_0^{env}$，注入符合 schema 约束但与最优路径无关的干扰数据。（6）指令合成——LLM 基于种子链和环境状态合成用户 profile 和指令，评估标准直接从执行种子链后的最终状态推导。（7）图扩展——将种子链扩展为子图 $H_1 = K(C_1)$，使用依赖感知 BFS 添加新工具节点；然后通过 LLM 门控策略决定是否引入新的种子链 $C_2, \ldots, C_n$，条件包括结构复杂度 $c(H_n)$、可行性分数 $g(D_n)$ 和可用工具数 $|D_n|$。（8）RL 训练——使用 GRPO 在合成的 2560 个任务上训练 Qwen3 模型，Qwen2.5-72B-Instruct 作为用户模拟器。
技术新颖性
SCALEENV 的技术新颖性体现在三个方面。首先，在环境验证层面，它是首个将程序化测试引入智能体环境合成的框架。已有工作如 AutoForge 依赖文档生成，EnvScaler 虽然有可执行管道但缺乏严格的执行验证，而 SCALEENV 的三种结果分类（成功、预期拒绝、意外失败）确保了工具代码的运行时可靠性。其次，在环境扩展层面，依赖感知 BFS 策略比随机注入更加智能——它确保每个新添加的工具节点的依赖都能被当前子图满足，避免了依赖死胡同。LLM 门控机制综合考虑结构复杂度、可行性和可用工具三个维度来平衡扩展，这是已有方法没有的。最后，在评估机制层面，本文提出规则化评估器直接检查数据库最终状态，将列分为三类匹配策略（免检字段、硬约束、语义对齐），避免了 LLM-as-a-Judge 的奖励劫持问题。实验表明，规则化评估器在 $\tau^2$-Bench 上的 Pass@4 为 62.9，优于 LLM-as-a-Judge 的 58.8。
实验结果
本文的实验结果可以分为四个层面。首先是核心性能提升：在 $\tau^2$-Bench 和 VitaBench 两个 OOD 基准上，Qwen3-SE 系列模型相比基线实现了显著的零样本泛化提升。Qwen3-SE-8B 在 $\tau^2$-Bench Retail 上从 38.4 提升到 50.9（+12.5），VitaBench Instore 从 14.8 提升到 23.8（+9.0）；Qwen3-SE-32B 在 VitaBench Instore 上从 22.5 提升到 34.5（+12.0），OTA 从 4.5 提升到 12.5（+8.0）。值得注意的是，32B 模型在最具挑战性的 VitaBench Cross 子集上从 5.3 提升到 10.8（+5.5），翻了一倍。其次是上界分析：Pass@4 指标衡量四次尝试中至少一次成功的概率，Qwen3-SE-32B 在 VitaBench Cross 上从 15 提升到 29，接近翻倍，表明 SCALEENV 不仅提升了平均稳定性，更根本地增强了模型搜索正确解的能力。第三是环境扩展曲线：从 N=2 到 N=16 的领域数量递增实验显示，零样本性能随领域数量单调递增，且在 N=16 时仍未完全饱和，验证了环境多样性是泛化的关键驱动力。第四是消融实验：移除执行验证（w/o EV）导致 $\tau^2$-Bench 所有领域性能下降，说明未经执行验证的噪声数据会引入冲突的奖励信号；规则化奖励优于 LLM-as-a-Judge（38.5 vs 36.5 的 Avg@4），且计算开销更低。领域稳定性分析表明，两个不重叠的 4 领域子集在 VitaBench 上均一致优于基线，排除了「幸运领域」的干扰。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| $\tau^2$-Bench Retail | Zero-shot Score | Qwen3-SE-8B: 50.9 / Qwen3-SE-32B: 63.6 | Qwen3-8B: 38.4 / Qwen3-32B: 59.5 | +12.5 (8B) / +4.1 (32B) |
| $\tau^2$-Bench Airline | Zero-shot Score | Qwen3-SE-8B: 37.5 / Qwen3-SE-32B: 48.0 | Qwen3-8B: 30.5 / Qwen3-32B: 48.0 | +7.0 (8B) / +0.0 (32B) |
| $\tau^2$-Bench Telecom | Zero-shot Score | Qwen3-SE-8B: 27.2 / Qwen3-SE-32B: 30.9 | Qwen3-8B: 21.5 / Qwen3-32B: 27.2 | +5.7 (8B) / +3.7 (32B) |
| VitaBench Cross | Zero-shot Score | Qwen3-SE-8B: 3.0 / Qwen3-SE-32B: 10.8 | Qwen3-8B: 1.5 / Qwen3-32B: 5.3 | +1.5 (8B) / +5.5 (32B) |
| VitaBench Delivery | Zero-shot Score | Qwen3-SE-8B: 26.3 / Qwen3-SE-32B: 31.3 | Qwen3-8B: 18.3 / Qwen3-32B: 27.0 | +8.0 (8B) / +4.3 (32B) |
| VitaBench Instore | Zero-shot Score | Qwen3-SE-8B: 23.8 / Qwen3-SE-32B: 34.5 | Qwen3-8B: 14.8 / Qwen3-32B: 22.5 | +9.0 (8B) / +12.0 (32B) |
| VitaBench OTA | Zero-shot Score | Qwen3-SE-8B: 7.0 / Qwen3-SE-32B: 12.5 | Qwen3-8B: 4.5 / Qwen3-32B: 4.5 | +2.5 (8B) / +8.0 (32B) |
| VitaBench (Pass@4 Avg) | Pass@4 | Qwen3-SE-8B: 35.8 / Qwen3-SE-32B: 46.8 | Qwen3-8B: 27.0 / Qwen3-32B: 36.0 | +8.8 (8B) / +10.8 (32B) |
局限与改进
本文的局限性可以从多个角度分析。首先，合成环境的保真度虽然经过程序化测试验证，但本质上仍是「玩具级」模拟，与真实世界的复杂性（网络延迟、并发冲突、模糊的用户表达）存在差距。论文承认训练领域与评测领域之间虽然在语义嵌入空间中分离，但评测基准本身也是合成的（$\tau^2$-Bench 和 VitaBench），真正的现实场景表现未经验证。其次，环境扩展曲线在 N=16 时虽未饱和，但论文未探索更大规模的扩展（如 N=32、64），不清楚边际收益是否会急剧下降。第三，合成成本较高——每个领域需要约 546k token（约 379k prompt + 167k completion），每个任务约 93.2k token，16 个领域共 2560 个任务的总 token 消耗相当可观，且依赖多个高性能 LLM（Deepseek-V3.2、GLM-4.7、GPT-5.1、Qwen3-32B）协同工作。第四，论文只在 Qwen3 系列上验证了方法，未测试其他模型架构或更小规模的模型（如 1.5B、3B），不清楚该方法对模型规模的敏感性。第五，规则化奖励虽然避免了奖励劫持，但也限制了评估的灵活性——对于需要语义理解的复杂任务，硬编码的数据库状态匹配可能过于严格或过于宽松。
独立分析的弱点
从独立分析的角度，SCALEENV 存在以下几个可以改进的弱点。第一，工具依赖图的构建完全依赖 LLM 的推理能力来判断工具间的依赖关系，如果 LLM 漏判或误判依赖边，会导致后续任务实例化中出现隐含的执行冲突。改进方向可以引入形式化验证方法，如静态分析工具代码的输入输出类型签名来自动推断依赖关系，而非仅依赖 LLM 的语义判断。第二，干扰数据（distractor）的注入策略相对简单——只是在数据库中添加与最优路径无关的额外记录。在真实场景中，干扰往往是微妙的（如相似但不同的产品、同名但不同的人），需要更精细的干扰设计来提升智能体的信息过滤能力。第三，LLM 门控策略中的可行性分数 $g(D_n)$ 依赖 Qwen3-235B-A22B 的 best-of-16 搜索，计算开销较大且受限于该 Oracle 模型自身的能力上限。可以考虑引入基于图论的可行性分析（如工具链的可达性分析）来替代或辅助 LLM 判断。第四，环境扩展的终止条件（$|H_n| \geq 20$ 和门控阈值 $\tau$）是启发式的，缺乏理论依据，可能导致某些领域的环境过于简单或过于复杂。改进方向可以引入自适应终止策略，根据当前环境的训练效果动态调整扩展深度。
未来方向
作者在论文中指出环境扩展曲线在 N=16 时未饱和，暗示进一步扩展领域多样性是有价值的方向。基于本文成果，可以延伸出几个研究方向。第一，将 SCALEENV 从工具使用扩展到更广泛的智能体场景，如 GUI 交互、代码生成、多智能体协作等，验证其框架的通用性。第二，探索环境合成与课程学习的结合——按照复杂度递增的顺序组织训练环境，而非随机混合，可能进一步提升训练效率。第三，引入真实世界数据来校准合成环境——用真实 API 的少量样本作为种子，生成与真实分布对齐的合成环境，弥合 sim-to-real 的差距。第四，研究环境多样性与模型规模的 Scaling Law——本文只在 8B 和 32B 上做了实验，探索更大模型（如 72B、235B）是否能从更多样的环境中获益更多，可能揭示环境 scaling 与模型 scaling 的交互效应。第五，将规则化奖励与 LLM-as-a-Judge 结合，前者用于有明确数据库状态的任务，后者用于需要语义理解的开放式任务，构建混合奖励系统。
复现评估
从复现角度来看，SCALEENV 的复现难度中等偏高。有利因素包括：方法描述相当详细，每个步骤都有明确的输入输出说明；训练使用的是开源模型 Qwen3（8B 和 32B）；GRPO 算法本身是公开的；16 个合成领域的任务数量和分布有详细统计（表 8）。不利因素包括：论文未明确说明是否开源合成的环境代码和训练数据；合成过程依赖多个高性能 LLM（Deepseek-V3.2、GLM-4.7、GPT-5.1、Qwen3-32B），复现需要大量的 API 调用费用；Qwen2.5-72B-Instruct 作为用户模拟器需要相当的算力；训练使用 rollout batch size 1024-2048 和 48 步，需要多卡并行。粗略估算，合成 16 个领域需要约 870 万 token（16 × 546k），2560 个任务需要约 2.4 亿 token（2560 × 93.2k），加上训练的 rollout 开销，总成本不低。对于资源有限的团队，建议先从 2-4 个领域开始验证方法有效性，再逐步扩展。
论文图表
