Agent-World:通过可扩展的真实环境合成推动通用智能体智能进化 Agent-World: Scaling Real-World Environment Synthesis for Evolving General Agent Intelligence

完整流程包含 6 步。第一步是主题收集,从 Smithery 抓取 ~2.8K 个 MCP server 的 JSON 描述、从开源数据集抽取 ~0.5K 份工具文档用 LLM 反向映射为主题、再人工加入 ~0.2K 份 industrial PRD,合并为种子主题集 $M=M_1\cup M_2\cup M_3$。第二步是 agentic database mining,基于策略模型 $\pi_\theta$ 和 search/browser/compiler/OS 工具集 $T$ 构建 deep-research agent $G$,对每个主题 $m$ 迭代运行 $N$ 轮数据挖掘与复杂化 $\phi$,得到 $D^{(N)}(m)=G(m;\pi_\theta,T)$。第三步是工具生成与验证,coding agent $\psi$ 对每对 $(m, D^{(N)}(m))$ 生成候选工具与对应单元测试 $\hat{C}_{\hat{f}}$,保留通过编译、$Acc>0.5$ 且至少含一个有效工具/测试的环境,得到 $F(m)$。第四步是构建三层 taxonomy:对 1978 个环境做 hierarchical clustering 取 50 个 cluster,用 GPT-OSS-120B 摘要得到 50 个二级标签,再由 3 位人工标注合并为 20 个一级标签。第五步是任务合成:对每个环境同时跑 graph-based(在 fully connected weighted DAG $G=(V,E)$ 上随机游走,边权 3/2/1 分别表示强依赖、弱依赖、独立,然后填实参,LLM 修剪冗余,沙箱执行得到 ground-truth $a^*$、rubric $R$)与 programmatic(LLM 生成端到端 Python $\pi_{code}$ 与 $V_{code}$,用 ReAct 调试至可执行)两条流水线,均要求 ReAct 5 次中至少 2 次通过才保留,并通过增加随机游走步数、引入 if/else 循环、跨库聚合等手段做 difficulty scaling。第六步是 self-evolving 训练闭环:用 GRPO 在 5K RL 样本上以 $\varepsilon_{low}=0.2$, $\varepsilon_{high}=0.28$,每 batch 32 任务×8 rollout 训练 $\pi_\theta^{(r)}$;每轮用 stratified sampling 从 20 个一级类目各抽 $K=5$ 个环境构成 arena $E_{arena}$,对每个环境合成新的动态任务 $X^{(r)}_{arena}(m_i)$ 评估当前策略,再让 diagnosis agent $\delta$ 输出弱环境 $W^{(r)}$ 与生成指南 $G^{(r)}_{guide}$,对 $W^{(r)}$ 内环境重新复杂化数据库并合成针对性训练集 $X^{(r)}_{target}$,继续 RL 得到 $\pi_\theta^{(r+1)}$。

技术新颖性主要体现在三方面:第一,把 deep-research agent 与传统 RL 训练管线耦合,让 agent 自主从 web 挖掘主题对齐的真实数据并构造可执行环境,首次把'环境合成'这件事从 LLM 编造升级为可追溯的 web-grounded 数据挖掘;第二,设计了同时覆盖图任务(rubric-judge)与程序化任务($V_{code}$ 执行断言)的 state-aware 可执行奖励体系,把'答案对'与'数据库状态正确更新'都纳入奖励,这是 stateful agent 训练相对 stateless tool-use 的核心区别;第三,把诊断 agent $\delta$ 嵌入训练循环,使环境集合 $W^{(r)}$ 与生成指南 $G^{(r)}_{guide}$ 成为可计算的中间产物,让环境扩展不再是死板的均匀 scaling,而是 capability-gap-driven 的针对性扩展,论文通过 Algorithm 1 把这一过程形式化为一个明确的状态机。

独立看,本文至少有四处可改进的弱点。其一是 web 挖掘的可信度瓶颈:主题种子高度依赖 Smithery 的 MCP server 描述质量与 deep-research agent 的爬取鲁棒性,如果某个主题的源数据稀疏或被反爬阻断,合成的数据库 $D^{(N)}(m)$ 就会偏小或失真,改进方向是引入 multi-source fallback(如 Hugging Face Datasets、Kaggle、Wikipedia Infobox)并对每个数据库加 LLM-as-judge 的覆盖率审计。其二是诊断 agent 的 self-consistency 不足:$\delta$ 的输出没有 ground-truth,改进方向是对每个失败轨迹引入可解释的 failure taxonomy(参数错误 vs 工具选择错误 vs 状态更新错误 vs 顺序错误)并要求 $\delta$ 在 $G^{(r)}_{guide}$ 中显式覆盖每类错误,目前论文只在 Prompt A 中模糊提到'categorize each failure into root-cause types',但没有量化诊断准确率。其三是难度 scaling 的可控性弱:graph-based 通过增加 walk 步数与弱依赖比例提升难度,programmatic 通过要求更多循环/分支,但没有显式的难度标签或预校准,改进方向是在合成阶段引入可估计的 'tool-call horizon' 与 'control-flow depth' 两个标量作为难度锚点,在 RL 阶段做 curriculum learning。其四是 evaluation protocol 与训练 protocol 几乎一致,虽然 arena 每轮重采样,但任务合成的 rubric 生成器与验证器是同一套 LLM,容易形成 circular bias,改进方向是引入 human-written held-out gold tasks 或 cross-check by a different judge model。

作者在结论中暗示的方向包括把 scalable environment 拓展到多模态(视觉/语音工具)以及扩展 self-evolution 的轮数与 agent 数量。基于成果,我认为至少有四个可延伸方向:(1)把单智能体 self-evolution 扩展到多智能体协作 arena,让多个策略在共享环境上做 role-play 或 debate,通过 inter-agent feedback 进一步暴露 capability gap;(2)在 diagnostic 输出之上引入 symbolic verifier 而非纯 LLM judge,把可形式化校验的失败原因自动归档为 hard rules;(3)把 environment-task discovery 与 test-time scaling 结合,在推理阶段允许 agent 在动态生成的临时 sub-arena 上做 in-context RL,即把训练时的 arena 暴露为可调用的 inference-time 工具;(4)把训练数据开源,推动 Agent-World-style benchmark 成为开源 agent 后训练的标准 pipeline。

论文对训练细节公开较充分:backbone 是 Qwen3-8B/14B,SFT 阶段由 Doubao-Seed-1.8 生成 40K 冷启动轨迹,RL 阶段合成 5K 样本,使用 GRPO $\varepsilon_{low}=0.2$/$\varepsilon_{high}=0.28$,batch=32 task×8 rollout,max trajectory=80K tokens,max generation=32K tokens,采样 temperature/top_p 均为 1.0,每个实验跑 8 次取均值。环境侧给出 ~2800 MCP server、~500 tool doc、~200 PRD 三类主题源的统计,但具体 server 列表、deep-research agent prompt、taxonomy 构建 prompt 仅在附录摘要性展示。GitHub 项目页 agent-tars-world.github.io 承诺会发布代码与数据,但撰写本文总结时尚不能确认 release 状态。算力方面,8B/14B 模型在 32 task×8 rollout/步、80K context 下做多环境 GRPO,估算需要数百张 H100 级别 GPU,且每轮自演化需要重新合成任务并跑 held-out 评估,成本极高,普通实验室难以直接复现最大规模实验。建议复现路径:先固定 environment 集合与训练 prompt,只复现单轮 SFT+RL 部分以验证 reward 设计,再逐步扩展到自演化阶段。