CompoWorld：面向通用智能体的组合式环境扩展 CompoWorld: Compositional Environment Scaling for General Agents
用可复用服务组合生成跨环境任务训练智能体，八大基准平均提升9.17分
前置知识
POMDP（部分可观测马尔可夫决策过程）
将智能体与环境交互形式化为五元组 $(S,A,T,\Omega,O)$：状态空间、动作（工具）空间、转移函数 $T(s'|s,a)$、观察空间与观察函数 $O(o|s',a)$。智能体看不到环境全貌，只能依据交互历史 $h_t=(u,o_0,a_0,\ldots)$ 决策；任务成败由终局验证器判定，而非逐步奖励。
论文第三节把每个服务严格建模为无任务奖励函数的 POMDP，组合环境 $E_{\mathcal{C}}=\prod_i E_i$ 的联合状态空间与命名空间化动作空间都从这个定义推导，不熟悉 POMDP 就读不懂组合环境的数学形式。
SFT 与 RL 两阶段训练
监督微调（SFT）用成功轨迹做最大似然训练，让模型模仿已验证的行为；强化学习（RL）让模型在环境中自行采样轨迹，按奖励更新策略。常见做法是先 SFT 打底再 RL 提升上限，本文正是先用 3K 条验证轨迹 SFT，再用 GRPO 做 RL。
论文核心实验（Table 1、Figure 5）围绕这两个阶段展开，且明确指出“整体提升主要来自 SFT”，理解两者各自的输入输出才能正确解读结论。
GRPO（组相对策略优化）
DeepSeek 提出的在线 RL 算法：对同一任务从旧策略 $\\pi_{\\theta_{old}}$ 采 N 条轨迹组成一个组，用组内归一化优势 $\\hat{A}_{i,t}=\\frac{R_i-\\bar{R}}{\\sigma_R+\\delta}$ 配合 PPO 式 clip 与 KL 惩罚更新。它免去了独立的价值网络，用组内相对比较充当基线。
本文的 Completion-Focused Rubric Reward 就是为 GRPO 设计的，公式 (5)–(8) 完全建立在 rollout 组与组内归一化的概念之上，不了解 GRPO 无法理解奖励设计动机。
MCP（Model Context Protocol）
让大模型以统一格式调用外部工具的开放协议：每个 MCP 服务器暴露工具名、描述和带类型标注的参数 schema，即机器可读的函数调用规范，已成为工具生态的事实标准且公开可爬取。
本文 448 个服务、10,130 个工具的起点就是从公共 MCP 实现爬取的规格，编码智能体据此反推服务状态模型并实现工具；不理解 MCP 就无法理解服务构建管线的输入。
组合泛化（Compositional Generalization）
指模型能否把在“零件”上学到的能力迁移到零件的新组合上。例如熟悉日历和邮件两个应用，能否完成“查日历找空闲时段再用邮件发邀请”这类新工作流。CompWoB 等研究表明，单任务上表现强并不能可靠迁移到任务组合。
这是本文立论的靶心：作者主张通过改变训练分布本身（重组服务）而非事后评测来培养这种能力，理解它才能明白组合环境训练为何优于单环境训练。
世界模型（World Model）
用模型（此处为 LLM）预测环境动力学：给定当前状态与工具调用，输出新状态与观察 $(s'_i,o)$。当某些工具无法用确定性代码可靠实现（依赖外部系统或超出编码能力）时，世界模型可充当兜底仿真器。
本文采用“确定性代码 + 选择性世界模型仿真”的混合执行设计，448 个服务中无法完全实现的长尾工具靠它覆盖，是理解服务构建部分的关键。
研究动机
现有的自动化环境构建方法——如 AgentScaler、ScaleEnv、Agent-World——虽能批量生成工具交互环境和可验证任务，但任务基本局限于单一环境内：智能体在一个自包含的工具集里反复练习。真实工作流却横跨多个系统：智能体可能要先在 Snowflake 数据库查询逾期工单，再翻阅 PDF 操作手册确定处理策略，最后用邮件通知经理和客户，成功的关键是把正确的信息和约束跨系统传递，而非堆砌工具调用次数。AppWorld 等多应用基准已暴露出这种需求，CompWoB 更证明在单个任务上表现强并不能迁移到任务组合上。要训练这种能力，合成环境必须同时满足三个此前未被同时解决的条件：各服务自身能可靠执行且接口互相兼容；合成任务含有实质性的跨服务依赖且可解、可验证；这些任务还能为 SFT 和 RL 提供有效监督，包括智能体只完成部分工作流的情形。
本文的目标是本文的目标是构建 CompoWorld：一个以“组合”为核心扩展维度的通用智能体训练环境框架。具体而言，把一批独立可执行、拥有类型化持久状态的服务（邮件、Slack、日历、数据库等）作为积木，按任务所需的因果依赖组合成乘积环境，在其中自动生成并验证需要信息跨服务流动的任务；再用验证过的成功轨迹做 SFT、用面向完成的 Rubric 奖励做 RL，让智能体学会在新组合中协调熟悉的服务。量化产出：基于公共 MCP 规范构建 448 个服务、暴露 10,130 个工具；用 3K 条验证轨迹和 1K 个 RL 任务训练 Qwen3.6-35B-A3B；在 8 个高难度智能体基准上平均超过骨干 9.17 分，并在 AutomationBench 跨应用工作流上以 32.33% 的通过率超过 GPT-5.4 与 Claude Opus 4.6。
与已有工作不同的是，本文的独特切入是把\u201c服务组合本身\u201d当作环境扩展的一个可控维度，而不是继续堆环境数量。已有工作各有侧重：EnvScaler 把环境骨架构建与场景生成、规则验证分离；ScaleEnv 用依赖图扩展和拓扑感知轨迹合成；Terminal-Universe 重建跨代码库工作区。CompoWorld 与之互补：它重用独立可执行、有状态的服务，通过任务特定的因果依赖图重组它们，类型化状态与命名空间化工具接口让同一份实现支撑多个应用工作流。组合空间随库规模指数增长：448 个服务取 K=5 组合约有 $1.47\\times10^{11}$ 个候选集，K=7 约 $6.86\\times10^{14}$ 个，即 $\\binom{n}{K}\\sim n^K/K!$。因此\u201c加一条 SFT 样本\u201d可以同时等于\u201c加一个训练环境\u201d，环境缩放被转化为数据缩放，可复用服务为每个新样本提供可执行底座。
核心方法
直觉上，本文把真实世界的 SaaS 应用（邮件、Slack、日历、数据库等）做成一批独立可执行、有持久状态的“积木”，再用随机游走把它们按信息依赖串成跨服务工作流。技术上分三部分：(1) 服务构建：从公共 MCP 规范收集工具规格，pi harness 中的编码智能体在隔离沙箱里推断服务实体、构建 Pydantic 状态模型、逐个实现工具并自测修复；独立会话再从规格推导对抗性测试，未通过的工具被隔离、改由 LLM 世界模型仿真，最终得到 448 个服务、10,130 个工具。(2) 任务生成与验证：从服务池采样 K 个服务构成乘积环境，用长度 L 的随机游走导出服务级依赖图；任务作者智能体经 EXPLORE→DESIGN→PROBE→SUBMIT 四阶段产出任务 $(u,s_0,G,g,v)$，参考解须真实执行所有相关工具且验证器接受。(3) 训练：3K 条验证轨迹 SFT 初始化，GRPO 配合 Completion-Focused Rubric Reward 做 RL。环境与任务合成用 GLM-5.3，轨迹生成用 DeepSeek-V4-Flash (0731)。
核心创新有三点。第一，组合式环境缩放：把扩展轴从“造更多环境”换成“重组有限服务库”，形式化为乘积环境 $E_{\mathcal{C}}=\prod_{E_i\in\mathcal{C}}E_i$，动作按服务命名空间区分，调用 $(i,a)$ 只更新 $E_i$ 的状态，任意服务子集即插即用。第二，混合执行：能可靠实现的工具用确定性代码并经独立对抗验证；不能实现的交给 LLM 世界模型预测 $(s'_i,o)$，预测更新仍经同一 Pydantic 模型实例化，保证类型合法。第三，Completion-Focused Rubric Reward：设组内准则 $j$ 的通过率为 $p_j$，权重 $w_j=\lambda+(1-p_j)$，奖励 $R_i=\sum_j w_j b_{ij}/\sum_j w_j$，低通过率准则自动获得更高权重，专治“平均 rubric 分高但用户目标未达成”（如更新了记录却没发通知）的瓶颈。与已有方法的本质区别：依赖图记录服务级信息依赖而非固定工具调用序列，验证只检查任务相关条件，允许多样化的成功轨迹。
方法步骤详情
第一步，服务合成：输入为爬取的 MCP 工具规格（工具名、描述、类型化 schema），编码智能体据此生成 Pydantic 状态模型、每个工具的实现（操作状态、返回统一 JSON）和测试套件，在沙箱中迭代修复直至通过；独立会话再做对抗测试，失败工具转入世界模型仿真。第二步，任务构建：采样 K=5 个服务（外加 5 个干扰服务），游走长度 L 在 7–12 间采样，要求覆盖全部服务、相邻不重复且至少重访一个；任务作者在 EXPLORE 试玩工具，在 DESIGN 生成指令 $u$、初始状态 $s_0$ 与 rubric，在 PROBE 求解使 $s_0\xrightarrow[\mathcal{E}_{\mathcal{C}}]{\rho}s_H=g$ 且 $v(s_H)=1$，在 SUBMIT 定稿。第三步，SFT：3K 条验证轨迹、3 epochs、batch 32、学习率 $10^{-4}$。第四步，RL：GRPO，N=8，奖励按公式 (5) 加权，学习率 $10^{-5}$，clip (0.20, 0.28)，$\lambda=0.01$，KL 与熵系数为 0。
技术新颖性
与 DreamGym（用推理式经验模型仿真转移与反馈）、EnvScaler（环境骨架与场景生成分离、规则验证）、ScaleEnv 等依赖图扩展工作相比，新颖性体现在四处：(1) 服务级重用——同一份服务实现支撑多个工作流，环境缩放与数据缩放在此合流，新增一个服务可带来 $\\binom{n}{K-1}$ 个新候选组合；(2) 显式信息依赖建模——依赖图每条边表示\u201c目标服务所需输入只能来自源服务返回的观察\u201d，重访边编码状态过期，这与固定调用序列的轨迹合成有本质区别，任务结构由图约束而非脚本决定；(3) 验证即可解性证明——PROBE 阶段的参考解必须真实执行任务用到的每个工具，验证器接受参考解同时保证任务可解、目标可达、rubric 与用户意图一致；(4) 完成型奖励的组内自适应加权——附录 A 的梯度分析表明 $w_j=\\lambda+(1-p_j)$ 等价于放大低通过率准则的梯度贡献，从优化角度解释了为何能突破\u201cSFT 后高分低通过率\u201d的平台期。语料分布上 13 个领域、单一领域不超过 22% 也证明该管线可规模化且不偏科。
实验结果
Table 1：8 个基准全部超过骨干 Qwen3.6-35B-A3B，平均 +9.17 分。亮点：AutomationBench 通过率 10.33%→32.33%（+22.00），超过 GPT-5.4（27.67%）与 Claude Opus 4.6（25.50%），居六个 35B-A3B 专用模型之首。其余：SkillsBench +15.19、VitaBench +10.50、DeepPlanning +9.17、τ3-Banking +5.84、ALE +5.82、WildClaw +3.18；仅 VitaBench 2.0 +1.62。Table 2：六领域全部提升，均值 41.94→72.68，HR +49.40、Marketing +32.51、Sales +31.45。Figure 4：100 条 SFT 样本即超骨干。Figure 5(a)：同预算下组合环境优于单一环境（AutomationBench 12.83→33.33）。Figure 5(b)：RL 奖励升至约 0.79、平均再 +1.2 分，但 τ3-Banking 略降，收益主要来自 SFT。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AutomationBench 1.0.6（跨应用业务工作流） | 通过率 (%) | 32.33 | Qwen3.6-35B-A3B：10.33；GPT-5.4：27.67；Claude Opus 4.6：25.50 | +22.00（相对骨干），并超过两个前沿闭源模型 |
| SkillsBench（可复用技能使用） | Avg@3 得分 (%) | 47.71 | Qwen3.6-35B-A3B：32.52 | +15.19 |
| VitaBench（多轮服务交互） | 平均分 (%) | 49.44 | Qwen3.6-35B-A3B：38.94；GPT-5.4：47.09 | +10.50，超过 GPT-5.4 |
| DeepPlanning（可验证约束下规划） | 平均准确率 (%) | 35.21 | Qwen3.6-35B-A3B：26.04 | +9.17 |
| τ3-Banking（银行客服） | 通过率 (%) | 16.49 | Qwen3.6-35B-A3B：10.65 | +5.84（仍落后 GPT-5.4 的 28.52） |
| Agents' Last Exam（长程专业任务） | 通过率 (%) | 13.59 | Qwen3.6-35B-A3B：7.77 | +5.82 |
| WildClawBench（真实工作流） | 平均分 (%) | 47.46 | Qwen3.6-35B-A3B：44.28 | +3.18 |
| VitaBench 2.0（个性化长期辅助） | 平均分 (%) | 36.09 | Qwen3.6-35B-A3B：34.47 | +1.62（迁移有限） |
| AutomationBench 领域级（六领域均值） | 平均分 (%) | 72.68 | Qwen3.6-35B-A3B：41.94 | +30.74；HR +49.40、Marketing +32.51、Sales +31.45 |
局限与改进
作者承认的局限：完整通过率仍低（AutomationBench 仅 32.33%），领域均值 72.68 说明“几乎完成但差一步”仍是主要失败模式；Sales 领域最低（58.93）；对 VitaBench 2.0 迁移有限（+1.62）；RL 并不总带来收益（SkillsBench 提升而 τ3-Banking 略降），整体提升主要来自 SFT；且 $w_j=\lambda+(1-p_j)$ 的重加权无法区分组内全部失败的准则（所有 $b_{ij}=0$ 时无梯度信号）。我的补充观察：其一，流水线质量上限受制于前端模型——合成依赖 GLM-5.3、轨迹生成依赖 DeepSeek-V4-Flash，论文未做合成器消融；其二，世界模型仿真工具可能与确定性代码产生语义漂移，附录 B 只定性讨论未量化对下游训练的影响；其三，难度控制主要靠游走长度 L，粒度较粗；其四，扩展实验只扫了样本数（100–3K），没有报告服务库规模的扩展曲线；其五，部分基准用 Qwen3.5-397B-A17B 做 LLM judge，可能引入评测偏差。
独立分析的弱点
第一，完成率瓶颈：AutomationBench 领域均值 72.68 对比通过率 32.33%，多数失败是\u201c完成 90% 但差一个关键动作\u201d。改进方向：把未满足准则显式反馈进 RL 观察，或用差距分解的课程，从 K=2 的任务渐进到 K=5。第二，合成依赖闭源强模型：GLM-5.3 负责环境/任务合成意味着复现者需支付高额 API 成本且质量不可控，改进方向是蒸馏开源合成智能体，或报告不同合成器下的任务质量敏感性。第三，服务库是静态快照：新增服务的边际收益分析停留在 $\\binom{n}{K-1}$ 的组合数学层面，没有在线扩展实验，改进方向是持续接入新 MCP 服务并监控边际增益与组合冲突。第四，世界模型仿真误差未量化：若仿真的状态更新偏离确定性语义，SFT 轨迹会吸收仿真伪影，改进方向是报告仿真工具占比与下游性能的剂量-响应关系。第五，只验证了 35B-A3B 一个规模：组合式扩展的缩放规律是否在 7B 或 400B 上成立未知，改进方向是补充模型规模消融。
未来方向
作者提出的方向：把可复用服务组合当作持续的数据生成引擎，核心挑战是把组合潜力转化为训练覆盖——挑选兼容服务、构造实质性跨服务依赖、验证合成任务，让工作流多样性成为环境缩放的显式维度。可以延伸的方向：(1) 在约 $1.47\\times10^{11}$ 的候选组合空间中做主动采样，按骨干模型的失败分布定向生成任务，而非随机游走；(2) 把世界模型仿真比例作为可调旋钮，系统研究其对泛化能力与仿真偏差的权衡；(3) 将组合式扩展与课程学习结合，让游走长度 L 和服务数 K 随训练进度自适应增长；(4) 从单智能体扩展到多智能体：服务间可能存在并发写入与冲突，需要新的协调训练信号；(5) 在真实 API 上检验仿真训练到真实部署的迁移差距（sim-to-real gap）；(6) 把\u201c类型化状态 + 命名空间工具 + 依赖图\u201d的抽象推广到 GUI/多模态智能体的组合环境，验证其普适性。
复现评估
复现难度中等偏上。论文未明确声明开源代码与数据（给出项目页 AllSpark-Research/CompoWorld），448 个服务、10,130 个工具、3K SFT 轨迹与 1K RL 任务是否放出不明确。训练侧门槛不高：Qwen3.6-35B-A3B 是 3B 激活的 MoE，SFT 仅 3 epochs、全局 batch 32，RL 为 GRPO（N=8），常规多卡 A100/H100 集群可承受，但论文未披露 GPU 数量与训练时长，算力估算不便。真正的成本在两处：一是环境与任务合成需要 GLM-5.3、轨迹生成需要 DeepSeek-V4-Flash，从零重建 448 个经过验证的服务本身就是一笔可观的智能体调用开销；二是完整评测需要调用 GPT-5.4、Claude Opus 4.6、Gemini-3.1 Pro 等商业模型，部分基准还需 Qwen3.5-397B-A17B 做 LLM judge，八个基准的全套对比费用不低。若作者开源服务库与任务集，复现训练与主表结果会容易得多；否则属于重工程量项目。
论文图表
