旷野智能体世界模型:面向通用计算机使用智能体的可执行环境合成 Agent World Model in the Wild: Computer-Use Agent Environment Synthesis

第一步,persona 与日计划:生成器产出 persona 档案(职业、至少 3 个具名联系人、4-8 个 MCP 服务路线图、至少一条图像决定性故事线),多样性评审拒绝与已有 persona 职业域、工具模式或叙事弧重合者;日规划器读取前一日真实状态 $W(c,d-1)$ 生成次日计划,并附界面使用直方图促进多样性。第二步,世界物化:implementer 智能体对照 83 个可复用事件技能匹配计划活动,缺失则新写技能或实现 MCP 服务;产出确定性 delta.sh(时间戳为冻结字面量、ID 按 $\text{MAX(id)}+1$ 派生、插入幂等),经双次重放哈希一致、账户可登录、服务健康、独立 reviewer 复核后接受;最终得 36 个 persona、640 个世界状态。第三步,任务生成:草图智能体在活环境探索提出至多 4 个跨接口草图,多样性门选出最不相似者;生成器产出七个工件(task.md、reason.md、meta.json、golden.py、rubrics.md、verify.skill.md、验证器脚本)并强制自检。第四步,执行与三层判定:每任务 6 次 rollout(3 次带提示),验证器按 checklist 打分 $V=\prod_{i=1}^{N}v_i$,LLM 评审审机器提取的证据摘要,agent 评审多轮巡查前后快照。第五步,五道质量门:判断一致性要求 $V=V^{LLM}=V^{agent}$ 对全部 rollout 成立;初始不满足要求 $V(W_0,W_0,\varnothing)=0$;可解性要求 $\sum_j V\ge1$ 且成功轨迹用满三接口;难度按无提示成功数 $k$ 分档($k\le1$ 难、$k=2$ 中、$k=3$ 太易退回);反事实探针要求评审在相反断言下维持原判。第六步,修订循环:失败候选带诊断证据退回,至多两轮,教训沉淀进演化技能库(40 个技能共 802 次修订)。第七步,训练:SFT 3 epoch 暖启动后用 GRPO 优化 $r_j=\min\big(1,\,V(W_0,W_j,a_j)+\tfrac{0.1}{N}\sum_i v_i\big)$、格式失败 $r_j=-1$;自适应 rollout 倍数 $\kappa_\tau\in[1,3]$ 缓解零方差组;跨压缩分段训练把前向次数从步数 $T_j$ 降到段数 $M_j$。

技术新颖性集中在五处。其一,五道质量门的形式化:把'任务好不好'分解为五项可执行判定,每道门有明确输入、输出与淘汰动作;消融实验证明它们互补——移除任一门使四基准平均分下降 2.60-9.30,移除初始不满足或判断一致性后域内成绩从 21.59 崩至 3.05/3.79,说明这些门不是装饰而是训练数据质量的决定因素。其二,反事实探针:首次把 sycophancy 系统性地用作验证器压力测试,包含盲判、施压、文件 diff 检测三步流程,评审被压服或偷改脚本即淘汰,被误导时则路由到人工审查。其三,演化技能库:83 个世界合成技能加 40 个任务合成技能,失败任务的教训被蒸馏为生成器的可复用经验——例如 hard-multi-interface-recipe 技能历经 43 版迭代才收敛出'两个强步骤才算难'的判据,使流水线越用越准。其四,RL 配方:checklist 部分分以 0.1 权重提供过程信用;对全格式失败的零方差组赋予 $-K^{-1/2}$ 优势,保证早期训练仍有梯度;按任务的指数滑动平均倍数 $\kappa_\tau$(初始 1、上限 3、更新权重 0.8)自动为难题多采 rollout,避免浪费在已掌握或无解任务上。其五,跨压缩分段训练:针对 100K 窗口内 256 步以上的长 rollout,按压缩点切段、段内保自回归因果、段间共享轨迹优势与轨迹级归一化,把每条轨迹的前向次数从 $T_j$ 降到 $M_j$,兼顾效率与训练-推理一致性。

独立分析五个弱点。第一,教师天花板:SFT 暖启动使用 GLM-5.2 轨迹,行为分析显示增益集中在第 2/3 难度四分位(+19.9/+12.2),最难四分位颗粒无收——学生的能力被教师能力上界锁定。改进方向:利用验证器自动生成超出教师能力的渐进式课程(对任务做参数化加难),或引入自我博弈式探索,让 RL 在无教师示范处自行发现解法。第二,数据规模与分布失衡:341 个任务、6 个 persona 占 52%,RL 64 步即止,可能远未榨干数据价值;每状态 3 个任务槽的上限也限制了密度。改进:并行化任务合成、按 persona 均衡采样、把接受率从 53% 继续推高。第三,终态二元奖励的过程盲区:$r_j=\min(1,V+\tfrac{0.1}{N}\sum_i v_i)$ 只看最终状态,清空购物车凑单、群发消息等破坏性捷径不受惩罚。改进:在 checklist 中加入副作用检测脚本(如'不得出现新的删除记录'),或训练过程奖励模型。第四,视觉任务面窄:图像决定性情节虽是 persona 的硬性要求,但底座只有 15 个网站,视觉推理的多样性远小于真实桌面。改进:接入更高保真的桌面应用模拟与更多镜像站点。第五,反事实探针的共模盲区:它测试评审在错误断言下是否动摇,却无法发现'验证器与评审犯同样错误'的共模失效。改进:让不同评审基于互不相交的证据子集独立判定,再做一致性交叉验证。

作者提出的方向:投入更多算力与更大模型,检验合成数据在更大容量上是否带来更强收益,攻克最难四分位任务。基于其成果还能延伸:第一,规模化与课程化——把 341 个任务扩到万级,并利用已有的难度档位($k\le1$ 难、$k=2$ 中、$k=3$ 易)构建自动课程,按智能体当前能力调度任务,替代固定的 64 步均匀采样。第二,从'用世界训练'到'学世界模型'——世界状态是确定可重放的,天然适合训练智能体预测动作后的状态变化,实现想象中规划,减少真实 rollout 成本。第三,多智能体世界:persona 档案里的联系人是具名 NPC,若让多个 persona 共享同一世界,可自然产生协作、谈判与社交类任务。第四,奖励稳健性:把反事实探针从合成期推广到 RL 训练期,定期对奖励函数做谄媚性压力测试,建立'奖励黑客'的自动检测机制。第五,过程奖励:在程序化 checklist 之外训练 PRM 或引入副作用约束,弥补终态二元奖励的过程盲区。第六,在线演化世界:接真实服务的镜像并周期性更新,让环境随时间漂移,训练智能体应对非平稳世界。第七,蒸馏与部署:把 35B 模型学到的跨接口行为蒸馏进 4B 甚至更小的模型,验证该范式的端侧可行性。

复现条件总体友好但算力门槛高。开源情况:代码托管于 GitHub(MSR-Orchard/WildAWM),论文承诺发布 341 个环境-任务对,训练与评估基于两个开源框架——Orchard(环境管理)与 slime(RL 训练);合成全程只用开源模型:GLM-5.2(生成器与评审)、DeepSeek-V4-Flash 与 MiniMax-M3(参与 rollout),开源模型以 NVFP4 量化推理以降成本。数据依赖:世界底座需要 WebHarbor 的 15 个网站镜像(同为开源项目),MCP 服务实现由流水线自动生成,无需人工介入。算力需求:合成与训练共用 8 块 NVIDIA B200;合成开销可观——每任务平均 80 次 LLM 调用、4.1M 输入 token,生成器每任务消耗约 69.8M 输入 token,且需 18 个 model-harness 配置并发执行;训练细节完整公开(SFT 3 epoch、峰值学习率 $5\times10^{-6}$;RL 至多 64 步、每步 8 任务、组 4 rollout、30 分钟 rollout 时限,Table 13 给出全部超参)。难度评估:对拥有 8 卡级集群的团队,复现训练与评估属中高难度,主要成本在多沙箱并发与 B200 供给;完整复现合成流程还需多智能体编排的工程经验;资源有限的团队可直接复用发布的数据做 SFT 或小规模 RL,跳过最贵的合成阶段。注意一点:基准评估的 LLM 评审使用 GPT-5.5,这是全流程中唯一的闭源依赖。