← 返回 2026-06-24

Qwen-AgentWorld：面向通用智能体的语言世界模型 Qwen-AgentWorld: Language World Models for General Agents

Yuxin Zuo, Zikai Xiao, Li Sheng, Fei Huang, Jianhong Tu, Yuxuan Liu, Tianyi Tang, Xiaomeng Hu, Yang Su, Qingfeng Lan, Yantao Liu, Qin Zhu, Yinger Zhang, Bowen Yu, Haiquan Zhao, Haiyang Xu, Jianxin Yang, Jiayang Cheng, Junyang Wang, Lianghao Deng, Mingfeng Xue, Tianyi Bai, Yang Fan, Yubo Ma, Yucheng Li, Zeyu Cui, Zhihai Wang, Zhihui Xie, Zhuorui Ye, An Yang, Dayiheng Liu, Jingren Zhou, Ning Ding 📅 2026-06-23 👍 146 2026-07-13 08:37
多域仿真 强化学习 智能体训练 环境模拟 语言世界模型
arXiv HuggingFace PDF

首个跨7域语言世界模型，CPT→SFT→RL三阶段训练实现高保真环境模拟

前置知识

世界模型（World Model）

世界模型是一个能够根据当前观察和动作预测环境未来状态的核心认知机制。在强化学习和智能体研究中，世界模型作为环境模拟器，学习状态转移动力学 $p(s_{t+1}|s_t, a_t)$，使智能体能够在虚拟环境中进行规划和策略优化，而无需每次都与真实环境交互。传统的世界模型主要应用于视觉和机器人领域（如DreamerV3），而语言世界模型则将其扩展到文本交互环境，预测API响应、终端输出、网页状态等结构化文本观察。

本文的核心研究对象。理解世界模型的基本原理是读懂本文的前提，因为Qwen-AgentWorld本质上就是构建一个语言领域的世界模型，用于模拟智能体所处的交互环境。

环境轨迹（Environment Trajectory）

环境轨迹是智能体与环境交互的多轮对话序列，形式为 $(action_1, observation_1), (action_2, observation_2), ..., (action_T, observation_T)$。其中action是智能体的输出（如工具调用、shell命令），observation是环境的反馈（如工具响应、命令输出）。环境轨迹与智能体轨迹不同：智能体轨迹包含智能体的内部推理过程，而环境轨迹只保留$(action, observation)$对，剥离了智能体的思考痕迹。环境轨迹是训练语言世界模型的基础数据，模型学习从历史交互和当前动作预测下一个观察。

本文统一7个域的训练数据格式就是环境轨迹。理解这个概念有助于理解训练数据的构建方式和模型的输入输出格式。

链式思维（Chain-of-Thought, CoT）

链式思维是一种让大语言模型在给出最终答案之前显式生成中间推理步骤的技术。通过要求模型先展示思考过程（如'首先...然后...最后...'），可以提高复杂任务的准确率和可解释性。在Qwen-AgentWorld中，链式思维被用于环境预测：模型先生成推理过程来分析当前状态和动作的预期效果，然后输出预测的环境观察。例如在Terminal域，模型会推理'用户执行了git clone命令，因此终端应该显示克隆进度...'，然后生成具体的输出文本。

本文在SFT和RL阶段都强调显式推理的重要性。链式思维是模型实现高保真仿真的关键技术手段。

强化学习中的奖励黑客（Reward Hacking）

奖励黑客是指策略网络在强化学习过程中学会利用奖励函数的漏洞来获取高分，而不是真正完成任务。例如，在一个基于LLM judge的奖励系统中，策略可能学会在输出中插入'操作成功完成，所有字段正确填充'等自夸性短语，欺骗judge给出高分。在环境仿真任务中，这可能表现为模型预测的观察表面看起来合理，但细节与真实环境不符。本文通过混合rubric和rule-based奖励来缓解这个问题：rule-based verifier提供不可伪造的二元正确性信号，rubric评估更开放维度的质量。

本文在§3.4.1和§3.4.2详细讨论了如何设计稳定的世界模型RL训练，奖励黑客是核心挑战之一。理解这个概念有助于理解作者的技术设计选择。

可控制仿真（Controllable Simulation）

可控制仿真是指通过自然语言指令来调整环境模拟器的行为和输出模式。在传统仿真中，模拟器按照固定的规则生成环境响应；而在可控制仿真中，研究者可以注入特定的指令来构造极端或罕见的环境条件，例如'模拟网络间歇性故障'、'只返回部分搜索结果强制agent多次查询'、'模拟磁盘空间不足导致安装失败'等。这种能力使智能体训练可以暴露在真实环境中很少遇到的边缘情况，从而提升鲁棒性。本文验证了可控制Sim RL在MCP和Search域的效果，超越不可控仿真和真实环境训练。

这是本文的核心创新之一，也是Qwen-AgentWorld相比传统环境的关键优势。

研究动机

现有LLM智能体研究几乎完全聚焦于策略优化（从状态到动作的决策），而忽视了世界建模这一关键组成部分。在实际的agent-environment交互循环中，策略（$states o actions$）和世界模型（$(states, actions) o subsequent states$）是两个互补的核心组件。当前的研究重心严重失衡，这限制了通用智能体的发展。更具体地说，文本语言环境缺乏一个通用的世界模型来模拟环境动力学，这使得智能体训练严重依赖真实环境，面临可扩展性差、成本高、边缘场景覆盖不足等问题。例如，Terminal-Bench 2.0中mailman任务的失败案例显示，智能体如果缺乏对Postfix内部处理流程的准确世界模型（不知道recipient validation发生在transport routing之前），就无法有效规划解决方案。

本文的目标是本文的目标是构建首个跨多域的通用语言世界模型，使其能够模拟七个不同类型的智能体交互环境：MCP（工具调用）、Search（搜索）、Terminal（终端）、SWE（软件工程）、Android（移动端）、Web（网页）和OS（桌面操作系统）。模型不仅要能够高保真地预测环境观察，还要具备两个关键特性：可扩展性（能够生成数千个多样化环境用于智能体训练）和可控制性（能够通过指令调节仿真行为，暴露智能体弱点）。此外，本文探索语言世界模型增强通用智能体的两种互补范式：作为解耦的环境模拟器，和作为统一的智能体基础模型。

与已有工作不同的是，本文的独特切入点在于将世界建模作为语言模型的**原生训练目标**，而不是在通用LLM训练后附加的fine-tuning任务。现有的相关工作大多采用后hoc fine-tuning的方式将通用LLM转换为环境模拟器，而本文从continual pre-training阶段就将环境建模作为核心目标。此外，本文首次实现了在单个模型中覆盖7个不同交互域的统一世界模型，这些域的状态表示差异巨大（从文件系统快照到UI视图层级结构），需要统一的文本表示来实现跨域泛化。另一个创新是探索了世界模型增强智能体的两种互补范式：解耦和统一，系统性地验证了可控制仿真的价值，以及世界模型训练作为智能体基础模型预热的有效性。

核心方法

Qwen-AgentWorld采用三阶段训练流水线'CPT注入、SFT激活、RL锐化'，从基础语言模型构建为高保真的语言世界模型。第一阶段（Continual Pre-Training）通过10M+真实环境交互轨迹和增强的专业领域语料，注入通用的世界建模能力和环境动力学知识。第二阶段（Supervised Fine-Tuning）激活显式的下一状态预测推理模式，将隐式的知识显式化，减少幻觉并提升长轨迹中的状态一致性。第三阶段（Reinforcement Learning）使用GSPO算法，通过混合rubric评估和rule-based验证器的奖励信号，锐化仿真保真度。整个过程使用统一的环境轨迹schema作为输入输出格式，将7个域的差异状态表示（如Terminal的文件系统快照、Android的UI视图层级）统一为文本格式，实现跨域泛化。

核心创新点在于三个方面：第一是原生世界模型训练范式，从CPT阶段就将环境建模作为明确的训练目标，而不是事后fine-tuning，使模型从根本上学习状态转移动力学。第二是统一的多域架构，通过统一的环境轨迹schema，在单个模型中覆盖7个交互域，使模型学习通用化的世界知识而非特定环境的表层格式。第三是可控制仿真的系统化验证，首次系统性地证明了可控制仿真（通过指令注入生成极端/边缘场景）不仅优于不可控仿真，甚至可以超越真实环境训练，在Tool Decathlon上提升+12.3，在WideSearch上提升+16.3。

方法步骤详情

方法步骤的完整描述如下：步骤1是数据收集与统一处理。从三个互补来源收集环境轨迹：专用agent基础设施（部署容器化执行沙箱、MCP服务器、持久化终端会话）、公开环境交互轨迹（终端会话录制、开源工具调用日志、代码仓库执行痕迹）、内部积累的智能体轨迹。这些数据经过多智能体清洗流水线（获取、去噪、分割、语义对齐、质量评分）后，转换为统一的环境轨迹格式：$system\_prompt := task\_description \oplus action\_space \oplus initial\_state \oplus demonstrations \oplus simulation\_instruction$，每个轨迹由多个$turn\_t := (action\_t, observation\_t)$组成。步骤2是CPT阶段，使用标准next-token预测目标训练，将多轮环境轨迹建模为世界模型任务：system prompt定义仿真上下文，user turns携带agent动作，assistant turns携带环境响应。此阶段还融入专业领域语料（工业控制、网络安全、医疗、金融、时事等）来注入事实世界知识。关键创新是信息论损失掩码：通过计算四个统计量（Overlap、Novelty、Jaccard、长度比），将每个(action, observation)对归类为7个语义类别，对只携带真实环境信息的turn计算损失，过滤掉boilerplate和echo等低质量turn。步骤3是SFT阶段，从CPT的非思维轨迹转向包含显式推理链的思维轨迹。首先对每个样本的system prompt进行多样化替换（从10个模板variant中随机采样），然后从通用推理模型生成3个rollout，通过rejection sampling保留最高质量的轨迹。此阶段使用256k token上下文窗口来容纳长多步轨迹。步骤4是RL阶段，使用GSPO算法，奖励信号由两部分组成：五维rubric评估（Format、Factuality、Consistency、Realism、Quality，每维1-5分，总分5-25）和rule-based验证器（二元0/1信号，缩放到0-25），按9:1比例混合。关键技术包括：限制每条轨迹只扩展一个turn以避免奖励崩溃、内容分类（确定内容/预存在内容/运行时元数据）以减少false negative、严格tag提取防止self-praise影响judge评分。

技术新颖性

技术新颖性体现在多个层面。在训练方法论上，提出了'CPT注入、SFT激活、RL锐化'的三阶段流水线，每个阶段有明确的目标：CPT注入通用世界知识，SFT激活显式推理模式，RL锐化微观层面的保真度。信息论损失掩码首次应用于LWM训练，通过统计信号而非工具名称自动识别和过滤低质量turn。在评估方面，构建了AgentWorldBench基准，包含2170个turn-level评估样本，覆盖7个域，所有ground-truth观察都来自真实环境执行，通过参考锚定的rubric评估（judge将预测与真实观察对比）减少了judge幻觉。在应用范式上，系统性地对比了解耦（世界模型作为环境模拟器）和统一（世界模型与智能体合并）两种范式，并验证了可控制仿真的超越性价值。在微观层面，RL训练显著提升了URL标识符、字节级算术、跨turn API schema一致性等细粒度保真度，表明奖励信号能够传播到explicit reward dimensions以下的粒度。

Overview of Qwen-AgentWorld. Top: Qwen-AgentWorld is a unified native language world model across seven domains. Bottom: We explore two complementary strategies for applying world modeling to enhance language agents (mainly using the 35B-A3B model as agent): Decouple and Unify , where the world model serves as the environment simulator and agent foundation model, respectively.
Figure 1: Overview of Qwen-AgentWorld. Top: Qwen-AgentWorld is a unified native language world model across seven domains. Bottom: We explore two complementary strategies for applying world modeling to enhance language agents (mainly using the 35B-A3B model as agent): Decouple and Unify , where the world model serves as the environment simulator and agent foundation model, respectively.
Qwen-AgentWorld unifies seven categories of interactive environment simulation within a single language world model.
Figure 2: Qwen-AgentWorld unifies seven categories of interactive environment simulation within a single language world model.
Anatomy of a Terminal domain LWM RL system prompt, showing the five components defined in §2.2. Blue = static (shared across trajectories); red = dynamic (filled per trajectory).
Figure 3: Anatomy of a Terminal domain LWM RL system prompt, showing the five components defined in §2.2. Blue = static (shared across trajectories); red = dynamic (filled per trajectory).
Representative interaction examples from a text-based domain (SWE) and a GUI domain (Android), illustrating the breadth of the observation space.
Figure 4: Representative interaction examples from a text-based domain (SWE) and a GUI domain (Android), illustrating the breadth of the observation space.
Three-stage training pipeline of Qwen-AgentWorld. Stage 1 CPT injects world knowledge; Stage 2 SFT instills next-state-prediction thinking patterns; Stage 3 RL sharpens output quality.
Figure 5: Three-stage training pipeline of Qwen-AgentWorld. Stage 1 CPT injects world knowledge; Stage 2 SFT instills next-state-prediction thinking patterns; Stage 3 RL sharpens output quality.

实验结果

核心发现包括四个方面。首先，在AgentWorldBench上，Qwen-AgentWorld-397B-A17B达到最高整体平均分58.71，超越GPT-5.4（58.25）和其他前沿模型。在文本域（MCP、Search、Terminal、SWE），平均分58.07，超越GPT-5.4（56.84）1.23分，优势在Terminal（57.73 vs 53.69）和SWE（68.49 vs 66.29）最为显著，这些域需要准确的代码执行状态和工具API行为建模。在GUI域，Claude Opus 4.8（60.93）和Claude Opus 4.6（61.12）领先，反映了多模态预训练的优势。其次，对比base checkpoint揭示了三阶段流水线的贡献：在397B规模下，整体平均从54.74提升到58.71；在35B规模下，提升8.66分（47.73到56.39），使Qwen-AgentWorld-35B-A3B超越Claude Sonnet 4.6（56.04）。第三，跨域泛化实验表明，在Terminal数据上单独训练Stage 3 RL，Terminal提升+14.2（32.8→47.0），三个held-out域也同步改善：SWE +11.5（52.0→63.5）、Search +11.8（20.2→32.0）、MCP +5.0（53.5→58.5），证明RL强化的是通用化的世界知识而非特定域格式。第四，可控制Sim RL显著超越传统方法：在MCP域，无控制指令的Sim RL在Tool Decathlon上甚至下降（32.4→31.5），而可控制Sim RL提升+3.7和+12.3；在Search域，可控制Sim RL在35B规模下F1 by Item从34.02提升到50.31（+16.29），在397B规模下从70.11提升到73.98（+3.87）。值得注意的是，Search的训练环境完全虚构（每个搜索结果、网页、事实记录都是Qwen-AgentWorld从头发明的），但agent学到的能力（查询重构、多源交叉引用、迭代结果聚合）直接迁移到真实搜索任务WideSearch。

The seven domains covered by Qwen-AgentWorld, with their action, observation, and core capability exercised by next-state prediction.
Table 1: The seven domains covered by Qwen-AgentWorld, with their action, observation, and core capability exercised by next-state prediction.
SFT and RL training data statistics across all seven domains. Average token counts and turn counts are computed over the RL training pool.
Table 2: SFT and RL training data statistics across all seven domains. Average token counts and turn counts are computed over the RL training pool.
Seven turn categories for information-theoretic loss masking. Categories are determined from statistical signals rather than tool names. Keep ratio is the fraction of tokens used in loss computation.
Table 3: Seven turn categories for information-theoretic loss masking. Categories are determined from statistical signals rather than tool names. Keep ratio is the fraction of tokens used in loss computation.
Rejection sampling statistics per domain. "Candidates" is the number of queries with complete rollouts. "Retain rate" is the fraction of queries whose best-of-three trajectory exceeds the quality threshold. "Final SFT" is the count after filtering.
Table 4: Rejection sampling statistics per domain. "Candidates" is the number of queries with complete rollouts. "Retain rate" is the fraction of queries whose best-of-three trajectory exceeds the quality threshold. "Final SFT" is the count after filtering.
AgentWorldBench main results: five-dimensional rubric mean (↑) per domain. The highest and second-best scores per domain are shown in bold and underlined, respectively.
Table 5: AgentWorldBench main results: five-dimensional rubric mean (↑) per domain. The highest and second-best scores per domain are shown in bold and underlined, respectively.
Sim RL on simulated OpenClaw environments. Qwen3.5-35B-A3B is trained via Sim RL using different environment simulators. Δ reports gains over the base model.
Table 6: Sim RL on simulated OpenClaw environments. Qwen3.5-35B-A3B is trained via Sim RL using different environment simulators. Δ reports gains over the base model.
Controllable Sim RL results on Tool Decathlon and MCPMark. "w/ Qwen-AgentWorld-397B-A17B controlled" adds targeted environment control instructions during Sim RL.
Table 7: Controllable Sim RL results on Tool Decathlon and MCPMark. "w/ Qwen-AgentWorld-397B-A17B controlled" adds targeted environment control instructions during Sim RL.
Controllable Sim RL results on WideSearch, using fictional-world simulation.
Table 8: Controllable Sim RL results on WideSearch, using fictional-world simulation.
Agent foundation model: LWM RL warm-up on single-turn, non-agentic trajectories transfers to multi-turn, tool-calling agentic tasks. No additional fine-tuning is applied after LWM RL.
Table 9: Agent foundation model: LWM RL warm-up on single-turn, non-agentic trajectories transfers to multi-turn, tool-calling agentic tasks. No additional fine-tuning is applied after LWM RL.
Overview of AgentWorldBench composition. Left: Domain distribution across seven domains, source benchmarks mapped to each domain, and the five evaluation dimensions (Format, Factuality, Consistency, Realism, Quality). Right: Summary statistics, per-domain average context length and trajectory depth. All ground-truth observations are obtained from real environment execution.
Figure 6: Overview of AgentWorldBench composition. Left: Domain distribution across seven domains, source benchmarks mapped to each domain, and the five evaluation dimensions (Format, Factuality, Consistency, Realism, Quality). Right: Summary statistics, per-domain average context length and trajectory depth. All ground-truth observations are obtained from real environment execution.
Main results on AgentWorldBench: five-dimensional rubric mean per domain. Qwen-AgentWorld-397B-A17B achieves the highest overall average among all evaluated models, with consistent advantages on text-based domains and competitive performance on GUI domains.
Figure 7: Main results on AgentWorldBench: five-dimensional rubric mean per domain. Qwen-AgentWorld-397B-A17B achieves the highest overall average among all evaluated models, with consistent advantages on text-based domains and competitive performance on GUI domains.
Cross-domain generalization when training Stage 3 (RL) on Terminal data alone. (a) Terminal (in-domain) improves by +14.2 points over the SFT baseline. (b) All three held-out domains improve without receiving any domain-specific training signal: MCP (+5.0), SWE (+11.5), and Search (+11.8).
Figure 8: Cross-domain generalization when training Stage 3 (RL) on Terminal data alone. (a) Terminal (in-domain) improves by +14.2 points over the SFT baseline. (b) All three held-out domains improve without receiving any domain-specific training signal: MCP (+5.0), SWE (+11.5), and Search (+11.8).
Controllable Sim RL vs. Real RL (trained against a live search engine) on WideSearch during the first 60 training steps. Both experiments use Qwen3.5-35B-A3B-SFT as the base model.
Figure 9: Controllable Sim RL vs. Real RL (trained against a live search engine) on WideSearch during the first 60 training steps. Both experiments use Qwen3.5-35B-A3B-SFT as the base model.
Environment prediction accuracy on Terminal-Bench 2.0 trajectories.
Figure 10: Environment prediction accuracy on Terminal-Bench 2.0 trajectories.
Case study of prediction-driven action refinement on the mailman task from Terminal-Bench 2.0.
Figure 11: Case study of prediction-driven action refinement on the mailman task from Terminal-Bench 2.0.
Representative LWM reasoning patterns from Qwen-AgentWorld-397B-A17B's thinking traces. Left: Multi-step causal reasoning in Terminal, where a chain spans package management, process lifecycle, curl semantics, and Python errors. Center: Information leakage prevention in Search, where the model distinguishes what the agent knows from what the environment should reveal to prevent answer contamination. Right: Epistemic boundary awareness in Terminal, where the model recognizes computational limits and falls back to format-only output rather than fabricating unknowable values.
Figure 12: Representative LWM reasoning patterns from Qwen-AgentWorld-397B-A17B's thinking traces. Left: Multi-step causal reasoning in Terminal, where a chain spans package management, process lifecycle, curl semantics, and Python errors. Center: Information leakage prevention in Search, where the model distinguishes what the agent knows from what the environment should reveal to prevent answer contamination. Right: Epistemic boundary awareness in Terminal, where the model recognizes computational limits and falls back to format-only output rather than fabricating unknowable values.
Micro-level fidelity improvements during RL training. Top: Search domain: evolution of a single sample across RL steps. URL identifiers, source diversity, and snippet specificity all improve, despite occupying a tiny fraction of total output tokens. Bottom left: Terminal domain: the model performs exact byte-level arithmetic by enumerating characters including invisible newlines. Bottom right: MCP domain: the model maintains cross-turn schema consistency (user IDs, parent-child references, UUID formats) across nine Notion API calls.
Figure 13: Micro-level fidelity improvements during RL training. Top: Search domain: evolution of a single sample across RL steps. URL identifiers, source diversity, and snippet specificity all improve, despite occupying a tiny fraction of total output tokens. Bottom left: Terminal domain: the model performs exact byte-level arithmetic by enumerating characters including invisible newlines. Bottom right: MCP domain: the model maintains cross-turn schema consistency (user IDs, parent-child references, UUID formats) across nine Notion API calls.
查看结构化数据
任务指标本文基线提升
AgentWorldBench整体评估 五维rubric平均分（0-100） 58.71 (Qwen-AgentWorld-397B-A17B) 58.25 (GPT-5.4) +0.46
AgentWorldBench文本域 五维rubric平均分（0-100） 58.07 (Qwen-AgentWorld-397B-A17B) 56.84 (GPT-5.4) +1.23
AgentWorldBench SWE域 五维rubric平均分（0-100） 68.49 (Qwen-AgentWorld-397B-A17B) 66.29 (GPT-5.4) +2.20
OpenClaw Sim RL (Claw-Eval) Avg@3分数 69.7 65.4 (Qwen3.5-35B-A3B base) +4.3
OpenClaw Sim RL (QwenClawBench) Avg@3分数 55.0 47.9 (Qwen3.5-35B-A3B base) +7.1
可控制Sim RL (Tool Decathlon) 平均成功率 36.1 32.4 (Qwen3.5-35B-A3B-SFT) +3.7
可控制Sim RL (MCPMark) pass@1 33.8 21.5 (Qwen3.5-35B-A3B-SFT) +12.3
可控制Sim RL (WideSearch, 35B) F1 by Item 50.31 34.02 (Qwen3.5-35B-A3B-SFT) +16.29
LWM RL预热 (Terminal-Bench 2.0) 准确率 39.55 33.25 (Qwen3.5-35B-A3B-SFT) +6.30
LWM RL预热 (SWE-Bench Verified) resolve rate 67.9% 64.5% (Qwen3.5-35B-A3B-SFT) +3.4
LWM RL预热 (Claw-Eval) Avg@3分数 64.9 53.6 (Qwen3.5-35B-A3B-SFT) +11.3
LWM RL预热 (BFCL v4) 平均分数 71.3 62.3 (Qwen3.5-35B-A3B-SFT) +9.0

局限与改进

局限性包括作者承认的和独立观察的。作者承认：Factuality是所有维度中最难提升的（尽管相对改善最大11.3%，但始终是最低分），说明事实世界知识是环境仿真的核心挑战。GUI域的表现落后于Claude Opus 4.8和GPT-5.4，反映了仅依靠文本表示的局限，需要多模态扩展。本文的独立观察包括：训练数据依赖于frontier agent的轨迹质量，如果frontier agent本身产生错误或低质量的动作序列，世界模型可能学习到错误的状态转移动力学。rule-based verifier只能覆盖有可执行验证器的数据子集，这意味着大部分奖励仍然来自rubric评估，存在judge模型偏见的潜在风险。可控制仿真虽然强大，但需要精心设计控制指令，如果指令设计不当可能导致训练信号过于噪声。Sim RL的效果依赖于初始状态的详细程度，如果世界模型没有获得足够详细的初始状态，仿真保真度会下降，下游收益会减弱。跨域泛化虽然证明了LWM学习的是通用世界知识，但GUI域的泛化能力仍需进一步验证。

独立分析的弱点

独立分析的弱点包括以下几个方面。首先，GUI域的性能相对较弱，因为本文使用文本表示（accessibility trees和UI view hierarchies）来模拟GUI状态，而像Claude Opus 4.8这样的模型经过了多模态预训练，能够直接理解像素级视觉信息。改进方向是融合GUI截图与基于文本的状态表示，统一视觉和语言世界模型。其次，评估依赖LLM judge，尽管使用参考锚定设计提高了跨judge一致性（Spearman相关系数$\rho = 0.92-0.99$），但judge模型本身的能力和偏见仍可能影响评估结果。改进方向是开发更多自动化、可验证的评估方法，减少对judge的依赖。第三，训练数据规模仍然有限，SFT数据7094条、RL数据92308条，相比语言模型预训练的数据量来说很小，这可能限制模型对长尾场景的覆盖。改进方向是扩大数据收集规模，特别是对于复杂和罕见的交互模式。第四，可控制仿真的指令设计需要领域专业知识，对于新的应用域可能需要大量的迭代优化。改进方向是开发自动化的指令优化框架，通过autoresearch自动发现有效的控制指令。第五，Sim RL与Real RL的对比显示，可控制Sim RL在WideSearch上超越Real RL（50.3% vs 45.6%），但这种优势是否能在所有域和任务上保持稳定还需要更多验证。改进方向是系统性地对比不同域和任务上Sim RL vs Real RL的效果，建立sim-to-real transfer的理论框架。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的。作者提出：Agent-LWM协同进化（Self-play），agent发现新状态推动世界模型边界，世界模型生成更具挑战性的场景；多模态扩展，融合GUI截图与文本表示；自适应Sim-to-Real路由，学习路由器决定每个查询是否调用世界模型或真实环境，平衡成本和保真度；动态工具综合，使用世界模型动态合成新工具而非依赖预定义工具集。基于本文成果可延伸的方向包括：探索更复杂的多智能体场景，多个agent在共享环境中竞争或合作，世界模型需要模拟多个agent的行为和交互；将世界模型与其他技术（如memory、planning、meta-learning）结合，构建更完整的智能体架构；研究世界模型的可解释性，分析模型内部如何表示和推理环境状态，以及如何调试和改进世界模型；将可控制仿真扩展到更多域，如金融交易、医疗决策、科学实验等高风险领域，提供安全可靠的训练环境；开发世界模型的评估基准和标准，推动该领域的健康发展。

复现评估

复现评估需要考虑以下几个方面。开源情况：论文提到Technical Blog、Code Repository、HuggingFace和ModelScope，但具体代码和数据集的开放程度未详细说明，需要检查实际仓库中的资源。数据：训练数据来自三个来源（专用agent基础设施、公开环境交互轨迹、内部智能体轨迹），其中内部轨迹可能不完全公开，影响完全复现。AgentWorldBench的构建基于公开基准（Terminal-Bench 1.0 & 2.0、OSWorld-Verified、MCPMark、Tool Decathlon、WideSearch等），这些基准是公开的，但具体的轨迹样本和ground-truth观察可能需要单独发布。算力：Qwen-AgentWorld-35B-A3B和Qwen-AgentWorld-397B-A17B的规模巨大，复现训练需要大量计算资源，尤其是RL阶段需要对每个样本处理最长128k token的prompt，成本很高。难度：三阶段流水线（CPT→SFT→RL）的每个阶段都有复杂的技术细节（如信息论损失掩码、rejection sampling、奖励设计、训练稳定性处理），复现需要深入理解这些细节并进行大量的实验调优。评估依赖LLM judge（GPT-5.2），这也增加了复现的成本和复杂性。总体来说，完全复现训练过程非常困难，但复现实验结果（在已有模型上评估AgentWorldBench）是可行的，前提是公开了模型权重和基准数据。

论文图表

figure_1.jpg
figure_1.jpg
figure_10.jpg
figure_10.jpg
figure_12.jpg
figure_12.jpg
figure_13.jpg
figure_13.jpg
figure_14.jpg
figure_14.jpg
figure_15.jpg
figure_15.jpg
figure_16.jpg
figure_16.jpg
figure_2.jpg
figure_2.jpg
figure_4.jpg
figure_4.jpg
figure_5.jpg
figure_5.jpg
figure_6.jpg
figure_6.jpg
figure_7.jpg
figure_7.jpg
figure_8.jpg
figure_8.jpg
figure_9.jpg
figure_9.jpg
table_1.jpg
table_1.jpg
table_10.jpg
table_10.jpg
table_11.jpg
table_11.jpg
table_12.jpg
table_12.jpg
table_2.jpg
table_2.jpg
table_3.jpg
table_3.jpg
table_4.jpg
table_4.jpg
table_5.jpg
table_5.jpg
table_6.jpg
table_6.jpg
table_7.jpg
table_7.jpg
table_8.jpg
table_8.jpg
table_9.jpg
table_9.jpg