智能体世界建模：基础、能力、规律与展望 Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond
提出 L1/L2/L3 三级能力 × 物理/数字/社会/科学四规律的二维世界建模分类法
前置知识
POMDP（部分可观测马尔可夫决策过程）
POMDP 用七元组 $E = (\mathcal{X}, \mathcal{A}, \mathcal{O}, T, O, R, \gamma)$ 描述环境，其中状态 $x_t$ 不可直接观测，智能体只能从观测 $o_t$ 中推断信念 $b_t$ 或学习潜变量 $z_t$。它通过 $q_\phi(z_t | o_{\leq t}, a_{<t})$ 进行状态推断，并使用 $p_\theta(z_t | z_{t-1}, a_t)$ 学习前向动力学。
本文所有能力层级的形式化定义都建立在 POMDP 框架之上，理解潜变量推断、单步转移 $p_\theta$、轨迹级 rollout $\hat{p}(\tau|z_0, a_{1:H}, c)$ 等符号，是读懂 L1→L2→L3 严格定义的必要前提。
模型基强化学习（Model-based RL）
不同于无模型方法直接学习 $\pi(a|s)$，模型基 RL 先学环境转移模型 $p_\theta(z_{t+1}|z_t,a_t)$，然后在想象的环境中进行规划（如 Dreamer 家族）或数据增强（如 MBPO）。代表方法包括 DreamerV3、MuZero、TD-MPC2 等。
模型基 RL 是 L1 Predictor 的主要载体，其「先想象后行动」的范式直接对应 L2 Simulator 的核心思想；理解 Dreamer 系列如何用 RSSM 处理部分可观测，是把握 L1→L2 提升机制的关键。
因果阶梯（Causal Hierarchy）与反事实推理
Pearl 的因果阶梯把推理分为观察（seeing）、干预（doing）和反事实（imagining）三个层级。干预式 rollout 要求 $do(a)$ 操作能稳定、可方向性地改变预测轨迹；反事实推理则要求「若当时采取不同行动，结果会怎样」在模型中可查询。
L2 Simulator 三大边界条件之一「intervention sensitivity」直接对应因果阶梯的干预层级；理解这一点能判断一个生成模型只是「看起来像」还是在动作空间上真正可控。
潜变量动力学模型（Latent Dynamics）
潜变量模型用编码器 $q_\phi(z_t|o_t)$ 把高维观测压成低维潜变量 $z_t$，再用 $p_\theta(z_t|z_{t-1},a_t)$ 在潜空间预测转移，最后用 $p_\psi(\hat{o}_t|z_t)$ 解码回去。代表架构包括 VAE、RSSM、VQ-VAE、JEPA 等。
L1 的四大算子（state inference / forward dynamics / observation decoding / inverse dynamics）都建立在潜变量分解之上；理解 RSSM 如何把潜变量拆成确定性 $h_t$ + 随机 $z_t$ 是看懂 Dreamer 系列的关键。
研究动机
近两年「世界模型」一词在 RL、计算机视觉、机器人、AI for Science 等社区同时爆发，但其技术含义却彼此不可比：RL 研究者用世界模型衡量能否提升任务性能，视觉研究者关注生成帧的视觉保真度，机器人研究者关心 sim-to-real 迁移，而科学家关心是否能加速实验设计。已有的 2024–2025 年综述（如 Ding et al. 2025a 的「理解 vs 预测」双轴分类、Zhu et al. 2024 以 Sora 为中心的生成模型综述、Yue et al. 2025 的 G1–G4 视觉生成分级）都按模态或应用域划分，缺乏一个能跨域、跨模态衡量「能力层级」的统一语言。结果是同一术语下的论文常给出不可比较的数字，例如 PhyWorldBench 上 12 个前沿模型在守恒律和物体恒存性测试上最高仅达 0.262 成功率（Gu et al., 2025a），而 Pangu-Weather、GraphCast 在气象预报上却能击败 ECMWF 业务系统 90% 以上的验证指标，二者根本无法在同一指标体系下对话。
本文的目标是本文提出一个二维分类法，把「能力层级」（L1 一步预测器 / L2 决策可用模拟器 / L3 证据驱动演化器）作为纵轴，把「规律体系」（物理 / 数字 / 社会 / 科学四类约束）作为横轴，给出可检验的边界条件：对 L2 而言必须同时满足长程一致性、干预敏感性和约束一致性三项，对 L3 而言必须满足主动信息扩展、自主执行观测、信念修正三项。本文合成了 400 多篇文献、100 多个代表性系统，覆盖基于模型的 RL、视频生成、网页/GUI 智能体、多智能体社会模拟和 AI 驱动科学发现五大方向，并提供决策中心评估原则（ASR、COD 指标）与 MREP 最小可复现评估包作为社区基础设施。
与已有工作不同的是，本文的独特切入角度是「能力 × 规律」的二维分类，而非沿用「模态 × 应用域」。这一定位有三层意义：第一，把 L3 提升为独立能力层级，区别于 L2 的固定 scaffold 滚动，把「模型本身成为可修订对象」的能力单独拎出；第二，首次把自主实验系统（CAMEO、A-Lab、BacterAI）和 LLM 演化算法（FunSearch、AlphaEvolve、AI Scientist v2）放在同一证据驱动演化框架下对照；第三，给出决策中心（而非预测中心）的评估原则，把 Action Success Rate（ASR）和 Counterfactual Outcome Deviation（COD）作为统一指标，并提出 Minimal Reproducible Evaluation Package（MREP）作为社区基础设施。
核心方法
本文的「方法」不是单一算法，而是一套形式化分类体系及其落地工具链。直觉上，研究者希望回答：「一个智能体面对环境时，它对世界的内部表征到底处在哪一档？」L1 是最朴素的——给定当前潜变量 $z_{t-1}$ 和动作 $a_t$，预测下一步 $z_t$ 即可，类似休谟式的「恒常联结」；L2 要求把单步算子串成 $H$ 步轨迹 $\hat{p}(\tau|z_0,a_{1:H},c)$，并满足三类边界条件；L3 则更进一步，把模型堆栈 $M_t$ 本身当成可修订对象，通过 design→execute→observe→reflect 四阶段闭环，把部署证据 $d_t$ 蒸馏为持久资产 $M_{t+1}$。技术路线上，本文在统一 POMDP 图模型（图 7）上同时可视化三个层级：L1 占单边潜变量转移、L2 占固定模型下的整条轨迹 rollout、L3 占从 $M_t$ 到 $M_{t+1}$ 的纵向 reflect 箭头。
核心创新在于把「建模」从模态分类解放为能力分层 + 规律体系的二维矩阵。L1/L2/L3 不是「模型类型」而是「能力阶段」，同一系统在不同任务时刻可调用不同层级——例如 DreamerV3 推理时 L1 做快速反应、L2 在比较候选动作序列时切换、L3 在持续预测失败时升级。具体到 L2 三项边界条件：长程一致性要求 rollout 跨 $H$ 步仍可用；干预敏感性要求改 $a_k$ 后 $\hat{z}_H^{(1)}$ 与 $\hat{z}_H^{(2)}$ 产生有意义的偏差；约束一致性要求轨迹满足物理/数字/社会/科学的领域不变量。这三项彼此不可替代（如轨迹连贯但对动作不敏感的 Sora 仍属 L1 强模型），且共同构成「决策可用」的判据。L3 的关键则是将诊断+蒸馏+验证三件套作为升级条件，把 anomaly（参数级 bug）与 epistemic gap（架构级盲区）区分开——前者通过在线梯度更新处理，后者需要结构性扩展假设空间 $\mathcal{H}$。
方法步骤详情
形式化定义分四步走。第一步，建立 POMDP 记号系统：环境 $E=(\mathcal{X},\mathcal{A},\mathcal{O},T,O,R,\gamma)$，学习得到的潜变量 $z_t=f_\phi(o_{\leq t},a_{<t})$，单步动力学 $p_\theta(z_t|z_{t-1},a_t)$，轨迹级查询 $\hat{p}(\tau|z_0,a_{1:H},c)$。第二步，定义 L1 四算子：state inference $q_\phi$、forward dynamics $p_\theta$、observation decoding $p_\psi$、inverse dynamics $\pi_\eta$，并以 Table 3 把 30+ 代表方法（VAE、JEPA、Dreamer 家族、MuZero、IRIS、DIAMOND 等）按四算子覆盖度排列。第三步，定义 L2 三项边界条件：长程一致性、干预敏感性、约束一致性，Table 4 把每项映射到四个规律体系的具体含义（如物理世界「无穿透 + 能量守恒」、社会世界「承诺一致性 + 反身性」）。第四步，定义 L3 升级算子：$(M_t,d_t)\xrightarrow{\text{diagnose+distill+validate}}M_{t+1}$，并以 Table 9 把修订信号按四个规律体系分类（如物理世界的「力矩偏差」、科学世界的「假设证伪」）。每一步都有可检验的协议：例如 RoboCasa 在 L1 协议下测单步位姿误差、在 L2 协议下测中途扰动后的任务成功率、在 L3 协议下测反复失败后是否能蒸馏出可迁移的抓取策略。
技术新颖性
技术新颖性体现在三处。第一，把「能力」与「规律」解耦：传统综述按模态划分（如视频世界模型 vs 文本世界模型），本文却证明一个物理规律驱动的视频系统（如 DIAMOND）和一个科学规律驱动的图网络（如 GNS）可共享 L2 同一边界条件，从而揭示跨域共性。第二，把 L3 单独成层而非视为 L2 的延伸：L3 的本质是模型堆栈成为可修订对象而非固定查询端，这一区分在哲学上呼应拉卡托斯的「硬核 vs 保护带」，在工程上对应诊断+蒸馏+验证三件套。第三，提出决策中心评估而非预测中心评估：把 ASR 和 COD 作为统一指标，覆盖视频生成、网页导航、社会模拟、科学发现等异构领域，并提供 MREP 作为版本锁定、trace 日志、失败分类的统一基础设施。这些新颖性在第 6–8 节通过 13 张表（Table 1–13）和 10 张图（Figure 1–10）系统呈现。
实验结果
本文是综述类工作，其「实验结果」主要表现为对已有系统的横向归纳。综合 Table 3、5、6、8、10 可提炼四组关键发现。物理世界：DreamerV3 用 RSSM+symlog 在 Minecraft 等 150+ 任务上达到人类水平，TD-MPC2 用 317M 参数单智能体掌握 104 项任务，GAIA-1/2 用潜扩散实现自动驾驶可控视频生成，CWM（32B）在 SWE-bench Verified 上达 65.8%，SWE-World 把 32B 编码器从 6.2% 提升到 52.0%。数字世界：DreamGym 在 WebArena 上带来 30%+ 提升，CodeWM 跨 18 环境迁移，AUI 形成 Coder-CUA 闭环。社会世界：CICERO 在 Diplomacy 实现 2× 人类均分，Project Sid 部署 1000 智能体，OASIS 扩展到 100 万智能体，Kumar et al. 演化宪法比人类规则高 123%。科学世界：GraphCast 击败 ECMWF 90% 验证目标，GenCast 用扩散在 97.2% 目标击败业务系统，A-Lab 17 天闭循环完成 353 次实验合成 36 种化合物。L3 成熟度呈梯度：科学已建立、数字部分、物理新兴、社会愿景。PhyWorldBench 上物理一致性最佳仅 0.262，ExploreToM 上 GPT-4o 心智推理准确率低至 9%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Minecraft 多任务长期规划 | 任务成功率 + 钻石采集率 | DreamerV3 在 150+ 任务上达到或超越人类水平；Game-TARS 通用游戏智能体在开放 Minecraft 上把成功率近似翻倍 | 先前 SOTA 通用游戏智能体 | 任务成功率近似 2× 提升（Game-TARS vs 前 SOTA） |
| 天气预报（90%/97.2% 验证目标） | ECMWF 业务系统验证指标击败率 | Pangu-Weather + GraphCast 在 90% 验证目标上击败 ECMWF；GenCast 用扩散在 97.2% 目标上击败集合预报 | ECMWF 业务预报系统 / 传统集合预报 | 90%（确定性）→ 97.2%（扩散集合）验证目标击败率 |
| 软件工程自动化（跨文件修复） | SWE-bench Verified 解决率 | CWM 32B 达 65.8%；SWE-World 用学习代理替代容器化执行把 32B 模型从 6.2% 提升到 52.0% | 基线 32B 编码器 6.2%（SWE-World 改进前） | 32B 编码器绝对提升 +45.8 个百分点（6.2%→52.0%） |
| 网页智能体（WebArena 任务） | 任务成功率 | DreamGym 通过链式思维经验模型带来 30%+ 提升；WebSynthesis 纯合成数据 + MCTS 规划 | WebDreamer 等先前 LLM 隐式世界模型 | DreamGym 在 WebArena 上 30%+ 绝对提升 |
| 外交博弈 Diplomacy 社交推理 | 人类平均分倍数 | CICERO 用 LLM+piKL 规划 + 二阶信念建模，达到 2× 人类平均分 | 人类业余玩家平均分 | 2× 人类平均分 |
| 自主科学发现（A-Lab 闭循环合成） | 17 天内合成化合物数 / 实验数 / 目标转化率 | A-Lab 在 17 天内完成 353 次实验、从 57 个目标合成 36 种化合物；CAMEO 在同步辐射束线上发现新型相变存储材料 | 传统人工合成流程（数周至数月） | 57 目标 → 36 化合物（约 63% 转化率），闭循环 17 天 vs 人工数周 |
| 多智能体社会模拟规模 | 可同时部署的智能体数 + 涌现行为数 | Project Sid 1000 智能体涌现专门化与治理；OASIS 100 万智能体重现信息传播与极化 | Generative Agents 25 智能体 | 25 → 1000 → 1,000,000 智能体（40,000× 规模扩张） |
| 科学假设再发现（Nature/Science 2024 假设） | 能否仅凭 2024 年前文献重新发现 2024 假设 | MOOSE-Chem 在自然子领域成功重新发现 2024 年 Nature/Science 假设；MOOSE-Chem2 通过细粒度组件层次搜索提升精确性与新颖性 | 基线 LLM 文献检索 | MOOSE-Chem2 在精确性与新颖性上同时优于 MOOSE-Chem v1 |
局限与改进
作者明确承认的局限有两点。第一，L3 在四个规律体系中成熟度极不均衡：科学领域（已建立）与数字领域（部分）已有闭环实证，而物理领域（新兴）受困于感知-动力学-执行模块间的失败归因困难，社会领域（愿景阶段）则受制于伦理约束与因果归因模糊。第二，本文是早期预印本未经同行评审，作者明示内容可能不准确或不完整，保留更新与撤稿权利。除了作者承认的局限，作为综述本文也存在几个观察：第一，能力层级边界条件缺乏统一自动化检测协议，目前主要依赖人工构造的反事实注入；第二，「动作不敏感」现象（Sora 类纯生成模型）虽然在多项 Table 5/6 中标 ✗，但具体可量化的诊断指标仍分散在 VBench、VBench-2.0、VChain 等多个独立基准中；第三，物理一致性最佳模型在 PhyWorldBench 上仅 0.262 成功率，说明 L2 提升到 L3 之间的物理规律可修订性仍是巨大缺口；第四，安全章节（8.3）明确点出 PhysCond-WMA 攻击成功率 55%、JailWAM 攻击成功率 84.2%、CounterScene 提升碰撞率 12.3%→22.7% 等数据均来自单一作者群组的待复核预印本，独立复现尚未完成。
独立分析的弱点
独立分析四点弱点。第一，L2 三项边界条件的可操作化定义仍有歧义——例如「长程一致性」在不同领域的 $H$ 取值差异极大，物理机器人可能 $H=20$ 步即崩坏，社会模拟 $H=100$ 步仍稳定，作者未给出统一的「$H$ 归一化」方法，建议在 MREP 中强制报告「成功率 vs 步数」的退化曲线。第二，L3 的「diagnose+distill+validate」三件套目前依赖手工设计（如 A-Lab 的 XRD 表征 + 主动学习选择器），缺乏可学习的诊断器，建议引入元学习或 LLM 自身作为 critic（参考 multimodal critic 模型 Zhang et al., 2025b）。第三，社会 L3 的因果归因（Duhem-Quine holism）至今没有实证系统，目前 Kumar et al. 的宪法演化是少数案例但缺乏对照实验，建议在 OASIS 类百万智能体平台上加入 ablation 研究。第四，跨域迁移能力（如 Voyager 同时整合物理 + 数字规律）被列入 Table 7 但未给出统一的多约束满足评估指标，建议在后续工作加入 joint constraint violation rate。第四点延伸：本文未充分讨论「安全 vs 演化」的张力，L3 闭环一旦被对抗证据污染（如 8.3 节提到的知识污染），就可能把错误规律注入模型，需要 canary deployment + 独立 probe 集来防御，但 MREP 框架尚未强制要求这两项。
未来方向
作者在第 8 节列出 10 个具体开放方向，可分为三类。第一类是 L1/L2 能力层级的瓶颈突破：问题 1（物理一致性）、问题 2（度量感知视频世界建模）、问题 3（可编程视觉表征如 VCode / Code2Video / VIGA 的统一接口）。第二类是 L3 升级路径：问题 7（社会转移函数的持续学习）、问题 8（科学代理的 surrogate-to-reality gap，OPAL-surrogate 的层级贝叶斯可信度门提供模板）、问题 9（建模本身演化的规律——元世界建模，如病毒适应度景观、气候强迫、进化压力下的二阶转移算子）、问题 10（智能体 harness 设计，把执行环境本身作为建模对象而非工程假设）。第三类是横跨所有规律体系的共有挑战：部署漂移检测、约束的硬执行（symbolic 层 + 验证门）、持久更新的稳定性-可塑性-可审计性三难。值得延伸的方向还有：(a) 神经-符号混合表征在 L3 升级中的作用，本文 2.2 节点出但未量化；(b) MREP 作为社区标准的治理机制（版本锁定、trace 日志、失败分类），需要学界共识；(c) 跨规律体系的联合 rollout（如自动驾驶 = 物理 + 社会），目前 Table 7 列为案例但未给出量化评估。
复现评估
复现性评估整体良好但有保留。开源与代码方面，Table 3、5、6、8 列出的 60+ 代表系统中绝大多数提供论文链接与官方代码仓库（如 Dreamer 家族、TD-MPC2、DreamGym、CodeWM、A-Lab、CAMEO、BacterAI），GitHub 上的 awesome-agentic-world-modeling 仓库收录了完整清单。数据规模方面，训练数据从单任务 Atari 100k（10 万步）到 WebWorld 100 万轨迹到 OASIS 100 万智能体不等，对算力需求差异巨大——DreamerV3 级别实验通常需要数百 GPU 日级别，而 CAMEO/A-Lab 还需要同步辐射束线等物理仪器访问。复现难度按规律体系递增：数字世界（CWM、SWE-World）相对易复现；物理世界（DreamerV3 真实机器人、DayDreamer）需要机器人硬件；社会世界（OASIS 百万智能体）需要大规模 LLM 推理成本；科学世界（A-Lab、CAMEO）几乎不可能完全复现，因为涉及稀有实验设施。MREP 框架（附录 E）试图统一版本锁定、trace 日志、失败分类、尾统计与边界条件映射，是改善复现性的关键基础设施，但目前仅作为提案尚未被学界强制采用。安全复现方面，本文明确点出 8.3 节的所有攻击/防御数据均来自待复现预印本，应作为初步证据而非结论性数字。
论文图表
该图以树形结构展示论文 9 个章节的逻辑组织。根节点为 Agentic World Modeling，左侧分支是 §1 Introduction（含 §1.1 Motivation、§1.2 Scope & Organizing Principle、§1.3 Contributions & Positioning），中间分支是 §2 Preliminaries（含 5 个子节）、§3 L1 Predictor、§4 L2 Simulator、§5 L3 Evolver，右侧分支是 §6 Evaluations、§7 Practice Instantiation、§8 Trends & Open Problems、§9 Conclusion。
这张图是全论文的导航图，帮助读者快速定位能力层级（L1/L2/L3）、评估章节（第 6 章）、实现（第 7 章）和开放问题（第 8 章）的位置，是理解二维分类法落地的关键索引。
图中央为 Agentic World Modeling（核心），四角分布四类已有工作：Embodied AI（DayDreamer、MuZero、TD-MPC2、OccWorld）、Generative Models（Sora、Genie、Cosmos、VBench）、Language Agents（WebDreamer、CodeWM、SWE-agent、Voyager）、AI for Science（GraphCast、AlohaFold、CAMEO、A-Lab）。
这张图清晰展示了本文与四大已有综述方向的差异化定位——本文处于四象限中心，强调跨域整合与能力中心分类而非模态或应用域分类。
四宫格示意图，每宫展示一个规律体系的代表性场景：左上 Physical World 为人形智能体操控积木块，右上 Digital World 为代码与 UI 表面，左下 Social World 为带言语行为的多智能体交互网络，右下 Scientific World 为带机器人显微镜与移液器的仪器化实验。
这张图把抽象的「四类规律体系」具象化为四类典型场景，为后续 Table 4 的边界条件实例化提供视觉锚点。
时间线图，纵轴为能力层级（L1/L2/L3），横轴为年份 2018–2026，每个时间单元列出最多 5 个代表性系统。L1 从 2018 World Models、Dreamer V1、JEPA V1、MuZero 开始；L2 含 Dreamer V3、TD-MPC2、Sora、AlphaEvolve 等；L3 含 AI Scientist、CAMEO、A-Lab。色块按规律体系着色：物理（蓝）、数字（绿）、社会（橙）、科学（紫）。
这张图首次把「70 个调查锚点」按能力层级 × 时间二维展开，直观显示 L3 起步晚（2023 年后）但增长迅速，且各规律体系在 L3 上的发展时序差异。
分四组列出全文符号：环境组（$E=(X,A,\Omega,T,O,R,\gamma)$、$x_t$、$o_t$、$a_t$、$T$、$O$、$R$、$\gamma$）；学习模型组（$z_t$、$q_\phi$、$p_\theta$、$p_\psi$、$\pi_\eta$、$\hat{p}$）；轨迹与规划组（$a_{1:H}$、$\tau$、$\hat{p}(\tau|z_0,a_{1:H},c)$、$b_t$、$\pi$）；L3 模型修订组（$M_t$、$d_t$、$\mathcal{H}$）。
全文符号系统的速查表，是读懂 L1/L2/L3 形式化定义（§2.3、§2.4、§4.1、§5.1）的必备参考。
物理世界部分列出 MuZero、Plan2Explore、PathDreamer、DreamerPro、DreamingV2、Diffuser、DreamerV3、DayDreamer、GAIA-1、DIAMOND、Sora、Genie、iVideoGPT、OccWorld、Vista、DriveDreamer、Copilot4D、LWM、DreMa、Cosmos、Aether、PIN-WM、Yume、GAIA-2、RoboScape、BridgeV2W、HWM 等 27 个系统；数字世界部分列出 GameGAN、WebDreamer、CodeWM、WorldCoder、GameGen-X、GameNGen、WMA、WebSynthesis、NeuralOS、GameFactory、GameCraft、MobileDreamer、Word2World、Code2World、gWorld、WebWorld、RWML 等 17 个系统。每行标注三项边界条件覆盖（LH/IS/CC）。
这是 L2 阶段物理与数字两大规律体系的「系统清单」，按边界条件覆盖度排列，便于横向比较。
按三大设计轴（Representation、Dynamics、Control Interface）列出每个轴下的四到五个选项，每个选项附代表系统、优势、失败模式。例如 Representation 轴下：Symbolic/Programmatic（VirtualHome，解释性强但工程量大）、Latent Continuous（DreamerV3、V-JEPA 2，可扩展但易语义漂移）、Structured 3D（RoboOccWorld、PointWorld，几何对齐但计算昂贵）、Discrete Tokens（IRIS，组合性强但易 codebook collapse）。
这是第 7 章实现层的「组件菜单」，把三大轴上的可选架构与失败模式并列，是构建世界模型系统时的快速决策矩阵。
4×3 矩阵，按四类规律体系（Physical、Digital、Social、Scientific）× 三能力层级（L1/L2/L3）展开，每格列出 Representation、Dynamics、Bottleneck 三栏。例如物理 L3：Representation 为 Physics prior + residual model、Dynamics 为 Hybrid sim-to-real adaptation、Bottleneck 为跨模块失败归因；社会 L3：Representation 为 Social model + update gates、Dynamics 为 Bayesian revision、Bottleneck 为归因模糊与伦理。
这是整篇综述的「实施路线图」，把能力层级与规律体系二维交叉，给出每个交叉点的表征选择、动力学选择与最大工程瓶颈，是把本文理论落到实操的最终速查表。