世界行动模型综述 World Action Models: A Survey
系统梳理世界行动模型的设计哲学、核心组件、关键属性与开放挑战
前置知识
Vision-Language-Action (VLA) 模型
VLA模型将预训练的视觉-语言模型直接映射到动作输出，学习从观测和指令到动作的映射$p(a|o,l)$。它们继承了大量预训练的语义和空间先验，但从不显式建模环境在自身干预下的变化，限制了策略在行动前推理后果的能力。
WAMs在VLA基础上增加了对未来观测的预测，理解VLA是理解WAMs为何需要预测组件的基础。
世界模型
世界模型预测在当前观测和干预下应该出现什么未来观测$o'$，形式化表示为$p(o'|o,a,l)$。它可以是渲染像素、隐藏特征、几何状态、可供性映射、音频线索或令牌级描述。PlaNet、DreamerV3、V-JEPA等方法在潜在空间中实现了这一思想。
WAMs的核心组件就是世界模型，区别在于WAM要求预测的未来观测必须参与动作的产生、评分或训练。
预测基底
预测基底是WAM用于动作预测的未来表示空间。分为四类：像素级基底（解码的RGB、RGB-D或多视角视频）、特征基底（没有固定观测解码器的学习状态）、几何基元基底（光流、点云、深度、姿态等物理坐标）、可供性映射基底（值图、接触映射、分割等任务相关图）。
基底选择决定了WAM预测什么、保留多少视觉先验、以及推理时的计算成本，是设计WAM的关键决策之一。
动作耦合
动作耦合描述预测和动作在模型中如何关联。有三种方式：动作条件化展开$q(a)p(s|a)$先提出动作再预测后果；联合生成$p(s,a)$用一个耦合模型同时预测未来和动作；预测后动作头$p(s)q(a|s)$先生成未来再从其中解码动作。
耦合方式影响模型的因果性、交互性、延迟和训练稳定性，决定了WAM如何在推理时使用预测的未来。
研究动机
现有的VLA模型直接从当前观测映射到动作$p(a|o,l)$，从不显式建模环境在自身干预下的变化。这意味着策略无法在行动前推理后果，限制了其规划能力。另一方面，大规模预训练的视频生成模型虽然提供了丰富的视觉动力学先验，但它们原本是为视频合成设计的，存在计算成本高、延迟大、难以满足实时控制闭环要求的问题。更严重的是，视觉质量指标（如FVD、FID）与下游任务成功率的关联很弱，一个视觉上逼真的滚动可能对控制毫无用处。
本文的目标是本文的目标是系统梳理世界行动模型这一新兴领域，为这一快速发展的分支提供统一的术语框架和分析工具。具体而言，要阐明WAMs与更广泛的世界模型、视频生成模型、视频世界模型和VLA模型之间的边界，提出一个设计哲学层次的分类法和一个组件层次的形式化解剖，分析WAMs部署到具身环境后必须满足的核心属性，并讨论数据源、评估实践和开放挑战。
与已有工作不同的是，本文的独特切入角度是提出了"面向动作的未来"这一核心契约。现有讨论往往混用"世界模型"、"视频生成模型"和"世界行动模型"等术语，导致两个可能用同样名称的方法实际上几乎没有共同的实现细节，而另一些可能完全避开这一名称却构建了相同的东西。本文通过明确WAM的定义：预测的未来观测必须参与动作的产生、评分或训练，将这一领域与纯视频生成和纯VLA区分开来。此外，本文提出了两个互补的视图：哲学层面的分类法（询问方法在推理路径中的什么位置解码动作）和组件层面的解剖（通过四个坐标定位任何WAM），这比逐篇列举的方法更利于系统比较。
核心方法
本文采用双重视角组织现有工作。第一是设计哲学层面的分类法，根据动作解码在推理路径中的位置将每个WAM归类到三个互斥的家庭之一：Render-and-Decode（一路生成到像素）、Latent-Only（在像素解码前停止）和Video-Generation-Free（完全避开视频生成主干）。第二是组件层面的解剖，用四个坐标定位任何WAM：预测基底（Φ）、架构主干（B）、动作耦合（F）和部署机制（D）。每个WAM可以表示为一个四元组WAM ≅ (Φ, F, B, D)。这种双重视角使得方法可以在不同的抽象层次上进行比较。
核心创新点是提出了"面向动作的未来"这一统一契约，将WAMs与纯视频生成器和纯VLA区分开来。一个WAM必须满足$p(o',a|o,l)$的联合分布，其中预测的未来观测$o'$必须参与动作的产生（联合生成）、评分（动作条件化展开）或训练（后预测头）。这一契约形式化为WAM = (Φ, F, B, D)的四元组表示，其中Φ∈{像素级、特征、几何、可供性}，F∈{动作条件化展开、联合生成、后预测头}，B∈{扩散、自回归、联合嵌入、混合、LLM/VLM}，D∈{开环、分块闭环、单步闭环、交互式}。
方法步骤详情
方法步骤的完整描述如下：(1) 确定预测基底Φ，选择未来表示空间，是解码观测、特征空间、几何坐标还是任务相关图；(2) 选择架构主干B，决定如何实现未来预测因子，是迭代去噪扩散、自回归解码、联合嵌入预测、混合架构还是LLM/VLM主干；(3) 确定动作耦合F，指定未来和动作如何在模型中关联，是动作条件化展开、联合生成还是后预测头；(4) 选择部署机制D，决定在控制循环中何时调用WAM以及预测窗口长度H，是开环滚动、分块闭环控制、单步闭环控制还是交互式模拟器操作。这四个坐标的组合完整指定了一个WAM的设计空间。
技术新颖性
技术新颖性体现在三个方面：(1) 提出了WAM的严格形式化定义，即预测的未来观测必须参与动作的产生、评分或训练，将这一领域与纯视频生成和纯VLA清晰区分；(2) 提出了双重视角的组织框架：哲学层面的分类法（三个互斥家庭）和组件层面的解剖（四个坐标），比逐篇列举更利于系统比较；(3) 通过对interactability、causality、persistence、physical plausibility、generalization五个核心属性的分析，揭示了WAM设计中的权衡关系：每个设计选择都影响计算、内存和延迟，而领域的发展方向是生成更少的未来同时保留控制所需的部分。
实验结果
核心发现包括：第一，WAMs的发展趋势不是简单地转向更大的视频预测，而是转向更选择性的想象，保留未来中控制所需的部分并丢弃其余。从早期Render-and-Decode方法（如UniPi 2023）到Latent-Only方法（如VPP 2024），再到Video-Generation-Free方法（如FLARE 2025），这一趋势清晰可见。第二，通过四元组解剖发现，WAM设计中存在明显的不对称性：基底Φ和主干B是训练时的重要选择，而耦合F和部署D在推理时更灵活，这是许多近期机制出现的地方。第三，通过对Table 1和Table 2中的130多个WAM的统计发现，当前WAM主要集中在扩散和混合主干，而更尖锐的变化出现在耦合机制（如迭代交互式精炼、逐层集成、异步自适应去噪）和运行时机制（如自适应K分块、事件触发调用、双频慢快循环）中。第四，关于五个核心属性的分析表明它们不是独立的清单，而是一组竞争压力：更强的动作接口使模型可交互，但也限制了因果性必须保持无泄漏的通道；有界内存购买持久性，但也会耗尽长视野的合理性；允许基质迁移的抽象也使预测的未来更难评估。
局限与改进
本文作为综述论文，主要局限在于：(1) 虽然提出了统一的分析框架，但这个框架仍可能无法覆盖未来出现的新型WAM设计，因为技术发展迅速；(2) 论文强调了权衡关系，但没有给出具体的设计指南或定量公式来指导权衡；(3) 对于数据源和评估的讨论虽然全面，但没有提出新的评估指标或数据集；(4) 开放挑战部分识别了问题，但缺少具体的解决方案或实验验证；(5) 表格中的分类基于arXiv首次提交日期排序，可能遗漏一些未被主流关注但重要的工作。作者自己承认，四个坐标的分离性只在分析上有用，在实践中它们是相互作用的，改变一个坐标往往需要额外的动作头、规划器或微调阶段。
独立分析的弱点
独立分析的弱点包括：(1) 当前WAMs在泛化能力上仍有限制。虽然视频先验迁移有帮助，但在更难的动作和物体分割上仍存在较大差距。需要针对特定迁移任务（如外观变化、物体动力学、形态变化、动作空间变化、摄像头放置、接触模式）设计数据、基质和适配策略。(2) 物理合理性评估仍不充分。预测的未来看起来合理但可能是机器人无法实现的。需要引入力觉、触觉、运动学和几何一致性检查，但目前没有标准化的指标。(3) 内存管理挑战未解决。随着预测视野增长，内存和注意力成本也在增长，而有界上下文会丢弃旧证据。需要结合有界内存、空间索引和观测替换的方法，但目前还没有统一解决方案。(4) 抽象动作缺乏物理基础。流场、点追踪、潜在代码等抽象表示虽然能从无动作视频中学习，但可能失去物理把手，需要添加物理基础信号和故障分析的检查手段。改进方向：针对每个弱点提出具体的解决方案，如针对泛化问题设计分阶段的课程学习，针对物理合理性引入可执行的奖赏函数，针对内存问题开发自适应的上下文管理机制。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的：(1) 开发可控的保真度-延迟曲线，使WAM能够选择动作实际需要的未来信息量，并使这一选择成为运行时决策，根据不确定性、接触或不可逆错误的邻近程度来调整生成计算量。(2) 研究多阶段训练的数据分配问题，将互联网视频用于预训练视觉动力学，人类演示用于对齐运动与意图，机器人遥操作用于接地最终动作解码，滚动数据用于训练门或预算控制器。需要建立源、阶段、质量、模型大小和动作基础上的联合缩放律。(3) 探索内存管理的创新方法，将观测替换、有界内存和空间索引状态结合成一个方法，在长任务中保持反应性同时维持任务状态。Dreamer 4的紧凑潜在状态可以作为起点，但需要保留跨长操作episode的对象级空间细节。(4) 深化泛化机制研究，针对声明迁移目标（如外观、物体动力学、形态、动作空间、摄像头放置、接触模式）进行训练设计，然后测试所选基质和动作解码器是否在该迁移上泛化，而不是事后报告迁移结果。(5) 建立标准化的物理合理性评估协议，包括触觉和力预测误差、运动学和几何一致性检查，以及长期的视野一致性评估。(6) 开发"精度-预算"报告协议，在同一轴线上报告成功率、延迟、持续视野、峰值内存和接触敏感的失败标签。
复现评估
复现评估：本文作为综述论文本身不包含具体实验结果，但为复现WAM研究提供了基础。论文维护了项目主页https://world-action-models.github.io/，其中包含了相关论文的引用和资源。论文中的Table 1和Table 2提供了130多个WAM的完整普查，每个方法都用四元组定位，这为研究者提供了系统的文献导航工具。然而，复现WAMs面临实际挑战：(1) 数据获取难度：互联网规模的视频数据集（如Ego4D、Ego-Exo4D、EPIC-KITCHENS）规模庞大但可能缺乏准确的动作标签；机器人遥操作数据集（如Open X-Embodiment）质量高但收集成本高；便携式人类演示数据集存在体现鸿沟需要关闭；仿真数据集存在sim-to-real差距；WAMs自身生成的合成轨迹可能继承生成器的失败模式。(2) 算力需求：大规模视频预训练模型（如Wan 14B、Cosmos-Predict2）需要巨大的计算资源，而将这样的模型纳入实时控制循环需要大量的优化工作。DreamZero展示了通过自定义优化栈从大规模自回归视频扩散模型实现7Hz闭环控制，但这需要相当专业的技术。(3) 评估复杂性：需要同时评估视觉保真度、闭环成功率、物理合理性和长视野一致性，且在明确的计算、内存和延迟预算下进行。目前评估协议还在发展中，没有统一标准。总体而言，复现WAM研究的难度中等到高，主要取决于具体方法的复杂度和数据获取难度。
论文图表
这张图用三个子图展示了WAM的定义，对比了VLA、世界模型和WAM。左侧显示VLA直接从当前上下文$p(a|o,l)$预测动作；中间显示世界模型预测未来观测$p(o'|o,a,l)$；右侧显示WAM要求未来停留在动作路径中，通过预测-动作级联、动作评分滚动或联合未来-动作预测三种方式实现。
这张图对理解论文至关重要，因为它清晰地定义了WAM与VLA和世界模型的区别，提出了"面向动作的未来"这一核心契约，是整个综述的基础。
这张时间线图展示了代表性WAM按设计哲学分组的发展历程，时间轴从2023年到2026年5月，越后期越密集。曲线分为上中下三条流，分别代表Render-and-Decode、Latent-Only和Video-Generation-Free。密集期保留早期或中央验证的WAM以保持标签可读性。
这张图展示了WAM领域的时间演变，说明了领域的发展方向：从早期的Render-and-Decode，到后来跳出像素解码的Latent-Only，再到最近避开视频生成主干的Video-Generation-Free。
这张图展示了四种预测基底类别，根据WAM形成未来的表示空间分类。像素级基底包括解码观测和可解码潜在；特征基底包括编码器唯一、特征抽取、教师目标和VLM令牌；几何基底包括流和追踪、深度/姿态/点、运动向量未来；可供性基底包括值图、掩码和可供性、接触/进度、热图图。联合单元格用∧分隔符标记。
这张图清晰展示了预测基底的设计空间，是理解WAM预测什么以及不同基底的权衡关系的关键。