世界动作模型是零样本策略 World Action Models are Zero-shot Policies
14B视频扩散模型联合预测视频与动作，实现机器人零样本泛化与跨具身迁移
前置知识
Vision-Language-Action模型（VLA）
VLA是将预训练的视觉语言模型（VLM）扩展到预测机器人动作的端到端模型。典型代表如RT-2、π0、GR00T N1等，它们继承了VLM在语义理解上的泛化能力，能够根据语言指令识别目标物体并执行操作。然而，VLA的预训练数据是静态的图文对，缺乏对时空动态的理解，因此在面对训练数据中未出现过的运动技能（如解鞋带、熨衣服）时表现不佳。
本文的核心论点是VLA在物理动作泛化上的不足，而WAM通过视频预测弥补了这一缺陷。理解VLA的优缺点是理解本文动机的关键。
视频扩散模型（Video Diffusion Model）
视频扩散模型是一类基于扩散过程的生成模型，能够从噪声中逐步去噪生成高质量视频。代表性模型包括Wan2.1、Sora等，它们在海量互联网视频上预训练，学习到了丰富的物理动态先验——物体如何运动、碰撞、变形等。这些先验是通过观察数百万视频中的时空模式获得的，而非显式编程。
DreamZero的骨干网络就是Wan2.1-I2V-14B，一个140亿参数的图像到视频扩散模型。理解视频扩散模型的工作原理和其蕴含的物理先验，是理解WAM为何能实现零样本泛化的基础。
世界动作模型（World Action Model, WAM）
WAM是一类同时预测未来视觉状态（视频）和机器人动作的模型。与VLA直接从观测映射到动作不同，WAM将动作学习转化为逆动力学问题：先预测未来的视觉状态（世界会变成什么样），再从中提取对应的电机命令（如何让世界变成那样）。这种设计使得模型能够利用视频预训练中学到的物理动态先验来指导动作生成。
这是本文提出的核心概念架构。理解WAM与VLA的本质区别——从「直接模仿动作」到「预测未来再提取动作」——是理解全文的关键。
Flow Matching训练目标
Flow Matching是一种用于训练扩散模型的方法，它学习一个速度场，将噪声分布平滑地传输到数据分布。与传统的去噪扩散不同，Flow Matching直接优化从噪声到数据的传输路径，训练更稳定且收敛更快。在DreamZero中，视频和动作共享相同的去噪时间步，通过预测联合速度场来同时生成视频和动作。
DreamZero采用Flow Matching作为训练目标，这是其区别于其他使用DDPM等传统扩散方法的WAM的关键技术细节，也直接影响了DreamZero-Flash的设计。
逆动力学模型（Inverse Dynamics Model, IDM）
IDM是从状态转移中推断动作的模型：给定当前状态和下一状态，预测需要执行什么动作才能实现这个转移。在WAM中，视频预测模型隐式地扮演了IDM的角色——它先生成未来的视觉状态，然后从中提取对应的机器人动作。这种隐式IDM比显式分离的两阶段方法（先生成视频再用独立IDM提取动作）具有更好的视频-动作对齐。
论文的一个核心洞察是：学习隐式IDM比直接学习策略更高效，因为模型只需要学习「视觉未来→动作」的映射，而视频动态的理解已经从预训练中获得了。
研究动机
当前最先进的VLA模型（如GR00T N1.6、π0.5）在语义泛化方面表现出色——它们能理解「把可乐罐放到泰勒·斯威夫特旁边」这样的指令，因为VLM预训练赋予了它们识别目标位置的能力。然而，当面对训练数据中未出现过的物理动作时，VLA几乎完全失败。例如，如果训练数据中没有「解鞋带」这个技能的演示，VLA就无法执行这个任务，即使它能正确理解语言指令。根本原因在于VLA的预训练数据是静态的图文对，缺乏对时空动态的理解。它们编码了「做什么」的语义知识，但缺乏「怎么做」的空间感知、几何对齐和动力学理解。为了弥补这一缺陷，现有方法要么收集数百个环境中的大量重复演示（如Physical Intelligence的做法），要么试图覆盖尽可能多的语言条件运动原语（如Gemini Robotics），但这两种方式都面临组合爆炸问题——不可能穷举所有可能的物理交互和运动。
本文的目标是本文的目标是构建一个能够从多样化、非重复的机器人数据中有效学习，并实现零样本泛化到新任务和新环境的机器人基础模型。具体而言，DreamZero要实现四个能力：（1）从异构数据中有效学习，不需要每个任务重复数十次演示；（2）零样本泛化到训练中未见过的任务和环境；（3）利用仅视频数据实现跨具身迁移；（4）用极少的新具身数据（30分钟）实现快速适配。在性能指标上，相比最先进的VLA，在环境和任务泛化基准上实现超过2倍的平均任务进度提升。
与已有工作不同的是，本文的独特切入角度在于：将视频生成模型作为机器人策略的骨干，而非仅仅将其作为数据增强工具。之前的工作虽然也尝试结合视频和动作预测，但大多从头训练或从VLA初始化，未能充分利用视频预训练中蕴含的丰富物理先验。DreamZero的关键洞察是：视频扩散模型已经在海量互联网视频上学会了物理世界如何运作——物体如何下落、碰撞、变形、连接——这些知识可以直接用于指导机器人动作。通过联合建模视频和动作，将动作学习从密集的状态-动作模仿转化为逆动力学对齐，使得模型能够利用视频预测作为隐式视觉规划器来引导动作生成。这种范式转变使得「提升机器人能力」简化为「提升视频生成质量」，而后者正是视频基础模型领域快速进步的方向。
核心方法
DreamZero的核心思想可以用一个简单的类比来理解：想象你是一个从未见过厨房的人，但你看过无数关于烹饪的视频。现在有人让你做一道菜，你不需要逐个学习每个动作——你可以先在脑海中「播放」这道菜的制作过程（视频预测），然后想办法让自己的手按照那个画面动起来（逆动力学）。这就是WAM的工作方式：先预测未来会发生什么，再决定怎么做。技术上，DreamZero基于Wan2.1-I2V-14B（一个140亿参数的图像到视频扩散模型）构建，采用自回归架构进行chunk-wise视频和动作联合生成。给定当前观测、语言指令和本体感觉状态，模型同时预测未来K个视频帧和对应的动作序列。训练时采用Flow Matching目标，视频和动作共享去噪时间步；推理时利用KV缓存实现高效自回归生成，并在每个chunk执行后将真实观测注入缓存以消除累积误差。
DreamZero与已有方法最本质的区别在于：它不是从VLM（静态图文模型）初始化来学习动作，而是从视频扩散模型（动态视频模型）初始化。这个选择带来了三个根本性优势。首先，VLA必须从大量重复演示中隐式学习物理动态，而WAM的视频骨干已经在互联网视频上学到了这些知识，因此可以从多样化、非重复的数据中有效学习。其次，VLA的泛化能力主要停留在语义层面（识别新物体、理解新指令），而WAM通过视频预测获得了对新运动和新技能的泛化能力——它可以「想象」从未见过的动作应该如何执行。第三，WAM可以利用仅视频数据（无动作标签）进行跨具身迁移，因为视频预测本身就是一种通用的世界建模，不依赖于特定的机器人形态。论文将联合分布分解为自回归视频预测和逆动力学模型两部分：$\pi_0(o_{l:l+H}, a_{l:l+H} | o_{0:l}, c, q_l) = \pi_0(o_{l:l+H} | o_{0:l}, c, q_l) \cdot \pi_0(a_{l:l+H} | o_{0:l+H}, q_l)$，但用单一模型端到端训练而非分离的两个模型，以获得更好的视频-动作对齐。
方法步骤详情
DreamZero的完整流程包括训练和推理两个阶段。训练阶段：（1）输入处理——将机器人多视角图像拼接为单帧，通过VAE编码为视觉潜变量，语言指令通过文本编码器编码，本体感觉状态通过状态编码器编码；（2）chunk划分——将轨迹划分为M=4个chunk，每个chunk包含K=2个潜变量帧，视频采样5FPS，动作采样30Hz，每个chunk覆盖1.6秒；（3）Flow Matching训练——对每个chunk独立采样去噪时间步$t_k \sim \mathcal{U}(0,1)$，构造噪声视频潜变量$z_{t_k}^k = t_k z_1^k + (1-t_k)z_0^k$和噪声动作$a_{t_k}^k = t_k a_1^k + (1-t_k)a_0^k$，模型预测联合速度场，损失函数为$\mathcal{L}(\theta) = \mathbb{E}_{z,a,\{t_k\}} \left[ \frac{1}{K} \sum_{k=1}^K w(t_k) \| u_\theta([z_{t_k}^k, a_{t_k}^k]; \mathcal{C}_k, c, q_k, t_k) - v_k \|^2 \right]$；（4）教师强制——当前chunk的去噪以先前chunk的干净上下文为条件。推理阶段：（1）异步执行——推理与动作执行并行，运动控制器持续执行最近的动作chunk；（2）KV缓存——利用自回归架构的KV缓存加速推理；（3）真实观测注入——每个chunk执行后，用真实观测替换生成帧注入KV缓存，消除累积误差；（4）动作平滑——对生成动作应用Savitzky-Golay滤波器抑制高频噪声。
技术新颖性
DreamZero的技术新颖性体现在多个层面。与之前的WAM（如Cosmos Policy、mimic-video）相比，DreamZero系统性地探索了数据多样性和规模，证明了异构数据比重复数据更有效。在架构选择上，采用自回归而非双向扩散，这带来了三个优势：（1）KV缓存支持任意长上下文，保持原始帧率，确保视频-动作精确对齐；（2）利用视觉历史作为生成引导；（3）避免双向模型中语言-视频-动作对齐的挑战。与分离视频预测和逆动力学的两阶段方法不同，DreamZero用单一模型端到端训练，实现了更深的模态融合。此外，DreamZero-Flash通过解耦视频和动作的噪声调度，将推理步数从4步减少到1步，实现了38倍推理加速而性能损失最小——这是通过在训练时偏置视频时间步向高噪声状态（Beta(7,1)分布，期望$t_{video}=0.125$）来实现的，使模型学会从噪声视觉上下文中预测干净动作。
实验结果
DreamZero在多个维度上展示了显著优势。在AgiBot G1的已见任务评估中，从零开始训练的VLA几乎完全失败（平均任务进度<5%），而DreamZero达到62.2%，比最佳预训练VLA基线（27.4%）高出2倍以上。在未见任务泛化方面，DreamZero在10个完全未见过的任务上达到39.5%的平均任务进度，包括「从模特头上取帽子」（85.7%）和「握手」（59.2%）等，而从零开始的VLA进度不到1%，预训练VLA也只有16.3%。在DROID-Franka实验中，DreamZero在未见任务上达到49%的任务进度和22.5%的成功率，显著优于预训练基线（31%进度、12.5%成功率）。后训练实验显示，DreamZero的环境泛化能力在任务特定微调后仍然保持，在水果打包任务上大幅超越VLA基线（76% vs 39%）。跨具身迁移实验表明，仅用20分钟的YAM机器人视频数据或12分钟的人类第一人称视频数据，就能将未见任务性能从38.3%提升到55.4%和54.3%，相对提升超过42%。最令人惊讶的是，仅用30分钟的新具身「玩耍数据」就能将DreamZero从AgiBot G1适配到完全不同的YAM机器人，同时保持零样本泛化能力。模型规模消融显示14B模型显著优于5B模型（50% vs 21%），而VLA在任何规模下都无法从多样化数据中学习（0%）。推理优化方面，通过系统级、实现级和模型级优化，在GB200上实现了38倍加速，将延迟从5.7秒降至150毫秒，实现7Hz实时闭环控制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AgiBot G1 已见任务（平均） | 任务进度 | 62.2% | GR00T N1.6预训练 27.4% | +34.8%（2.3倍） |
| AgiBot G1 未见任务（平均） | 任务进度 | 39.5% | GR00T N1.6预训练 16.3% | +23.2%（2.4倍） |
| DROID-Franka 已见任务 | 任务进度 | 75% | GR00T N1.6预训练 62% | +13% |
| DROID-Franka 未见任务 | 任务进度 | 49% | GR00T N1.6预训练 31% | +18%（1.6倍） |
| DROID-Franka 未见任务 | 成功率 | 22.5% | π0.5预训练 7.5% | +15%（3倍） |
| 水果打包（后训练） | 任务进度 | 76% | π0.5预训练 39% | +37% |
| 跨具身迁移（YAM→AgiBot） | 未见任务进度 | 55.4% | DreamZero基线 38.3% | +17.1%（相对42%） |
| 推理速度（GB200） | 延迟 | 150ms | 基线 5700ms | 38倍加速 |
局限与改进
论文和我观察到的局限性包括多个方面。首先，DreamZero的失败主要源于视频生成错误而非动作提取——当视频预测不准确时，机器人会忠实执行错误的视觉计划（如图16所示，在白板画线任务中，视频预测失败导致机器人拾取了错误的部分）。这说明模型的上限受限于视频骨干的质量。其次，当前架构主要作为System 1模型，缺乏长期推理能力——视觉记忆窗口仅6.6秒，无法处理需要数十步规划的复杂任务。第三，在需要亚厘米精度的任务（如钥匙插入、精密装配）上，行为克隆的固有局限仍然存在，多样化预训练策略优先考虑广度可能牺牲了高精度操作所需的密集演示。第四，推理成本仍然较高——尽管实现了38倍加速，DreamZero仍需要2块GB200 GPU才能达到7Hz，而VLA可在消费级GPU上运行超过20Hz。第五，实验仅在两种机器人形态上验证（AgiBot G1双臂移动操作和Franka单臂），对于更高自由度的机器人（如人形机器人的灵巧手）的泛化能力尚未验证。最后，跨具身迁移实验规模较小（仅72条轨迹、9个任务），且当前成功率仍属中等水平。
独立分析的弱点
从独立分析的角度，DreamZero存在几个值得关注的弱点。第一，视频-动作对齐的脆弱性：论文承认大多数失败源于视频生成错误，这意味着模型的性能上限受限于视频骨干的能力。在需要精确空间推理的任务中（如将物体放入特定位置），视频预测的微小误差会被放大为动作执行的显著偏差。改进方向是引入显式的空间约束或几何一致性损失，使视频预测在关键区域保持精确。第二，长期任务的局限：当前6.6秒的上下文窗口对于需要多步推理的复杂任务远远不够。例如，「整理房间」这样的任务需要数十分钟的规划和执行。改进方向是结合System 2规划器，或扩展WAM的上下文长度。第三，数据收集的可扩展性：虽然论文强调数据多样性优于重复性，但500小时的多样化数据仍需要大量人工遥操作。改进方向是利用人类视频数据的无动作标签特性，通过大规模互联网视频进行预训练。第四，对高精度任务的处理能力不足：论文提到在钥匙插入等亚厘米精度任务上的局限，这可能是因为多样化预训练稀释了精细操作的学习信号。改进方向是在后训练阶段引入精度增强的课程学习策略。
未来方向
论文提出了几个重要的未来研究方向。首先是WAM的缩放定律探索——类似于语言模型的缩放定律（Kaplan et al., 2020），需要研究模型规模、数据规模和训练计算之间的最优配置。论文已发现14B模型显著优于5B模型，但完整的缩放曲线尚未建立。其次是从大规模人类视频中学习——论文仅使用了12分钟的人类第一人称视频就实现了显著的迁移提升，而互联网上有数以亿计的人类操作视频，这可能成为WAM的「燃料」。第三是更快的推理——当前7Hz的控制频率仍低于VLA的20Hz+，如果小型视频骨干也能展现强泛化能力，WAM可能成为边缘设备上的实时System 1模型。第四是长期推理能力——需要结合双系统架构或扩展上下文窗口来处理复杂任务。第五是高精度操作——最近的研究表明WAM在毫米级精度任务上可能具有优势，这值得进一步探索。最后是为WAM设计最优的机器人形态——高自由度机器人需要更多数据，但类人形态可能通过利用人类视频的规模优势来补偿。
复现评估
DreamZero的复现性评估如下。在开源方面，论文承诺开源模型权重、推理代码以及在PolaRiS和Genie Sim 3.0基准上运行的代码，托管在GitHub（https://github.com/dreamzero0/dreamzero）。DROID检查点已经发布，可用于PolaRiS模拟评估。在数据方面，AgiBot数据集计划在未来版本中开源，目前可在论文网站上查看部分样本；DROID是公开可用的数据集。在算力需求方面，训练使用14B参数模型、全局batch size 128、100K步，这需要大量GPU资源；推理需要2块GB200才能达到7Hz实时控制，在H100上约为16倍加速（约350ms）。复现难度中等偏高——虽然代码和模型权重开源，但训练需要大量计算资源，且AgiBot硬件环境难以复现。不过，DROID实验可以在标准Franka机器人上复现，为研究社区提供了验证途径。总体而言，对于有足够计算资源的研究团队，复现是可行的；对于资源有限的团队，可以直接使用开源检查点进行评估和微调。
论文图表
这张图展示了DreamZero的核心能力和应用场景。左侧展示了多样化的预训练数据来源（非重复、任务多样），中间展示了四个关键能力：从多样化数据有效学习、开放世界泛化、跨具身学习（从仅视频数据）、少样本新具身适配。右侧展示了具体的应用案例，包括双臂移动操作和单臂操作任务，以及通过30分钟玩耍数据实现的跨具身迁移。
这是论文的核心概览图，一句话概括了WAM的四个关键优势，是理解全文的起点。