世界动作模型是否比视觉-语言-动作模型泛化更好？一项鲁棒性研究 Do World Action Models Generalize Better than VLAs? A Robustness Study
WAM vs VLA 系统鲁棒性对比研究
前置知识
视觉-语言-动作模型（VLA）
VLA 是近年机器人基础模型的主流范式，将大语言模型/视觉-语言模型（VLM）作为主干，通过在机器人轨迹数据上微调，使其直接输出低层控制指令（关节角或末端位姿增量）。典型代表如 RT-2、π0、π0.5、OpenVLA 等，预测形式一般为 $p_\theta(a_t | h_t)$，即从当前观测直接映射到动作。
VLA 是本文比较的基线之一，理解其'基于 VLM 主干'和'直接由观测到动作'的核心范式是看懂 WAM 与之差异的起点。
世界模型（World Model）
世界模型学习环境内部表征，能在给定当前状态和动作的条件下预测未来视觉状态，形式化记为 $p_\phi(h_{t+1} | h_t, a_t)$。它既可作为学习模拟器供规划/强化学习使用，也可作为策略本身（解码为动作），最近在自动驾驶、导航、医疗影像等领域被广泛探索。
WAM 的核心思想就是'用世界模型做策略'，理解世界模型能预测未来视频帧的能力是理解 WAM 鲁棒性来源的关键。
世界动作模型（WAM）
WAM 是本文聚焦的新范式：把视频生成模型（如 Stable Video Diffusion、Cosmos-Predict2、Wan2.2 等）作为主干，预测未来视觉状态 $h_{t+1}$ 同时通过逆动力学模型（IDM）解码出动作 $a_t$，形式为 $g_\psi(a_t | h_t, h_{t+1})$。其优势是继承了视频预训练带来的时空动态先验。
WAM 是论文主角，需要区分它与 VLA（VLM 主干+直接动作预测）的本质不同，以及它与'VLA+世界模型辅助'的混合方法的差别。
扩散策略与流匹配
扩散策略通过学习一个去噪过程把随机噪声逐步变成动作序列，常配合 DDIM 等加速采样器；流匹配（Flow Matching）则直接学习一个由噪声到数据的速度场 $v_\theta(x, t)$，训练更稳定、采样步数更少。π0 系列用流匹配输出动作，Cosmos-Policy、GE-Act、WAM 普遍基于扩散生成视频/动作。
论文中 WAM 的推理开销主要来自视频/动作的去噪步数，扩散和流匹配机制的差异直接影响 WAM 与 VLA 的实时性比较。
逆动力学模型（IDM）
IDM 在已知相邻两个状态 $(h_t, h_{t+1})$ 时反推产生状态转移所需的动作，即 $g_\psi(a_t | h_t, h_{t+1})$。在 WAM 中，模型先预测未来帧 $h_{t+1}$，再用 IDM 头解出动作。这种'显式状态到动作的因果耦合'被论文认为是 WAM 鲁棒性的架构先验之一。
理解 IDM 是理解 LingBot-VA 等 WAM 如何把视频生成能力转化为动作的关键，也是论文 RQ2 中 Fast-WAM（联合去噪，无显式 IDM）与 IDM 风格 WAM 鲁棒性差异的核心。
鲁棒性基准 LIBERO-Plus / RoboTwin-Plus
LIBERO-Plus 在 LIBERO 单臂 Franka Panda 任务上引入 7 类扰动（相机、机器人、语言、光照、背景、噪声、布局）；本文新提出的 RoboTwin 2.0-Plus 在双臂 Aloha-AgileX 平台 RoboTwin 2.0 任务上复刻相同的扰动协议，并细化为 21 个子维度。两者分别在 MuJoCo 和 SAPIEN/ManiSkill3 仿真器中运行。
这两个基准是论文实验的舞台，理解它们互补的设计（单臂 vs 双臂、不同观测/动作空间）有助于把握'哪些扰动对 WAM 真正有挑战'的结论。
研究动机
VLA 模型虽然在机器人导航、操作、运动等任务上取得显著进展，但其在真实世界部署中暴露出两个核心问题：泛化能力有限以及对环境扰动高度敏感。具体表现为，当光照、背景纹理、相机视角、噪声或任务无关的干扰物发生变化时，VLA 策略的成功率往往出现断崖式下跌——例如 π0 在 LIBERO-Plus 的相机扰动下从原始 94.2% 暴跌到 13.8%，整体均值仅 53.6%。这种脆弱性被归因于 VLA 的主干（VLM）主要在静态图文对上预训练，缺乏对细粒度视觉动态的建模能力；而 WAM 虽然声称借助视频预训练的时空先验能带来更强鲁棒性，但相关声称大多来自单任务或单一基准的实验，缺乏跨平台、跨扰动类型的系统性比较，更没有关于 WAM 推理成本、训练数据需求等实际部署瓶颈的量化分析。
本文的目标是本文的目标是构建一个系统、可量化的对比框架，对当前主流 VLA（π0、π0.5、X-VLA、OpenVLA-OFT、UniVLA、RIPT-VLA、HoloBrain0-GD、ABot-M0）和 WAM（LingBot-VA、Cosmos-Policy、GE-Act、Fast-WAM），以及混合方法（MOTUS、VLA-JEPA）进行同口径鲁棒性评估。论文沿用 LIBERO-Plus 的 7 维扰动协议（相机、机器人、语言、光照、背景、噪声、布局），并提出新的 RoboTwin 2.0-Plus 双臂基准（21 个子维度、50 个 bimanual 任务），通过 Original+7 类扰动共 8 个配置、每配置每任务 50 条 episode 的标准化评估，刻画两类模型在不同扰动下的成功率分布，并给出推理时延对比与训练数据需求的归因分析。
与已有工作不同的是，本文的独特切入角度有四点：其一，把'WAM 是否鲁棒'从单一基准泛化到单臂+双臂双平台，避免单基准的偶然性；其二，将'VLA+世界模型辅助任务'（如 VLA-JEPA、MOTUS）作为中间地带纳入分析，揭示'是否含视频先验'与'如何融合视频先验'是两个正交问题；其三，借助 Fast-WAM 在 RoboTwin（clean+域随机化）与 LIBERO（仅 clean）两个 checkpoint 的训练数据差异，做了一个'主干相同、训练数据多样性不同'的自然实验，把'鲁棒性来自架构 vs 数据'的争议拆解开；其四，量化 WAM 的推理开销（去噪步数、参数量、动作分块大小等），指出当前 WAM 至少比 π0.5 慢 4.8 倍的部署瓶颈。
核心方法
本文本质是经验性研究（empirical study），没有提出新模型，而是搭建一套统一的鲁棒性评测协议。整体思路是'先界定比较对象、再设计扰动维度、最后做归因分析'。技术上分三步：第一步是构造 RoboTwin 2.0-Plus，把 LIBERO-Plus 的 7 类扰动协议系统地移植到双臂 RoboTwin 2.0 平台，并对每个维度做参数化（21 个子维度可通过 YAML 开关独立激活），使得相机、机器人初始构型、光照、背景、噪声、布局扰动可以单独或联合打开；第二步是选取公开可用的开源 checkpoint，沿用各模型作者发布的训练数据与权重（包括作者自行在 RoboTwin 2.0 上微调出的 π0.5 JAX 版本），在 8 种配置上各跑 50 episode 统计成功率；第三步是把 WAM 按是否引入 IDM 风格因果耦合、是否需要 embodied pre-training、是否在测试时生成视觉状态等进行分类，结合不同训练数据规模做归因，辅以对视频主干预测的可视化（Cosmos-Policy 的未来帧预测）解释泛化与失败原因。
本文的核心创新不是算法，而是一套'架构先验 × 训练数据多样性'的二维归因框架。WAM 的关键差别在于它显式建模了 $p_\phi(h_{t+1}, a_t | h_t)$，把'先想象未来、再反推动作'作为内置的归纳偏置；而 VLA 只建模 $p_\theta(a_t | h_t)$，把对世界动态的建模完全压给 VLM 主干+大规模多样化数据去隐式学习。论文通过对照实验（Fast-WAM 同一架构、两个数据多样性不同的 checkpoint）把'鲁棒性来自视频主干 vs 来自数据多样性'的争论从相关性问题推进到因果层面，并指出当 IDM 风格 WAM（如 LingBot-VA）把动作显式条件化在预测的 $h_{t+1}$ 上时，即便任务级训练数据较少也能获得强鲁棒性。
方法步骤详情
方法流程可拆为四个阶段。第一是基准构建：在 RoboTwin 2.0 的 SAPIEN 仿真器中，将 LIBERO-Plus 的扰动协议细化实现为 21 个子维度（N1–N5 噪声、L1–L4 光照、C1–C3 相机视角、机器人初始构型高斯扰动、B1–B2 背景纹理、O1–O2 物体布局、R1–R3 语言改写），每个子维度都封装为可独立开关的 YAML flag。第二是模型准备：收集 8 个 VLA、2 个 VLA+WM 混合方法、4 个 WAM 的开源 checkpoint，论文额外在 27.5k RoboTwin 2.0 数据上对 π0.5 JAX 版本微调 60k 步（AdamW，$\beta_1=0.9$，$\beta_2=0.95$，$\text{lr}_{\text{peak}}=2.5\times10^{-5}$ 余弦衰减到 $2.5\times10^{-6}$，batch size 64，delta joint actions），用以补齐 JAX/PyTorch 实现差异造成的不可比问题。第三是评估执行：每个 checkpoint 在 8 个配置（demo_clean + 7 类扰动）上各跑 50 episode/任务，单模型在 RoboTwin 2.0-Plus 上总计需要 $50 \times 50 \times 8 = 20{,}000$ 条 rollout。第四是归因分析：从架构（IDM vs 联合去噪、是否在测试时生成视觉状态）、训练数据（是否需要 embodied pre-training、数据是否含域随机化）、主干规模（2B–5.3B）、动作分块大小与去噪步数等维度交叉分析，并可视化 Cosmos-Policy 的未来帧预测解释 WAM 抗噪但易受罕见背景模式干扰的现象。
技术新颖性
技术新颖性主要体现在评测方法而非模型架构上：第一，把'是否含视频先验'与'如何融合视频先验'解耦为两个正交维度，并通过 MOTUS（额外 VLM 处理动作）与 LingBot-VA（同一主干解动作）这样的对比案例加以验证；第二，Fast-WAM 的双 checkpoint 实验为'鲁棒性来源于数据 vs 来源于架构'的长期争论提供了一个少见的、架构控制变量的自然实验；第三，论文把'去噪步数'和'是否在测试时生成视觉状态'作为 WAM 推理开销的两个独立变量单独报告，揭示 LingBot-VA 在 RoboTwin 配置下用 25 步状态去噪+50 步动作去噪导致 5.2 秒/推理的真实部署瓶颈，而 Fast-WAM 跳过视觉生成后压到 190ms；第四，对 Cosmos-Policy 未来帧预测的可视化分析，揭示其能对运动中的机械臂去噪但在罕见背景模式下会出现严重空间畸变，把'为什么 WAM 对某些扰动不鲁棒'从黑箱变为可解释的视觉证据。
实验结果
实验在两个互补基准上得出四组关键结论。RQ1（是否鲁棒）：在 RoboTwin 2.0-Plus 上 LingBot-VA 以 74.2% 的平均成功率位列第一（原始 92.1%），领先 π0.5 的 58.6% 约 15.6 个百分点，并在 5/7 类扰动中取得最佳；Fast-WAM 紧随其后达 72.7%，是唯一不需要 embodied pre-training 就能取得 WAM 级鲁棒性的模型。在 LIBERO-Plus 上 Cosmos-Policy 平均 82.2%（原始 98.5%），GE-Act 80.3%，但 π0.5 凭借多样化训练数据反以 85.7% 居首，显示出 WAM 并非在所有基准都占优。RQ2（扰动类型差异）：WAM 的优势集中在视觉类扰动（光照、噪声、布局、背景），例如 LingBot-VA 在光照 89.0%、布局 87.9%、噪声 80.9% 上均显著优于 π0.5 的 49.6%、56.8%、64.9%；但对相机视角和机器人初始构型两类几何扰动依然脆弱，LingBot-VA 在相机扰动下仅 28.9%，远低于 π0.5 的 45.6%。Fast-WAM 的双 checkpoint 实验进一步说明'数据多样性是必要条件'：在 RoboTwin（含域随机化）上 Fast-WAM 整体 72.7%，但在 LIBERO（仅 clean）上整体骤降到 51.5%，从原始 97.6% 跌了 46 个点。RQ3（差异归因）：WAM 的视频主干（Cosmos-Predict2、Wan2.2 等）已经过未来帧预测的预训练 $p_\phi(h_{t+1}|h_t)$，使其天然具备对动态与噪声的鲁棒性（Cosmos-Policy 能对带噪的机械臂运动做去噪预测）；而 VLA 的 VLM 主干是静态图文对，需靠 $\pi_0.5$ 这类用大量机器人+网络数据训练的模型来弥补动态建模的缺失。RQ4（运行时）：WAM 的推理延迟普遍在 190ms–5.2s 之间，比 π0.5 的 63ms 慢 3.0–83 倍，其中 LingBot-VA(RT) 5.2s 来自 25 步状态去噪+50 步动作去噪的累积开销；Fast-WAM 通过跳过测试时视频生成压到 190ms，但仍约为 π0.5 的 3 倍，推理效率仍是 WAM 部署的最大障碍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0-Plus 综合鲁棒性 | 7 类扰动下平均成功率 (%) | LingBot-VA 74.2 / Fast-WAM 72.7 | π0.5 58.6 / X-VLA 53.1 | LingBot-VA 较最强 VLA 提升 +15.6% |
| LIBERO-Plus 综合鲁棒性 | 7 类扰动下平均成功率 (%) | Cosmos-Policy 82.2 / GE-Act 80.3 | π0.5 85.7 / ABot-M0 80.5 / X-VLA 71.4 | WAM 略低于 π0.5（-3.5pp），但显著高于大多数 VLA |
| RoboTwin 2.0-Plus 光照扰动 | 成功率 (%) | LingBot-VA 89.0 / Fast-WAM 88.8 | π0.5 49.6 / X-VLA 63.1 | WAM 较 π0.5 提升 +39.4pp |
| RoboTwin 2.0-Plus 噪声扰动 | 成功率 (%) | LingBot-VA 80.9 / Fast-WAM 76.4 | π0.5 64.9 / X-VLA 49.7 | LingBot-VA 较 π0.5 提升 +16.0pp |
| RoboTwin 2.0-Plus 布局扰动 | 成功率 (%) | LingBot-VA 87.9 / Fast-WAM 83.2 | π0.5 56.8 / X-VLA 34.8 | LingBot-VA 较 π0.5 提升 +31.1pp |
| RoboTwin 2.0-Plus 相机扰动 | 成功率 (%) | LingBot-VA 28.9 / Fast-WAM 30.4 | π0.5 45.6 / X-VLA 23.2 | WAM 在该维度反不如 π0.5（-16.7pp） |
| RoboTwin 2.0-Plus 原始（无扰动） | 成功率 (%) | LingBot-VA 92.1 / Fast-WAM 91.2 | π0.5 78.4 / X-VLA 65.6 | LingBot-VA 较 π0.5 提升 +13.7pp |
| 推理时延（单次动作块推理） | 毫秒 (ms) / 相对 π0.5 倍数 | Fast-WAM 190ms (3.0×) / GE-Act 300ms (4.8×) / Cosmos-Policy 390ms (6.2×) / LingBot-VA(RT) 5230ms (83×) | π0.5 63ms (1.0×) / X-VLA 195ms (3.1×) | WAM 至少慢 4.8×，最慢慢 83× |
局限与改进
作者明确承认的局限包括：（1）评估只覆盖了有开源 checkpoint 的模型，DreamZero 因 14B Wan2.1 主干重训代价过高、推理 warm-up 超过 15 分钟而无法评测，GigaWorld-Policy 因 checkpoint 未发布而仅作架构对比；（2）两个基准都是仿真环境，没有在真实机器人上验证鲁棒性差异是否迁移；（3）'WAM 鲁棒性源于视频预训练'的论断很大程度上依赖 Fast-WAM 的双 checkpoint 自然实验，但这种自然实验无法完全排除训练超参等其他混淆变量。本人观察到的额外局限有：（1）'WAM 在相机/机器人初始构型扰动上反而更差'的现象缺乏深入分析，可能与视频主干在 3D 几何一致性上的归纳偏置较弱有关，但论文没有给出定量证据；（2）Fast-WAM 在 LIBERO-Plus 的多个子任务（Goal/Long）上从原始 97.6% 跌到 39.2%/41.1%，是几何类扰动+长视野任务的组合崩溃，论文只把它归因于'训练数据缺乏多样性'，但没有排除'联合去噪本身在长视野上更脆弱'；（3）没有讨论 WAM 与 VLA 的能效/算力成本差异，只比较了墙钟延迟，无法回答实际部署的总拥有成本；（4）作者新提出的 RoboTwin 2.0-Plus 缺乏与原始 LIBERO-Plus 完全相同的扰动强度对齐（例如噪声严重度区间 [2,3] 与 LIBERO-Plus 不一定一致），跨基准比较仍需谨慎。
独立分析的弱点
独立分析论文的弱点可从方法论和工程两个层面展开。方法论层面：（1）'鲁棒性来自架构 vs 数据'的归因过度依赖 Fast-WAM 单点对照，没有在更多 WAM/VLA 配对上复现，因此结论的普适性有限；（2）不同 WAM 的去噪步数差异极大（GE-Act 1 步 vs LingBot-VA 25 步），论文把它当作'部署瓶颈'报告，但未控制变量地研究'步数 vs 鲁棒性'的帕累托前沿，无法告诉读者在哪个步数区间性价比最高；（3）对 Cosmos-Policy 未来帧的可视化分析只展示了定性 case，没有引入 pixel-level 指标（PSNR、LPIPS）量化'预测帧质量 vs 动作成功率'的相关性。工程层面：（1）评估只在 2 个基准、合计 90 个任务、每配置 50 episode 上进行，统计功效有限，跨任务方差没有给出置信区间；（2）没有把不同 WAM 的去噪步数对齐到同一推理预算再做比较，'WAM 慢 4.8×'的结论其实是在不同采样预算下得出的，公平对比应固定目标延迟再比较成功率；（3）作者额外微调 π0.5 JAX 版本时虽然报告了优化器与超参，但缺少与 π0.5 PyTorch 版本的直接对比，不能完全排除 JAX/PyTorch 实现差异仍是 RoboTwin 上 π0.5 偏低的混杂因素。每个弱点的改进方向也很明确：归因问题应增加更多模型配对并做线性混合效应分析；去噪步数问题应做 pareto 曲线；可视化问题应引入图像质量指标；统计功效问题应提高 episode 数并报告置信区间。
未来方向
作者在结论与相关工作中明确提出的未来方向有：（1）进一步研究如何更高效地利用世界模型主干的动态先验，提升 WAM 的训练与推理效率（特别是把视觉生成从测试时去掉，但仍保持鲁棒性的设计，例如 Fast-WAM 和 GigaWorld-Policy 已经迈出第一步）；（2）探索在长视野任务中如何保持 WAM 的鲁棒性，避免像 Fast-WAM 那样在 Long 子任务上从 97.6% 跌到 41.1%；（3）研究如何把视频先验更紧凑地注入 VLA 框架（VLA-JEPA、MOTUS 已给出部分答案），并定量分析'多少视频数据/哪种视频数据'对鲁棒性最关键。基于本文成果可延伸的研究方向有：（1）把 RoboTwin 2.0-Plus 的扰动协议推广到真实机器人，因仿真与真实的视觉 gap 可能放大或缩小 WAM 与 VLA 的鲁棒性差异；（2）研究 WAM 在'分布外任务'（如训练时未见过的新物体组合）上的少样本适应能力，借助视频主干的生成能力做 in-context 规划；（3）探索把 WAM 的去噪步数做成可调节的弹性推理策略，例如在置信度高时早停，在几何敏感场景（相机/构型扰动）回退到多步精炼；（4）把'鲁棒性'指标与'任务成功率'指标解耦，研究是否存在专门优化'扰动下的 worst-case 性能'的训练目标。
复现评估
复现性方面，本文主体是经验性研究，复现门槛主要是算力而非代码细节。积极的方面有：（1）所有评估的模型（π0、π0.5、X-VLA、OpenVLA-OFT、UniVLA、RIPT-VLA、MOTUS、VLA-JEPA、LingBot-VA、GE-Act、Cosmos-Policy、Fast-WAM）均使用作者发布的开源 checkpoint 与官方代码仓库；（2）LIBERO-Plus 基准本身已开源，本文还把 RoboTwin 2.0-Plus 的 21 个子维度参数详细列在 Table 6 附录中，并公开了 YAML 配置开关；（3）评估协议非常具体——8 种配置、50 episode/任务、原始+7 类扰动，明确可重复。困难在于：（1）LingBot-VA 在 RoboTwin 2.0-Plus 上单次推理约 5.2 秒，叠加 50×50×8 = 20,000 episode 的 rollout 规模，跑完全套评估需要数百到上千 GPU 小时，普通实验室难以负担；（2）作者额外微调 π0.5 JAX 版本虽然报告了 AdamW（$\beta_1=0.9$, $\beta_2=0.95$）、$\text{lr}_{\text{peak}}=2.5\times10^{-5}$ 余弦衰减到 $2.5\times10^{-6}$、batch size 64、60k 步等超参，但要在不同硬件上严格复现仍需注意 JAX/PyTorch 实现的差异；（3）评测需要 SAPIEN+ManiSkill3 的 RoboTwin 2.0 环境、MuJoCo+robosuite 的 LIBERO 环境以及各模型对应的推理框架（openpi、transformers、vllm、cosmos-policy 等），环境配置复杂。综合来看，论文主表的核心数据可由有算力的实验室在 1–2 周内复现，但细粒度结论（如 Fast-WAM 的自然实验、不同去噪步数对比）的复现成本较高。
论文图表
原图展示了 7 类扰动的视觉示例：Original（无扰动基线）、Camera（C1+C3 相机距离与朝向）、Robot（C1+C3 关节+夹爪扰动后的初始状态）、Language（Joint+Gripper 模式下原文'Click the bell'被改写为'Press down on the service bell'，右列为 R1+R2+R3 三种语言改写示例）、Light（L1–L4 颜色/方向/镜面/阴影）、Background（B1+B2 桌面与场景纹理）、Noise（N1–N5 5 种图像噪声）、Layout（O1+O2 干扰物与目标位姿）。
这张图是理解 RoboTwin 2.0-Plus 基准的关键入口，让读者一眼看到'鲁棒性'具体测的是什么、可视差异有多大；也是后续 Table 3 中 WAM 与 VLA 在视觉类扰动上得分差异巨大这一结论的视觉支撑。
表格按 Embodied Pre-training / Post-training / Task-specific Finetuning 三个阶段，对比 π0、OpenVLA-OFT、X-VLA、π0.5、VLA-JEPA、MOTUS、Cosmos-Policy、DreamZero、GE-Act、LingBot-VA、GigaWorld-Policy、Fast-WAM 在语义理解、通用视频、机器人数据、任务数据上的使用情况，涵盖从几千小时到 970k 轨迹的差异。
这张表是论文归因'鲁棒性来源'的关键依据：它让读者一眼看到 VLA-JEPA 和 MOTUS 等混合方法都额外引入了 human ego 视频数据，而纯 WAM 通常只用机器人数据但靠视频主干本身学到的动态先验，是 RQ3 论点的核心证据。
附录表格详尽枚举 21 个扰动子维度的实现细节：N1–N5（运动模糊/高斯模糊/zoom blur/雾/glass blur，含核大小、σ 范围等）、L1–L4（漫反射颜色/方向/镜面/阴影，含 RGB 范围、θ/ϕ 范围等）、C1–C3（距离/球面位置/朝向，含缩放和角度范围）、机器人初始构型（高斯噪声 std=0.1 rad、夹爪极端位 0.05/0.95 概率 0.25）、B1–B2（场景主题/表面外观）、O1–O2（干扰物数量 3–15、目标位姿 σ=2cm/yaw±15°）、R1–R3（语言改写比例 30%/50%/20%）。
这张表是论文新提出的 RoboTwin 2.0-Plus 基准的工程蓝图，让其他研究者能完整复现 21 个子维度的具体参数，是该基准被社区复用的关键文档。