基于视频先验与异步去噪的统一4D世界动作建模 Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising
X-WAM：统一4D世界动作模型，联合预测多视角RGB-D视频与机器人动作
前置知识
Diffusion Transformer (DiT)
基于 Transformer 架构的扩散模型，用自注意力逐步去噪生成数据。X-WAM 正是基于 Wan2.2-TI2V-5B 这类预训练 DiT 微调而来，复用其视觉先验而无需从零训练。
X-WAM 的核心创新之一就是在 DiT 上做结构化适配，理解 DiT 的 block 结构与注意力机制是看懂「轻量级深度适配模块」的前提。
Vision-Language-Action (VLA) 模型
将视觉与语言输入映射为机器人可执行动作的策略模型，通常基于预训练视觉语言模型微调。本文将 VLA 与世界模型联合建模，统称为 World Action Model (WAM)。
X-WAM 属于 WAM 范式，需要理解它与纯 VLA（π0、GR00T）和纯世界模型的区别，才能明白「统一」为何是核心卖点。
Flow Matching
一种生成式训练框架，学习从噪声到数据的连续速度场 $v = \epsilon - z_0$，相比 DDPM 更易扩展到大模型。X-WAM 的训练损失 $\mathcal{L}^m = \|f_\theta(z_t^m, t^m) - (\epsilon^m - z_0^m)\|^2$ 即其典型形式。
论文采用 flow matching 训练多模态联合去噪，公式 (5) 中的速度预测损失与模态专属时间步 $t^O, t^a$ 是理解 ANS 训练策略的关键。
Asynchronous Denoising（异步去噪）
针对视频（高维）与动作（低维）的模态差异，让动作只用 $T_a$ 步就能解码并立即执行，视频继续跑完 $T_O$ 步（$T_a < T_O$）以生成高保真画面。这是 X-WAM 实时部署的关键机制。
理解「训练-推理分布对齐」问题是理解 ANS 论文贡献的逻辑起点：异步推理要求训练时也必须耦合采样，否则会浪费算力在 $t^O < t^a$ 这种训练时多但推理时不出现的组合上。
研究动机
现有具身智能模型存在「分立范式」困境：VLA 模型（如 $\pi_0$、GR00T-N1.5）擅长指令跟随但缺乏对物理动态的 3D 感知，纯世界模型擅长想象未来但不能直接产生可执行动作。近期出现的「统一世界动作模型」（UWM、VideoVLA、Motus、DreamZero）虽然把两者塞进一个网络，却仍局限于 2D 像素空间——模型只能从 RGB 像素反推几何，无法做几何一致的 4D 重建，常常幻觉出物理上不合理的未来。更关键的是，这些 WAM 在训练时对视频和动作的噪声时间步 $t^O$、$t^a$ 独立采样，导致异步推理时视频分支看到的「干净动作」在训练分布里几乎从未出现过，造成训练-推理分布错配。例如 UWM 在 RoboCasa 上只有 60.8% 平均成功率，DreamZero 仅 62.4%，而 Motus 在 RoboTwin 2.0 随机化设置下也只有 87.0%，都显著低于其上限。
本文的目标是本文提出 X-WAM，目标是构建一个真正「统一」的 4D 世界动作模型，在单一架构中同时实现四个目标：高保真视频生成、3D 空间重建、高策略成功率、以及高效动作执行。具体来说，模型从多视角 RGB、当前本体感知状态出发，联合预测未来 RGB-D 视频、未来状态、机器人动作；在 RoboCasa 上要把平均成功率从最强基线 Cosmos Policy 的 67.1% 拉到 79.2%，同时在 RoboTwin 2.0 Clean/Randomized 两个设置上分别做到 89.8%/90.7%；并且通过异步去噪把动作延迟从同步基线的 4665 ms 压到 1033 ms，加速 4.5×。
与已有工作不同的是，X-WAM 的独特切入角度是「显式 3D 空间感知 + 训练-推理分布对齐」。在 3D 感知方面，作者没有像 ManiGaussian/GWM 那样把整个世界建模为 3D Gaussian Splatting（计算昂贵且难扩展），也没有像 VideoVLA 那样把深度 token 拼到序列维度（会让注意力复杂度平方爆炸）；而是在 DiT 的最后 $M$ 个 block 上「复制一份」作为 interleaved 深度分支，用单向交叉注意力让深度分支只读主分支特征，从而在保留预训练先验的前提下获得几何一致性。在分布对齐方面，本文首创 Asynchronous Noise Sampling (ANS)，不再让 $t^O$ 与 $t^a$ 独立采样，而是从显式构造的联合分布 $(t^O, t^a)$ 中按 $p$ 混合采样，确保训练时永远满足 $t^O \geq t^a$，与异步推理分布精确对齐。
核心方法
X-WAM 的整体思路是「在已有视频 DiT 上做最小侵入式扩展」。输入为 1 帧条件 RGB、当前本体状态 $s_0$ 与文本指令 $c$，通过 causal VAE 编码 RGB 得到 $z^O$，用可学习 MLP 投影状态和动作到同一潜空间，拼接成统一去噪序列 $Z = [z^O_0, z^O_{1:H}, z^s_0, z^s_{1:H}, z^a_{1:K}]$（$H=8$ 视频帧、$K=32$ 个动作）。DiT 由 Wan2.2-TI2V-5B 初始化，前 $N-M$ 个 block 共享，最后 $M$ 个 block 复制为主分支（生成 RGB）与深度分支（单向 cross-attention 回归逆深度）。推理时动作 $T_a=5$ 步解码即下发机器人执行，视频继续走完 $T_O=25$ 步生成高保真画面。训练损失为 $\mathcal{L}^O + \lambda_s \mathcal{L}^s + \lambda_a \mathcal{L}^a + \lambda_D \mathcal{L}_{\text{depth}}$ 加权组合。
两个核心创新本质上都在解决「既保留预训练先验又扩展能力」的矛盾。其一是「interleaved 单向注意力深度分支」——不增加序列长度（避免注意力复杂度平方增长）、不沿通道拼接深度（避免分布偏离预训练流形），而是在结构层面把 DiT 末尾若干 block 复制一份，让深度分支只能「读」主分支但主分支不被干扰，从而让预训练权重几乎原封不动；其二是「耦合噪声采样 (ANS)」——观察到异步推理阶段动作一直保持「干净」，于是训练时强制 $t^O \geq t^a$ 永不违反，按 Beta(1.5,1) 偏向更高视频噪声水平，让训练分布与异步推理分布严格对齐。与之前 WAM（如 Motus）独立采样 $t^O, t^a$ 的策略相比，ANS 把「训练-推理错配」这一长期被忽视的问题形式化为可解的联合分布采样。
方法步骤详情
方法分六步。①数据准备：在 5800+ 小时数据上做坐标统一与状态-动作接口规范化，用 Depth Anything 3 从 2D 视频提取逆深度作为监督。②模型初始化：从 Wan2.2-TI2V-5B 加载 DiT 权重，对每路视角加可学习 view embedding，对状态/动作沿时间维度复用 3D RoPE。③构建统一去噪序列 $Z$：把初始观测、初始状态（固定 $t=0$）与待去噪的未来视频/状态/动作拼接。④单向深度分支：前 $N-M$ 个 block 共享特征 $H$，之后按公式 (3) 在每层 $j$ 上并行运行 DepthBlock$_j$ 与 DiTBlock$_{N-M+j}$，深度块仅通过 cross-attention 读取主分支输入，最后用 MSE 回归逆深度。⑤ANS 训练采样：按公式 (4) 以概率 $p$ 选「动作干净、视频随机」分支，否则以 $1-p$ 从 Beta 联合分布采样，保证 $t^O \geq t^a$。⑥异步推理：UniPC 调度器在 $T_a$ 步内完成动作解码并下发，视频继续走完 $T_O - T_a$ 步。
技术新颖性
X-WAM 的新颖性体现在三个层面。架构层面：首次把「复制 DiT 末尾 block + 单向交叉注意力」作为统一世界动作模型中的 3D 空间注入手段，规避了序列拼接和通道拼接两大已有方案的代价；深度分支可以推理时关闭，保证动作延迟不退化。训练层面：首次形式化「统一世界动作模型的训练-推理噪声分布错配」问题，并给出可计算的耦合采样方案 ANS，把异步去噪的工程经验提升为概率对齐原理。系统层面：是第一个同时演示「高保真视频生成 + 高质量 4D 重建 + 高策略成功率 + 实时执行」四项能力均达 SOTA 的统一框架——这与 UWM（仅 60.8% RoboCasa）、Motus（仅 88.7%/87.0% RoboTwin）等前作形成鲜明对比。
实验结果
实验分三条主线。①策略执行：RoboCasa 24 任务上 X-WAM 平均成功率 79.2%，比 Cosmos Policy (67.1%) 高 +12.1pp，超过 $\pi_0$ (62.5%)、UWM (60.8%)、DreamZero (62.4%) 等基线；RoboTwin 2.0 双臂 50 任务上 Clean 89.8%、Randomized 90.7%，超过 Motus (88.7%/87.0%) 与 GigaWorld-Policy (87.0%/85.0%)，且 Randomized 首次反超 Clean，显示 3D 感知对分布外泛化特别有效。②4D 重建（表 3）：PSNR=23.46、LPIPS=0.0513、点云 CD=0.0049，全部优于 DreamZero+DA3 (PSNR 21.12、CD 0.0680) 与 Robot4DGen。③消融（表 4）：无深度 SR 从 67.8% 掉到 63.0%；ANS 训练+异步推理同时拿到 1033 ms 低延迟、67.8% 最高 SR 与最佳深度指标，相对同步基线 4.5× 加速且无视觉质量损失。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboCasa 24 任务平均策略成功率 | Avg Success Rate (%) | 79.2 | Cosmos Policy 67.1（次优），UWM 60.8（最弱 WAM） | 比 Cosmos Policy 高 +12.1 个百分点，比 UWM 高 +18.4 个百分点 |
| RoboTwin 2.0 Clean 设置双臂 50 任务 | Avg Success Rate (%) | 89.8 | Motus 88.7（次优），UWM 81.7 | 比 Motus 高 +1.1 个百分点，比 UWM 高 +8.1 个百分点 |
| RoboTwin 2.0 Randomized 设置双臂 50 任务 | Avg Success Rate (%) | 90.7 | Motus 87.0（次优），UWM 78.6 | 比 Motus 高 +3.7 个百分点，比 UWM 高 +12.1 个百分点；首次在该基准上 Randomized 优于 Clean |
| RoboCasa 4D 重建 RGB 质量 | PSNR ↑ / LPIPS ↓ | PSNR 23.46 / LPIPS 0.0513 | DreamZero+DA3 PSNR 21.12/LPIPS 0.1580；Robot4DGen PSNR 22.67/LPIPS 0.1026 | PSNR 比 DreamZero+DA3 高 +2.34 dB，LPIPS 降至约 1/3 |
| RoboCasa 4D 重建深度与点云 | AbsRel ↓ / CD ↓ | AbsRel 0.0349 / CD 0.0049 | DreamZero+DA3 AbsRel 0.1362/CD 0.0680；X-WAM w/o depth + DA3 AbsRel 0.1045/CD 0.0401 | CD 比 DreamZero+DA3 降低约 13.9×，AbsRel 降低约 3.9×，证明内嵌深度分支显著优于后挂深度估计器 |
| 动作推理延迟（RTX 3090） | Latency (ms) ↓ | 1033（ANS 异步推理） | 4665（同步训练+同步推理） | 4.5× 加速，且不损失 SR 与视觉质量（SR 67.8% vs 66.4%） |
局限与改进
作者明确承认的局限主要集中在两点：一是所有消融变体由于算力限制，是从 Wan2.2-5B 直接在基准数据上微调、跳过大规模预训练阶段得到的，因此消融表里的 67.8% SR 显著低于主结果表的 79.2%，但消融比较的是相对差异，结论仍然成立；二是真机实验仅展示了「耳机包装」单一任务的双臂平台部署，缺乏跨任务、跨硬件的真实验证，限制了论文对「通用具身基础模型」宣称的说服力。从我自己的观察看，还存在几个隐含局限：其一，对腕部相机像素级指标（PSNR/SSIM/LPIPS/AbsRel/$\delta_1$）不做评估，而是改用 Chamfer Distance 间接评估，这种做法虽然合理但回避了端到端几何精度的直接量化；其二，5800+ 小时数据规模和 5B 参数模型的训练算力门槛极高，普通研究团队难以复现与对比；其三，深度分支通过端到端 MSE 监督隐式学习，并未显式建模相机外参与多视角约束，在相机标定漂移或视角数变化时几何一致性可能下降；其四，论文并未报告失败案例与失败模式分析，所有结果都是平均成功率。
独立分析的弱点
独立审视，X-WAM 仍有几个可改进之处。第一，深度分支的 MSE 损失是单视角的，没有显式多视角一致性约束；当两台静态相机对同一 3D 点的逆深度估计不一致时，融合出的点云可能出现重影，未来可引入 cross-view photometric consistency loss。第二，ANS 公式 (4) 中混合概率 $p$ 与 Beta 参数 (1.5, 1) 是作者经验选取，没有给出在不同数据规模/任务难度下如何自适应调节的准则。第三，动作解码延迟 1033 ms 相对人级别反应（约 50–100 ms）仍偏高，主要受 DiT 5B 模型拖累，未来可探索蒸馏或稀疏注意力进一步压低延迟。第四，仿真到真实的 sim-to-real gap 没有系统量化，仅有「耳机包装」一案的真机演示，未来需要更全面的真机 benchmark。第五，模型只支持固定双目的多视角配置（2 静态相机 + 1 腕部相机），相机数量变化时缺乏灵活性。
未来方向
作者在结论里没有显式列出未来工作，但基于成果可延伸的方向包括：把 X-WAM 的「统一 4D 世界动作模型」思路推广到移动机器人、四足/人形机器人，引入底盘速度、力矩等新模态；把异步去噪与 RL/RT-2 类在线学习结合，让动作执行中的真实反馈回流到世界模型用于 self-improving；用 X-WAM 生成的 4D 数据作为合成数据源去增强其他 VLA 训练，形成「统一模型即数据引擎」的飞轮；探索轻量化版本（如把 5B DiT 蒸馏到 1–2B）使统一框架可在消费级 GPU 实时运行；以及把显式 3D 表示（点云、NeRF、3DGS）与 X-WAM 的潜空间视频生成结合，让重建分支直接输出可渲染的 3D 资产。
复现评估
复现性方面，作者给出了项目主页 https://sharinka0715.github.io/X-WAM/2026 与论文附录 B 的实现细节，但截至论文发表未公开承诺开源代码与训练权重（仅承诺「将开源」的口径较常见但有不确定性）。模型基于 Wan2.2-TI2V-5B 这一已有公开发布的 DiT 进行微调，初始权重可获得；5800+ 小时的预训练数据来源包含多个公开数据集（如 RoboCasa、AgileX 等），但完整数据配方与坐标归一化细节需要复现者自行对齐。算力方面，5B 参数 DiT 的全量微调至少需要数十张 A100/H100 级别的 GPU 才能完成，文中没有给出 wall-clock 时间与硬件配置，属于高门槛复现；评测侧用 RoboCasa 与 RoboTwin 2.0 这两个公开仿真器，门槛较低，但每个任务需要数百条轨迹 rollout 才能拿到稳定成功率。整体复现难度：训练高、推理中、评测低，建议一般研究者优先复现消融实验（从 5B 直接微调，跳过大预训练）以验证方法论。
论文图表
