面向世界动作模型的视频原生动作先验学习 Native Action-Prior Learning from Videos for World Action Models
让动作策略直接从无标注视频中学习动作先验，免中间接口，显著提升机器人泛化与标签效率
前置知识
流匹配（Flow Matching）
一类生成模型训练方法：在数据与高斯噪声之间构造线性插值路径 $z_\tau=(1-\tau)z+\tau\epsilon$，训练网络预测速度场 $u=\epsilon-z$，推理时用 Euler 等 ODE 求解器沿速度场从噪声积分回数据。相比扩散模型训练目标更简单、采样步数更少，被 π0 等机器人策略广泛用于连续动作生成。
NAVA-WAM 的预训练与后训练目标都是视频/动作流上的流匹配损失，看懂 $z_{k,\tau_v}$、$u^v_k$ 等记号和公式 (6)(7)(11) 的前提就是理解流匹配。
世界动作模型（World Action Model, WAM）
把『预测未来视觉会如何变化』与『生成机器人动作』统一在一个模型中的架构。与只做条件动作预测的 VLA 不同，WAM 显式建模环境动力学，把视频预测作为额外监督或推理时想象，从而提升策略对物理规律的理解与泛化能力，代表工作有 DreamZero、Fast-WAM、LingBot-VA 等。
本文就是一篇 WAM 论文，双流联合训练、action-only 推理等设计全部围绕 WAM 展开，且实验对比对象都是最新 WAM。
Mixture-of-Transformers（MoT）与 DiT
MoT 给不同模态（视频、动作）分配各自独立的 Transformer 参数（专家），每个专家独立生成自己的 Q/K/V，但通过联合注意力互相读取对方表示（式 2）。DiT（Diffusion Transformer）是在 Transformer 骨干上做扩散/流匹配去噪的架构，是现代视频生成模型的主流骨干。
NAVA-WAM 由冻结的 Video-DiT（Wan2.2-5B）和可训练的 1B Action-DiT 组成 MoT，论文全部创新都体现在两个专家之间的注意力结构上。
逆动力学-正动力学分解
逆动力学从相邻两态 $(z_{k-1},z_k)$ 提取『发生了什么变化』的变量 $r_k=q(z_{k-1},z_k)$；正动力学用前一状态加 $r_k$ 预测未来 $\hat z_k=f(z_{k-1},r_k)$。LAPO、LAPA 等隐动作方法显式训练两个模型实现该分解，但必须附加约束防止隐变量直接复制目标观测。
本文核心机制就是把这一信息流隐式实现为注意力掩码，理解它才能明白 Action-DiT 为什么能从纯视频中学到动作先验。
动作分块（action chunk）与本体感知（proprioception）
策略不逐步输出单步动作，而是一次预测未来 $H$ 步动作序列（本文 $H=16/32$），执行若干步后再重新规划，兼顾时间一致性与闭环纠错。本体感知 $q$ 是关节角度等机器人内部状态，与视觉观测、语言指令一起构成策略输入。
论文的动作表示、推理算法（缓存视频 KV 后 10 步 Euler 只去噪动作）和真机部署设置（预测 32 步执行前 24 步）都建立在这两个概念上。
捷径解（shortcut）与目标腐化
在『看两帧猜隐变量再预测未来』的自监督任务中，若隐变量能看到干净的未来帧 $z_k$，模型可以直接把目标复制过去，损失为零却什么也没学到。把未来帧换成高斯加噪版本 $z_{k,\tau}$ 后，附录 A 证明误差下界 $\mathrm{tr}[(\Sigma^{-1}+\frac{\tau^2}{(1-\tau)^2}I)^{-1}]>0$，复制捷径被严格堵死。
这是本文不需要额外防捷径约束的关键，也是它与隐动作学习范式的本质区别所在。
研究动机
世界动作模型把未来视觉动力学与动作预测耦合，但要扩展就必须依赖带动作标注的机器人轨迹——这类数据需遥操作采集，成本高，且不同本体的动作空间、控制频率各异，难以标准化合并。反观 Open X-Embodiment、AgiBotWorld、EgoDex 等数据集提供了数十万段、上千小时的操作视频，却几乎不含可执行的动作标签。已有两种范式利用这些视频，各有硬伤：视觉表征学习（V-JEPA 2、VPP 等）先从视频学视觉/预测表征，再在其上用带动作数据训练策略，视频知识被锁在『视觉中心』的表征里，表征到控制的衔接只能推迟到下游训练才建立，是间接的 representation-to-control 迁移；隐动作学习（LAPO、LAPA、Motus 等）从视觉转移中反推动作式变量作为中间监督，更有动作指向性，但需要额外的隐动作建模阶段，还要靠复杂的架构或优化约束防止『隐动作直接复制目标观测』的捷径解，约束本身压缩了隐空间表达力、削弱了对策略的监督。与此同时泛化短板明显：π0.5 在 LIBERO-Plus 仅 77.4%，早期 WAM Fast-WAM 仅 51.5%，RoboTwin 2.0 Random 域 π0 只有 16.3%，动作数据瓶颈与泛化问题相互纠缠，亟需新的视频利用路径。
本文的目标是本文要回答一个简单而根本的问题：能否不借助任何中间接口，让无动作标注的观察型视频直接优化动作策略本身？具体目标有三。其一，提出『原生动作先验学习』（native action-prior learning）范式：在统一的联合架构内，用未来视频预测的流匹配损失直接预训练动作专家 Action-DiT，让动作先验在策略参数内部形成，而不是先学视觉编码器或隐动作空间再迁移。其二，下游仅需少量带动作标注的示范即可把预训练好的动作专家适配到具体本体的连续控制，并通过非对称注意力实现只对动作去噪的高效推理、不显式生成未来视频。其三，在 LIBERO/LIBERO-Plus、RoboTwin 2.0 的域内（ID）与域外（OOD）设置以及真实 Franka FR3 部署上，全面超越视觉表征学习、隐动作学习两类视频利用方式和最强 WAM 基线，同时展示动作标签效率（低标注预算下优势更大）与对观察型数据规模的扩展性。
与已有工作不同的是，论文的独特切入在于换掉『中间接口』这个假设本身。表征学习范式的接口是视觉编码器，隐动作范式的接口是隐动作模型；NAVA-WAM 则证明逆动力学-正动力学分解所需的信息流，可以完全隐式地实现在策略内部的注意力掩码里：让 Action-DiT 与『干净前一状态 + 加噪未来状态』同处一个注意力段，自发形成转移表征（隐式逆动力学），又让视频 token 的去噪预测必须读取 Action-DiT 表示（隐式正动力学）。由于 Video-DiT 被冻结，未来视频损失的反向梯度只能经由联合注意力通路落在 Action-DiT 上，视频监督从而『原生』地变成动作策略的训练信号。与隐动作方法不同，这里无需独立的逆/正动力学模型，也无需额外防捷径机制：Action-DiT 只能通过高斯腐化的 $z_{k,\tau_v}$ 接触未来状态，复制目标在数学上不可行。另一处巧思是架构前后一致——预训练、后训练、推理用同一个 MoT，只随监督来源切换注意力掩码（对称↔非对称），避免了范式切换带来的接口摩擦与信息损失。
核心方法
直觉上，人看别人做事的视频就能形成『这种局面手该怎么动』的先验，NAVA-WAM 想让神经网络也这样学：动作模型不被告知答案，而是被迫通过自己的内部表示去『解释』视频里发生的转移。技术路线分两阶段。架构上采用 Mixture-of-Transformers：从 Wan2.2-5B 初始化并全程冻结的 Video-DiT 负责视觉动力学，1B 参数、隐藏维 1024 的 Action-DiT 负责生成连续动作，两流参数独立、经联合注意力交换信息。预训练只用无动作视频：把视频切成相邻 latent 状态对 $(z_{k-1},z_k)$ 定义的转移段，Action-DiT 读取『干净前一状态 + 加噪未来状态』形成转移表征，Video-DiT 借助它对加噪未来状态去噪；由于损失只有未来视频流匹配目标（式 7）且 Video-DiT 冻结，梯度只更新 Action-DiT，视频目标就此直接训练了动作策略。后训练换用带动作的机器人示范：视频流与动作流联合流匹配（式 11，$\lambda_v=\lambda_a=1$），并把注意力改为非对称——视频 query 不再看动作流，使视频 KV 可缓存；推理时首轮联合前向后只跑 Action-DiT 做 10 步 Euler 积分，实现无需生成视频的高效闭环控制。
核心创新是『原生动作先验学习』：把视频监督直接接进动作策略，而不是接进表征或隐动作空间。载体是转移结构化联合注意力：对每个视觉转移 $z_{k-1}\to z_k$ 构造注意力段，内含干净前一状态 $z_{k-1}$、加噪未来状态 $z_{k,\tau_v}$ 与一组 Action-DiT token，段间完全隔离。段内动作 token 的 query 同时读取前后两个视觉状态（式 4），等价于逆动力学 $r_k=q(z_{k-1},z_k)$；视频未来 token 的 query 额外读取动作表示（式 5），等价于正动力学 $\hat z_k=f(z_{k-1},r_k)$。与已有方法的本质区别有三：其一，表征学习把视频知识存在视觉编码器里，这里直接存在动作专家参数里，下游零接口迁移；其二，隐动作学习需显式逆/正两个模型加复杂防捷径约束，这里掩码即机制，且 Action-DiT 只能通过高斯腐化的 $z_{k,\tau_v}$ 接触未来——命题 A.2 证明 $\tau>0$ 时误差下界 $\mathrm{tr}[(\Sigma^{-1}+\frac{\tau^2}{(1-\tau)^2}I)^{-1}]$ 严格为正，复制捷径被数学排除；其三，预训练与后训练共享同一架构、仅切注意力掩码，先验无需适配即可被动作监督继续打磨。
方法步骤详情
方法按四步执行。第一步数据准备：汇总 Open X-Embodiment、AgiBotWorld、EgoDex 共 235,790 段无动作视频（1,054.3 小时），过滤去重后切成 65 帧片段（448×448、时间步长 4），冻结时空 VAE 将每片段编码为 5 个 latent 块、共约 700 万块，相邻块对 $(z_{k-1},z_k)$ 定义一个转移。第二步预训练：每段输入干净前一状态 $z_{k-1}$、加噪未来状态 $z_{k,\tau_v}=(1-\tau_v)z_k+\tau_v\epsilon^v_k$（速度目标 $u^v_k=\epsilon^v_k-z_k$）与纯噪声动作 token；冻结 Video-DiT，仅优化式 (7) 的 $\mathcal{L}_{\text{pre}}$：14,000 步、128 GPU、bf16、学习率 $10^{-4}$、batch 512。第三步后训练：先无动作冷启动把 Video-DiT 适配目标域，再解冻双流联合最小化 $\mathcal{L}_{\text{post}}=\lambda_v\mathcal{L}^v_{\text{FM}}+\lambda_a\mathcal{L}^a_{\text{FM}}$（$\lambda_v=\lambda_a=1$），注意力切为非对称；LIBERO 用 50 条示范/任务训 10 epoch，RoboTwin 仅用 Clean 域同量示范训 5 epoch。第四步推理：首轮联合前向缓存视频 KV $\mathcal{C}_V$，其后 10 步 Euler 只前向 Action-DiT，不生成视频。
技术新颖性
技术新颖性可从三个层面评估。范式层面：以往把视频用于机器人学习只有『先学表征再迁移』与『先学隐动作再接地』两条路，本文给出第三条——先验直接长在策略里，并证明相同下游协议下严格更优（25 条示范时 72.0% 对表征法 60.6%、隐动作法 65.0%）。机制层面：逆-正动力学分解通常意味着两个显式模型加防捷径正则，本文证明该分解可以退化为一张注意力掩码——『动作 token 见两帧、视频未来 token 见动作表示』的信息流即完成隐式分解；防捷径不再依赖架构约束而是依赖噪声腐化，并配套命题 A.1/A.2 的理论保证（转移表征的预测价值非负、高斯腐化给出严格正的误差下界）。工程层面：预训练/后训练/推理同一套权重、只切掩码，加上非对称注意力带来的视频 KV 缓存，使 action-only 推理仅 4.30 TFLOPs，与纯图像 WAM（Image-WAM 4.09）相当，单次调用 379.2 ms、按执行动作归一化 15.8 ms——化解了『联合 WAM 推理要生成视频所以慢』的痛点（DreamZero 146.8 ms/动作）。此外，转移表征支持跨域运动迁移（图 5），为『先验学到了什么』提供了同类工作中少见的直接可视化证据。
实验结果
实验覆盖仿真与真机。仿真：LIBERO 40 任务平均 99.0%（LIBERO-Long 99.0% 全场最高），与最强基线 Being-H0.7（99.2%）持平；LIBERO-Plus 宏平均 83.5% 第一，超 Image-WAM 83.1%、π0.5 77.4%，甩开 Fast-WAM（51.5%）32 个点，在机器人初始状态 65.6%、语言 93.8%、布局 87.1% 三类扰动最优。RoboTwin 2.0 双臂 50 任务：Clean 88.5%、Random（纯 OOD）73.6%，较最强基线分别 +3.5（对 Image-WAM 85.0）与 +17.9（对 MV-WAM 55.7），44/50 个任务 Random 域最优或并列最优。真机：DROID 后训练、免任务微调部署 Franka FR3，15 试验成功 14 次（93.3%），对 DreamZero 66.7%、π0.5 53.3%；关键差异在 T1『积木放碗左侧』：NAVA 4/5、两基线 0/5，基线能抓起积木却放错空间关系，说明视频先验改善了空间关系落地。标签效率：10/25/50 条示范分别得 66.5/72.0/73.6%，25 条即超所有基线 50 条的成绩；表征探针 $R^2$ 达 0.247/0.320/0.329，远高于表征法（≤0.157）与隐动作法（≤0.203），注意力聚焦夹爪与被操作物体。扩展性：语料 30%→100%，50 条示范预算下 Random 71.8%→73.6%；推理 4.30 TFLOPs、379.2 ms/调用（15.8 ms/动作）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO（4 套件×10 任务，域内） | 平均成功率 | 99.0% | Being-H0.7 99.2%；Image-WAM 98.4%；π0.5 96.9% | 与最优基线基本持平（-0.2 点），在 LIBERO-Long 上以 99.0% 领先所有对比方法 |
| LIBERO-Plus（7 类分布偏移，OOD） | 宏平均成功率 | 83.5% | Image-WAM 83.1%；ABot-M0 80.5%；π0.5 77.4%；Fast-WAM 51.5% | 较最强基线 +0.4 点，较 Fast-WAM +32.0 点 |
| RoboTwin 2.0 Clean（50 个双臂任务） | 成功率 | 88.5% | Image-WAM 85.0%；MV-WAM 84.0%；HALO 80.5% | +3.5 点 |
| RoboTwin 2.0 Random（域随机化，纯 OOD） | 成功率 | 73.6% | MV-WAM 55.7%；Image-WAM 37.6%；HALO 26.4% | +17.9 点 |
| 真机 Franka FR3（3 个桌面任务×5 次） | 成功率 | 93.3%（14/15），延迟 379.2 ms/调用、15.8 ms/动作 | DreamZero 66.7%（3523.9 ms）；π0.5 53.3%（195.7 ms） | +26.6 点，速度比 DreamZero 快约 9 倍（按动作归一化） |
| 动作标签效率（RoboTwin 2.0 Random） | 25 条示范/任务时的成功率 | 72.0% | 隐动作法 65.0%；无预训练 67.6%；表征法 60.6% | 本文用 25 条示范即超过所有基线用 50 条示范的结果（最高 71.2%） |
局限与改进
作者在附录 D 明确承认两点局限。其一，面对需要精确抓取与复杂交互的细粒度接触丰富操作仍然吃力，复杂指令理解与精细控制尚未解决；其二，策略缺乏从局部执行错误中恢复的机制——失败案例中，Move Can Pot 把罐子碰倒后拿着空夹爪继续执行搬运直至超步，Hanging Mug 完成单臂拾取后另一臂无法把杯子挂上架子，都表现为把局部错误执行到底。我的补充观察：第一，Video-DiT 全程冻结自 Wan2.2-5B，视频先验的质量与分布被该基础模型钉死，若目标域视觉与之失配，机制上缺少共同进化的通道；第二，真机评估只有 3 个桌面任务、每任务 5 次、共 15 次试验，样本太小，93.3% 对 66.7% 的差距置信区间很宽；第三，LIBERO 域内并未超过所有基线（Being-H0.7 99.2% 对 99.0%），优势集中在 OOD 场景，说明先验买到的主要是泛化而非精度；第四，action-only 推理放弃了显式想象未来画面的能力，无法在执行前用生成的视频自检或规划，与『世界模型』初衷有一定张力；第五，预训练依赖视频-语言配对质量与 OSCAR 式筛选，对更嘈杂的互联网视频是否有效未经验证。
独立分析的弱点
独立分析四个弱点并给出改进方向。一、无恢复能力：失败案例表明策略把局部错误（抓空、放偏）执行到底，本质是开环动作块加固定重规划节奏，缺少『当前是否偏离目标』的自评估；可在联合架构中增设轻量成功判别头，或把视频预测的达成度信号引入动作流，检测到偏差即触发重抓取。二、冻结 Video-DiT 造成先验上限锁定：Action-DiT 只能学到 Video-DiT 表征空间里『可表达』的转移，触觉、力反馈等视频之外的模态无处安放；可改为 LoRA 等低秩适配选择性解冻视频专家，或引入触觉 token 与视觉流并行，让后训练阶段补偿视频先验缺失的物理信息。三、真机评估太薄：15 次试验、3 个任务、单一本体、单一桌面场景，难以支撑『93.3% 显著优于基线』的强结论；应扩展到更多环境、长时程任务套件，并报告跨随机种子的方差与置信区间。四、转移先验的语义边界不明：图 5 展示了运动迁移的成功案例，但未量化『哪些转移会被错误迁移』，例如涉及工具使用或非刚性物体的转移；可建立按转移类型分类的探针实验，定位先验失效模式，反过来指导预训练数据的配比与清洗。
未来方向
作者提出的方向有二：为策略构建识别并从局部执行错误中恢复的机制；攻关精细接触丰富控制与复杂指令理解。在此基础上可延伸多条线。其一，把动作先验当『可插拔先验库』用：图 5 显示转移表征能跨域迁移运动，可借此做零样本数据增强——把源视频的转移『搬』到新场景合成示范，或用于离线策略评估与反事实想象。其二，与人类视频共训：Dyna-2 已证明人类视频共训改善跨本体泛化，原生先验学习天然兼容这种异构数据，可在 OXE/EgoDex 之外纳入更大规模第一视角人类活动视频，并研究跨本体动作空间的规范化映射。其三，恢复想象能力：当前 action-only 推理不生成视频，可在低频重规划时用 Video-DiT 做一次未来展开，配合视觉语言模型自检后再执行，兼得效率与可验证性。其四，理论延伸：命题 A.1/A.2 只刻画单步转移与高斯噪声，可推广到多步组合转移、非高斯腐化（遮罩、模糊）以及先验迁移误差的界，为『视频预训练对控制到底有多大用』给出更一般的定量刻画。其五，规模化验证：图 6 只覆盖到约 1,054 小时语料，沿该曲线推向 10×、100× 数据并考察收益饱和点，是走向通用机器人基础模型的关键一步。
复现评估
复现条件总体透明但算力门槛高。数据侧全部公开：预训练用 Open X-Embodiment、AgiBotWorld、EgoDex（按 OSCAR 流程筛选，共 235,790 段/1,054.3 小时），下游 LIBERO、LIBERO-Plus、RoboTwin 2.0 均为标准公开基准，真机基于公开的 DROID（约 76K 条遥操作轨迹）；附录 B 给出较完整超参（学习率、batch、epoch、分辨率、动作视野、掩码构造与推理伪代码，Tables 3/4）。算力侧，预训练需 14,000 步、128 张 GPU、bf16、全局 batch 512；虽然实际训练的只是 1B 的 Action-DiT，但每个样本仍要前向 5B 的冻结视频专家，单机难以完整复现；好在冻结专家使下游后训练便宜得多（LIBERO 上 batch 256、10 epoch，RoboTwin batch 1024、5 epoch），小团队可先复现下游与消融验证核心结论。论文提供项目主页（zhaochongan.github.io/projects/NAVA-WAM/）与真机/仿真视频，但正文未明确承诺开源代码与预训练权重；部分基线数字直接取自他人论文（如 RoboTwin 结果沿用 MV-WAM 报告），独立复核需重跑基线。综合评估：数据与协议可复现、超参齐全，难度中高，瓶颈在 128 卡级预训练算力与代码开源情况待确认。
论文图表
并排对比三种利用无动作视频的范式：(1) 视觉表征学习——视频先训视觉编码器，动作策略再建在编码器之上，引入间接的表征到控制迁移；(2) 隐动作学习——先训练隐动作模型从视觉转移中提取隐动作作为中间监督再训练策略，引入额外建模阶段与表征瓶颈；(3) 本文的原生动作先验学习——视频动力学直接优化动作策略，无中间接口、无表征瓶颈。
一张图说清论文的定位与动机：它是问题陈述的视觉化，读者据此能立即理解 NAVA-WAM 相对 V-JEPA 2/LAPO 等两大类方法的本质差异（是否需要中间接口）。