渐进视觉规划的世界动作模型 ProWAM World Action Modeling with Progressive Visual Planning
按任务进度预测稀疏视觉子目标，兼顾长时程前瞻与高效闭环控制
前置知识
世界动作模型（WAM）
世界动作模型是机器人控制的新范式：以视频生成模型为骨干，从初始观测和任务指令出发，联合预测未来视觉动态与动作序列。其核心信念是视频模型从海量无标注视频中学到的视觉动态先验可以迁移到控制任务，从而缓解视觉-语言-动作（VLA）模型对昂贵机器人演示数据的依赖。
本文是 WAM 谱系上的新节点。只有理解全想象（生成稠密视频推演）与零想象（不预测未来）两极的设计权衡，才能理解 ProWAM 折中方案的位置与动机。
流匹配（Flow Matching）
流匹配是连续时间扩散生成框架：用线性插值路径 $X_t = tX_1 + (1-t)\epsilon$ 把数据 latent $X_1$ 与高斯噪声 $\epsilon$ 连接，训练网络预测速度场 $X_1 - \epsilon$，推理时沿速度场迭代去噪。视频分支与动作分支可各用独立采样的时间步 $t$、$t'$。
ProWAM 的视频损失 $\mathcal{L}_{\text{video}}$、子目标损失 $\mathcal{L}_{\text{sub}}$、动作损失 $\mathcal{L}_{\text{act}}$ 全部基于流匹配速度回归，方法公式与推理流程都建立在此框架上，不懂流匹配就读不懂训练目标。
视觉-动作混合 Transformer（MoT）
MoT 为不同模态配置独立参数的 Transformer 专家但共享注意力头。ProWAM 中视频专家继承 Wan 预训练权重以保留生成先验，动作专家是轻量 DiT；通过结构化可见性掩码控制信息流，例如动作 token 可以看到视觉 token，但视觉 token 看不到动作 token（$X \not\to A$）。
理解非对称注意力掩码设计是读懂架构图（Figure 2）和'动作信息不污染视觉通路、从而保住视频预训练先验'这一核心论证的前提。
adaLN 时间步调制
自适应 LayerNorm（adaLN）用条件向量（通常是扩散时间步 $t$）生成缩放和平移偏置注入各层。ProWAM 把进度坐标 $r_i$ 经正弦嵌入加 MLP 映射为调制偏移 $\Delta_{\text{mod}}(r_i)$，直接加到流匹配时间步调制上：$\text{mod}(G_i) = \text{mod}(t) + \Delta_{\text{mod}}(r_i)$。
这是把'任务进行到第几个百分点'这一信息告诉子目标槽位的关键机制，也是同一模型能在推理时灵活切换子目标数量与进度排布的原因。
KV 缓存
Transformer 推理时缓存历史 token 的键值（KV）特征可避免重复前向计算。ProWAM 每次重规划只对视频专家做一次前向，把子目标的 KV 特征缓存下来，供动作专家在 $T$ 步去噪全程复用；收到新观测时再重新计算并刷新缓存。
该工程设计把视频骨干前向次数从 $T$ 次减为 1 次（约 10 倍），计算量降低 84%，是方法能实现实时闭环控制的关键，也是效率实验（Figure 4a）的对照基础。
研究动机
机器人操作中的视觉-语言-动作（VLA）模型依赖大规模、昂贵的机器人演示数据，而世界动作模型（WAM）通过视频生成模型从海量无动作标注视频中学习视觉动态先验来补充知识。但现有 WAM 在'想象多少未来'上陷入两难：全想象型（如 DreamZero）需要用大型视频骨干做多次去噪生成稠密视频推演，提供近期细节指引但闭环控制延迟过高；零想象型（如 Fast-WAM）完全不预测未来视觉状态，能实时执行却缺乏长时程视觉前瞻；介于其间的 ImageWAM 只预测动作视界末端的一帧终态图像（FGP），把整个回合压缩进一张图，只说明'在哪里结束'，丢失了中间执行路径。在长时程任务中，缺乏阶段性前瞻的无条件执行还会导致轨迹漂移不断累积，最终偏离子目标。
本文的目标是本文目标是构建一个既保留视觉前瞻、又保持推理高效的统一世界动作模型：让模型在预测动作的同时，按归一化任务进度 $r \in [0,1]$（$r=0$ 为当前观测，$r=1$ 为轨迹终点）预测一列有序的稀疏视觉子目标，为动作生成提供贯穿任务全程的显式视觉锚点；同时要求子目标预测可以从大规模无动作视频预训练习得，把复杂视觉规划从动作策略卸载给视频骨干；推理时通过缓存子目标 KV 特征消除重复的视频骨干计算，最终在 LIBERO-Plus、RoboTwin 等分布外基准上取得新的最优鲁棒性。
与已有工作不同的是，已有分层规划方法通常依赖独立的多阶段目标生成模块或基于模型推演的在线轨迹搜索：模块解耦带来误差级联传播，在线搜索则引入难以接受的推理延迟。本文的独特切入是把'渐进子目标想象'原生嵌入 WAM 的视频生成通路：将子目标槽位直接拼接进视频 latent 序列，用进度条件化的 adaLN 调制锚定每个子目标对应的任务阶段，再通过非对称注意力把子目标特征直接耦合给动作专家。整个过程没有外部规划器、没有测试时搜索，且单次视频骨干前向即可完成全部 $k$ 个子目标的预测，用最小架构代价调和了稠密推演与无前瞻两个极端。
核心方法
直觉上，给机器人一张'按进度标注的路标图'比只给一张终点照片或一整段想象视频都更实用。技术上，ProWAM 以 Wan2.2-TI2V-5B 为视频骨干，采用视觉-动作混合 Transformer（MoT）架构：视频专家保留 Wan 的生成式先验，在一次前向中同时预测近期视频过渡 latent $X_1,\dots,X_{f/4-1}$ 和进度条件化的稀疏子目标 latent $G_1,\dots,G_k$；动作专家是基于流匹配的轻量 DiT，交叉关注当前观测 $X_0$ 与子目标特征来生成动作块。训练分两阶段：阶段 1 用无动作标注的大规模机器人/第一视角视频做视频预训练，学习视觉动态与子目标预测；阶段 2 在机器人演示上联合微调两个专家。推理时只需一次视频专家前向预测子目标并缓存其 KV 特征，动作去噪全程复用缓存：相比朴素联合去噪（115.5 TFLOPs、581ms），计算降到 18.7 TFLOPs（降 84%）、延迟降到 313ms（降 46%），视频骨干前向从 $T$ 次减到 1 次（约 10 倍），而 OOD 成功率反而高 3.3 个百分点。
核心创新是'进度索引的渐进子目标想象'。与终态目标预测（FGP）只告诉策略'哪里结束'不同，ProWAM 用归一化进度 $r$ 标注每个子目标在剩余轨迹中的相对位置，帧索引取 $\tau(r_i) = \tau_0 + \lfloor r_i(\tau_{\text{end}} - \tau_0) \rceil$，其中 $\tau_0$、$\tau_{\text{end}}$ 是当前帧与演示终点。这种相对参数化让子目标在每次重规划时动态重新锚定到最新观测（新观测即 $r=0$），天然适配不同长度的轨迹和任意任务阶段。与稠密视频推演不同，$k$ 个子目标在序列中只占少量槽位，一次前向即可全部生成。本质区别在于：它把分层规划的'中间路标'变成视频专家原生的生成目标而非外挂模块；同时通过非对称注意力（动作 token 可见 $\{X_0, G\}$，但视觉 token 不可见动作，$X \not\to A$）保证动作信息不污染视觉预测通路，从而保住视频预训练习得的生成先验，使'无动作视频预训练 + 演示联合微调'成为可能。
方法步骤详情
第一步，视频编码：用预训练 VAE 把视频编码为 latent $X \in \mathbb{R}^{c \times (f/4) \times (h/8) \times (w/8)}$，当前帧 $X_0$ 在每个去噪步保持干净作观测锚点。第二步，子目标构造：训练时采样 $k \sim U\{1,\dots,K_{\max}\}$，按进度取帧 $\tilde{G}_i = E(V_{\tau(r_i)})$，与过渡 clip 一起拼成统一序列 $Z = [X_0, X_1,\dots, G_1,\dots,G_k]$ 并做流匹配加噪。第三步，进度调制：$r_i$ 经正弦嵌入加 MLP 得到偏移 $\Delta_{\text{mod}}(r_i)$，加到时间步调制上 $\text{mod}(G_i) = \text{mod}(t) + \Delta_{\text{mod}}(r_i)$，锚定各子目标的任务阶段。第四步，训练：视频与子目标共享时间步 $t$，动作专家独立采样 $t'$，总损失 $\mathcal{L} = \lambda_{\text{video}}\mathcal{L}_{\text{video}} + \lambda_{\text{sub}}\mathcal{L}_{\text{sub}} + \lambda_{\text{act}}\mathcal{L}_{\text{act}}$（均为速度回归 MSE）；先做仅视频的阶段 1 预训练，再做阶段 2 演示数据上的联合微调。第五步，推理：单次评估视频专家预测子目标并缓存 KV 特征，动作专家在 $T$ 步去噪中复用缓存生成动作块，收到新观测时刷新缓存重规划，循环至任务完成。
技术新颖性
技术新颖性体现在四点。(1) 进度条件化 adaLN 调制把'任务进行到百分之几'变成显式生成条件，使训练时 $k$ 随机采样后、推理时 $k$ 与进度排布成为可自由指定的超参——$k$ 从 1 增到 4 只增加 3.5 TFLOPs，单模型覆盖四种配置。(2) 子目标预测内嵌于视频通路且预训练完全不需要动作标签，把分层规划的知识负担从动作策略卸载给视频骨干，区别于依赖独立目标生成模块的分层 VLA。(3) 非对称 MoT 注意力掩码（$G \leftrightarrow G$、$G \to X_0$、$X \leftrightarrow X$、$X \to \{X_0,G\}$、$A \to \{X_0,G\}$、$X \not\to A$）在统一架构内同时保住视觉生成先验与动作接地，子目标槽位间还可互相交换信息而非 $k$ 个孤立预测。(4) 子目标 KV 缓存把'想象'与'行动'的去噪解耦，附录实验证明单次视频评估支撑的性能与完全联合去噪相当，这是全想象 WAM 做不到的效率。
实验结果
仿真与真机全面验证了设计。(1) LIBERO 系列：域内 98.8%（Base 99.2%），零样本 LIBERO-Plus 创 85.8% 新 SOTA，超最强基线 Image-WAM（83.1%）与 π0.5（77.4%）；无视频预训练的 Base 降到 80.3%，说明预训练贡献 5.5 个百分点。(2) RoboTwin：随机化 OOD 75.7%，比最强 WAM 基线 MV-WAM（55.7%）高 20.0；无预训练降到 67.4%，而干净场景两者相当（85.8% vs 87.6%），说明预训练主要提升视觉域移鲁棒性。(3) RoboCasa365：总体 48.1%（第 4，前三为 58.1%/57.4%/56.8%），Composite-Unseen 达 18.2%，远超 WAM 基线 ABot-M0.6 的 7.9%。(4) 真机零样本：仅用 DROID 训练，4 个物理任务平均 70.0%，比 DreamZero（55.0%）高 15.0（相对 +27.3%）、比 π0.5（50.0%）高 20.0，空间放置达 100%。(5) 效率与消融：KV 缓存省 84% 计算、46% 延迟且 OOD 反升 3.3 个百分点；$k=4$ 最优（75.7%），$k=1$ 时 73.8%@15.2 TFLOPs 远超同算力 FastWAM（6.3%@13.2）；近程排布 $r\in[0.1,0.5]$（75.7%）优于中程 70.2% 与远程 68.4%。相对先前 WAM 平均绝对提升 +11.4。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO-Plus（零样本分布外） | 成功率 (%) | 85.8 | Image-WAM 83.1 / π0.5 77.4 | +2.7（新 SOTA；无视频预训练则为 80.3） |
| LIBERO（域内） | 成功率 (%) | 98.8 | ABot-M0 98.6 / Being-H0.7 99.2 | 与最优基线基本持平（域内已近饱和，非判别性指标） |
| RoboTwin 随机化（OOD） | 成功率 (%) | 75.7 | MV-WAM 55.7（最强 WAM 基线） | +20.0（无视频预训练降到 67.4） |
| RoboCasa365 总体（长时程闭环） | 成功率 (%) | 48.1（第 4 名） | Paimon-0 58.1 / ABot-M0.6 46.6 | 落后最优 10.0，但 Composite-Unseen 18.2 远超 WAM 基线的 7.9 |
| 真机零样本（Franka，DROID 训练） | 平均成功率 (%) | 70.0（5B 模型） | DreamZero 55.0（14B）/ π0.5 50.0（3B） | +15.0 绝对 / +27.3% 相对，空间放置任务 100% |
| 推理开销（16 动作块，单卡 H100） | TFLOPs / 延迟 | 18.7 TFLOPs / 313 ms | 朴素联合去噪 115.5 TFLOPs / 581 ms | 计算降 84%、延迟降 46%，OOD 反升 3.3 个百分点 |
局限与改进
作者承认的局限：单步子目标生成会引入纹理模糊等视觉瑕疵（Figure 5）；失败案例分析（Figure 3）显示当子目标把两个立方体糊在一起、接触几何不清时，策略会偏心释放导致堆叠失败——即执行能容忍纹理瑕疵，但对任务相关几何错误敏感。整体成绩上，RoboCasa365 与最优方法仍有 10 个百分点的差距（48.1% vs 58.1%），Composite-Unseen 仅 18.2%。我的补充观察：消融显示近程排布（$r\in[0.1,0.5]$，75.7%）显著优于远程（68.4%），说明子目标想象的有效视界其实偏短，真正的远端长时程前瞻能力存疑，这与 RoboCasa365 长时程短板相互印证；ProWAM-Base 在 LIBERO-Plus 掉 5.5、RoboTwin 掉 8.3 个百分点，说明 OOD 鲁棒性高度依赖大规模视频预训练；此外进度参数化假设剩余帧数与任务进度线性对应，对含等待、重试等非均匀进度的任务可能失配。
独立分析的弱点
独立分析四个弱点。(1) 子目标质量无校验机制：Figure 3 的失败案例中模型并不知道自己的子目标已经'糊掉'，仍然照常执行。可以引入子目标不确定性估计，或检测执行轨迹与子目标的偏离程度来触发重生成/回退。(2) 有效视界受限：近程 $r\in[0.1,0.5]$ 最优而远程降到 68.4%，说明远端子目标预测噪声大；可研究由粗到精的课程式进度训练，或对远端子目标做多候选采样后一致性筛选。(3) 线性进度假设：$\tau(r_i)$ 按剩余帧数线性插值，但真实任务进度常非线性（如精确对准阶段耗时长而搬运阶段快），可从数据中学习进度映射或改用语义进度标注。(4) 缓存特征时效性：子目标 KV 在两次重规划之间固定不变，高频动态场景（流体、柔性物体、他人干扰）下可能过时，自适应刷新频率或轻量在线修正会更稳妥。
未来方向
作者方向：把进度索引的视觉前瞻确立为视觉想象与机器人控制之间的通用接口，进一步扩展到更长时程任务。基于成果可延伸的方向：(1) 自适应子目标调度——让模型根据任务不确定性动态选择子目标数 $k$ 与进度值，而非固定排布；(2) 子目标自监督校验与执行偏离检测，形成'想象-执行-纠错'的完整闭环，直接针对失败案例中的几何模糊问题；(3) 将进度条件与语言指令结合（如'完成一半时'），实现语义级进度控制与人机交互；(4) 在 RoboCasa365 这类长时程组合任务上，将子目标一致性约束或轻量在线轨迹搜索与 KV 缓存结合，弥合与最优方法 10 个百分点的差距；(5) 把无动作视频预训练的红利扩展到跨本体、跨场景迁移，进一步压低真机部署的数据门槛。
复现评估
复现难度中等偏高。有利条件：视频骨干 Wan2.2-TI2V-5B 已开源，评测基准 LIBERO/LIBERO-Plus、RoboTwin、RoboCasa365 与 DROID 均为社区标准数据集，协议清晰（如 LIBERO-Plus 严格零样本、RoboTwin Random 用于 OOD）；项目页 sii-ferenas.github.io/ProWAM-page 提供方法概览。不利条件：所给正文未明确代码开源承诺，训练关键细节（Appendix B 的预训练数据构成、Appendix C/D 的超参与真机设置）未在正文中展开；阶段 1 视频预训练需要大规模机器人/第一视角视频数据和 5B 级 DiT 的多卡 H100 训练资源，普通实验室难以完整复现预训练，更现实的做法是在其开源权重（若发布）上做微调验证。推理侧因 KV 缓存设计较为友好（单卡 H100 上 16 动作块 18.7 TFLOPs、313ms），复现评测与消融的门槛明显低于复现训练。
论文图表
对比展示'渐进子目标想象'与'真实动作执行'：给定当前观测，模型按请求的相对进度值（如 0%、20%、40%、70%）生成稀疏视觉目标（左列，如'Bread in Basket'与'Stack Bowls'两个任务），这些子目标特征直接条件化对应执行 rollout 的动作生成（右侧时间轴 t 到 t+H），无需生成稠密视频推演。
这是论文核心概念的直观图解：一句话讲清'进度索引的稀疏子目标'长什么样、如何随任务推进重新锚定，是理解全文的第一把钥匙。
对比成功与失败的'Cube Stacking' rollout 中释放前的子目标：成功案例的子目标呈现居中放置和清晰的接触边界；失败案例中两个立方体在子目标里糊在一起、接触几何模糊，随后执行时夹爪提前张开、方块偏心掉落。
qualitative 误差分析，揭示方法对任务相关几何错误的敏感性——纹理瑕疵可容忍但几何模糊致命，直接支撑局限性讨论。