WAVE-0：用轻量级潜空间未来预测连接 VLA 策略与世界动作模型 WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction
用257M潜空间世界模型把VLM潜动作规划翻译为预测未来，直接引导动作专家生成
前置知识
VLA（视觉-语言-动作）策略
将预训练视觉-语言模型（VLM）的语义理解能力与机器人示教动作监督结合的通用操作策略：输入多相机图像、本体状态和语言指令，直接输出来自扩散或流匹配动作专家的连续动作块，代表工作有 π0、π0.5、OpenVLA、GR00T N1。它把“看到什么加被要求做什么”直接映射为“该做什么”，不显式建模动作对环境的影响。
WAVE-0 完全构建在预训练 π0.5 之上，其 VLM 规划器、动作专家和 SigLIP 编码器均来自该基座，理解 VLA 的组成是读懂本文的前提。
世界动作模型（WAM）
在动作生成中显式引入环境动力学的模型：不仅决定“该做什么”，还预测“做了之后世界会变成什么样”。主流 WAM 基于大规模视频生成模型做像素级未来预测，把大量算力花在与动作选择无关的视觉细节上，推理昂贵；潜空间变体则在不重建像素的情况下预测未来表征以降低开销。
本文的核心命题是“预期动作后果能改进动作生成”，WAVE-0 正是用一个 257M 轻量潜空间世界模型实现 WAM 思想、同时桥接 VLA 的框架。
JEPA（联合嵌入预测架构）
在潜空间中预测目标表征而非像素的自监督架构：编码器把当前与未来观测映射为表征，预测器学习在表征空间对齐二者，从而避免为动作无关的像素细节浪费容量。代表工作包括 I-JEPA、V-JEPA，以及本文重点对比的 VLA-JEPA、JEPA-WAM 和 LaWAM 等潜空间世界动作模型。
WAVE-0 的潜空间世界模型本质上是 JEPA 思想在动作条件下的实例化，区别在于它把预测到的未来表征用作动作专家的显式输入条件，而非仅作辅助监督目标。
π0.5 与流匹配动作专家
π0.5 是 Physical Intelligence 的开源 VLA：PaliGemma VLM 提供语义理解，动作专家是基于 DiT 的流匹配模型，从噪声动作 token 出发沿学习到的速度场迭代去噪，输出 32 步动作块；其 SigLIP 编码器加视觉投影器提供 2048 维视觉表征空间，供下游复用。
WAVE-0 复用 π0.5 的全部组件并在其上做两阶段增量训练，阶段2的总损失就是在其流匹配目标 $\mathcal{L}_{flow}$ 上叠加世界与对齐辅助项。
反事实排序损失
保持当前观测与机器人状态不变，把示教动作替换为错配动作序列 $\tilde{A}_t$，要求世界模型对示教动作的未来预测比错配动作更接近真实未来：$\mathcal{L}_{rank}=[m+d_{cos}(\hat{S}_{t+h},S_{t+h})-d_{cos}(\hat{S}^{-}_{t+h},S_{t+h})]_+$，margin $m=0.1$，并用掩码 $r$ 排除无变化的负样本。
它是阶段1保证“动力学真正由动作驱动”的关键，消融显示去掉后动作敏感间隙从 0.1648 跌至 0.0020、margin 满足率从 89.5% 归零，泛化同步受损。
AdaLN-Zero 与动作块执行
AdaLN-Zero 是 DiT 系列模型的条件化技术：把条件向量映射为 LayerNorm 的缩放平移参数，残差分支零初始化以保证训练稳定；动作块指一次预测 $H$ 步的动作序列（本文 $H=32$），闭环执行时只执行前若干步再重新观测规划（本文每 10 步重规划一次）。
WAVE-0 世界模型的主干正是带动作条件 AdaLN-Zero 块的 Transformer，动作块长度与重规划节奏则决定了未来预测偏移 $h$ 的物理含义和新增延迟。
研究动机
VLA 策略把观测和指令直接映射为动作，从不显式建模“执行之后环境会怎样”，导致对分布偏移和长程任务脆弱：基座 π0.5 在 RoboTwin 2.0 双臂基准上平均成功率仅 80.38%，三个真实任务上平均只有 38.3%，LIBERO-Pro 上仅 53.0%。世界动作模型（WAM）试图补上这一环，但主流方案基于大规模视频生成，把计算花在与动作选择无关的像素重建上，推理延迟高（如 ImageWAM 单次请求 582.6ms）。潜空间替代方案同样有缺陷：VLA-JEPA、JEPA-WAM 只把预测未来当作辅助训练目标，动作生成本身并未被未来条件化，预测与选择之间只有松散联系；LaWAM 通过视觉逆动力学从已发生的观测转移中反推“潜动作”，再用约 4,500 小时视频做世界模型预训练，但这类表征解释的是“已实现的转移”，未必对齐策略必须在转移发生前生成的“可执行动作”，且预训练阶段就要处理 307.2M 样本，成本极高。
本文的目标是本文要回答的问题是：当领域示教已经提供真值可执行动作时，大规模间接视频预训练是否真的更有效？作者的目标是证明无需像素重建、也无需视频预训练，仅用一个轻量潜空间世界模型就能把“预期后果”显式接入动作生成。具体做法是在预训练 π0.5 上附加一个仅 257M 参数的潜空间世界模型，把 VLM 生成的潜动作规划翻译为预测的未来视觉表征，再用这些未来 token 在训练和推理两个阶段同时条件化动作专家，形成“潜空间规划→未来预测→动作生成”的统一流水线，最终在仿真与真实任务上同时提升成功率和分布偏移下的鲁棒性，且只增加约 18.8ms 的推理延迟。
与已有工作不同的是，作者的独特切入点是对既有路线的反问：示教数据天然把“动作序列”与“执行后的观测”一一配对，为什么不直接用真值动作监督世界模型，而要走“从视频逆推潜动作”的迂回路线？由此 WAVE-0 把 VLA 的语义理解与 WAM 的未来预测视为互补能力：前者决定动作意图，后者预期其后果。技术上它复用 π0.5 冻结的 SigLIP 编码器作为固定的世界状态空间，世界模型只需学习“给定动作规划时表征如何演化”的残差，天然轻量；再以反事实排序损失保证预测真正依赖动作而非记忆观测，并把预测未来直接作为动作专家的条件。这与“未来仅作辅助监督”的 VLA-JEPA、JEPA-WAM 和 π0.5+WM 方案，以及“逆动力学潜动作+视频预训练”的 LaWAM，都形成了清晰的对比和本质区别。
核心方法
直觉上，WAVE-0 给 VLA 装上“想象后果”的能力：VLM 先产出潜动作规划，轻量世界模型据此想象未来视觉表征，动作专家一边看原始上下文、一边看这份想象来生成动作。技术路线分两阶段。阶段1在带动作标注的轨迹上训练 257M 潜空间世界模型：用 π0.5 冻结的 SigLIP 加视觉投影器把每相机图像编码为 2048 维特征并池化成 4×4=16 token 的表征 $S_t$；动作编码器 $E_a$ 把真值动作块 $A_t$ 与本体状态 $s_t$ 编码为 $Z_a$；一个 12 层、隐藏维 1024、16 头、MLP 4096 的 Transformer（动作条件 AdaLN-Zero 块）预测潜残差 $\Delta\hat{S}=W_\phi(S_t,z_s,Z_a)$，得到 $\hat{S}_{t+h}=S_t+\Delta\hat{S}$，用余弦未来损失、SmoothL1 残差损失和 margin 0.1 的反事实排序损失以 $1:0.5:0.1$ 权重联合训练。阶段2冻结世界模型，把 PaliGemma VLM 训练成潜动作规划器：输入附加可学习查询 $Q$，输出经投影 $\Pi_a$ 得到 $\hat{Z}_a$ 并与冻结动作编码器对齐；世界模型把 $\hat{Z}_a$ 翻译为预测未来，重采样器压缩为条件 token 前置到动作专家的噪声动作 token，总损失 $\mathcal{L}_{stage2}=\mathcal{L}_{flow}+\lambda_{WAM}\mathcal{L}_{world}+\lambda_{align}\mathcal{L}_{align}$。
核心创新是“动作锚定的潜空间未来预测”作为 VLA 与 WAM 之间的桥。与视频生成 WAM 不同，它完全不重建像素，只在冻结的 SigLIP 表征空间预测残差，因此世界模型仅 257M 参数、推理只增加 18.8ms；与 VLA-JEPA 和 JEPA-WAM 的“未来只当辅助监督”不同，WAVE-0 把预测未来作为动作专家在训练和推理时的显式条件——消融显示纯辅助监督（π0.5+WM）把基座从 80.38% 提到 89.51%，显式条件化再提至 91.47%，干净地证明了预测通路本身的价值；与 LaWAM 的“逆动力学潜动作+4,500 小时视频预训练”不同，它直接用示教真值动作监督动力学，规避了“解释已发生转移的表征未必对齐待执行动作”的错位，并把样本开销从 307.2M 降到 76.8M。反事实排序损失进一步保证动力学真正由动作驱动，最终把潜规划、未来预测与动作生成统一在一条推理通路里。
方法步骤详情
第一步，状态编码：冻结 SigLIP 与视觉投影器把每相机图像映射为 2048 维特征并池化为 4×4 网格（每相机 16 token），得 $S_t=E(I_t)$，未来帧同理得 $S_{t+h}$。第二步，条件编码：动作编码器输出 $Z_a=E_a(A_t,s_t)$，状态编码器输出 $z_s=E_s(s_t)$。第三步，阶段1训练：Transformer 预测 $\Delta\hat{S}=W_\phi(S_t,z_s,Z_a)$，$\hat{S}_{t+h}=S_t+\Delta\hat{S}$；$\mathcal{L}_{future}=d_{cos}(\hat{S}_{t+h},S_{t+h})$，$\mathcal{L}_{delta}=\mathrm{SmoothL1}(\Delta\hat{S},S_{t+h}-S_t)$；再把动作换成错配序列算 $\hat{S}^{-}_{t+h}$，以 $\mathcal{L}_{rank}=[m+d_{cos}(\hat{S}_{t+h},S_{t+h})-d_{cos}(\hat{S}^{-}_{t+h},S_{t+h})]_+$（$m=0.1$，$r$ 掩码无变化负样本）联合优化：$\mathcal{L}_{stage1}=\mathcal{L}_{future}+0.5\mathcal{L}_{delta}+0.1\mathcal{L}_{rank}$。第四步，阶段2集成：VLM 输入附加潜动作查询 $Q$，$\hat{Z}_a=\Pi_a(\mathrm{LN}(U_Q))$，用 $\mathcal{L}_{align}=d_{cos}(\hat{Z}_a,Z_a)+0.5\,\mathrm{SmoothL1}(\hat{Z}_a,Z_a)$ 对齐冻结动作编码器；世界模型按 $\hat{S}_{t+h}=S_t+W_\phi(S_t,z_s,\hat{Z}_a)$ 预测后果。第五步，未来条件化生成：重采样器把预测未来池化为每相机 2×2 并投影为 12 个条件 token $F_t=R(\hat{S}_{t+h})$，前置到动作专家的噪声动作 token，同时把潜动作查询从传给专家的上下文中剔除，保证规划只经预测后果影响动作。训练目标 $\mathcal{L}_{stage2}=\mathcal{L}_{flow}+\lambda_{WAM}\mathcal{L}_{world}+\lambda_{align}\mathcal{L}_{align}$；RoboTwin 上 $\lambda_{WAM}$ 千步预热到 1.0，$\lambda_{align}$ 从 1.0 余弦衰减到 0.1。
技术新颖性
技术新颖性体现在三点。其一，“预测未来作为条件”而非“作为监督”：同一个阶段1世界模型，按 π0.5+WM 方式只提供训练期辅助损失时得 89.51%，WAVE-0 让未来 token 进入推理通路后达 91.47%，在受控对比中分离并验证了两种集成方式的增量价值。其二，动作锚定监督：LaWAM 需要先从视觉转移逆推潜动作、再以 4,500 小时视频预训练，WAVE-0 直接用示教真值动作训练动力学，配合反事实排序把动作敏感间隙从 0.0020 提升到 0.1648、margin 满足率从 0% 提到 89.5%，说明“可执行动作”是比“逆推潜动作”更好的监督信号，且省去全部视频预训练。其三，极致轻量的落地路径：复用基座冻结编码器、只学习残差演化，使整个未来预测模块仅 257M 参数、新增延迟 18.8ms（287.1ms→305.9ms），却带来 RoboTwin +11.09、真实任务 +35.0 个百分点的提升，为世界模型增强策略提供了效率上的现实路径。
实验结果
LIBERO 上 WAVE-0 平均 98.7%（Spatial 98.6/Object 100.0/Goal 98.6/Long 97.6），为对比方法最高，超 π0.5（96.9%）1.8 个百分点，Long 套件从 92.4% 跃升至 97.6%。RoboTwin 2.0 双臂基准平均 91.47%（clean 91.46/随机化 91.48），较 π0.5 的 80.38% 提升 11.09，超过 LaWAM（91.22）与 π0.5+WM（89.51）；Stack Blocks/Bowls Three 等长程任务提升 23 至 33 个百分点。分布偏移：LIBERO-Plus 88.0%（机器人初始状态 +14.0、相机 +6.5，噪声 -3.7），LIBERO-Pro 61.4%（+8.4），LIBERO-Para 75.0%（+3.6），均居首。真实三任务（AgileX Piper 双臂，各 20 次）：85.0%/65.0%/70.0%，平均 73.3%，把 π0.5 的 38.3% 几乎翻倍，远超 LaWAM 43.3% 与 ImageWAM 40.0%。效率：RoboTwin 训练约 670 H100 时、76.8M 样本，少于 LaWAM 专属训练的 1,280 H100 时、102.4M；真实任务摊薄每任务 11.09M 对 115.20M；延迟 305.9ms，仅比 π0.5 多 18.8ms，比 ImageWAM 的 582.6ms 低 47.5%。消融：反事实排序使动作敏感间隙达 0.1648、margin 满足率 89.5%，带来 LIBERO-Plus +2.6、Pro +3.0；阶段2中 $\mathcal{L}_{world}$ 贡献 +0.7/+1.7，再加 $\mathcal{L}_{align}$ 又 +2.7/+1.7 至 88.0%/61.4%。注意力可视化显示 WAVE-0 聚焦于被操作物体与目标，LaWAM 则弥散在机械臂和背景上。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO（Spatial/Object/Goal/Long 四套件，40 任务） | 平均成功率 (%) | 98.7 | π0.5：96.9；次优 LaWAM：98.6 | 较 π0.5 +1.8，Long 套件 92.4→97.6 |
| RoboTwin 2.0（50 个双臂任务，clean+随机化） | 平均成功率 (%) | 91.47 | π0.5：80.38；π0.5+WM：89.51；LaWAM：91.22 | 较 π0.5 +11.09（clean +10.34，随机化 +11.84） |
| LIBERO-Plus（七类扰动泛化） | 平均成功率 (%) | 88.0 | π0.5：84.5；次优 ImageWAM：83.1 | +3.5；机器人初始状态 +14.0、相机 +6.5，噪声 -3.7 |
| LIBERO-Pro（物体/空间/指令/环境泛化） | 平均成功率 (%) | 61.4 | π0.5：53.0；次优 LaWAM：52.7 | +8.4 |
| LIBERO-Para（指令改写） | 成功率 (%) | 75.0 | π0.5：71.4 | +3.6 |
| 真实世界三任务（书籍整理/USB 收纳/键盘推回，各 20 次） | 平均成功率 (%) | 73.3 | π0.5：38.3；LaWAM：43.3；ImageWAM：40.0 | 较 π0.5 +35.0（三任务分别为 +45.0/+20.0/+40.0） |
| 真实世界推理延迟 | 平均服务端延迟 | 305.9 ms | π0.5：287.1 ms；LaWAM：223.9 ms；ImageWAM：582.6 ms | 仅比 π0.5 慢 18.8ms，比 ImageWAM 快 47.5% |
局限与改进
作者坦承规模与延迟的权衡：WAVE-0 全模型 4.3B、延迟 305.9ms，而 LaWAM 以 2.3B 实现 223.9ms 但单次仅返回 18 步动作，对比需谨慎解读。从 Table 1b 还可见论文未讨论的一点：仿真双臂场景中 ImageWAM 平均 93.38% 高于 WAVE-0 的 91.47%（随机化 93.56 对 91.48），说明像素级视频生成在域内仍有上限优势，WAVE-0 的卖点是效率与泛化的折中。鲁棒性上 LIBERO-Plus 噪声扰动反降 3.7 个百分点（84.3→80.6）。分任务看 RoboTwin 仍有短板：Move Stapler Pad 仅 55/52（LaWAM 94/87）、Open Microwave 58/74（Motus 95/91）、Hanging Mug 47/49，暗示精细接触与复杂机构场景下，池化到每相机 16 token 的粗粒度表征可能丢失关键几何细节。此外阶段2世界模型完全冻结、未来偏移 $h$ 固定单一值，真机每任务仅 20 次试验、仿真每任务 100 回合，统计功效有限。
独立分析的弱点
第一，域内双臂性能不敌视频生成 WAM（RoboTwin 落后 ImageWAM 约 1.9 个百分点），可尝试潜空间预测加轻量像素解码辅助头的混合监督，或把世界模型扩到 1B 级检验容量上限。第二，传感器噪声下退化（-3.7），可对世界模型训练施加视觉与本体噪声增广或在 $\hat{S}$ 上加去噪正则。第三，精细操作短板（Move Stapler Pad 55/52、Open Microwave 58/74、Hanging Mug 47/49）：4×4 池化丢弃空间细节，可保留 token 级粗网格预测、让重采样器交叉注意原始视觉 token，或深化本体状态融合。第四，单步固定偏移 $h$ 限制“想象多步”能力，可自回归展开 $k$ 步并在潜空间做 MPC 或树搜索，从“预期一步后果”升级为“评估候选动作序列”。第五，反事实负样本仅来自同观测的错配动作，可引入时间邻近、语义相近的更难负例。第六，VLM 潜规划与冻结世界模型只靠 $\mathcal{L}_{align}$ 间接耦合，规划分布若偏离动作编码器流形预测会失效，可对 $\hat{Z}_a$ 加分布约束或对比正则。
未来方向
作者在结论中指出，用可执行动作锚定潜动力学是通向世界模型增强机器人策略的高效路径，由此可直接延伸：与大规模视频预训练结合——先从视频学习通用表征先验、再用真值动作微调动力学，兼取 LaWAM 的泛化先验与 WAVE-0 的动作对齐；把潜空间未来预测用作执行期验证器或风险信号，实现“想象-评估-执行”的闭环安全机制；将同一框架迁移到其他 VLA 基座（如 OpenVLA-OFT、GR00T N1）验证方法通用性；支持多步 rollout 与潜空间规划搜索，处理更长程、多阶段依赖的任务；探索跨本体共享的动作编码空间以支持跨 embodiment 迁移；针对 LIBERO-Pro 上仍有约 38.6% 失败的物体与环境泛化，可引入互联网尺度语义知识或 3D 几何表征增强世界状态的表达能力。
复现评估
复现条件较为友好：论文提供项目页和 GitHub 仓库（AutoLab-SAI-SJTU/WAVE-0），基座 π0.5 与 LIBERO、RoboTwin 2.0、LIBERO-Plus/Pro/Para 全部公开，附录 Tables 5-10 完整披露超参（全局 batch 512、峰值学习率 $1\times10^{-4}$、余弦衰减、梯度裁剪 1.0、各阶段步数、未来偏移 $h$ 与潜动作查询数等）。算力门槛不低但可负担：LIBERO 两阶段共约 23 小时（8×RTX PRO 6000 96GB），RoboTwin 约 84 小时、670 H100 GPU 时（8×H100），真实世界用 8×A800 80GB；若只复现核心对照，可先训练阶段1世界模型再做 π0.5+WM 消融。主要不确定性在于代码完整度与真机数据：三个真实任务共 600 条示教（310,099 帧，15Hz，双臂 Piper，14 维动作）未说明是否随代码发布，真机复现需要同类硬件平台。总体评估：仿真基准复现难度中等，真机复现难度较高，需多卡集群与机器人平台支持。
论文图表
对比四种机器人策略范式：(1) 标准 VLA 把视觉-语言上下文直接映射为动作；(2) 视频生成式 WAM 通过昂贵的视频 DiT 建模动力学；(3) π0.5+WM 在训练时用世界模型对生成动作的后果提供辅助监督，推理通路不变；(4) WAVE-0 用轻量潜空间世界模型把 VLM 生成的潜动作规划翻译为预测未来表征（future tokens），在训练和推理时同时条件化动作专家。
一图看清本文在领域版图中的位置：它既区别于纯 VLA，也区别于视频 WAM 与仅作辅助监督的世界模型，是理解论文动机与贡献对比的最佳入口。