← 返回 2026-04-08

Action Images：基于多视角视频生成的端到端策略学习 Action Images: End-to-End Policy Learning via Multiview Video Generation

Haoyu Zhen, Zixian Gao, Qiao Sun, Yilin Zhao, Yuncong Yang, Yilun Du, Tsun-Hsuan Wang, Yi-Ling Qiao, Chuang Gan 📅 2026-04-07 👍 14 2026-07-13 08:36
世界模型 具身智能 多视角 机器人学习 视频生成 零样本策略
arXiv HuggingFace PDF

把7自由度机器人动作编码成像素级动作图像，让视频主干直接当零样本策略

前置知识

世界动作模型 (World Action Model, WAM)

在视频生成式世界模型基础上同时预测未来观测和动作的联合模型，用视频主干建模物理动力学，再用额外模块解码控制信号，是近年机器人策略学习的新范式。

本文核心是改造WAM中的动作表示方式，必须先理解WAM的两阶段范式（先预测视频再解码动作）才能体会作者为何要把动作直接写成图像。

扩散模型与流匹配 (Diffusion / Flow Matching)

通过迭代去噪从高斯噪声生成数据的生成模型族。流匹配是其中一种参数化方式，定义目标速度场 $v=\epsilon-X$ 并用L2损失回归，在大模型视频生成中被广泛使用，本文也采用这一目标。

本文在Wan 2.2视频主干上做微调，采用流匹配目标，必须理解这个优化框架才能读懂训练损失 $\mathcal{L}=\mathbb{E}\|M\odot(v-v_\theta(X,T,\mathrm{cam}))\|_2^2$。

7自由度机器人动作 (7-DoF Action)

机械臂末端执行器的一次控制指令 $a_t=[p_t,\theta_t,g_t]\in\mathbb{R}^7$，其中 $p_t\in\mathbb{R}^3$ 是位置、$\theta_t\in\mathbb{R}^3$ 是姿态、$g_t\in\mathbb{R}$ 是夹爪开合度。

动作表示的对象就是这7维向量，作者的核心贡献是把低维向量变成高维像素图像，必须先理解这7维的物理含义才能看懂编码-解码过程。

扩散型VLA与世界模型基线

VLA（视觉-语言-动作）模型如π0.5、MolmoAct用大模型直接回归动作；世界模型路线如TesserAct、Cosmos-Policy把动作作为附加潜变量加到视频生成中。

本文的零样本实验直接对比了π0.5、MolmoAct、TesserAct、Cosmos-Policy和MV-Policy等基线，需要预先知道这些基线的范式才能理解对比维度。

研究动机

尽管世界动作模型（WAM）在预测未来视频帧上能力越来越强，但视频生成能力强并不自动带来强策略泛化能力——模型可以合成逼真的未来画面，却无法决定在未见环境中如何动作。作者指出当前WAM存在两类典型路径：一类在视频主干上额外挂一个策略头或独立动作模块（如TesserAct），让另一个网络从视频特征解码控制；另一类则用潜动作码或低维token表示动作（如Cosmos-Policy），但这些表示并未在图像空间像素级落地。前者把泛化的负担甩给了一个专门的控制模块，而泛化恰恰是在这个模块上崩溃的；后者让动作脱离了视频模型擅长的二维视觉空间，预训练知识无法被充分利用，跨视角、跨环境的迁移都受限。这种视频强但策略弱的鸿沟是当前机器人世界模型的核心瓶颈。

本文的目标是本文目标是把策略学习重新表述为多视角视频生成问题，提出Action Images这一统一世界动作模型，把每个时刻的7-DoF动作翻译成动作图像——一种在像素空间显式跟踪机械臂运动的多视角视频。这样动作表示就天然落在视频主干的能力域内，预训练的视频知识可以直接服务于控制任务，策略头和独立动作模块都可以被省掉，让视频主干本身充当零样本策略，并同时支持视频-动作联合生成、动作条件视频生成、动作标注等任务。

与已有工作不同的是，本文与现有路线的本质差异在表征层：不是再训练一个策略头或设计更好的动作潜变量，而是把动作提升到与观测同模态的二维像素视频。具体而言，作者把7-DoF动作转换为三组语义3D点（位置、法向、向上），投影到多视角图像空间并用二维高斯热图渲染为RGB图，再用蓝色通道低响应区编码夹爪开合度，最后堆叠成与RGB观测同结构的动作视频。这种像素级落地方式让单个视频主干通过多掩码训练就能完成视频预测、视频-动作联合生成、动作标签、动作条件视频生成四大任务，无需为不同任务设计不同网络头。

核心方法

方法整体走的是动作即图像的路线：把7-DoF动作翻译成像素级多视角视频，让视频主干在统一的视频空间中同时处理观测和动作，从而把策略学习转化为视频生成问题。具体而言，每个时刻的 $a_t=[p_t,\theta_t,g_t]$ 被转换为三组语义3D点（位置点、法向点、向上点），按相机内外参投影到 $V$ 个视角的图像平面，再用二维高斯核渲染为三通道RGB图：红通道是位置、绿通道是法向、蓝通道是向上点与夹爪开合度的复合编码。沿时间堆叠成动作视频后，与同视角的RGB观测在3D-VAE潜空间拼接送入Wan 2.2视频主干，配合多掩码策略和Plücker相机条件微调。推理时用主视角热图质心+辅视角射线采样的多视角几何过程把动作图像反解回7-DoF控制信号。

本文与已有WAM的本质区别是把动作从外挂模块或潜变量提升为像素级视觉信号，并通过多视角投影来缓解二维到三维的歧义。单视角下，机械臂末端执行器的7-DoF运动投影到二维图像后深度信息和姿态方向常常难以无歧义还原（论文引用了TesserAct [70]、Aether [73] 等单视角方法的不足）；多视角则提供了互补信息，让像素级动作既能精确生成又能精确解码为连续控制。这一表征创新带来的直接好处是：动作生成和控制首次共用同一个视频主干，省去了策略头/动作模块，跨视角和跨环境的迁移也变得更自然——因为骨干网络看到的始终是它最擅长的视觉输入。

方法步骤详情

方法分三大模块。动作编码（Sec. 3.1）：把7维动作 $a_t=[p_t,\theta_t,g_t]$ 转成位置点 $q^{\text{pos}}_t=p_t$ 与法向/向上点 $q^{\text{normal/up}}_t=p_t+R(\theta_t)q^{\text{can}}\ell$（$\ell=0.1$），投影到 $V$ 个视角后用高斯核（$\sigma=0.05$）渲染为RGB动作图像：红=位置、绿=法向、蓝=向上点+夹爪。动作解码（Sec. 3.2）：夹爪从蓝通道低响应均值反解；3D点先在主视角取热图质心 $\hat{u}^{(1)}_t$，再沿主视角射线采样候选3D点投影到辅视角取最大响应，反解 $\hat{p}_t$、$\hat{\theta}_t$、$\hat{g}_t$。训练（Sec. 3.3）：在Wan 2.2-14B-480P上用3D-VAE拼接多视角视频/动作潜空间，配四掩码（联合85%、其他各5%）和Plücker条件，用流匹配目标 $\mathcal{L}=\mathbb{E}\|M\odot(v-v_\theta)\|_2^2$ 微调10万步。

技术新颖性

技术新颖性集中在三点。其一是动作即图像的表征：用二维高斯热图把7-DoF控制信号直接渲染为可被视频主干消费的RGB帧，本质上把机器人控制问题转成了视觉目标跟踪问题，绕过了传统策略头和动作潜变量设计。其二是多视角消歧：通过主视角+辅视角的双视角射线-匹配解码机制，让原本在单视角下歧义的2D热图能稳定还原3D 7-DoF信息，并显著优于Cosmos-Policy（3D Err $19.4\times 10^{-3}$）和TesserAct（$19.0\times 10^{-3}$），把误差压到 $12.2\times 10^{-3}$。其三是统一的多掩码训练框架：单个视频主干通过改变哪些token被掩码就能切换四种任务（联合生成、动作条件视频、视频-动作标注、视频单独），85%的训练样本用于联合生成，其余三类各占5%，这种一模型多任务设计在TesserAct、Cosmos-Policy等单任务WAM中尚未出现，也是该工作能跑赢对应单任务基线的关键。

Action as image. We convert each 7-DoF robot action into three semantic 3D points (position, normal, and up), project them into image space, and render them as RGB Gaussian heatmaps.
Fig. 2: Action as image. We convert each 7-DoF robot action into three semantic 3D points (position, normal, and up), project them into image space, and render them as RGB Gaussian heatmaps.
Action images decoding. A 2D heatmap point is selected in the main view, lifted to 3D by ray casting and side-view matching, and repeated for all semantic points to recover the original 7-DoF action.
Fig. 3: Action images decoding. A 2D heatmap point is selected in the main view, lifted to 3D by ray casting and side-view matching, and repeated for all semantic points to recover the original 7-DoF action.
Unified world-action model training. Multi-view video and action latents are packed with text and camera conditions, and trained under diverse mask strategies.
Fig. 4: Unified world-action model training. Multi-view video and action latents are packed with text and camera conditions, and trained under diverse mask strategies.

实验结果

实验五条线。零样本（Tab. 2）：Ours在5项RLBench任务取得30/60/50/15/40成功率，全面优于π0.5（0/5/35/20/5）、MolmoAct（20/5/10/0/10）、TesserAct（全0）、Cosmos-Policy（0/5/20/0/0）；真实xArm上以20/15/45/10领先（基线大多≤5）。域内（Tab. 3）：纯零样本平均20.6与TesserAct持平，加MLP动作头后跃升至36.7（close box 55→80）。联合生成（Tab. 4）：PSNR 23.48、SSIM 78.62%、FVD 143.74、LPIPS 0.209、3D Err $12.2\times 10^{-3}$ 全面领先TesserAct（20.83/59.20%/154.38/0.351/19.0×10⁻³）。动作条件视频（Tab. 5）：PSNR 31.35比Tora 19.76提升11.59dB。动作标注（Tab. 6）：Jaccard 46.71领先CoTracker3 31.20约50%。推理（Tab. 7）：164帧512²优化后2.3秒。

Summary of dataset for unified world action model training.
Table 1: Summary of dataset for unified world action model training.
Zero-shot evaluation results on RLBench and Real-world settings.
Table 2: Zero-shot evaluation results on RLBench and Real-world settings.
RLBench in-domain tasks evaluation.
Table 3: RLBench in-domain tasks evaluation.
Video-and-Action Joint Generation Quality.
Table 4: Video-and-Action Joint Generation Quality.
Action-cond. video quality.
Table 5: Action-cond. video quality.
Inference efficiency.
Table 7: Inference efficiency.
Real-world zero-shot rollouts on xArm robot. The results demonstrate that our model can generalize to unseen real-world objects and environments, while producing executable action predictions that are consistent with the generated visual outcomes.
Fig. 5: Real-world zero-shot rollouts on xArm robot. The results demonstrate that our model can generalize to unseen real-world objects and environments, while producing executable action predictions that are consistent with the generated visual outcomes.
Zero-shot video and action-image generation on FR3M rooms. The predicted action trajectories stay aligned with the scene geometry.
Fig. 6: Zero-shot video and action-image generation on FR3M rooms. The predicted action trajectories stay aligned with the scene geometry.
查看结构化数据
任务指标本文基线提升
RLBench零样本-关闭笔记本电脑 (close laptop) 任务成功率 (%) 15 TesserAct: 0；π0.5: 20 相比TesserAct绝对+15个百分点，相对无穷大；略低于π0.5（-5pp）
RLBench零样本-抓杯子 (pick cup) 任务成功率 (%) 30 MolmoAct: 20；其他基线≤5 相对最强基线MolmoAct绝对+10pp，相对提升50%
真实xArm零样本-关闭抽屉 (close drawer) 任务成功率 (%) 45 TesserAct/Cosmos-Policy/π0.5: 0；MolmoAct: 5 相对最强基线MolmoAct绝对+40pp，提升9倍
RLBench域内-平均任务 (9项平均) 平均成功率 (%) 20.6（纯零样本）/36.7（+动作头） TesserAct: 20.6；MV-Diffusion Policy: 17.8；Cosmos-Policy: 20.0 +动作头后绝对+16.1pp，相对提升约78%
视频-动作联合生成-PSNR PSNR (dB) ↑ 23.48 TesserAct: 20.83；Cosmos-Policy: 18.29；Cosmos-Predict2.5-14B: 17.92 相对TesserAct绝对+2.65dB，相对提升约12.7%
视频-动作联合生成-LPIPS LPIPS ↓ 0.209 TesserAct: 0.351；Cosmos-Policy: 0.418 相对TesserAct绝对-0.142，相对降低约40%
视频-动作联合生成-3D动作误差 3D Err (×10⁻³) ↓ 12.2 TesserAct: 19.0；Cosmos-Policy: 19.4 相对TesserAct绝对-6.8×10⁻³，相对降低约36%
动作条件视频生成-FVD FVD ↓ 115.02 Tora: 187.41 绝对-72.39，相对降低约38.6%
视频-动作标注-平均Jaccard Avg Jaccard ↑ 46.71 TAPIR: 29.77；CoTracker3: 31.20 相对CoTracker3绝对+15.51，相对提升约50%

局限与改进

作者在结论部分明确承认：当前系统仅在开环（open-loop）设定下评估，尚未发展为闭环（closed-loop）控制策略；推理速度相比DreamZero-Flash的0.15秒仍有数量级差距（Ours+caching需2.3秒），主要瓶颈是164帧、双视角+双模态的输入比TesserAct的49帧单视角多出3倍以上。作者计划通过扩散加速与蒸馏技术把模型推向闭环。独立观察到的局限有：其一，加动作头后域内任务才达到36.7%平均成功率，零样本的20.6%与TesserAct持平，差距并不悬殊，说明零样本下像素级动作表示的收益主要体现在分布外迁移上；其二，域内任务中open door/phone base/open jar等9项里有4项仍为0或极低，表明训练数据在这些动作模式上覆盖不足；其三，对BridgeV2这种缺相机标定的数据只能用作视频单独生成分支（5%采样），其动作标注能力在该数据集上未被验证；其四，8卡H100推理才能进入2.3秒区间，对实际部署是较高门槛；其五，动作图像的解码依赖固定的双相机布局，跨相机拓扑变化时需要重新校准。

独立分析的弱点

独立分析可观察到几个弱点及对应改进方向。第一，零样本设置下reach target虽然拿到60%的最高分，但其他5个RLBench任务中3个低于50%、1个仅15%，说明动作图像表征在某些动作模式（如微调姿态的精细操作）下仍不够鲁棒，可考虑在动作编码中引入末端执行器速度/加速度等动态特征。第二，解码过程依赖主+辅两个固定视角的射线-匹配机制，在单视角或相机遮挡场景下会失效，论文未给出单视角回退方案，建议参考Aether [73] 的几何一致监督做单视角增强。第三，多掩码训练中联合生成占85%而其他三任务各占5%，这种不均衡会让动作标注和动作条件生成分支欠拟合，可以采用课程学习或动态采样让四类任务更平衡。第四，Plücker相机条件的注入参考ReCamMaster，但实际证明这种条件注入对分布外物体/场景的鲁棒性有限，可考虑引入更强的几何先验如深度图或法向量场。第五，训练数据中RLBench占比50%但它是仿真环境，真实数据DROID+BridgeV2合计50%中DROID的相机标定被作者承认常带噪声，这对像素级动作的精度是个系统性偏差源。

未来方向

作者明确指出下一步是模型蒸馏与闭环控制集成，把推理时间从2.3秒压到接近DreamZero-Flash的0.15秒级，并接入在线重规划。基于本文的成果，可延伸的方向包括：把动作图像从机械臂扩展到四足/灵巧手等多形态本体（论文中已有对π0、Genie 3人类手部视频的零样本标注结果 Fig. 7，验证了跨本体迁移的可行性）；把多视角从2个扩到4-8个以处理更复杂的遮挡场景；把语言指令从粗粒度任务描述扩展到含空间关系和物体属性的细粒度prompt；将动作图像解码从固定2视角扩展为可学习的Transformer解码器以摆脱几何先验；最后，把统一世界动作模型与VLMs结合实现任务级推理和长程规划，本文目前的看一段视频预测下一段还停留在短时域闭环上。

复现评估

复现门槛较高但作者给出较完整实现细节：主干用Wan 2.1-I2V-14B-480P（5B精简），训练数据按 Bridge:RLBench:DROID=0.2:0.5:0.3 配比，每样本41帧/单视角/单模态，双视角双模态共164帧；任务配比联合生成85%、视频/动作标注/动作条件各5%；训练用32卡A100 + DeepSpeed ZeRO + bfloat16 + gradient checkpointing，batch=1，10万步，学习率 $5\times 10^{-7}$、warmup 1000步、梯度裁剪1.0；相机编码仿ReCamMaster用Plücker嵌入并以zero+identity初始化。推理用CFG尺度10.0、50步去噪、4卡USP并行，经CFG/VAE并行+缓存+torch.compile把164帧512²采样压到2.3秒。代码与模型未在补充中给出明确开源链接（2604编号说明预印本较新），但RLBench/DROID/BridgeV2数据均已公开。复现门槛主要在32卡A100算力和对Wan 2.2+ReCamMaster的依赖，普通实验室难以完整复现。

论文图表

Action Images turns policy learning as multiview video generation: 7-DoF actions are translated into pixel-grounded action images that explicitly track robot-arm motion, enabling a zero-shot policy directly from a unified video backbone
Fig. 1: Action Images turns policy learning as multiview video generation: 7-DoF actions are translated into pixel-grounded action images that explicitly track robot-arm motion, enabling a zero-shot policy directly from a unified video backbone

展示Action Images的总体流程：多视角机械臂观测被编码为统一的视频-动作时空序列，经大型视频主干（Wan 2.2）联合生成机器人和动作视频，最后用动作图像解码得到可执行的7-DoF控制信号，组成一个零样本策略闭环。

这是论文的门面图，一眼给出从多视角观测到动作图像再到零样本策略的完整故事线，是理解全文研究框架的入口。

Table 6: Video-to-action labeling results.

视频-动作标注的3项跟踪指标：Ours的轨迹误差5.785、Jaccard@4 64.92%、平均Jaccard 46.71%大幅领先TAPIR（14.80/40.26%/29.77%）和CoTracker3（12.91/46.15%/31.20%），平均Jaccard相对CoTracker3提升约50%。

证明像素级动作图像不仅能做控制，还能做高质量的轨迹标注，扩展了统一模型的应用边界。