GigaWorld-Policy：一种高效的动作中心世界-动作模型 GigaWorld-Policy: An Efficient Action-Centered World--Action Model
通过因果注意力掩码将视频预测变为可选，实现9倍推理加速且不损失性能
前置知识
Vision-Language-Action (VLA) 模型
VLA 模型是将视觉观察、语言指令和机器人动作统一在一个框架中的端到端策略模型。它接收多视角 RGB 图像和自然语言指令作为输入，直接输出低层控制命令（动作块）。典型的 VLA 模型如 π0 基于预训练的视觉-语言模型（VLM），通过模仿学习在机器人演示数据上微调。其核心挑战在于动作标签（通常为 7-DoF 关节角度或末端执行器位姿）相比高维视觉观察而言极其稀疏，导致模型容易学到浅层捷径而非真正的物理因果关系。
本文的核心动机正是解决 VLA 模型的监督稀疏问题，理解 VLA 的基本范式和局限性是理解本文创新点的前提。
World-Action Model (WAM)
WAM 是一类将世界模型（World Model）与动作策略（Action Policy）统一建模的方法。世界模型负责预测环境在给定动作下的未来状态变化（通常是未来视频帧），动作策略则负责从当前观察生成控制命令。WAM 的核心思想是：通过让模型同时学习「世界如何变化」和「我该做什么」，可以利用密集的视觉预测信号来辅助稀疏的动作学习。代表方法包括 Motus（基于 MoT 架构的联合动作-视频预测）和 Cosmos-Policy（将视频模型微调为机器人策略）。
本文提出的 GigaWorld-Policy 属于 WAM 范式，但与已有 WAM 方法在推理效率上有本质区别，理解 WAM 的基本框架有助于把握本文的定位。
Flow Matching
Flow Matching 是一种生成模型训练方法，相比扩散模型（Diffusion Model）更加简洁高效。其核心思想是：给定数据样本 $x$ 和噪声 $\epsilon \sim \mathcal{N}(0, I)$，在时间 $s \in [0,1]$ 上构造线性插值 $x(s) = (1-s)\epsilon + sx$，然后训练模型预测从噪声到数据的速度场 $\dot{x}(s) = x - \epsilon$。推理时从纯噪声 $x(0) \sim \mathcal{N}(0,I)$ 出发，沿学到的速度场积分到 $x(1)$ 即得生成样本。本文的动作和视频预测均采用 Flow Matching 进行训练。
本文的训练目标基于 Flow Matching 构建，理解其基本原理对于理解公式 (6)-(10) 的损失函数设计至关重要。
因果注意力掩码 (Causal Attention Mask)
在 Transformer 的自注意力机制中，因果掩码限制每个 token 只能注意到序列中位于它之前的 token，防止信息从未来泄露到过去。本文对标准因果掩码进行了扩展：定义了不同模态 token 之间的注意力约束——状态和观察 token 互相可见，动作 token 可以看到状态和观察但看不到未来视频 token，未来视频 token 可以看到所有前面的 token（包括动作）。这种设计确保动作生成不依赖未来视频预测，从而使推理时可以跳过视频生成。
因果注意力掩码是本文实现「推理时视频预测可选」这一关键设计的技术基础，也是本文区别于已有 WAM 方法的核心架构创新。
课程预训练 (Curriculum Pre-training)
本文采用多阶段渐进式预训练策略：第一阶段从大规模网络视频预训练的视频生成模型（Wan 2.2 5B）初始化；第二阶段在约 10,000 小时的具身数据（包含真实机器人视频和第一人称人类视频）上继续预训练，注入物理先验；第三阶段在目标任务的机器人轨迹数据上进行后训练。每个阶段逐步缩小领域差距，使模型从通用视频生成能力过渡到机器人操控能力。
预训练策略是本文取得优异数据效率的关键因素之一，消融实验表明各阶段提供互补收益，理解这一流程有助于评估复现可行性。
研究动机
当前视觉-语言-动作（VLA）模型面临一个根本性的监督稀疏问题。以 π0.5、GigaBrain-0 等为代表的 VLA 模型，虽然接收的观察（多视角 RGB 图像）和任务条件（语言指令）是高维且语义丰富的，但动作监督信号却是稀疏且低多样性的——通常只是 7 自由度的关节角度或末端执行器位姿序列。这种严重的维度不对称导致模型倾向于依赖浅层上下文信号（如物体外观、场景布局），将多种不同的物理情况压缩为少数重复行为模式，而不是学习真正基于物理因果关系的动作生成。此外，在真实部署场景中，较慢的推理速度（如 Motus 需要 3231ms 每步推理）会引入控制延迟，降低有效动作更新频率，削弱闭环纠错能力，这在需要精细操作和快速响应的任务中尤为致命。
本文的目标是本文的具体目标是设计一个既高效又强大的世界-动作模型，同时满足三个可量化的要求：第一，推理延迟要低——目标是将每步推理时间从现有 WAM 方法的 3 秒级降低到亚秒级（最终达到 360ms）；第二，任务性能不降甚至提升——在仿真和真实世界的操控任务上达到或超过现有 SOTA 方法的成功率；第三，数据效率要高——在有限的演示数据下也能达到良好的性能，因为真实机器人数据采集成本高昂。作者希望通过统一的架构设计，在不牺牲控制性能的前提下实现效率的根本性提升。
与已有工作不同的是，本文抓住了一个被已有工作忽视的关键矛盾：训练时需要密集的视觉动态监督来辅助动作学习，但推理时并不需要显式的视频生成来执行策略。已有方法（如 Motus 的双向注意力联合预测、Mimic-video 的两阶段管线）都将视频预测与动作生成紧密耦合，导致推理时必须进行昂贵的视频采样。GigaWorld-Policy 的独特切入角度是：通过精心设计的因果注意力掩码，将训练目标（动作 + 视频联合预测）与推理路径（仅动作解耦）解耦。训练时利用未来视觉动态作为推理信号和密集监督源，推理时则跳过视频生成直接输出动作。这一设计哲学上的转变——将视频预测从推理的必要条件降级为训练的可选正则化器——是本文最核心的差异化视角。
核心方法
GigaWorld-Policy 的核心直觉可以用一个类比来理解：想象一个厨师在学做菜时，师傅不仅告诉他「下一步放盐」（动作指令），还让他看到「放盐后菜会变成什么样子」（未来视觉预测）。这种「动作 + 后果」的双重反馈让学徒学得更快、更扎实。但在实际炒菜时，厨师不需要在脑子里先「渲染」出菜的最终画面再动手——他直接凭经验操作就行。GigaWorld-Policy 的训练-推理设计正是遵循这一逻辑：训练时同时学习动作预测和未来视频预测（联合优化），推理时只执行动作预测分支（视频分支可选）。技术路线上，模型基于 Wan 2.2 5B（一个 50 亿参数的扩散 Transformer）构建，通过将多视角观察、本体状态、动作和未来视频 token 统一打包进一个序列，使用因果注意力掩码控制信息流动，在同一个模型内实现动作生成和视觉动态建模的统一。
本文与已有方法最本质的区别在于「动作中心」（action-centered）的设计哲学。已有 WAM 方法（如 Motus 的双向注意力、VideoVLA 的联合扩散）在推理时必须生成未来视频帧才能获得动作，视频预测是动作生成的前置步骤。Mimic-video 虽然分两步，但仍然需要先完成完整的视频预测才能通过逆动力学模型获得动作。GigaWorld-Policy 的核心创新是：通过因果注意力掩码将动作 token 的注意力范围限制为只能看到状态和当前观察（不能看到未来视频 token），而未来视频 token 可以看到动作 token。这一看似简单的掩码设计带来了根本性的架构优势——训练时，未来视频预测作为辅助信号通过梯度回传影响动作表征的学习；推理时，由于动作生成不依赖视频 token，可以直接跳过视频分支，只用动作分支进行推理。这意味着同一个模型可以在训练时获得密集的视觉监督，却在推理时享受轻量级的动作解码，实现了「训练密集、推理稀疏」的最优配置。
方法步骤详情
GigaWorld-Policy 的方法分为三个阶段。第一阶段是视频模型初始化：从 Wan 2.2 5B（一个在多样化网络视频上预训练的 50 亿参数扩散 Transformer）获取初始权重，这些权重已经编码了丰富的时空动态先验。第二阶段是具身数据预训练：在约 10,000 小时的数据上继续训练，数据来源包括真实机器人视频（Agibot 2500h、RoboMind 300h、DROID 350h 等）和大规模第一人称人类视频（EgoDex 800h、EGO4D 3500h 等），此阶段仅优化视频 Flow Matching 目标 $\mathcal{L}_{video}$，使模型适应具身视角和操控相关的交互模式。第三阶段是目标任务后训练：在目标机器人的轨迹数据上联合优化 $\mathcal{L}_{all} = \lambda_{video}\mathcal{L}_{video} + \lambda_{action}\mathcal{L}_{action}$，其中 $\lambda_{action}=5$、$\lambda_{video}=1$，强调动作预测的同时保留视频一致性正则化。具体前向过程为：将三视角图像合并为单张复合图像，经 VAE 编码为视觉 token $T_o$；本体状态和动作分别通过线性投影映射为 $T_s$ 和 $T_a$；语言指令通过预训练语言编码器得到 $T_l$；所有 token 拼接为 $T_t = [T_o; T_s; T_a; T_f]$，通过因果注意力掩码控制信息流，使用 Flow Matching 目标分别优化动作预测（公式 9）和视觉动态预测（公式 8）。推理时仅执行动作分支：初始化 $a^{(0)} \sim \mathcal{N}(0,I)$，沿学到的速度场从 $s=0$ 积分到 $s=1$，得到动作块 $\hat{a}_{t:t+p-1}$。
技术新颖性
GigaWorld-Policy 的技术新颖性体现在三个层面。首先是架构层面：与 Motus 的 Mixture-of-Transformer（MoT）使用三个独立专家模块不同，本文使用单一共享 Transformer 栈处理所有 token 类型，仅通过注意力掩码和不同的位置编码（视觉用 2D、状态/动作用 1D）区分模态，这种设计保留了预训练骨干网络的计算特性，切换代价更低。其次是训练-推理解耦：已有方法（VideoVLA、Motus、Mimic-video）的推理路径都必须包含视频生成，而本文通过因果掩码实现了训练时的联合预测和推理时的动作-only 解码，这是一个根本性的架构创新。最后是预训练策略：本文不是简单地从 VLM 或视频模型迁移，而是设计了「网络视频→具身数据→目标任务」的三阶段课程，将通用视频生成模型系统性地转化为机器人策略的强初始化。消融实验表明，三个阶段提供互补收益——从头训练 SR=0.45，视频模型初始化提升到 0.57，具身预训练提升到 0.73，两者结合达到最佳的 0.83。
实验结果
GigaWorld-Policy 在多个维度上验证了其设计的有效性。在推理效率方面，模型在 NVIDIA A100 上实现每步 360ms 的推理延迟，相比 Motus 的 3231ms 实现了约 9 倍加速，同时仍低于 π0.5 的 225ms（后者是纯 VLA 模型，无视频预测能力）。在 RoboTwin 2.0 仿真实验中（50 个操控任务，每个任务 100 个测试 episode），GigaWorld-Policy 在 clean 场景下平均成功率为 0.86，randomized 场景下为 0.85，与 Motus（clean 0.89, rand 0.87）相当但推理快 9 倍；相比 π0.5（clean 0.43, rand 0.44）提升超过 44 个百分点。在真实世界实验中（AgileX PiPER 6-DoF 机械臂，4 个任务各 20 次试验），GigaWorld-Policy 平均成功率为 0.83，比 Motus（0.76）高 7%，比 π0.5（0.69）高 14%。数据效率实验表明，GigaWorld-Policy 仅使用 10% 的训练数据就能达到 π0.5 使用全部数据时的性能水平。消融实验中，因果掩码设计使视频预测变为可选且在推理时不影响性能，同时因果掩码下的视频生成质量（PSNR 28.41, SSIM 0.901）优于无约束自注意力（PSNR 27.87, SSIM 0.892），因为因果掩码防止了动作 token 对未来帧的信息泄露。未来帧预测步长 $\Delta=12$ 时效果最佳（SR 0.83），无未来预测时降至 0.60，表明视觉动态监督提供了 0.23 的绝对增益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 仿真 (Clean 场景) | 平均成功率 (SR) | 0.86 | Motus 0.89 / π0.5 0.43 | 比 π0.5 高 43 个百分点，与 Motus 相当但快 9 倍 |
| RoboTwin 2.0 仿真 (Randomized 场景) | 平均成功率 (SR) | 0.85 | Motus 0.87 / π0.5 0.44 | 比 π0.5 高 41 个百分点 |
| 真实世界 (4 任务平均) | 平均成功率 (SR) | 0.83 | Motus 0.76 / π0.5 0.69 | 比 Motus 高 7%，比 π0.5 高 14% |
| 推理延迟 (A100) | 每步时间 (ms) | 360 | Motus 3231 / π0.5 225 | 比 Motus 快 9 倍 |
| 数据效率 | 达到 π0.5 全数据性能所需数据量 | 10% 训练数据 | π0.5 需要 100% | 数据需求降低 10 倍 |
局限与改进
尽管 GigaWorld-Policy 取得了令人印象深刻的结果，但仍存在若干局限性。首先，在部分精细操作任务上（如 Hanging Mug 在 clean 场景 SR 仅 0.16、Blocks Ranking Size SR 仅 0.44），模型表现不佳，这些任务可能需要更精细的力反馈或更长的规划 horizon，超出了当前 48 步动作块的建模能力。其次，论文仅在 6-DoF 夹爪操作上验证，未涉及灵巧手操作或多机器人协调场景，泛化能力有待验证。第三，预训练需要约 6000 GPU 小时的计算资源和 10,000 小时的具身数据，复现门槛较高。第四，论文中部分任务的结果呈现选择性——在 Stack Blocks Three 上 GigaWorld-Policy（0.70/0.78）明显低于 Motus（0.91/0.95），但这一差异在主文中未充分讨论。此外，因果掩码虽然使视频预测变为可选，但在需要视频预测作为世界模拟器的场景中（如策略评估、数据增强），模型的视频生成质量相比专门的视频世界模型仍有差距。
独立分析的弱点
首先，模型的动作块长度固定为 48 步，这在精细操作（如需要微妙力控的堆叠任务 Hanging Mug）中可能不够灵活。一个可能的改进方向是引入自适应动作块长度机制，根据任务复杂度动态调整预测 horizon，或者采用分层策略——高层规划器决定长期目标，低层执行器负责短期精细控制。其次，当前模型仅支持夹爪操作，扩展到灵巧手需要重新设计动作 token 的表示方式和状态空间。可以考虑将灵巧手的高维动作空间分解为多个低维子空间，分别建模后再融合。第三，模型的多视角处理方式是简单地将三视角拼接为单张复合图像，这限制了视角数量的灵活性。改进方向是采用可扩展的多视角编码器（如 Perceiver 架构），支持任意数量和配置的相机输入。第四，虽然因果掩码使视频预测在推理时变为可选，但训练时仍然需要完整的视频预测分支，这增加了训练成本。可以探索渐进式训练策略——先联合训练，然后逐步降低视频分支的权重直至完全移除，实现更高效的训练-推理对齐。
未来方向
基于 GigaWorld-Policy 的成果，有几个有前景的研究方向。第一是将动作中心的设计哲学扩展到更广泛的世界模型应用中——例如在自动驾驶领域，可以将视频预测作为训练信号但推理时只输出轨迹规划，实现类似的效率提升。第二是结合强化学习进一步提升性能——目前模型完全基于模仿学习，引入世界模型生成的模拟数据进行在线 RL 微调（类似 GigaBrain-0.5M* 的思路）可能突破演示数据的性能上限。第三是探索更高效的预训练策略——当前的三阶段课程需要大量计算，研究如何利用合成数据（如 GigaWorld-0 视频数据引擎生成的数据）替代部分真实数据采集，可以显著降低预训练成本。第四是将框架扩展到多模态动作空间——结合语言推理、力反馈、触觉信号等，构建更全面的具身智能系统。
复现评估
复现评估方面，有利因素和挑战并存。有利因素：论文基于公开的 Wan 2.2 5B 视频生成模型作为骨干网络，该模型权重可获取；预训练数据中 Ego4D、Open X-Embodiment、DROID、Something-Something V2 等均为公开数据集；仿真环境 RoboTwin 2.0 也是开源的。挑战：部分关键数据源（如 Agibot 2500h、RoboMind 300h）可能不完全公开；预训练需要约 6000 GPU 小时（按 A100 估算约 250 GPU 天），后训练的计算需求未明确说明但应该显著低于预训练；模型参数量为 50 亿，推理需要 A100 级别 GPU 才能达到论文报告的延迟。对于资源有限的研究者，可以考虑从较小的视频模型初始化（如 Wan 1.3B 版本），或仅在目标任务数据上进行后训练（跳过具身预训练阶段），但这会牺牲部分性能。总体而言，复现难度中等偏高，主要瓶颈在于计算资源和数据获取。
论文图表
