GigaWorld-Policy-0.5：由AutoResearch赋能的更快更强的世界动作模型 GigaWorld-Policy-0.5: A Faster and Stronger WAM Empowered by AutoResearch
用混合专家架构把世界动作模型推理延迟降到85毫秒。
前置知识
世界动作模型 (World Action Model, WAM)
在同一神经网络框架内联合建模机器人动作与未来视觉观测的范式。与传统世界模型（只生成不决策）和 VLA 模型（只决策不生成）不同，WAM 把「未来场景演化」作为稠密监督，让动作表征与视觉后果一起学习：模型不仅要预测该执行什么动作，还要预测在该动作下场景会如何演化。代表工作有 Motus、VideoVLA、GigaWorld-Policy 等。
本文所有创新都建立在 WAM 这一范式之上，必须先理解 WAM 与普通 VLA 的本质区别（前者多了未来视觉建模分支），才能读懂为何「推理时生成未来视频」会成为部署瓶颈，以及 MoT 专家分离为何能解决它。
Action-Centered 因果掩码 (Action-Centered Causal Mask)
GigaWorld-Policy 提出的一种注意力掩码策略：动作 token 可以 attend 当前视觉 token、状态 token 与语言条件，但被禁止 attend 未来视觉 token；未来视觉 token 则可以反过来 attend 当前上下文与动作 token。这保证未来视觉信息不会泄漏进动作预测，同时让训练阶段未来视觉预测天然条件于动作，使物理因果一致。推理时未来视觉 token 可整体省略。
这一掩码是「训练用未来视觉、推理只解码动作」这一解耦思想得以成立的根基。不懂它就无法理解为何 GigaWorld-Policy-0.5 能在推理时跳过昂贵的未来视频生成，也无法理解后续 MoT 架构里两专家如何通过 multi-modal self-attention 交互。
Flow Matching (流匹配)
一种生成式建模训练目标，学习一个时变速度场 $v_\theta(x_\tau, \tau | c)$ 把样本沿线性路径从噪声 $x_0$ 运送到数据 $x_1$。带噪样本由线性插值 $x_\tau = \tau x_1 + (1-\tau)x_0$ 构造，目标速度为 $\nu_\tau = x_1 - x_0$，损失 $\mathcal{L} = \mathbb{E}\|g_\theta(x_\tau, \tau | c) - \nu_\tau\|_2^2$。本文对动作与未来视觉两个模态分别采样带模态特定 flow-shift 因子 $\gamma_a, \gamma_v$ 的时间步。
论文动作 token 与未来视觉 token 全部用 flow matching 训练。若不理解 flow-shift 因子 $\tau_a = \frac{\gamma_a r_a}{1+(\gamma_a-1)r_a}$ 与联合时间步 $\tau=[\tau_a;\tau_v]$ 的含义，就无法读懂方法节的核心优化目标与 AutoResearch 扫超参时报告的动作损失/视觉损失。
Mixture-of-Transformers (MoT, 混合专家 Transformer)
一种把不同模态/任务交给独立专家子网络处理的 Transformer 架构。本文把视觉动力学建模与动作生成拆成两个参数独立的专家：视觉专家（hidden 3072 / FFN 14336）负责当前与未来视觉 token 的场景演化，动作专家（hidden 1024 / FFN 4096，刻意做得更轻量）负责动作 token 去噪与 chunk 预测。两者通过 multi-modal self-attention 交换信息。
MoT 是本文相对 GigaWorld-Policy 的核心架构创新，也是「动作专用推理路径」能物理上绕开视觉动力学计算的根因。不区分 MoT 与普通共享骨干 Transformer，就无法理解为何总参数增加反而能降低推理延迟。
Action-Conditioned World Modeling (AC-WM)
一种预训练目标：在给定机器人观测与动作的条件下预测未来视觉演化，显式建模「机器人动作如何驱动视觉状态转移」。与标准 WAM 预训练（联合建模动作与未来视觉）不同，AC-WM 把动作作为条件而非联合预测对象，鼓励模型先学到通用场景演化与动作诱发变化的因果关系。
本文在预训练阶段把 AC-WM 与 WAM 混合是第二个核心创新，消融（Fig. 6）证明它能显著加速后训练收敛、更早达到 0.85 成功率。不理解 AC-WM 与 WAM 的区别就读不懂这一消融的价值。
AutoResearch Agent 流水线
Andrej Karpathy 提出的 agent 驱动实验搜索框架，自动完成候选配置生成、pilot 训练、验证指标采集、候选筛选与晋级、扩展训练。本文用它扫学习率（1K 步 pilot，选出 $6\times 10^{-5}$）、batch size（保留 16）、训练步数（30K 步最佳），减少人肉调参。
AutoResearch 是本文的第三大贡献，也是 Table 5 与 Fig. 7 的主角。理解它的「短 pilot run 筛选 + 长训练最终选择」两阶段工作方式，才能看懂为何作者声称训练配方更系统、更可复现。
研究动机
世界动作模型（WAM）把机器人动作生成与未来视觉观测建模放在同一框架内，用「未来场景演化」作为稠密监督来学习物理接地的动作。但现有 WAM（如 VideoVLA、Motus、LingBot-VA）普遍沿用一种「训练推理同构」的设计：推理时也显式生成未来视频、做迭代去噪或预测式 rollout。由于视频 token 的计算代价远高于动作 token（一段未来视频通常含数百到数千个 latent token，而一个动作 chunk 只有几十个 token），这种设计带来沉重算力开销，使实时闭环控制（通常要求 <100 ms 延迟）几乎不可行——例如 Motus 在 A100 上的推理延迟高达 3231 ms，GigaWorld-Policy 也要 360 ms。此外，长时域下「想象」的未来帧误差会逐步累积，反过来削弱后续动作生成。核心矛盾因此是：如何保留动作-动力学耦合带来的泛化收益，又不付出推理时昂贵的未来 rollout 代价。
本文的目标是本文要在 GigaWorld-Policy 提出的「以动作为中心」的 WAM 框架上做一次系统升级，达到三个互相支撑的目标。第一，进一步压低推理延迟，使其能在 RTX 4090 这类消费级/边缘 GPU 上满足实时闭环控制，目标把动作解码延迟做到 100 ms 以内，配合 C++ 运行时进一步压到 85 ms。第二，在不牺牲甚至提升动作质量的前提下，保持「未来视觉动力学作为训练时稠密监督」的核心优势，让动作表征继续享受世界模型先验。第三，让训练配方更可复现、更省人工——借助 agent 驱动的 AutoResearch 流水线自动完成 pilot run、验证指标采集、候选配置比较与晋级，减少人肉调参。最终在真实机器人抓取操控（AgileX PiPER 6-DoF 机械臂）上同时拿到更高成功率与更低延迟。
与已有工作不同的是，作者的切入角度很明确：把「训练时用未来视觉、推理时只解码动作」这一解耦思想，从单一共享 Transformer 推进到「专家分离」的 Mixture-of-Transformers（MoT）架构。既有 action-centered WAM 用一个共享骨干同时处理视觉动力学与动作生成，推理时即便跳过未来视频 token，注意力计算仍要经过整张庞大的视觉骨干；而 GigaWorld-Policy-0.5 把视觉专家和动作专家拆成两个独立子网络，动作专家被刻意做得更轻量（hidden 1024 vs 视觉 3072，FFN 4096 vs 14336），使「动作专用推理路径」在物理上绕开了视觉动力学的全部计算。这是「用专家专业化换推理效率」的差异化路线，区别于 FastWAM/LaWAM 用 latent 子目标压缩未来、或 Mimic-video/DiT4DiT 用中间特征代替显式视频的思路。此外，作者首次在预训练阶段把 Action-Conditioned World Modeling（AC-WM）与 WAM 混合，让模型同时学到「通用场景演化」和「动作诱发的未来变化」。
核心方法
GigaWorld-Policy-0.5 的整体思路是「训练用世界模型做老师、推理只跑动作学生」。训练阶段模型同时看到当前观测、机器人状态、语言指令和（带噪的）未来视觉与动作 token，通过 flow matching 学一个联合速度场，让未来视觉作为稠密监督倒逼动作表征符合物理场景演化；推理阶段未来视觉 token 整体省略，模型只解码动作 chunk。输入是三视角 RGB，经 Wan VAE 编码为视觉 latent token；状态与动作 chunk 经 MLP 映射为 token；语言由 umT5 编码作条件。核心改动是把共享 Transformer 骨干换成 MoT：视觉专家负责当前/未来视觉 token 的场景演化建模，动作专家负责动作 token 去噪与 chunk 预测，两者经 multi-modal self-attention 交换信息，并沿用 action-centered causal mask——动作 token 可看当前视觉/状态/语言但禁看未来视觉，未来视觉 token 可看当前上下文与动作 token。
核心创新是「专家分离 + 动作专用推理路径」。本质区别有三点。第一，与既有 action-centered WAM（GigaWorld-Policy、FastWAM）用单一共享骨干不同，MoT 把视觉动力学建模与动作生成拆成两个参数独立的子网络，并刻意把动作专家做得更小（hidden 1024 / FFN 4096 vs 视觉专家 3072 / 14336），这样即便模型总参数量增加，「只跑动作」时的活跃算力反而下降，从架构层面兑现「训练用大模型、推理用小路径」的承诺。第二，action-centered causal mask 让信息流单向可控：动作 token 看不到未来视觉，避免未来信息泄漏到动作预测；未来视觉 token 反过来条件于动作 token，使训练阶段稠密监督与物理因果一致——这一掩码是「未来视觉可选推理」能成立的根基。第三，初始化策略上视觉专家直接加载 GigaWorld-1（在 1 万+ 小时视频上预训练）的权重继承世界模型先验，动作专家再从视觉专家权重截断初始化，以最小代价让新增动作分支获得强视觉表征起点。
方法步骤详情
流程分四块。输入编码：三视角 RGB 拼成复合观测 $o^{comp}$ 经 Wan VAE 得视觉 latent token；状态 $s_t$ 与动作 chunk 经 MLP 得 token；语言 $l$ 经 umT5 得 text embedding。MoT 前向：视觉专家处理当前与未来视觉 token，动作专家处理动作 token，施加 action-centered 因果掩码。Flow matching 优化：对动作与未来视觉分别采样带 flow-shift 因子 $\gamma_a,\gamma_v$ 的时间步 $\tau$，按 $x_\tau=\tau x_1+(1-\tau)x_0$ 构造带噪 token，目标速度 $\nu_\tau=x_1-x_0$，损失 $\mathcal{L}=\mathbb{E}\|g_\theta(x_\tau,\tau)-\nu_\tau\|_2^2$。预训练在 2K 小时数据上混合 AC-WM 与 WAM；后训练在目标真机轨迹上联合优化动作与未来视觉动力学。推理加速靠 KV cache、torch.compile 与 C++ 运行时。
技术新颖性
技术新颖性可归纳为四点。第一，把 MoT 引入 action-centered WAM 并非简单换骨干，而是利用专家专业化把「动作专用推理路径」做成一个物理上独立、计算量显著更小的子图——这是把「训练用世界模型、推理只跑动作」从训练 trick 升级为架构级保证的关键。第二，混合 AC-WM + WAM 预训练首次显式建模「机器人动作如何驱动视觉状态转移」，消融（Fig. 6）显示它能显著加速后训练收敛、更早达到 0.85 成功率，说明动作-视觉因果关系对动作表征的可迁移性有直接贡献。第三，AutoResearch agent 流水线把超参搜索系统化：先做 1K 步 pilot 扫学习率（最终选 $6\times 10^{-5}$，对应最低训练动作损失 0.252476 与最佳评估动作 MSE 0.409764），再做 batch size 扫（保留 16），最后扩到 30K 步做最终模型选择，大幅减少人工干预。第四，初始化策略（视觉专家继承 GigaWorld-1、动作专家从视觉专家截断初始化）在新增动作分支时几乎零成本地把强视觉先验注入动作建模，是工程上很实用的迁移技巧。
实验结果
实验在 AgileX PiPER 6-DoF 机械臂上做真机抓取操控。文本跟随：水果采摘（Table 1）平均 0.85，分别超 $\pi_{0.5}$（0.76）、Motus（0.80）、FastWAM（0.78）、GigaWorld-Policy（0.80）0.09/0.05/0.07/0.05；物体放置（Table 2）平均 0.89，超最强基线 Motus 0.06，碗-入篮指令达 0.95。长时域任务（Table 3）：食物加热 0.80、固体称重 0.70、餐具摆放 0.80，平均 0.77，比 Motus 相对 +35%。推理效率（Table 4）：A100 上 torch.compile 后 189 ms，比 FastWAM 快 17.5%；RTX 4090 上 110 ms 持平 $\pi_{0.5}$，配 C++ 压到 85 ms，比两者都快 23%/53%。消融：AC-WM 混合预训练收敛更快、更早达 0.85；AutoResearch 在 3.9 小时示范数据上选出 $6\times10^{-5}$ 学习率、batch 16、30K 步。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 水果采摘文本跟随 (fruit-picking text following) | 分级成功率 (4 阶段各 0.25, 10 次真机试验均值) | 0.85 平均 (香蕉 0.95 / 苹果 0.80 / 柠檬 0.83 / 葡萄 0.93 / 牛油果 0.78 / 草莓 0.85) | $\pi_{0.5}$ 0.76, Motus 0.80, FastWAM 0.78, GigaWorld-Policy 0.80 | 比 $\pi_{0.5}$ +0.09、比 Motus +0.05、比 FastWAM +0.07、比 GigaWorld-Policy +0.05，每个水果指令均最优 |
| 物体放置文本跟随 (object-placement text following) | 分级成功率 (4 阶段各 0.25) | 0.89 平均 (碗-盘 0.93 / 叉-盘 0.88 / 勺-盘 0.85 / 碗-篮 0.95 / 叉-篮 0.85 / 勺-篮 0.88) | $\pi_{0.5}$ 0.76, Motus 0.83, FastWAM 0.77, GigaWorld-Policy 0.81 | 比最强基线 Motus +0.06，复合物体-空间目标指令上提升突出（碗-入篮 0.95 vs Motus 0.83） |
| 长时域操控 (long-horizon tasks, 端到端二值成功率) | 完整任务成功率 (每任务 10 次试验, SR=1 仅当全序列完成) | 平均 0.77 (食物加热 0.80 / 固体称重 0.70 / 餐具摆放 0.80) | $\pi_{0.5}$ 0.50, Motus 0.57, FastWAM 0.47, GigaWorld-Policy 0.53 | 比最强基线 Motus 绝对 +0.20、相对 +35%，三项任务均最优 |
| 推理效率 (inference latency) | 单步动作解码延迟 (ms) | A100 189 ms (torch.compile) / 140 ms (C++); RTX 4090 110 ms / 85 ms (C++) | A100: $\pi_{0.5}$ 225, FastWAM 229, GigaWorld-Policy 360, Motus 3231; RTX 4090: $\pi_{0.5}$ 110, FastWAM 182, GigaWorld-Policy 293 | A100 上比 FastWAM 快 17.5%；RTX 4090 C++ 85 ms 比 $\pi_{0.5}$ 快 23%、比 FastWAM 快 53% |
| AC-WM 混合预训练消融 (Fig. 6) | 水果采摘后训练成功率随步数变化 | 混合 AC-WM + WAM 全程高于纯 WAM，更早达到 0.85 | 纯 WAM 预训练 | 收敛更快、最终成功率更高，证明显式建模动作-视觉因果提升样本效率 |
| AutoResearch 超参搜索 (Table 5, Fig. 7) | 训练动作损失 / 评估动作 MSE (1K 步 pilot) | 学习率 $6\times 10^{-5}$: 训练动作损失 0.252476, 评估动作 MSE 0.409764 (最佳); batch 16; 30K 步最佳 | 其他学习率: $3\times10^{-5}$ (动作损失 0.257300), $4.316\times10^{-5}$ (0.256593), $8\times10^{-5}$ (0.261832) | agent 自动选出最优学习率与训练步数，减少人肉调参 |
局限与改进
作者没有专门设 Limitations 小节，仅在结论里暗示 85 ms 是边缘部署的「潜力」而非已全面验证的工程结论。从论文细节可观察到几点限制。其一，任务与硬件覆盖偏窄：只在 AgileX PiPER 6-DoF 单臂夹爪上评测，没有双臂、移动操控、人形；硬件只报告 A100 与 RTX 4090，未覆盖更低端的边缘 SoC 或车载平台；任务只有 3 个长时域 + 2 类文本跟随，每任务仅 10 次真机试验，统计置信度有限（如固体称重 0.70 仍偏低）。其二，缺少与仿真基准（LIBERO、CALVIN、RoboMind 等）的公平对照，所有基线都在作者自建任务上重测，难以横向比较。其三，85 ms 的 C++ 延迟未披露模型总参数量、FLOPs 或显存占用，MoT 实际增加了总参数（视觉专家 3072/14336 + 动作专家 1024/4096），「动作专用路径省算力」的净收益需要更完整的算力账。其四，强依赖 GigaWorld-1（1 万+ 小时视频预训练）这一未公开的内部资产，复现门槛被显著抬高。
独立分析的弱点
独立审视后有以下弱点。第一，文本跟随的「分级成功率」把 trial 拆 4 个等权阶段（到达/抓取/移动/放置各 0.25），数值普遍偏高（0.7-0.95），掩盖了更严格的完整任务完成率；建议补充二值完整成功率以便与仿真基准对齐。第二，长时域任务仅 3 个且固体称重 0.70，说明在需要精细力觉/称重反馈的任务上视觉-动作耦合仍有瓶颈，改进方向是引入触觉/力传感或显式建模工具-物体物理交互。第三，AutoResearch 只扫了学习率与 batch size，未覆盖 flow-shift 因子 $\gamma_a,\gamma_v$、动作 chunk 长度 $p$、未来观测 stride $\Delta$ 等对 WAM 更关键的选择。第四，85 ms 延迟是在「动作专用路径」下测得，未来视频生成路径（用于可解释性/仿真）的延迟与质量未单独报告，应给出该模式的延迟-质量权衡曲线。第五，专家分离后两专家仅在 multi-modal self-attention 处交互，缺少反向梯度让动作误差塑造视觉表征，存在「视觉学偏了动作无法纠正」的风险，改进方向是引入双向耦合或一致性损失。
未来方向
作者隐含方向是把 action-centered WAM 推向「更快、更可部署」，基于此可延伸五条路线。其一，跨本体扩展：当前只验证单臂夹爪，可把动作专家替换为支持多本体的统一动作表征（参考 MotuBrain 的 cross-embodiment 设计），验证 MoT 在双臂、移动、人形上的迁移性。其二，更长时域与分层规划：action chunk 长度 $p$ 受限，分钟级任务需层次化 subgoal + 局部动作解码，可结合 LaWAM 的 latent subgoal 思路。其三，把「未来视频生成」作为可解释性/安全工具：推理时选择性开启视觉专家做「动作后果预演」，用于人机协作的安全检查与失败预警。其四，AutoResearch 进一步自动化：让 agent 自主提出结构化假设并闭环验证。其五，与 RL 后训练结合：参考 GigaWorld-1 把世界模型作为策略评估器，本模型的可生成未来视觉特性使其适合做 model-based RL 的环境模型，用于离线策略优化。
复现评估
复现评估分四方面。开源情况：论文给出项目主页 https://open-gigaai.github.io/giga-world-policy/ ，但正文未承诺代码/权重/checkpoint 开源时间表，截至发表尚无公开仓库，需自行实现 MoT 与 action-centered causal mask。数据可获得性：2K 小时预训练数据 mix 了开源机器人数据与不公开的「内部真机数据」；视觉专家初始化依赖的 GigaWorld-1（1 万+ 小时视频预训练）也是内部资产，外部无法复用，这是最大复现障碍。算力需求：视觉专家 hidden 3072/FFN 14336 暗示训练需多卡 A100/H100 长时间运行，AutoResearch pilot 扫描本身也消耗大量 GPU。复现难度：技术栈涉及 MoT、flow matching、多视角 VAE、C++ 部署、KV cache + torch.compile，C++ 运行时尤其需较深工程投入才能复现 85 ms。中小团队可在不依赖 GigaWorld-1 的前提下复现架构的「形」，但绝对数值难以复刻。
论文图表
真机演示截图序列，展示机械臂完成固体称重任务，对应 Table 3 中 0.70 的成功率——本文三个长时域任务中最低的一项。
展示当前最弱任务的实际执行情况，帮助读者直观理解模型在需要精细力觉/称重反馈任务上的局限性，是 limitations 分析的重要视觉依据。