GE-Act 2.0：面向机器人操作的预训练与可扩展世界-动作模型 GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation
从零预训练的世界-动作模型，零样本OOD成功率随数据从300小时到3万小时由17.1%升至44.1%
前置知识
世界-动作模型（World-Action Model, WAM）
一类先预测“场景未来会如何演化”、再用预测出的未来视觉状态来指导动作生成的模型。与 VLA 策略直接从观测+指令映射到电机指令不同，WAM 让模型的视觉预测可被检查，并且打开了额外数据通道：不含动作标注的视频可用于视觉生成预训练，缺指令或成功标注的交互轨迹可用于训练动作推断。
GE-Act 2.0 就是一个从零开始预训练的 WAM，全文的架构设计（SVP+IDM+KASO）与评估协议都围绕“WAM 如何预训练、如何随数据缩放”这一范式展开，不理解 WAM 就无法理解论文动机。
逆动力学模型（Inverse Dynamics Model, IDM）
给定“当前观测 + 未来观测”反推“其间执行了什么动作”的模型，是正动力学（状态→下一状态）的逆向。它只需要观测-动作对齐的轨迹即可训练，不依赖语言指令或成功标签，因此可以利用失败尝试、部署 rollout 等被常规模仿学习浪费的数据。
IDM 是 GE-Act 2.0 的动作解码器，也是 KASO 中判断候选未来与记录动作是否兼容的“裁判”；理解 IDM 才能理解为什么单步可微未来生成能解锁解耦预训练。
流匹配与 MeanFlow 单步生成
流匹配（flow matching）学习一个速度场，把高斯噪声沿直线路径 $z_t=(1-t)z+t\epsilon$ 搬运到数据，传统上需要多步数值积分采样。MeanFlow 改学区间平均速度 $u(z_t,r,t)=\frac{1}{t-r}\int_r^t v(z_\tau,\tau)d\tau$，当 $(r,t)=(0,1)$ 时一次前向即可从纯噪声直达数据，无需先蒸馏多步教师。
SVP 用条件化 MeanFlow 一次前向输出完整未来，这是“动作损失可穿过生成过程反传”的关键，也是本文解锁 SVP/IDM 解耦预训练+端到端共训的技术前提。
行为克隆多峰性与 validity gap（有效性鸿沟）
同一观测和指令下任务常有多种正确完成方式（论文称为 outcome mode），示范数据只记录其中一种。生成式世界模型会随机采样任意一种模式，若把采到的未来 $\hat{z}$ 与记录动作 $a$ 强行配对训练，动作标签可能对应另一种模式，论文形式化为 $\hat{z}\perp a\mid(o,s,c)$ 的条件独立失配，即 validity gap。
validity gap 是本文的核心概念创新：KASO 的设计动机、四策略对比与玩具实验（Figure 6）全部围绕“如何避免跨模式错误配对、保留动作多峰性”展开。
多教师表示对齐（REPA / multi-teacher alignment）
在训练自编码器或生成器时，用余弦损失把其潜变量或中间特征对齐到冻结的预训练视觉教师（如 SigLIP、DINOv3、V-JEPA）的特征，使纯重建目标之外附带语言对齐语义、时空结构与稠密视觉信息。图像生成中的 REPA、VA-VAE 已证明该做法能显著改善生成质量。
CoAE 的训练目标 $\mathcal{L}_{CoAE}=\mathcal{L}_{rec}+\mathcal{L}_{align}$ 与 Table 1 中“动作可恢复性/指令落地”探针实验都建立在这一思想之上，是理解其 64 倍压缩潜空间为何仍保留控制信息的关键。
零样本 OOD 评估协议
不对评测任务做任何微调（SFT）、不给示范、不做按任务选 checkpoint，直接部署预训练模型；同时测试场景、背景、灯光与物体实例全部排除在训练数据之外。该协议衡量的是“预训练本身带有多大能力”，而非“微调后专家策略的能力”。
本文所有主实验（100 任务 × 20 技能组 × 2 本体 × 4 个数据规模）都采用该协议，是读懂 44.1%/31.1% 及其缩放结论的前提；许多先前工作用 SFT 后成绩，二者不可直接比较。
研究动机
现有世界-动作模型（WAM）研究几乎都从预训练视频生成器（如 Cosmos、Wan）出发，把精力花在“如何把视频生成与动作模型耦合”，而对“如何把 WAM 作为一个整体从零预训练、并随操作数据规模化”这一系统级问题几乎空白。VLA 策略直接把观测和指令映射为动作，其动作目标并不显式要求建模交互背后的物理动力学。更关键的是工程性矛盾：主流视频生成器需要 $K$ 步去噪采样，若要让动作损失穿过生成的未来帧反传，就必须对整条 $K$ 步生成链保留并求导，计算与显存代价高昂；因此 VPP、DreamZero、GE-Act 1.0 等系统只能从生成器中间特征解码动作，动作组件与视频骨干绑死，导致无指令标注的 play 数据、失败轨迹、部署 rollout 这些海量交互数据无法被有效利用。此外评估侧普遍依赖任务专属 SFT，有的甚至沿用与训练相同的灯光、背景和物体集合，把预训练带来的能力与下游微调带来的能力混在一起。
本文的目标是本文要构建一个所有可训练的生成与动作组件都在操作数据上从零初始化预训练的世界-动作模型，并明确回答：不做任何任务专属微调时，预训练出的零样本分布外（OOD）操作能力是否随数据规模系统性增长。为此论文设计了三段式数据利用：视觉规划器 SVP 在无动作标注视频（含自我中心/人类操作视频）上预训练，逆动力学模型 IDM 在无指令标注轨迹（含失败与部署数据）上预训练，再用 KASO 端到端共训将两者连接。评估上构建了 100 个原子任务、20 个技能组、2 个机器人本体的真机套件，测试场景/背景/灯光/物体实例全部 held-out，用同一协议对比 300/1,200/5,000/30,000 小时四个共训数据规模的 checkpoint。
与已有工作不同的是，独特切入点是把“一次可微的完整未来预测”作为世界模型与动作模型之间的接口。论文先诊断出先前 WAM 无法在更广交互数据上单独预训练 IDM 的根源是多步生成的梯度代价，然后用条件 MeanFlow 把生成压缩为单次前向，使 SVP→IDM 接口既可微又便宜，解耦预训练+端到端共训才真正可行。在此之上，论文识别出即便生成完美仍存在的 validity gap：数据给出的是联合样本 $(z,a)\sim p_{data}(z,a\mid o,s,c)$，而共训配对组合的是两个条件边缘 $\hat{z}\sim p_\theta(z\mid o,c)$ 与 $a\sim p_{data}(a\mid o,s,c)$，二者在给定 $(o,s,c)$ 时条件独立，可能属于不同 outcome mode。解决方案 KASO 不在像素空间而是在动作空间、以活跃 IDM 为裁判在线做 top-k 选择，只对与记录动作行为兼容的候选未来施加动作监督，从而保留动作多峰性、为后续强化学习留出动作空间覆盖。
核心方法
直觉上，机器人数据有三种——无动作的视频、无指令的轨迹、全标注示范——理想的 WAM 应从每一种都学到东西。GE-Act 2.0 由此拆成三个组件、三个训练阶段：其一，控制导向自编码器（CoAE）把每帧 256×384 的图像经 64 倍空间下采样压成 4×6 网格、512 通道的潜变量（每帧仅 24 个 token），用像素重建+LPIPS+对抗损失 $\mathcal{L}_{rec}$ 与对三个冻结教师 SigLIP 2、V-JEPA 2.1、DINOv3 的余弦对齐损失 $\mathcal{L}_{align}$ 联合训练；其二，单步视觉规划器（SVP）由 Qwen3.5 VLM 做指令落地，多视图 DiT 用条件 MeanFlow 一次前向完全去噪出稠密近期帧与稀疏远期帧的未来潜变量；其三，逆动力学模型（IDM）以流匹配头为骨干，输入当前+未来视觉潜变量与本体感知 $s$，同时输出稠密控制频率动作块与稀疏远期动作（训练辅助目标）。最后 KASO 共训阶段把两阶段 checkpoint 连接起来。所有可训练组件——CoAE 新增参数、SVP 流生成器、IDM——均为随机初始化，不继承任何自然视频生成器。
核心创新有二。第一是单步视觉规划器：据作者所述这是首个在操作视频上从随机初始化原生训练的单步机器人世界模型（技术最近源头是 MeanFlow 的平均速度场 $u(z_t,r,t)$，而非蒸馏多步教师），它把“生成的未来”变成生成器与 IDM 之间便宜且可微的接口，从而解锁两类互补数据的解耦预训练与端到端共训；这与 VPP/DreamZero/GE-Act 1.0 从生成器中间特征解码动作、以及 LingBot-VA 在真实未来帧上教师强制（存在训练-部署输入漂移）有本质区别。第二是 validity gap 的识别与消解：论文证明即使 $p_\theta(z\mid o,c)$ 完美匹配真实边缘，独立采样的 $\hat{z}$ 与记录动作 $a$ 仍条件独立、可能跨模式，直接训练会把动作分布向均值坍缩。KASO 在动作流的高噪点 $t_p$ 处用当前 IDM 对 $N$ 个候选未来打能量分 $E_n$，仅对能量最小的 top-k（实现中 $k=1$）候选择重放并施加生成视频动作损失，保留多峰动作分布。
方法步骤详情
训练分四步。第一步 CoAE 预训练：编码器输出 $z=E(o)$，总损失 $\mathcal{L}_{CoAE}=\mathcal{L}_{rec}+\mathcal{L}_{align}$，其中 $\mathcal{L}_{rec}=\|\hat{o}-o\|_2^2+\lambda_{perc}\mathcal{L}_{perc}+\lambda_{gan}\mathcal{L}_{gan}$，对齐头 $g_k$ 以余弦相似度匹配 SigLIP 2/V-JEPA 2.1/DINOv3 末层特征；从 128 通道 DC-AE 迁移兼容权重并扩宽至 512 通道。第二步 SVP 预训练（39,000 小时指令-视频数据）：VLM 编码头部视角观测 $o_{head}$ 与指令 $c$ 得到逐层文本状态 $h_\ell^{[T]}$，经门控融合 $\alpha_\ell=\mathrm{softmax}(g(\mathrm{Pool}(h_\ell^{[T]})))$ 得 $c_{vlm}$，每个 DiT 块交叉注意 $c_{vlm}$；按式(3)构造未来帧集——动作执行视界 $H$ 内 $N_d$ 个稠密帧加其后的 $N_s$ 个稀疏帧；条件 MeanFlow 用掩码轨迹训练平均速度头 $u_\theta$（一次 JVP 求总导数）与辅助瞬时速度头 $v_\theta$，损失 $\mathcal{L}_u,\mathcal{L}_v$ 只监督预测坐标。第三步 IDM 预训练（32,000 小时动作标注轨迹，含失败与部署数据）：流匹配损失 $\ell_{FM}(a;o,s,z)=\mathbb{E}_{t,\epsilon}\|v_\phi(a_t,t;o,s,z)-(\epsilon-a)\|^2$。第四步 KASO 共训（Algorithm 1）：每步先在记录数据上算 $\mathcal{L}_{SVP}=\mathcal{L}_u+\mathcal{L}_v$ 与 $\mathcal{L}_{IDM}$；无梯度采样 $N$ 个候选未来 $\hat{z}_n$ 并保留噪声；共享探针噪声构造 $\tilde{a}=t_p\epsilon+(1-t_p)a$，计算候选能量 $E_n=\frac{1}{|D|}\sum_{i\in D}\|v_\phi(\tilde{a},t_p;o,s,\hat{z}^n)-v_\phi(\tilde{a},t_p;o,s,z)\|^2$；取 top-k 带梯度重放（一步确定性映射保证重放与打分完全一致），总目标 $\mathcal{L}_{KASO}=\mathcal{L}_{E2E}^{sel}+\mathcal{L}_{SVP}+\mathcal{L}_{IDM}$。部署时 SVP 一步生成未来，IDM 输出稠密动作块由控制器执行，稀疏序列仅作训练期远视界目标。
技术新颖性
新颖性体现在四个层面。其一，“从零”而非继承：绝大多数 WAM 复用预训练自然视频生成器，本文的 CoAE/SVP/IDM 全部在操作数据上随机初始化，直接回答“WAM 预训练与缩放”这一被跳过的问题。其二，接口式架构：GE-Act 1.0 用并行动作分支，本文改用显式完整未来帧作为生成器与 IDM 的唯一接口，使二者可先在互补数据上各自预训练再通过可微接口对接——这是对“特征耦合”与“教师强制”两条旧路线的替代。其三，概念贡献：论文把共训失配归结为配对的联合结构问题（式 18 的条件独立），并区分“生成误差”与“模式错配”——后者不因生成变好而消失；配套的四模式高斯玩具系统（Figure 6）干净地展示了 Decoupled/E2E/E2E+PT 分别在动作密度弥散、双分布坍缩、动作坍缩到均值上的失败模式，而 KASO 恢复四视频模式+双峰动作。其四，KASO 的选择发生在动作空间而非像素空间（视觉不同但行为相同的未来应被视作兼容），且每个优化器步在线重算、以活跃 IDM 为裁判，区别于离线合成数据过滤管线；与并行的生成建模 best-of-K 工作虽形式相似，但判据与目的不同。
实验结果
主要结论均来自不做任何微调的零样本 OOD 真机评估。数据缩放：共训数据从 300→30,000 小时，G1-OP 全套件成功率 17.1%→22.6%→27.3%→44.1%，G2-90D 为 13.4%→21.0%→23.5%→31.1%，总增益 +27.0 与 +17.7 个百分点，且 5,000→30,000 小时仍大幅上升、无饱和迹象；改善覆盖 19/20 与 18/20 技能组，非零成功率任务数从 39→76（G1-OP）、24→72（G2-90D）。跨本体迁移：G2-90D 只占共训数据不足 2% 却提升 17.7 点；其技能专属数据少于 2 小时的 10 组中有 5 组从 0 提升到非零，如 Flip 仅用 1.2 小时数据达 20%、Separate 用 1.25 小时达 16.7%、Pass 用 3.9 小时达 34%。数据覆盖决定能力：技能级训练小时与 3 万小时 G1-OP 成功率强相关（Pearson r=0.80，Spearman ρ=0.85），拟合为每十倍数据 +1.94 logit；最直观对比是 Wipe（824.1 小时，76.7%）与动作近似的 Sweep（64.6 小时，3.3%）。表征质量：CoAE 动作恢复 MAE 0.01673，略逊于 DINOv3（0.01273）与 V-JEPA 2.1（0.01487）但每帧 token 数只有其 1/16，且指令匹配错误率 2.05% 为五种表征中最低。KASO 消融（同样 300 小时对齐阶段）：四物体抓取宏平均 37.5%，高于 E2E+PT 的 22.5% 与 E2E 的 27.5%；单物体 40% 对 12%；跟随分两者同为 95%。指令落地：物体/颜色/位置/形状的 Follow Score ≥90%，尺寸 82.5%（Pick 65.7% 完成），语序仅 13.3%/26.7%；295 次 rollout 总 Follow 83.1%、SR 72.9%。定性压力测试显示模型能在抓取中途改目标、改手臂，并执行“把杯子放进鞋盒”这类反常规指令。仿真基准上，简单 SFT 后在 RoboTwin 与 GenieSim-Instruction 上为对比模型中最强，LIBERO-Plus 上具竞争力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| G1-OP 真机 100 任务零样本 OOD 套件 | 成功率 SR（10 trials/任务） | 30,000 小时：44.1% | 300 小时同模型：17.1% | +27.0 个百分点，无饱和 |
| G2-90D 真机 100 任务零样本 OOD 套件（稀疏本体，<2% 数据） | 成功率 SR | 30,000 小时：31.1% | 300 小时：13.4% | +17.7 个百分点，体现跨本体迁移 |
| 四物体抓取受控消融（海绵/苹果/鼠标/遥控器） | Pick 成功宏平均 | KASO：37.5% | E2E+PT：22.5%（E2E：27.5%） | +15 个百分点 |
| 单物体抓取消融（25 trials） | Pick 成功率 | KASO：40% | E2E / E2E+PT：12% | +28 个百分点 |
| CoAE 表征动作恢复探针（冻结编码器+两层 IDM 探针） | 动作 MAE（越低越好） | 0.01673（24 token/帧） | DC-AE 同压缩率：0.02573 | 误差低 54%；距最优 DINOv3 仅差 13–31% 但 token 少 16 倍 |
| 指令匹配探针（5,000 条 GenieSim-Instruction 片段） | 分类错误率 | 2.05%（准确率 97.95%，五种表征最佳） | 次优 DC-AE：2.71%；V-JEPA 2.1：4.15% | 比次优低 24%，约为 V-JEPA 2.1 的一半 |
| 细粒度指令落地（295 次真机 rollout，6 个维度） | Follow Score / SR | 总 Follow 83.1%、SR 72.9%；物体/颜色/位置/形状 ≥90% | 语序维度仅 13.3%（Pick Follow） | 头部维度接近饱和，尾部维度暴露长尾缺陷 |
局限与改进
作者承认的局限：自我中心视频这条最有前景的数据源远未用足，其规模、多样性与配比的影响尚未严格建立；系统仍是 System-1 式指令条件低层控制，缺少深思、长程规划、任务分解、记忆与自我纠正等 System-2 能力。我的补充观察：其一，绝对成功率不高——3 万小时模型 G1-OP 也仅 44.1%，且大量任务仍为 0%（翻书、搅拌、拔插头等），预训练能力的天花板还很远；其二，缩放实验采用嵌套数据池并“训练一个 epoch 或到算力上限为止”，并非严格同算力对照，测得的是实用性缩放而非干净的 数据缩放律；其三，覆盖率-成功率相关（r=0.80）未控制指令频率、感知复杂度等混杂因素，论文自己声明仅为关联；其四，语序 grounding 仅 13.3%，对应训练语料 0.13% 的出现率，暴露组合性指令的系统性短板；其五，KASO 每步需 $N$ 次无梯度前向采样候选，有约 $N$ 倍生成开销；其六，Shake/Stir 在 G2-90D 上反超源于夹爪几何而非数据，说明本体差异与数据效应相互纠缠，G2-90D 曲线也确有非单调波动。
独立分析的弱点
第一，KASO 的有效性依赖生成器的随机多样性：若 $N$ 个噪声恰好未覆盖记录动作对应的模式，top-k 也无从选起，且每步 $N$ 次候选生成加探针带来可观的训练开销，改进方向是候选摊销、模式探测头或基于能量的直接加权而非硬选择。第二，validity gap 的玩具与真实分析都基于确定性回归 IDM，论文仅口头提到生成式 IDM 或许能保住两个动作模式，但未定量比较两种 IDM 在 KASO 框架下的表现。第三，论文没有报告未来帧生成质量的客观指标（如 FVD 或潜空间重建误差），单步 MeanFlow 相对多步生成在视觉保真度上的代价无从判断，而未来帧质量直接决定 IDM 读出的动作质量。第四，稠密/稀疏帧调度沿用 Act2Goal，$N_d,N_s,H$ 的敏感性分析缺失，对不同长度任务的适配性不明。第五，每任务仅 10 次 trial，100 个任务上的二项置信区间很宽，G2-90D 曲线非单调（如 Push block 5,000 小时时为 0）提示部分波动可能是采样噪声。第六，仿真基准结论需要各基准的 SFT 适配，与真机零样本结果属不同性质，外推需谨慎。
未来方向
作者提出的方向：把自我中心（egocentric）操作视频预训练规模化，并严格研究其数量、多样性与组成对视觉生成预训练和下游机器人能力的影响；将可扩展的世界-动作模型与 System-2 深思系统（规划、分解、记忆、自我纠正）闭环耦合。基于成果可延伸的方向：（1）利用 KASO 保留的多峰动作分布做强化学习或奖励加权后训练，直接验证“保留动作多样性”承诺的实际价值；（2）大规模灌入无指令失败/部署数据，绘制 IDM 预训练自己的缩放曲线；（3）系统研究跨本体迁移规律——G2-90D 以 <2% 数据获得 +17.7 点是重要信号，值得扫掠 0.5%/2%/10% 配比找迁移阈值；（4）对语序、尺寸等稀有指称表达（语料占比 0.13%/0.96%）和长尾技能做重采样或课程学习，检验 r=0.80 的覆盖-能力关系是否因果；（5）把世界模型的未来预测当作在线监视器，检测 IDM 与生成未来的模式失配以支持运行时干预；（6）做同算力受控实验，把本文的实用性缩放曲线升级为干净的 WAM 预训练缩放律。
复现评估
项目页面为 ge-act-v2.github.io，作者来自 AgiBot（智元）研究团队。复现难度评估为高，核心障碍是数据：SVP 预训练 39,000 小时、IDM 预训练 32,000 小时、共训 30,000 小时，其中绝大部分是 G1-OP（18.5k 小时）与 G2-OP（9k 小时）等自研机器人的遥操作数据，外加自有仿真、部署/失败轨迹与自我中心视频，开源机器人数据仅占 SVP 混合的 7k 小时（17.9%），外部团队几乎无法凑齐同规模语料；真机评估还需两套机器人硬件跑 100 任务 × 2 本体 × 4 规模 × 10 trials。方法复现本身较友好：Algorithm 1 给出完整伪代码，式(1)-(21)覆盖全部目标函数，$N$、$t_p$、帧调度等超参在附录 B，且 Qwen3.5、DINOv3、V-JEPA 2.1、DC-AE、MeanFlow 等组件均有公开实现。论文正文未见明确的代码/权重开源承诺，需查项目页确认。综合判断：方法描述可读性和完整性好，学术上可复现组件级原型，但完整复现缩放结论需要工业级算力（DiT 视频生成器 + 数万小时数据）与真机资源。
论文图表
概览图：左侧展示三类数据如何分别流入系统——无动作人类/自我中心视频用于 SVP 视觉规划器预训练，全标注遥操作示范用于共训，无指令的部署 rollout 与失败片段用于 IDM 预训练；右侧是 100 任务零样本 OOD 成功率随共训数据（300h→30k h）从 17% 升至 44% 的缩放曲线，每个方块代表一个任务并按技能组着色。
一图概括全文核心主张——“每一条交互数据都是训练数据”以及预训练能力的系统性缩放，是理解论文动机与主要结论的最佳入口。
上半部以四个马赛克墙展示 300h/1.2k/5k/30k 模型在 100 个任务上的逐任务成功率着色；中部为 30k 模型的代表性零样本 rollout 帧与各自 SR；下半部按 20 个技能组列出全部任务的四规模 SR 明细表。
最完整的原始结果全景：可以看到 Pick/Place 早早饱和、翻书/搅拌等任务长期为 0 的能力分布细节，是缩放结论的证据底座。