ZimaBlue：通过可扩展视频预训练演化泛化性世界动作模型 ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training
用12万小时自我中心视频预训练世界动作模型，真机零样本成功率从36.1%升至77.8%
前置知识
世界动作模型（WAM）
一类同时预测『世界如何演变』与『机器人应如何行动』的生成式模型：在单一架构内联合生成未来视频帧与动作序列，使视觉理解与动作的物理后果显式绑定。与 VLA 直接从观测映射动作不同，WAM 把视觉动力学当作隐式规划信号，能从无动作标注的视频中学习物理因果先验。
ZimaBlue 就是一个 WAM，全文的数据扩展、三阶段训练与双系统设计都围绕『用视频学世界、用动作接地』这一范式展开。
流匹配（Flow Matching）
一种连续生成建模目标：把干净样本 $z$ 与高斯噪声 $\epsilon$ 按噪声水平线性插值为 $z_t=(1-\sigma_t)z+\sigma_t\epsilon$，训练网络预测速度场 $v=\epsilon-z$，推理时沿该场迭代去噪生成样本。相比 DDPM 目标更简洁，天然适配后续蒸馏。
ZimaBlue 的视频损失、动作损失与 RTC 训练目标全部建立在流匹配之上，论文公式 (2)-(8) 都是它的变体。
DiT（Diffusion Transformer）
以 Transformer 为骨架的扩散模型架构：将图像/视频切成 token 后用自注意力建模其联合分布，缩放特性好。文生视频模型 Wan2.2-TI2V-5B 就是一个 5B 参数的 DiT，ZimaBlue 直接以它为初始化底座。
Slow 分支是改造自 Wan2.2 的 5B DiT，Fast 分支是其前 12 层的瘦身版；K/V 缓存跨分支注入机制完全依赖 DiT 的逐层注意力结构。
自我中心视频（Egocentric Video）
由头戴或第一人称视角相机拍摄的视频，天然呈现手-物体交互、接触动态、工具使用与长时程任务结构。EPIC-KITCHENS、EgoDex、Egocentric-100K 等数据集提供了数十万小时级的第一人称操作素材，且绝大多数没有动作标签。
本文的核心主张是这类无标注第一人称视频是机器人泛化最可扩展的数据源，120K 小时视频预训练正是全文的主要实验变量。
RTC（Real-Time Chunking）
一种动作块（action chunk）执行策略：模型每次预测长为 $H$ 的动作块，执行中不断用最新观测重新推理，新块的未执行部分替换旧计划、已提交的前缀保持不变，从而兼顾计划连续性与在线纠错。
ZimaBlue 在 Fast 分支训练时用随机时间偏移 $\delta$ 和干净前缀教师强制来模拟 RTC 执行分布（式 (7)(8)），是双系统能实时纠错的关键。
DMD 蒸馏（Distribution Matching Distillation）
一种少步扩散蒸馏方法：学生生成样本后重新加噪，用冻结的教师分数模型与在线更新的假分数模型分别估计干净样本，二者之差经归一化构成分布匹配梯度方向，使学生两步生成逼近教师分布；采用两个时间尺度优化，假分数模型每次生成器更新要更新多次。
ZimaBlue 用两阶段 DMD 把 Slow 与 Fast 各从 8 步蒸馏到 2 步 DiT 评估，是实现 33 ms 闭环延迟、13.6 倍总加速的核心手段。
研究动机
通用机器人操作面临根本性的数据扩展瓶颈：鲁棒泛化需要广泛的物理经验，但带动作标注的真机轨迹极其昂贵——即便借助遥操作和 UMI 系统，主流数据集也只有数千到数万小时量级，例如 π0.5 用了超过 1 万小时机器人数据、Xiaomi-Robotics-1 用了约 10 万小时才取得强性能。仿真虽可扩充覆盖，却始终存在 sim-to-real 鸿沟，缺少真实世界的视觉、材质与接触多样性。第一人称人类视频是最易扩展的具身数据源，包含丰富的物体可供性、工具使用、接触事件与失败恢复，但绝大多数没有动作标签，无法直接用于 VLA 的模仿学习。更麻烦的是，现有 WAM（如 DreamZero、LingBot-VA）大多直接改造通用视频生成骨架：这类骨架为『描述性提示下视觉可信的合成』优化，整段生成而非因果预测，且网络视频含有动画、特效、剪辑转场等非物理内容，与『指令驱动、动作相关、因果闭环』的机器人控制需求系统性错位。
本文的目标是本文要验证一个核心假设：大规模因果具身视频预训练能显著提升机器人策略的零样本泛化能力。具体目标有四：(1) 把超过 12 万小时、无动作标注的人类自我中心视频与机器人视频转化为可迁移的物理与因果先验，并证明其收益随数据量单调增长；(2) 通过统一的跨本体状态-动作表示，把 DROID、AgiBot、Galaxea、RoboMIND2-Franka 四类异构本体约 6 千小时轨迹接入同一模型，让视频先验接地为可执行控制；(3) 让 5B 量级的生成式世界模型在单张 NVIDIA RTX 4090 上以 30 Hz（33 ms 闭环延迟）驱动真机闭环控制，消除生成式 WAM 的反应性鸿沟；(4) 在自建 12 个零样本真机任务和 LIBERO-Plus、RoboTwin 2.0、RoboCasa365 三个仿真基准上，用受控的数据消融量化每类数据源的独立贡献。
与已有工作不同的是，本文的独特切入有三层。其一，不同于直接改造通用视频生成器的既有 WAM 路线，ZimaBlue 主张『为机器人专门做具身视频预训练』：先在精心筛选的第一人称与机器人视频上学习因果视觉动力学（而非从通用合成底座直接 retrofit），再用少量带动作数据接地，从源头避开网络视频的非物理内容与描述性提示偏差。其二，作者设计了一套受控数据金字塔实验——基线（仅 DROID 后训练）、+6K 跨本体数据、+60K/+120K 自我中心视频四个配置共享完全相同的后训练数据与优化日程，把『视频规模』这一变量干净地隔离出来，这是此前 WAM 工作少有的严谨做法。其三，针对生成式 WAM 推理慢的通病，提出异步 Slow-Fast 双系统：5B 慢系统做世界建模、0.5B 快系统复用其逐层视频 K/V 缓存做高频动作生成，把『看得远』与『动得快』解耦到两个时间尺度上，而不牺牲信息流通。
核心方法
直觉上，机器人缺的不是策略网络结构，而是『世界在动作下如何演变』的物理常识，而这些常识可从海量无动作视频中廉价获得。ZimaBlue 的技术路线是一条三级数据金字塔课程。底座是视频预训练：把文生视频扩散模型 Wan2.2-TI2V-5B 改造成因果视觉动力学模型，在超过 12 万小时的自我中心人类视频和机器人视频上仅用视频流匹配损失 $\mathcal{L}_{vid}$ 训练，学会根据历史画面与指令预测未来画面。中层是视频-动作中期训练：引入四类本体约 6 千小时轨迹，把状态与动作统一映射到 100 维语义接口，联合优化 $\mathcal{L}^{S}_{sup}=\lambda_{vid}\mathcal{L}_{vid}+\lambda_{act}\mathcal{L}_{act}$，使视觉表征携带运动信息。顶层是目标本体后训练：先在目标域专精 5B 慢分支（DROID 上 60K 步），再冻结慢分支、以动作-only 目标训练 0.5B 快分支（160K 步），最后经 DMD 蒸馏与编译加速部署。三阶段各用其数据之长：视频给世界知识、跨本体数据给动作接地、目标演示给精确控制。
核心创新是把『可扩展的具身视频』当作机器人泛化的第一扩展轴，并用世界动作模型的联合预测目标把视觉理解与动作后果显式绑定——VLA 用动作监督同时承担『学控制』和『学物理常识』两种职责，ZimaBlue 则让视频承担常识、动作数据只负责接地。技术上最关键的设计是 Slow-Fast 双系统：5B Slow DiT 以因果注意力联合预测未来视频潜变量和动作 token（动作监督仅作对齐辅助），并缓存每层的视频 K/V 特征；0.5B Fast DiT 在对自身观测、状态与动作 query 做自注意力的同时，交叉注意力到 Slow 前 12 层的 K/V 缓存，从而在 33 ms 内借用大世界模型的时空表征而不必显式生成未来视频。动作表示采用『块相对几何』：以动作块首帧本体感知位姿 $(p_0,R_0)$ 为锚，目标位姿变换为 $\Delta p_h=R_0^{-1}(p_h-p_0)$、$\Delta R_h=R_0^{-1}R_h$（6D 旋转格式），配合 100 维语义槽位与有效性掩码对齐异构本体。
方法步骤详情
第一阶段（视频预训练）：数据来自 EPIC-KITCHENS、EgoDex、Egocentric-100K、DROID、AgiBot、Galaxea 等公开源加自有自我中心视频，先广谱后聚焦操作类子集做两段课程；样本统一为『三行垂直画布』三视角接口，缺失视角由掩码屏蔽；视觉轨迹为 33 帧、动作流为 24 步空占位；用块因果教师强制注意力，干净块作上下文、噪声块做去噪目标，仅优化视频流匹配损失。第二阶段（中期训练）：每个样本含多视角视频、本体状态、24 步动作块与语言指令四模态，采样窗口严格限于语言一致片段；视频与动作噪声水平在同一去噪步内耦合，联合优化 $\mathcal{L}^{S}_{sup}$，无效坐标被掩码排除。第三阶段（后训练）：先在目标域专精 Slow（DROID 上 60K 步），再冻结 Slow 训练 Fast（160K 步）——随机采样时间偏移 $\delta$，Fast 用更新后的观测预测移位动作块，前缀教师强制保持连续性，即训练时 RTC。部署时 Slow/Fast 异步并发，DMD 先蒸馏 Slow 再蒸馏 Fast，各从 8 步压到 2 步。
技术新颖性
与 DreamZero、LingBot-VA 直接改造通用视频扩散骨架不同，ZimaBlue 把『具身因果视频预训练』立为独立阶段，并用两段视频课程（先广谱、后操作聚焦）主动规避网络视频的非物理内容。与 imagine-then-act（先生成未来画面再用逆动力学恢复动作）范式不同，其视频与动作 token 在同一 DiT 内互相注意、联合去噪，避免了生成-观测失配与开环漂移。双系统思想虽与 AHA-WAM 的『低频视频规划器+高频动作执行器』同源，但耦合机制更直接：以逐层 K/V 缓存注入自注意力传递视觉动力学，且 Fast 训练内嵌 RTC（随机偏移+干净前缀），使训练分布与异步闭环执行分布对齐。统一 100 维语义状态-动作槽位加有效性掩码也是工程亮点：单臂 DROID 仅激活 17 个有效坐标，与带 torso、底盘、灵巧手的双臂本体共享同一模型。方法论上最有价值的是四级累进配置加相同后训练日程的受控消融，首次干净地量化了视频预训练的边际收益（扰动场景 +22.5 个百分点）。
实验结果
真机零样本实验（12 个 Franka 任务，每任务 10 次）显示单调扩展趋势：仅 DROID 后训练的基线 36.1%；+6K 跨本体数据升至 46.1%；+60K 自我中心视频达 66.9%；+120K 达 77.8%（标准 87.9%/扰动 57.5%），大幅超过 π0.5（54.4%）与 DreamZero（53.6%）。细粒度看，跨本体数据对接触密集任务收益最大：关微波炉 0/10→9/10；视频数据主要提升视觉鲁棒性：碗堆叠 2/10→7/10、面包转移 4/10→10/10，且 60K 到 120K 标准集仅 +5.0 而扰动集 +22.5，可见视频扩展对分布偏移最有效。双系统消融：Slow 63.9% @ 449.6 ms；异步双系统 77.8% @ 145.6 ms；蒸馏+编译 75.0% @ 33.0 ms（加速 13.6 倍）。仿真上 LIBERO-Plus 零样本 86.7%、SFT 92.0% 均居首；RoboTwin 2.0 平均 94.5% 第一；RoboCasa365 平均 49.5%，Unseen 组合任务 16.5% 为次优 WAM 的两倍多。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 真机零样本操作（12 任务：8 标准 + 4 扰动，Franka 7-DoF） | 任务宏平均成功率 | 77.8%（标准 87.9% / 扰动 57.5%） | π0.5：54.4%；DreamZero（14B）：53.6% | +23.4 pp（对 π0.5）；数据从 300 小时扩到 12 万小时时从 36.1% 提升至 77.8% |
| LIBERO-Plus 零样本迁移（7 类扰动） | 平均成功率 | 86.7% | 次优 InternVLA-A1.5：85.8% | +0.9 pp，7 个维度中 5 个排名第一 |
| LIBERO-Plus 监督微调（SFT） | 平均成功率 | 92.0% | 次优 CAC-VLA：90.1% | +1.9 pp；相机视角从 58.1% 跃升至 95.4% |
| RoboTwin 2.0 双臂操作（50 任务，每任务 100 次试验） | Clean / Randomized 平均成功率 | 94.5%（94.7 / 94.3） | 最强 WAM 基线 ABot-M0.5：94.1%（94.0 / 94.2） | +0.4 pp；Clean 与 Randomized 差距仅 0.4 pp |
| RoboCasa365（50 任务，365 任务 / 2500 厨房环境） | 试验加权 Overall 成功率 | 49.5%（Composite-Unseen 16.5%） | 最强 WAM ABot-M0.6：46.6%（Unseen 7.9%）；最强 VLA Xiaomi-Robotics-1：57.4%（10 万小时真机数据） | 对 ABot-M0.6 +2.9 pp，Composite-Unseen 翻倍；仅在用 16 倍真机数据的 VLA 之下 |
| 闭环推理延迟（NVIDIA RTX 4090） | 端到端闭环延迟 | 33.0 ms（DMD 蒸馏 + 编译的异步双系统，30 Hz 控制） | Slow 单系统（8 步）：449.6 ms | 13.6 倍总加速（异步 3.1 倍 + 蒸馏编译 4.4 倍），精度仅降 2.8 pp |
局限与改进
作者承认的局限：一是 LIBERO-Plus 零样本下相机视角扰动仅 58.1%，远低于其他维度，说明预训练数据视角多样性不足，需任务微调才升至 95.4%；二是尽管标准套件达 87.9%，扰动套件单任务只有 5/10-7/10，剩余失败分为『已到正确中间态但无法推进』和『目标偏移、丢接触、被桌布带偏』两类局部交互错误，表明需要进度感知的重规划与更快的 corrective 控制；三是每任务仅 10 次试验，单任务结果有采样噪声。我自己的观察：其一，真机实验局限于单一 Franka 平台与 12 个任务，跨本体真机零样本并未验证；其二，12 万小时中含相当比例的自有视频且占比未披露，扩展曲线的独立可复现性打折；其三，基线初始化自 Wan2.2-TI2V-5B（网络视频底座），未消融通用底座与具身课程各自的贡献；其四，蒸馏损失 2.8 pp 且扰动集从 57.5% 降到 55.0%，速度-精度权衡仍存在；其五，Composite-Unseen 绝对值 16.5% 仍很低，长时程组合泛化远未解决。
独立分析的弱点
独立分析出的弱点与改进方向：(1) 真机评估规模小——12 任务×10 次试验，宏平均对单任务波动敏感，且未覆盖非 DROID 本体，改进方向是扩大多本体真机评估并报告置信区间。(2) 视角泛化薄弱——零样本相机扰动 58.1% 暴露预训练视角偏置，可在视频课程中加入渲染视角增广或多视角自监督对齐。(3) 扰动场景成功率上限 57.5%——失败集中在交互后期的局部误差（目标偏移、丢接触、被桌布带偏），可引入基于世界模型的进度估计与失败检测，触发局部重规划而非整块重推。(4) 蒸馏代价——13.6 倍加速伴随 2.8 pp 精度损失，扰动集降 2.5 pp，可探索动作感知的蒸馏目标，或对 Fast 分支单独保留更多去噪步。(5) 长时程组合泛化差——Composite-Unseen 仅 16.5%，缺少显式子任务分解与验证机制，可结合高层推理模块或 LLM 规划器生成子目标并用世界模型逐段验证。(6) 数据不透明——自有视频的规模、质量过滤标准未公开，限制社区复现与公平比较，建议发布数据配方或开源替代混合。
未来方向
作者提出四个方向：一是最优先扩展评测——发展多本体、丰富任务套件的基准，以充分压力测试模型真实能力；二是沿数据与模型两维继续扩展预训练，纳入更大更多样的自我中心人类视频并扩大模型容量，打造真正通用的物理感知基础模型；三是引入更高层推理模块，通过分层规划与动态自校正解锁复杂长时程任务；四是走向上下文学习——把物理演示直接作为提示输入，让机器人在推理时内化并执行新行为而完全无需梯度更新。基于本文成果还可延伸：把 Slow 世界模型用作测试时规划器（MPC 式想象 rollout 用于动作选择与失败预判）；将触觉等接触传感接入统一状态接口以改善接触密集任务；拟合视频预训练规模的 scaling law（本文 300 小时→6,000→60,000→120,000 小时对应 36.1%→46.1%→66.9%→77.8% 的曲线可外推更大数据量的收益）；以及把 Fast 分支泛化为可插拔的轻量执行头，服务不同本体与控制频率。
复现评估
复现条件中等偏上但门槛不低。开源情况：论文给出项目主页与代码仓库（zimablue-wam.github.io，github.com/ZimaBlue-WAM/ZimaBlue），基础模型 Wan2.2-TI2V-5B 公开；训练数据绝大多数来自公开数据集（EPIC-KITCHENS、EgoDex、Egocentric-100K、DROID、AgiBot、Galaxea、RoboMIND2 等），但包含『大量自有自我中心视频』且规模未披露，是最主要的复现缺口。算力：5B Slow 加 0.5B Fast、12 万小时视频预训练加两阶段 DMD 蒸馏，需要多节点高端 GPU 集群，小实验室难以完整复现预训练，更现实的路径是复用公开检查点做后训练。工程细节相对充分：100 维槽位表、块相对动作几何、三视角画布、训练步数（Slow 60K、Fast 160K）、8 步推理与 DMD 超参（$\sigma\sim U(0.02,0.98)$、假分数与生成器 5:1 更新比）都有交代。真机复现需 Franka 7-DoF 加三个相机，属中高门槛；三个仿真基准均可公开获取，结果较易独立验证。
论文图表
左图为数据扩展曲线：真机零样本成功率随训练数据从特定本体 300 小时（36.1%）→ 跨本体 6,000 小时（46.1%）→ 加入自我中心视频 60,000 小时（66.9%）→ 120,000 小时（77.8%）单调上升，并与 π0.5 的 54.4% 对比；右图为加速曲线：闭环延迟经双系统（146 ms）、逐步蒸馏（47 ms）、编译优化（33 ms）从 450 ms 降至 33 ms，总加速 13.6 倍。
这是全文核心论点的视觉摘要：一张图同时呈现『视频数据扩展带来单调收益』和『生成式 WAM 可以实时部署』两大主张，是理解论文价值的最快入口。