DreamDojo：基于大规模人类视频的通用机器人世界模型 DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos
用44k小时人类视频预训练机器人世界模型，实现零样本泛化
前置知识
世界模型 (World Model)
世界模型是一种能够根据给定动作预测未来状态的模型。形式化地说，给定动作 $a \in \mathcal{A}$，世界模型作为状态转移函数采样下一状态 $s_{t+1} \sim p(\cdot | s_t, a_t)$，其中 $p: \mathcal{S} \times \mathcal{A} \to \Delta(\mathcal{S})$ 是转移分布。在机器人领域，世界模型通过视频帧来表示未来状态，使机器人能够在部署前模拟动作后果，从而加速策略学习和评估。
理解世界模型的概念是本文的核心，DreamDojo的目标就是构建一个能够泛化到未见场景的通用机器人世界模型
视频扩散模型 (Video Diffusion Model)
基于扩散过程的视频生成模型，通过逐步去噪生成高质量视频。本文基于的Cosmos-Predict2.5是一个潜在视频扩散模型，使用WAN2.2 tokenizer在连续潜在空间中操作，采用DiT（Diffusion Transformer）架构，通过流匹配损失（flow matching loss）$\mathcal{L}_{flow}(\theta) = \mathbb{E}_{x,\epsilon,c,t} \|u(x_t, t, c; \theta) - v_t\|^2$ 进行训练，其中 $v_t = \epsilon - x$ 是真实速度。
DreamDojo在此基础上进行改进，加入了动作条件化和时序一致性损失
潜动作 (Latent Action)
从视频中自监督提取的连续动作表示。潜动作模型作为VAE使用时空Transformer架构，编码器接收两帧 $f_{t:t+1}$ 提取时空特征并投影到低维嵌入 $\hat{a}_t$，解码器接收嵌入和前一帧预测后续帧。通过信息瓶颈设计自动解耦关键动作信息。训练目标为 $\mathcal{L}_{pred}(f_{t+1}) = \mathbb{E}_{q_\varphi(\hat{a}|f_{t:t+1})} \log p_\theta(f_{t+1}|\hat{a}, f_t) - \beta D_{KL}(q_\varphi(\hat{a}|f_{t:t+1}) \| p(\hat{a}))$，其中 $\beta = 10^{-6}$。
潜动作是解决人类视频缺乏动作标签的关键创新，实现了跨具身的动作迁移
流匹配损失 (Flow Matching Loss)
一种训练扩散模型的目标函数，通过最小化预测速度与真实速度之间的误差来学习数据分布。给定噪声污染的视频潜在表示 $x_t$ 在时间步 $t$，流匹配损失为 $\mathcal{L}_{flow}(\theta) = \mathbb{E}_{x,\epsilon,c,t} \|u(x_t, t, c; \theta) - v_t\|^2$，其中 $v_t = \epsilon - x$ 是噪声 $\epsilon$ 和干净样本 $x$ 之间的差值。这种方法比传统的去噪扩散更直接地建模速度场。
Cosmos-Predict2.5使用此损失训练，DreamDojo在此基础上添加了时序一致性损失
蒸馏 (Distillation)
将大型教师模型的知识压缩到小型学生模型的过程。本文采用Self Forcing范式，分两阶段：1）暖化阶段，学生预测回归教师ODE解 $\mathcal{L}_{warmup} = \mathbb{E}_{x,t} \|G_{student}(x_t, t) - x_0\|^2$；2）蒸馏阶段，用学生自己的生成构建上下文，通过KL散度分布匹配损失 $\mathcal{L}_{distill} = D_{KL}(p_{teacher} \| p_{student})$ 进行监督。学生将双向注意力替换为因果注意力，去噪步数从50步减少到4步。
蒸馏使模型达到实时推理速度10.81 FPS，解锁了实时遥操作等应用
自回归生成 (Autoregressive Generation)
逐帧生成视频的方式，每一步的输出作为下一步的输入。与双向注意力的扩散模型不同，自回归模型使用因果注意力，能够实时流式生成。在DreamDojo中，蒸馏后的学生模型以滑动窗口大小12帧的因果注意力自回归生成，每次预测4帧（对应一个潜在帧），能够处理任意长度的预测。
自回归架构使模型能够进行实时交互，支持在线遥操作和基于模型的规划
研究动机
现有的机器人世界模型主要局限于分布内设置，在泛化到未见物体和新环境方面表现不佳。根本原因在于大多数数据集只覆盖相对狭窄的分布，包含有限的动词、物体和环境，从而限制了交互模式的广度。现有最大的机器人数据集如DROID仅有350小时、86种技能、564个场景，而AgiBot-World有2,900小时、87种技能、106个场景。这些数据规模远不足以覆盖真实世界中近乎无限的环境变化。此外，现有数据集主要由专家演示组成，缺乏学习强动作可控性所需的意图随机性。因此，现有视频世界模型只能模拟已观测的设置，对反事实动作往往无响应，限制了其在多样化场景和复杂任务中的应用。
本文的目标是本文的目标是构建DreamDojo，一个面向开放世界灵巧机器人任务的基础世界模型。具体目标包括：1）利用大规模人类视频进行预训练，学习多样化的物理交互知识；2）引入连续潜动作作为统一的代理动作标签，解决人类视频缺乏动作标注的问题；3）通过蒸馏实现实时推理，支持实时遥操作和在线模型规划；4）在多个分布外基准测试上验证模型的泛化能力，实现零样本迁移到未见物体和新环境。
与已有工作不同的是，与现有方法相比，DreamDojo的独特切入角度体现在三个层面。首先在数据层面，本文不像以往工作那样依赖机器人遥操作数据，而是利用人类第一视角视频进行预训练，尽管存在具身差异，但交互过程中的底层物理在人与机器人之间基本一致。其次在动作表示层面，本文不使用手工提取的2D骨架或MANO手部姿态，而是采用连续潜动作作为统一代理，这种自监督方法能够跨具身迁移，且在数据扩展到互联网级别时仍能保持高效的知识转移。最后在推理层面，本文不仅关注生成质量，还通过蒸馏实现实时交互，使世界模型真正可用于下游应用。
核心方法
DreamDojo的整体思路可以概括为三个阶段流水线：大规模人类视频预训练、潜动作代理、蒸馏加速。直觉上，人类在日常活动中积累了丰富的物理交互经验，这些经验可以迁移到机器人。然而，直接使用人类视频面临两个挑战：缺乏动作标签和具身差异。本文的解决方案是，首先训练一个潜动作模型从视频帧对中提取连续动作表示，这些潜动作作为统一的代理标签；然后在大规模人类视频上预训练世界模型，学习物理知识和动作可控性；接着在目标机器人的小规模数据上进行后训练，适应新的动作空间；最后通过蒸馏将模型加速到实时速度。技术路线上，本文基于Cosmos-Predict2.5预训练模型，通过相对动作变换、分块动作注入和时序一致性损失进行架构改进，最终实现了一个能够泛化到未见场景的通用机器人世界模型。
本文的核心创新在于使用连续潜动作作为跨具身的统一动作代理。与已有方法的本质区别体现在：1）相比2D骨架方法（如VAP），潜动作能够捕获超越手部的动作信息，包括手臂运动和全身移动，且对遮挡和相机运动更鲁棒；2）相比MANO手部姿态，潜动作不依赖特定的人体模型，能够统一表示不同具身的动作；3）相比无动作预训练，潜动作保留了视频观测与动作之间的因果关系，显著提升了动作可控性。在架构上，本文提出了两个关键设计：一是将绝对关节姿态转换为相对动作，通过每4个时间步重新基线化来减少建模复杂度；二是将动作作为分块注入到对应的潜在帧，而非作为全局条件，这遵循了因果性原则，观测未来动作无助于当前时间步的预测。
方法步骤详情
DreamDojo的完整方法包括以下步骤：第一步，训练潜动作模型。这是一个700M参数的时空Transformer，包含24个编码器块和24个解码器块，潜在动作维度为32。编码器接收两帧，提取时空特征并投影到低维嵌入；解码器接收嵌入和前一帧预测后续帧，通过重建损失和KL散度训练，beta设为10的-6次方。在44k小时人类视频和机器人数据上训练40万步，批量大小256。第二步，预训练世界模型。基于Cosmos-Predict2.5初始化，在In-lab、EgoDex和DreamDojo-HV的混合数据上预训练14万步，采样比例为1:2:10。视频帧中心裁剪并调整为640x480分辨率，组织为长度13的序列。动作通过轻量MLP投影到与时间步嵌入匹配的维度，最后一层初始化为零以避免扰动预训练状态。使用AdamW优化器，权重衰减0.1，学习率1.6乘以10的-4次方，在256块H100 GPU上训练。训练目标为流匹配损失加上lambda乘以时序一致性损失，其中lambda为0.1。第三步，后训练。在目标机器人数据上微调，重新初始化动作MLP第一层，以约10Hz采样，在128块H100 GPU上训练5万步。第四步，蒸馏。初始化自回归学生模型，将双向注意力替换为因果注意力，去噪步数减少到4步。暖化阶段生成1万条ODE轨迹训练1万步；蒸馏阶段学生随机生成13-49帧，计算最后13帧的损失，训练3千步。最终模型以640x480分辨率、10.81 FPS实时运行。
技术新颖性
DreamDojo的技术新颖性体现在多个方面。首先，这是第一个利用如此大规模人类视频（44k小时）进行机器人世界模型预训练的工作，数据规模比以往最大的数据集大15倍，技能种类多96倍，场景多2000倍。其次，连续潜动作作为统一代理动作的方案具有独特优势：它不需要额外的动作捕捉设备，能够自监督地从任意视频中提取动作信息，且在信息瓶颈设计下自动解耦关键动作特征。在架构上，相对动作变换和分块动作注入的设计遵循了因果性原则，这是以往工作未充分考虑的。时序一致性损失通过监督帧间转换直接学习物体动力学，而非独立监督每帧。最后，基于Self Forcing的蒸馏流水线通过让学生生成比教师更长的序列来最小化训练-测试分布差异，显著提升了长程一致性。
实验结果
本文的实验结果验证了DreamDojo在多个维度的有效性。在动作条件化实验中（表2），潜动作预训练在In-lab Eval上达到PSNR 20.913、SSIM 0.776、LPIPS 0.219，在EgoDex Eval上达到PSNR 20.344、SSIM 0.790、LPIPS 0.214，接近使用地面真实动作的理想设置（In-lab上PSNR 20.960，EgoDex上PSNR 20.474），且显著优于无动作预训练和无预训练基线。在数据混合实验中（表3），逐步增加人类数据从In-lab到In-lab+EgoDex再到完整混合，在所有基准上都带来一致提升，最终DreamDojo-14B在Counterfactual Eval上达到PSNR 21.087、SSIM 0.793、LPIPS 0.185。人类偏好评估（表4）显示，DreamDojo-14B在物理正确性上以73.50%胜率超过Cosmos-Predict2.5，动作跟随以72.55%胜率超过基线，DreamDojo-2B也以62.50%和63.45%的胜率显著优于基线。在架构消融实验中（表5），相对动作变换将PSNR从16.199提升到16.522，分块注入进一步提升到17.626，时序一致性损失最终达到17.630。在反事实评估上，所有设计改进都带来一致提升，最终达到PSNR 20.980。蒸馏结果（表6）显示，学生模型以10.81 FPS运行，比教师的2.72 FPS快近4倍，同时保持接近的性能。在策略评估应用中，DreamDojo的成功率与真实世界成功率呈强线性相关（Pearson r = 0.995），排名一致性极高（MMRV = 0.003）。在基于模型的规划中，使用DreamDojo比最佳模型检查点提升17%的成功率，比均匀采样提升近2倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 动作条件化效果（In-lab Eval） | PSNR/SSIM/LPIPS | 潜动作: 20.913/0.776/0.219 | 无预训练: 20.576/0.774/0.222, 无动作: 20.797/0.773/0.222 | PSNR提升0.337，接近地面真值动作的20.960 |
| 动作条件化效果（EgoDex Eval） | PSNR/SSIM/LPIPS | 潜动作: 20.344/0.790/0.214 | 无预训练: 19.952/0.787/0.219, 无动作: 19.924/0.783/0.222 | PSNR提升0.392，接近MANO动作的20.474 |
| 人类偏好评估（vs Cosmos-Predict2.5） | 物理正确性/动作跟随胜率 | DreamDojo-14B: 73.50%/72.55% | Cosmos-Predict2.5 | DreamDojo-2B也达到62.50%/63.45% |
| 架构消融（GR-1 Val） | PSNR/SSIM/LPIPS | 全部设计: 17.630/0.622/0.266 | 基线: 16.199/0.557/0.315 | PSNR提升1.431，SSIM提升0.065 |
| 蒸馏速度与质量 | FPS/PSNR/SSIM/LPIPS | 学生: 10.81 FPS, 13.146/0.379/0.485 | 教师: 2.72 FPS, 14.086/0.442/0.412 | 速度提升4倍，性能接近教师 |
| 策略评估相关性 | Pearson r / MMRV | r = 0.995, MMRV = 0.003 | 随机评估 | 极强的线性相关和排名一致性 |
| 基于模型的规划 | 成功率提升 | 使用DreamDojo规划 | 最佳检查点/均匀采样 | 比最佳检查点提升17%，比均匀采样提升2倍 |
局限与改进
尽管DreamDojo展示了显著改进，但仍存在多方面局限性。作者承认的局限包括：1）在模拟不常见动作（如拍打、快速挥手）时表现仍不完美，说明对长尾动作分布的覆盖有限；2）在策略评估中，DreamDojo生成的绝对成功率往往高于真实世界对应值，表明在准确生成微妙失败方面存在局限；3）模型不自然支持多视角模拟，而这对最先进的策略至关重要；4）预训练知识保留的深度尚未充分研究。从我的观察来看，还存在以下问题：1）计算资源需求巨大，预训练需要256块H100 GPU，蒸馏需要64块H100 GPU，这对大多数研究团队来说是难以承受的；2）评估主要在Fourier GR-1人形机器人上进行，对其他机器人形态（如机械臂、四足机器人）的泛化能力需要进一步验证；3）潜动作模型使用700M参数，且需要在所有数据上训练40万步，这本身就是一个相当大的训练开销；4）人类偏好评估只有12名志愿者，样本量较小，可能存在评估偏差；5）实时遥操作演示仅展示了G1机器人，实际部署中的鲁棒性和可靠性有待更多验证。
独立分析的弱点
DreamDojo存在几个值得深入分析的弱点。首先，在长尾动作分布覆盖方面，模型对常见交互（如抓取、放置）表现良好，但对罕见动作（如拍打、快速挥手）的模拟质量下降。改进方向可以是利用策略生成的轨迹来扩展动作分布，或者采用主动学习策略来识别和补充模型薄弱的动作类型。其次，策略评估中的成功率高估问题表明模型在生成微妙失败场景方面存在系统性偏差。这可能是因为训练数据中成功演示占主导，模型倾向于生成看起来合理的轨迹。可以通过引入失败案例的数据增强或在训练中显式监督失败模式来缓解。第三，单视角限制了模型在需要空间推理的任务中的应用。扩展到多视角需要重新设计tokenizer和注意力机制，同时需要收集多视角数据。第四，潜动作的语义可解释性有限，虽然图3展示了跨具身的动作检索，但32维连续向量的具体物理含义难以直观理解。可以探索更结构化的潜动作表示，如将动作分解为方向、力度、速度等可解释维度。
未来方向
作者提出的未来方向包括：1）利用策略生成的轨迹来扩展动作分布覆盖；2）通过工程优化（如FlashAttention、量化）进一步提升推理速度；3）探索LoRA等参数高效微调策略以更好地保留预训练知识。基于本文成果可延伸的方向包括：1）将DreamDojo与强化学习结合，用世界模型作为模拟器进行策略训练，实现sim-to-real迁移；2）扩展到多机器人协作场景，利用潜动作的跨具身特性实现异构机器人的统一动作空间；3）结合语言指令进行条件生成，实现更精细的任务控制；4）探索世界模型在安全验证中的应用，在部署前模拟潜在的危险场景；5）将框架扩展到动态环境中的导航和移动操作，需要加入本体感觉和地形信息；6）研究潜动作与机器人技能发现的关系，可能实现自动化的技能库构建。
复现评估
从复现角度来看，DreamDojo的复现面临显著挑战。数据方面，DreamDojo-HV是内部数据集，未公开发布，这使得完整复现预训练过程不可能。EgoDex是公开数据集（829小时），In-lab数据（55小时）也是内部收集的。模型方面，Cosmos-Predict2.5是NVIDIA的预训练模型，其权重和训练细节可能不完全公开。潜动作模型的架构和训练细节在论文中有较详细描述，但700M参数的模型训练40万步需要大量计算资源。算力需求方面，预训练需要256块H100 GPU训练14万步，后训练需要128块H100 GPU训练5万步，蒸馏需要64块H100 GPU，这对大多数研究机构来说是难以承受的。代码方面，论文提供了项目主页dreamdojo-world.github.io，但未明确说明是否会开源代码。总体而言，完整复现DreamDojo需要访问大规模内部数据集和大量计算资源，但论文的方法论和架构设计可以为后续研究提供有价值的参考。
论文图表