Dream.exe：视频生成模型能否生成可执行的机器人操作？ Dream.exe: Can Video Generation Models Dream Executable Robot Manipulation?

Dream.exe方法的完整步骤包括四个阶段。第一阶段是视频生成，每个模型接收初始场景图像和任务提示并生成操作视频，对于Level 1和Level 2任务生成短片段，对于Level 3多阶段任务生成较长视频以适应扩展的任务地平线。第二阶段是视觉质量评估，生成视频在轨迹提取前进行评分以表征视觉稳定性、物理合理性和任务遵守，使用两个视觉语言模型评判器以及人工评估协议。第三阶段是视频到轨迹提取和评估，包含五个步骤：区域掩码初始化在第一视频帧识别末端执行器和被操作物体的空间区域；二维点跟踪在区域内采样查询点并使用CoTracker跨所有视频帧跟踪；深度估计和三维提升使用DVD模型估计视频深度并用标定后的末端执行器运动将每个有效跟踪像素转换为世界坐标系中的三维点；末端执行器轨迹提取从提升后的点集估计每帧视觉中心，通过源自初始状态的标定将其转换为控制器参考点轨迹；夹爪感知动作组装从末端执行器轨迹和被操作物体轨迹之间的相对运动推断夹爪打开和关闭时间表。第四阶段是机器人执行和评估，提取的动作流在MuJoCo中通过robosuite控制框架在Franka Panda机器人上执行，场景在每次试验前恢复到精确的初始状态，执行以闭环方式进行。

本文的技术新颖性体现在多个方面。首先，Dream.exe是首个以物理模拟器中的任务执行成功为主要标准的视频生成模型基准测试，填补了现有评估仅关注感知质量的空白。其次，提出的视频到轨迹提取管道是首个将纯生成的机器人操作视频转换为可执行七自由度动作流的完整解决方案，这需要解决二维到三维提升、控制器标定、夹爪状态推断等多个技术挑战。第三，作者构建了包含101个手动策划的任务套件，按照三个难度级别分层，覆盖从单对象原子操作到多阶段复合任务的物理复杂性谱系，为测试不同方面的物理知识提供了系统框架。第四，实验设计包含了8个代表性模型，覆盖了前沿闭源生成器、开源生成器和机器人特定策略模型，并深入分析了视觉质量与可执行性之间的关系、机器人特定训练的影响、领域内微调的效果等多个重要问题，为社区提供了对视频生成模型物理知识的全面理解。

从独立分析的角度来看，本文存在几个具体弱点。首先，视频到轨迹提取管道依赖于多个独立的组件，每个组件的误差会累积传播，管道的整体可靠性受到最弱环节的限制。特别是深度估计在机器人手部周围的小误差可能导致大的轨迹误差，这是一个关键的薄弱环节。其次，管道对视频质量非常敏感，生成的视频中的任何伪影都会直接传播到轨迹提取并导致执行失败，这意味着管道的鲁棒性需要改进。第三，当前管道假设末端执行器和被操作物体在整个视频中保持可见，但在复杂场景中这并不总是成立，限制了方法的适用性。第四，夹爪状态推断依赖于相对运动线索，在物体滑动或被抓取物体与场景中其他物体同时运动等复杂交互中可能失效。改进方向包括开发端到端的可微分视频到轨迹学习框架，减少对多个独立组件的依赖；改进深度估计模型，特别是在机器人手部周围的精度；开发更鲁棒的跟踪算法，能够处理部分遮挡和临时消失；设计更复杂的夹爪状态推理模型，利用语义和上下文信息。第五，评估套件虽然包含101个任务，但仍然相对有限，无法覆盖机器人操作的完整谱系。改进方向是扩展评估套件的多样性和规模。

作者提出和基于成果可延伸的未来研究方向包括：改进视频到执行管道的组件，特别是深度估计和轨迹跟踪；开发新的视频生成模型，专门针对物理可执行性进行优化；探索将视频生成模型与机器人学习更深度集成的架构，如将执行反馈纳入视频生成过程；扩展评估套件以覆盖更多样的机器人形态、任务类型和环境；在真实机器人上验证评估结果，弥合模拟与现实的差距；研究如何将执行成功信号反哺到视频生成模型的训练中，创建一个物理可执行性与视觉质量共同优化的循环。此外，基于本文发现视觉质量与可执行性之间缺乏相关性，未来工作可以探索新的模型设计原则，在保持视觉吸引力的同时确保物理正确性。另一个有前景的方向是研究长地平线任务的成功策略，这可能需要改进的规划、记忆和子目标推理能力。最后，随着视频生成模型的规模和复杂性继续增长，需要开发更系统的框架来评估其物理知识和因果理解，不仅限于机器人操作，还包括其他物理现象。

Dream.exe评估框架将开源，代码和评估协议将在指定仓库发布，这将支持社区在未来工作中复制和扩展评估。论文提供了详细的模型设置、生成参数和评估指标，使得其他研究团队能够在相同条件下测试他们的模型。使用的模拟环境RoboCasa365和robosuite都是开源框架，确保了任务场景的可重复性。然而，有几个因素影响完全复现的难度：五个闭源模型需要应用程序接口访问，其生成行为可能随时间变化；深度估计模型DVD使用机器人滚动视频微调，虽然论文提供了训练细节，但完全复现可能需要相同的训练数据和计算资源；人工评估协议虽然详细描述，但不同标注者可能产生不同结果；视觉语言模型评估依赖于特定的提示模板和评分标准，细微的变化可能影响分数。在算力方面，生成101个任务的视频并在模拟器中执行需要相当的计算资源，但大多数研究实验室应该能够承担。总体而言，本文的可复现性处于视频生成和机器人学习领域的平均水平，开源框架和详细描述使得主要结果可以被复现，但闭源模型的应用程序接口依赖和计算资源需求构成了一定障碍。