Dream2Flow：利用3D物体流作为中间接口连接视频生成模型与机器人控制系统实现零样本开放世界操作 Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow
提出3D物体流作为通用中间接口，将视频生成模型的视觉预测转化为机器人可执行动作，实现零样本开放世界操作
前置知识
光学流与场景流
光学流是相邻图像帧之间像素级别的运动场，表示每个像素点在图像平面上的位移向量。场景流是光学流在三维空间的扩展，不仅包含像素在图像平面的运动，还包含深度方向的运动信息，可以完整描述3D场景中点的运动轨迹。传统的光学流计算方法基于亮度恒定假设和空间平滑约束，而现代方法使用深度学习网络直接预测密集的运动场。在机器人操作中，场景流可以提供物体在3D空间中的运动信息，这对于理解交互和规划动作至关重要。场景流的估计通常需要RGB-D输入，通过匹配相邻帧的深度信息来推断3D位移。
本文的核心就是从生成的视频中提取3D物体流，这本质上是一种物体中心化的场景流表示。理解场景流的概念对于理解本文如何从2D视频重建3D运动轨迹至关重要。
轨迹优化与随机射击
轨迹优化是在给定动力学模型约束下，寻找最优控制序列使某个目标函数最小化的过程。在机器人控制中，这通常涉及预测模型和优化算法的配合。随机射击是一种简单的模型预测控制方法，它在每个时间步从动作空间中随机采样多个候选动作，使用预测模型评估每个动作的长期效果，然后选择最优的动作执行。这种方法不需要梯度信息，计算简单，适合非线性动力学模型。随机射击的采样策略、候选数量和评估准则都会影响优化效果。在本文中，随机射击用于Push-T任务的推力参数优化，需要采样多个推力位置和方向。
本文在模拟Push-T任务中使用随机射击作为优化方法来跟踪3D物体流，理解这个概念对于理解本文如何将抽象的物体轨迹转化为具体的机器人动作至关重要。
刚体抓取动力学模型
刚体抓取动力学模型假设被抓取的物体部分与机器人末端执行器形成刚性连接，该部分的运动完全由末端执行器的运动决定，而未被抓取的部分保持不变。这个模型的核心是将物体分为刚体运动和静止两部分，刚体运动部分的位置可以通过末端执行器的位姿变换来预测。在数学表示上，设被抓取的点的初始位置为p_i，经过刚体变换T后，新的位置为p_i'等于T乘以p_i，其中T是包含旋转和平移的4乘4齐次变换矩阵。这个模型忽略了物体的弹性变形和内部运动，适用于大多数刚体操作任务。在实际实现中，需要通过正向运动学将关节空间坐标转换为末端执行器位姿，然后应用刚体变换。
本文在真实机器人操作中使用刚体抓取动力学模型，理解这个模型对于理解本文如何实现轨迹跟踪以及为什么这种方法适用于某些任务但不适用于其他任务如可变形物体至关重要。
研究动机
现有视频生成模型虽然能够根据语言指令和初始图像生成高质量的交互视频，但这些视频通常以人类为中心，因为人类交互数据的丰富性远超机器人交互数据。这导致了一个核心问题，即如何将这些生成的人类交互视频转化为机器人可执行的低级动作。直接模仿人类动作面临本体差距和动作空间不匹配的挑战。例如，人类用手抓取面包的方式可能无法被固定基座的机械臂复现，因为机械臂的运动学约束和操作方式与人类手臂完全不同。此外，现有的方法要么依赖任务特定的演示数据，要么需要大量的训练时间，难以适应开放世界中不断变化的新任务和新环境。
本文的目标是本文的目标是提出一个通用且可扩展的接口，能够将预训练的视频生成模型的视觉预测转化为机器人可执行的动作，而无需任务特定的演示或训练。具体来说，给定一个语言指令如把面包放进碗里和一个初始RGB-D观测，系统应该能够自动生成机器人动作序列来完成该任务。这个系统需要能够处理多种类型的物体和操作策略，包括刚体、铰接物体、可变形物体和颗粒物体。系统还应该在模拟和真实世界环境中都能工作，并且能够适应不同的机器人本体，包括机械臂、四足机器人和人形机器人。
与已有工作不同的是，本文的独特切入点是将应该发生什么即环境中的状态变化与特定的本体如何实现它在运动学、动力学和形态学约束下的动作分离开来。与现有方法不同，本文不是直接模仿视频中的人类动作，也不是学习从视频到动作的端到端映射，而是重建和跟踪视频中物体的3D运动轨迹，然后让机器人通过轨迹跟踪来实现这些运动。这个分离使得系统可以利用先进的视频生成模型的物理先验知识，同时能够适应不同的机器人本体。
核心方法
Dream2Flow的整体思路非常直观。首先使用现成的图像到视频生成模型，根据语言指令和初始观测生成一个展示任务执行过程的视频。然后从视频中提取3D物体流作为中间表示，最后让机器人通过轨迹跟踪来实现这个物体流。这个流程的关键创新在于使用3D物体流作为连接高层视觉预测和底层机器人控制的接口。3D物体流是一个物体中心化的3D轨迹表示，包含任务相关物体在视频帧中的3D位置和可见性信息。相比于直接的像素级模仿或刚性变换跟踪，3D物体流能够更自然地捕获各种类型的物体交互，包括刚体平移旋转、铰接物体的关节运动、可变形物体的形变以及颗粒物体的流动。通过将任务形式化为物体轨迹跟踪问题，Dream2Flow可以无缝地与运动规划器和感觉运动策略集成，将提取的3D物体运动作为跟踪目标。
核心创新点是将3D物体流作为中间接口来桥接视频生成和机器人控制，并且将操作问题形式化为物体轨迹跟踪。与现有方法相比，这个方法的本质区别在于它不关注视频中的执行者通常是人的手，而是专注于被操作物体本身应该如何运动。这个分离消除了本体差距的影响，使得同一套方法可以适用于不同的机器人平台。具体来说，本文的贡献在于提出了3D物体流作为一种通用接口，能够适应刚体、铰接、可变形和颗粒等多种物体类型。本文还展示如何从生成的视频中重建3D物体流，包括视频生成、深度估计、物体定位、点跟踪和3D提升等技术组件。同时本文展示如何将3D物体流转化为机器人动作，包括轨迹优化和强化学习两种方法。最后本文系统地验证这个方法的有效性，包括在不同任务、不同本体、不同视频生成模型和不同动力学模型下的实验。
方法步骤详情
Dream2Flow的工作流程包含三个主要步骤。第一步是从视频中提取3D物体流。给定任务语言指令和初始RGB观测，使用现成的图像到视频生成模型如Veo3、Wan2.1或Kling2.1生成RGB视频。需要注意的是，不在初始帧中显示机器人，也不在文本提示中提及机器人，因为当前的视频生成模型通常会产生物理上不合理的精细交互。接着使用SpatialTrackerV2估计每帧的深度，由于单目视频的尺度移位模糊性，需要通过将第一帧与机器人的初始深度对齐来计算全局尺度和偏移，从而得到校准的深度。然后使用GroundingDINO从初始观测和指令中定位相关物体，产生边界框，再使用SAM2生成二进制掩码。从第一帧的掩码区域采样多个像素，使用CoTracker3跨视频跟踪这些点，得到2D轨迹和可见性。可见点使用校准的深度和相机内参外参提升到3D，产生3D物体流。第二步是动作推断。对于模拟Push-T任务，使用推力技能基元，参数为起始推力位置、单位推力方向和推力距离。学习一个前向动力学模型，输入特征增强的粒子，包含整个场景的位置、RGB颜色、法向量以及推力参数，输出每个点在下一个时间步的位置变化。为了优化3D物体流跟踪成本，使用随机射击，即采样多个推力技能参数，所有推力都会与感兴趣物体在不同点和方向接触，然后选择根据动力学模型预测的点位置成本最低的推力技能参数。对于真实世界任务，使用绝对末端执行器位姿作为动作空间和刚体抓取动力学模型。首先使用AnyGrasp提出候选抓取，然后使用HaMer检测视频中手的位置，选择最接近拇指的抓取点，因为视频中手倾向于与物体的相关部分交互。最后使用PyRoki优化目标函数，包含3D物体流跟踪成本和控制成本，包括可达性、位姿平滑性和可操作性。第三步是执行。对于模拟任务，直接在模拟器中执行规划的动作。对于真实世界任务，使用B样条拟合优化的末端执行器位姿，确保每个采样位姿距离前一位姿至少1厘米或旋转差异至少20度，然后使用PyBullet的IK求解器和Deoxys的关节阻抗控制器来执行。
技术新颖性
本文的技术新颖性体现在多个方面。首先，3D物体流作为一个统一的接口，能够处理多种类型的物体交互，这是对现有基于光流或刚性变换的方法的重要改进。传统的AVDC方法计算密集光流然后求解刚性变换，这对于可变形物体是不适用的。RIGVID方法使用6D物体位姿跟踪，也无法处理可变形物体。本文的3D物体流方法通过跟踪独立的3D点，能够自然地适应各种物体类型。其次，本文系统地研究了3D物体流作为视频到控制接口的各种属性，包括与替代接口的比较、关键设计选择以及泛化特性。这种系统性的研究是超越单纯技术贡献的重要工作。第三，本文展示了3D物体流不仅可以用于在线规划，还可以作为强化学习的奖励信号，训练出能够跨不同本体的策略。实验表明，使用3D物体流奖励训练的策略与使用手工制作的对象状态奖励训练的策略性能相当，这表明3D物体流可以作为通用的奖励信号。第四，本文全面评估了不同视频生成模型和动力学模型对Dream2Flow性能的影响，为未来的研究提供了有价值的指导。
实验结果
实验结果表明Dream2Flow在多种任务和设置下都取得了成功。在模拟Push-T任务中，使用Wan2.1作为视频生成模型，particle动力学模型，在100次试验中成功52次。失败的主要原因包括视频生成质量问题，即6个视频包含T块的显著变形、跟踪问题和优化不稳定。在真实世界任务中，使用Veo3作为视频生成模型，每个任务10次试验。Bread in Bowl任务成功8次，Open Oven任务成功8次，Cover Bowl任务成功3次。与替代接口相比，Dream2Flow在三个任务上都优于AVDC和RIGVID。Bread in Bowl任务AVDC成功7次，RIGVID成功6次，Dream2Flow成功8次。Open Oven任务AVDC成功0次，RIGVID成功6次，Dream2Flow成功8次。Cover Bowl任务AVDC成功2次，RIGVID成功1次，Dream2Flow成功3次。AVDC在跟踪面包方面做得还可以，但密集光流无法跟上烤箱的运动，导致运动不足。RIGVID在某些情况下只有很少的可见点，使得变换估计噪声很大。Dream2Flow受这个问题的影响较小，因为当大多数点被遮挡时通常不会有很大的成本，允许规划的末端执行器位姿在高点可见性区域之间平滑移动。Cover Bowl任务对所有方法都是挑战，因为除了视频生成和跟踪失败外，变换估计也是不正确的，因为点现在在可变形物体上。在Open Door任务的强化学习实验中，使用3D物体流奖励训练的SAC策略在不同本体上的性能与使用手工制作的对象状态奖励相当。Franka Panda上Object State奖励成功99次，3D Object Flow奖励成功100次。Spot上Object State奖励成功99次，3D Object Flow奖励成功100次。GR1上Object State奖励成功96次，3D Object Flow奖励成功94次。不同本体学习到的策略也不同。Spot可以移动基座以获得更好的可达性和运动学范围，GR1使用手指和手掌之间的区域来拉门，而不是单独的手指，以获得更好的稳定性。在视频生成模型的影响实验中，Wan2.1在Push-T任务上表现最好，成功52次，而Veo3在Open Oven任务上表现最好，成功8次。Kling2.1在Push-T任务上有更多包含显著变形的视频，导致跟踪失败，在Open Oven任务上倾向于产生更多包含显著相机运动的视频，违反了静态相机假设，并且产生视频中铰接方向不正确的情况，导致比Veo3更多的失败。在动力学模型的影响实验中，particle动力学模型在Push-T任务上成功52次，pose动力学模型成功12次，heuristic动力学模型成功17次。这表明particle表示对于动力学模型至关重要，尽管有相同的3D物体流指导，但基于pose和启发式的动力学模型无法充分说明所需的旋转。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Bread in Bowl | 成功率 | 8/10 | AVDC 7/10, RIGVID 6/10 | +14% vs AVDC, +33% vs RIGVID |
| Open Oven | 成功率 | 8/10 | AVDC 0/10, RIGVID 6/10 | +80% vs AVDC, +33% vs RIGVID |
| Cover Bowl | 成功率 | 3/10 | AVDC 2/10, RIGVID 1/10 | +50% vs AVDC, +200% vs RIGVID |
| Push-T (simulation) | 成功率 | 52/100 | Pose dynamics 12/100, Heuristic dynamics 17/100 | +333% vs Pose, +206% vs Heuristic |
| Open Door (RL, Franka) | 成功率 | 100/100 (3D Object Flow reward) | 99/100 (Object State reward) | +1% |
| Open Door (RL, Spot) | 成功率 | 100/100 (3D Object Flow reward) | 99/100 (Object State reward) | +1% |
| Open Door (RL, GR1) | 成功率 | 94/100 (3D Object Flow reward) | 96/100 (Object State reward) | -2% |
局限与改进
作者承认Dream2Flow存在几个局限性。首先，它依赖于真实世界操作的刚体抓取假设，限制了可以执行的任务类型。虽然本文展示了particle动力学模型可以用于其他类型的任务如非抓取推力，但在真实世界中训练和扩展particle动力学模型是非平凡的，可以作为未来的工作方向。另一个局限性是获取3D物体流的总处理时间取决于视频生成模型，在3到11分钟之间，这限制了它的可用性，主要的瓶颈是视频生成。此外，由于Dream2Flow依赖于生成视频中单个角度的观测，它不能优雅地处理严重的遮挡，例如当人手覆盖了小物体的绝大部分时。作者还指出了视频生成质量的问题。在60次真实世界试验中，有12次视频生成失败，其中一半时间生成的视频要么以不可信的方式使物体变形，要么产生新物体的幻觉，导致跟踪不合理地失败或使机器人将物体移动到不正确的3D位置。4次流提取失败是由于严重旋转或物体暂时离开相机视野导致的，导致最终没有可见性的轨迹。4次机器人执行失败发生在Bowl Covering任务中，机器人要么没有在正确的点抓取，要么没有移动足够。作者还注意到Cover Bowl任务对所有方法都是挑战，因为除了视频生成和跟踪失败外，变换估计也是不正确的，因为点现在在可变形物体上。我自己观察到的一个额外局限性是系统的处理时间较长，特别是视频生成阶段需要3到11分钟，这对于实时或近实时的机器人操作应用来说是一个显著的限制。此外，系统对视频生成的质量非常敏感，当视频包含物体变形或幻觉时，下游的跟踪和执行都会失败。
独立分析的弱点
Dream2Flow的一个主要弱点是对视频生成质量的强依赖。当视频生成模型产生物体变形或幻觉时，系统无法恢复，导致跟踪失败和执行错误。例如在60次真实世界试验中，有12次失败是由于视频生成质量问题造成的，其中6次是因为面包变形为饼干堆，6次是因为出现了幻觉的绿色碗。这个问题的改进方向是开发更鲁棒的流提取方法，能够检测和过滤掉不合理的运动，或者使用多个视频生成模型并选择最合理的输出。另一个弱点是系统无法处理严重的遮挡情况。当人的手覆盖了小物体的大部分时，跟踪算法会失去可见性，导致3D物体流不完整。这个问题的改进方向是使用3D点跟踪器或完整的4D表示，能够从部分观测推断完整的物体运动。第三个弱点是处理时间过长，特别是视频生成阶段需要3到11分钟，这对于实时应用来说是一个显著限制。这个问题的改进方向是使用更快速的视频生成模型，或者开发增量式的流提取和规划方法，不需要等待整个视频生成完成就可以开始执行。第四个弱点是刚体抓取假设限制了可处理的任务类型。对于需要精细操作或可变形物体操作的任务，这个假设不成立。改进方向是训练和扩展particle动力学模型到真实世界，或者开发更灵活的动力学模型表示。第五个弱点是Cover Bowl任务表现不佳，即3次成功，这表明系统对可变形物体的处理仍然有限。改进方向是开发专门针对可变形物体的流提取和规划方法。
未来方向
作者提出的未来工作方向包括在真实世界中训练和扩展particle动力学模型，以支持非抓取推力以外的任务类型。这需要收集真实世界的交互数据，开发能够处理各种物体类型和操作策略的particle模型。另一个方向是开发能够更好地处理遮挡的方法，例如使用3D点跟踪器或完整的4D表示。这些方法能够从部分观测推断完整的物体运动，从而提高在严重遮挡情况下的鲁棒性。还可以探索使用多个视频生成模型并选择最合理的输出，或者开发视频质量评估方法来自动过滤掉不合理的视频。基于本文成果可以延伸的方向包括将3D物体流作为更复杂的任务规划接口，例如层次化任务规划或多步骤任务序列。将3D物体流与其他形式的中间表示结合，例如价值图、关键点关系或affordance地图。将3D物体流扩展到多物体交互场景，例如需要同时操作多个物体的任务。开发自适应的流跟踪方法，能够根据任务类型和物体属性选择最合适的跟踪策略。探索使用更先进的视频生成模型，例如专门针对机器人交互数据训练的模型。开发实时的视频生成和流提取管道，减少整体处理时间。研究如何从失败中学习和改进，例如从失败的执行中收集数据来改进流提取和规划方法。
复现评估
本文的可复现性评估如下。代码方面，作者在论文中提到使用了多个开源工具和模型，包括SpatialTrackerV2用于深度估计、CoTracker3用于点跟踪、GroundingDINO用于物体定位、SAM2用于分割、AnyGrasp用于抓取提议、HaMer用于手检测、PyRoki用于运动学优化、PyBullet用于物理模拟和IK求解、Deoxys用于关节阻抗控制器。这些工具都是开源的，但作者没有提供完整的代码仓库或配置文件。数据方面，模拟任务使用OmniGibson环境，这是一个开源的模拟器。真实世界任务使用的是日常物品如面包、碗、烤箱、围巾、椅子、抽屉、刷子、意大利面、易拉罐等，没有特定的数据集要求。算力方面，视频生成需要GPU，其他步骤可以使用CPU或GPU。实验使用的视频生成模型包括Wan2.1、Kling2.1和Veo3，这些都是商业API或需要特定访问权限的模型。难度方面，复现本文的工作需要集成多个不同的组件和工具，每个组件都有其特定的配置和参数。特别是视频生成部分，需要访问特定的视频生成模型API，这可能需要付费或特殊权限。此外，真实世界实验需要机器人硬件如Franka机械臂、相机等，这增加了复现的门槛。总体来说，虽然作者提供了详细的方法描述和超参数设置，但由于缺少完整的代码仓库和对特定视频生成模型API的依赖，完全复现所有实验是有一定难度的。对于研究目的，可以尝试使用开源的视频生成模型替代，或者专注于复现特定的组件如流提取或规划而不是整个pipeline。
论文图表
图7展示了真实机器人实验的失败分解。60次试验中失败20次，包括12次视频生成失败、4次流提取失败、4次机器人执行失败、12次成功。视频生成失败的原因包括物体变形和物体幻觉，流提取失败的原因包括严重旋转或物体暂时离开相机视野，机器人执行失败的原因包括抓取点不正确或移动不足。这个饼图清楚地展示了系统各个组件的失败率。
这张图对于理解论文的局限性非常重要，因为它提供了失败模式的详细分析。读者可以了解系统在哪些环节容易出现问题，以及这些问题的具体表现。这对于识别系统的瓶颈和改进方向至关重要。
图12展示了视频生成失败的示例。第一个子图展示了物体变形，面包变成一叠饼干，导致下游跟踪失败。第二个子图展示了幻觉，出现了另一个绿色碗，导致下游执行失败，面包被放到工作台表面而不是原来的绿色碗里。这些示例说明了视频生成质量对整个pipeline的影响。
这张图对于理解论文的局限性很重要，它直观地展示了视频生成失败的具体表现。读者可以看到物体变形和幻觉是什么样的，以及它们如何影响后续的跟踪和执行。这对于理解系统的弱点和改进方向至关重要。
表格I比较了三种中间表示在三个真实机器人任务上的性能。Bread in Bowl任务中AVDC成功7次，RIGVID成功6次，Dream2Flow成功8次。Open Oven任务中AVDC成功0次，RIGVID成功6次，Dream2Flow成功8次。Cover Bowl任务中AVDC成功2次，RIGVID成功1次，Dream2Flow成功3次。这个表格清楚地展示了Dream2Flow在所有任务上都优于基线方法。
这个表格对于理解论文的实验结果至关重要，它提供了与基线方法的定量比较。读者可以看到Dream2Flow在不同任务上的具体性能提升，以及基线方法的局限。这个表格也是论文主要贡献的直接证据。
表格II比较了使用不同奖励训练的策略在三种本体上的性能。Franka Panda上Object State奖励成功99次，3D Object Flow奖励成功100次。Spot上Object State奖励成功99次，3D Object Flow奖励成功100次。GR1上Object State奖励成功96次，3D Object Flow奖励成功94次。这个表格展示了使用3D物体流奖励训练的策略与使用手工制作的对象状态奖励的策略性能相当。
这个表格对于理解论文的实验结果很重要，它展示了3D物体流作为奖励信号的有效性。读者可以看到3D物体流奖励在不同本体上的性能，以及与手工制作奖励的比较。这个表格支持了3D物体流可以作为通用奖励信号的论点。
表格III展示了不同视频生成模型对Dream2Flow性能的影响。Push-T任务中Wan2.1成功52次，Kling2.1成功31次，Veo3不适用即不支持目标图像提示。Open Oven任务中Wan2.1成功2次，Kling2.1成功4次，Veo3成功8次。这个表格清楚地展示了不同的视频生成模型在不同任务上的性能差异。
这个表格对于理解论文的实验结果很重要，它展示了视频生成模型选择对整体性能的影响。读者可以看到不同模型在不同任务上的优缺点，这对于实际应用中选择合适的视频生成模型有重要指导意义。
表格IV展示了不同动力学模型对Push-T任务性能的影响。Pose动力学模型成功12次，Heuristic动力学模型成功17次，Particle动力学模型成功52次。这个表格清楚地展示了particle动力学模型相对于其他模型的显著优势，强调了逐点预测的重要性。
这个表格对于理解论文的技术贡献很重要，它展示了不同动力学模型对性能的影响。读者可以看到particle表示对于成功的关键作用，以及为什么简单的pose或启发式方法无法充分处理复杂的旋转运动。
表格V列出了Open Door任务中SAC算法的超参数设置。学习率为3乘以10的负4次方，折扣因子为0.99，批次大小为256，缓冲区大小为10的6次方，目标更新率为0.005，目标网络更新频率为1，隐藏层数为2，每层隐藏单元数为256，训练迭代次数为5000次即GR1为10000次，episode视界为500。这些参数在不同奖励类型和本体间保持一致。
这个表格对于论文的可复现性很重要，它提供了强化学习实验的详细超参数设置。研究人员可以使用这些参数来复现实验结果或进行进一步的比较实验。