RynnWorld-4D：用于机器人操作的4D具身世界模型 RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation
同步生成RGB、深度和光流的4D世界模型，实现高精度机器人操作
前置知识
4D世界模型
4D世界模型是指能够预测环境在三维空间中随时间演化的模型。不同于2D视频预测仅关注像素变化，4D建模需要同时理解外观（RGB）、几何（深度）和运动（光流）三个维度，通过RGB-D和光流的联合建模可以重建3D场景流。这种表示将2D观测提升到3D物理空间，使得预测与机器人的动作空间更对齐。
本文提出的RGB-DF表示正是4D世界模型的一种轻量化实现形式，是理解整个方法的基础。
Flow Matching
Flow Matching是一种生成模型训练目标，它通过学习从噪声到数据的速度场来生成样本。给定初始噪声$\epsilon$和数据$x_0$，定义线性路径$z_t = (1-t)x_0 + t\epsilon$，模型学习速度场$v_\theta(z_t, t)$使得$z_t$能沿着最优传输路径从噪声演化到数据。与DDPM相比，Flow Matching提供了更优的轨迹估计，训练更稳定，推理步骤更少。
本文使用Flow Matching作为扩散过程的核心损失函数，是理解模型训练机制的关键。
Optical Flow（光流）
光流是指图像中每个像素的二维运动矢量，表示相邻帧之间场景的运动模式。对于每个像素位置$(u, v)$，光流向量$f_{opt} = [\Delta u, \Delta v]^\top$表示该点在下一帧中的位移。密集光流提供了逐像素的运动信息，对于理解场景动态、跟踪物体和重建3D运动至关重要。光流可以通过传统方法（如Lucas-Kanade）或深度学习模型（如RAFT、DPFlow）估计。
本文将光流作为3D模态之一，与RGB和深度同步生成，是实现真正4D场景预测的关键。
3D Rotary Positional Embedding (3D RoPE)
3D RoPE是将旋转位置编码扩展到3D空间的位置编码方法。对于3D坐标$(x, y, z)$，通过旋转矩阵编码空间关系，使得注意力机制能够捕捉3D空间中的相对位置信息。在视频扩散模型中，3D RoPE同时在空间（H×W）和时间（T）维度注入位置信息，确保模型理解帧内空间结构和帧间时间演化。
本文在Joint Cross-Modal Attention中应用3D RoPE，确保跨模态对齐时保持空间一致性。
Inverse Dynamics（逆动力学）
逆动力学是指从状态观测序列推断产生该序列所需动作的过程。在机器人控制中，给定当前状态（如视觉观测、本体感知）和未来状态，学习映射函数$a = f^{-1}(s_{current}, s_{future})$输出控制动作。与动力学模型（状态$\rightarrow$下一状态）不同，逆动力学直接为动作学习提供监督，可以避免动力学模型中的复合误差。
本文的RynnWorld-4D-Policy本质上是一个逆动力学头，它从预测的4D表征中直接提取机器人动作。
研究动机
现有视频生成模型虽然取得了显著进展，但本质上仍局限在2D像素空间。这种2D投影特性导致关键空间关系丢失，无法实现精确的6自由度姿态估计和深度感知交互。例如，在机器人物体抓取场景中，仅凭2D外观难以准确判断物体的深度和抓取位置。此外，2D模型常缺乏几何基础，导致时间不一致问题，如物体尺度波动和非物理形状变形，严重影响其在稳健策略学习中的应用。与此同时，基于NeRF或3D Gaussian Splatting的4D场景建模方法要么计算密集且场景特定（基于优化），要么侧重于以物体为中心的生成（前馈模型），难以扩展到复杂场景级环境。
本文的目标是本文旨在开发一个轻量级的投影式4D表示，能够同步生成RGB、深度和光流（RGB-DF）序列。这种表示将深度提升每个像素到3D位置，并与光流结合反投影到3D场景流，提供逐点3D运动线索。基于此表示，目标是构建一个4D具身世界模型，在单个RGB-D图像和文本指令条件下，通过统一的扩散过程同步生成未来RGB帧、深度图和光流视频。此外，目标还包括开发一个策略头，直接消费内部4D表征实现高频闭环机器人控制。
与已有工作不同的是，本文的独特切入角度在于提出RGB-DF作为连接2D视频扩散模型可扩展性与机器人操作所需几何严谨性的桥梁。与仅生成静态几何（如表面法线）的方法不同，本文通过包含光流实现3D场景流反投影，使帧间3D运动显式化。这种设计对于精细操作至关重要，因为物体和末端执行器的细粒度轨迹是成功与失败的关键区别。相比依赖重复去噪的2D策略，本文在单次前向传播中消费预测4D特征，绕过昂贵推理成本，使高频实时交互成为可能。
核心方法
RynnWorld-4D的核心思路是将2D视频生成扩展到4D空间，通过同步建模外观、几何和运动三个模态。直观上，就像人类不仅知道场景看起来如何，还理解其3D结构和如何运动。技术路线基于预训练视频扩散模型Wan 2.2，扩展为三分支架构：RGB分支负责纹理，深度分支负责空间几何，光流分支负责运动位移。每个分支有独立的transformer，但共享跨模态attention的key/value，并通过Joint Cross-Modal Attention模块强制跨模态一致性。为确保模态间对齐，采用3D RoPE注入空间位置信息。训练采用三阶段课程：模态适应（分支独立训练）、联合注意力训练（仅训练JA模块）、全参数联合微调。数据方面，构建了Rynn4DDataset 1.0，包含2.544亿帧人类中心和机器人操作视频，均带有深度和光流伪标注。
核心创新点在于RGB-DF三分支协同生成架构。与现有方法仅生成RGB+法线（TesserAct）或RGB+点云（4DNeX）不同，本文将光流作为独立模态，与RGB和深度同步生成。这种设计的本质区别在于：深度提供静态3D结构，光流提供动态运动线索，两者结合可以反投影到3D场景流，使4D动力学显式化。在跨模态交互上，本文采用共享K/V的联合注意力设计，而非简单的通道拼接，每个分支查询互补模态的K/V对，通过可学习门控$\tanh(g_{ml})$控制信息流动，避免ControlNet式双零初始化导致的鞍点死锁。这种架构既保留了预训练视频模型的强大生成先验，又通过分支解耦允许每个模态专业化建模。
方法步骤详情
完整方法分为四个主要步骤。第一步是数据准备：从Epic-Kitchens、EgoVid等人类中心数据集和RoboMIND、RDT-1B等机器人操作数据集收集视频，使用Qwen3-VL生成视频描述，DPFlow估计光流，Depth Anything 3估计深度，形成2.544亿帧的Rynn4DDataset 1.0。第二步是3D场景重建：给定生成的深度图$D_t$和光流$f_{opt} = [\Delta u, \Delta v]^\top$，通过几何反投影$P_t = D_t(u,v) \cdot K^{-1}p_t$将像素提升到3D相机空间，再通过$P_{t+1} = D_{t+1}(u+\Delta u, v+\Delta v) \cdot K^{-1}(p_t + [\Delta u, \Delta v, 0]^\top)$跟踪点到下一帧位置，定义3D场景流$f_{3D} = P_{t+1} - P_t$作为每点度量位移。第三步是模型训练：三阶段训练，第一阶段各模态分支独立训练，损失函数$\mathcal{L}_{total} = \sum_{m \in M} \lambda_m \mathbb{E}_{z_{m0}, \epsilon_m, t, c}[\|v_m^\theta(z_{mt}, t, c)[1:] - \epsilon_m + z_{m0}[1:]\|_2^2]$；第二阶段冻结主干，插入10个JA模块（每3层一个）；第三阶段全参数微调。第四步是策略学习：冻结RynnWorld-4D作为4D视觉编码器，提取第15块的中间隐藏状态$F_p \in \mathbb{R}^{B \times T \times 3C \times H \times W}$，通过Flow Former压缩为固定大小表征$Q''$，使用4步Euler ODE采样生成动作块$K=10$。
技术新颖性
技术新颖性体现在多个方面。首先是表示层面的创新：RGB-DF投影式4D表示相比显式4D体积或4D高斯更轻量，同时比纯2D视频更具物理可解释性。其次是架构创新：三分支协同生成配合共享K/V的联合注意力，通过门控机制而非零初始化避免训练不稳定。第三是训练策略创新：三阶段课程学习（模态适应$\rightarrow$联合注意力$\rightarrow$全参数微调）平滑过渡，Branch Dropout技术（随机丢弃depth或flow分支）增强跨模态鲁棒性。第四是应用创新：RynnWorld-4D-Policy直接消费预测4D特征的单次前向传播设计，绕过传统方法每步去噪的瓶颈，在RTX 5090上实现约9 Hz的有效控制频率。
实验结果
在4D世界建模方面，RynnWorld-4D在保持高度竞争的视觉质量（IQ 0.635）的同时，显著优于基线方法的重构保真度。与4DNeX（$\delta_1$ 0.327）和TesserAct（$\delta_1$ 0.279）相比，RynnWorld-4D的几何准确度$\delta_1$达到0.610，几乎翻倍。在运动一致性方面，RynnWorld-4D独有地提供同步光流，AEPE为0.170，而大多数4D基线缺乏显式运动场生成能力。定性可视化显示生成的深度和光流图不仅内部一致，还精确对齐RGB纹理变化，验证了核心假设：RGB、深度和光流在单扩散循环中的联合建模充当强大的物理正则化器。在策略学习方面，RynnWorld-4D-Policy在六项机器人操作任务中持续超越最先进基线。特别值得注意的是，在高空间精度任务如Lid Placement和Bowl Stacking中，成功率达到65.71%，超过次优基线DP 8.57%。更striking的是Hand-over任务，这是一个涉及动态物体传递的挑战，基础模型在此任务上几乎完全失败（$\pi_0$仅2.86%，$\pi_0.5$为0.00%），而RynnWorld-4D-Policy达到28.57%。这一性能差距源于基础模型的两个根本限制：预训练数据偏向平行夹爪，缺乏复杂灵巧手协调先验；2D模型难以推理两个高自由度末端执行器之间的相对3D距离和潜在自遮挡。消融研究验证了架构设计：独立分支基线在深度和光流上性能显著下降，验证了互特征交互机制对跨模态一致性的重要性；跳过模态适应导致几何准确度从$\delta_1$ 0.610降至0.479，证明模态特定适应是多模态融合的前提；移除4D预训练导致AEPE从0.170激增至0.729，强调大规模预训练的必要性；移除JA中的3D RoPE导致$\delta_1$从0.610降至0.450，AEPE从0.170升至0.210，表明3D RoPE是空间感知特征融合的关键；共享FFN导致系统性性能崩溃（AbsRel 0.580/$\delta_1$ 0.380/AEPE 0.280），验证模态特定FFN对缓解跨模态分布偏移的必要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 4D世界建模（几何准确度） | δ1 ↑ | 0.610 | TesserAct: 0.279, 4DNeX: 0.327 | 相比TesserAct提升118.6%，相比4DNeX提升86.5% |
| 4D世界建模（运动一致性） | AEPE ↓ | 0.170 | 独立分支: 0.247 | 降低31.2% |
| 机器人操作（双臂抓取） | 成功率 ↑ | 94.29% | π0.5: 94.29%, π0: 88.57%, DP: 77.14% | 与π0.5持平，相比DP提升22.2个百分点 |
| 机器人操作（块推送） | 成功率 ↑ | 97.14% | π0.5: 100.00%, π0: 94.29%, DP: 85.71% | 略低于π0.5，相比DP提升11.4个百分点 |
| 机器人操作（手传递） | 成功率 ↑ | 28.57% | DP: 17.14%, π0: 2.86%, π0.5: 0.00% | 相比DP提升66.7% |
| 机器人操作（双臂提升） | 成功率 ↑ | 97.14% | π0.5: 94.29%, π0: 91.43%, DP: 88.57% | 相比DP提升9.6个百分点 |
| 机器人操作（盖子放置） | 成功率 ↑ | 65.71% | DP: 57.14%, π0: 34.29%, π0.5: 37.14% | 相比DP提升15.0个百分点 |
| 机器人操作（碗堆叠） | 成功率 ↑ | 65.71% | DP: 57.14%, π0: 51.43%, π0.5: 42.86% | 相比DP提升15.0个百分点 |
局限与改进
作者承认的局限性包括：首先，4D序列生成依赖扩散去噪过程，引入计算开销。当前实现在NVIDIA RTX 5090 GPU上达到约9 Hz的有效控制频率，这对许多任务足够，但对于超高频率控制仍是瓶颈。其次，模型主要针对第一人称视角优化，将4D时空一致性扩展到多视角系统或协作多机器人设置仍是开放挑战。我观察到的额外限制包括：深度和光流的伪标注可能引入噪声，尽管使用最先进模型，但仍可能影响最终性能；3D场景流重建假设针孔相机模型，实际部署中的镜头畸变需要额外标定；当前方法在极端遮挡或复杂接触场景下的鲁棒性有待验证，测试任务相对简单，真实开放世界的挑战可能更严峻。
独立分析的弱点
首先是计算效率问题，尽管通过动作块策略提升有效控制频率到9 Hz，但单次前向传播仍需约1.1秒，其中89.5%时间消耗在三分支Transformer上。改进方向包括：蒸馏更轻量的4D编码器，使用知识蒸馏从RynnWorld-4D学习紧凑模型；探索替代扩散过程的生成方法，如一致性模型或一步生成模型；优化联合注意力计算，如稀疏注意力或线性注意力。其次是数据依赖性，当前方法依赖大规模伪标注数据集，标注质量直接影响性能。改进方向包括：开发自监督或弱监督学习方法减少对精确标注的依赖；引入主动学习策略，优先标注高不确定性样本；探索合成数据与真实数据的混合训练策略。第三是视角限制，当前仅支持单目第一人称视角。改进方向包括：扩展到多目立体输入以提升几何精度；探索第三人称全局视角的4D建模；研究视角不变的特征表示。第四是泛化性挑战，虽然测试中使用了物体姿态随机化，但对未见物体或环境的泛化能力未充分评估。改进方向包括：引入领域自适应技术；开发更具泛化性的物体表示（如物体中心特征）；研究少样本或零样本适应方法。
未来方向
作者提出的未来工作方向包括：扩展4D时空一致性到多视角系统或协作多机器人设置。基于成果可延伸的方向包括：探索更丰富的4D表示，如加入法线、分割或物体级语义；研究长期预测能力，当前方法预测有限帧，扩展到更长视野支持长视界规划；集成物理引擎，将预测的4D表征与物理模拟结合，增强物理一致性；开发更精细的技能分解，将复杂任务分解为可重用的4D技能原语；研究跨机器人迁移学习，将预训练4D世界模型适应到不同机器人形态；探索人机协作场景，建模人类意图与机器人动作的联合4D演化；开发在线持续学习机制，使模型能够从交互经验中持续改进。
复现评估
论文提供了较好的开源支持：代码、模型和数据集均已发布（GitHub、HuggingFace、ModelScope）。Rynn4DDataset 1.0包含2.544亿帧视频，虽然具体下载链接未提供，但数据源均为公开数据集，可自行收集和标注。模型实现基于Wan 2.2-TI2V-5B，这是一个30层DiT，隐藏维度$d=3072$，FFN维度14,336。训练配置详细：三阶段训练，学习率分别为$2 \times 10^{-5}$、$5 \times 10^{-5}$、$1 \times 10^{-5}$，使用AdamW优化器（$\beta_1=0.9, \beta_2=0.95$，权重衰减$1 \times 10^{-4}$），余弦调度和线性预热。实验使用DeepSpeed ZeRO-2管理内存。硬件需求方面，RTX 5090 GPU用于推理，训练需要多GPU（具体数量未明确，但从NGPU推断可能需要8卡或更多）。复现难度中等偏高：需要大量GPU资源训练完整模型，但可以使用预训练权重进行推理和策略训练。数据标注需要运行Qwen3-VL、DPFlow和Depth Anything 3，计算成本较高。
论文图表
这张图展示了真实机器人系统设置。机器人基于TIANJI M6和WUJI Hand构建，配备双Tianji 7-DOF机械臂和双Wuji 20-DOF灵巧手，总共54个自由度。RealSense D435i相机集成用于捕获第一人称视角图像。
这张图说明了实验硬件平台，对于理解方法的实际部署场景和策略输出维度（54维动作）至关重要。
这张图展示了远程操作系统，用于收集真实世界演示数据。操作员佩戴五个HTC Vive追踪器（胸部、双腕、双上臂）用于手臂控制，佩戴Manus数据手套用于手控制。胸部追踪器计算手腕到胸部相对变换，通过Pinocchio逆运动学求解器计算关节命令。手套信号转换为MediaPipe手骨架格式并重定向到Wuji手关节空间。
这张图说明了数据收集方法，对于理解训练数据的获取过程和质量控制至关重要。