← 返回 2026-10-21

Ropedia W0:利用人类经验扩展跨本体移动操作世界模型 Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu, Penghao Qiu, YingSheng Zhang, Jun Wang, Ziang Cao, Mingze Sun, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu 📅 2026-10-19 👍 54 2026-11-11 18:30
世界模型 具身智能 扩散蒸馏 数据集 移动操作 自我中心视频 视频扩散模型 跨本体

首个跨本体移动-操作自我中心世界模型,以相机位姿加投影骨架统一人类与机器人经验

前置知识

世界模型(World Model)

学习环境动态规律的生成模型:给定当前观测和动作(控制信号),预测环境未来的视觉状态。本文的世界模型是一个条件视频生成器,输入初始帧、文本描述和逐帧运动学条件(相机轨迹+机械臂骨架),输出未来的自我中心视频帧序列,可用于策略评估、规划和仿真。

本文的全部目标就是构建一个跨本体(人类+多种机器人)的移动-操作世界模型,理解世界模型的基本范式是读懂其动机、方法和实验的前提。

移动操作(Loco-Manipulation)

机器人同时进行移动(locomotion,如人形机器人行走导致头部相机视角连续变化)和操作(manipulation,如灵巧手抓取物体)的任务。与固定基座机械臂不同,移动操作中的视角变化与手部运动耦合,对世界模型提出了双重建模要求。

现有世界模型大多只处理固定基座的桌面操作,本文的核心卖点正是同时建模移动带来的视角变化和灵巧操作,论文标题和方法设计都围绕这个难点展开。

Plücker 射线映射

一种编码相机位姿的密集表示:对图像中每个像素 $u$,用相机内外参计算从当前相机中心 $o_t$ 出发、变换到初始相机坐标系下的射线方向 $d_t(u)$,再编码为 6 通道 $c^{cam}_t(u) = [o_t \times d_t(u);\, d_t(u)]$。米制尺度保证了跨本体的物理尺度一致。

这是本文编码'移动'的核心控制信号,论文用 Plücker ray map 把任意本体的相机轨迹转成统一的像素级几何条件,是理解公式(2)和方法设计的关键。

前向运动学(FK, Forward Kinematics)

已知机器人各关节角度 $q_t$,通过运动学链(URDF 模型描述)递推计算末端执行器或关键点在基座坐标系下的 3D 位置 $F^{(e)}_j(q_t)$,再经标定外参变换到相机坐标系并用内参投影到图像平面,得到图像对齐的 2D 骨架。

本文用 URDF 前向运动学把机器人关节状态转成'投影骨架',与人类手部骨架统一成同一视觉格式;但公共数据集标定不准导致 FK 投影错位,作者做了大量人工校正,这是数据管线的重点。

投影骨架统一表示

把人类手部(21 个 MANO 关键点,由 WiLoR 从视频重建)和机器人末端(灵巧手指、平行夹爪的关键点)都渲染成图像平面上的彩色骨架图。不同本体的关节空间动作维度、语义完全不同,但投影到图像后的骨架是天然统一的视觉格式,且保留了夹爪开合、手指构型等本体特有几何。

这是本文跨本体泛化的核心机制:统一接口让人类视频学到的'运动→画面变化'规律能零样本迁移到从未见过的机器人本体,是论文区别于 latent action 方案的本质所在。

DiT 与流匹配(Flow Matching)

扩散 Transformer(DiT)是当前视频生成主流架构,把视频经 VAE 压缩成潜空间 token 后用 Transformer 去噪。流匹配是比标准扩散更简洁的训练目标:学习速度场直接把噪声输运到数据分布。本文基于 Wan2.2 预训练模型(5B 稠密版和 A14B MoE 版)用流匹配训练。

Ropedia W0 的骨干就是这两个 Wan2.2 视频 DiT,相机/骨架条件通过零初始化投影相加注入 token,读懂架构图(Figure 4)需要这些背景。

扩散蒸馏(Causal Forcing + DMD)

把多步扩散模型压缩成少步快速生成器:先用 Causal Forcing 得到块因果自回归生成器,再用非对称分布匹配蒸馏(DMD),用冻结的双向真实去噪器 $\mu_\psi$ 和在线伪造去噪器 $\mu_\phi$ 之间的分数差构造梯度 $\nabla_\theta \mathcal{L}_{DMD}$;最后用 LongLive 加有界 KV cache 实现流式长视频。

论文的实时 VR 交互演示(21.3 fps、分钟级 rollout)完全依赖这套蒸馏流程,公式(5)和附录 B.2 是理解实时能力的必读内容。

视频预测评估指标

保真度类:PSNR/SSIM/LPIPS 衡量与真值帧的像素/感知相似度,FVD 衡量视频分布距离;动作跟随类:ATE/RPE/RRE 评估从生成视频反推的相机轨迹误差,PCK@0.1 评估手部关键点跟随精度(阈值为图像对角线的 10%);策略评估用任务进度分数的 Pearson 相关和 MMRV。

论文所有表格都由这些指标构成,理解每个指标的含义才能正确解读'本文比基线好多少'以及这些指标本身的局限。

研究动机

现有机器人世界模型几乎都聚焦在固定基座、夹爪式的桌面操作上:它们假设相机不动、末端只有简单夹爪,导致两个关键场景被系统性忽视——移动(locomotion)引起的自我视角连续变化,以及灵巧手与物体的精细交互。而跨本体泛化是另一道坎:DreamDojo 在预训练时用从视频推断的 latent action,后训练时却要为每个机器人替换成本体专属动作;Cosmos3 虽然共享骨干,但依赖每个域单独的动作投影和编码器。这意味着每接入一个新机器人(新的关节维度、新的运动学结构)都要设计专门的控制接口或做额外适配,无法'一次训练、处处预测'。数据侧同样捉襟见肘:训练可泛化的世界模型需要大规模、高质量、带丰富多模态标注(相机轨迹、手部姿态、任务描述)的自我中心视频,但现有公共自我中心数据集(Ego4D、Ego-Exo4D、EgoDex、HOI4D 等)普遍缺少米制相机轨迹,手部姿态噪声大甚至缺失,且各数据集格式异构难以联合训练,规模也远不够支撑一个通用世界模型。机器人演示数据采集成本高昂,人类自我中心视频虽然丰富,却没人把这些脏数据清洗成可用的统一监督信号。

本文的目标是本文的目标是构建第一个统一的自我中心世界基础模型,同时覆盖人类的移动-操作和多种机器人本体(平行夹爪机械臂如 Franka Panda、Fourier GR-1,以及带灵巧手的足式人形机器人如 Unitree G1/H1、AgiBot、Fourier GR-1)。具体拆解为四件事:其一,构建 Xp-Data 数据集,把 14 个公共人类数据集加约 6000 小时自采四鱼眼相机视频(合计超 1 万小时)和 13 个公共机器人数据集(约 3000 小时),统一成同步的 RGB、米制相机轨迹、操作骨架和分层文本标注;其二,设计一个跨人类与机器人的显式运动学控制接口,用相机位姿编码移动、用投影骨架编码操作,使一个模型能预测所有本体的未来视频;其三,构建 Xp-Teleop 基准,评测长时程灵巧人形遥操作的预测能力;其四,验证人类数据规模化的 scaling 效应,并把模型用到策略评估、规划、世界-动作联合建模和实时 VR 交互四个下游场景。

与已有工作不同的是,本文最独特的切入是用'显式运动学接口'替代现有的两类动作表示路线。第一条路线是 latent action(DreamDojo、Genie 系列):从无标注视频自动推断潜动作,好处是能利用无标注数据,但坏处是动作会与光照变化、其他物体运动等无关视觉变化纠缠,控制不精确;第二条路线是本体专属动作编码(Cosmos3 的 per-domain action encoder):数值动作 token 需要为本体定制编码器,无法零样本泛化到新本体。作者观察到:机器人关节空间动作的维度和语义因本体而异,但把运动学投影渲染到图像平面后,人类手、灵巧机器人手、平行夹爪都变成了同一种'图像里的彩色骨架'——这是天然跨本体的统一格式。于是'移动'用米制相机位姿(Plücker ray map)表达、'操作'用图像对齐骨架表达,同一接口贯穿人类预训练、人机混合 mid-training 和后训练全程。配套地,作者投入了大量人工机器人关键点标注与 FK 投影校正来弥补公共机器人数据标定缺失的问题——这种'数据工程 + 表示设计'双管齐下的做法,与依赖自动 latent action 的同行形成了鲜明对比。

核心方法

直觉上,作者的核心观察是:'机器人动'和'相机动'都能在图像上留下几何上一致的痕迹。不管本体是人的手还是 G1 的灵巧手,只要把运动学投影成图像里的骨架,模型看到的就是同一种视觉信号;不管是谁在走动,视角变化都可以由米制相机位姿完全描述。因此可以用同一种条件接口教会模型'给定这些运动,画面会怎么变',而人类视频恰好提供了 1 万小时的这种运动-画面配对数据。技术路线上,Ropedia W0 是一个潜空间视频扩散 Transformer:以 Wan2.2-I2V 的 5B 稠密模型和 A14B MoE 模型(总参约 27B、每步激活 14B)为骨干,采用流匹配目标训练;相机射线图和骨架渲染经 VAE 编码为与视频潜变量时空对齐的条件潜变量,通过零初始化的线性投影与视频 token 相加融合(公式 $h^{(0)} = P_{vid}(z_\tau) + P_{cam}(z^{cam}) + P_{skel}(z^{skel})$),文本走骨干原有的 cross-attention,可选的手腕姿态走同样的加性注入(带可用性门控 $g_{wrist}$),超出目标视场的 1.5 倍宽 FOV 骨架则通过额外的 cross-attention 分支注入。训练分两阶段:先在人类自我中心视频上预训练,再在人类与机器人数据各 50% 概率采样的混合体上做 mid-training,之后可按目标数据集做零样本/few-shot/全量后训练。

核心创新是'显式统一运动学表示 + 人类经验规模化'的组合。与 DreamDojo 的本质区别:latent action 是隐式的、从画面反推的控制信号,容易把操作动作与无关视觉变化(他人走动、光照变化)混在一起,且后训练时还得换成机器人专属动作;Ropedia W0 的骨架是显式的、空间对齐的、米制的,人类手骨架和机器人骨架在像素层面完全同构,因此人类预训练学到的运动条件预测能力可以不经任何接口转换直接迁移到机器人。与 Cosmos3 的本质区别:Cosmos3 共享骨干但每个域有专属动作编码器/投影,接入新本体要加模块;Ropedia W0 所有本体共用同一对条件通道(相机+骨架),单一 checkpoint 零样本预测 8 种本体。第二层创新在数据:作者指出公共机器人数据的 URDF 前向运动学投影经常与图像中的手/夹爪错位、且很多发布缺相机标定,于是建立了人机协同管线——FK 提供初始估计,人工标注补全或修正图像空间关键点,并用两个在人工标注上微调的检测器交叉验证。这让'人类经验'真正成为跨本体世界模型的可扩展监督源,论文用 scaling 曲线证明人类数据越多,人类和机器人评测双双变好。

方法步骤详情

第一步数据管线:记录经 VLM 视频过滤(剔模糊/过曝/抖动/无手无运动)→ 多模态标注:SLAM/DA3 估计米制相机轨迹,WiLoR 重建 MANO 手部关键点,机器人用 URDF 前向运动学投影 $\tilde{u}^{(e)}_{t,j}=\pi(K_t[R^{c\leftarrow b}_t F^{(e)}_j(q_t)+t^{c\leftarrow b}_t])$ 并在缺失或错位处人工标注校正,Gemini 生成任务/子任务/原子动作三级字幕、Qwen 复核 → 质检:深度重投影验证轨迹、MediaPipe 与微调 MMPose 交叉验证手部、双检测器互检机器人关键点 → 切成 81 帧、640×480、16 fps 统一片段。第二步条件编码:相机位姿转 Plücker ray map $c^{cam}_t(u)=[o_t\times d_t(u);\,d_t(u)]$,骨架按本体原生连接渲染成图像对齐的 $c^{skel}_t$。第三步条件融合:$h^{(0)}=P_{vid}(z_\tau)+P_{cam}(z^{cam})+P_{skel}(z^{skel})$,投影零初始化;wrist 姿态带门控 $g_{wrist}$ 加性注入,宽 FOV 骨架走 cross-attention。第四步两阶段训练:人类视频预训练 → 人机各 50% 采样的 mid-training。第五步蒸馏部署:Causal Forcing 得 4 步因果生成器 → 非对称 DMD 压缩步数 → LongLive 有界 KV cache 流式生成,实现 21.3 fps 分钟级 rollout。

技术新颖性

技术新颖性体现在四个层面。其一,任务定义新颖:这是第一个明确覆盖'移动+操作'两要素、且横跨人类与多种机器人本体的自我中心世界基础模型,此前的 AnyWorld 做人到机器人的分解重组但条件于源人类骨架而非目标机器人运动学、且只测了操作;DreamDojo/Cosmos3 则都没有把行走导致的视角变化作为一等公民。其二,表示设计新颖:相机 Plücker 射线(6 通道、米制、相对初始帧)+ 投影骨架(图像对齐、保留本体原生连接)的显式接口是论文的核心资产,它的'贯穿性'——人类预训练、mid-training、后训练、下游应用全程同一接口——是已有工作没有的。其三,数据工程新颖:Xp-Data 用人机协同管线对 14+13 个公共数据集重新做几何/运动学/语义统一标注,其中机器人关键点的大量人工标注与校正是公认的脏活累活,也是模型能在公共数据上学出图像对齐骨架的前提;新增的 Xp-Teleop(27 个长时程 take、约 1 小时、543 个原子片段、30 个技能类、平均时长 118.6 秒、移动范围 1.48 米)是目前唯一同时具备长时程、真移动、双六自由度灵巧手、全模态(RGB-D、IMU、触觉 1062 taxels/手、29 关节全身状态)的人形遥操作基准。其四,实证贡献:首次给出'人类视频预训练数据量'对人类视频预测和人到机器人迁移的双向 scaling 曲线,并证明 1 万小时人类数据带来的初始化优势在 1% 后训练数据下超过官方视频基座全量后训练 4.8–7.1 dB。

Xp-Data curation pipeline.
Figure 2: Xp-Data curation pipeline.
Overview of Xp-Data.
Figure 3: Overview of Xp-Data.
Overview of Ropedia W0.
Figure 4: Overview of Ropedia W0.
Overview of Xp-Teleop.
Figure 5: Overview of Xp-Teleop.
Data curation funnel for Xp-Data.
Figure S1: Data curation funnel for Xp-Data.
Distillation of Ropedia W0 into a few-step causal student.
Figure S5: Distillation of Ropedia W0 into a few-step causal student.
LongLive-based streaming with the distilled student.
Figure S6: LongLive-based streaming with the distilled student.

实验结果

模型在五个跨本体基准与留出人类视频上全面领先。人类视频零样本(EgoSuite+OpenAoE 各 100 段):A14B 相机 ATE 低至 1.542 cm(最好基线 Cosmos3-Nano 1.931),PCK@0.1 达 83.85%(DreamDojo-14B 仅 60.25%),PSNR 最高 19.77 dB。DreamDojo GR-1:仅 1% 后训练数据时 A14B 达 23.03 dB,超 DreamDojo-14B(18.98)约 4 dB,100% 时仍领先 1.8 dB。灵巧人形三基准:A14B midtrain 在 Ψ0/ω-HOME/Xp-Teleop 零样本达 17.36/19.55/16.42 dB,超过所有基线的全量后训练结果,零样本 seen-unseen 差距仅 0.06/0.69 dB。AgiBot:A14B 20.88 dB vs OSCAR 18.56。8 本体 400 窗口零样本 21.98 dB,比微调同款机器人数据的 Cosmos3-Nano(19.02)高约 3 dB。消融:去骨架条件掉 3.8/1.8 dB,去相机条件在运动视角本体上掉 1.3 dB,两通道互补。Scaling:1% 数据下比官方视频基座高 4.8–7.1 dB,全量仍留约 2.3 dB;人类预训练 1k→10k 小时人机评测单调提升。下游:策略评估 Pearson r=0.984/0.996(MMRV=0);规划在 RoboTwin 2.0 达 92% 进度(随机 53%)、真实 G1 55% vs 26%;作 FastWAM 初始化使 LIBERO-Plus 50.06%→56.82%,真实 G1 56.7% vs 33.3%,超 Ψ0 VLA 的 50.0%;WorldArena 上 EWMScore 66.92 vs BWM 61.01,轨迹精度 +29.1。蒸馏后 4 步学生 21.3 fps(教师 3.0,7 倍),61 秒 rollout 质量持平,支撑 Quest 3 实时 VR 交互。

Comparison of humanoid teleoperation datasets across capabilities, task horizon, and available recording modalities.
Table 1: Comparison of humanoid teleoperation datasets across capabilities, task horizon, and available recording modalities.
Results on a 200-clip EgoSuite and OpenAoE evaluation set.
Table 2: Results on a 200-clip EgoSuite and OpenAoE evaluation set.
Comparison on the DreamDojo benchmarks under different post-training settings.
Table 3: Comparison on the DreamDojo benchmarks under different post-training settings.
World-model evaluation on Ψ0, ω-HOME, and Xp-Teleop under three post-training settings.
Table 4: World-model evaluation on Ψ0, ω-HOME, and Xp-Teleop under three post-training settings.
Comparison on AgiBot (50 held-out gripper windows).
Table 5: Comparison on AgiBot (50 held-out gripper windows).
World–action modeling on LIBERO and LIBERO-Plus.
Table 6: World–action modeling on LIBERO and LIBERO-Plus.
Distillation quality–speed comparison (GR1, 5B).
Table S1: Distillation quality–speed comparison (GR1, 5B).
Seen/unseen breakdown on Ψ0, ω-HOME, and Xp-Teleop (PSNR).
Table S3: Seen/unseen breakdown on Ψ0, ω-HOME, and Xp-Teleop (PSNR).
Cross-embodiment set (400 evaluation windows over eight embodiments) with conditioning ablations.
Table S6: Cross-embodiment set (400 evaluation windows over eight embodiments) with conditioning ablations.
Effect of pretraining: our pretrained base vs. the same architecture from public video-generation weights.
Table S7: Effect of pretraining: our pretrained base vs. the same architecture from public video-generation weights.
WorldArena Track 1 comparison against BWM (RoboTwin 2.0, 1000 episodes).
Table S8: WorldArena Track 1 comparison against BWM (RoboTwin 2.0, 1000 episodes).
Scaling on held-out human video.
Figure 6: Scaling on held-out human video.
Human-to-robot transfer scaling.
Figure 7: Human-to-robot transfer scaling.
Cross-evaluation scaling on the DreamDojo benchmark.
Figure 8: Cross-evaluation scaling on the DreamDojo benchmark.
Policy evaluation and world-model-based planning.
Figure 9: Policy evaluation and world-model-based planning.
World–action modeling.
Figure 10: World–action modeling.
Live teleoperation with Ropedia W0.
Figure 11: Live teleoperation with Ropedia W0.
查看结构化数据
任务指标本文基线提升
人类自我中心视频零样本预测(EgoSuite+OpenAoE 200 段) 相机轨迹误差 ATE↓ (cm) 1.542 (A14B pretrain) Cosmos3-Nano (16B): 1.931 -20.1%
人类自我中心视频零样本预测 手部跟随 PCK@0.1↑ (%) 83.85 (5B midtrain) DreamDojo (14B): 60.25 +23.6 pp
DreamDojo In-lab(1% 后训练数据) PSNR↑ (dB) 23.03 (A14B) DreamDojo (14B): 18.98 +4.05 dB
Ψ0 灵巧人形操作(零样本) PSNR↑ (dB) 17.36 (A14B midtrain) 最好基线全量后训练 Cosmos3-Nano: 16.55 零样本超基线全量 +0.81 dB
ω-HOME 家居移动操作(零样本) PSNR↑ (dB) 19.55 (A14B midtrain) Cosmos3-Nano 零样本: 16.24 +3.31 dB
Xp-Teleop 长时程移动操作(零样本) PSNR↑ (dB) 16.42 (A14B midtrain) Cosmos3-Super 零样本: 13.85 +2.57 dB
AgiBot 夹爪操作(含训练数据) PSNR↑ (dB) 20.88 (A14B midtrain) OSCAR (2B): 18.56 +2.32 dB
跨本体集合(8 本体 400 窗口,零样本) PSNR↑ (dB) 21.98 (A14B) 同混合数据微调的 Cosmos3-Nano: 19.02 +2.96 dB
蒸馏推理速度(640×480) FPS↑ 21.3(4 步学生) 50 步教师: 3.0 7 倍加速,超 20 fps 实时线
世界-动作建模(LIBERO-Plus 全量) 成功率↑ (%) 56.82(Ropedia W0 初始化 FastWAM) FastWAM 原始: 50.06 +6.76 pp(相对 +13.5%)
WorldArena Track 1(RoboTwin 2.0,1000 回合) EWMScore↑(15 指标均值) 66.92 (A14B) BWM + SR: 61.01 +5.91,轨迹精度 +29.1
策略评估相关性(RoboTwin 2.0 / 真实 G1) Pearson r↑ 0.984 / 0.996(MMRV=0) 完美一致=1.0 排名完全保持

局限与改进

作者在附录 F 中坦承三点:蒸馏学生虽然能做分钟级实时 rollout,但缺少强记忆机制或周期性重锚定,更长时程的稳定交互仿真仍待解决;模型规模只做到 14B 激活参数,数据 scaling 时人类数据混合比例固定,更广的本体与任务覆盖尚未验证;运动学接口只捕捉相机和操作臂的运动,不建模物理接触力与物体动力学,预测的是'视觉后果'而非底层物理。我自己补充几点观察:其一,主指标 PSNR/SSIM/LPIPS 本质是像素/感知相似度,对一个'用于决策的世界模型'而言未必对应物理合理性和可交互性,论文虽然补了 VBench/FVD/WorldArena 等指标,但接触、形变、动力学一致性仍未被直接量化;其二,相机条件在平均意义上只贡献 0.3 dB,因为八个评测本体中六个几乎不做相机运动——这说明当前评测生态里'真移动'场景严重不足,移动能力的证据主要来自 ω-HOME/Xp-Teleop 和 -1.3 dB 的子集消融,说服力有待加强;其三,机器人骨架依赖大规模人工关键点标注与校正,这恰恰是论文最强的地方,也是最不可扩展的地方,换一个新本体/新数据集仍要重复这门手工;其四,Xp-Teleop 仅约 1 小时、单一 G1+Inspire 本体、两名操作员采集,作为'长时程基准'覆盖面有限;其五,规划实验依赖外部 value model 打分,世界模型本身不提供奖励或不确定性,闭环规划的上限受 value model 制约。

独立分析的弱点

弱点一:像素相似度指标与 embodied 效用的错位。PSNR 高不代表生成的抓取在物理上可行,策略评估实验(Pearson 0.984+)是好的开始,但只在 π0.5/Ψ0 两个策略家族上验证;改进方向是把评估协议扩展到更多策略与失败模式,并引入接触/物位一致性等物理指标。弱点二:人工标注的不可扩展性。论文自己承认'直接 FK 投影经常错位、很多发布缺标定',于是靠人工标注和校正兜底——对 13 个公共数据集可行,对长尾机器人不现实;改进方向是做可微分 FK + 视觉对齐的自监督校正(用检测器误差反传优化 URDF 外参/关键点),或训练一个'骨架修正网络'自动完成人工那一步。弱点三:81 帧(约 5 秒)训练窗口限制了长时程一致性,虽然蒸馏后靠 LongLive 流式外推到分钟级,但 Table S4 显示第 12 段 PSNR 从 29.33 掉到 12.35 dB,误差随 rollout 累积明显;改进方向是引入检索式记忆或周期性真值重锚定(作者也提到了)。弱点四:人类/机器人 1:1 采样的 mid-training 策略较粗糙,人类数据多 3 倍却只占一半采样;改进方向是按课程或损失加权动态配比,可能进一步放大人类经验的收益。弱点五:触觉、深度、全身关节等 Xp-Teleop 丰富的模态在当前模型里并未作为条件输入,世界模型仍是纯视觉的;改进方向是把触觉/力觉作为额外条件通道,向'多模态世界模型'演进。弱点六:评测集中在单臂/双手操作+有限移动,双臂协同、全身协调(如弯腰、蹲起)和动态操作(抛接、快运动)未覆盖,条件接口是否够表达这些运动存疑。

未来方向

作者在附录 F 提出三个方向:为蒸馏学生引入更强记忆机制或周期性重锚定,把稳定交互仿真推广到更长时程;继续 scale 模型规模(超过 14B 激活)与人类预训练数据量,并拓宽本体与任务覆盖;把世界模型与可仿真、物理接地的 3D 资产与场景耦合,从预测'视觉后果'走向建模'底层动力学'。基于论文成果还可以延伸出几条路:其一,world-action 联合训练的深度化——论文只把预训练骨干作为 FastWAM 的初始化就拿到 LIBERO-Plus +6.76 pp,若进一步用世界模型做 rollout 打分的强化微调(RFT)或合成数据生成(DreamGen 式),人类经验可以直接转化为机器人技能;其二,把世界模型作为 VLA 的'想象模块'做推理时搜索,与论文的 model-based planning 结果(真实 G1 上 55% vs 45%)形成更完整的闭环;其三,条件接口扩展:加入物体级状态、接触点和力/触觉通道,让模型预测'物体会怎样'而不只是'画面会怎样';其四,人类数据的进一步挖掘——1 万小时只是起点,野外视频(Apple Vision Pro、智能眼镜生态)配合自动骨架估计可能把预训练数据再推一个数量级,验证 scaling 曲线是否继续单调;其五,Xp-Teleop 式的长时程、全模态基准值得扩展到更多本体和失败恢复场景,推动社区从'预测成功'走向'预测一切'。

复现评估

复现难度总体偏高,分三个层面看。数据层:Xp-Data 的 1 万小时人类数据中约 6000 小时是自采的四鱼眼相机视频,公开渠道拿不到;对 14 个公共人类数据集的重新标注管线依赖 SLAM/DA3、WiLoR、Grounding DINO、Gemini/Qwen 等一长串模型和大量人工机器人关键点校正,人工成本是主要瓶颈。论文宣布了 Xp-Teleop 基准(约 1 小时、27 个 take、543 个片段,用现成硬件 Azure Kinect DK + Quest 3 + Unitree 开源框架采集,附录 A.2 给了完整装备与协议细节),这部分可复现性最好。模型层:骨干是公开的 Wan2.2-TI2V-5B / I2V-A14B,零初始化条件投影的方案描述清晰(公式 4),但训练总算力未披露——14B 激活的 MoE 在约 1.3 万小时视频上做预训练+mid-training,估计需要数十卡级别的高显存集群跑数周;蒸馏流程(Causal Forcing + 非对称 DMD + LongLive)在附录 B.2 有配方(5 次评分更新/生成器更新、warm-up 策略),但超参细节仍有缺口。评测层:附录 C 给出了非常细致的协议(指标定义、DA3 反推位姿、PCK 匹配规则、scaling 检查点选取),照着做可以复现对比。项目页为 ropedia.github.io/ropedia-w0;论文正文未明确承诺开源代码与权重,若不开源,独立团队复现完整系统(尤其数据管线)几乎不可行,但用公开数据 + 公开骨干复现'小号版'验证核心思想(骨架+相机条件 vs latent action)是可行的。

相似论文推荐