← 返回 2026-10-13

UNITAS:面向具身操作的3D原生世界动作模型 UNITAS: A 3D-Native World Action Model for Embodied Manipulation

Ruixiang Wang, Yongyi Su, Wenlve Zhou, Bo Yue, Hengyan Liu, Dekun Lu, Yuxin Tian, Yihan Fang, Zerui Wu, Xing Hu, Jietao Chen, Yong Guo, Ziyan He, Junbin Yuan, Guiliang Liu, Xiaofen Xing, Kui Jia 📅 2026-10-08 👍 5 2026-11-11 18:30
3D表示学习 世界动作模型 具身智能 机器人操作 跨本体策略

首个在共享度量3D框架中统一观测、动作与场景动力学的世界动作模型

前置知识

世界动作模型(WAM)

同时学习"预测世界如何随动作演化"与"生成机器人动作"的基础模型,可写成 $p(a_{1:H}, v_{1:T} \mid o, \ell)$ 的联合建模问题。多数现有 WAM 构建在预训练视频生成器之上,用未来图像或视觉 latent 表示世界状态演化,从而把动作学习与未来预测耦合起来。

UNITAS 的自我定位是"首个 3D 原生 WAM",全文的动机、公式化(式 1-3)和实验对比都围绕与视频型 WAM(Fast-WAM、Motus 等)的差异展开,不理解 WAM 这一范式就无法理解其贡献。

VLA 策略(视觉-语言-动作模型)

把摄像头图像与自然语言指令直接映射为机器人动作序列的端到端策略模型,通常由 VLM 骨干加动作解码头构成,代表工作有 $\pi_0$、$\pi_{0.5}$、OpenVLA、X-VLA。它们只生成动作、不显式预测世界演化。

论文的主要对比基线几乎都是 VLA(Table 1 第一组);消融实验中去掉所有世界模型组件后的"VLA-style baseline"只有 67.58% 成功率,是理解各组件价值的参照点。

场景流与点轨迹(Scene Flow / Point Tracks)

场景流是三维场景中各点在连续时刻间的位移场 $\Delta x_{n,k} = x_{t+\tau_k,n} - x_{t,n}$;点轨迹则是把同一物理点在各时刻的位置连成的对应序列,保持点身份不变。相比 2D 光流,它直接处于度量空间,物理距离即坐标差。

UNITAS 的 action flow(夹爪/人手运动)与 scene flow(环境响应)全部用 3D 点位移轨迹表示,这是全文的核心接口;论文的 4 项世界模型评测指标(Moving ADE/FDE、Static ADE、Acc@1cm)都是点轨迹误差。

Rectified Flow(整流流/流匹配)

一种生成模型训练范式:把干净数据 $y$ 与噪声 $\epsilon$ 线性插值 $y_\gamma = (1-\gamma)\epsilon + \gamma y$,训练网络回归速度场 $y - \epsilon$,采样时沿 ODE 用少量 Euler 步迭代去噪。相比扩散模型路径更直、推理步数更少。

UNITAS 的点动力学专家与动作专家都用 rectified flow 训练,动作流与命令共享去噪时刻 $\gamma$ 而场景流独立采样 $\gamma_s$;理解损失函数(式 9)和 10 步 Euler 推理流程都需要这个背景。

Diffusion Transformer 与 Mixture-of-Transformers

DiT 是用 Transformer 骨干做扩散/流去噪的架构(Peebles & Xie, 2023);Mixture-of-Transformers(MoT)则为不同模态维护独立权重(各自的自注意力/FFN),只在需要时通过 cross-attention 共享对方的 keys/values,是稀疏的多模态架构。

UNITAS 由两个 DiT 组成的 MoT 构成:826M 的点动力学专家处理动作流+场景流,256M 的动作专家在每层读取动力学专家的观测/语言 KV 来生成动作块,注意力掩码设计直接决定了策略模式的推理加速。

MANO 手部模型与 URDF 前向运动学

MANO 是统计参数化人手模型,可从图像回归出 21 个手部关键点的 3D 位置;URDF 是机器人统一机器人描述格式,定义连杆几何与关节树,前向运动学把各关节角度映射为连杆在基座坐标系下的 $SE(3)$ 位姿。

跨本体统一表示依赖这两者:机器人从 URDF 定义的夹爪几何中每臂采样 20 个点并用正运动学映射到世界系,人类演示则用每只手 21 个 MANO 关键点,两者由此共享同一种点轨迹语言。

FiLM 调制与位置编码

FiLM(Feature-wise Linear Modulation)用条件输入经小型网络生成逐通道的缩放 $a$ 与偏移 $b$,以 $(1+a)\odot h + b$ 的方式注入特征;傅里叶位置编码 $\psi(\cdot)$ 把连续坐标映射为高维正弦特征,让网络感知连续空间位置。

物理时间轨迹 tokenizer 靠 FiLM 把 $\tau_k$(秒)注入编码器/解码器,实现"一条轨迹一个 token";世界对齐 3D 位置嵌入则用傅里叶映射把世界坐标加到视觉 token 与流 token 上,是空间 grounding 的基础。

研究动机

现有世界动作模型(WAM)大多构建在预训练视频生成器之上,用未来图像或视觉 latent 表示世界演化。但机器人交互发生在度量三维空间中,图像只是视角依赖的投影:同一个机器人运动、物体位移或接触事件在不同视角下产生完全不同的像素变化,相同的像素位移也未必对应相同的物理距离,相机内参与相机—机器人外参的差异还会让这一映射在不同本体之间进一步改变。这种缺陷有可量化的后果:在 LIBERO-Plus 鲁棒性基准上,视频型 WAM Fast-WAM 总体成功率仅 51.5%,相机扰动下骤降到 16.4%,机器人初始状态扰动下只有 44.5%;$\pi_0$ 在初始状态扰动下低至 6.0%,OpenVLA 相机扰动下仅 0.8%。引用的工作还指出,逼真的图像预测仍可能错报物体位移、使刚性几何形变、或让静态区域在帧间漂移——视觉上好看不代表度量上正确。部分工作已引入深度、光流、场景流或 4D 重建,但几何多充当输入线索或辅助预测目标;与本文最接近的 PointWorld 虽直接预测度量点流,却以外部给定的机器人运动为条件,无法根据任务指令自行生成动作。

本文的目标是本文的目标是构建第一个 3D 原生的世界动作模型 UNITAS(UNIfed Trajectories for Action and Scene flow):在每个预测窗口内,把视觉观测、动作与场景动力学统一到一个固定的度量 3D 参考系 $\mathcal{F}_W$ 中,并用同一套点轨迹表示跨越不同机器人本体与人类手部。模型需同时支持两种工作模式:策略模式直接从指令与观测生成可执行的末端动作块;模拟器模式则在给定动作流(模型自生成或外部提供)的条件下预测场景的三维响应,即计算 $p_\theta(S \mid A, C)$。作者还要求该框架在无深度输入时依然能完成空间 grounding(纯 RGB 推理),以较小的参数量(1.7B)在仿真与真机上取得领先的操作成功率和动作条件场景预测精度,并在相机、机器人初始状态、光照、背景等七类扰动下保持鲁棒。

与已有工作不同的是,本文的独特切入点是把"交互几何"从辅助信号提升为动作生成与世界演化的统一接口。与以图像/视觉 latent 为世界载体的视频 WAM 相比,UNITAS 用共享度量系中的 3D 点位移轨迹描述一切运动:action flow 表示夹爪或人手,scene flow 表示环境响应,两者语法完全一致。与 PointWorld(只做条件场景预测、动作来自外部)相比,UNITAS 从任务指令出发联合生成动作与其场景后果,policy 与 simulator 双模式共用同一个接口。与 LaMP、GeomVLA(把轨迹去噪的中间特征作为动作生成的运动先验)相比,UNITAS 让点流本身就是跨本体的动作空间与预测目标,而非隐层特征。针对异源数据帧率/时长不一致的问题,作者提出以物理时间(秒)为尺度的轨迹 tokenizer;针对无深度推理,提出沿标定相机射线采样候选深度的注意力路由机制,把深度对齐的空间信息蒸馏进 RGB 条件的位置嵌入——这两点都是此前的 3D 策略工作未系统处理的。

核心方法

直觉上,UNITAS 想让"机器人看到什么、它如何动、世界如何回应"说同一种语言:都在每个预测窗口内固定不变的世界坐标系 $\mathcal{F}_W$ 下,表示为 3D 点的位移轨迹。技术路线分五步。第一,空间 grounding:视觉 token 通过世界对齐 3D 位置嵌入绑定到世界坐标——有深度时按 $P_{camera} = D K^{-1}[u,v,1]^\top$ 反投影再经 $T_W$ 变换;无深度时沿相机射线在 0.1–2.0 m 均匀取 $M=64$ 个候选深度,用 patch 特征做交叉注意力路由并融合出位置嵌入。第二,动作统一:机器人每臂从 URDF 夹爪几何采 20 个点(前向运动学映射到世界系),人手用 21 个 MANO 关键点,构成 action flow;场景点位移构成 scene flow。第三,物理时间轨迹 tokenizer 把每条轨迹压缩为一个 token,时间用秒计($\tau_k = k/f$,共享 $T_{max}=3$ s),FiLM 注入时间。第四,Mixture-of-Transformers 双专家:点动力学专家(28 层、宽 1280)负责动作流与场景流的去噪,动作专家(28 层、宽 640)每层读取前者的观测/语言 KV,生成末端执行器命令块。第五,按 $p_\theta(A,u,S \mid C,q_0) = p_\theta(A\mid C)\,p_\theta(u\mid C,q_0)\,p_\theta(S\mid A,C)$ 因子分解联合分布,两个流用 rectified flow 去噪,注意力掩码保证策略模式可以零开销跳过世界模型分支。

核心创新有三点。其一,action flow / scene flow 作为跨本体的统一接口:人手与夹爪形态、控制频率、动作空间都不同,传统做法需要 embodiment 特定提示或状态规范化;UNITAS 把二者都化为共享度量系中的对应点轨迹,使机器人数据、仿真数据、人手视频(如 VITRA)能以完全相同的监督信号联合训练,一个 tokenizer 通吃。其二,物理时间轨迹 tokenizer:不同数据源采样率从 6 Hz 到 20 Hz 不等,按帧索引编码会让相同物理时间得到不同特征;UNITAS 以秒为单位($\tau_k = k/f$),用 $[\phi_{time}(\tau)]_j = \mathrm{sgn}(\tau)\sin^{j/d_z}\!\big(\tfrac{\pi}{2}\tfrac{\tau}{T_{max}}\big)$ 的基函数编码时间,编码器把整条轨迹池化成单个 latent $z_n$(式 8),解码器按请求时间读出位移——每点一个 token,与轨迹长度和采样密度无关,还使点数可控、注意力可排列等变。其三,世界对齐位置嵌入的无深度版本:把候选深度当 keys(相机系)、候选世界坐标当 values(世界系),用 patch 特征路由加权求和 $E_{ground} = W_o \sum_m \alpha_m W_v \psi(p_{world,m})$,再用傅里叶特征匹配损失 $L_{PE}$($\lambda_{PE}=0.1$)从真值深度蒸馏路由权重,使训练可混合 RGB 与 RGB-D 数据、推理可无深度。

方法步骤详情

完整流程如下。输入:指令 $\ell$、多视角观测 $O_t$(RGB(+深度))、相机标定 $\{K_i, T_{W}^{t,i}\}$、历史动作流 $H_A$、当前末端状态 $q_0$。第一步,确定窗口世界系:机器人数据用基座或双臂中点坐标系,人手 egocentric 数据用锚点相机系并在窗口内保持固定。第二步,视觉编码:Florence-2-large 编码主视角为 token 网格,按式(4)(5)加世界对齐位置嵌入(224×224 输入);辅助视角特征由共享视觉塔提供。第三步,查询点选取:每臂 URDF 夹爪采 $N_g=20$ 点、每只手 21 个 MANO 关键点、场景点经体素化后采样(上限 12,000,混合训练仅保留 1% 约 120 点,5 mm 体素)。第四步,tokenizer 预训练:先单独以平方欧氏误差重建历史/未来动作流与可用场景轨迹(held-out 误差毫米级,见 Table 6),随后冻结。第五步,联合训练:点动力学专家处理观测 KV、辅助视角特征与各流 latent;动作专家每层读取动力学专家 KV 与自己的当前状态/含噪命令 token,预测相对平移、旋转、开合度;两者用 rectified flow,损失 $\mathcal{L} = \lambda_A\mathcal{L}_A + \lambda_s\mathcal{L}_{scene} + \lambda_{ctrl}\mathcal{L}_{ctrl} + \lambda_{PE}\mathcal{L}_{PE}$,前三项权重为 1。第六步,推理:动作流与命令块在同一个 10 步 Euler 调度上并行去噪;场景去噪条件于生成的或外部提供的动作流,上下文与干净动作流的 KV 被缓存复用;策略模式只保留观测/历史上下文、只去噪 $u$,跳过两个流分支。

技术新颖性

技术新颖性体现在四个层面。表示层:这是(据作者所知)首个把观测、动作、场景动力学全部放进同一度量框架的世界动作模型,动作与场景后果在数学上共享同一语法(点位移轨迹),跨本体与跨数据源迁移不再需要模态特定的头或提示。时间层:物理时间 tokenizer 用秒而非帧索引编码时间,配合 $T_{max}=3$ s 的共享尺度,使 6–20 Hz、时长各异的九个数据源在同一个模型里语义对齐;"一条轨迹一个 token"也把 token 数量与轨迹长度解耦,这与视频 WAM 每帧一组 token 的做法本质不同。空间层:射线候选深度路由 + 傅里叶蒸馏让位置嵌入在无深度时仍近乎无损(Table 9 中 84.43% vs 84.68%),属于把深度依赖蒸馏进 RGB 的系统性方案而非临时补丁。工程层:注意力掩码设计(场景 token 只看干净动作流 $A_{clean}$ 而不看含噪 $A_\gamma$,动作块不看任何未来流)使 policy-only 推理跳过全部世界模型计算,55.77 ms/块的延迟支撑实时控制;同时世界模型分支保留完整,用于模拟器模式。与最近邻 PointWorld 的本质区别是生成方向:PointWorld 是"给定动作预测场景",UNITAS 是"从指令同时生成动作与场景"。

UNITAS architecture and attention masks. Left: The point dynamics expert models both action and scene flows, while the action expert generates the end-effector action chunk. Scene flow generation is conditioned on clean demonstrated action flow during training and generated or supplied action flow at inference. Right: Colored/white cells indicate allowed/blocked attention.
Figure 2: UNITAS architecture and attention masks. Left: The point dynamics expert models both action and scene flows, while the action expert generates the end-effector action chunk. Scene flow generation is conditioned on clean demonstrated action flow during training and generated or supplied action flow at inference. Right: Colored/white cells indicate allowed/blocked attention.
Shared point-flow representations across data sources. Left: gripper/hand trajectories (purple) and scene trajectories (yellow–blue), with RGB insets. Right: RoboTwin end-effector XYZ error (mm). Thick curves show exponential moving averages (EMA) of the thin curves.
Figure 3: Shared point-flow representations across data sources. Left: gripper/hand trajectories (purple) and scene trajectories (yellow–blue), with RGB insets. Right: RoboTwin end-effector XYZ error (mm). Thick curves show exponential moving averages (EMA) of the thin curves.

实验结果

策略性能(Table 1):UNITAS 在 LIBERO 四个子套件(Spatial/Object/Goal/10)取得 99.8/100.0/100.0/99.4,平均 99.8%,超过所有对比方法;不做混合数据集预训练也有 99.5%。RoboTwin 2.0 上 Clean/Randomized 分别为 92.94%/93.04%,用 1.7B 参数超过 6B 的 Fast-WAM(91.88/91.78)与 8B 的 Motus(88.66/87.02)。VLABench 上 SR 56.2%、PS 67.6%,明显高于 $\pi_{0.5}$ 的 48.1%/62.3%。鲁棒性(LIBERO-Plus)总体 89.1%(无预训练 86.5%),对比 $\pi_{0.5}$ 85.7%、ABot-M0.5 83.4%、Cosmos Policy 82.2%、Fast-WAM 51.5%;相机扰动下 82.1%,远超 Cosmos Policy 75.8%、LaMP 64.5%、Fast-WAM 16.4%,直接验证世界坐标 grounding 的作用。混合预训练带来 +2.6 个百分点,其中机器人初始状态扰动从 84.8% 升至 94.2%、语言扰动从 77.6% 升至 85.0%。真机(Table 2,每任务 20 次):Organize Books 18/20(90%)超 $\pi_{0.5}$ 75% 与 Fast-WAM 65%;Pack the Ball 16/20(80%)超 $\pi_{0.5}$ 55% 与 Fast-WAM 60%,平均约 85%。消融(Table 3):去掉全部组件仅 67.58%;去掉 3D PE 掉到 81.35%(相机扰动从 79.11% 跌至 66.73%);去掉动作流监督 78.89%;去掉历史 token 75.92%(初始状态扰动暴跌 19.87 个百分点);完整模型 86.47%。世界模型(Table 4,550 个 RoboTwin 片段):Moving ADE 0.427 cm 比 PointWorld 0.656 cm 低 35%,Static ADE 0.043 vs 0.084 低 49%,Moving FDE 0.825 vs 1.050 低 21%,Acc@1cm 92.31% vs 88.22%;视频基线被大幅甩开(Ctrl-World+DA3+STv2 的 Moving ADE 为 3.310 cm)。闭环一致性(Table 13):Moving ADE 1.211 cm、Acc@1cm 64.26%,明显优于 X-WAM+STv2 的 2.579 cm/35.55%。效率(Table 8):纯动作推理 55.77 ms/块,比 Fast-WAM 无视频生成(156.81 ms)快 2.81 倍,比 Motus(2414.9 ms)快约 43 倍。

Policy performance (%, ↑). Our 1.7B model is evaluated with and without mixed-dataset pretraining. Bold and underlined scores denote the best and second-best results, respectively.
Table 1: Policy performance (%, ↑). Our 1.7B model is evaluated with and without mixed-dataset pretraining. Bold and underlined scores denote the best and second-best results, respectively.
Quantitative comparison results of real-robot experiments (20 trials per task).
Table 2: Quantitative comparison results of real-robot experiments (20 trials per task).
LIBERO-Plus ablations without mixed-dataset pretraining. Checkmarks indicate enabled components. Success rates (%) are reported for each perturbation; Overall pools all 10,030 evaluation episodes.
Table 3: LIBERO-Plus ablations without mixed-dataset pretraining. Checkmarks indicate enabled components. Success rates (%) are reported for each perturbation; Overall pools all 10,030 evaluation episodes.
Action-conditioned scene prediction on RoboTwin. Errors are in cm (↓); Acc@1cm is in % (↑). DA3 and STv2 denote Depth Anything 3 and SpatialTrackerV2, respectively.
Table 4: Action-conditioned scene prediction on RoboTwin. Errors are in cm (↓); Acc@1cm is in % (↑). DA3 and STv2 denote Depth Anything 3 and SpatialTrackerV2, respectively.
Held-out trajectory reconstruction errors of the frozen tokenizer (mm). Dashes indicate unavailable scene-flow ground truth.
Table 6: Held-out trajectory reconstruction errors of the frozen tokenizer (mm). Dashes indicate unavailable scene-flow ground truth.
Inference efficiency on an RTX 5090 D. Latency is measured per prediction chunk; Ns denotes the number of queries.
Table 8: Inference efficiency on an RTX 5090 D. Latency is measured per prediction chunk; Ns denotes the number of queries.
Spatial grounding without depth input on LIBERO-Plus. Success rates (%, ↑) over 10,030 episodes. Routed PE and ground-truth depth PE use the same checkpoint.
Table 9: Spatial grounding without depth input on LIBERO-Plus. Success rates (%, ↑) over 10,030 episodes. Routed PE and ground-truth depth PE use the same checkpoint.
Closed-loop action–scene consistency on RoboTwin. Predictions are compared with the scene evolution produced by executing the same model's generated actions. Errors are in cm; Moving Acc@1cm is in %.
Table 13: Closed-loop action–scene consistency on RoboTwin. Predictions are compared with the scene evolution produced by executing the same model's generated actions. Errors are in cm; Moving Acc@1cm is in %.
Qualitative real-robot rollouts on Organize Books and Pack the Ball. Numbered keyframes show task progression through precise placement and sequential manipulation.
Figure 4: Qualitative real-robot rollouts on Organize Books and Pack the Ball. Numbered keyframes show task progression through precise placement and sequential manipulation.
Action-conditioned scene-flow predictions. Top: observed RGB images. Middle: initial point clouds. Bottom: predicted endpoint point clouds and scene trajectories (color gradient), conditioned on recorded gripper trajectories (purple). Translucent robot meshes indicate the corresponding poses.
Figure 5: Action-conditioned scene-flow predictions. Top: observed RGB images. Middle: initial point clouds. Bottom: predicted endpoint point clouds and scene trajectories (color gradient), conditioned on recorded gripper trajectories (purple). Translucent robot meshes indicate the corresponding poses.
Zero-shot scene-flow predictions on real-world observations. The first four rows are from DROID and the last is from RH20T. Columns show observed RGB, initial points, and predicted midpoint and endpoint point clouds with scene trajectories (orange to purple) and ground-truth gripper trajectories used for conditioning (magenta).
Figure 11: Zero-shot scene-flow predictions on real-world observations. The first four rows are from DROID and the last is from RH20T. Columns show observed RGB, initial points, and predicted midpoint and endpoint point clouds with scene trajectories (orange to purple) and ground-truth gripper trajectories used for conditioning (magenta).
查看结构化数据
任务指标本文基线提升
LIBERO(仿真单臂操作,4 套件平均) 成功率 (%) 99.8 ABot-M0 98.6 / X-VLA 98.1 / π0.5 96.9 +1.2 pp(对次优 ABot-M0)
RoboTwin 2.0 Randomized(50 个双臂任务) 成功率 (%) 93.04 Fast-WAM(6B) 91.78 / LingBot-VA 91.55 / Motus(8B) 87.02 +1.26 pp 且参数量约为 Fast-WAM 的 28%
RoboTwin 2.0 Clean 成功率 (%) 92.94 Fast-WAM(6B) 91.88 / Motus(8B) 88.66 +1.06 pp
LIBERO-Plus(七类扰动鲁棒性,10,030 episodes) 总体成功率 (%) 89.1 π0.5 85.7 / ABot-M0.5 83.4 / Cosmos Policy 82.2 / Fast-WAM 51.5 +3.4 pp(对 π0.5);相机扰动下 82.1% vs Cosmos 75.8%
VLABench(5 轨迹泛化评测) 成功率 SR (%) 56.2 π0.5 48.1 / π0-FAST 39.8 +8.1 pp;进度分 PS 67.6 vs 62.3
动作条件场景预测(RoboTwin 550 片段) Moving ADE (cm) 0.427 PointWorld 0.656 / X-WAM+STv2 2.286 -35%(对 PointWorld);-81%(对 X-WAM)
动作条件场景预测(同上) Static ADE (cm,背景漂移) 0.043 PointWorld 0.084 / Ctrl-World+DA3+STv2 0.369 -49%
动作条件场景预测(同上) Moving Acc@1cm (%) 92.31 PointWorld 88.22 / X-WAM+STv2 49.69 +4.09 pp
闭环动作-场景一致性(3 任务×2 条件×10 次) Moving ADE (cm) 1.211 X-WAM+STv2 2.579 / Motus+STv2 3.216 -53%;Acc@1cm 64.26% vs 35.66%
真机 Organize Books(20 trials) 成功率 (%) 90 π0.5 75 / Fast-WAM 65 +15 pp
真机 Pack the Ball(20 trials) 成功率 (%) 80 Fast-WAM 60 / π0.5 55 +20 pp
推理延迟(RTX 5090 D,纯动作模式) 每块延迟 (ms) 55.77 Fast-WAM w/o video 156.81 / Motus 2414.90 2.81× 加速(对 Fast-WAM)

局限与改进

作者明确承认的局限写在了结论:框架目前只在每个预测窗口(约 1–1.5 s、20 步)内可靠,"延伸到更长交互的可靠预测与更广泛的真机部署"是待解决的问题;真机评估也只有两个任务、每任务 20 次试验。我自己的观察还有几点:第一,场景流监督基本只来自仿真(RoboTwin/LIBERO/VLABench),真实世界的 world-model 能力只有 DROID/RH20T 上的零样本定性可视化(Fig. 11),没有定量真值验证,仿真到真实的场景预测保真度存疑。第二,模拟器模式在推理时需要当前 3D 查询坐标(来自深度或给定几何),且整个框架依赖相机标定 $\{K_i, T_W\}$,这限制了在无标定、无深度设备上的即插即用。第三,混合预训练时场景查询点只保留 1%(约 120 点),密集形变场景(布料、颗粒物)的预测粒度会受限。第四,VLABench 的意图分 IS(69.3)略低于 X-VLA(70.2),说明指令理解层面并非全面领先;LIBERO-Plus 的 Noise 扰动下,带预训练版本(84.5)反而低于无预训练版本(89.8)。第五,真机基线只有 $\pi_{0.5}$ 和 Fast-WAM 两个,且自采 W1 数据的规模与机器人型号细节披露有限。第六,训练用了 64 张 DCU,预训练成本高。

独立分析的弱点

第一,标定与深度依赖:世界系对齐需要相机内参和相机-世界外参,模拟器模式还需要当前深度;论文用路由机制解决了"无深度",但没有解决"无标定"。改进方向是把在线自标定或可微位姿估计纳入前端,让 $T_W$ 由模型联合估计。第二,预测窗口短:每个窗口约 1–1.5 s,长时程任务必须滚动预测,而滚动带来的误差累积没有任何定量评估;改进方向是引入 latent 记忆或分层目标(子目标 latent),让跨窗口上下文可传递。第三,真实世界场景流缺真值:simulator 模式在真机上无法定量验证,只能看可视化;改进方向是利用 4D 重建/长期跟踪(如 SpatialTrackerV2 + 深度)为真实数据自动产生弱标签场景流。第四,查询点稀疏:混合训练仅 1% 场景点(约 120 点),密集接触与柔性物体形变可能欠拟合;改进方向是物体级自适应点数、或面向接触区域的重要性采样。第五,物理属性靠数据隐式学习:Fig. 8 显示模型能预测重力下落的物体释放,但没有机制保证对未见物理参数(摩擦、质量分布)外推可靠;改进方向是引入物理先验或把生成的场景流用作可行性检查器(碰撞/滑落预警)反馈给规划。第六,评估广度:真机仅 2 任务、场景预测仅 RoboTwin 域内片段(Fig. 7–10 用的是训练片段),held-out 定量只在 550 个测试片段上做;改进方向是把世界模型评测扩展到跨域与真机真值。第七,动作专家预测的命令块与动作流之间没有显式一致性约束(一致性只有间接证据,见 Table 13 讨论),可加对齐损失强制二者物理一致。

未来方向

作者提出的方向:把物理交互作为具身学习的统一基础,将机器人行为与环境变化视为同一过程的两面;延伸到更长时程的可靠预测与更广的真机部署。基于该成果可以自然延伸的研究:其一,model-based 规划——既然模拟器模式能在度量空间预测场景后果,就可以在其中做采样式规划(MPC/CEM),用预测的点轨迹代价(距离目标、碰撞)做测试时优化,这是纯视频 WAM 难以做到的;其二,数据引擎——用 scene flow 预测误差作为自动化指标,筛选低质量演示或检测分布外状态,指导数据采集;其三,人手数据规模化——VITRA 人手演示已能与机器人数据无缝混合(Fig. 3 显示混数据降低 EEF 误差),可进一步把互联网级别的手部操作视频接入预训练,走向"看人做事就学会";其四,与灵巧手结合——20 点的 URDF 采样可推广到多指手的更高自由度表面采样;其五,混合表示——把视频生成先验与本框架的度量流结合,兼顾外观真实感与几何精确性;其六,把 action flow 作为通用接口接入上层 VLM 规划器,让规划器输出点级运动意图、UNITAS 负责落地。

复现评估

代码已开源(https://github.com/DexForce/UNITAS)。数据方面:九个预训练数据源中 RoboTwin、LIBERO、VLABench、DROID、AgiBot、RoboMIND、RH20T 均公开可获取,VITRA 基于 Ego4D/EgoExo4D 等需签协议,自采的 W1 数据是否随代码发布尚不确定,这部分可能造成预训练复现缺口。论文的技术细节披露非常完整:轨迹采样配置(Table 5)、tokenizer 公式与基函数(式 10)、held-out 重建误差(Table 6)、完整架构参数表(Table 7:Florence-2-large 570.7M + 点动力学专家 826.3M + 动作专家 256.0M + tokenizer 1.9M = 1,694.5M)、超参(AdamW,lr $10^{-4}$/$10^{-5}$,batch 1024,200K 步,10 步 Euler)、注意力掩码语义与推理延迟(Table 8)都写明,具备照着实现的可行性。算力是主要门槛:预训练用 64 张华为 BW1000H DCU(64 GiB)加 FSDP,学术实验室难以完整复现;但"无预训练"设置(直接在 LIBERO 等单基准上微调)论文证明也能达到很强结果(LIBERO 99.5%),单基准复现的成本会低得多。综合评估:微调级复现难度中等,预训练级复现难度高(依赖私有数据与大规模算力)。

相似论文推荐