UniWAM：统一世界-动作模型 UniWAM: Unified World-Action Model
融合语言推理、视频生成与动作预测的统一世界-动作模型，并揭示人机共训练缩放律
前置知识
视觉-语言-动作模型（VLA）
以预训练视觉-语言模型（VLM）为骨干的机器人策略：输入相机图像、本体状态和语言指令，直接输出机器人动作。它继承了 VLM 大规模图文预训练获得的语义理解与推理能力，能理解“把粉色杯子放到盘子左边”这类指令并定位物体；但训练监督只有动作本身，模型对“世界接下来会如何变化”缺乏显式监督，物理动态理解较弱。代表工作有 RT-2、OpenVLA、π0、π0.5。
本文的动机正是弥补 VLA 只用动作监督、不懂世界动态的缺陷，全文以 π0.5 等代表作为核心对比基线，理解 VLA 的强弱项才能看懂实验设计。
世界-动作模型（WAM）
以视频生成模型（VGM）为骨干的机器人策略，通过预测未来帧获得密集监督，从海量视频数据继承时空动态先验，理解物体运动与物理因果；但语义理解和复杂任务推理能力薄弱，分布偏移下容易失效。代表工作包括 DreamZero、Motus、4D-WAM、Fast-WAM。本文把 VLM 与 VGM 融合，让模型同时“看得懂语义”和“猜得到未来”。
UniWAM 的世界生成器由 Wan2.2 视频生成模型初始化，其动作头结构与 Motus 类似；理解 WAM 的优缺点是理解本文动机与对比实验（VLA 组 vs WAM 组）的关键。
流匹配（Flow Matching）
一种生成式建模方法：学习一个速度场，把简单源分布（如高斯噪声）沿近似直线的路径连续搬运到目标数据分布，训练目标是均方误差 $\mathcal{L}=\mathbb{E}[\|\hat{v}_\theta-(x_1-x_0)\|^2]$，推理时从源出发做若干步数值积分。相比扩散模型路径更直、去噪步数更少，π0 首次将其用于机器人连续动作生成。
UniWAM 的动作头和视频头都用流匹配训练；其核心后训练创新“历史条件流匹配”就是把高斯噪声源替换为带小扰动的动作历史，直接改变了生成起点。
Mixture-of-Transformers（MoT）
一种多模态架构：不同模态各自拥有独立的注意力投影（$Q,K,V$）、归一化和 FFN，即所谓“专家”；在每一层把各模态 token 沿序列维拼接，共享同一次联合多头注意力 $O=\mathrm{softmax}(QK^\top/\sqrt{d}+M)V$，实现深度跨模态交互。原版 MoT 用于文本-图像生成任务。
UniWAM 把 MoT 范式扩展到“语言理解-视频生成-动作预测”三个专家，这是其统一架构的骨架；理解联合注意力如何让动作 token 逐层吸收语义与视觉信息是读懂方法部分的前提。
自我中心数据（Egocentric Data）
由头戴摄像头从“人眼视角”记录的人类日常活动视频，天然覆盖丰富的手-物交互、多样物体与环境，是比昂贵的机器人遥操作演示更具可扩展性的具身数据来源，但缺少精确动作标签。本文使用 EgoDex、EgoVerse、VITRA 三个来源共约 5072 小时，并配有 14 维双腕轨迹（位置+四元数）和子任务级语言标注。
人类-机器人共训练及其对数线性缩放律是本文最重要的发现之一；理解这种数据的形态、噪声与标注难度，才能理解其监督分配与 EgoANT 标注流水线的设计动机。
OOD 泛化与域随机化
分布外（OOD）指测试环境与训练分布不一致，如光照、背景、相机视角、物体布局、语言表述被改变；域随机化则是在测试配置中系统随机化这些因素，用以检验策略的鲁棒性。机器人策略在 OOD 下性能往往大幅下滑，例如 π0.5 在 RoboTwin 2.0 上从干净设置（C2C）的 70.70% 掉到随机化设置（C2R）的 46.00%。
鲁棒性是本文的主要卖点：UniWAM 相对基线的最大优势正是在 LIBERO-Plus 七维扰动与 RoboTwin C2R 两类 OOD 评测中体现的。
研究动机
当前机器人基础模型分为两派，各有硬伤。一派是视觉-语言-动作模型（VLA），如 π0、π0.5、OpenVLA：它们借用了 VLM 的语义理解能力，但监督信号只有动作，模型对世界动态缺乏显式监督，一旦测试环境的背景、光照、视角、语言表述偏离训练分布，性能就大幅下滑——在 RoboTwin 2.0 的 50 个双臂任务上，π0.5 从干净设置（C2C）的 70.70% 跌到域随机化设置（C2R）的 46.00%，Spatial Forcing 更是从 77.20% 跌到 26.74%，跌幅高达 50.46 个百分点。另一派是世界-动作模型（WAM），从视频生成模型继承时空先验、通过预测未来帧理解物理动态，但语义理解与推理能力薄弱，OOD 下表现更差：AHA-WAM 在 C2R 上仅有 3.2%，FastWAM 仅 1.20%。与此同时，人类自我中心视频虽然便宜量大（数千小时级），却缺少精确动作标签、与机器人数据分布差异巨大，此前难以被有效用于策略训练。如何把 VLM 的推理泛化能力与 WAM 的动力学理解真正结合，是通向通用机器人的核心难题。
本文的目标是本文要构建一个统一的世界-动作模型 UniWAM：在单一架构内同时具备三种能力——（1）基于 VLM 的物理语义推理，（2）基于视频生成模型的世界动态预测，（3）精确的连续动作预测。并通过约 5072 小时人类自我中心数据、约 4958 小时机器人遥操作数据与 829.3 万条 VQA 数据的共训练，把 VLM 的推理泛化能力与 WAM 的动力学理解结合起来。可检验的子目标包括：在 LIBERO（分布内）、LIBERO-Plus 与 RoboTwin C2R（OOD）、真实世界指令跟随与长程任务上全面达到 SOTA；在后训练阶段显著减少动作去噪步数而不损失性能；用源级消融定量刻画每类数据源的贡献；并给出人-机数据共训练的定量缩放规律。
与已有工作不同的是，已有工作的切入点要么是“语言+动作”联合建模（RT-2、OpenVLA，π0.5 加入网络数据与语义子任务监督，Galaxea G0.5 统一推理与动作 token），要么是“视频+动作”联合建模（DreamZero、Motus、4D-WAM 等试图释放视频生成骨干的潜力），鲜有工作把 VLM、VGM 与动作专家放进同一个联合注意力架构、用互补监督分别训练。UniWAM 的独特切入有三点：一是提出“物理语言”监督，把末端执行器的连续位姿变化写成确定性自然语言模板，使动作监督与 VLM 预训练的输入输出分布对齐，在注入具身知识的同时保住语言能力；二是按数据特性给三个专家分配互补监督（VQA 只喂理解专家、人类数据喂理解+生成专家、机器人数据喂全部三个专家），避免异构数据之间的优化冲突；三是在后训练把动作流匹配的初始源从高斯噪声替换为带扰动的动作历史，从生成起点上改造流匹配范式。
核心方法
直觉上，通用机器人需要同时“听得懂话、看得懂物理、动得了手”，三件事不该由割裂的模型分别完成。UniWAM 用 Mixture-of-Transformers（MoT）架构把三个专家装进一个模型：物理推理器以 Qwen3-VL-2B-Instruct 初始化，负责语义理解并自回归生成物理语言；世界生成器以 Wan2.2-TI2V-5B 初始化，在冻结 VAE 的潜空间预测未来 8 帧（384×320）的视觉流；动作预测器输入 16 步动作块与状态 token，预测连续动作的速度场。三者各 30 层，每层将各模态的 $Q,K,V$ 拼接做联合多头注意力，让动作 token 逐层吸收语义上下文与演化的视觉预测。训练分两阶段：预训练在约 10013 小时机器人+人类数据和 829.3 万条 VQA 上进行 7 天（32×H800），总损失 $\mathcal{L}=\mathcal{L}_{video}+\mathcal{L}_{action}+0.1\mathcal{L}_{language}$，视频与动作头对独立采样的噪声水平 $\tau_v,\tau_a$ 做流匹配；后训练继续联合监督三个专家，并加入未来帧噪声增强与历史条件流匹配，使推理只需 2–4 步去噪。
核心创新是“物理语言监督”+“按专家分工的互补监督”。已有 VLA 让 VLM 直接输出离散动作码，这种监督与 VLM 图文预训练分布相去甚远，微调易灾难性遗忘语言能力。UniWAM 依照 LAP 思路，用固定坐标约定和结构化模板把每个动作窗口确定性地写成自然语言，如“Left arm: move up 4 cm, close gripper.”（平移取整厘米、旋转取 10 度），让 VLM 用交叉熵损失 $\mathcal{L}_{lang}=-\sum_j \log p_\theta(y_j|o_t,I,y_{<j})$ 学动作，与预训练分布完全兼容。监督按数据质量分配：8.293M 条 VQA 只监督理解专家以保住语义；人类数据量大但动作标签精度低，只监督理解+生成专家，避免污染动作头；只有物理一致性最高、标注最准的机器人数据监督全部三个专家。后训练再用未来帧噪声增强与历史条件流匹配（把流匹配源从高斯噪声换成 $A^1_t=A_{t-1}+\epsilon_a,\ \epsilon_a\sim\mathcal{N}(0,0.02^2 I)$）把三个专家真正耦合起来。
方法步骤详情
流程分五步。（1）机器人数据清洗：中值滤波+Savitzky–Golay 平滑构造参考轨迹筛查突变；互相关估时延后校验状态-动作时序一致性；按 $[q_{01}-\alpha(q_{99}-q_{01}),\ q_{99}+\alpha(q_{99}-q_{01})]$ 剔除离群点；正运动学校验关节-末端一致性；过滤黑帧/模糊/静止片段但保留夹爪闭合等交互关键帧。（2）人类数据标注：EgoANT 以 0.5 秒采样拼成带时间戳 contact sheet，Qwen3.6-27B 全片粗分段+局部细化边界；Qwen3.5-397B 用原始帧、FFmpeg 备用解码、种子/先验条件化三条路线生成候选描述，纯文本选择器选出最佳“动作-物体-目的地”描述。（3）表征统一：手腕位姿转为 3D 位置+四元数并对齐到头部相机坐标系，双腕拼接为 14 维人类运动；人机共用物理语言模板。（4）预训练：对视频与动作分别采样噪声水平 $\tau_v,\tau_a$ 并按 $A^\tau_t=(1-\tau)A^0_t+\tau A^1_t$ 插值，联合前向同时预测两个速度场，损失权重 1:1:0.1，32×H800 训 7 天。（5）后训练与推理：以概率 0.5 对未来帧潜变量加噪 $\tilde{Z}^\tau_v=s_{aug}Z^\tau_v+(1-s_{aug})\epsilon_v$；动作源用历史动作加 $\eta=0.02$ 扰动；推理默认 4 步 A2A。
技术新颖性
技术新颖性体现在四个层面。架构上：虽与 Motus 同样采用 MoT 式解码层结构，但 UniWAM 同时保留 VLM 的语言头与 VGM 的视频头，并在预训练中显式维护三种能力，而非像 Motus 只用光流潜动作学共享运动信息；这是首批把文本-图像 MoT 范式扩展到“理解-生成-动作”三专家的具身工作。监督设计上：物理语言把连续控制问题转写成 VLM 最擅长的 next-token prediction，模板确定性、精度可调，为人手/单臂/双臂/移动底盘提供了共享的运动语义接口——t-SNE 可视化（Figure 8）直接证明了该监督使机器人与人类表征大幅重叠。生成策略上：历史条件流匹配是对流匹配范式的实质改动，源分布从 $\mathcal{N}(0,I)$ 换成历史动作加小噪声，利用动作的时间连续性让生成从“更近的起点”出发，2–4 步即可超过 10 步噪声起点生成。实证上：首次给出人-机共训练的对数线性缩放律 $L(D)\approx 0.03205-0.00302\ln(D)$（$R^2\approx0.983$），并发现验证损失与下游成功率同步改善，提示可用离线损失预测具身控制能力。
实验结果
分布内：LIBERO 四套件平均成功率 99.2%（Spatial 99.6/Goal 99.2/Long 98.4），超此前最优 Xiaomi-Robotics-0（98.7%）0.5 个百分点。OOD：LIBERO-Plus 七维扰动总成功率 92.6% 为已报道最高（Kairos 89.0%、π0.5 86.2%），机器人初始状态 89.5%、语言 92.2%、光照 97.9%、背景 97.6% 四维均为最高。RoboTwin 2.0（50 个双臂任务）：C2C 75.14%、C2R 68.32%、平均 71.73%；C2C→C2R 仅降 6.82 个百分点，π0.5 降 24.70、Spatial Forcing 降 50.46。真机（Piper 双臂、每任务 200 条演示）：四个指令跟随任务平均成功率 67.5%、指令跟随率 82.5%，比 π0.5 高 13.1 和 21.9 个百分点；Diverse-Interaction 成功率 40.0%→72.5%；长程“Tidy up the desk”进度 5.0/6（π0.5 4.8、Motus 3.2）。缩放律：机器人数据 250h→5k，C2R 完成率 0.35→0.67 无饱和，$L(D)\approx0.03205-0.00302\ln D$（$R^2\approx0.983$）；人类数据低于 1k 小时有害、超过后增益。消融：无预训练 46.23%→机器人 67.53%→+人类 71.34%→+VQA 71.73%；VLM 冻结 42.61%→解冻 46.49%→+物理语言 51.74%→+预训练 71.34%；N2A 64.80%→A2A 69.73%→+视觉噪声增强 71.34%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO（仿真·分布内操作，4 套件） | 平均成功率 (%) | 99.2（Spatial 99.6 / Object 99.6 / Goal 99.2 / Long 98.4） | Xiaomi-Robotics-0：98.7（次优）；π0：94.4；PD-VLA：94.7 | 对比次优 +0.5 个百分点 |
| LIBERO-Plus（OOD 鲁棒性，7 维扰动） | 总成功率 (%) | 92.6（机器人 89.5 / 语言 92.2 / 光照 97.9 / 背景 97.6） | Kairos：89.0；ACoT-VLA：88.0；π0.5：86.2；π0：67.4 | +3.6 个百分点（对比最强基线 Kairos） |
| RoboTwin 2.0 C2R（域随机化 OOD，50 个双臂任务） | 平均成功率 (%) | 68.32 | GigaBrain-0.7：67.90；OpenWAM-α：48.7；π0.5：46.00；FastWAM：1.20 | 对比最强基线 +0.42；对比 π0.5 +22.32 个百分点 |
| RoboTwin 2.0（C2C 与 C2R 平均，50 任务） | 平均成功率 (%) | 71.73（C2C 75.14 / C2R 68.32） | OpenWAM-α：69.0（C2C 89.4 / C2R 48.7）；π0.5：58.35 | 对比最强平均基线 OpenWAM-α +2.73 个百分点 |
| 真实世界指令跟随（4 任务平均：Pick-Anything / Diverse-Interaction / Place-Relative / Drawer-Storage） | 任务成功率 / 指令跟随率 (%) | 67.5 / 82.5 | π0.5：54.4 / 60.6；Motus：17.5（成功率，均值更低） | 对比 π0.5 成功率 +13.1、指令跟随率 +21.9 个百分点 |
| 真实世界长程任务（“Tidy up the desk”，6 个顺序里程碑） | 任务进度（0–6） | 5.0 | π0.5：4.8；Motus：3.2 | 对比 π0.5 +0.2、对比 Motus +1.8 |
局限与改进
作者承认的局限：RoboTwin C2C 的绝对成功率（75.14%）并非最高——OpenWAM-α 达 89.4%、4D-WAM 达 81.5%，UniWAM 的优势主要体现在 OOD 鲁棒性与两项平均上；人类自我中心数据在小规模（低于 1k 小时）时反而拖累性能，说明跨本体迁移需要足够数据量支撑。我的补充观察：其一，物理语言模板把平移取整到厘米、旋转量化到 10 度，对插孔、理线等亚厘米级精密操作的描述能力存疑；其二，真机评估限定于桌面双臂 Piper、约 18 种刚性物体，未涉及可变形物体、流体、工具使用与移动底盘；其三，长程评估只有一个“整理桌面”任务，且进度由人工定义的 6 个里程碑衡量，数十步级长链路尚未验证；其四，任务级结果（Table 7）暴露明显短板——hanging_mug 仅 16%、handover_block 21%、handover_mic 21–24%，动态交接与悬挂类接触丰富任务依然困难；其五，论文未报告推理时的控制频率与显存占用，联合注意力要求世界生成器每次前向都参与，5B 级视频骨干的实时部署可行性存疑；其六，缩放律只在 250h–5k 小时区间拟合，外推到更大规模是否保持对数线性未知。
独立分析的弱点
第一，物理语言的量化损失：平移取整厘米、旋转 10 度粒度的模板在描述精密装配时信息不足，且语言输出与动作头的连续输出之间没有任何一致性约束，两条路径可能互相矛盾——改进方向是引入保留小数的连续值 token 或在语言-动作两路输出间加入一致性损失。第二，人类数据冷启动负迁移：低于 1k 小时时人机分布差异（外观、手形、动力学）主导优化，反而伤害性能——改进方向是先做表征级对齐（只用物理语言与视频目标预训练），再按课程渐进提高人类数据混合比例。第三，视频生成器的推理成本：未来帧潜变量仍从高斯噪声出发积分，联合注意力使三个专家每次同步前向，5B 骨干难言实时——改进方向是对视觉流做一步蒸馏，或像 Fast-WAM 那样让视频骨干仅作表征编码器、不合成完整未来帧。第四，评估协议偏向刚性桌面物体：缺少铰接物体、可变形物、杂乱真实家庭场景与失败恢复能力评估——应扩充评估维度。第五，世界生成器只被当作辅助监督，其“想象未来”的能力未被用于规划（如想象 rollout 选优、模型预测控制），白白浪费了生成能力，这是架构潜力与实际用法之间的明显落差。
未来方向
作者提出的方向：继续扩大人-机混合预训练数据规模，检验缩放律的适用边界；利用“验证损失与下游成功率同步改善”的发现，把预训练验证损失当作具身能力的离线指标，用于数据配比与训练调度决策；代码与 checkpoint 已开源（GitHub / ModelScope），暗示将向更多本体与真实部署扩展。基于其成果可延伸的方向：（1）想象式规划——训练好的世界生成器可以在执行前 rollout 多条未来潜变量轨迹并择优，把“生成”升级为“决策”，与 MPC 或树搜索结合；（2）把物理语言从末端执行器扩展到全身移动操作（底盘、腰部、20+ 自由度灵巧手），考验模板表达上限；（3）闭环数据飞轮——用世界生成器合成 OOD 场景（改光照、背景、布局），自动评估并针对性补齐 C2R 短板，实现自我改进；（4）与在线 RL 结合，用真实部署的成功/失败信号微调三专家，尤其是 handover、hanging 等当前失败率超 75% 的任务；（5）把历史条件流匹配的 warm-start 思想反哺视频生成本身，可能同样减少视觉去噪步数。
复现评估
复现条件总体中上。开源：提供 GitHub 代码与 ModelScope checkpoint；架构基于开源骨干（Qwen3-VL-2B-Instruct、Wan2.2-TI2V-5B）；附录 G 给出完整超参数（AdamW、$5\times10^{-5}$ 学习率、权重衰减 0.01、200 步 warmup、梯度裁剪 0.5、bfloat16、损失权重 1:1:0.1 等）。数据：AgiBot World、Bridge、DROID、Fractal、RoboCoin、EgoDex、EgoVerse、VITRA 基本公开，但 Interdata-A1（约 1600h）可得性存疑；清洗阈值与 EgoANT prompt 模板称在随附报告中提供。算力：预训练 32×H800 共 7 天，后训练 RoboTwin 仅 8×H800×12 小时、LIBERO 8×H800×20 小时，中型实验室可承受；真机复现需 AgileX Piper 双臂平台及每任务 200 条遥操作演示，采集成本不低。主要障碍：EgoANT 依赖 Qwen3.5-397B 级大模型标注，小团队难以原样复制，但可直接使用其标注产物。综合评估：仿真结果可复现性高；真机门槛主要在硬件与数据采集而非算法。
论文图表