SWAM：基于跨模态对齐的规模化世界动作模型

用4.7万小时多源数据系统研究动作学习中的语言-视频对齐，实现可泛化机器人控制

前置知识

世界动作模型（World Action Model, WAM）

一类以语言为条件、同时预测未来视频与未来动作的生成式模型。它把"看"（视觉观测如何演化）与"动"（机器人动作序列）绑定在同一个预测问题里，通常从大规模视频生成模型出发预训练，再通过动作监督适配到机器人控制。与VLA（视觉-语言-动作）策略直接从观测映射到动作不同，WAM显式建模环境变化的动态过程，因此能继承视频模型学到的场景、物体与交互先验。

本文的核心研究问题就是"视频预训练获得的语言-视频能力如何在WAM的动作学习中不被破坏并迁移为控制能力"，不了解WAM的定义与目标就无法理解其对齐动机、数据设计动机和评测意义。

流匹配（Flow Matching）

一种生成模型训练范式：对干净目标 $x$ 与高斯噪声 $\epsilon$ 构造线性插值路径 $x^\tau=(1-\tau)x+\tau\epsilon$（$\tau\in[0,1]$），训练网络 $u_\theta$ 回归速度场 $\epsilon-x$，损失形如 $\mathcal{L}=\mathbb{E}\|u_\theta(x^\tau,\tau)-(\epsilon-x)\|_2^2$。相比扩散模型其概率路径更直、采样步数更少，是当前视频生成与机器人动作生成的主流目标。

SWAM的视频分支与动作分支都以流匹配为训练目标并等权相加（公式3-5），带噪目标 $x^\tau_t$、$A^\tau_t$ 的构造与速度回归是读懂其训练目标部分的基础。

MoT / 双流DiT架构

Mixture-of-Transformers（MoT）把不同模态放在各自独立的残差流（独立的transformer块参数）中，仅通过共享的掩码注意力交换信息；DiT（Diffusion Transformer）是视频生成模型（如Wan）的标准骨干。SWAM采用视频DiT（继承Wan2.2-TI2V-5B预训练权重）加随机初始化的动作DiT，注意力单向地从视频流向动作，文本交叉注意力只存在于视频分支。

论文的关键消融（单流vs双流、语言条件通路、注意力掩码设计，见Table 8与Figure 4）都建立在这一架构上；不理解双流与单向注意力，就无法理解"动作分支不直接接文本"这一反直觉却有效的核心设计。

UMI（Universal Manipulation Interface）

一种便携式人类操作数据采集接口：把手机与手持自适应夹爪集成在一起，操作者通过移动、开合夹爪与物体交互，手机视觉惯性追踪提供末端轨迹、外部编码器记录夹爪开合，同时录制头部与双腕视角视频。其交互形态与机器人末端执行器相似，数据可跨具身迁移；相比机器人遥操作，采集成本低、场景与任务多样得多。

"UMI人类操作经验能否提供有效的跨具身动作监督"是本文最重要的发现之一（Table 5的动作标签覆盖率实验），也是其规模化路线（1.53万小时自建UMI数据）的支柱。

C2C / C2R 评测协议

RoboTwin 2.0仿真基准上的两种泛化设定：模型只在Clean（干净）演示上后训练；Easy（Clean-to-Clean, C2C）在与训练相同的干净条件下评测，Hard（Clean-to-Random, C2R）在随机化的背景纹理、杂物、光照、桌面高度与相机位姿下评测。SR为整任务成功率，PSR为预定义子任务的平均完成率；消融实验每任务25回合，主结果100回合。

论文所有结论都以Easy/Hard成功率来度量，"保持语言-视频对齐是否改善Hard泛化"是其核心假设的检验标准，理解该协议才能正确解读几十个百分点的对比数字。

研究动机

现有世界动作模型（WAM）研究大多把精力放在模型架构与训练机制上，默认"语言-视频对齐"在视频预训练阶段已经建立、可以直接继承。作者指出这一假设并不可靠：一旦引入动作学习，联合训练可能损害预训练获得的语言-视频能力，造成跨模态错位，而关于动作学习阶段的数据与监督如何设计、才能维持这种对齐，此前缺乏系统性指导。问题具体表现在两个层面。其一，机器人演示数据昂贵且语言标注粗糙：作者抽查9个开源机器人数据子集，共145,430条轨迹却只有592条任务级指令，"叠杯子"这类笼统指令无法刻画每条轨迹的操作过程与场景差异，语言监督与轨迹级视觉内容之间缺乏细粒度对应。其二，缺乏动作标签的视频难以参与动作学习；实证上，直接从视频生成模型Wan后训练到RoboTwin，Hard（C2R）设置成功率仅34.56%；最强基线OpenWAM在RoboTwin Hard上也只有48.70%，真实世界Hard设置平均成功率仅23.33%，说明现有模型在背景、光照、杂物、桌面高度等环境变化下泛化能力明显不足。

本文的目标是本文的目标是把视频预训练保真继承的"语言-视频"能力迁移为"语言-视频-动作"的可泛化控制能力，并给出可操作的数据与监督设计指南。具体而言，作者构建了约47,000小时的多源数据池（约10,909.6小时通用视频、10,986.3小时第一视角视频、15,284.9小时自建UMI演示、9,836.0小时机器人演示），在此基础上系统回答四个问题：(1)如何通过语言标注设计建立有效的语言-视频对齐；(2)如何利用UMI人类操作经验提供语言-视频-动作监督；(3)多源经验如何混合、配合什么模型架构进行联合训练；(4)在选定配方下扩大预训练规模能否继续提升控制泛化。最终希望做到：仅在Clean演示上后训练，就能在RoboTwin仿真的随机化环境（Hard）与真实双臂机器人的未见物体/背景条件下取得高成功率，并开源数据、训练代码与模型权重。

与已有工作不同的是，与多数只提出新架构的WAM工作不同，本文把"跨模态对齐"本身作为研究对象，做了一套控制变量的实证科学，切入角度有三。第一，从概率分解入手，把联合预测写作 $p_\theta(V_{n:n+K}, A_{n:n+K} \mid V_{0:n}, P, S_n) = p_\theta(V_{n:n+K}\mid V_{0:n}, P)\,p_\theta(A_{n:n+K}\mid V_{0:n+K}, P, S_n)$，明确建模选择：视频分支不依赖本体状态、动作分支只通过视频分支间接获取语言，从而把"哪种监督该喂给哪个模态"变成可分离、可检验的设计问题。第二，作者策划了覆盖"通用视频→第一视角→UMI→机器人数据"这条监督完备度光谱的数据池，得以分别量化描述细节（Brief/Medium/Detailed）、场景与光照信息、子任务粒度、UMI动作标签覆盖率（0%-100%）、Ego:UMI采样比例等每个因素的独立贡献。第三，对语言通路与视觉通路做反向消融，发现"动作分支不直接接文本、也不加CLIP/DINOv2等图像编码器特征"反而最好，纠正了给策略分支堆更多显式条件的直观做法。

核心方法

直觉上，SWAM像一个"会想象结果的机器人策略"：先在视频潜空间预测操作过程会如何演化，再基于这一预测生成动作序列。技术上，模型以Wan2.2-TI2V-5B视频DiT为视频分支（保留其全部预训练权重），随机初始化一个动作DiT分支，采用MoT式双流结构：两支各有独立残差流，通过共享掩码注意力实现视频→动作的单向信息传递；文本交叉注意力只在视频分支，动作分支没有直接文本通路。每个训练chunk包含2个视频潜帧和48步动作。训练目标为两支各自的流匹配损失等权相加 $\mathcal{L}=\mathcal{L}_{video}+\mathcal{L}_{action}$，带噪目标为 $x^\tau_t=(1-\tau)x_t+\tau\epsilon_v$、$A^\tau_t=(1-\tau)A_t+\tau\epsilon_a$，模型回归速度场 $(\epsilon_v-x_t)$ 与 $(\epsilon_a-A_t)$。数据侧构建总计47,016.7小时、440.8万条轨迹的多源语料，经视觉/动作质检、LeRobot 2.1格式统一、VLM子任务切分与三级描述标注后用于预训练；随后在RoboTwin 2.0的50个任务共2,500条Clean演示上联合后训练20k步；真实世界则在双臂Flexiv Rizon 4平台上对三个任务各后训练50k步，以30Hz同步推理执行。

核心创新是"保视频先验、经视频传递语义"的对齐方案。与把视频和动作塞进同一残差流、或给动作分支单独加文本交叉注意力与图像编码器特征的常见做法不同，本文让动作分支只能通过单向注意力读取视频分支特征来获得语言信息：语言条件仅经视频分支的文本交叉注意力进入系统。依据是语言-视频对应已在视频预训练中充分建立，而新增的文本通路与图像特征通路没有任何大规模预训练支持，反而会干扰动作学习——实测该设计使Hard成功率从标准双流的52.48%提升到57.36%（+4.88个百分点），而加入CLIP/DINOv2/SigLIP2/Qwen3-VL特征会把Hard从49.52%（Native）拉低到39.76%-42.96%。同时，视频分支不接收本体状态，使 $p_\theta(V_{n:n+K}\mid V_{0:n},P)$ 与动作项解耦，所有纯视频样本都能继续训练视频分支而不经视频目标干扰动作分支，解决了"无动作标签的海量视频如何参与统一训练"的问题。配合"先在分布接近Wan原预训练数据的通用视频上过渡预训练25k步，再以1:1等比例混合Ego+UMI训练"的配方，Hard成功率从53.84%提升到56.48%。

方法步骤详情

方法分五步。第一步，数据策划：对通用视频（OpenVid、Panda-70M，共10,909.6小时）用VLM复审剔除动画、静态画面等；对第一视角视频（EgoSuite/Ego4D/EgoVerse，共10,986.3小时）评估运动模糊、亮度、遮挡与动作有效性；全部统一为LeRobot 2.1格式。第二步，语言标注：用Qwen 3.8 Max与Seed 2.1 Pro做子任务切分与描述生成，提供Brief/Medium/Detailed三级描述，附场景与光照标注，区分Episode与Subtask两种时间粒度。第三步，动作监督构造：UMI数据来自RoboPocket采集的411,754条轨迹（15,284.9小时）；机器人数据筛选自AgiBot World、RoboCOIN、RoboMIND、InternData-A1、Galaxea、ABC-130K等（768,356条、9,836.0小时）；统一为16维双臂末端表示（每手3维位置+4维wxyz四元数+1维夹爪），按各源 $q_1/q_{99}$ 归一化，无效动作被掩码、仅参与视频学习。第四步，联合预训练：先用通用视频过渡预训练25k步，再以1:1等比混合Ego与UMI训练（AdamW，学习率 $4\times10^{-5}$，batch 256），可选再以机器人数据继续25k步。第五步，后训练评测：RoboTwin 50任务以2,500条Clean演示后训练20k步（batch 128），分别在C2C与C2R下评测；真实世界在双臂Flexiv Rizon 4上对杯子叠放、毛巾折叠、礼盒装物各后训练50k步，每设置10布局×3次试验，30Hz同步推理。

技术新颖性

技术新颖性主要有三点。其一，问题形式化中的建模选择：视频分支不条件于本体状态 $S_n$，即 $p_\theta(V_{n:n+K}\mid V_{0:n},P)$ 与 $p_\theta(A_{n:n+K}\mid V_{0:n+K},P,S_n)$ 解耦，从结构上保证纯视频数据只更新视频分支，同时兼顾了数据规模与监督异质性，这在WAM文献中是一个清晰而实用的形式化。其二，条件通路的"反向"消融结论：普遍做法是给策略分支更多显式条件（文本交叉注意力、CLIP/DINOv2等视觉特征），本文证明在强视频预训练基础上"少即是多"——动作分支经视频特征获取语言的双流结构取得57.36%的Hard成功率，而任何附加图像编码器特征都显著有害（Hard降到39.76%-42.96%），原因在于这些融合通路未经受大规模语言-视频预训练，会诱导模型依赖当前训练分布的外观线索、损害对未见场景的泛化。其三，把"数据配方"当作第一公民：过渡预训练的必要性、Ego:UMI采样比例、动作标签覆盖率、标注粒度与对齐准确性（打乱对照）都被量化为可复现的数字，并给出固定语料上0到约9万视频小时的scaling曲线，而非只报告最终模型。这种以实证科学为贡献取向的工作在WAM领域较为少见，其结论对后续数据建设有直接指导意义。

**Figure 2**: Multisource data and model overview. (a) Composition of the 47k-hour pretraining data pool. (b) Our world action model architecture, with video and action branches connected through shared masked attention.

**Figure 3**: Pretraining data composition and video duration across sources. (a) Shares of total video hours. (b) Shares of total episodes. (c) Video-duration distribution within each source.

**Figure 4**: World action model architecture and attention masks. (a) The video and action DiT branches are connected through shared masked attention, with text cross-attention in the video branch only. Attention masks for (b) training with clean video history under teacher forcing and (c) generating video and actions chunk by chunk at inference.

**Figure 5**: Multisource training data and curation pipeline. The upper panel shows representative examples from four data sources. The lower panel illustrates visual checks, action checks, format conversion, subtask segmentation, and caption generation.

实验结果

主要发现有六点。(1)语言标注越丰富、与视频对齐越准确，泛化越好：Subtask粒度下Hard成功率随描述等级从Brief 47.20%→Medium 49.60%→Detailed 53.52%，加场景与光照信息达55.04%；描述与视频随机错配降至52.00%；Episode换Subtask提升1.92个百分点。(2)机器人数据指令贫乏：Original指令Hard 50.80%，同义改写达54.76%，逐轨迹Detailed+Env描述达56.16%。(3)UMI动作标签覆盖率从0%到100%，Hard从46.72%单调升至51.28%（+4.56pp），证明人类操作监督可跨具身迁移。(4)数据配方：通用视频过渡预训练25k步把Hard从53.84%提到56.48%；固定20k步预算下Ego:UMI=1:1最好（53.84%），纯Ego仅42.56%，纯UMI为51.28%。(5)架构：双流+视频中介语言通路Hard 57.36%（比标准双流高4.88pp）；加CLIP/DINOv2/SigLIP2/Qwen3-VL特征有害（降至39.76%-42.96%）。(6)Scaling与最终对比：预训练0到75k步，RoboTwin Hard从34.56%→59.60%，再以机器人数据继续25k步达61.52%；真实世界Hard SR/PSR从22.5k小时的33.33%/46.90%升至90k小时的48.89%/61.43%，0小时设定无法完成任何真实任务。最终RoboTwin Easy 88.10%、Hard 61.56%、平均74.83%（Hard超OpenWAM 12.86pp）；真实世界Hard SR 40.00%（OpenWAM 23.33%）、PSR 50.36%（超π0.5的37.78%），Easy SR 56.67%全场最高；定性案例显示模型能完成彩虹叠杯与水果装盒等未见设置。

**Table 1**: Composition and scale of multisource pretraining data.

**Table 2**: Language annotation requirements and example descriptions at three levels of detail. All examples describe the same manipulation segment.

**Table 3**: Caption design and temporal alignment. We vary description detail, scene information, temporal granularity, and caption–video correspondence.

**Table 4**: Robot caption variants. We compare original task instructions, rephrased instructions, and detailed trajectory-specific descriptions.

**Table 5**: UMI action-label coverage. All videos are retained as action-label coverage varies.

**Table 6**: Different data sources strengthen language–video and language–video–action alignment. We separately increase pretraining exposure to general videos (General), egocentric videos (Ego), and UMI data (UMI).

**Table 7**: Ego and UMI provide complementary supervision. We compare five Ego-to-UMI sampling ratios under a fixed 20k-step pretraining budget.

**Table 8**: Model architecture affects control generalization. We compare video–action architectures (top) and extra image features (bottom).

**Table 9**: Scaling pretraining on human experience and robot data improves generalization across unseen environmental conditions. We first pretrain on egocentric videos and UMI demonstrations (Stage 1), then continue training on robot data (Stage 2).

**Table 10**: Our model outperforms VLA and WAM baselines in simulation and real-world evaluation. We compare Easy (C2C) and Hard (C2R) settings, reporting SR in simulation and SR/PSR on real-world tasks.

**Figure 6**: Scaling pretraining improves control generalization. We vary training video hours on a fixed corpus of multisource experience, using the same downstream post-training protocol within each domain.

**Figure 7**: Our method achieves the best performance under the Hard setting in real-world evaluation. Results are averaged equally across three real-world tasks.

**Figure 8**: Real-world execution comparisons. Our model completes cup stacking and towel folding under the Easy setting and gift-in-box under the Hard setting, while the corresponding baseline executions fail. Light red dashed boxes highlight the baselines' main execution errors.

**Figure 9**: Generalization examples from head and external camera views. Fruit placement and rainbow stack demonstrate generalization to new objects, containers, and scene appearances.

查看结构化数据

任务	指标	本文	基线	提升
RoboTwin 2.0 全50任务 Hard (Clean-to-Random)	成功率 SR	61.56%	OpenWAM 48.70%	+12.86个百分点
RoboTwin 2.0 全50任务 Easy (Clean-to-Clean)	成功率 SR	88.10%	OpenWAM 89.30%	-1.20个百分点（略低于最强基线，但两设置平均最高）
RoboTwin 2.0 两设置平均	成功率 SR	74.83%	OpenWAM 69.00%	+5.83个百分点
真实世界3任务 Hard (C2R)	成功率 SR	40.00%	OpenWAM 23.33%	+16.67个百分点
真实世界3任务 Hard (C2R)	部分成功率 PSR	50.36%	π0.5 37.78%	+12.58个百分点
真实世界3任务 Easy (C2C)	成功率 SR	56.67%	π0.5 50.00%	+6.67个百分点

局限与改进

作者承认两点局限：模型对复杂推理与显式多阶段规划支持有限；历史上下文较短（每个chunk仅2个视频潜帧、48步动作），难以执行长程任务。我的补充观察：(1)Easy设置88.10%略低于OpenWAM的89.30%，说明配方在分布内性能上有轻微代价，存在"泛化换拟合"的权衡；(2)Hard设置仍有约四成仿真任务失败，单因子扰动中桌面高度（76.96%）与杂物（80.72%）仍是最难因素，杂乱场景下的物体检索与避障可能仍是短板；(3)真实世界评测只覆盖3个任务、单一双臂Flexiv Rizon 4平台，且机器人数据被筛选为"双臂+头/双腕三视角"，对单臂、移动操作、灵巧手的适用性未知；(4)16维末端执行器动作空间无法直接表达关节空间控制，依赖逆运动学，对需要关节级柔顺控制的任务受限；(5)语言标注依赖Qwen 3.8 Max、Seed 2.1 Pro等大型VLM逐轨迹生成，数据生产成本高且标注质量与特定模型绑定；(6)scaling曲线在仿真上于60k-75k步附近出现平台迹象（Easy在85.68%后回落到84.80%），继续堆数据未必线性受益，真实世界的上升趋势则基于3个任务的小样本平均。

独立分析的弱点

独立分析可见以下弱点。第一，动作分支只能"透过视频"理解语言与视觉，没有状态直连，这在需要精确力控或状态反馈的场景（插孔、旋螺丝、可变形物体精细操作）可能限制精度——视频潜帧每chunk仅2帧，细粒度接触信息容易丢失；改进方向是给视频流加轻量状态适配器，或推理时用状态做辅助条件、训练中加一致性正则。第二，后训练仍然昂贵：真实世界每任务需50k步专属后训练，仿真也要20k步，缺乏对新任务的快速适应能力；改进方向是引入任务级上下文学习、检索增强的演示记忆，或LoRA式轻量适配让新任务只需少量数据与步数。第三，数据配方结论可能是语料特定的：1:1的Ego:UMI比例、25k步过渡预训练等超参在其他数据池上未必成立，论文缺少跨语料验证；改进方向是把采样权重参数化为可学习的混合比例，或报告多组数据池下结论的鲁棒区间。第四，统计功效问题：真实世界每任务每设置仅10布局×3次=30次试验，40.00%对23.33%的差距虽大，但建议补充置信区间或多次种子实验以增强说服力。第五，UMI与机器人执行的视觉差异仍存在，覆盖率实验显示100%覆盖时Easy反而从84.08%回落到83.28%，说明人类与机器人数据的最优配比可能随规模变化，值得细化研究。

未来方向

作者明确提出未来将探索记忆机制与层级规划，以支持需要对过去观测进行推理、对后续动作进行规划的任务。基于本文成果还可延伸：(1)继续放大预训练规模——真实世界SR/PSR在22.5k到90k视频小时内持续上升且未见饱和，100k小时之外的空间值得验证，并系统研究Stage 2机器人数据的最优比例与引入时机；(2)把"视频中介语言条件"的原则推广到其他模态（触觉、力觉、音频指令），检验"新通路不如旧通路"是否普遍成立；(3)利用学到的视频预测做基于模型的控制，例如在潜空间做MPC或最优推演，让WAM的世界预测部分真正服务于规划而不仅是策略条件；(4)扩展到关节空间动作与灵巧手，检验16维末端表示的能力边界；(5)研究标注自动化程度与质量的权衡，例如用更小的VLM配合主动学习筛选高价值轨迹，降低逐轨迹Detailed+Env标注的成本；(6)在Hard评测中引入更多扰动因子组合（动态干扰物、人机共享空间、半结构化家庭环境），进一步检验世界模型的物理推理与长程组合能力。

复现评估

复现条件总体较好。论文承诺开源策划后的数据、训练代码与模型权重（首页含Dataset/Code/Webpage链接）。数据侧，通用视频与第一视角视频、机器人数据均为公开数据集（Panda-70M、OpenVid、Ego4D、EgoVerse、EgoSuite、AgiBot World、RoboCOIN、RoboMIND、Galaxea、ABC-130K等），唯有15,284.9小时自建UMI数据依赖RoboPocket采集设备与采集流程，外部团队难以完全重建同等规模，但开源部分应可支撑主要结论的验证。算力上，从Wan2.2-TI2V-5B（5B参数）做全参数预训练，全局batch 256、最多100k步，估计需要数十张高端GPU（A100/H100级）训练数周，个人或小团队难以复现完整预训练；但从公开checkpoint做RoboTwin后训练（20k步、batch 128、2,500条演示）相对轻量，单机多卡可行。评测方面RoboTwin 2.0开源，仿真指标（每任务100回合）可复现；真实世界评测需要双臂Flexiv Rizon 4平台与鱼眼腕视相机、固定布局协议，门槛较高。综合评估：完整预训练复现难度"高"，基于开源权重的后训练与仿真评测难度"中低"。

SWAM：基于跨模态对齐的规模化世界动作模型 SWAM: Scaling World Action Models with Cross-Modal Alignment