OpenWAM：迈向系统化世界-动作模型预训练的开放模块化探索 OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining

方法步骤按 Study 的三个问题追踪。第一步（继承什么）：固定双系统联合自注意力架构，只换视频骨干，在 RoboTwin2.0-Full 上测得平均成功率随参数单调上升（VACE-1.3B 90.14% → Predict2.5-2B 91.64% → TI2V-5B 92.39% → I2V-14B 93.79%），权衡效率后取 5B；再固定 Wan2.2-TI2V-5B 架构但权重随机初始化、只换编码器：无压缩的 DINOv3/V-JEPA 2.1 仅 76.42%/80.91%，经 S-VAE 压到 48 维后升至 90.18%/88.46%，接近 Wan2.2-VAE 的 90.30%。第二步（如何协同）：对比七个架构配置，双系统联合自注意力 92.36% 显著超过单系统 Vanilla 85.50% 与 MoE 84.63%，三系统 92.60% 最佳但复杂，选双系统；训练期掩码消融显示 Isolated 87.41%、Video Sees Action 87.63%，而 Action Sees Video 92.39%、Mutual 92.15%——世界→动作信息流必不可少；推理期在 16 种异步调度（α∈{4,8,16,32}，o∈{0.2,...,0.8}，双向领先）上同步去噪 93.0% 全场最优。第三步（如何跨域）：600 小时预算对比四种策略，Clean2Random 上 ID 仅 +0.68pp（87.00→87.68）而 OOD +12.12pp（14.50→26.62），ego+robot 一阶段共训（26.62%）最强，预训练后 mutual 在全部四个设置反超单向（OOD +0.72pp）。最终 OpenWAM-α 按配方组装：冻结 Wan2.2-VAE 因果编码 33 帧窗口（首帧独立、后续每 4 帧一组），预训练 5B 视频 DiT 与 1B ActionDiT 在全部 30 对层桥接做联合自注意力，80 维统一动作空间，以 $\lambda_v=\lambda_a=1$、钟形 $w(\cdot)$、timestep warp $\rho=5$ 的流匹配损失训练 155,862 步（1 epoch）。

技术新颖性体现在四个层面。（1）架构抽象：可见性掩码 $M=(M^{V\leftarrow V},M^{V\leftarrow A};M^{A\leftarrow V},M^{A\leftarrow A})$ 把跨模态信息流形式化为可配置对象，跨模态四模式可插拔、帧内注意力固定（首帧因果 + 动作双向），这是 WAM 文献中首次对信息流的系统性参数化。（2）训练-推理一致性设计：由于训练在 $(t_v,t_a)$ 平面上独立采样，任何推理调度——方差偏移 $f_\alpha(s)=\alpha s/(1+(\alpha-1)s)$、线性偏移 $h_o(s)=\max\{s-o,0\}$——都在训练分布内，同步调度成为 $(\alpha,o)=(1,0)$ 的特例而非独立代码路径；这个『平面覆盖』思想优雅地统一了训练与部署，并使异步实验天然拥有对齐基线。（3）80 维统一动作空间用固定槽位语义 + 每数据集索引映射 + 有效性掩码，让 21 种本体共用一个动作头，未映射坐标零梯度、推理时走解析噪声路径。（4）工程新颖性：自包含 checkpoint（权重 + 完整重建配置 + 归一化统计）让评估无法静默更换编码器或动作布局；四项推理加速（prompt 嵌入缓存、控制路径跳过 VAE 解码、torch.compile+CUDA Graph、DiT 速度缓存）把 RTX 5090 上 5B 骨干各架构延迟压到 149–251ms（加速 2.01–2.63 倍），OpenWAM-α 实测约 170ms/动作块，满足实时控制。

独立分析的弱点与改进方向。（1）像素级潜在预测的脆弱性：LIBERO-Plus 相机扰动 33.8%、噪声 39.8%，远低于语义级表征模型（Being-H0.7 用 V-JEPA 2.1 编码达 82.1%）。改进：训练对相机位姿/亮度/噪声增广等变的世界流；或推动带原生时间压缩的表征编码器（作者在 4.1.2 节亦呼吁），把鲁棒性从数据补偿转为结构保障。（2）单臂与特定机位数据稀少：ABot-M0.5/Being-H0.7 各有 8000+/5700+ 小时多样化单臂语料，OpenWAM-α 单臂来源贫乏。改进：纳入 OXE、Bridge 系列开源语料，或用 UMI/DexUMI 接口低成本采集带动作的单臂视频（作者已在局限中提出）。（3）长时程 OOD 误差累积：视频 rollout 越长误差越大，RoboDojo Open 任务 1.08% SR 几乎全败。改进：限制 rollout 时程并以动作流为主导；或在三系统中把只读 VLM 升级为可交互的分层规划流，实现『规划-生成-执行』闭环。（4）OOD 协议下与 VLA 的差距：可借鉴 VLA 社区的数据增广与正则化手段，或按 Takeaway 3 把两个范式的优势区（WAM 域内拟合、VLA 域外泛化）显式融合，例如双头蒸馏或视频监督退火。（5）信息流结论的外推风险：mutual 优势只在预训练后出现，说明存在『数据规模阈值』，应系统绘制掩码偏好随预训练数据量的缩放曲线，避免在中小数据集上误用结论。（6）真机基线覆盖不足：灵巧手实验仅对比 π0.5，应加入 LingBot-VA、ABot-M0.5 等同类 WAM 以支撑跨本体优势的主张。

作者提出的方向（附录 A 与结论）：系统研究 post-training 与适配方法对具身基座模型的作用机制与经验配方；探索更原生的模态融合（tokenization 阶段早期融合、软路由 MoE）；纳入 UMI 类可执行动作数据共训，以及用仿真原生地按数量级扩展机器人数据；构建紧凑且对环境扰动鲁棒的视觉表征以替代像素重建编码器。基于本文成果可延伸的方向：（1）掩码缩放定律——既然预训练把信息流偏好从单向翻转为 mutual，可系统测量最优掩码随预训练规模/数据多样性的演化，甚至设计可学习或动态掩码；（2）把 Study 的受控方法迁移到 post-training 阶段（如 RL 微调后重新消融架构与调度），检验 Finding 1–3 是否在优化目标改变后依然成立；（3）VLA+WAM 融合——论文明确两范式优势互补且同为端到端，可让三系统中的 VLM 流从只读尾巴升级为双向交互的语义流，兼取 VLA 的泛化与 WAM 的拟合；（4）跨本体迁移与少样本新本体适配——灵巧手实验（80 维统一空间容纳未见过的 9+21 维动作布局）已显示可行性，值得系统研究零样本/少样本本体注册；（5）推理效率与控制质量的权衡——利用速度缓存等手段研究去噪步数 N、chunk 长度 H 与控制频率的 Pareto 前沿；（6）仿真数据规模化——InternData-A1 已占预训练 30%，探索仿真到真机的更优迁移配方。

复现条件在同类工作中属于最好的一档。代码完整开源（github.com/OpenWAM-Official/OpenWAM），模型权重与数据配方在 HuggingFace 发布（huggingface.co/OpenWAM），项目主页 openwam-official.github.io。论文附录给出全部关键超参：预训练 16 节点 × 8 × H200（128 卡）约 7 天，AdamW，学习率 1e-4，cosine 调度（5% 预热、最低比率 0.01），权重衰减 0.01，全局 batch 3,072（每卡 24 clip），bf16，DeepSpeed ZeRO-2，155,862 步（1 epoch），输入 33 帧、384×320、多视角，$\lambda_v=\lambda_a=1$、warp $\rho=5$；每个基准的 SFT 配置（batch、步数、增广）逐项列出（如 LIBERO：batch 256、10 epochs / 10,690 步、无增广）。数据方面五个来源（自建 ego 数据 71.6K 条录像/3006 任务、AgiBotWorld-Beta、RoboCOIN、DROID、InternData-A1）均为公开或声明可发布，清洗规则写到了可操作的细节（信号完整性判据：幅值比 ≥3 倍且逐轴相关 <0.5 即剔除；状态优先空闲检测：p99.5 标定运动阈值 + 2cm/s、5°/s 确认；>70% 帧损失或 90% 冻结整段删除）。难点在于预训练本身：128 卡 H200 × 7 天是工业级算力，一般实验室难以复现预训练；但 Study 的受控实验（RoboTwin2.0 从头训练规模小得多）与下游 SFT/评测可从开源 checkpoint 出发，部署端单张 RTX 5090 约 170ms/动作块即可实时，复现门槛低。综合评级：评测与微调高度可复现，预训练需大工业资源，数据配方透明。