BridgeWAM：以潜在桥接查询连接视频专家与动作专家的世界动作模型 BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries
用32个潜在桥接查询取代稠密MoT耦合，解耦专家深度，兼顾性能、泛化与推理效率
前置知识
世界动作模型（World Action Model, WAM）
同时建模视觉动态与机器人动作的模型。与只预测 $p(a_{t+1:t+H}|o_t,l)$ 的传统 VLA 不同，WAM 还显式学习场景如何随动作演化，如 $p(o_{t+1:t+K}|o_t, a_{t+1:t+H})$，通常以大规模视频生成模型为骨干，从带动作标注的演示中获得密集的场景演化监督。论文用条件分布表（Table 3.1 部分）对比了 VLA、WM、Joint WAM、IDM WAM、Fast-WAM 五种范式。
本文所有对比对象（Fast-WAM、Faster-WAM、DreamZero、LingBot-VA 等）都是 WAM，理解视频专家与动作专家的分工及几种耦合范式的差异，是读懂动机与实验表的前提。
Mixture-of-Transformers（MoT）
一种多模态 Transformer 架构：每种模态拥有独立的权重（专家），同层内通过拼接键值（K/V）实现跨模态注意力，例如动作 token 除自注意力外还能直接读取视频 token 的 K/V。在现有 WAM 中，MoT 逐层把视频专家的稠密视觉特征直接暴露给对应层的动作专家，形成一对一的层耦合。
本文要替代的正是这种逐层稠密耦合。作者指出它导致任务无关视觉细节与任务相关信息竞争注意力、且强制动作专家与视频专家深度一致，带来冗余计算——这两点就是 BridgeWAM 的出发点。
流匹配（Flow Matching）与扩散去噪
一类生成式建模范式：训练时学习从噪声到数据的速度场，推理时从高斯噪声出发迭代去噪得到干净样本。本文动作专家输出预测的动作流 $\hat{u}^A$，配合 AdaLN 以扩散时间步 $t^A$ 为条件，推理时用 10 步去噪生成 32 步动作 chunk；视频专家侧同样用流匹配损失学习未来视频 latent。
BridgeWAM 的动作头本质上是一个流匹配去噪器，32 个 LBQ 在每个去噪步骤被复用为唯一条件；理解去噪过程才能理解推理延迟的构成（视频前向一次 + 10 次轻量动作去噪）以及效率对比的含义。
可学习查询与交叉注意力
源自 Perceiver/Q-Former 的机制：一组可训练嵌入 $\Phi$ 作为 Query，通过交叉注意力从另一组 token 的 K/V 中抽取信息，输出与输入长度无关的固定长度表示，天然形成信息瓶颈。MetaQuery 用它从冻结多模态大模型提取生成条件，GenCeption 用查询 token 从 Video DiT 读出稀疏感知预测。
LBQ 本质就是 32 个可学习查询。理解查询接口的通用做法后，才能体会本文的区别：LBQ 在视频生成与动作预测双损失联合监督下同时学习'写入'与'读出'，而非单向条件抽取。
LIBERO 系列基准
LIBERO 是仿真操作基准，含 Spatial/Object/Goal/Long 四个套件、每套件 10 任务（消融时每任务 50 回合）；LIBERO-Plus 在其上施加相机、机器人初始状态、语言、光照、背景、传感器噪声、物体布局 7 类扰动，共 10,030 个变体；LIBERO-Pro 进一步测语言/物体/交换(swap)/任务/环境五组扰动，本文评测 10,000 回合。
论文 Table 1、2、4、5、9、10 的几乎所有数字来自这三个基准，区分'标准性能'（LIBERO）与'分布偏移鲁棒性'（LIBERO-Plus/Pro）是正确解读结果的关键。
Video DiT 与 Wan2.2-TI2V-5B
DiT（Diffusion Transformer）是当前视频生成的主流骨干。Wan2.2-TI2V-5B 是开源图生视频模型，含 30 层、隐藏维 3072 的 Video DiT 及配套 VAE 和 UMT5-XXL 文本编码器。BridgeWAM 直接加载其预训练权重作为视频专家，VAE 全程冻结，文本条件用预计算的 UMT5-XXL 嵌入。
本文 5.06B 的参数量、30 层视频专家的设定以及'保留视频骨干容量、只换超轻动作头'的设计都以此为基础，效率对比（参数、FLOPs、延迟）也要对照 MoT 同深方案来理解。
研究动机
现有 World Action Model 普遍用逐层 Mixture-of-Transformers（MoT）注意力耦合视频专家与动作专家，这带来两个结构性问题。第一，信息传递方式原始：每个视频专家层把稠密视觉特征直接拼进对应动作层的 K/V，使任务相关信息与海量冗余细节在注意力中竞争。先前工作（Li et al., 2026a 的 DTP）发现动作生成会把过多注意力分配给任务无关的视觉区域，干扰任务执行；Sun et al. (2026) 进一步指出依赖任务无关场景线索会削弱视觉分布偏移下的泛化。第二，一对一层耦合强制两个专家深度一致：视频骨干 30 层，动作 DiT 也得 30 层，引入大量冗余参数与推理开销。以 Fast-WAM 为例，动作侧 30 层去噪使其在 H20Z 上单样本推理需 405.91 ms、2.048T FLOPs，难以支撑高频闭环控制；作者还假设动作侧容量过大反而促使模型记忆特定场景模式而非可泛化的环境规律，损害鲁棒性。
本文的目标是本文要为 WAM 设计一个紧凑、可学习的视频-动作接口，同时满足三个目标：(1) 选择性信息使用——把视觉、语言、本体感知先验聚合到一个受限的共享潜在空间，让动作专家只从中检索任务相关信息，不再暴露稠密视频 K/V；(2) 联合表征适配——让动作损失的梯度经由该接口回传，塑造视频专家的表征，使其服务于动作预测而非仅服务视频生成；(3) 效率——解耦两个专家的深度，用超轻动作头（2 层）保留 30 层视频骨干的表征容量，最终在 LIBERO、LIBERO-Plus、LIBERO-Pro、RoboTwin 2.0 仿真与 PiPER X 真机上同时验证任务执行、泛化与低延迟三者的平衡。
与已有工作不同的是，此前 WAM 的演化（联合生成的 DreamZero → IDM 式因果逆动力学的 LingBot-VA → 去掉推理期未来视频的 Fast-WAM）简化了推理流程，但模态间信息传递始终未变：都保留 MoT 的直接视频 K/V 接口。本文的独特切入是把'受限潜在桥'作为视频到动作的唯一通道：不是对已有 K/V 做压缩或剪枝，而是让 32 个 Latent Bridge Queries 在联合视频+动作监督下同时学'写'（视频专家把动作相关的物理表征写进桥）与'读'（动作专家经交叉注意力选择性检索）。与 MetaQuery（从冻结 MLLM 单向提取生成条件）和 GenCeption（查询做稀疏感知预测）不同，LBQ 的内容与读写双方在端到端优化中共同进化，且桥的存在天然解耦了专家深度——这是首个以有限潜在空间重构 WAM 视频-动作接口的工作。
核心方法
直觉上，与其让动作头在数千个稠密视觉 token 中大海捞针，不如让视频专家先把'动作需要什么'提炼进一个 32 格的小本子，动作头只读本子。技术上，BridgeWAM（5.06B 参数）= 30 层 Video DiT（从 Wan2.2-TI2V-5B 初始化，隐维 3072）+ 32 个 Latent Bridge Queries（形状 $[1,32,3072]$ 的可训练 token 库）+ 2 层交替 cross–self 注意力的 Action DiT（隐维 1024）。整体对应条件分布 $p(a_{t+1:t+H}|b_t)$，其中桥向量 $b_t = f_V(o_t, l, s_t; \theta_V, \Phi) \in \mathbb{R}^{M \times d_V}$，$M=32$。训练时以等权的视频流匹配损失和动作流匹配损失联合微调两个专家、投影层 $\Pi$ 与 LBQ 嵌入 $\Phi$；推理时 LBQ 只从当前观测、语言指令与本体状态计算一次，供全部 10 步动作去噪复用，完全不生成未来视频，因此可在不改变条件分布的前提下去掉推理期视频生成。
核心创新有三点。(1) LBQ 信息瓶颈：用 $32 \times 3072$ 的固定宽度接口取代 MoT 的稠密 K/V 拼接，动作查询只读 LBQ 的 K/V，不直接接触文本-状态 token 或视频 token，迫使多模态先验在统一潜在空间内自对齐压缩（消融显示直接混入文本-状态 token 会使 LIBERO-Plus 从 72.24% 掉到 59.29%）。(2) 双向联合塑形：动作损失梯度经 LBQ 的可微通路回传至视频专家，塑造'利于控制'的视觉表征——把视频骨干完全冻结的变体 LIBERO-Plus 仅 25.48%，证明动作监督反哺视频表征不可或缺。(3) 深度解耦：30 层视频专家 + 2 层动作专家，打破 MoT 同深约束，把动作侧 FLOPs 从 Fast-WAM 的 1.043T 压到 0.028T。与 MoT 的本质区别在于信息传递从'逐层全量暴露'变为'端到端学习的一次性压缩 + 选择性读取'。
方法步骤详情
完整流程如下。(1) 输入编码：当前帧与未来帧经冻结的 Wan2.2 VAE 编码为视频 latent；语言指令用 UMT5-XXL 编码；8 维本体状态经两层 MLP 升到 4096 维。(2) LBQ 初始化：$B^0 = \Phi$，32 个可学习嵌入按零均值高斯初始化，标准差 $1/\sqrt{3072} \approx 0.018$，训练中持久存在、不随前向重采样。(3) 逐层传播（第 $\ell$ 层）：未来视频查询读取 [视频; LBQ] 的 K/V；LBQ 查询只读 [当前帧视频; LBQ] 的 K/V，即 $R^B_\ell = \mathrm{Attn}(Q^B_\ell, [K^{V_0}_\ell; K^B_\ell], [U^{V_0}_\ell; U^B_\ell])$，明确屏蔽未来视频 K/V；LBQ 状态再经残差读出、文本-状态交叉注意力和 FFN 更新；视频 token 用 3D RoPE，LBQ 用恒等 RoPE。(4) 桥投影：最终层 LBQ 状态 $b_t = B^V_L$ 经两层投影 $\Pi: 3072 \to 1024$ 得 $b^B$。(5) 动作去噪：噪声动作 $a_{\sigma,i}$ 线性编码并加可学习绝对位置嵌入 $x_i = \mathrm{Linear}_{in}(a_{\sigma,i}) + p_i$，经 2 层 Action DiT——cross 块以动作查询读取 LBQ 的 K/V，self 块用 1D RoPE 协调 chunk 内 32 个动作的相对时序，AdaLN 以 $t^A$ 为条件、self 与 FFN 残差支路带时间步门控——输出 $\hat{u}^A = \mathrm{Linear}_{out}(\mathrm{SelfBlock}^A_t(\mathrm{CrossBlock}^A_t(x, b^B)))$ 预测动作流。(6) 损失：视频损失更新视频专家与 $\Phi$；动作损失更新动作专家、$\Pi$、$\Phi$，并经 LBQ 通路反传更新视频专家。(7) 推理：LBQ 计算一次，10 步去噪全程复用，不执行未来视频生成。
技术新颖性
相对已有查询接口工作的技术新颖性：(a) 双向联合监督——$\Phi$ 同时被视频生成损失与动作损失更新，桥的内容由两个目标共同塑形，而 MetaQuery/GenCeption 均为单向条件抽取或任务读出；(b) 读写规则与训练-推理一致性——LBQ 更新时屏蔽未来视频 K/V，保证推理时省略未来视频生成不改变动作专家接收条件的方式，这是 Fast-WAM 类设计做不到的接口级解耦；(c) 接口复用与效率——同一组 LBQ 在所有去噪步骤共享，配合 2 层动作头实现 4.61× 于 Fast-WAM 的加速；(d) 实证支撑的设计原则——系统消融证明'统一 LBQ 条件优于混合输入'（MoT 式混合自注意力读出 60.48%、文本-状态直入 59.29%，均显著低于专门交叉注意力的 72.24%），且动作头加深不提升泛化（30 层自注意读出仅 67.89%）。作者也诚实地指出这些成功率对比只能支持而不能因果确证所提机制。
实验结果
各实验逐一分析。(1) LIBERO：BridgeWAM 四套件成功率 99.0/100.0/97.4/96.6%，平均 98.25%，比 Fast-WAM（96.80%）高 1.45 分，Object 套件满分。(2) LIBERO-Plus 零样本：在 10,030 个扰动变体上池化成功率 72.24%（7,246 成功；宏平均 72.39%），比 Fast-WAM 的 49.54% 高 22.7 分，其中相机扰动 56.5% 为所有方法最高；但仍略低于 Faster-WAM 的 73.6%（作者归因于其推理期的未来感知条件）。按难度分解，Level 5 下背景纹理仅 30.14%、机器人初始状态 30.48%。(3) LIBERO-Pro 零样本：总体 53.72%，其中 swap 扰动仅 1.35%、task 扰动 4.95%，暴露组合与任务级泛化短板。(4) RoboTwin 2.0（27,500 条演示训练 5 epochs/29,355 步，50 任务各 100 回合）：clean 89.84%、randomized 90.22%，低于 Fast-WAM（91.88/91.78）与 Faster-WAM（92.78/92.26）；但 Stack Bowls Three 随机化 90% 显著高于 Faster-WAM 78% 与 LingBot-VA 83%；Hanging Mug 仅 32/31%。(5) 真机：PiPER X + RTX 5090 上对比 π0.5 与 Fast-WAM 完成合笔记本、放饮料/笔/鼠标四任务的 OOD 变体，分阶段评分，推理延迟 77.1 ms（2.47× 加速）。(6) 消融：冻结视频骨干 25.48%、MoT 读出 60.48%、文本-状态直入 59.29%、Joint 63.41%、IDM 67.45%，均低于完整模型 72.24%；动作头 4/8/16/30 层泛化为 66.56/65.50/65.66/67.89%，均不如 2 层；LBQ 数量 24–36 最优（72.63/72.05%），64 个反降至 62.98%。(7) 效率：1.460T FLOPs（对比 Fast-WAM 2.048T、Faster-WAM 3.221T），H20Z 延迟 88.05 ms（对 Fast-WAM 4.61×、对 Faster-WAM 3.65×），峰值显存 21,912 MiB 最低。(8) 视频质量：IDM 零样本 141.6 万 clip 上 FID 11.2093 vs 11.3573、FVD9 30.7990 vs 30.8644、SSIM/LPIPS/PSNR 全面小幅优于 Fast-WAM IDM，支持'动作监督经 LBQ 反哺视频表征'的假设。(9) 定性：动作条件视觉路由图显示 LBQ 介导的注意力优先聚焦目标物体与放置位置，且在背景、光照、视角、初始状态、布局、噪声六类扰动下更稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO（4 套件平均） | 任务成功率 (%) | 98.25 | Fast-WAM 96.80；π0.5 96.9；OpenVLA 76.5 | +1.45 分（对 Fast-WAM） |
| LIBERO-Plus（零样本，7 类扰动池化） | 任务成功率 (%) | 72.24 | Fast-WAM 49.54；OpenWAM-α 69.2；Faster-WAM 73.6 | 对 Fast-WAM +22.7 分；对最强 Faster-WAM 低 1.36 分 |
| LIBERO-Pro（零样本） | 任务成功率 (%) | 53.72 | Fast-WAM 51.4；Faster-WAM 54.5；π0.5 53.0 | 对 Fast-WAM +2.3 分，与 Faster-WAM 相当 |
| RoboTwin 2.0（50 任务，Clean/Randomized） | 任务成功率 (%) | 89.84 / 90.22 | Fast-WAM 91.88 / 91.78；Faster-WAM 92.78 / 92.26；LingBot-VA 92.90 / 91.50 | 整体低 2–3 分，但 Stack Bowls Three 随机化 90% vs Faster-WAM 78% |
| 推理 FLOPs（LIBERO 输入，H20Z，bf16，10 步去噪） | TFLOPs | 1.460 | Fast-WAM 2.048；Faster-WAM 3.221 | 对 Fast-WAM −28.72%，对 Faster-WAM −54.67% |
| 仿真推理延迟（H20Z，核心推理协议） | ms（加速比） | 88.05 | Fast-WAM 405.91；Faster-WAM 321.16 | 4.61× / 3.65× 加速 |
| 真机推理延迟（RTX 5090，PiPER X） | ms/动作块 | 77.1 | Fast-WAM（2.47× 慢） | 2.47× 加速 |
| IDM 视频生成质量（LIBERO-Plus 零样本，1,415,986 clips） | FID ↓ / FVD9 ↓ | 11.2093 / 30.7990 | Fast-WAM IDM 11.3573 / 30.8644 | 五项指标（含 SSIM/LPIPS/PSNR）全面小幅占优 |
局限与改进
作者承认的局限：真机训练中该范式难以拟合更复杂的长时程操作任务；BridgeWAM 继承了 Fast-WAM 基础上的训练不稳定性。我自己的观察：(1) LIBERO-Pro 上 swap（1.35%）与 task（4.95%）扰动近乎全败，说明受限潜在空间可能过滤掉了任务结构信息，对'目标-动作重新组合'几乎零泛化，总体 53.72% 的数字掩盖了这一硬伤；(2) RoboTwin 2.0 上不敌 Fast-WAM/Faster-WAM/LingBot-VA 2–3 分，说明 32 格的桥在多视角、50 任务的异质设定下容量可能不足，是为效率付出的性能代价；(3) 相机视角扰动池化仅 56.10%，多数扰动的 Level 5 难度掉到 30–50%，鲁棒性远未解决；(4) 与 Faster-WAM 的比较未隔离'未来条件'这一混淆变量，优劣结论不完全干净；(5) 注意力路由图只是架构偏好可视化，非因果归因，核心机制解释仍属假设；(6) 结论仅在单一 5B 视频骨干上验证，桥容量（24–36 最优）与动作头深度的结论未必随规模迁移。
独立分析的弱点
独立分析的弱点及改进方向：(1) 一次性压缩风险——LBQ 只在视频前向的最后输出一次写入，若单次前向未能编码细粒度动态（遮挡关系、接触状态），动作头在整个去噪过程中无法回看稠密特征；可改为多层级写入门控或推理期对 LBQ 的迭代精炼。(2) 语义重组泛化失败——swap/task 扰动近零成功表明瓶颈丢弃了任务结构；可在桥中注入指令分解或任务图条件。(3) 所有任务共享固定 32 个查询，异质任务下信息可能互相挤占（64 个 LBQ 反而变差提示了竞争而非容量不足）；可引入任务自适应的查询路由或稀疏专家化查询。(4) 2 层动作头对长时程任务表达受限，作者已观察到真机长时程拟合困难；可结合层级化 chunk 规划器 + 轻量执行器。(5) 训练不稳定继承自基础模型；可用桥的正则化或视频/动作损失的课程式加权稳定优化。(6) 真机评估仅 4 个任务且用分阶段评分而非严格成功率，与 π0.5 的对比缺乏大样本统计；扩展任务覆盖并报告置信区间会更有说服力。
未来方向
作者提出的方向：改进长时程操作的学习；构造更稳定、容量受限的潜在空间；研究桥如何在更长时间跨度上保持任务相关信息、为动作预测提供更一致的条件，同时保持轻量动作解码的效率。基于其成果可延伸的方向：(1) 跨任务/跨机器人预训练——检验 LBQ 桥在多具身、多数据源预训练中的可迁移性与涌现的语义分工；(2) 与 Faster-WAM 的未来条件缓存结合，让桥既含当前观测压缩又含短期未来预测，取两者之长；(3) 桥的可解释性研究——量化每个 LBQ 承载的信息类型（目标位置/物体身份/空间关系），为容量设计提供依据；(4) 长时程真机任务上与 VLM 规划器或分层 RL 组合，用桥传递子目标级条件；(5) 缩放规律——系统研究桥容量、动作头深度与视频骨干规模的最优配比，验证'轻动作头'结论的普适性。
复现评估
复现条件总体较好。代码已开源（github.com/jxfang04/BridgeWAM-code）；骨干 Wan2.2-TI2V-5B 与 UMT5-XXL 均公开可下载；训练数据为公开基准：LIBERO 上训 10 epochs，RoboTwin 2.0 用 27,500 条演示（2,500 干净 + 25,000 随机化）训 5 epochs/29,355 步。附录 A.1 详列每个模块的初始化（各投影层维度、LBQ 标准差 0.018、动作位置嵌入 std 0.02），A.2 精确定义全部消融变体（含 Joint/IDM 的前向细节与梯度截断），A.4 给出真机分阶段评分表，A.8 说明效率测量协议（H20Z、bfloat16、3 次预热后 10 次 CUDA 事件计时、计时边界与 FLOPs 口径），透明度高。难点在于：5B 模型微调需要多卡 GPU（论文未披露卡数与训练时长）；作者自述训练存在继承的不稳定，可能需要多次重试；真机部分需要 PiPER X 机械臂与 RTX 5090 级别的显卡。综合评估：仿真复现难度中等（材料齐全），真机与算力是主要门槛。
论文图表
附录 A.6 补充路由示例二：把黄油或沙拉酱放入篮子，同样按参考设置 + 六扰动对比两模型的路由分布。
进一步验证 LBQ 介导路由对不同放置目标的一致选择性，增强机理可视化结论的普适性。