RealtimeWAM：单步异步世界动作模型 RealtimeWAM: One-Step Asynchronous World Action Models
单步蒸馏与分块级异步流水线双管齐下，让世界动作模型实现约25倍近无损实时推理
前置知识
世界动作模型 (World Action Model, WAM)
一类机器人操作范式：不像 VLA 那样直接从观测映射动作，而是引入视频生成骨干联合建模未来视觉观测与机器人动作，让策略显式学习环境交互的动力学与时序结构。高效 MoT 变体中视频专家只对观测和指令做一次前向，输出的分块 KV 表示供动作专家复用，代表工作有 Fast-WAM、Faster-WAM、Motus。
本文的加速对象就是 MoT 架构的 WAM，理解其双专家结构与 KV 复用机制是读懂两大瓶颈（专家内迭代、专家间等待）及对应方案的前提。
Mixture-of-Transformers (MoT)
把不同模态放进独立的 Transformer 专家（视频专家、动作专家）、通过共享注意力交互的架构。相比单骨干联合去噪，视频专家可只算一次、动作专家多次复用其表示，大幅降低推理开销，对应块（block i 对 block i）之间通过注意力拼接 KV 通信。
CEWP 的分块依赖分析完全建立在「视频块 i 的 KV 只被动作块 i 的注意力消费」这一 MoT 结构事实上，没有 MoT 就没有分块级流水线。
一致性蒸馏 (Consistency Distillation, CD)
少步生成加速技术：训练学生把同一条教师 ODE 轨迹上的噪声状态都映射到同一干净端点。使用冻结教师、可训练学生、EMA 目标三个模型，损失约束学生端点 $f_\theta(a_t,t)$ 与 EMA 目标对教师一步积分结果 $\tilde{a}_s$ 的距离，从而免去完整多步采样。
TACD 的出发点正是标准 CD 的缺陷——只压局部一致性误差 $e_{local}$、不管全局端点误差 $e_{global}$，即「局部-全局误差鸿沟」，理解 CD 才能理解 TACD 为什么有效。
流匹配与速度场去噪
扩散/流模型把生成建模为沿时间的 ODE 积分：$a_{t_{j-1}} = a_{t_j} - (t_j-t_{j-1})\,v_\theta(a_{t_j}, t_j)$，网络预测速度 $v_\theta$。WAM 的动作生成即在给定视觉条件下对动作块做多步速度积分去噪，步数 $S$ 越多延迟越高（延迟约为 $T_v + S\,T_a$）。
论文所有损失（$\mathcal{L}_{CD}$、$\mathcal{L}_{TA}$）都定义在速度预测上，端点映射 $f_\theta(a_t,t)=a_t - t\,v_\theta$ 是误差分解与教师锚定推导的基础。
KV 缓存
Transformer 每个 block 注意力所需的键/值投影结果。MoT-WAM 中视频专家输出的各块 KV 缓存 $z(o,l)=\{(K^v_i, V^v_i)\}_{i=1}^N$ 只计算一次，动作专家在交叉注意力中把自己的 K/V 与视频 K/V 拼接后消费，从而复用世界表示、避免重复计算视频骨干。
CEWP 的核心就是按块发布/等待 KV 缓存：动作块 $i$ 只依赖第 $i$ 个视频块的 KV 而非全部输出，这是细粒度流水线可行的关键观察。
CUDA 流与事件
CUDA 流是 GPU 上按程序序执行的队列，多个流可并发运行；事件用于跨流同步：一个流在产出结果后 record 事件，另一流在消费前 wait 该事件。二者配合可在保证数据依赖正确的前提下最大化 GPU 并行度。
CEWP 用两条流加逐块事件的 late-synchronization 实现波前流水线，附录 B 的 Algorithm 1 伪代码完全围绕 stream/event 展开。
研究动机
现有高效世界动作模型（WAM）已采用 Mixture-of-Transformers（MoT）架构让视频专家只做一次前向、动作专家复用其 KV 表示，但推理延迟仍远达不到实时：即使在 H100 上，Fast-WAM 单次推理也要 299.7 ms（Faster-WAM 为 218.9 ms），而 30 Hz 实时控制要求单次推理小于约 33 ms。作者定位出两个未被充分解决的瓶颈：其一是「专家内迭代」——动作生成依赖多步去噪，实测动作专家占端到端延迟近 90%；其二是「专家间等待」——动作专家必须等视频专家完整跑完、构造出全部分块 KV 缓存后才能开始，形成全局同步屏障。更糟的是，直接把 Fast-WAM 的动作去噪减到 1 步，RoboTwin 2.0 成功率会从 91.51% 暴跌到 69.27%，LIBERO 也从 97.0% 掉到 95.0%，说明朴素加速会严重破坏动作精度。
本文的目标是本文的目标是把任意基于 MoT 的 WAM（以 Fast-WAM 和 Faster-WAM 为底座）后训练成「单步、异步」的实时策略：在不明显损失任务成功率的前提下（目标降幅 <1%），把动作生成压缩到一步去噪以消除专家内迭代，并通过细粒度流水线消除专家间等待。量化目标是在 LIBERO、LIBERO-Plus、RoboTwin 2.0 三大基准上保持近无损成功率，同时在 H100 上实现约 14~25 倍端到端加速，把单次推理压到 12.2 ms（远快于 30 Hz 控制的 33 ms 预算），并保证方案只需对动作专家做 rank-128 LoRA 微调即可嫁接，不改动底座架构。
与已有工作不同的是，本文的独特切入有两条线。蒸馏侧：作者发现一致性蒸馏用于 WAM 动作生成时存在特有的「局部-全局误差鸿沟」——动作空间被视觉观测、机器人状态和语言指令强约束，机器人控制又对动作误差极敏感，导致仅压低局部一致性误差 $e_{local}$ 并不能保证最终动作正确（图 3 右显示 CD 训练中学生对教师平均速度的偏差几乎不下降），这解释了为何直接套用 CD/MeanFlow/DMD 都有 2~3 个点的损失。系统侧：已有异步推理工作停留在执行级、模块级或采样级的粗粒度重叠，作者则对 MoT 双专家做逐块数据依赖分析，发现动作块 $i$ 的注意力只需要第 $i$ 个视频块的 KV 而非整个视频专家的输出，从而把同步粒度从「整个专家」细化到「单个 DiT 分块」，实现前所未有的波前式细粒度流水线。
核心方法
RealtimeWAM 是「算法+系统」协同的后训练加速框架，可作用于任意 MoT 架构 WAM。直觉上顺序推理延迟 $T_{seq}(S) = T_v + S\,T_a$（$T_v$、$T_a$ 为两专家单次前向耗时，$S$ 为去噪步数），因此要同时压小 $S$ 并重叠剩余的 $T_v$ 与 $T_a$。技术路线分三步：(1) TACD：冻结视频专家，对动作专家做 rank-128 LoRA 微调 3 万步，损失 $\mathcal{L} = \mathcal{L}_{CD} + \lambda\mathcal{L}_{TA}$（$\lambda=0.2$），教师用 $K=10$ 步 rollout 提供端点锚定，把动作生成压到一步；(2) CEWP：两个专家放到两条 CUDA 流上按分块波前重叠执行，仅在动作注意力消费 KV 前同步；(3) 叠加 CUDA Graph 与 LightX2V 融合算子削减常数开销。三者叠加后 Fast-WAM 在 H100 上从 299.7 ms 降到 12.2 ms（24.55 倍），Faster-WAM 从 218.9 ms 降到 16.1 ms（13.56 倍），成功率降幅均小于 1%。
核心创新一是 TACD 对「局部-全局误差鸿沟」的诊断与修补。把学生端点误差分解为 $e_{total} = e_{local} + e_{global}$，标准 CD 只压 $e_{local}$（学生与 EMA 目标一致），不惩罚 $e_{global}$（目标与真实干净端点的偏差），故局部一致不等于动作正确。由于精确端点不可得，TACD 用冻结教师 $K=10$ 步 rollout 终点 $a^T_0$ 作数值代理，定义区间平均速度 $u_{\theta_T}(a_t,t) = (a_t - a^T_0)/t$ 直接监督学生速度，可证 $\mathbb{E}\|e_{total}\|_2^2 \le 2\mathcal{L}_{TA} + 2\mathbb{E}\|\delta\|_2^2$，等价于 $1/t^2$ 加权端点监督。核心创新二是 CEWP 的依赖分析：把每个 DiT 块拆成投影、注意力、剩余计算三段，动作块 $i$ 中只有动作注意力依赖视频 KV $(K^v_i, V^v_i)$，动作投影无需等待，于是视频流在 $P^v_i$ 后立即 record 事件，动作流仅在注意力前 wait，把专家级粗同步变成逐块波前推进，这是异步推理文献中前所未有的分块粒度。
方法步骤详情
流程分训练与推理两段。训练（TACD）：输入干净动作块 $a^{data}_0$，采样 $t$ 与噪声 $\epsilon$ 构造 $a_t = (1-t)a^{data}_0 + t\epsilon$；冻结视频专家对观测 $o$ 与指令 $l$ 一次前向得到共享 KV 缓存 $z(o,l)$；教师从 $a_t$ 用 $K=10$ 步积分到 0 得 $a^T_0$ 并计算 $u_{\theta_T}$；学生与 EMA 目标（衰减 0.995）分别计算端点映射 $f_\theta(a_t,t)=a_t - t\,v_\theta$；优化 $\mathcal{L}_{CD}$ 加 $\lambda\mathcal{L}_{TA}$，共 3 万步，AdamW、学习率 $10^{-4}$、仅调动作专家 LoRA。推理：视频流逐块执行 $P^v_i \to \mathrm{record}(e_i) \to \mathrm{Attn}^v_i \to R^v_i$；动作流并行执行 $P^a_i \to \mathrm{wait}(e_i) \to \mathrm{Attn}^a_i \to R^a_i$，两流沿深度形成交错波前；再叠加 CUDA Graph 与算子融合（RMSNorm/RoPE 单 Triton 核、QKV 投影合并 GEMM 等），单步输出动作块。
技术新颖性
新颖性体现在三个层面。蒸馏层面：与 Flash-WAM 的模态相关一致性参数化、MeanFlow、DMD 等通用少步蒸馏不同，TACD 抓住 WAM 动作生成「条件强约束 + 误差高敏感」的特点，是首个对 MoT-WAM 做到一步且近无损（<1% 降幅）的方案——对比 Fast-WAM 直接一步掉到 69.27%、一步 Flash-WAM 仅 81.41%、DMD* 88.22%，而 RealtimeWAM* 达 90.84%。理论层面：附录 C 给出完整误差推导，证明教师锚定等价于 $1/t^2$ 加权端点监督，给出显式上界并把教师数值误差控制为 $O(K^{-2})$，且消融验证了 rollout 区间 $t\to 0$ 优于全区间 $1\to 0$ 和中间区间 $t\to r$。系统层面：CEWP 首次把机器人策略的异步性从执行级/模块级/采样级细化到 DiT 分块级，附录 D 证明异步执行只是原计算图的另一种拓扑序，在精确算术下逐块等价（$\hat{h}^v_i = h^v_i$、$\hat{h}^a_i = h^a_i$），属免训练纯调度优化、与 TACD 正交。
实验结果
成功率：RoboTwin 2.0 上 RealtimeWAM*（基于 Fast-WAM）一步达 90.84%，仅比 10 步教师低 0.67%；RealtimeWAM†（基于 Faster-WAM）达 92.64%，仅降 0.29%，显著超过一步 Flash-WAM（81.41%）、DMD*（88.22%）和 CD*（89.63%）。LIBERO 上两者分别为 97.0%（与 10 步 Fast-WAM 持平）和 99.0%（反超 Faster-WAM 的 98.9%）；LIBERO-Plus 七类扰动下 RealtimeWAM† 总体 73.0% 对 73.6%，OOD 鲁棒性基本保留。消融：TACD 相对纯 CD 把成功率从 89.85% 提到 90.84%；$K=10$ 最优（对 $K=5$ 的 90.39%、$K=20$ 的 90.77%）。延迟：H100 上 Fast-WAM 299.7→12.2 ms（24.55 倍：TACD 4.56 倍、CUDA Graph 至 12.87 倍、CEWP 至 17.22 倍、高效算子至 24.55 倍）；Faster-WAM 218.9→16.1 ms（13.56 倍）。RTX 5090/4090D 上为 14.1/17.7 倍和 6.9/8.1 倍。真实世界双臂 T 恤折叠验证了长时序无停顿执行。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 双臂操作（Clean/Random/Overall） | 任务成功率 (%) | RealtimeWAM† 92.64（一步）；RealtimeWAM* 90.84（一步） | 10 步 Faster-WAM 92.93 / Fast-WAM 91.51；一步 Flash-WAM 81.41；DMD* 88.22 | 较教师仅降 0.29%（近无损），比一步 Flash-WAM 高 11.23 个点 |
| LIBERO（Spatial/Object/Goal/10 四套件） | 总体任务成功率 (%) | RealtimeWAM† 99.0；RealtimeWAM* 97.0 | 10 步 Faster-WAM 98.9 / Fast-WAM 97.0；Fast-WAM 直接一步 95.0 | 持平或超过 10 步教师，较直接一步 +2.0 个点 |
| LIBERO-Plus 七类分布扰动 | 加权平均成功率 (%) | RealtimeWAM† 73.0 | 10 步 Faster-WAM 73.6；其他 VLA 基线最高 69.6 | 仅降 0.6 个点，OOD 鲁棒性基本无损 |
| H100 单次推理延迟（含 VAE 编码） | 端到端延迟 | 12.2 ms（Fast-WAM 底座）/ 16.1 ms（Faster-WAM 底座） | Fast-WAM 299.7 ms；Faster-WAM 218.9 ms | 24.55 倍 / 13.56 倍端到端加速 |
| 消费级 GPU 延迟（RTX 5090 / RTX 4090D） | 端到端延迟 | Fast-WAM 底座 17.8 / 27.2 ms；Faster-WAM 底座 30.9 / 44.7 ms | Fast-WAM 251.5 / 480.8 ms；Faster-WAM 214.1 / 362.4 ms | 14.1 倍/17.7 倍与 6.9 倍/8.1 倍加速 |
局限与改进
作者在附录 A 明确承认两点局限：其一，方法只适用于 MoT 架构的 WAM（Fast-WAM、Faster-WAM、Motus 等），对 DreamZero 这类共享骨干 WAM 不能直接套用，因为那里的动作蒸馏更像视频生成蒸馏，难以单独隔离动作专家；其二，$\mathcal{L}_{TA}$ 需要教师多步 rollout，训练时间从 5h21min 增至 8h3min（约 +50%），好在冻结视频专家使显存峰值保持 24.73 GiB（联合微调为 65.98 GiB）。我的补充观察：(1) 高效算子主要针对 H 系 GPU，RTX 5090/4090D 收益明显缩水（6.9~17.7 倍 vs H100 的 24.55 倍）；(2) 真实世界评估只有 T 恤折叠的定性演示，无定量成功率；(3) 教师锚定依赖教师自身质量，教师的系统性偏差会被学生继承，误差上界中的 $\delta$ 项只保证数值积分误差可控；(4) CEWP 的重叠收益上限是 $\max(T_v, T_a)+\Delta$，受分块依赖与共享 GPU 资源限制，且同步开销 $\Delta$ 未单独量化。
独立分析的弱点
弱点一：适用面窄，仅限 MoT 架构，共享骨干 WAM（如 DreamZero）无法直接受益；改进方向是把教师锚定端点监督推广为架构无关的辅助动作头。弱点二：训练成本增加约 50%（8h3min 对 5h21min，16 块 H100），瓶颈在教师 rollout；可缓存教师端点或改用高阶求解器省掉逐步积分。弱点三：理论保证建立在教师速度 Lipschitz 等假设上，重噪声或分布外输入下误差控制可能失效，且 $K$ 是静态超参，可做自适应。弱点四：加速在非 H 系 GPU 上衰减明显（RTX 4090D 仅 8.1 倍），流资源竞争与算子未调优是主因，需重写 Triton 核。弱点五：LIBERO-Plus 个别扰动项仍下滑（Background 59.4 对 61.3、Light 94.7 对 96.3），极端分布偏移下蒸馏损失可能放大，可结合执行级异步兜底。弱点六：未讨论与感知延迟叠加后的真实控制频率，部署时序预算仍需实测。
未来方向
作者提出的方向：扩展到共享骨干 WAM 与更多机器人本体；对 RTX 5090/4090D 做专用内核调优以扩大消费级部署收益；把真实世界评估从 T 恤折叠定性演示扩展到更多长时程可形变物体任务并给出定量指标。基于本文成果可延伸的方向：(1) 把 $\mathcal{L}_{TA}$ 与在线强化学习或偏好优化结合，用真实执行反馈进一步压缩残余的 0.29~0.67% 性能差距；(2) 将 CEWP 的分块依赖分析推广到视频专家保留多步去噪的设置（如 LingBot-VA，视频 NFE=20~25），构造视频-动作双向波前流水线；(3) 探索任意步蒸馏（one/few-step 可切换），让同一模型在算力充裕时多步、紧张时单步，兼顾精度与实时；(4) 把省下的延迟预算用于在环安全校验或轻量异常检测，提升部署可靠性；(5) 理论上把教师锚定与分布匹配蒸馏统一，研究 $\lambda$ 与 $K$ 的联合最优调度。
复现评估
论文声明「代码与检查点将通过链接提供」，投稿阶段可用性待确认。复现要素齐全：训练配置完整（3 万步、AdamW、学习率 $10^{-4}$、EMA 0.995、rank-128 LoRA、$K=10$、$\lambda=0.2$、16 块 H100、显存峰值 24.73 GiB）；数据全部公开——RoboTwin 2.0 用 50 任务、2500 条干净演示加 25000 条随机化演示，LIBERO 四套件，LIBERO-Plus 七类扰动。基线方面作者自评 Fast-WAM/Faster-WAM 及 DMD、MeanFlow、CD 三种蒸馏（统一训练设置保证公平），并沿用 Light-WAM/Flash-WAM 论文报告的分数，但这些底座均为 2026 年 arXiv 工作，官方代码可得性存疑。整体复现难度中上：蒸馏训练流程标准、单机多卡可跑，难点集中在 CEWP 的 CUDA 流/事件工程实现（附录 B 有完整伪代码可照抄）与 LightX2V 算子融合；有 H100 时延迟数字可对齐，小算力下成功率可复现但延迟指标难以完全一致。
论文图表
在 H100、RTX 4090D 等硬件上对比原始模型与 RealtimeWAM 的推理延迟（柱状图），并用堆叠柱展示 VAE 编码、视频专家、动作专家三个组件的耗时占比。关键信息是动作专家占端到端延迟约 83~90%（如 Fast-WAM H100 上 89.4%），直观呈现「专家内迭代」这一主要瓶颈。
这张图是全文动机的量化依据：它说明为什么值得专门针对动作去噪步数做蒸馏，而不是去优化视频骨干，读者应先看懂它再进入方法部分。
训练开销对比：CD+联合微调需 8h1min、显存 65.98 GiB；仅 CD+动作 LoRA 需 5h21min、24.73 GiB；TACD+动作 LoRA 需 8h3min、24.73 GiB。说明 $\mathcal{L}_{TA}$ 增加 50% 训练时间，但冻结视频专家使显存比联合微调降 62.5%。
诚实披露 TACD 的代价，是评估方法实用性（尤其显存受限场景）的关键数据，也支撑了「只调 LoRA」这一设计选择。
LIBERO 四套件明细：RealtimeWAM† 为 Spatial 98.8/Object 99.8/Goal 99.6/LIBERO-10 97.6（总体 99.0%），Goal 上比 Faster-WAM 高 1.2 个点；RealtimeWAM* 为 97.0/99.4/97.2/94.2，与 10 步 Fast-WAM 总体持平。
补充 Table 1 的套件级细节，能看到一步蒸馏在不同任务难度上的非均匀影响（如 Spatial/LIBERO-10 略降而 Goal 上升）。
教师 rollout 区间消融：全区间 $1\to 0$ 为 90.63%，中间区间 $t\to r$ 为 90.23%，默认的 $t\to 0$ 最优为 90.84%，说明从当前噪声水平直接 rollout 到干净端点的监督信号最有效。
细化了 TACD 的实现选择，提示读者教师锚定的收益对 rollout 起终点敏感，复现时不可随意改动。
RTX 5090 与 RTX 4090D 上的延迟累积消融：Fast-WAM 底座在 5090 上从 251.5 ms 逐步降至 17.8 ms（14.1 倍）、4090D 上从 480.8 ms 降至 27.2 ms（17.7 倍）；Faster-WAM 底座分别降至 30.9 ms（6.9 倍）和 44.7 ms（8.1 倍），并指出非 H 系 GPU 收益缩水源于内核主要为 H 系优化。
检验加速结论在消费级硬件上的可迁移性，对实际部署决策（尤其预算有限的实验室）最具参考价值。
真实世界双臂 T 恤折叠的四个关键帧：从展开衣物、第一次折叠、纵向收拢到最终折叠完成，使用一步 RealtimeWAM* 在 RTX 4090 上推理，连续动作之间无可感知停顿，展示了长时程可形变物体操作中的平滑低延迟执行。
把仿真基准之外的真实部署可行性落在具体任务上，验证 12.2 ms 级延迟对 30 Hz 实时控制的意义，即使只有定性结果也是重要的落地证据。