DeltaWAM：面向双臂操作的增量世界动作模型 DeltaWAM: Delta World Action Models for Bimanual Manipulation
用稀疏视觉增量替代密集未来帧建模，流式增量记忆让机器人世界模型又快又稳。
前置知识
世界动作模型（World-Action Model, WAM）
把预训练视频生成模型的视觉与运动先验迁移到机器人控制的模型家族，通过联合建模视觉动态和动作来学习操作策略。代表工作有 GR-1/GR-2（视频预训练+联合图像动作预测）、UWM（视频与动作扩散耦合）、Fast-WAM（未来视频仅作训练目标，推理时不生成）。它们共享的基础设施是视频 Diffusion Transformer（DiT）。
DeltaWAM 直接站在这一脉络上，全文的所有对比基线（Fast-WAM、π0.5 等）和动机都围绕 WAM 的密集视频表征展开，不懂 WAM 就无法理解它省的是哪部分计算。
流匹配（Flow Matching）
一种生成式训练范式：构造从数据到噪声的线性插值路径 $x_\tau = (1-\tau)x_{data} + \tau\epsilon$，训练速度场回归目标 $(\epsilon - x_{data})$，推理时沿路径积分即可采样，天然支持少步甚至单步生成。论文中增量流和动作流各自独立采样流时间 $\tau_\Delta, \tau_a$ 并分别优化。
DeltaWAM 的联合训练目标 $\mathcal{L}_{joint}$ 由两个流匹配损失加权而成，且'少步推理下视频专家成为瓶颈'这一动机正是流匹配少步生成带来的新问题。
KV 缓存与逐层上下文
Transformer 自注意力中，每个 token 在每层都有键（K）和值（V）。自回归或流式系统中可缓存已算过的 K/V 前缀，新 token 只需投影出自己的 q/k/v 并对完整前缀做注意力，避免重算历史。视频 DiT 为动作流提供的是逐层（layer-wise）视觉 KV 上下文。
SDM 的本质就是把'锚点+历史增量'的逐层 K/V 前缀持久化并只做追加，理解 KV 复用才能明白 71.97% 的视觉 KV 计算削减从何而来。
LoRA 低秩适配
冻结预训练权重，只训练低秩增量 $\Delta W = BA$（$B\in\mathbb{R}^{d\times r}, A\in\mathbb{R}^{r\times d}$，$r\ll d$）来微调大模型。本文对锚点骨干自注意力的 q/k/v/o 投影用 $r=64, \alpha=128$、零 dropout 的 LoRA 适配，并与 Fast-WAM 的视频专家使用完全相同的配置保证公平。
锚点的适配方式是性能关键：消融显示无锚点仅 32.6% 成功率、冻结锚点 59.0%，LoRA r=64 把随机化成功率从 70.8% 提到 75.4%，是理解 Table III 的前提。
增量 token（Delta Token）与潜在动作模型（LAM）
增量编码器把相邻两帧观测压成极少量连续 token（本文每对帧仅 1 个）：$d_t = E_\Delta(o_t, o_{t+1})$。DeltaTok 是专为高效视频预测设计的增量 tokenizer；DreamDojo 的 LAM 则从视觉转变中提取潜在动作用于策略预训练。两者在本文中被冻结后作为增量编码器使用。
DeltaWAM 的稀疏增量流完全建立在这类编码器上，消融（DeltaTok+DRE 85.2/80.0 优于 LAM 75.2/81.2）说明编码器选择直接影响性能。
RoboTwin 2.0 基准
面向双臂操作的仿真基准，提供带强域随机化的可扩展数据生成，官方任务清单与成功率判定标准。本文用其前十个双臂任务（调瓶、敲块、RGB 积木排序、闹钟等），每任务 550 条演示，每设定 100 回合评测，并区分 clean 与 randomized（纹理/光照/背景随机化）两种设定。
论文核心数字（85.4/83.9% 对 Fast-WAM 的 81.3/75.8%）全部来自该基准，理解其 clean/randomized 设定才能读懂鲁棒性结论。
研究动机
现有世界动作模型（GR-1/GR-2、UWM、Fast-WAM 等）在训练时要求预测密集的未来视频帧，但机器人操作中相邻观测高度冗余：背景、工作台几何和大部分物体内容几乎不变，真正与动作相关的变化稀疏地集中在夹爪和被操作物体附近。这造成两个具体问题。其一，对大量静态空间 token 反复建模浪费训练算力，还把动作条件动力学与光照、纹理、背景等外观干扰因素耦合——Fast-WAM 在 RoboTwin 2.0 前十任务上干净设定平均成功率 86.2%，视觉随机化下降到 79.0%，掉点 7.2 个百分点。其二，即使像 Fast-WAM 那样推理时不再显式想象未来视频，每个控制周期仍要把完整当前观测送过沉重的视频 DiT，为动作去噪构建逐层 KV 上下文：这块固定开销约 1.245 TFLOPs，占单动作块总计算 1.351 TFLOPs 的九成以上。动作去噪步数越少，动作 DiT 越便宜，这块不随步数缩减的上下文计算反而成为单步推理的主导瓶颈。
本文的目标是本文的目标是把世界动作建模的计算从'完整帧'转向'变化'。具体而言：保留一帧密集参考观测（锚点）以维持场景语义——物体身份、几何与空间关系这些动作预测必需且不可丢弃的上下文；同时用极稀疏的增量 token 刻画相邻观测间的转变，让世界建模容量集中于与动作耦合的变化，从而抑制对静态外观干扰的敏感度，提升视觉随机化下的鲁棒性。在推理端，复用同一批紧凑增量作为增量式视觉上下文更新：缓存锚点的逐层 KV，之后每个控制周期只把相邻帧间的增量送入视频专家并追加快取，而不是反复处理完整观测。量化目标为：训练 FLOPs 相对 Fast-WAM 降约 18–24%，单步推理延迟和 FLOPs 分别降约 37% 和 32%，并在 RoboTwin 仿真与真实双臂平台上保持有竞争力甚至领先的操作成功率。
与已有工作不同的是，已有工作从不同侧面接近该问题但都没打通：DeltaTok/DeltaWorld 把相邻帧特征差压缩成单个连续 token 用于视频预报，但只做视觉预测、不输出动作；DreamDojo 的 LAM 从视觉转变提取潜在动作做策略预训练，但没有把增量当作可复用的推理状态；VPP、LAPA 用视频扩散特征或离散潜在动作做表征预训练，仍是密集表征路线。DeltaWAM 的独特切入是：首次在世界动作模型框架内联合预测紧凑视觉增量与可执行动作块，并系统研究三种表征/计算共享架构；更关键的一步是提出流式增量记忆（SDM），把'已观测到的增量'重新定义为可持久追加的状态变量——同一增量表征既是训练监督、又是推理时的上下文增量，实现'一次锚点、多次推理'的 KV 前缀复用。这与 Fast-WAM 每周期重算完整观测 KV、DeltaWorld 纯预报的范式有本质区别。
核心方法
DeltaWAM 把世界动作建模分解为三条 token 流：密集锚点流用预训练视频骨干编码一帧参考观测，保留完整场景语义；稀疏增量流由冻结编码器把相邻观测压成 $d_t = E_\Delta(o_t, o_{t+1})$，本文取 $N_\Delta=1$，即每次帧间转变只贡献 1 个 token；动作流预测可执行的控制块。语言指令与本体感知状态是三流共享条件，结构化注意力掩码强制锚点到预测流的单向条件化。训练用联合流匹配目标 $\mathcal{L}_{joint} = \lambda_\Delta \mathcal{L}_\Delta + \lambda_a \mathcal{L}_a$。论文比较三种架构：Anchor-Shared 综合最优（86.4/82.6%）、训练 FLOPs 降 17.78%，Action-Shared 降幅最大（23.77%）但性能略低，Separated 最差。在此之上，SDM 把观测增量变成跨控制周期、跨去噪步复用的缓存状态。
核心思想是'以变化为中心'的世界建模。直觉：操作任务相邻帧共享几乎全部静态内容，把算力花在重建不变像素上既昂贵，又让动力学目标混入与控制无关的外观线索，环境一随机化就崩。DeltaWAM 的关键拆分是让密集锚点负责'是什么、在哪里'（物体身份、几何、空间关系），稀疏增量负责'怎么变'（夹爪与物体的局部变化）；由于相邻帧静态外观共享，只预测差异天然抑制光照、纹理等干扰。SDM 把该思想搬进推理：锚点加历史增量的逐层 KV 前缀被完整复用，新观测只算 1 个增量 token 的 q/k/v，按 $h^\ell_i = \mathrm{Attn}(q^\ell_i, [K^\ell_{M_{i-1}}; k^\ell_i], [V^\ell_{M_{i-1}}; v^\ell_i])$ 读取，再按 $M^\ell_i = M^\ell_{i-1} \oplus (k^\ell_i, v^\ell_i)$ 追加，历史条目永不重算——这带来 71.97% 的视觉/参考 KV 计算削减，是缓存完整帧方案做不到的，因为缓存整帧的 KV 会随帧数线性膨胀。
方法步骤详情
流程五步。(1) 增量表示：冻结编码器把相邻观测压成单 token $d_t$，视觉轨迹为锚点加增量序列 $D_{t:t+H-1} = [d_t, \ldots, d_{t+H-1}]$。(2) 架构选型：Anchor-Shared 用共享视觉骨干处理锚点与增量流、动作 DiT 逐层联合注意力交互；Separated 用独立 Delta/Action DiT；Action-Shared 用共享 DA-DiT 并加双流残差专家 $H^{\ell+1}_m = \bar{H}^\ell_m + U^\ell_m \phi(D^\ell_m \bar{H}^\ell_m)$ 保留流私有容量。(3) 联合训练：独立加噪 $D_{\tau_\Delta} = (1-\tau_\Delta)D_t + \tau_\Delta\epsilon_\Delta$，速度场分别回归 $(\epsilon_\Delta - D_t)$ 与 $(\epsilon_a - A_t)$；基座为 Wan2.2-TI2V-5B，锚点用 LoRA（$r=64, \alpha=128$）微调，训 15000 步、batch 64、lr $10^{-4}$。(4) SDM 训练：采样历史长度 $h$，以 $o_{t-h}$ 为锚点，已发生的上下文增量以零流时间插入记忆，用因果掩码并行训练以对齐流式推理。(5) 流式推理：先算一次锚点 KV，此后每帧只编码增量并按 $M^\ell_i = M^\ell_{i-1} \oplus (k^\ell_i, v^\ell_i)$ 追加，周期性刷新锚点，异步更新以隐藏延迟。
技术新颖性
新颖性有四点。第一，监督范式：把 WAM 的训练信号从未来密集帧换成未来稀疏增量加动作，且随骨干变大省得更多——Fig. 5 显示锚点宽度从 3072 增至 6144 时与 Fast-WAM 的 FLOPs 差距持续拉大，这与 Fast-WAM 逐帧密集建模形成结构性对比。第二，架构学发现：首次系统比较三种增量/动作共享方案，证明让增量预测直接继承预训练视频骨干表征的 Anchor-Shared 最好（86.4/82.6%），独立 Delta DiT 的 Separated 最差（80.0/75.4%），说明增量学习高度依赖视频先验。第三，双流残差专家（DRE）：在共享主干上用低维瓶颈注入流私有容量，缓解增量与动作两个目标的干扰，把干净成功率从 75.2% 提到 80.0%。第四，SDM 的状态化设计：不同于 DeltaWorld 把增量只当预报目标、也不同于缓存完整帧 KV 的方案，SDM 把观测增量当作跨周期递增的状态变量，配合因果记忆增强训练和异步更新，在几乎不掉点的前提下把单步推理延迟降 36.57%。
实验结果
仿真在 RoboTwin 2.0 前十任务（每任务 550 条演示、每设定 100 回合）。面板(a)：Fast-WAM 干净/随机化 86.2/79.0%，DeltaWAM 86.4/82.6%，加 SDM 为 82.8/86.6%（随机化 +4.0 点、干净 -3.6 点）；面板(b)：DeltaWAM+SDM 达 88.0/81.2%，超 Fast-WAM 的 76.4/72.6% 和 π0.5 的 77.2/80.6%，其中 Handover-Mic 70/51% 对基线最高 23/32%。两面板合计 85.4/83.9% 对 Fast-WAM 的 81.3/75.8%。效率：训练 FLOPs 10.140→8.337 T/样本（-17.78%，Action-Shared 最高 -23.77%）；单步推理延迟 121.02→76.76 ms（-36.57%）、FLOPs 1.351→0.925 T/块（-31.55%），成功率相当。消融：无锚点仅 32.6/35.2%，冻结锚点 59.0/52.6%，LoRA r=64 对 r=8 主要提升随机化（75.4 对 70.8%）；DeltaTok+DRE 85.2/80.0% 优于 LAM 75.2/81.2%。分解：训练端 VAE 编码 -85.48%、视频专家 -49.42%，但增量编码器新增 3.048 T/样本；推理端视觉/参考 KV -71.97%，增量编码占 0.457 T/块。真实世界双臂三任务 60 次试验：总成功率 41.67%、归一化进度 72.14% 均第一（π0.5 38.33%/65.0%，Fast-WAM 35.00%/69.29%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 前十任务（干净设定，两面板合计） | 平均成功率 | DeltaWAM+SDM 85.4% | Fast-WAM 81.3% | +4.1 个百分点 |
| RoboTwin 2.0 前十任务（视觉随机化设定，两面板合计） | 平均成功率 | DeltaWAM+SDM 83.9% | Fast-WAM 75.8% | +8.1 个百分点 |
| RoboTwin 2.0 面板(b) 补充五任务（干净设定） | 平均成功率 | 88.0% | Fast-WAM 76.4%，π0.5 77.2% | +11.6 个百分点（对 Fast-WAM） |
| RoboTwin 2.0 单步动作去噪推理 | 延迟 / 推理 FLOPs | 76.76 ms / 0.925 TFLOPs 每动作块 | Fast-WAM 121.02 ms / 1.351 TFLOPs | 延迟 -36.57%，FLOPs -31.55%（成功率相当） |
| RoboTwin 2.0 训练效率 | 每样本训练 FLOPs | Anchor-Shared 8.337 T（-17.78%），Action-Shared 7.730 T（-23.77%） | Fast-WAM 10.140 T | 最高 -23.77% |
| 真实世界双臂三任务（Tabletop Organization / Sugar Cube Placement / Bowl Stacking，60 次试验） | 总体成功率 / 总体归一化进度 | 41.67% / 72.14% | π0.5 38.33% / 65.0%，Fast-WAM 35.00% / 69.29% | 成功率最高（较 π0.5 +3.34 点），进度较 π0.5 +7.14 点、较 Fast-WAM +2.85 点 |
局限与改进
作者承认且数据可见的局限有三。(1) 增量编码器成为新算力大头：训练时 3.048 T/样本，抵消了视频专家省下的 49.42%，使总降幅只有 17.78%；推理时增量编码占 0.457 T/块，把 71.97% 的 KV 削减稀释成端到端仅 31.55%。(2) SDM 有干净-鲁棒性权衡：面板(a)上随机化 +4.0 点但干净 -3.6 点，说明累积增量上下文在无干扰分布内未必总是有益。(3) 异步 SDM 更新以'有界视觉陈旧'换延迟，锚点刷新周期这一关键超参缺乏敏感性分析。我的补充观察：单 token 增量丢弃变化的空间定位信息，面板(a)中 Beat Block 干净 71% 反而低于 Fast-WAM 的 82%；评测集中于双臂桌面操作，长时程、移动底座、强动力学场景未验证；真实世界仅 3 任务、每任务 20 次试验，置信区间很宽；单步效率对比中 Fast-WAM 未配备等价 KV 缓存机制，公平性可商榷。
独立分析的弱点
独立分析三点弱点并给改进方向。(1) 增量编码开销：当前复用重型编码器提取增量，训练端吃掉 3.048 T/样本（约占 Fast-WAM 总量的 30%），推理端占 0.457 T/块，让端到端节省远低于 KV 层面的 71.97%。改进方向是设计轻量专用增量编码器，例如直接在 VAE 潜空间做线性差分、或用单层投影蒸馏 DeltaTok，论文也把此列为首要未来工作。(2) 锚点新鲜度管理：周期性刷新与异步更新的频率是启发式的，快速变化或大范围移动场景下旧锚点 KV 会系统性失效，而论文未报告刷新周期敏感性。可引入学习式刷新触发器（按增量幅度或注意力不确定性自适应刷新），或对旧 KV 做指数衰减/合并。(3) 干净-随机化权衡：累积增量记忆在无干扰场景引入噪声（干净 -3.6 点），可按预测不确定性门控记忆长度或选择性遗忘历史增量。另有一个方法论隐忧：所有主结果用同一随机种子训练、未报方差，而面板(a)上 SDM 的干净掉点 3.6 点与种子方差可能同量级，结论稳健性需多种子验证。
未来方向
作者明确提出的方向是更高效的增量编码器，消除 3.048 T/样本的训练开销并进一步推高端到端节省。基于本文成果还可延伸：(1) 规模化验证——Fig. 5 显示锚点骨干越宽相对节省越大，可在更大视频生成骨干上验证效率优势是否随规模放大，甚至反超幅度扩大；(2) 更长记忆与检索——SDM 目前只追加不遗忘，可引入历史增量压缩、检索式记忆或状态空间模型，支撑小时级长时程任务；(3) 分层多视角缓存——把腕部相机的局部高频变化与全局头顶锚点分层管理，推广到移动操作和更多视角；(4) 与测试时自适应结合——本文在视觉随机化下优势最大（83.9% 对 75.8%），可在该方向继续扩大对 Fast-WAM 的领先并逼近干净设定；(5) 真实世界扩展——当前 3 任务 60 次试验的 41.67% 置信区间很宽，应增加任务多样性与试验次数，检验对接触丰富任务（Bowl Stacking 已领先）优势是否可复制到更多双臂协调场景。
复现评估
复现条件较好但有算力门槛。开源情况：代码在 github.com/AIGeeksGroup/DeltaWAM，主页 aigeeksgroup.github.io/DeltaWAM；基座 Wan2.2-TI2V-5B、RoboTwin 2.0 基准（每任务 550 条演示）、增量编码器 DeltaTok 与 DreamDojo 检查点均公开可得。训练配置披露完整：15000 步、全局 batch 64、AdamW（lr $10^{-4}$、权重衰减 $10^{-2}$、$\beta_1=0.9$、$\beta_2=0.95$）、LoRA $r=64/\alpha=128$，消融配置在 Table III 注明。难点在算力：5B 级视频基座、含激活检查点重计算，8.337 T/样本 × 15000 步 × batch 64，预计需多张 A100/H100 训练数天；真实世界复现更重：双 RealMan RM75-6F 平台、三相机采集、每任务 100 条演示，且需先在 325.7 小时 RoboCOIN 数据上预训练 50000 步。仿真部分（RoboTwin 十任务）是最现实的复现入口，真实世界建议直接引用原文数字。
论文图表
论文总览图，分四个面板：(a) 先前 WAM 的视频专家处理 $f_0$ 到 $f_T$ 的密集视觉 token；(b) DeltaWAM 用视频专家处理锚点 $f_0$、增量专家产生稀疏 delta token、动作专家输出 $a_0$ 到 $a_T$；(c) 带 SDM 的版本用历史/未来 delta token 增量更新上下文；(d) 结果数字条：RoboTwin 平均成功率 DeltaWAM+SDM 84.7% 对 Fast-WAM 78.6%，真实世界 41.67% 对 π0.5 的 38.33%，训练 FLOPs 降 17.78–23.77%，SDM 使单步推理 FLOPs 降 31.55%、延迟降 36.57%。
一张图同时讲清问题（密集帧冗余）、方法（锚点+增量+动作三流）与收益（精度和效率双提升），并浓缩了全部核心数字，是快速把握论文的入口。
主结果表，分两个面板：(a) 前五任务，RDT、ACT、π0、OpenVLA、π0.5、Fast-WAM、DeltaWAM、DeltaWAM+SDM 的逐任务干净/随机化成功率，Fast-WAM 平均 86.2/79.0，DeltaWAM 86.4/82.6，DeltaWAM+SDM 82.8/86.6；(b) 补充五任务，OpenVLA 32.0/32.0、π0.5 77.2/80.6、Fast-WAM 76.4/72.6、DeltaWAM+SDM 88.0/81.2。
论文的核心证据表：同时支撑三个结论——对强基线的整体领先、视觉随机化下的鲁棒性优势、以及 SDM 在不同任务子集上的干净-随机化权衡。
效率主表。(a) 训练效率：Fast-WAM 86.2/79.0 SR、10.140 T/样本；Anchor-Shared 86.4/82.6、8.337 T（-17.78%）；Separated 80.0/75.4、7.930 T（-21.79%）；Action-Shared 85.2/80.0、7.730 T（-23.77%）。(b) 单步推理效率：Fast-WAM 72.8/69.0 SR、121.02 ms、1.351 T/块；DeltaWAM+SDM 71.6/69.6 SR、76.76 ms（-36.57%）、0.925 T（-31.55%）。
把'精度不掉、计算大省'的定量主张落在数字上，并显示训练节省与架构选择、推理节省与 SDM 的对应关系，是复现效率对比的依据。
四组消融（均在初始五任务上）：(1) 锚点表示与适配——无锚点 32.6/35.2、冻结锚点 59.0/52.6、LoRA r=8/α=16 79.0/70.8、LoRA r=64/α=128 80.0/75.4；(2) 增量编码器与残差专家——LAM 无 DRE 75.2/81.2、LAM+最后 6 层 DRE 80.0/79.6、DeltaTok+最后 6 层 DRE 85.2/80.0、DeltaTok+最后 12 层 DRE 84.8/79.4；(3) SDM——无 86.4/82.6、有 82.8/86.6。
逐项回答'每个组件各值多少分'：锚点不可替代（无锚点掉 50 点）、LoRA 秩主要买随机化鲁棒性、DeltaTok 优于 LAM、SDM 用 3.6 点干净换 4.0 点随机化，是评判设计合理性的关键。
计算量分解表。(a) 训练：Fast-WAM 的 VAE 编码 0.089、视频专家 9.637、动作专家 0.414，总 10.140；DeltaWAM 为 0.013（-85.48%）、4.874（-49.42%）、0.403，加新增增量编码器 3.048，总 8.337（-17.78%）。(b) 推理：视觉/参考 KV 1.245→0.349（-71.97%）、动作专家 0.106→0.106、新增 SDM 更新 0.013 和增量编码 0.457，总 1.351→0.925（-31.55%）。
诚实地暴露了方法的成本结构：增量编码器吃掉约 1/3 节省、推理端 KV 削减被稀释，既解释了总降幅为何低于部件降幅，也直接指向未来工作（轻量增量编码器）。