什么让世界动作模型泛化：测试时未来建模的实证研究 What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling
实证发现WAM泛化仅需对纯噪声未来做一次前向，据此提出Simple-WAM
前置知识
世界动作模型（WAM）
由视频专家（从大规模视频生成模型初始化的 DiT）和动作专家组成的具身策略网络。训练时联合预测未来动态与动作块，用观测空间的视频监督补充稀疏的动作标签，将动作学习从密集状态-动作模仿转为与预测视觉未来对齐的逆动力学问题。
本文的全部问题都围绕 WAM 展开：推理时是否必须生成未来视频，直接决定模型的成本与泛化能力。
流匹配与去噪调度
一种生成式建模方式：引入流时间 $\tau \in [0,1]$（$\tau=0$ 为干净数据，$\tau=1$ 为高斯噪声），对插值 $y^\tau = (1-\tau)y + \tau\epsilon$ 回归速度场，推理时从噪声出发沿调度 $S$ 积分 $K$ 步还原数据。
论文用流时间 $\tau_k$ 精确定义各范式的差异：显式范式把未来从 $\tau=1$ 去噪到 $0$，Simple-WAM 则永远停在 $\tau=1$，这是理解方法的关键语言。
显式 vs 潜在 WAM 范式
显式范式在每个动作块的每一步去噪中都保留未来视频 token 并逐步还原成干净帧，动作专家条件于逐渐清晰的未来；潜在范式训练时保留视频监督，推理时直接丢弃未来视频 token，只对当前帧做一次前向，以换取数倍加速。
本文的核心实证就是在受控设置下比较这两种范式，发现它们在分布内打平、在泛化上拉开巨大差距，进而引出 Simple-WAM。
LIBERO 与 LIBERO-Plus 基准
LIBERO 是仿真操作基准，含 spatial/object/goal/long 四个套件各 10 个任务、每任务约 40-50 条演示；LIBERO-Plus 在其上引入机器人初始状态、相机视角、语言指令、传感器噪声、背景、物体布局、光照七类扰动因子，用于系统评测鲁棒性。
本文三轴泛化协议（环境扰动、数据效率、任务泛化）全部构建在这两个基准上，所有表格数字都来自它们的成功率。
VLA 模型
视觉-语言-动作模型，骨干主要在静态图文对上预训练、为理解与推理优化，缺乏操作所需的时间动态先验，代表工作如 π0.5、VLA-Adapter。
WAM 与 VLA 的对比是论文动机的一部分：表 2 中带大规模具身预训练的 π0.5 是重要参照，说明视频生成先验带来的不同泛化来源。
研究动机
世界动作模型（WAM）在训练时联合预测未来视频与动作，但视频 token 数量远超动作 token，推理时每个动作块都要对视频去噪，成为延迟的主要来源，阻碍高频闭环控制。于是社区出现分歧：早期显式范式（如 Lingbot-VA、FastWAM-Joint 一类联合去噪模型）在每个动作块旁都把未来还原成干净帧，并报告成功率随生成质量提升；而追求效率的潜在范式（FastWAM 等）保留训练时的视频监督、推理时彻底丢弃视频生成，声称只花零头成本就能在分布内任务上打平显式范式（如 96.85 对 97.75 的成功率）。问题在于，这些支持各自结论的证据都采集自分布内任务，而 WAM 最初的价值主张恰恰是泛化——对环境扰动的鲁棒性、少样本数据效率、对未见过任务的迁移。此前每个系统只在自己的骨干、数据和预算下验证其中一两条，从未在统一协议下并排比较过，因此'推理时到底要不要生成未来'仍是悬案。
本文的目标是本文要回答一个被回避的核心问题：推理时的视频生成为何必要、必要到什么程度？具体目标分三步：第一，建立一个系统化评测 WAM 泛化能力的协议，把散落在各论文中的泛化主张整合为三条互补的轴——环境扰动鲁棒性（LIBERO-Plus 七因子）、数据效率（每任务演示数从 40-50 降到 10 或 5）、任务泛化（四折交叉验证留出整个 LIBERO 套件，并区分有无无动作标签的视频可用）；第二，在骨干、数据、训练预算完全对齐的受控设置下隔离'动作专家以何种形式访问未来 token 表示'这一个变量，量化两种范式的真实差距；第三，基于发现设计一个既保留泛化又接近潜在范式成本的方法。
与已有工作不同的是，本文的独特切入角度有三层。其一，此前的显式/潜在对比中两个范式同时在'是否保留未来 token'和'流时间调度如何走向'两个因子上不同，本文通过固定式 (3) 中其余一切、只改变注意力掩码的方式把两个因子拆开单独操纵。其二，通过 $t_{\text{denoise}}$ 扫描实验（视频专家只在前 $t_{\text{denoise}}$ 步运行、之后冻结特征）定位差距来源，发现收益几乎全部来自第一次前向——这是一个此前完全未被揭示的事实。其三，与同样强调推理时未来条件作用的并行工作 Faster-WAM 相比，本文贡献的是覆盖三轴的更宽评测框架与受控实验，而非某个高效实现，并把'准备未来'与'生成未来'在概念上分离。
核心方法
整篇工作的技术路线是'受控实证 → 两条发现 → 极简方法'。直觉上，动作专家需要的不是一段视觉上干净的生成视频，而是视频专家在'准备'未来 token 过程中形成的中间表示；既然分布内任务上潜在范式已经打平显式范式，说明动作预测本身不依赖生成的帧，而泛化差距说明表示依赖未来 token 的存在。于是 Simple-WAM 的技术方案极为克制：推理时把未来视频 token 保持为纯高斯噪声（$\tau=1$），视频专家只做一次前向传播，其输出表示 $c_{t,k} = \Phi_\theta(Y_t^{\tau=1})$ 条件于全部 $K=10$ 步动作去噪；训练时则用混合调度，以概率 $p=0.5$ 直接采 $\tau=1$，否则按原调度 $S(u)$ 采样，使视频专家恰好在其推理时被读取的那个流时间上得到强化监督。视频损失 $\mathcal{L}_{\text{vid}} = \mathbb{E}_{\tau,\epsilon}\|u_\theta(Y_t^\tau,\tau) - (\epsilon - y_{t+1:t+T})\|^2$ 保持不变，不新增任何模块或损失项。
核心创新是两条实证发现及由此导出的设计。发现一：去掉推理时未来建模会系统性损害泛化——受控对比中显式与潜在范式分布内只差 0.90 点（97.75 对 96.85），但环境扰动差 13.97 点（67.72 对 53.75）、10-shot 数据效率差 8.45 点、从无动作视频学技能差 64.00 点（69.90 对 5.90），证明未来建模是测试时需求而非仅训练目标。发现二：完全噪声化的未来就足以恢复泛化——$t_{\text{denoise}}=1$（视频专家只在 $\tau_1=1$ 处运行一次，未来 token 是纯噪声 $\epsilon \sim \mathcal{N}(0,I)$）即超过潜在范式 26.44、8.2、13.4、89.8 点，而其后九次承担全部去噪成本的前向最多只再贡献 -1.62 到 +1.8 点。与已有方法的本质区别在于：潜在范式丢弃未来 token、显式范式沿整个调度迭代去噪，Simple-WAM 同时保留未来 token 和单次前向，并把训练噪声调度适配到这一推理行为。
方法步骤详情
方法分推理与训练两侧。推理侧：输入当前观测潜变量 $y_t = E(o_t)$、语言指令与本体状态，将未来 $T$ 帧的视频token 全部置为 $\tau=1$ 的纯高斯噪声，与干净当前帧拼成 $Y_t^{\tau=1} = [\,y_t\,;\,\epsilon\,]$；视频专家 $\theta$ 对该序列做一次前向，得到表示 $c_{t,k} = \Phi_\theta(Y_t^{\tau=1})$，对全部 $K=10$ 个动作去噪步保持不变；动作专家 $\psi$ 按原式 $A^{\sigma_{k+1}} = A^{\sigma_k} + (\sigma_{k+1}-\sigma_k)v_\psi(A^{\sigma_k}, c_{t,k}, \sigma_k)$ 正常积分。成本为 $C_{\text{vid}} + K C_{\text{act}}$，对比显式的 $K C_{\text{vid}} + K C_{\text{act}}$ 与潜在的 $C_{\text{cur}} + K C_{\text{act}}$。训练侧：未来 token 的流时间以概率 $p=0.5$ 取 $\tau=1$，否则取 $\tau = S(u), u \sim \mathcal{U}[0,1]$；其余与显式范式完全一致，视频损失在采到的 $\tau$ 上施加。实现：Wan2.2-5B 视频 DiT 骨干，1B 动作专家，动作块 $H=32$、每块 9 帧、损失权重 $\lambda=3.0$、CFG 系数 1.0。
技术新颖性
技术新颖性体现在三个层面。第一是概念层面：论文首次把'未来条件作用'与'迭代视频去噪'这两个一直捆绑在一起的因子解耦，用 $t_{\text{denoise}}$ 扫描证明泛化收益来自第一步的表示形成而非生成的画面本身，纠正了'成功率跟踪生成质量'这一被广泛引用的叙事。第二是设计层面：Simple-WAM 不引入任何新模块、新损失或新结构，只做两件事——让未来 token 停在 $\tau=1$、把训练调度的 $p=0.5$ 概率质量搬到该点——因此最大化复用视频预训练。消融（表 3b）有力支持这一'预训练对齐条件化'论断：把噪声未来 token 换成可学习查询嵌入或全零，三轴平均从 94.2 崩到 52.7 和 54.9，因为视频骨干在预训练中见过且擅长去噪的恰恰是加噪视频 token。第三是评测层面：三轴泛化协议本身（扰动/数据效率/任务泛化的统一受控比较）也是可复用的社区贡献。
实验结果
发现一（表 1）：受控对比中显式与潜在范式在分布内 LIBERO 上打平（97.75 对 96.85，Δ0.90），但三轴泛化全面拉开——LIBERO-Plus 环境扰动 67.72 对 53.75（Δ13.97）、10-shot 数据效率 96.95 对 88.50（Δ8.45）、任务泛化有动作无关视频 69.90 对 5.90（Δ64.00），潜在范式几乎无法从视频学技能。发现二（图 2）：只保留视频专家前 $t_{\text{denoise}}$ 步，$t_{\text{denoise}}=1$（纯噪声单次前向）即领先潜在范式 26.44/8.2/13.4/89.8 点，其余九次前向最多再贡献 -1.62 到 +1.8 点。主结果（表 2）：Simple-WAM 在 LIBERO-Plus 七因子平均 79.5（显式 67.7、潜在 53.8），无具身预训练模型中七因子占六项最优，距 π0.5（84.4）仅 4.9 点；数据效率 LIBERO 5/10-shot 达 92.4/97.2、RoboTwin 10-shot 37.2（潜在崩至 4.8）；任务泛化 LIBERO 无/有视频 10.1/73.6、RoboTwin 6.2/44.5。效率（图 4）：每块 74.7 ms，为显式 286.9 ms 的 3.8 倍速、潜在 62.0 ms 的 1.2 倍内，四泛化设置平均 65.1 居首。真机（图 5/6）：分布内三者差 2.3 点内；扰动下 69.2 对潜在 25.2；每任务 50 条演示时 69.6 对 37.2；留出任务 Store in Order 借无动作视频从 2.2 升至 87.8（显式 68.9、潜在 10.0）。消融（表 3）：$p \in \{0.25,0.5,0.75\}$ 平均 93.2-94.5 持平，端点 90.8/88.6；噪声 token 94.2 远超可学习查询 52.7 与全零 54.9。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO-Plus 环境扰动（七因子平均成功率） | 成功率 (%) | 79.5 | 显式 FastWAM-Joint 67.7；潜在 FastWAM 53.8；π0.5（含具身预训练）84.4 | 较显式 +11.8、较潜在 +25.7 |
| LIBERO 数据效率（每任务 5 条演示） | 成功率 (%) | 92.4 | 显式 91.5；潜在 78.2 | 较显式 +0.9、较潜在 +14.2 |
| LIBERO 数据效率（每任务 10 条演示） | 成功率 (%) | 97.2 | 显式 97.0；潜在 88.5 | 较显式 +0.2、较潜在 +8.7 |
| RoboTwin 2.0 数据效率（每任务 10 条演示） | 成功率 (%) | 37.2 | 显式 35.0；潜在 4.8 | 较显式 +2.2、较潜在 +32.4 |
| LIBERO 任务泛化（四折留出套件，有动作无关视频） | 平均成功率 (%) | 73.6 | 显式 69.9；潜在 5.9 | 较显式 +3.7、较潜在 +67.7 |
| 推理延迟（单块，RTX 5090） | ms / chunk | 74.7 | 显式 286.9；潜在 62.0 | 较显式提速 3.8 倍，在潜在范式 1.2 倍延迟内 |
| 真机环境扰动（光照/布局/背景，4 任务 30 次试验） | 成功率 (%) | 69.2 | 潜在范式 25.2 | +44.0 |
| 真机留出任务 Store in Order（有动作无关视频） | 成功率 (%) | 87.8（无视频时仅 2.2） | 显式 68.9；潜在 10.0 | 较显式 +18.9、较潜在 +77.8 |
局限与改进
作者明确承认：所有结论建立在无具身预训练的 5B 骨干（Wan2.2-5B）之上，能否推广到更大规模或带具身预训练的模型仍是开放问题。数字上也有几处值得注意：RoboTwin 任务泛化有视频设置 44.5 略低于显式的 47.3；环境扰动距 π0.5 还有 4.9 点，且落后集中在相机可见的四类视觉扰动上（作者解释为噪声未来'无从被破坏'但也不提供生成式补偿）；延迟仍比潜在范式高 12.7 ms。从我自己观察看：其一，$t_{\text{denoise}}$ 扫描与消融都只在 LIBERO-Spatial 上做，单套件结论外推到长程任务存疑；其二，整块推理期间未来表示固定不变，对需要中途重估场景动态的长时程任务可能不利，但论文未测试跨块刷新；其三，$p=0.5$ 削弱了常规去噪调度上的训练量，论文未报告视频生成质量（如 FVD）是否受损；其四，'为什么纯噪声特征就足够'只有实证证据，缺乏表示层面的机理分析；其五，评测集中于 LIBERO 家族仿真，存在基准家族偏差。
独立分析的弱点
弱点一：未来表示在一次动作块内静态冻结，$c_{t,k} = \Phi_\theta(Y_t^{\tau=1})$ 对全部 $K$ 步不变，若执行中场景计划外变化（物体被碰倒），本块内无法修正。改进方向：每若干步低成本刷新未来分支，研究更新频率与成功率的关系。弱点二：理论解释缺位，为何 $\tau=1$ 纯噪声输入就足够只有实证证据，未分析 $\Phi_\theta$ 输出编码了什么。改进方向：用探测实验或因果干预定位泛化信息载体。弱点三：$p=0.5$ 使中间流时间的视频监督减半，若应用需要生成可看视频（数据合成、可解释性）则不再适用。改进方向：可切换的双模式调度。弱点四：视频专家单次前向仍需处理远长于动作序列的 token，1.2 倍于潜在范式的延迟对高频控制依旧偏重，可结合 token 剪枝或 Faster-WAM 式实现压缩。弱点五：结论仅在流匹配 DiT 骨干与 LIBERO/RoboTwin 上验证，未覆盖回归式策略或其他世界模型架构，外部效度有限。
未来方向
作者提出的方向有二：把结论推广到更大规模骨干与带大规模具身预训练的模型，检验'纯噪声未来充分性'是否随规模变化。在此基础上可以延伸：第一，表示机理研究——用线性探测、注意力消融等手段回答'动作专家究竟从噪声未来 token 中读到了什么'，把实证规律上升为理论；第二，自适应流时间——学习每个任务/每步选择最优 $\tau$，或混合多个固定噪声实现，而不是固定 $\tau=1$；第三，跨块记忆——让当前块的噪声未来表示携带上一块执行结果的信息，服务长时程任务；第四，把'训练-推理噪声调度对齐'这一原则迁移到其他条件生成系统（VLA 加视频先验、视频预测用于规划），检验其普适性；第五，与 Faster-WAM 的高效实现结合，逼近潜在范式的绝对延迟；第六，在真机上系统研究扰动类型（作者仅测光照/布局/背景三类）与失败模式，补全真机证据链。
复现评估
复现条件总体较好但门槛不低。有利因素：方法基于公开的 Wan2.2-5B 视频 DiT 与公开基准（LIBERO、RoboTwin 2.0、LIBERO-Plus），训练配方完全沿用公开的 Fast-WAM 设置，论文给出项目页 https://zrporz.github.io/Simple-WAM-Web，且超参数披露充分（$H=32$、9 帧、$\lambda=3.0$、$K=10$、CFG 1.0、$p=0.5$，附录 A.1 有更多细节）。需要注意的成本：视频骨干是 5B 级 DiT，训练在 NVIDIA A800 集群上完成（论文未给出卡数与时长），完整复现三轴实验需多次重训（数据效率轴每任务 10/5 条重训、任务泛化轴四折交叉验证），算力需求为研究级；延迟测量基于单张 RTX 5090。摘要与正文节选中未明确承诺开源代码，若官方不释码，复现难度为中高——需要自行实现注意力掩码切换、混合调度与 $t_{\text{denoise}}$ 冻结逻辑；仅复现表 1 的受控对比约需 5-6 次全量训练，仅部署 Simple-WAM 推理则只需权重与单次前向改造，难度较低。
论文图表
左半部分展示评测协议的三条轴：环境扰动（背景、光照、布局、传感器噪声、相机、语言、机器人初始状态）、数据效率（全量数据对少量数据）与任务泛化（已见对未见任务）；右半部分概括两条发现：F1 显示显式与潜在范式在分布内相差不到 0.9 点却在三轴泛化上拉开，F2 显示对完全噪声化的未来槽位做单次前向即可恢复几乎全部差距。
这是全文的结构图：三轴协议定义了论文的评测语言，两条发现直接导出 Simple-WAM 的设计，看懂此图即掌握了论文的问题—证据—方案主线。