统一因果训练下世界建模与动作建模的互惠效应（OneWM） Can World and Action Modeling Benefit Each Other under Unified Causal Training?
提出OneWM统一因果框架，首次系统验证世界预测与动作生成可相互促进
前置知识
世界模型（World Model）
学习环境状态转移的生成模型，给定当前观察和动作，预测未来观察 $p_\theta(z_{fut} \mid C, a)$，通常在视频 VAE 的潜空间中用扩散或流匹配建模。它可以作为学出来的模拟器，用于策略评估、想象推演和数据增广，核心要求是预测真正跟随所给动作而非只追求画面好看。
本文第一问的「世界建模」分支就是动作条件前向动力学：给定干净动作预测其视觉后果，这是理解实验设计的关键。
世界-动作模型（WAM / VLA）
把视频生成能力引入策略学习的模型族：用视频预测特征或未来帧作为视觉规划，再从观察和指令生成动作块（action chunk）。代表工作如 π0、Fast-WAM、WorldVLA，通常在共享 Transformer 骨干上联合建模视频与动作 token，动作以固定频率的块形式输出用于闭环控制。
WAM 是本文的对照组类别：WAMmask 与 WAMnoisy 两个变体刻画了现有方法处理动作信息的两种典型方式。
Mixture-of-Transformers（MoT）
一种多模态架构：每种模态（视频、动作）拥有独立的 Q/K/V 投影和 FFN，但所有 token 拼接后做联合注意力，即「参数分离、信息共享」。这样各模态可用适配自己表示的变换，同时通过注意力互相读取对方特征，是统一视频-动作建模的常用骨干。
OneWM 的视频专家和动作专家就是以 MoT 方式耦合的，理解这一点才能看懂 Eq. 3 的注意力聚合方式。
时序因果注意力
把帧和动作段切成时间块，第 $i$ 块的 query 只能看到不超过 $i$ 的 key/value：视频 query 看 $S_v(i)=V_{\le i}\cup A_{\le i}$，动作 query 看 $S_a(i)=V_0\cup A_{\le i}$，观察前缀 $V_0$ 对所有块可见。块内 token 自由交互，块间严格按时间顺序传递信息，符合物理因果。
Eq. 2 的可见性集合是全文的骨架：所有条件化 regime 都保持它不变，只改动作是干净条件还是噪声目标。
流匹配（Flow Matching）
连续时间生成范式：把干净数据 $x$ 与噪声按 $\tilde x=(1-\tau)x+\tau\epsilon$ 插值，训练网络预测目标速度 $\epsilon-x$；采样时从 $\tau=1$ 的纯噪声出发沿学到的速度场积分到 $\tau=0$ 得到干净样本。相比 DDPM 训练更稳定、采样路径更直。
OneWM 的视频和动作都用流匹配去噪，损失函数 Eq. 5 和推理流程都建立在这套记号上。
LIBERO / LIBERO-Plus / RoboCasa365 基准
三个机器人操作仿真基准：LIBERO 含空间、物体、目标、长时程四组任务；LIBERO-Plus 在其上加背景、相机、语言、光照、布局、初始化、传感噪声七类扰动专测泛化；RoboCasa365 是大规模厨房场景，含 stationary/mobile 操作的原子与复合任务（seen/unseen）。
论文的双问分别在分布内（LIBERO/RoboCasa365）与分布偏移（LIBERO-Plus）上检验，指标解读依赖这些基准的结构。
研究动机
世界建模与动作建模高度相关，但现有方法的连接方式有缺陷。一类基于双向注意力的 WAM（如 Fast-WAM）里动作 token 只读视频表征，视频分支完全看不到动作（即 Fig. 1 的 WAMmask 设定）；另一类因果 WAM 虽允许视频 token 关注动作，但联合去噪下动作是噪声变量（WAMnoisy 设定），视频分支要么拿到带噪动作、要么什么也拿不到。这意味着「给定干净指定动作，预测其视觉后果」这一前向动力学从未被当作显式学习目标——而世界模型的应用（想象推演、策略评估）恰恰要求预测跟随所给动作。更麻烦的是联合训练是否互惠存在争议：WorldVLA 在离散自回归设定下报告双赢，Cosmos 3 却发现与动作共训让视频保真度小幅下降。两者设定不同，时序因果结构究竟如何塑造这种互惠，仍是悬而未决的问题。
本文的目标是本文要在同一个因果模型内回答两个对称问题：其一，学习以指定干净动作为条件的前向动力学预测，能否改进同一模型中的动作学习；其二，学习动作生成，反过来能否提升动作条件下的世界建模。为此作者构建 OneWM——一个在共享因果 MoT 骨干上同时支持全干净、部分干净、全噪声三种动作条件化的统一框架，并在 LIBERO、LIBERO-Plus、RoboCasa365 三个仿真基准上同时评测策略成功率与世界预测质量（PSNR、SSIM、LPIPS、FID、FVD），配合堆叠积木、插块、早餐摆盘三个真实任务验证。最终对两个问题都给出肯定的量化答案。
与已有工作不同的是，本文的独特切入是把「动作在训练中扮演的角色」变成一个可调旋钮：用干净前缀长度 $r \in \{0,\dots,K\}$ 统一参数化三种条件化——全干净（$r=K$，纯前向动力学）、全噪声（$r=0$，纯动作生成）、部分干净（$0<r<K$，干净前缀条件化噪声后缀去噪），并按 60/25/15 混合采样进同一批训练。相比 WAMmask 切断动作到视频的信息流、WAMnoisy 只给视频看噪声动作，OneWM 固定架构与注意力可见性、只改变监督来源，从而干净地剥离出「世界→动作」与「动作→世界」两个方向的迁移效应，补上了 WorldVLA（离散 AR）与 Cosmos 3（双向扩散）之间缺失的因果流匹配设定。
核心方法
直觉上，OneWM 让机器人既「预演」每个动作的视觉后果，又「练习」从观察中选动作，两件事共享同一套交互表征、互相成就。技术上它采用因果 Mixture-of-Transformers：视频专家从预训练 Wan2.2-TI2V-5B 初始化并复用其视频 VAE 与文本编码器，负责潜空间视频去噪；动作专家处理动作块 embedding。两专家各有独立的 Q/K/V 投影与 FFN，通过时序因果联合注意力交换信息（Eq. 3），并各自通过独立的文本交叉注意力接收指令 $\ell$。训练时观察帧前缀保持干净，未来视频潜变量与动作块用流匹配去噪，联合目标为 $\mathcal{L} = \lambda_v\mathcal{L}_v + \lambda_a\mathcal{L}_a$（Eq. 5）。关键在于每个训练样本的动作以不同角色出现——干净条件、噪声目标、或干净前缀加噪声后缀——三种设定混在同一批里，使同一个模型同时学会「指定动作的动力学」与「生成动作」，推理时则按需取用两种模式。
核心创新是「统一动作条件化」：Eq. 4 定义动作输入 $a_k^{(r,\tau)} = a_k$（若 $k \le r$）或 $\tilde{a}_k(\tau)$（若 $k > r$），噪声水平嵌入区分条件 token（零噪声）与去噪目标 token（同一采样噪声 $\tau$）。这样世界模型（全干净）与 WAM（全噪声/部分干净）被统一为同一模型的三个采样 regime，只需改变 $r$ 的分布即可切换任务角色，而 Eq. 2 的可见性集合 $S_v(i)=V_{\le i}\cup A_{\le i}$、$S_a(i)=V_0\cup A_{\le i}$ 在所有 regime 下保持不变。这与已有工作的本质区别在于：WorldVLA 和 Cosmos 3 各自锁定一种联合训练设定、结论无法直接比较，而 OneWM 在固定架构、固定注意力下仅改变监督构成，因此能把性能差异因果地归因到「干净动作条件的有无」，这正是它能正面回答互惠性问题的方法论基础。
方法步骤详情
第一步，输入构造：观察帧前缀 $o_{ctx}$ 经 VAE 编码为 $z_{ctx}$，未来帧为 $z_{fut}$，动作块 $a=(a_1,\dots,a_K)$ 嵌入为 token，指令 $\ell$ 供两专家交叉注意。第二步，采样条件化 regime：以 60/25/15 概率取全噪声/部分干净/全干净；部分干净时按视频对齐的动作块选边界（扰动不超两步）或均匀采样 $r$，噪声 $\tau_v,\tau_a$ 独立采样。第三步，前向计算：流匹配构造 $\tilde x=(1-\tau)x+\tau\epsilon$，目标速度 $\epsilon-x$，各块 query 按 Eq. 2 的可见集合做因果联合注意力。第四步，损失（Eq. 5）：动作损失只统计噪声后缀（$r<K$），平方误差取 mean 并乘噪声权重 $w_v, w_a$。第五步，推理：世界预测（$r=K$，动作作干净条件，去噪视频潜变量后 VAE 解码）与动作生成（$r=0$，从噪声去噪动作，闭环时每步重规划）。第六步，Endless Dream（Eq. 6）：交替生成动作与世界预测，本回合最后一帧作为下回合观察，LIBERO 上 16 回合×32 动作×8 帧，共 512 动作、25.6 秒想象时域。
技术新颖性
技术新颖性有四点。其一，这是首个在「连续动作 + 流匹配 + 因果 MoT」设定下系统量化世界与动作双向迁移的工作，填补了 WorldVLA（离散自回归图像-动作 token）与 Cosmos 3（双向注意力扩散）之间的设定空白，并用同架构的 WAMmask/WAMnoisy 与 WM 基线做出受控对照。其二，统一条件化公式（Eq. 4）把世界模型与动作模型表达为同一模型的采样 regime，实现零架构改动的任务角色切换，是一个简洁的概念贡献。其三，条件化混合比例消融揭示了非平凡的规律：策略泛化需要保留足够的全噪声样本，默认 60/25/15 最优，而增大干净占比到 30/45/25 会使 LIBERO-Plus 成功率从 59.27 崩落至 38.01，说明前向动力学监督并非越多越好。其四，两种推理模式可零训练组合成 Endless Dream 闭环想象，展示了统一训练带来的涌现式可组合性。
实验结果
第一问（世界→动作）：LIBERO 上 OneWM 平均成功率 94.95%，超过 WAMmask 92.45% 与 WAMnoisy 92.60%（π0 为 94.40%，Fast-WAM 为 97.60%）；LIBERO-Plus 达 59.27%，高于 WAMmask 53.37%、π0 53.60%、Fast-WAM 49.70%，噪声扰动 67.08、语言 79.57、布局 71.08 领先明显；RoboCasa365 总体 36.68%（Atomic-S 68.78），远超 WAMmask 28.32% 与 GR00T N1.6 的 21.90%。真实世界总体 66.7% 对 48.9%：堆叠 73.3 对 60.0、插块 40.0 对 20.0、早餐 86.7 对 66.7。第二问（动作→世界）：与同架构 WM 相比，OneWM 三基准 PSNR/SSIM/LPIPS 全部第一（LIBERO PSNR 22.95 对 22.33，SSIM 0.8423 对 0.8325；RoboCasa365 PSNR 25.21），FID/FVD 多数占优但 WMAdaLN 部分设定更高。消融显示默认 60/25/15 平衡最好，干净占比增至 30/45/25 时 LIBERO-Plus 从 59.27 崩至 38.01，世界预测指标却基本稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO 仿真操作（分布内策略） | 平均任务成功率 (%) | 94.95 | WAMnoisy 92.60 / WAMmask 92.45 | +2.35（相对最强 WAM 变体） |
| LIBERO-Plus 泛化评测 | 七类扰动总体成功率 (%) | 59.27 | WAMmask 53.37 / π0 53.60 / Fast-WAM 49.70 | +5.90（对 WAMmask），列所有方法第一 |
| RoboCasa365 移动操作 | Overall 成功率 (%) | 36.68 | WAMmask 28.32 / GR00T N1.6 21.90 | +8.36（对 WAMmask），Atomic-S 达 68.78 |
| LIBERO 世界预测 | PSNR (↑) / SSIM (↑) | 22.95 / 0.8423 | WM（同架构）22.33 / 0.8325；WMAdaLN 20.52 / 0.8057 | PSNR +0.62（对 WM），三基准配对指标全部第一 |
| 真实机器人三任务（堆叠/插块/早餐） | 总体成功率 (%) | 66.7 | WAMmask 48.9 | +17.8，其中插块翻倍（40.0 对 20.0） |
局限与改进
作者承认的局限包括：收益在扰动类别间不均匀，LIBERO-Plus 上光照扰动 79.86 反而低于 WAMmask 的 84.24，初始化扰动 47.81 略低于 WAMnoisy 的 49.68；分布内 LIBERO 落后 Fast-WAM（94.95 对 97.60）；FID/FVD 上调制式 WMAdaLN 有时优于 MoT 方案，说明分布式指标与动作-结果对应性并不一致。我自己的观察：两个方向的提升幅度不对称——世界预测 PSNR 只提升约 0.6 dB，而策略泛化提升近 6 个点，说明动作学习信号主要改善了「控制相关」的表征而非整体画质；Endless Dream 16 回合无环境反馈，误差必然累积，文中仅定性展示序列而未量化漂移；条件化混合只在三档离散网格上搜索，未探索连续比例或课程式调度；训练算力、数据规模与附录协议未随正文给出，重复实验的置信区间也未报告。
独立分析的弱点
第一，分布内性能劣势：LIBERO 上比 Fast-WAM 低 2.65 个点，可能因为因果注意力牺牲了视频专家内部的层内双向交互。改进方向：在块内保留双向注意力、仅块间因果化，或推理时对视频分支切换双向模式。第二，光照与初始化泛化不均：干净动作条件主要强化「控制→场景变化」的映射，对与控制无关的外观变化帮助有限。改进方向：引入光照/外观增广，或将外观因素从动力学表征中解耦。第三，混合比例敏感：30/45/25 使 LIBERO-Plus 从 59.27 崩至 38.01，说明 60/25/15 是手工调出的甜点。改进方向：按两项损失的实时梯度或验证表现自适应采样 regime，形成课程。第四，评测指标缺口：FID/FVD 不衡量动作跟随度，WMAdaLN 在分布式指标上反超可能掩盖条件对应性差的问题。改进方向：推广 Appendix B 式的局部几何与动作依赖运动评测为标准指标。第五，Endless Dream 无真值校准，长时程想象必然漂移。改进方向：加入周期性重锚定（真实观察回灌）或基于一致性的不确定性估计。
未来方向
作者明确提出两个方向：研究互惠学习如何随更多样数据与更长交互时域扩展（scaling 行为）；把学到的动力学用于规划与策略改进，将预测与控制的互动从联合训练扩展到部署期。在此基础上可以延伸：其一，潜空间 Endless Dream——在 $z_{fut}$ 潜空间直接回灌而不经 VAE 解码，把 25.6 秒想象降到实时；其二，测试时最优动作选择——用世界预测给候选动作打分做 best-of-n 验证，把生成式世界模型变成零训练的策略改进器；其三，跨本体迁移——Wan 视频先验与本体无关，只需替换动作专家即可适配新机器人，值得系统研究；其四，与在线强化学习结合，用想象 rollout 替代真机采样做策略评估与探索，缓解 Sim2Real 数据瓶颈；其五，把条件化混合比例与数据混合（真机/仿真/纯视频）联合调度。
复现评估
复现条件中等偏难。有利因素：项目页为 https://selen-suyue.github.io/OneWMNet；骨干 Wan2.2-TI2V-5B 及其 VAE、文本编码器均公开；LIBERO、LIBERO-Plus、RoboCasa365 三个仿真基准全部开源可得；方法本身是标准流匹配 + MoT，无特殊算子；评测协议称在 Appendix A 详述（本次提供的正文未含附录，训练超参、卡数与时长未知）。不利因素：需要微调 5B 级视频 DiT 并联合训练动作专家，估计需要 8 卡 A100/H100 级别的算力与较长的视频训练管线工程经验；真实机器人部分需要多相机台面与特定硬件，普通实验室难以完全复制；正文未明确承诺开源代码与权重，若最终不开源，复现成本将主要落在 5B 视频模型微调和大规模 rollout 评测的基础设施上。建议先在 LIBERO 单基准、缩小视频专家的配置上验证核心结论（混合条件化的收益），再考虑全量复现。
论文图表
用注意力掩码矩阵对比四种设定：全干净（World Model，视频 query 可看全部干净动作）、OneWM（混合全干净/部分干净/全噪声三种样本，橙色实线为干净条件、灰色斜纹为噪声动作）、WAM 的代表性公式（视频不能关注动作）与无注意力版本。百分比标注每批中干净真值动作的比例，直观呈现三种条件化 regime 的差异。
这张图是全文问题定义的视觉总纲：一眼看清「动作在训练中是干净条件还是噪声目标」这一核心变量如何区分 World Model、WAM 与 OneWM，理解它才能明白后面对照实验在设计上隔离了什么。