MWM：面向动作条件一致性预测的移动世界模型 MWM: Mobile World Models for Action-Conditioned Consistent Prediction

Stage I 结构预训练：取状态-动作对 $(s_\tau, a_\tau)$，将真实下一状态 $s_{\tau+1}$ 按噪声调度 $\{\bar{\alpha}_t\}$ 加噪得到 $s^{(t)}_{\tau+1}$，由去噪器 $F_\theta$ 预测 $\hat{s}_{\tau+1} = F_\theta(s^{(t)}_{\tau+1} | s_\tau, a_\tau, t)$，优化重构损失 $\mathcal{L}_{\mathrm{simple}} = \mathbb{E}_{(\cdot)}\|s_{\tau+1} - \hat{s}_{\tau+1}\|^2_2$，并在每块通过 AdaLN 注入 $\sin\cos$ 编码的动作与时间步。Stage II ACC 后训练：固定预训练权重，仅对 AdaLN 的线性投影插入 LoRA（$r=64,\alpha=16,\mathrm{dropout}=0.1$），对长度为 8 的滚动段执行自回归生成——对每帧 $\tau$ 从高斯噪声出发、按子采样步 $\{t_{T'},...,t_k, t_1=0\}$ 反向去噪，中间步骤 stop-gradient，仅在截断步 $t_k$ 处反向传播，按 $\hat{s}^{(0)}_\tau = G_\theta(s^{(t_k)}_\tau; t_k, \hat{s}^{(0)}_{<\tau}, a_{\tau-1})$ 生成，然后计算多帧 LPIPS 损失 $\mathcal{L}_{\mathrm{CSF}}$ 反向更新 LoRA。Stage II 内的 ICSD：在 $t=t_k$ 取得 $\hat{s}^{(0)}_\tau$ 后，按上述 DDIM 公式从 $t_{j-1}$ 回填得到 $s^{\mathrm{IC}}_\tau$，并把它作为后续帧的滚动上下文（即 Eq. 7 中的 $s^{\mathrm{IC}}_{<\tau}$），从而把跳步子采样下的过平滑态与推理端点对齐。规划阶段：在潜空间用 CEM 采样 120 条候选动作序列（SCAND 1 次迭代、真实机器人 3 次迭代），每条仿真 3 次（SCAND）/ 1 次（真实）并取最优，按 $S(s_T, x^*) = -\mathrm{LPIPS}(\mathrm{Dec}(s_T), x^*)$ 评分迭代更新分布。

技术新颖性体现在三点。其一是把「自生成上下文一致性」从视频扩散迁移到导航世界模型，并把 LPIPS 损失与冻结主干 + LoRA-AdaLN 微调结合，验证了结构知识可以在不破坏的前提下被一致性目标修正（Tab. VI 中 ACC 单独训练效果最差，结构+ACC 组合最优）。其二是把 DDIM 跳步公式重写为「训练时模拟推理时端点」的工具，提出 $s^{\mathrm{IC}}_\tau$ 这一显式中桥梁变量，避免了截断训练态与少步推理态的隐式失配，Tab. VII 显示使用 $s^{\mathrm{IC}}_{<\tau}$ 比 $\hat{s}^{(0)}_{<\tau}$ 在 16s 滚动上把 FID 从 109.75 降到 93.12。其三是贡献了一个新数据集 MMK2-RealNav——18 条轨迹、1.3 km、2 小时同步 RGB 与平面位姿，弥补了现有数据集对室内 MMK2 平台的覆盖空缺，为真实部署复现提供了基础。

独立观察到的弱点有四处。其一，MWM 的延迟仍达 2.3s/滚动，对真正的在线闭环控制（<100ms）不够，需要把 DDIM 5 进一步压到 1–2 步，并考虑把 VAE 解码从规划循环中异步化。其二，MMK2-RealNav 只有 18 条轨迹、2 小时，规模偏小，且真实实验只在 4 个目标地点做了开环一次性评估，统计显著性和场景多样性不足；多目标、多季节、多光照下的迁移性未被验证。其三，Tab. VII 中即使加了 ICSD，16s LPIPS 仍达 0.495、Tab. I 中 16s 的 LPIPS 也比 1s 高出 34%，说明长视野误差累积并未被根除，多步一致性仍是开放问题。其四，MWM 完全依赖 RGB，放弃了 SCAND 自带的 LiDAR 与深度信息，Fig. 4 中 NWM/MWM 都在长走廊里频繁「Blank frames」（紧急制动），表明纯视觉世界模型在几何约束强的环境里鲁棒性不足，可考虑融合激光或多视角几何作为辅助监督。

作者明确方向是把 MWM 扩展到实时闭环导航：在执行中持续获取新观测、滚动想象、重新调用 CEM 重规划，从而应对动态障碍与传感器漂移。基于成果可延伸的方向有四个：(a) 把 ICSD 的「推理一致态」思想推广到通用视频扩散模型，用 DDIM 反投影替代截断一致性损失，缓解长视频生成中的 train-test gap；(b) 在更大规模数据集（如 Open X-Embodiment）上联合预训练结构与一致性目标，研究 ACC 训练步数与数据规模的 scaling law；(c) 把 LPIPS 损失替换为 VLM-based 语义一致性损失，让世界模型直接对齐语言/任务目标，而不仅仅是像素；(d) 探索扩散蒸馏 + RL 微调的协同：在仿真世界里用 RL 优化规划奖励，再用 ICSD 蒸馏回少步扩散，把控制性能与推理效率同时推到极限。

复现评估整体偏中-高难度。代码与项目页已开源：https://github.com/AIGeeksGroup/MWM 与 https://aigeeksgroup.github.io/MWM。数据方面，SCAND 是公开数据集（8.7 小时、138 轨迹、25 英里，Spot+Jackal 平台），但 MMK2-RealNav 是本文新收集的，需自行向作者或按网站说明申请。算力门槛较高：Stage I 在 4× RTX PRO 6000（96GB）上以 batch 12 × 4 goals = 192 训练，CDiT-XL 1B 参数；Stage II ACC 后训练在单卡 96GB 上 1.5K 步、batch 2、8 步滚动段。超参明确给出：LoRA $r=64, \alpha=16, \mathrm{dropout}=0.1$，DDIM 5 步，CEM 在 SCAND 1 次迭代/120 样本/仿真 3 次取最优，真实机器人 3 次迭代/120 样本/仿真 1 次。消融（Tab. V–VII）设计充分，能逐项验证 LPIPS 损失、训练范式、ICSD 上下文的边际贡献。最大的复现难点是 CDiT-XL 1B 模型预训练成本——若不沿用 NWM 权重，从零训练 Stage I 的代价是普通实验室难以承受的。