ST-WAM：面向视觉分布偏移鲁棒操作的语义-时序世界动作模型 ST-WAM: Semantic-Temporal World Action Model for Robust Manipulation under Visual Distribution Shifts

完整流程可拆为五步。第一步编码与划分：给定当前观测 $o_t$、本体感知 $s_t$、语言指令 $\ell$，用冻结 Wan2.2 VAE 编码为视觉隐变量 $z_v$、冻结 DINOv3 编码为语义特征 $z_s$，并各自切分为当前条件 token $z^{cur}$ 与未来预测目标 $z^{fut}$。第二步 DSFE：视觉未来用 5B Wan2.2 Video DiT 建模 $z_v^{fut}$，语义未来与动作用两个 1B DiT（从 Wan2.2 初始化）建模 $z_s^{fut}$ 与 $a_{t:t+H-1}$（$H=32$，未来 horizon $K=8$），三分支组成 MoT。第三步结构化注意力掩码：当前 VAE/DINO token 跨空间互看但不读未来与动作（无泄漏锚点）；两个含噪未来流互相 + 看当前锚点；动作 token 只看当前两路与自己，禁止读任一未来流。第四步 CAIR：冻结 Qwen3-VL 抽当前视觉-语言特征 $H^q_t$，$N_I=8$ 个可学习查询经注意力压成当前语义 token $U^0_t$；把 $M=4$ 帧（$\{t-24,t-16,t-8,t-1\}$）DINO 历史线性投影并加时序 embedding 拼成历史序列 $R_t$，经 $L=2$ 个交叉注意力块检索，输出意图 token $I_t$ 仅并入动作专家上下文。第五步联合 flow matching：每分支采样 $\tau_r\in[0,1]$ 与 $\epsilon_r\sim\mathcal{N}(0,I)$，构造 $x^\tau_r=(1-\tau_r)x_r+\tau_r\epsilon_r$、目标速度 $u_r=\epsilon_r-x_r$，令 $\tau_v=\tau_s=\tau_f$ 同步、$\tau_a$ 独立，总损失 $\mathcal{L}=\lambda_v\mathcal{L}_v+\lambda_s\mathcal{L}_s+\lambda_a\mathcal{L}_a$，LIBERO 训 10 epoch、batch 128，RoboTwin 训 5 epoch、batch 1024，AdamW lr $10^{-4}$，shift 5.0，BF16。

技术新颖性可归为四点。第一，首次系统命名并量化 Training-Distribution Hallucination（180 例中 70.6%），并通过 290 个帧三元组的对照诊断给出'DINOv3 同态稳定且跨态可分'的量化证据（0.904 vs 0.686，95.2% vs 60.0%），把问题从'预测准不准'升级到'表示对不对'。第二，把 DINOv3 在两个互补时序方向上统一使用：前瞻做未来语义监督、回顾做历史检索，且不放弃细粒度 VAE 动力学，这与 LaWAM/LDA-1B'全量替换 VAE + 依赖具身预训练/多阶段训练'的路线形成对照——ST-WAM 无需任何额外具身预训练即达到 98.7% LIBERO 与 72.8% LIBERO-Plus。第三，结构化跨分支注意力掩码是一个可证明解耦的设计：当前锚点无泄漏、未来流互精炼但隔离动作、动作流只读当前，从而允许未来分支在推理时被整体省略而保持纯动作策略（756ms/32 步，仅 1.24× 于 Fast-WAM）。第四，CAIR 的'当前锚定'检索是对历史利用方式的精细化——消融证明无锚定 Naive 检索只有 56.5%、用 Qwen 当前帧只有 62.3%、用 VAE 历史只有 64.7%，唯独'Qwen 当前锚点 + DINO 历史'达到 72.8%，把'如何检索历史'这个问题提升到与'如何预测未来'同等重要的高度。

独立审视后，以下几点值得改进。第一，$\lambda_s=0.02$ 的语义损失权重在数值上看似很小，可能使语义未来专家对动作决策的实际梯度影响有限——消融中'Semantic Expert w/o Future Obj.'仍达 62.9%，提示语义分支更多通过架构耦合而非显式损失起作用；改进方向是用自适应权重或对比型语义损失增强其对动作的监督强度。第二，CAIR 固定从 $\{t-24,t-16,t-8,t-1\}$ 这 4 帧等距采样历史，对任务节奏差异大的场景（如长等待+快动作）不灵活；改进方向是根据当前意图动态选择历史窗口或引入可学习的时间权重。第三，所有评测都假设'视觉偏移但物理不变'，对真实部署中常见的物理参数偏移（物体重量、摩擦、关节阻尼）未覆盖；改进方向是引入域随机化或物理一致性损失，把语义-时序建模延伸到动力学域。第四，真实世界每任务仅 30 trials/条件，复合偏移下 ST-WAM 48.0% 与 Fast-WAM 15.3% 的差距虽大但置信区间未报告；改进方向是扩大 trial 数并报告 bootstrap 置信区间与失败模式分析。第五，未来分支只在训练时存在、推理时省略，意味着训练-推理存在轻微分布不一致（训练时动作专家'看'到未来精炼信号、推理时没有）；改进方向是引入一致性正则或可选的轻量未来蒸馏。第六，上游冻结模型（DINOv3 ViT-S/16、Qwen3-VL-4B）规模固定，对小物体或细粒度纹理的语义区分能力受限于 ViT-S 的容量；改进方向是对 ViT-L/B 做对照或对 DINOv3 做轻量 LoRA 微调。

作者明确提出把 ST-WAM 从视觉分布偏移扩展到物理动力学变化与具身形态变化。基于其成果我认为可延伸出五条方向。(1) 物理域鲁棒性：把'同态稳定+跨态可分'的诊断框架迁移到物理参数空间，构造物理三元组（同任务不同质量/摩擦）来评测并改进策略。(2) 跨具身迁移：CAIR 的'当前锚定检索'天然适合多具身场景——用当前观测锚点检索不同具身的历史证据，探索一个策略在机械臂、灵巧手、人形之间的零样本迁移。(3) 在线自适应：把 DINO 历史检索从离线固定历史扩展为在线增长的情境记忆库，使策略能在部署中持续吸收新场景证据。(4) 与强化学习结合：意图 token $I_t$ 是'无标签的近期任务进展摘要'，可作为 RL 的辅助状态或内在奖励，探索语义意图引导的策略优化。(5) 可解释性：图 5 显示动作对 DINO 的注意力更聚焦于操作物体，可把这种注意力图作为'模型关注哪里'的可解释载体，开发面向安全审计的可视化工具。此外，作者给出的项目主页 https://thu-wangmx.github.io/st-wam/ 可作为后续复现与扩展的入口。

复现评估分四方面。开源情况：论文提供了项目主页 https://thu-wangmx.github.io/st-wam/，但正文未明确代码与权重的开源时点与许可证，复现需自行实现核心架构；上游依赖 DINOv3、Qwen3-VL-4B-Instruct、Wan2.2-TI2V-5B、T5 均为可获取的开源/开放权重模型，外部依赖充分。数据可获得性：LIBERO、LIBERO-Plus、RoboTwin 2.0 均为公开仿真基准且文档齐全，真实世界任务用 Agilex Piper 6-DoF 单臂，硬件为常见平台，50 演示/任务的数据规模在中等团队可承受范围内。算力需求：训练同时运行 5B 视觉未来 DiT + 两个 1B DiT + 冻结的 4B Qwen3-VL 与 ViT-S DINOv3，LIBERO 10 epoch / batch 128、RoboTwin 5 epoch / batch 1024，BF16，shift 5.0——单机 A100-80GB 推理即需满显存，完整训练预计需要多卡（8×A100/H100 量级），是一笔显著开销。复现难度：技术栈涵盖三分支 Mixture-of-Transformers、结构化跨分支注意力掩码、双空间 flow matching、CAIR 交叉注意力检索，每一项都有独立实现门槛；尤其'结构化掩码'与'未来分支推理省略'需要精细的工程，论文给出了关键超参（$\lambda$、$H$、$K$、$M$、$N_I$、$L$、shift、积分步数），但 MoT 内部维度与混合注意力的精确实现细节需参照原始 MoT 论文与 Wan2.2 代码库，整体属中高难度复现。