DAWN:世界-动作交互模型的开端 The DAWN of World-Action Interactive Models

DAWN 的实现分为 4 个训练阶段与 1 个推理流程。阶段 1 视觉预训练:在 OpenScene、DrivingDojo、CoVLA 等统一视频格式数据上,以 256×512 分辨率、2Hz 帧率、滑窗采样对 V-JEPA 2 Large 编码器做自监督预训练,Teacher 通过 EMA 更新。阶段 2 Auto-Encoder Resampler 训练:在预训练编码器之上,训练一个 token 空间瓶颈自编码器(16 头、4 层 encoder 加 2 层 decoder、MLP ratio 4.0、learnable 位置编码、无 dropout),把密集视觉 token 压缩成 16 个紧凑潜在 token,辅助用扩散规划头保留动作相关信息。阶段 3 World Predictor 训练:在 nuScenes、NAVSIM 等下游任务数据上,以 12 层、384 维、12 头、RoPE 的 causal Transformer 预测 12 个未来目标帧的潜在 token,损失为 $L_{WM} = d(\hat{z}_{fut}, z_{tar})$。阶段 4 联合世界-动作训练:把 World Predictor 与 DiT 风格 Action Denoiser、Action Head 联合训练,Denoiser 以共享权重扮演两个角色——先用 query $q_{prop}$ 从 resampler 潜变量直接出初始动作 $a^{(0)}_{1:H} = G_\phi(q_{prop}, c, z)$,再以 query $q^{(r)}_{ref}$ 在每轮 rollout 后做精化 $a^{(r+1)}_{1:H} = G_\phi(q^{(r)}_{ref}, c, z^{(r)}_{fut}, a^{(r)}_{1:H})$,其中 $z^{(r)}_{fut} = P_\theta(z, c, a^{(r)}_{1:H})$。推理时去除 Teacher 分支,先 $z = R_{stu}(E_{stu}(o))$ 与 $c = C(l)$,再以 $a^{(0)}_{1:H} = G_\phi(q_{init}, c, z)$ 初始化,交替执行 $K=4$ 轮 $z^{(k+1)}_{future} = P_\theta(z, c, a^{(k)}_{1:H})$ 与 $a^{(k+1)}_{1:H} = G_\phi(q^{(k)}_{ref}, c, z^{(k+1)}_{future}, a^{(k)}_{1:H})$,最后 $\hat{\tau} = H_{act}(a^{(K)}_{1:H})$。

DAWN 的技术新颖性体现在三个层面。形式层面,把 WAM 升级为 WAIM,首次形式化提出自洽对 $(\hat{v}_{1:T}, \hat{a}_{1:H})$ 满足双向方程,这是以往并行/串行 WAM 工作中没有的;架构层面,设计了双模块(World Predictor 加 World-Conditioned Action Denoiser)的递归耦合,Action Denoiser 用 adaLN-Zero 风格同时调制 self-attention、cross-attention 与 MLP,使得时间步/状态/世界潜变量能一致地影响去噪过程,这种更纯净的调制序列在原 DiffusionDrive 等工作中并不存在;训练层面,提出 4 阶段课程(视觉预训练、Resampler、Predictor、联合训练),以及 Action Denoiser 的双角色共享权重机制,使得同一个去噪器既能产生初始 proposal 又能在世界预测条件下做交互式精化,既减少参数又自然地把训练目标与推理过程对齐。

独立分析有四个明显弱点。第一个是 NAVSIM v2 上的退化:虽然 DAWN 在 v1 perception-free 类别最佳,但在 v2 的 EPDMS 83.2 比 Drive-JEPA 87.8 低 4.6 分,主要差距在 DAC(可行驶区域合规 92.0 vs 98.6)与 NC(无责碰撞 97.3 vs 98.4),改进方向是引入可行驶区域 mask 作为 World Predictor 的额外监督,让潜在 rollout 显式编码道路几何。第二是 Resampler 容量受限:16 token 的设置是延迟-性能折中,但 64 token 只换来 +0.4 PDMS 而延迟涨 3 倍,说明现有 Resampler 的信息瓶颈本身限制了世界预测的表达力,可以借鉴 Latent-WAM 的空间感知压缩编码器,引入 2D 空间位置编码或稀疏注意力来更高效地编码场景结构。第三是 Action Denoiser 双角色共享权重虽然在参数上经济,但 4 轮推理中后 3 轮的 query 与第 0 轮差异很大,可能限制去噪质量,改进方向是引入轻量级 LoRA 或 adapter,让 proposal 和 refine 两套 query 在保持主干共享的前提下有自己的适配参数。第四是缺乏对世界潜变量质量的可解释性验证:论文没有提供 t-SNE、attention rollout 或潜在预测可视化,只给出了定性规划结果(图 4、6-11),难以判断潜在 rollout 是否真的捕获了多智能体交互,改进方向是增加 World Predictor 输出与 ground-truth 未来 BEV/occupancy 的可视化对比。

作者明确提出的未来方向包括:把 WAIM 推广到机器人操控、四足/无人机导航等其他动作条件性强的具身决策场景;引入形式化收敛与安全性分析,把 K 轮交互的稳定性作为可证明的归纳不变量;扩展 latent rollout 的时间跨度与多智能体建模能力,显式编码车辆间意图而不仅是位置。在这些方向上,可延伸的探索还包括:把 WAIM 范式与 MLLM 推理结合,先用 VLM 给出高层意图,再让 Action Denoiser 在该意图下做世界-动作交互;把 Action Denoiser 的扩散目标与 RL 微调结合,直接优化安全性指标如 TTC;DWM 方向上借鉴 Uni-World VLA 思路把视频预测与轨迹闭环进一步交织;把双角色共享权重的去噪器拆成 proposal 与 refine 两个独立网络或用 mixture-of-experts,减少耦合造成的性能损耗;以及把世界预测中的对抗样本与长尾安全场景做成评测集,更严格地验证 WAIM 在罕见危险情况下的行为。

复现难度较高但可行,作者给出了相对详尽的实现细节。代码未在论文中提供开源链接(项目页 https://cowarobot-ai.github.io/ 与联系 volans.liao@cowarobot.com),但训练超参与架构细节都写得很具体:输入为 2Hz、512×256(主实验)或 256×256(ablation)的视频,模型观察 4 帧、预测 12 个未来目标帧,patch size 16、tubelet size 2,V-JEPA 2 Large backbone,Resampler 16 头 4 层 encoder + 2 层 decoder、MLP ratio 4.0、无 dropout,World Predictor 12 层 384 维 12 头 RoPE,Action Denoiser 同样 12 层 384 维 12 头 DiT,配 5 步 DPM-Solver++ 采样、6 个轨迹模式、0.5s 时间间隔。训练 150 epoch,峰值学习率 1e-4、初始 5e-5、weight decay 0.04、8 epoch warmup,EMA 从 0.996 增到 0.999,bf16 混合精度,扩散目标用分类 + 回归 + 速度 + 偏航损失(后两者权重 0.5)。完整 80 块 A100 训练是最大的复现门槛,作者提到单卡 RTX 4090 可调试但无法重现主结果,这是一道现实障碍。数据方面需组合 OpenScene、DrivingDojo、CoVLA、nuScenes、NAVSIM 多个数据集,涉及许可与预处理,加上 NAVSIM v1/v2、nuScenes planning 评测脚本,总体属于中高难度复现任务。