DriveDreamer-Policy:用于统一生成与规划的、几何接地的世界-动作模型 DriveDreamer-Policy: A Geometry-Grounded World-Action Model for Unified Generation and Planning

训练与推理流程可以拆成六个阶段。第一阶段是输入编码:把"keep straight"等自然语言指令通过Qwen3-VL-2B的tokenizer得到text tokens;把多视角RGB图像通过视觉编码器得到visual patch tokens;把当前轨迹(用 $(x, y, \cos\theta, \sin\theta)$ 连续表示,避免角度wrap-around)通过一个2层MLP+LayerNorm的动作编码器映射为action tokens。第二阶段是query拼接:在上述token序列末尾依次附加64个depth query、64个video query、8个action query作为可学习槽位。第三阶段是LLM前向与causal mask:LLM在内部对三组query施加单向注意力——depth query只看到text/visual/action上下文,video query额外看到depth query的隐藏态,action query同时看到depth与video query的隐藏态,从而得到world embeddings与action embeddings。第四阶段是三个专家的并行去噪:深度专家是pixel-space的DiT,以flow matching目标 $\mathcal{L}_d$ 在log-归一化的ground-truth depth(由DA3提供)上训练,输入为带噪深度拼接对应RGB图像,条件来自depth-query embedding;视频专家是latent-space的DiT(初始化自Wan-2.1-T2V-1.3B,9帧horizon,144×256分辨率),用flow matching $\mathcal{L}_v$ 在VAE编码的latent上训练,条件来自video-query embedding加CLIP抽取的当前帧appearance条件;动作专家是独立的扩散Transformer,把噪声轨迹去噪为 $(x, y, \cos\theta, \sin\theta)$ 序列,损失为 $\mathcal{L}_a$,条件来自action-query embedding。第五阶段是联合优化:总损失 $\mathcal{L} = \lambda_d \mathcal{L}_d + \lambda_v \mathcal{L}_v + \lambda_a \mathcal{L}_a$,其中 $\lambda_d = 0.1$, $\lambda_v = \lambda_a = 1$,端到端100k步,AdamW,学习率 $1 \times 10^{-5}$,batch size 32,8卡NVIDIA H20。第六阶段是按需推理:planning-only只跑action专家;imagination-enabled planning同时跑action+depth或action+video做正则化;full generation激活全部三个专家做仿真/数据合成。深度后处理采用log+per-map percentile归一化到 $[-0.5, 0.5]$ 训练,推理时反变换得到metric/relative depth。

技术新颖性可以归纳为四点。第一,把"3D深度生成"和"2D视频生成"在同一LLM的query空间内串行耦合,query的causal mask天然等价于一种结构化归纳偏置,这在以往WAM中(Epona、PWM、DriveLaW、DriveVLA-W0)是没有的——这些方法要么只生成2D视频latent、要么把depth仅用于奖励(OmniNWM)。第二,深度生成器采用"pixel-space diffusion"而非latent diffusion,理由是深度比RGB维度更低、且需要保留清晰边界;同时把对应RGB图像作为额外输入拼接进denoiser,既给生成器一个appearance prior,又通过cross-attention接入LLM的world embedding,实现全局语义与局部细节的双重控制。第三,query数量被显式作为超参(64+64+8)并做了ablation(对比32+32+4),证明更多query槽位确实能存下更多几何/外观/动作相关context,说明query容量是这类统一架构的关键瓶颈。第四,作者把"深度→视频"的causal耦合做成可独立开关:在ablation中,即使只关掉深度分支(只剩video+action),规划PDMS仍能从88.0升到88.9,说明深度对视频生成的"3D scaffold"作用是真实存在的,而非仅仅是一个trick——这为"几何接地是有用的"提供了一个直接可量化的实验证据。

独立审视后,以下弱点值得改进。第一,depth的3D信息只通过LLM embedding间接传向action,action expert的cross-attention与depth expert的cross-attention共享同一组query隐藏态,但没有显式的"depth-aware action loss"把深度图作为action生成的hard constraint;若在遇到长尾遮挡场景(夜晚、施工区、严重遮挡)时depth预测出现系统性低估,action可能因为只看到错误的depth embedding而做出次优决策,改进方向是加入depth-fail-safe机制或对depth预测做uncertainty估计并把置信度作为action生成的额外输入。第二,FVD 53.59相比BEV世界模型仍偏高,深度与视频之间信息流是单向的,缺少"video反哺depth"的循环,理论上video中物体的运动视差可以反推出更准的深度;改进方向是引入闭环训练或自一致性损失,让depth和video在多步去噪后保持几何一致。第三,计算量集中在LLM部分,Qwen3-VL-2B为骨干,但action expert只有8个query槽位——这暗示LLM到action expert的带宽被压得很窄,如果动作预测需要更细的局部上下文(例如精细的转向),8个query可能不够,改进方向是引入hierarchical queries或per-timestep action tokens。第四,实验仅对比Navsim v1/v2,且视频评估也只在Navsim场景,缺少跨数据集(nuScenes、Waymo Open Dataset、Argoverse 2)的零样本/小样本泛化实验,改进方向是在nuScenes、Waymo上做zero-shot PDMS与FVD报告,验证几何接地的优势是否在不同传感器配置/不同城市下保持。第五,论文没有做"只用LLM不用专家"或"只用专家不用LLM"的极端消融,无法严格隔离LLM的语义收益与diffusion的生成收益,改进方向是补充LLM-frozen、expert-only等极端变体。

作者在第5节提出的隐含方向是把"depth接地的世界-动作模型"扩展到更长的horizon与更多模态,基于此我认为可以延伸出四条值得研究的方向。(1)闭环在线学习:目前模型在navtrain上离线训练,未来可探索把DriveDreamer-Policy部署到真实车辆上,在每条轨迹执行完毕后用DA3+LiDAR伪标签做在线fine-tune,使深度分支的偏置被在线数据持续修正。(2)多模态扩展:当前生成器覆盖depth+RGB+action,自然的下一步是加入语义分割、3D occupancy、flow、3D bounding box等,使一个模型可以同时支持规划、感知、预测、仿真四类下游任务,OmniNWM的思路可作为参照。(3)把causal mask从depth→video→action扩展为"任意拓扑"信息流,例如对长horizon(>9帧)任务可能需要depth→short-term video→action→long-term video→refined action的循环,这就要求LLM内部引入recurrent state或记忆token,以及相应的时间维度causal attention设计。(4)与LLM端到端训练:目前LLM(Qwen3-VL-2B)在训练中是否被解冻未明确说明,若Qwen3-VL在Navsim数据上做全参数fine-tune,有可能进一步释放几何接地的优势,但代价是训练成本陡增。(5)安全可解释性:利用生成的depth与video做planning时的事后解释(类似"模型为什么选择这条轨迹"),把imagination可视化作为VLA可解释性的新载体。

复现评估分四方面看。开源情况:论文正文未声明代码、权重、checkpoint的开源状态,只给出项目主页 https://drivedreamer-policy.github.io/2026,从主页可以预期未来会发布代码与checkpoint,但目前(以论文时间为准)还没有公开的仓库,完整复现需自行实现。数据可获得性:Navsim数据集需要从官方申请,navtrain/navtest split是公开的,DA3、Depth Anything V2、UniDepth、PPD、Qwen3-VL-2B、Wan-2.1-T2V-1.3B均开源,复现的外部依赖充分。算力需求:8张NVIDIA H20 + 100k步 + batch size 32,折算大约等效于64张A100的1/3,单卡A100训练需要约30天以上,这是一笔不小的开销;且训练阶段同时跑Qwen3-VL-2B + Wan-2.1-T2V-1.3B的扩散Transformer,显存压力很大,Qwen3-VL与Wan必须做参数并行或LoRA-fine-tune。复现难度:技术栈涉及LLM + Flow Matching + 多模态扩散 + query-based conditioning,每一项都有独立门槛;因果mask的LLM内部attention修改是论文核心创新点之一,需要修改Qwen3-VL的实现,而不是直接套用HF接口,工程难度高于普通SFT任务。综合看,中小团队可在Navsim这一基准上复现PDMS 89附近的数字(若Qwen3-VL-2B + Wan-2.1-T2V-1.3B + PPD可直接加载),但完整三专家+causal mask的统一训练需要相当规模的算力与工程投入。