← 返回 2026-05-07

HERMES++：面向三维场景理解与生成的统一自动驾驶世界模型 HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation

Xin Zhou, Dingkang Liang, Xiwu Chen, Feiyang Tan, Dingyuan Zhang, Hengshuang Zhao, Xiang Bai 📅 2026-04-30 👍 74 2026-07-13 08:36
BEV表征 世界模型 点云预测 自动驾驶 视觉-语言模型
arXiv HuggingFace PDF

把BEV表征、LLM语义推理和未来点云预测整合到一个框架中，让语言理解直接指导几何演化。

前置知识

Bird's-Eye View（BEV）表征

鸟瞰视图是从车辆正上方俯视场景得到的二维平面特征网格。BEV将多摄像头透视视图通过空间交叉注意力（learnable grid queries与图像特征交互）转换到统一的三维自车坐标系下，天然地保留了多视角几何结构与尺度一致性，特别适合同时表达语义内容与空间关系。BEVFormer、BEVFormer v2是该类方法的代表。

HERMES++选用BEV作为跨任务统一表征的核心，是因为BEV既便于与LLM token对齐（把BEV扁平化成token序列），又能在预测未来点云时保留显式几何约束，是同时胜任'语义理解'与'3D生成'两种任务的关键载体。

Driving World Model（驾驶世界模型）

驾驶世界模型是一种学习环境动力学并预测未来状态（如未来视频帧、未来占用栅格、未来点云）的生成式模型。它通常包含编码器 $E:\mathcal{O}\to\mathcal{Z}$、预测器 $\mathcal{M}:\mathcal{Z}\times\mathcal{A}\to\mathcal{Z}$（在动作 $A_t$ 条件下推进潜变量）和解码器 $D:\mathcal{Z}\to\mathcal{O}$。以 ViDAR、OccWorld、DriveX 等为代表，前者基于图像自监督预测未来点云，后者强调4D占据生成。

理解世界模型的'未来预测'定位是读懂HERMES++的前提——它不是简单的视频生成，而是要在统一的潜变量空间中同时承担'几何演化预测'与'语言理解回答'两类输出。

可微体积渲染与SDF场

神经渲染借鉴NeRF思路：从传感器（如LiDAR）发射射线 $r_k$，沿射线采样 $n$ 个点 $p_i=o+d_i t_k$，用浅层MLP预测每个点的符号距离函数值 $s_i=\phi_\text{SDF}(p_i,f_i)$，再按透明度和累积 transmittance 加权得到预测深度 $\tilde d(r_k)=\sum w_i d_i$。整个渲染图对网络参数是可微的，因此可以端到端地训练。

HERMES++的BEV-to-Point Render模块就是这种设计的简化版：从BEV体素特征$\hat V_t\in\mathbb{R}^{w\times h\times z\times c'}$反推LiDAR深度，从而保留精确的3D结构而非仅做几何回归。

Vision-Language Model（VLM）/ 大语言模型

VLM是把视觉编码器与LLM结合的多模态模型，通过Q-Former或MLP projector把视觉特征映射为LLM词表空间的token序列，从而用next-token-prediction统一处理视觉问答、图像描述等任务。InternVL2、LLaVA、OmniDrive、DriveLM皆是VLM在驾驶场景的延伸，但它们通常只回答'现在是什么'，不预测'未来会变成什么样'。

HERMES++正是利用LLM的'世界知识'先验作为未来生成的语义条件——LLM读懂当前场景，把蕴含的语义编码到world queries里，再回流到几何生成器；这一思路要求读者熟悉VLM的'图像+文本→文本'范式。

研究动机

现有自动驾驶世界模型存在严重的'任务割裂'。以GAIA-1、Vista、ViDAR、OccWorld、DriveX 为代表的'生成派'只能预测未来几何或视频演化，无法回答'前方有什么交通参与者''当前能否变道'等驾驶理解问题；而以OmniDrive、DriveLM、DriveGPT4、ORION 为代表的'理解派'虽然具备视觉问答与规划推理能力，但只能解读当前帧，无法对3秒后点云结构做出预测。这种'预测 vs. 解读'的二分法在安全关键场景下尤其致命，因为碰撞规避既需要理解当下语境，又需要预判几何变化。具体到数据上，DriveX在3秒未来点云预测中Chamfer Distance为1.10，而OmniDrive-BEV在CIDEr指标上仅0.595——两个方向各自有'专家模型'但没有统一架构。

本文的目标是本文目标是构建一个统一的驾驶世界模型HERMES++，在单一框架内同步完成3D场景理解（语义问答/场景描述）与未来几何演化预测（未来LiDAR点云）。具体指标上希望：(1) 在OmniDrive-nuScenes 3秒未来点云预测上，Chamfer Distance相对当前SOTA DriveX再降约8.2%；(2) 在同一数据集上的CIDEr指标相对Omni-Q提升9.2%（即从0.686推到0.749）；(3) 在作者的会议版HERMES基础上让3秒生成误差再降13.7%；(4) 在NuScenes-QA VQA上达到61.3%准确率，超越LiDAR-specialist基线；(5) 在DriveLM驾驶推理leaderboard上Final Score达0.59，匹配CVPRW 24冠军；(6) 同期运动规划平均碰撞率0.29%、平均L2 0.37m，接近或优于显式监督方法ORION。本质上是在一个模型内同时刷新'deep understanding'与'structural prediction'两类指标的SOTA。

与已有工作不同的是，作者没有简单地把两个现成任务用一个共享backbone并联，而是提出三个独有切入点：(1) 用BEV同时承载语义与几何，让LLM和点云Render共用同一表征，从而规避多视角token化时序列长度爆炸以及'语义-几何割裂'两大瓶颈；(2) 提出'LLM增强的world queries'作为知识桥梁——让LLM的语义先验直接回流到几何生成器，而不是仅做多任务特征共享；(3) 设计Joint Geometric Optimization 策略，把显式点云监督与隐式几何正则耦合，缓解单独依赖渲染监督造成的深度歧义与中心偏向。这三个切入点均是该领域此前工作的空白。

核心方法

HERMES++的整体直觉是：让BEV成为'语义'与'几何'共享的骨架表征，再用LLM处理BEV token产出文本与语义上下文，最后把LLM编码的语义通过一组可学习的world queries回流到'现在→未来'链接模块中，由可微Render解码为未来点云。技术上，输入是6路多视角图像 + 用户文本指令；模型先用ConvNeXt-L视觉编码器提取多尺度特征，再用BEVFormer风格的可学习grid queries（$180\times180\times256$）通过多尺度可变形交叉注意力聚合为BEV特征$F^\text{bev}_t$；为适应LLM token上限，对BEV做×4下采样并展平成$F_t\in\mathbb{R}^{L_\text{BEV}\times C}$ tokens。它们与文本token $T$、world queries $Q_w$一起送入预训练InternVL2 LLM，LLM同时生成文本回答并把语义揉入$Q_w$。Current-to-Future Link（6层cross/self-attention+FFN）以LLM编码的BEV特征 $B_t$ 为起点，cross-attend到$[Q^\epsilon_w,\hat T]$，再经Ego Modulation把自车运动调制到self-attn/FFN上得到$\{B_{t+i}\}_{i=1}^{\Delta t}$；最后共享Render把它们解码为未来$\Delta t=3$秒的点云$\{P_{t+i}\}$。训练由语言损失$L_\text{lang}$、渲染L1损失$L_\text{render}$、余弦对齐$L_\text{cos}$、Gram对齐$L_\text{gram}$联合监督。

核心创新有三点：(1) LLM增强的world queries——把$\Delta t$组各$n=4$个查询从$F^\text{down}_t$用max pooling初始化、加上ego-motion编码与frame embedding，再送入LLM与因果注意力交互，使查询同时携带BEV几何与LLM世界知识，最后作为Current-to-Future Link的K/V直接参与未来生成。这与OmniDrive、Q-Former类模型的稀疏查询仅做'特征提取'不同，world queries是'时间-语义'显式载体。(2) Joint Geometric Optimization策略：除显式L1深度损失外，引入由稀疏3D卷积自监督预训练的'几何特征提取器'冻结为teacher，对预测体素特征$\hat V_t$同时施加元素级余弦$L_\text{cos}$和三视角(HW/HZ/WZ) Gram矩阵$L_\text{gram}$对齐，从潜流形层面消除深度歧义与射线状伪影。(3) Textual Injection——把LLM处理后的文本embedding通过平均池化与线性投影拼入cross-attention，让文本语义作为Key/Value参与每一帧未来预测，而非仅作为初始提示。

方法步骤详情

完整的训练-推理流程分三阶段并含具体超参（表I给出）：阶段一是几何感知预训练，sparse 3D encoder(SECOND-style)在自监督点云重建上学12个epoch，作为后续冻结的几何teacher；阶段二含两个子阶段——先把视觉编码器+Render训6个epoch（Lrender+Lcos），用ImageNet/CapFusion之类的标注把图像-文本对扩到约200K，初始学习率2e-4，余弦调度；再用LoRA微调LLM 6个epoch，联合BEV/理解/几何alignment，batch size 128；阶段三是统一训练，引入Current-to-Future Link，联合训36个epoch，frame-wise生成权重$\lambda_i=1+0.5\times i\,(i\in\{0,1,2,3\})$以强调长期预测。学习率在阶段三提至4e-4，AdamW+Cosine。推理时给定未来自车动作序列与文本指令，模型一次性输出文本+未来3秒点云。

技术新颖性

新颖性体现在三个'以前没有做到'的层面。首先在表征层面，BEV既被tokenize供LLM消费，又被Render回投影到3D，避免了ViDAR、DriveX等纯几何方案缺乏语义、OmniDrive等纯语义方案缺乏显式3D约束的双重缺陷。其次在交互层面，把LLM生成的text embedding显式注入cross-attention（Textual Injection）而不是像DriveLM/Omni那样仅在输入端做visual-question交互，使语义能够'每一帧'地调制几何演化；Ego Modulation（基于未来自车运动的$\gamma,\beta$特征调制，$\gamma$零初始化以保稳定）则首次在统一框架内去耦自车运动与场景动力学，这是ViDAR/Epona缺失的。最后在损失层面，Joint Geometric Optimization 用预训练的稀疏3D编码器作为几何teacher对$\hat V_t$ 做特征级对齐，是少见的'显式监督 + 隐式潜流形正则'组合，与UniPAD、PonderV2的'对比式预训练'思路不同——本文更强调几何一致性的快速注入。

Pipeline of HERMES++. Flattened BEV tokens, instructions, and world queries are input to the LLM to generate text and semantic contexts. The Current-to-Future Link propagates the encoded BEV to future states, conditioned on both textual semantics and world queries. The shared Render then predicts the evolution of the point cloud.
Fig. 2: Pipeline of HERMES++. Flattened BEV tokens, instructions, and world queries are input to the LLM to generate text and semantic contexts. The Current-to-Future Link propagates the encoded BEV to future states, conditioned on both textual semantics and world queries. The shared Render then predicts the evolution of the point cloud.
Qualitative case and comparison between Multi-view-based and BEV-based inputs. While both methods yield comparable scene understanding performance (see METEOR scores), the multi-view baseline suffers from spatial structural collapse.
Fig. 4: Qualitative case and comparison between Multi-view-based and BEV-based inputs. While both methods yield comparable scene understanding performance (see METEOR scores), the multi-view baseline suffers from spatial structural collapse.
Visualization of internal representations. (a) Features learned with only explicit geometric constraints. (b) The corresponding ground-truth point cloud. (c) Predicted features learned with the Joint Geometric Optimization strategy.
Fig. 5: Visualization of internal representations. (a) Features learned with only explicit geometric constraints. (b) The corresponding ground-truth point cloud. (c) Predicted features learned with the Joint Geometric Optimization strategy.

实验结果

表II核心对比：HERMES++ 3.8B在nuScenes上达3秒CD 0.97、CIDEr 0.772、METEOR 0.389、ROUGE 0.331；相比1.8B版本（CD 1.01, CIDEr 0.749）展现了规模收益；相比会议版HERMES（CD 1.17, CIDEr 0.741）CD降低13.7%。生成维度，相对DriveX（CD 1.10）降0.13（≈8.2%），相对ViDAR（1.73）降44%；理解维度在OmniDrive-nuScenes上以CIDEr 0.749/0.772超越需3D Box辅助的Omni-Q 0.686与ORION 0.635。表III显示BEV×4下采样相对'直接query'在3秒CD从2.012降到1.436，降26.8%。表IV验证Joint策略全开CD从1.637降到1.436，$L_\text{cos}$与$L_\text{gram}$互补。表V展示Current-to-Future Link逐项叠加收益：无Link 2.377→Simple 1.542→+Textual 1.506→+Ego Mod 1.442→+更多block 1.436。表VIIIb显示$n=4$的world query最优；VIIIc说明连续horizon对时序一致性关键。泛化实验上，表IX取得NuScenes-QA准确率61.3%超Omni-Q 2.1%、超CenterPoint+MCAN 1.8%；表X的DriveLM的Final Score 0.59与CVPRW 24冠军NVIDIA持平；表XI平均L2 0.37m/碰撞率0.29%，与ORION水平相近。表XIIb揭示了0.8B→3.8B持续上升趋势（CD 1.434→1.255, CIDEr 0.708→0.742）。

Qualitative results of HERMES++. The green text highlights the accurate responses to user instructions. The red circles track the geometric evolution of other objects in the predicted point clouds.
Fig. 3: Qualitative results of HERMES++. The green text highlights the accurate responses to user instructions. The red circles track the geometric evolution of other objects in the predicted point clouds.
查看结构化数据
任务指标本文基线提升
未来点云生成（OmniDrive-nuScenes, 3秒） Chamfer Distance ↓ 0.97 (3.8B) / 1.01 (1.8B) DriveX (ICCV 25): 1.10; ViDAR (CVPR 24): 1.73 相对DriveX降0.13（≈8.2%），相对ViDAR降44%
3D场景理解（OmniDrive-nuScenes） CIDEr ↑ 0.772 (3.8B) / 0.749 (1.8B) Omni-Q (CVPR 25): 0.686；ORION (ICCV 25): 0.635 相对Omni-Q提升9.2%
3D场景理解（OmniDrive-nuScenes） METEOR / ROUGE ↑ 0.389 / 0.331 (3.8B) Omni-Q: 0.380 / 0.326 METEOR+0.009, ROUGE+0.005
VQA（NuScenes-QA） Top-1 Accuracy (%) ↑ 61.3 CenterPoint+MCAN: 59.5；Omni-Q: 59.2 +2.1%（超Omni-Q）
驾驶推理（DriveLM leaderboard） Final Score ↑ 0.59 Team NVIDIA (CVPRW 24): 0.59；Omni-Q: 0.58 持平NVIDIA，超Omni-Q 0.01
运动规划（nuScenes open-loop） L2 (m) ↓ / Collision (%) ↓ 0.37 / 0.29 ORION: 0.37 / 0.37；OmniDrive++: 0.33 / 0.30 与ORION相比碰撞率降低0.08%

局限与改进

作者明确指出两点局限：(1) 如何更好利用多模态大模型中预训练的语义先验来强化BEV输入仍待探索——本文主要还是把LLM当成'附加语义处理器'而非将其全部视觉预训练知识灌入BEV；(2) 生成模态目前仅限点云，尚未扩展到视频、占据栅格、语义占据等异构模态。读者需额外注意：(a) ROI限定 $x,y\in[-51.2,51.2]m$、$z\in[-3,5]m$，远距物体不计入评估，可能低估长距预测难度；(b) Joint Geometric Optimization用SECOND作为几何teacher预训练，其本身从nuScenes LiDAR学到，因此对'非LiDAR域'的泛化未验证；(c) DriveLM 'Match'指标仅0.43，说明'感知-预测-规划'链条中深度推理仍有空间；(d) 3.8B与1.8B只差CD 0.04，提示'LLM规模边际收益递减'；(e) 规划能力虽与ORION持平，但L2 0.37m仍逊于监督方法UniAD、VAD，说明纯文本+点云监督的规划天花板有限。

独立分析的弱点

独立分析可识别四个弱点及对应改进方向。第一，BEV分辨率180×180已是精度上限，对远距物体细节的捕捉不如多视角立体方案；改进方向是引入迭代式BEV refinement或多尺度特征金字塔。第二，训练pipeline依赖SECOND-style几何teacher预训练，如果迁移到无LiDAR标注的域（例如纯图像域仿真器）就会失去$L_\text{cos}/L_\text{gram}$的监督信号；可以引入MVS、自监督深度网络替代。第三，Textual Injection的cross-attn把文本embedding与world query一起当K/V，在长horizon下会引入'语义漂移'；改进是对$\Delta t=3$每一帧用独立的text alignment而不是共享$\hat T$。第四，HERMES++ 仍使用LoRA微调InternVL2，从0.8B到3.8B仅带来CD降0.04的边际收益，且3.8B的算力代价远大于精度提升；可考虑压缩LLM（如蒸馏+量化）或训练更高质量'驾驶专属'小模型。

未来方向

作者提出的方向是'扩展到多种生成模态'与'深入挖掘多模态大模型的BEV语义先验'，我补充四点延伸：(a) 把未来点云生成换成'未来语义占据'（panoptic occupancy），因为占据表示含高度方向信息且更利于规划，与Epona、UniScene对照实验是一个自然测评点；(b) 引入闭环驾驶仿真benchmark（如CARLA、nuPlan）评估HERMES++作为数据引擎+规划器的端到端能力；(c) 把Textual Injection从'average-pooled text emb'升级为'last-token hidden state+attention map'，让LLM的'推理路径'而不是'总结后的语义'参与生成；(d) 把训练从纯nuScenes扩展到Waymo Open、Argoverse 2等更大规模数据，并验证Lrender+Lcos+Lgram三者的权重$\lambda$在不同数据集上的最优比例。

复现评估

复现条件友好，作者明确声明代码与模型将公开发布在 https://github.com/H-EmbodVis/HERMESV2 。数据上，完全使用公开数据集nuScenes（多视角图像+LiDAR）、OmniDrive-nuScenes、NuScenes-QA（约460K QA对）、DriveLM、NuInteract（约1.5M标注）——这些均可通过官方申请获取。算力上，参考表I的batch size=128、阶段三36 epoch以及InternVL2-3.8B的体积，完整训练大约需要8×A100 80G或更高级别GPU，运行时间粗估2-3周；复现最大的门槛是InternVL2等预训练LLM的下载与SECOND-style几何teacher的自监督预训练（12 epoch）。难度评定为中等偏上，主要工程量集中在Render+Joint Optimization的CUDA实现和Current-to-Future Link的调度上，但论文给出了超参与数据流图，实验公开消融表（表III-XII）逐项都标注了执行细节，整体复现可行性较好。

论文图表

(a) Previous driving world models focus on generative scene evolution prediction. (b) Large language models for driving are limited to scene understanding. (c) The proposed framework unifies 3D scene understanding and scene evolution generation with the BEV representation. (d) Quantitative comparison with dedicated specialist methods.
Fig. 1: (a) Previous driving world models focus on generative scene evolution prediction. (b) Large language models for driving are limited to scene understanding. (c) The proposed framework unifies 3D scene understanding and scene evolution generation with the BEV representation. (d) Quantitative comparison with dedicated specialist methods.

四宫格总览图，左上(a)画了'仅生成派'（future generator + image features），左下(b)画了'仅理解派'（LLM处理image features），右侧(c)是HERMES++的统一BEV+LLM结构，右下(d)是Omni-Q/ORION/DriveX/HERMES++在CIDEr与3s Chamfer Distance两条坐标轴上的散点对比。

全文核心动机图，把'理解 vs 生成'两派缺陷并列展示，并首次披露定量对比——读者只需看此图就能抓住'统一框架'的故事以及与最强基线的差距。

TABLE I: Training details of HERMES++.

三阶段训练超参表：阶段1预训练（AdamW, lr 2e-4, 12 epoch, bs 32），阶段2对齐+精调（3/6 epoch, bs 128, lr 2e-4/4e-4），阶段3统一训练（36 epoch, lr 4e-4），均用Cosine调度。

复现所需的核心超参集合。

TABLE II: The comparison of HERMES++ and understanding/generation specialist models.

主对比表。生成侧报告0-3s CD，理解侧报告METEOR/ROUGE/CIDEr。HERMES++ 3.8B在CD(3s)=0.97优于DriveX 1.10/4D-Occ 2.11/ViDAR 1.73；CIDEr=0.772优于Omni-L 0.732/ORION 0.635。

论文最核心的定量结果表，统一框架同时在两个方向SOTA的证据。

TABLE III: Ablation on downsampling scales for the BEV.

比较BEV下采样倍率：×4下采样（CD 1.436）、×8下采样（1.781）、Direct Query ×4（2.012），生成CD与理解CIDEr均表明×4最优。

支撑'BEV是统一表征'的关键消融，直接给出token长度与几何精度的折衷点。

TABLE IV: Ablation on the Joint Geometric Optimization strategy.

只有$L_\text{cos}$时CD(3s)=1.441，只有$L_\text{gram}$时1.544，两者结合时1.436，同时理解指标CIDEr 0.720也最高。

逐项量化Joint Geometric Optimization 组件贡献。

TABLE V: Ablation on Current-to-Future Link.

从无Link（CD 2.377）到Simple Link（1.542）到+Textual Injection（1.506）+Ego Modulation（1.442）+更多block（1.436）逐项叠加。

证明Current-to-Future Link每个子模块的边际收益，Textual Injection与Ego Modulation各自的价值在此量化。

TABLE VI: Ablation on interaction of tasks.

对比仅理解/仅生成/'Separated unification'/全联合训练四种配置，全联合训练在生成CD(3s)=1.436与CIDEr=0.720均最优。

证明'理解与生成相互促进'而非相互干扰的关键证据。

TABLE VII: Ablation on world queries integration.

三种配置：(a)只用Textual Injection（CD 1.634）；(b)Qw 聚合但不经过LLM（1.526）；(c)Qw 经过LLM（1.436）。

说明把Qw送进LLM的因果注意力比直接拼接更有效。

TABLE VIII: Ablation on hyperparameters and configurations.

三张子表：(a)Qw初始化方式，Max Pool最优（1.436）；(b)Qw 数量n=0/1/2/4/8，n=4最优；(c)预测horizon 0-3s连续优于不连续配置（间隔跳到1.677）。

完整刻画超参敏感度，是工程复现时的直接参考。

TABLE IX: VQA results on NuScenes-QA dataset.

HERMES++ 61.3% > CenterPoint+MCAN 59.5% > Omni-Q 59.2% > OpenDriveVLA-7B 58.2% > LLaVA 47.4%。

证明HERMES++ 在3D VQA上超越LiDAR-specialist和纯2D VLM，是泛化能力的有力证据。

TABLE X: The results on driving with language leaderboard.

在DriveLM上HERMES++ Acc 0.83 / GPT 0.61 / Match 0.43 / FS 0.59，与冠军Team NVIDIA持平（FS 0.59）。

佐证统一框架也具备驾驶推理能力，与生成能力互补。

TABLE XI: Comparison of motion planning in nuScenes validation set.

HERMES++ 平均L2=0.37m、碰撞率0.29%，与ORION（0.34m/0.37%）和OmniDrive++（0.33m/0.30%）同级，但仅靠文本+点云监督即可。

展示无显式规划监督下仍能涌现规划能力，证明'生成+理解'统一训练对下游任务也有外溢。

TABLE XII: Comparison of different LLMs.

(a)对比Llama-3.2/Qwen3/InternVL2三种backbone，InternVL2最优（CD 1.436, CIDEr 0.720）；(b)InternVL2 0.8B/1.8B/3.8B规模越大CD越低（1.434→1.436→1.255）、CIDEr越高（0.708→0.720→0.742）。

证明方法对LLM backbone选型和规模具备良好可扩展性。