SafeDriveVLA：导航条件化世界模型做梦实现冲突感知的端到端自动驾驶 SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving
首个导航-场景冲突感知驾驶VLA：模式token解耦冲突推理，世界模型做梦兼顾指令遵循与安全
前置知识
Vision-Language-Action (VLA) 模型
在视觉语言模型（VLM）基础上增加动作输出头的端到端驾驶模型。它把感知、推理、规划统一在一个自回归 Transformer 里：输入摄像头图像和文本（导航指令、命令），输出离散化的轨迹 token 或控制量。代表工作如 SimLingo、AutoVLA，可将导航接口从固定的 turn_left/go_straight 命令集扩展到自由形式的自然语言指令（如「在下一个路口右转，速度 8 m/s」）。Li Auto 的 VLA 司机模型和 NVIDIA 的 Alpamayo（Mercedes-Benz CLA）已进入量产车。
本文研究的正是 VLA 开放式语言导航接口带来的新安全漏洞，所有方法和基准都围绕 VLA 架构展开。
隐空间世界模型与 V-JEPA 2
世界模型预测「如果我执行某动作，场景会怎样演化」。JEPA（联合嵌入预测架构）不在像素空间生成未来图像，而是在自监督预训练编码器（如 V-JEPA 2 ViT-L）的隐空间中预测未来 latent 表征，避免生成高分辨率像素的巨大开销。动作条件化版本（V-JEPA 2 AC）用 Transformer 预测器接收当前 latent 和动作序列，rollout 出未来 latent，可用于「做梦」：在脑中预演动作后果再决策。
SafeDriveVLA 的核心组件「导航条件化世界模型做梦」正是基于冻结的 V-JEPA 2 编码器加一个约 25M 参数的 Transformer 预测器，理解它是读懂方法的前提。
闭环 vs 开环评测
开环评测把模型预测与预先录制的专家轨迹逐帧比对（如计算 L2 误差），模型错误不会影响后续输入；闭环评测（CARLA 仿真）中模型真实驾驶，一个错误动作会改变后续所有观测，误差持续累积。两者可能严重脱节：SimLingo 论文报告开环语言变道率 83%，但本文闭环测得变道完成率为 0%。
本文坚持全部用闭环评测（CARLA-F/B2D-C/B2D-Adv）度量「驾驶行为的后果」，正是抓住了开环指标掩盖问题这一关键，理解这一点才能理解其基准贡献的价值。
行为克隆的隐式决策混合
行为克隆（BC）直接模仿专家轨迹。但专家数据里混合了两种隐式决策：「该导航信号现在是否安全可执行」和「给定决策后具体怎么开」。同一导航信号下，相邻车道没车时专家立即变道，有车时先等待，完全不安全时干脆不动。朴素 BC 只能看到最终合成轨迹，被迫从导航-场景联合分布中隐式学出这套逻辑，导致视觉上相似的帧可能对应完全不同的动作。
这正是本文提出显式三档驾驶模式（strict/cautious/fallback）重标注数据并让模型先预测模式 token 的动机所在。
驾驶评测指标：DS、SR 与 PDMS
Bench2Drive 的 Driving Score（DS）综合完成度与违规惩罚，Success Rate（SR）是成功完成路线的百分比；违规细分为碰撞、交通违规、驶出路线。NavSim 的 PDMS 是复合分：$\mathrm{PDMS} = \mathrm{NC} \cdot \mathrm{DAC} \cdot \frac{5\cdot\mathrm{TTC} + 5\cdot\mathrm{EP} + 2\cdot C}{12}$，其中 NC（无责碰撞）和 DAC（可行驶区域合规）是乘性闸门，一旦驶出可行驶区域整条分数归零。
解读所有实验表格需要这些指标；NavSim-C 中 AutoVLA 的 DAC 从 94.9 崩到 79.0 正说明它盲目执行冲突命令冲出了可行驶区域。
研究动机
VLA 驾驶模型正把导航接口从固定命令集扩展到自由形式的自然语言指令，且已进入量产车（Li Auto 的 VLA 司机模型、NVIDIA Alpamayo 上车 Mercedes-Benz CLA）。这个开放式接口暴露出一个此前不存在的攻击面：一个分心的司机可能在行人正在过马路时说出「把速度加到 15 m/s」——这句话在空旷高速上完全无害，但在当前场景下是致命的；恶意用户甚至可以故意下达危险指令。在经典模块化栈中，导航信号要先经过基于规则的行为规划器与局部上下文（交通灯、行人、障碍）对照后才生成驾驶决策，这层冲突消解是显式的安全机制；端到端系统把它内化进神经网络，模型只能从数据里隐式学会「何时遵循、何时延迟」导航信号，VLA 把这一难度进一步放大到开放语言空间。现有 VLA 在两方面都不合格：SimLingo 论文报告开环语言变道率 83%，但闭环完成率为 0%，说明开环指标完全掩盖了问题；而在导航信号与场景冲突时，所有被测模型都急剧退化、盲目执行指令。
本文的目标是本文要同时解决「评估」和「方法」两个问题。评估侧：构建首个把导航遵循与冲突觉察放在一起考察的基准套件，因为只测冲突会让「无视一切指令」的模型显得安全，只测遵循会让「执行一切指令」的模型显得优秀——这个拆分对应 LLM 对齐中 helpfulness 与 harmlessness 的经典权衡。具体包括：CARLA-F（210 条闭环路线，关闭背景交通、强制绿灯，要求严格执行链式语言指令）、B2D-C（150 条路线，在 Bench2Drive 安全关键事件触发的瞬间注入不安全语言指令）、NavSim-C（300 个真实数据场景，注入会导致碰撞或驶出可行驶区域的冲突命令）、B2D-Adv（15 条路线，任何情况下都不安全的越狱式指令）。方法侧：训练一个既能可靠遵循安全导航信号、又能在信号与场景冲突时识别并覆盖信号的 VLA，在标准 Bench2Drive 上不牺牲甚至超越基线的驾驶性能。
与已有工作不同的是，已有工作各占一角，没人把两边拼在一起。指令遵循方向：SimLingo 用 action dreaming、AutoVLA 用规模化指令数据 pursuit 指令跟随，但只做开环评估或只测遵循能力；驾驶世界模型方向：LCDrive、Uni-World VLA、OneVL 等 latent 方案都在「专家动作或候选意图」条件下 rollout——即想象「我本来要做的动作」的后果，这永远无法回答「如果我严格执行这条导航指令会发生什么」这个冲突判定的关键问题；安全方向：SafeAuto 用逻辑规则校验动作、DriveSafe 做风险检测、SafeDojo 在世界模型策略学习中分离任务奖励与安全代价，但都不是针对开放式语言导航接口的闭环行为评估。本文的独特切入有二：其一，指出导航-场景冲突是一个随 VLA 量产而放大的全新脆弱面，并用「同一表层措辞在不同场景下可安全可致命」的上下文危险设计基准；其二，把世界模型的 rollout 条件从专家动作改为「严格执行导航信号所隐含动作的锚序列」，让做梦本身成为冲突检测器——这是世界模型用法上的一个反转。
核心方法
先给直觉：老司机收到「变到右车道」的指令时，脑中会先预演「直接变过去会不会撞上旁边那辆车」，预演结果决定他是立刻执行、谨慎执行还是不理会。SafeDriveVLA 把这套「预演—决策—执行」分解做进架构：一个预训练的隐空间世界模型负责预演——在 V-JEPA 2 编码器 latent 空间中，以「严格执行导航信号」的动作锚为条件 rollout 未来 2.5 秒隐状态；一个 InternVL3-1B 的 VLA 主干消费观测、导航信号和梦到的未来 latent，先输出三档模式 token（ 立即执行 / 谨慎遵循 / 覆盖信号），再自回归输出动作 token。技术路线分三步：先在数据侧用运动学规则给每帧专家数据重标注驾驶模式，把隐式混在轨迹里的「是否遵循信号」变成显式监督；再在 CARLA 数据上按 V-JEPA 2 AC 方式预训练动作条件化世界模型，每帧用两个连续真实帧编码以携带 0.25 秒运动信息；最后冻结世界模型、LoRA 微调 VLA，训练帧随机从路点、命令、语言三种模态采样，损失为 $\mathcal{L} = \mathcal{L}_{\mathrm{action}} + \mathcal{L}_{\mathrm{mode}} + \mathcal{L}_{\mathrm{path}} + 0.5\,\mathcal{L}_{\mathrm{text}}$。
核心创新是把「冲突推理」从「动作生成」中解耦，并用世界模型做梦为解耦出的决策提供前瞻证据。与已有方法的本质区别有二。其一，数据与模型双侧显式化驾驶模式：所有行为克隆方法（含 SimLingo）只让模型看合成轨迹，「该不该听这条指令」被纠缠在动作分布里；本文用规则从专家未来 2.5 秒轨迹反推三档模式标签，要求模型在动作 token 前先输出模式 token，使冲突判断获得直接的交叉熵监督 $\mathcal{L}_{\mathrm{mode}}$。其二，做梦条件的方向反转：先前驾驶世界模型（LCDrive、Uni-World VLA、OneVL 等）都在专家动作或候选意图下 rollout，想象「正常开下去会怎样」；本文改为以「严格执行该指令」的动作锚 rollout，梦见「如果我照做会发生什么」——梦里要撞车就该 fallback，梦里顺利就敢真执行。消融显示二者互补：模式 token 主推安全（B2D-C DS 79.2→87.3）但过度保守，世界模型主推遵循（NCR 59.8%→83.0%）且几乎不损安全，共同把帕累托前沿外推而非沿前沿滑动。
方法步骤详情
流程分三阶段。阶段一，世界模型预训练：输入 SimLingo CARLA 数据的前视摄像头帧，冻结的 V-JEPA 2 ViT-L 用两个相隔 0.25 秒的真实帧组成 tubelet（原版 V-JEPA 2 AC 复制单帧，无法恢复周围交通速度）产生初始 latent $z_0$；约 25M 参数的因果 Transformer 预测器接收交错的动作/状态/视觉 token，动作 $a_t=(\Delta x_t, \Delta y_t, \Delta \psi_t)$ 为自车位姿增量，以教师强制与自回归 rollout 各半的 $\ell_1$ 损失训练 20 epochs。阶段二，动作锚构建：对 6 个元命令各从 2 万条训练轨迹平均出 2.5 秒动作链；变道锚因专家数据多在变道完成前而侧移过小，手动校准为 0.5 秒内 3.5 米侧移。阶段三，VLA 训练与推理：InternVL3-1B 以 LoRA（$r=32$）微调；推理时先从导航信号解析元命令（语言用词汇表匹配），冻结的世界模型以对应动作锚 rollout 5 步得梦境 latent，经轻量 projector 压成单个 896 维 world token 注入 VLA；模型自回归输出模式 token、 和 10 个来自 2048 条目码书的动作 token（2.5 秒 @ 4Hz），辅助 path head 回归 20 个路径点喂横向 PID。训练用 8 张 RTX PRO 6000 Blackwell 跑 14 epochs。
技术新颖性
新颖性集中在三点。第一，三档驾驶模式归因是新的监督设计：DriveMLM 把推理映射到行为规划状态、RDA-Driver 约束推理与规划一致性，但都不显式标注「该指令应执行、延迟还是覆盖」；本文的模式标签让冲突判断第一次有了独立损失项和可解释输出（与规则标签在 600 帧留出集一致率 90.2%），且预填充不同模式 token 能诱导截然不同的动作分布（FALLBACK 条件下轨迹近乎静止），证明学到的是模式条件分布 $p(y_{1:T} \mid m)$ 而非表面捷径。第二，做梦条件的反转（严格遵循导航信号 vs 专家动作）是对驾驶世界模型文献的干净增量：probing 证实 rollout 确实携带前瞻信息——预测 latent 的 hazard AUC 全面高于首帧 latent $z_0$、恢复 49–78% 的 oracle 增益，且真值动作 rollout 比清零/镜像动作更接近 oracle。第三，基准上「同一措辞、上下文决定安危」的 B2D-C 和「语言为唯一导航信号」的 CARLA-F，补上了 LMDrive、ICR-Drive 等既有评测未覆盖的盲区。
实验结果
标准性能不牺牲：Bench2Drive 上 SafeDriveVLA（路点导航）达 88.16 DS、68.64% SR，超过同数据训练的 SimLingo（85.07/67.27），两模态平均 +2.15 DS / +1.89% SR，并高于 AutoVLA（78.84）、ORION（77.74）。导航遵循大幅领先：CARLA-F 语言指令下 SimLingo 最佳变体平均 NCR 仅 55.6%、变道 NCR 为 0%（与其论文 83% 开环变道率反差刺眼）；SafeDriveVLA 平均 NCR 提至 83.0%（相对提升 49.3%），左/右变道 63.6%/72.4%，为全部模型最高。冲突觉察显著改善：B2D-C 上达 85.9 DS、67.3% SR，碰撞 38 次（SimLingo-Safe 60，降 36.7%）、交通违规 9 次（降 85.2%）、驶出路线 4 次（降 63.6%）；盲目执行的 SimLingo-IF 则崩溃到 56.3 DS、166 次碰撞。对抗鲁棒性近半改善：B2D-Adv 上 SimLingo 95.7→76.0（降 19.7），SafeDriveVLA 94.7→83.9（仅降 10.8）；去掉两个组件的同主干基线退化最狠（93.0→69.7），证明鲁棒性来自显式模式设计。真实数据诊断：NavSim-C 上所有现有 VLA 的 PDMS 大幅下滑——AutoVLA 88.2→70.7 且 DAC 崩到 79.0，最好的 CuriousVLA 也降 6.2，证实盲目遵循是行业通病。消融揭示分工：模式 token 把 B2D-C DS 79.2→87.3、交通违规 47→10，但 NCR 仅 55.1%→59.8%；世界模型再提 NCR 23.2 点到 83.0% 而 DS 仅 -1.4；数据扩容主要提升安全而非遵循。代价是速度误差升到 4.28 m/s（SimLingo 1.31–1.67），主因是动作锚不编码速度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Bench2Drive 标准闭环驾驶（路点导航） | Driving Score (DS) | 88.16 | SimLingo 85.07；AutoVLA 78.84；ORION 77.74 | +3.09 vs SimLingo（两模态平均 +2.15） |
| Bench2Drive 标准闭环驾驶（路点导航） | Success Rate (%) | 68.64 | SimLingo 67.27 | +1.37 个百分点（平均 +1.89） |
| CARLA-F 闭环语言指令遵循 | 平均 NCR (%) | 83.0 | SimLingo 最佳变体 55.6（SimLingo-IF/Safe） | +27.4 个百分点（相对提升 49.3%） |
| CARLA-F 语言变道（左/右） | NCR (%) | 63.6 / 72.4 | 所有 SimLingo 变体均为 0.0 | 从完全失败到可用水平 |
| B2D-C 指令-场景冲突闭环 | DS / SR (%) | 85.9 / 67.3 | SimLingo-Safe 72.8 / 38.0 | +13.1 DS / +29.3 SR |
| B2D-C 冲突下碰撞次数 | Collision（越少越好） | 38 | SimLingo-Safe 60 | -36.7%（交通违规 -85.2%，驶出路线 -63.6%） |
| B2D-Adv 对抗指令 | 有/无指令 DS 差（退化幅度） | 10.8（94.7→83.9） | SimLingo 19.7（95.7→76.0） | 退化幅度近似减半 |
| 模式 token 预测准确率 | 600 留出帧对规则标签一致率 | 90.2% | 无（新提出的诊断指标） | turn_left 最难仅 77.0%，变道类最高 94–97% |
局限与改进
作者承认四点：(1) 真值驾驶模式由运动学规则从专家轨迹反推而非标注真实驾驶员意图，strict/cautious/fallback 语义可能不准；(2) 基准语言指令采样自固定改述池，覆盖不了完全自由形式的用户输入；(3) 世界模型查询用每元命令一个动作锚，粗糙且不编码速度，所有速度指令都在 follow_road 锚下做梦，直接导致速度误差升至 4.28 m/s；(4) 做梦预测的是假设动作下的「合理」结果，会继承世界模型自身误差，模式预测不构成形式化安全保证。我的补充观察：世界模型和全部训练都在 CARLA 合成域完成，NavSim-C 仅用于诊断现有模型而未测 SafeDriveVLA 自身，真实域跨域能力完全未验证；B2D-Adv 仅 15 条路线、13 种场景，jailbreak 式鲁棒性结论统计效力弱；语言到元命令靠词汇表匹配，复杂表述（「在加油站之后那个口左转」）会解析失败且未报告解析错误率；CARLA-F 上模型转弯/直行 NCR 反而低于纯命令模型 ORION，说明语言+命令双接口分走了模型容量。
独立分析的弱点
弱点一：动作锚太粗糙。6 个元命令各一条固定 2.5 秒动作链，既不编码速度（速度误差 4.28 m/s 的直接原因），也不区分窄路口急转与缓弯，做梦保真度取决于场景与锚的匹配度；改进方向是把锚参数化（目标速度、曲率作条件）或多候选锚并行做梦。弱点二：语言→元命令的词汇匹配是单点故障，复合指令（「掉头后在那路口左转」）会解析错锚，而世界模型与模式预测全依赖这个锚；改进方向是让 VLA 显式输出元命令 token（与模式 token 同理可直接监督）。弱点三：模式标签语义可疑——附录统计显示 lane_change_right 场景 fallback 占 78.4%、turn_left 占 50.0%，「专家没做动作」被大量标成 fallback，模式可能退化为「专家是否在动」的代理而非「指令是否安全」的语义；应用小规模人工意图标注校准规则。弱点四：单目前视摄像头 + CARLA 单域训练，真实部署所需的环视感知与域偏移均未检验；应在 NavSim/nuPlan 上做真实域微调并自评 NavSim-C。弱点五：FALLBACK 只定义了「覆盖信号」，覆盖后往哪开、停多久全靠隐式学习，缺少与导航系统的回环（重规划或向用户确认），产品语境下这是必要接口。
未来方向
作者提出的方向：(1) 更灵活、速度感知的世界模型条件化，让做梦携带指令速度信息以降低速度误差；(2) 更好的不确定性校准与显式建模周围智能体对自车动作的响应——当前做梦假设他车不反应，会低估交互场景风险；(3) 覆盖自由形式用户输入的基准指令采集。基于成果可延伸的方向：把模式 token 推广为连续的「遵循度」或带不确定性分布，与形式化安全过滤结合，向可认证的安全层靠拢；将导航条件化做梦嫁接到多视角、端到端可微的量产级架构（如吸收 ReCogDrive、CuriousVLA 的设计），并在真实数据闭环（NavSim-C 自评）上验证；做梦机制也可用于训练时的数据增广——自动合成「遵循则撞、覆盖则安」的对比样本，反过来改进模式标签质量；此外，CARLA-F 的反事实路线合成（同起点、不同指令、共享视觉上下文）是一个可移植的评测设计，值得推广到其他具身智能体的指令遵循评测。
复现评估
复现条件较好。代码与项目页公开：GitHub 为 ASGuard-UCI/safedrive-vla2026，项目页含视频演示；依赖均为公开资源并列出许可证（CARLA、Bench2Drive、NavSim、nuPlan、InternVL3-1B、V-JEPA 2、SimLingo 数据等）。算力需求中等偏轻：世界模型约 25M 参数，在 SimLingo 一半数据上训 20 epochs；VLA 是 1B 模型的 LoRA 微调，8 张 RTX PRO 6000 Blackwell 训 14 epochs，比多数端到端驾驶工作（常需 64+ A100）亲民。主要成本在评测而非训练：CARLA 闭环评测（Bench2Drive 220 条 + CARLA-F 210 条 + B2D-C 150 条 + B2D-Adv 15 条路线）非常耗时，且 B2D-C/B2D-Adv 的不安全指令是人工按场景设计的（论文 Table 12/13 给了完整清单可复用），CARLA-F 需按 Algorithm 1 重建路线合成管线。综合判断：复现训练难度中等，复现基准工作量较大但文档充分；模式重标注规则（附录 C.2）和动作锚校准（附录 C.4）最值得直接借鉴。
论文图表
对比模块化栈与 VLA 的信息流：左侧模块化栈中导航信号先经行为规划器与感知预测对照后才产生驾驶决策；右侧 VLA 中同一导航信号（命令、目标路点或语言指令）直接进入网络，必须隐式学会与观测对照，即使该信号在当前观测下并不安全。
一图点明全文问题定义：端到端化移除了显式的导航-场景冲突消解机制，这正是「导航-场景冲突」这一新脆弱面的来源。