NaviDriveVLM：将高层推理与运动规划解耦的自动驾驶框架 NaviDriveVLM: Decoupling High-Level Reasoning and Motion Planning for Autonomous Driving
用冻结大模型推理+轻量模型规划，解耦自动驾驶VLM的语义与控制
前置知识
视觉-语言模型（VLM）
视觉-语言模型是一类同时处理图像与自然语言的多模态大模型，通常由视觉编码器（如 ViT）、投影层与语言模型主干组成，能够对图像内容生成文本描述或回答问题。在自动驾驶场景中，VLM 既能理解环视摄像头画面，也能输出自然语言层面的推理与决策，因而被视为端到端驾驶的潜在统一架构。本文使用的 Qwen3-VL 系列就是典型代表：8B 参数规模提供强语义理解能力，2B 规模则适合作为下游规划器。
本文方法建立在 VLM 既能做高层语义推理又能生成动作之上，理解 VLM 的输入输出范式是看懂 Navigator 与 Driver 拆分的前提。
端到端运动规划与 waypoint 预测
端到端运动规划指从传感器原始输入直接回归到未来轨迹，跳过传统模块化感知-预测-规划链路中的中间表示。waypoint 是轨迹的离散采样点，通常以 0.5 s 间隔给出未来 6 s 共 6 个二维坐标 $(x_t, y_t)$，是规划任务最直接的监督信号。本文即以最小化 waypoint 的 L2 误差 $\min \sum_t \|w_t - \hat w_t\|_2$ 作为训练目标，并通过 Tikhonov 正则最小二乘把 waypoint 反算为控制动作 $(\alpha, \kappa)$，对应加速度与曲率。
论文所有定量结果都围绕 waypoint 与动作的 L2 误差展开，必须理解该指标的物理含义才能解读论文中的 0.46 m 与 2.81 m 等数字差异。
监督微调（SFT）与 LoRA
监督微调（Supervised Fine-Tuning, SFT）指在预训练模型上用标注数据继续训练，使其适应下游任务。本文 Driver-VLM 用了标准全参数 SFT：AdamW 优化器、weight decay 0.01、初始学习率 $1\times10^{-5}$、余弦调度、batch size 1、梯度累积 16 步、共训练 3 个 epoch。对于 8B 规模的 Navigator，由于全参数微调代价过高，作者改用 8-bit 量化加 LoRA（Low-Rank Adaptation）：LoRA rank 64、alpha 128、dropout 0.05。LoRA 通过低秩矩阵 $\Delta W = BA$ 来近似参数更新，能以极小额外显存完成大模型适配。
Driver 用 SFT、Navigator 用 LoRA 这一差异化训练策略是论文节省算力的关键，了解两者差异有助于理解为什么单卡 RTX 4090 就能跑完整套实验。
nuScenes 与开环评估
nuScenes 是自动驾驶领域主流的多模态数据集，包含 850 个 20 s、采样率 2 Hz 的真实驾驶场景，每帧配备 6 个环视摄像头、LiDAR、雷达与自车状态标注。论文在此基础上构建 nuScenes-Reason：用 8 s 滑窗从中抽取片段，前 2 s 作为历史、后 6 s 作为预测目标，最终得到 16.54 k 训练样本与 3618 测试样本。所谓开环评估（open-loop）指模型只在已记录轨迹上预测未来航点，不与控制器闭环交互，论文用的指标是未来 6 s 的最小平均 L2 误差。
理解开环评估与 nuScenes-Reason 的构造方式，能让读者判断论文数字之间的可比性，以及为什么选 6 s 预测 horizon。
研究动机
现有的 VLM 自动驾驶系统普遍面临「推理能力」与「控制精度」之间难以调和的权衡。论文 Fig. 1(a) 展示，未经过任务微调的 Qwen3-VL-8B 虽然能输出合理的场景描述（例如识别停止标志、行人状态、信号灯颜色），但其预测的未来 waypoint 与真值严重偏离，平均 L2 误差显著偏大；Fig. 1(b) 则显示，对轻量 VLM（如 Qwen3-VL-2B）做监督微调之后 waypoint 预测变得准确，但原本的语义推理能力显著退化。Table I 中 OpenEMMA（LLaVa-7B）的 Avg L2 高达 2.81 m，而 UniAD 等专用规划模型虽然 Avg L2 降到 0.69 m，却无法产出可解释的中间推理。这反映出业界一直试图在单个模型内同时优化两件事：一是用大模型容量换取场景级语义理解，二是用任务专属微换取毫秒级轨迹精度，但二者往往此消彼长。
本文的目标是本文希望打破这种单模型权衡，提出一个把「推理」与「规划」显式拆开的自动驾驶框架 NaviDriveVLM。目标是既保留大模型的强语义理解能力，又让下游轨迹预测具备专用规划器的精度，同时降低适配成本并提供可解释的中间表示。具体而言，作者希望在标准 nuScenes 开环评估上达到优于现有专用模型与单 VLM 基线的轨迹误差，并通过消融验证 Navigator 的推理输出对 Driver 的规划确有增益。
与已有工作不同的是，现有 VLM 驾驶工作（DriveLM、VLM-AD、DiMA、DSDrive、LeapVAD）虽然也开始引入分层或蒸馏结构，但大多把推理仅当作训练阶段的监督信号或解释后处理，而 NaviDriveVLM 的独特切入角度在于：把推理当作显式、可解释的中间表征直接喂给下游规划器，并用「冻结大模型 + 轻量可训模型」这一最小代价的解耦架构同时实现两件事——保留大模型零样本级别的语义能力、只微调小模型即可获得精确控制。这与 Hydra-MDP 的多教师蒸馏、VLM-AD 的训练期知识注入都不相同，NaviDriveVLM 在推理阶段就把语义输出与控制目标连成显式链路。
核心方法
NaviDriveVLM 的核心思路是「让擅长的事归擅长的人做」：把驾驶任务拆成两步，先用冻结的大模型做语义推理，再用可训练的小模型据此生成轨迹。直观上就像给自动驾驶系统配了一位「领航员」和一位「司机」——领航员只负责判断路况、读懂红绿灯和行人意图并给出建议，司机拿到建议后再结合前方画面与自车状态精准打方向盘。在技术路线上，作者构建了 nuScenes-Reason 数据集，先用大模型离线为每个 8 s 片段生成三段式推理（场景描述、推荐动作、动作理由），再把这些推理文本作为条件去微调一个 2B 的 Driver-VLM。
核心创新点是「冻结的语义模块 + 可训练的规划模块 + 推理即接口」这一解耦设计。具体来说：Navigator 是 Qwen3-VL-8B，整个训练阶段参数保持不变，只用通用对话指令激发其场景理解能力；Driver 是 Qwen3-VL-2B，接收 Navigator 输出的推理 token、环视图像、自车状态与指令，端到端预测未来 6 s 的 waypoint 序列。与 VLM-AD 把 VLM 仅作为训练监督、DiMA 通过蒸馏把知识压进单模型等已有方案不同，NaviDriveVLM 把推理变成了一种「可序列化的语言接口」，下游规划器消费的既不是潜空间特征也不是软标签，而是可解码成自然语言的结构化文本，这为可解释性与未来接入其他语言模型提供了天然接口。
方法步骤详情
完整方法分为离线数据构造与在线训练两阶段。第一步构造 nuScenes-Reason：作者在 nuScenes 的 850 个场景上用 8 s 滑窗、2 s 历史 + 6 s 预测的切分策略，得到 16.54 k 训练样本与 3618 测试样本；同时按 ground-truth 轨迹为每个片段打上六类高层指令（Hard Left、Slight Left、Keep Straight、Slight Right、Hard Right、Decelerate Stop）。第二步离线生成推理：用冻结的 Qwen3-VL-8B 作为 Navigator $G_N$，输入多视角环视图像 $I$、自车状态 $O_{\text{ego}} = [v, r, \alpha]$、历史 waypoint $(x_t, y_t)$ 与高层指令，按提示词 $Q_N, S_N$ 输出三段式推理 $O_R = G_N(I, O_{\text{ego}}, Q_N, S_N)$，结构化为场景描述、推荐动作与动作理由。第三步训练 Driver-VLM：把上一步离线得到的推理文本作为额外输入，送入轻量的 Qwen3-VL-2B（即 $G_D$），用 SFT 优化 Driver 参数 $\theta_D$，目标是最小化未来 waypoint 序列的负对数似然 $L_{\text{SFT}} = -\sum_{t=1}^{T} \log P(w_t \mid w_{<t}, O_R, I, O_{\text{ego}}, Q_D, S_D; \theta_D)$，ground-truth 之外的 token 用自回归损失目标进行 mask。第四步可选输出动作形式：若希望直接得到控制动作 $(\alpha, \kappa)$，用 Tikhonov 正则最小二乘 $u^* = \arg\min_u \|Au - b\|_2^2 + \lambda \|Lu\|_2^2$ 把 waypoint 反算为动作序列；推理时把生成的动作积分回轨迹即可。整个训练在单卡 RTX 4090 上完成：8B Navigator 用 8-bit 量化 + LoRA（rank 64、alpha 128、dropout 0.05），2B Driver 用 AdamW 全参数微调，batch size 1 + 梯度累积 16 步、初始学习率 $1\times 10^{-5}$、余弦调度、3 个 epoch。
技术新颖性
技术新颖性体现在三个层面：第一，架构层面首次明确把推理从训练目标变成推理阶段的显式中间表征，这与 VLM-AD 等「训练期蒸馏、推理期单模型」路线形成对比；第二，数据层面构建了 nuScenes-Reason，把原本没有语言标注的 nuScenes 改造成带结构化三段式推理的数据集，使轻量 Driver 也能利用大模型的零样本语义；第三，训练策略层面用「冻结 + LoRA + 离线推理缓存」这一组合，把原本需要端到端微调 8B 模型的算力门槛降到单卡 4090 可承受的范围，同时由于推理文本可预先生成，Driver 的训练完全摆脱了对 Navigator 反向传播的依赖。
实验结果
Table I 显示 NaviDriveVLM（Qwen3-VL-2B Driver）在 nuScenes 开环运动规划上 Avg L2 仅 0.46 m，3 s horizon L2 为 0.93 m，全面优于 UniAD（0.69 m）、Verdi（0.65 m）等专用模型与传统 VLM 端到端方案 OpenEMMA（2.81 m）；相比同框架的 Driver-VLM 基线（仅去掉了 Navigator，用 Qwen3-VL-8B 单模型微调）也从 0.60 m 进一步降到 0.46 m，相对提升 23.3%，证明 Navigator 的推理输出确实为规划提供了增量信号。Table II 比较 waypoint 与动作两种输出形式：waypoint (x, y) 在短 horizon 1 s、2 s、3 s 上 L2 分别为 0.200、0.495、0.934，平均 1.285 m，优于动作形式；但动作形式在 6 s horizon L2 仅 2.911 m，Avg L2 1.201 m，说明长程预测动作表征更稳定。Table III 的消融研究从仅用 Reason 的 1.515 m Avg L2 出发，加入 Command 降到 1.288 m（Δ = -0.227），加入 Images 仅降到 1.476 m（Δ = -0.039），三者全用时 1.285 m。这一结果有两层解读：一是高层指令对语言模型出身的 Driver 帮助最大，二是冗余图像 token 对规划增益有限，间接支持「让模型专注于语义关键信息」的设计哲学。Fig. 4 和 Fig. 5 的定性可视化进一步印证了定量结论：在停止标志让行、行人过街、绿灯通行、跟车与红灯等待等 6 类场景中，NaviDriveVLM 同时给出了正确的语义推理与贴近真值的轨迹。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| nuScenes 开环运动规划 | Avg L2 (m) ↓ | 0.46 | 0.69 (UniAD) | -33.3% |
| nuScenes 开环运动规划 | L2 @ 3s (m) ↓ | 0.93 | 0.96 (UniAD) | -3.1% |
| 同框架单模型基线对比 | Avg L2 (m) ↓ | 0.46 | 0.60 (Driver-VLM w/o Navigator) | -23.3% |
| vs 传统 VLM 端到端 | Avg L2 (m) ↓ | 0.46 | 2.81 (OpenEMMA) | -83.6% |
| Waypoint 输出 | Avg L2 (m) ↓ | 1.285 | 1.201 (Action 输出) | 短horizon优，长horizon劣 |
| 消融：仅 Reason | Avg L2 (m) ↓ | 1.288 (加入 Command) | 1.515 (仅 Reason) | -14.9% |
局限与改进
作者承认的局限包括：其一，Navigator 推理输出的正确性难以量化，文中只能做定性分析，因为自然语言推理没有标准答案；其二，训练依赖离线预生成的推理文本，部署到新场景时需要先用大模型批量跑一遍才能训练 Driver，流程不如端到端方案直接；其三，3 s 以内的短 horizon 规划对 motion planning 更友好，6 s 这种长 horizon 下 waypoint 形式的 L2 上升到 3.245 m，表明模型对长程预测仍然吃力。从我自己的观察看，Table III 显示加入图像仅带来 -0.039 的微小提升，提示论文方法在视觉细节上的利用并不充分；同时 Table II 中动作形式反而在 6 s 上更优，说明架构可能还需要把控制动力学信息更紧密地嵌入训练目标；最后，整套评估是开环的，闭环控制下的真实驾驶安全性并未验证，距离真正上路仍有不小差距。
独立分析的弱点
第一个弱点是闭环性能未验证，所有实验都是开环 L2 评估，与实际驾驶的舒适性与安全性存在脱节；改进方向是接入 CARLA 或 nuPlan 等闭环仿真基准，并在真实车辆平台上做影子模式评估。第二个弱点是 Navigator 推理文本缺乏自动质量控制，离线生成阶段如果大模型给出错误推理（例如把红灯识别成绿灯），错误会通过文本接口直接传给 Driver，造成误差级联；改进方向是引入轻量验证器或自一致性检查，对推理做拒答/重生成。第三个弱点是视觉信息利用不充分，Table III 中图像仅带来 0.039 m 改善，论文自己也承认这与 LLM 主干对视觉 token 的处理较粗糙有关；改进方向是引入更强的视觉编码器、压缩图像 token 数量、或在 Driver 内部加专门处理图像的跨注意力模块。第四个弱点是长程预测精度仍然偏低，6 s horizon 的 waypoint L2 仍达 3.245 m；改进方向是引入时序建模（如预测多层未来轨迹并选优）、或与经典控制模块级联做混合规划。第五个弱点是对极端场景与分布外数据鲁棒性未知，作者没有报告夜间、暴雨、密集行人等长尾场景的指标。
未来方向
作者提出的未来方向包括：把闭环仿真评估纳入实验闭环，以及把推理输出拓展到更丰富的语义层次（如风险评估、交互意图）。基于本文成果可延伸的研究方向还包括：第一，把「冻结大模型推理 + 轻量规划」这一解耦范式推广到无人机、机器人操控等其他具身任务，因为只要接口是语言，模块就可以自由替换；第二，研究 Navigator 的可替换性，本文只验证了 Qwen3-VL-8B 一个 Navigator，未来可以系统比较不同 VLM（如 InternVL、LLaVA、GPT-4V）作为 Navigator 的影响，构造 Navigator 选型指南；第三，探索推理文本的连续化版本，例如用 reasoning embedding 替代离散 token，理论上能保留可解释性并获得更密集的梯度信号；第四，把该框架与 VLA 模型结合，让 Driver 直接输出机器人控制动作；第五，构造更大规模、带更多样驾驶风格的推理数据集，推动可解释自动驾驶的研究社区化。
复现评估
复现难度中等偏低。代码层面，作者在论文与摘要中明确标注 GitHub 仓库 https://github.com/TAMU-CVRL/NaviDrive 公开代码，并提供了详细的训练超参数（AdamW + weight decay 0.01、lr 1e-5、余弦调度、batch 1、梯度累积 16、3 epoch、LoRA rank 64 / alpha 128 / dropout 0.05）。数据层面，基数据集是公开的 nuScenes，作者额外构建的 nuScenes-Reason 由于依赖大模型离线推理，需要一定算力重新生成（8B 模型在 RTX 4090 上约需数小时到一天视样本规模）。算力门槛友好：单卡 RTX 4090 即可完成全部实验，这是论文卖点之一。模型层面，Qwen3-VL-8B 与 Qwen3-VL-2B 均已在 Hugging Face 公开权重。主要复现挑战在于：离线推理文本的批量生成与缓存管理需要工程化脚本，以及要复现 Table II 中 waypoint 与动作形式的转换，需要正确实现 Tikhonov 正则最小二乘把离散轨迹反算为 $(\alpha, \kappa)$ 序列。总体而言，作者对消融、训练设置与对比基线的描述相当充分，复现可行性较高。
论文图表
三行示意图对比三种自动驾驶方案：第 (a) 行展示未微调的大模型 Qwen3-VL-8B，能产生合理的场景级语义推理（如识别停车标志、行人状态、信号灯颜色），但 waypoint 预测与真值差距较大；第 (b) 行展示经过 SFT 的轻量模型 Qwen3-VL-2B，waypoint 预测准确但语义推理质量退化；第 (c) 行展示本文 NaviDriveVLM，把大模型作为 Navigator 做语义推理、把轻量模型作为 Driver 做 waypoint 预测，两者解耦协作。
这张图是论文核心动机图，一眼展示出 VLM 驾驶领域「推理与规划不可兼得」的矛盾以及作者提出的解耦解决思路，是 motivation 部分最直观的支撑。
对比 9 种方法在 nuScenes 上的 L2 (1s)、L2 (2s)、L2 (3s) 与 Avg L2：OpenEMMA（LLaVa-7B）2.81 m、ST-P3 2.11 m、GenAD 0.91 m、Ego-MLP 0.78 m、VAD-Base 0.72 m、UniAD 0.69 m、Verdi 0.65 m、Driver-VLM（Qwen3-VL-8B 单模型微调）0.60 m、NaviDriveVLM（Qwen3-VL-2B Driver + Qwen3-VL-8B Navigator）0.46 m。
论文核心定量结果表，展示 NaviDriveVLM 在开环运动规划上全面优于专用规划模型与传统 VLM 端到端方案，是 results 部分的关键。
比较 NaviDriveVLM 在 waypoint $(x, y)$ 与动作 $(\alpha, \kappa)$ 两种输出形式下的 L2 (1s/2s/3s/6s) 与 Avg L2：waypoint 在 1s/2s/3s 上分别为 0.200/0.495/0.934，Avg L2 1.285 m；动作形式在 1s/2s/3s 上分别为 0.259/0.571/1.007，Avg L2 1.201 m。Waypoint 在短程占优，动作在长程更稳定。
展示输出形式选择对规划精度的影响，为下游部署者在轨迹/控制两种表征之间提供选型依据。
对 NaviDriveVLM 的输入组件做消融：(Reason) Avg L2 = 1.515 m；(Reason + Images) 1.476 m，仅降 0.039 m；(Reason + Command) 1.288 m，大幅下降 0.227 m；(Reason + Command + Images) 1.285 m，再降 0.003 m。结果表明高层指令对 Driver 帮助最大，图像信息相对冗余。
消融表直接支撑「语言化的高层信号比原始图像更关键」这一设计哲学，是论文解释方法有效性的关键证据。