UniDriveVLA：统一理解、感知与动作规划的自动驾驶视觉-语言-动作模型 UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving
用Mixture-of-Transformers三专家解耦感知与推理，解决VLA自驾感知-语义冲突
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是近年来从机器人领域扩展到自动驾驶的一类架构，将视觉编码器（如ViT）、大语言模型（如Qwen、InternVL）和动作解码器串联起来，利用预训练VLM中的世界知识和推理能力来理解驾驶场景并直接输出轨迹/控制信号。其核心思想是把驾驶问题转化为一个多模态序列生成任务：输入是摄像头图像、指令文本和历史轨迹，输出是未来轨迹或动作 token。代表性工作包括EMMA、OpenDriveVLA、Orion、AutoVLA等。
本文UniDriveVLA正是一种VLA模型，所有实验和基线对比（如FSDrive、AutoVLA、OmniDrive、OpenDriveVLA）都建立在VLA范式之上，不理解VLA的基本数据流就无法理解论文试图解决什么问题。
Mixture-of-Transformers (MoT)
MoT是一种多模态架构范式，最初在Janus等多模态理解生成模型中提出，将不同模态的token分配到独立的Transformer专家（expert）中，每个专家拥有自己的QKV投影、FFN和归一化参数，再通过共享的联合注意力（joint attention）实现跨模态信息交换。与Mixture-of-Experts（MoE）在FFN层做门控不同，MoT的解耦粒度更粗——整个Transformer块按模态分开。π0首先将MoT引入机器人VLA，本文则将其推广到自动驾驶场景。
MoT是UniDriveVLA架构的核心创新点，理解它如何把'理解'、'感知'、'动作'三组token解耦到不同参数空间是把握本文方法的关键，也是与OpenDriveVLA、DriveVLM等共享权重模型最本质的区别。
稀疏3D感知（Sparse Perception）
稀疏感知是相对传统稠密BEV感知而言的范式转变。稠密方法把图像特征转换为完整的BEV栅格（如200×200网格），再对每个栅格做分类/回归；稀疏方法则用少量可学习的3D query（通常几十到几百个）通过可变形注意力（deformable attention）从多视角图像中采样信息，代表工作如DETR3D、PETR、Sparse4D、SparseBEV、SparseDrive。其优势是计算量小、容易和规划目标端到端联合训练。
UniDriveVLA的感知专家采用稀疏范式，直接从2D VLM特征中抽取空间先验，避免引入稠密BEV破坏VLM的语义推理能力——这是论文'稀疏感知'段落反复强调的设计动机。
Flow Matching轨迹生成
Flow Matching是一类基于常微分方程的生成模型，训练时在数据样本 $v_0$ 和高斯噪声 $v_1 \sim \mathcal{N}(0, I)$ 之间做线性插值 $v_\sigma = (1-\sigma)v_0 + \\sigma v_1$，模型 $v_\\theta$ 学习预测速度场 $u = v_1 - v_0$，目标函数为 $\\mathcal{L}_{FM} = \\mathbb{E}_{\\sigma,v_0,v_1}\\|v_\\theta(v_\\sigma, \\sigma, c) - (v_1-v_0)\\|_2^2$。相比扩散模型，Flow Matching训练更稳定、采样步数更少。UniDriveVLA的Action Expert就是用Flow Matching在速度空间生成连续轨迹的。
论文3.2节和4.1节多次提到'action inputs are constructed by standard flow matching interpolation'，这是理解Action Expert如何产生连续轨迹预测的必备知识。
端到端自动驾驶与开环/闭环评估
端到端自动驾驶指从传感器输入直接输出规划轨迹或控制信号的单一模型，区别于传统感知-预测-规划-控制流水线。开环评估（open-loop）是把预测轨迹与人类录制的真实轨迹对比，用L2位移误差和碰撞率衡量；闭环评估（closed-loop）则在CARLA等仿真器中让模型实际驾驶，用驾驶分数（Driving Score）、成功率（Success Rate）、效率（Efficiency）、舒适度（Comfortness）等指标评估。nuScenes是开环基准，Bench2Drive是闭环基准。
论文同时在nuScenes（开环）和Bench2Drive（闭环）上评估UniDriveVLA，Table 1和Table 3的指标体系差异很大，理解两者的评估协议才能正确解读论文报告的数字。
研究动机
近年来，将视觉-语言-动作（VLA）模型引入自动驾驶成为一个热门方向，因为预训练VLM中的世界知识有望提升驾驶系统的认知与长尾处理能力。然而，现有的VLA自驾系统面临一个根本性的两难困境：纯2D VLM路线（如EMMA、AutoVLA）保留了强大的语义推理能力，但缺乏显式的空间感知，难以准确识别3D物体位置和道路结构；3D增强路线（如OpenDriveVLA、Percept-WAM、OmniDrive）通过BEV编码器或3D Q-Former引入3D空间特征，显著提升了空间感知，却又损害了VLM的原生语义推理能力。作者在Figure 2(a)中通过逐层余弦相似度分析揭示了原因：在共享权重解码器中，LLM token和空间感知token的表征相似度随层数不断攀升至接近1，发生严重的表征坍缩（feature collapse），意味着空间和语义信息被强制融合进同一参数空间，产生了表征干扰。Figure 2(b)显示，这种干扰直接导致L2误差（0.641 vs 0.533）、VQA（50.8% vs 54.9%）、3D检测NDS（0.437 vs 0.439）等指标全面下降。
本文的目标是本文的具体目标是设计一个统一的VLA框架，在保留VLM原生语义推理能力的同时获得强空间感知和规划能力。更具体地说，作者希望：(1) 解决'感知-推理冲突'——通过架构级解耦避免共享参数空间中的表征干扰；(2) 在nuScenes开环和Bench2Drive闭环基准上同时达到SOTA；(3) 覆盖3D检测、在线建图、运动预测、驾驶VQA、轨迹规划等多任务，验证统一框架的广泛适用性；(4) 通过三阶段渐进训练策略，在自动驾驶适配过程中不破坏VLM的通用多模态能力。
与已有工作不同的是，本文的独特切入角度是将'专家解耦'的MoT架构从机器人π0系列迁移到自动驾驶，并首次提出一个统一包含理解、感知、规划三专家的自动驾驶MoT架构。已有工作如DriveMOE、Orion虽然借鉴了π0的MoT思想，但主要聚焦于双系统快慢架构，未能从根本上解决共享权重解码器中的表征坍缩问题；OpenDriveVLA等方法试图通过显式对齐结构化2D/3D特征与语言表征来缓解冲突，但受限于对齐数据规模远小于VLM预训练语料，无法彻底消除干扰。本文的关键洞察是：'冲突'本质上不是'3D表征本身的问题'，而是'空间感知与语义推理在共享参数空间中联合优化'的问题，因此必须从参数解耦的角度入手，并通过稀疏感知范式（避免稠密BEV干扰VLM）和三阶段渐进训练（在冻结VLM的前提下微调专家）来保证稳定性。
核心方法
UniDriveVLA的整体思路是用Mixture-of-Transformers架构把自动驾驶VLA中三种异质任务——语言理解、3D空间感知、轨迹规划——分配给三组独立参数的Transformer专家，每组专家只处理自己负责的token类型（理解token、感知token、动作token），三组专家之间通过精心设计的'掩码联合注意力'（Masked Joint Attention）实现受控的跨专家通信。在数据流上，多视角图像先经过Qwen3-VL的视觉编码器得到2D视觉token，与文本拼接构成理解token；同一2D特征被送入稀疏感知模块生成检测/建图/占用/运动等感知token；动作token则通过Flow Matching在速度空间构造。三组token在每个MoT层先经专家特定的QKV投影实现参数解耦，再拼接做全局联合注意力，掩码矩阵M控制谁能看见谁——理解token因果掩码以保留预训练推理能力，感知token能看到前缀理解token以获取语义上下文，动作token则能聚合语义和空间信息。直觉上，这种设计把'语义大脑'和'空间小脑'分开，只通过狭窄的'胼胝体'（受限注意力）协调信息流，既避免表征坍缩，又保留统一决策过程。
本文核心创新有三层。第一层是MoT三专家解耦架构：与OpenDriveVLA、Orion等共享权重解码器不同，UniDriveVLA为理解、感知、动作各分配独立的QKV、FFN、归一化参数，从根本上切断表征坍缩的物理基础。第二层是稀疏感知范式：不同于OpenDriveVLA注入稠密BEV表示、DriveVLM使用快慢双系统，UniDriveVLA直接用2D VLM特征驱动稀疏query，避免稠密3D表征污染VLM的语义空间。第三层是三阶段渐进训练：阶段一在驾驶VQA+通用多模态数据上全微调VLM锚定推理能力（3 epoch，lr $4 \\times 10^{-5}$，驾驶:通用数据=3:7），阶段二用LoRA联合优化语言+感知+规划任务（30 epoch，VLM学习率0.5×，即 $1 \\times 10^{-4}$），阶段三冻结VLM只精调感知与动作专家并加入运动预测目标（15 epoch，lr $1 \\times 10^{-4}$）。三层设计协同作用，使得模型在提升空间感知的同时不牺牲推理能力。
方法步骤详情
UniDriveVLA的完整方法可拆解为四个步骤。第一步是Token构建：给定多视角图像 $\\mathcal{I}_{cam} \\in \\mathbb{R}^{K \\times V \\times H \\times W \\times 3}$、历史轨迹 $\\mathcal{I}_{hist}$ 和导航指令 $\\mathcal{L}_{nav}$，通过Qwen3-VL的SigLIP-2视觉编码器（960×544输入）和MLP merger生成理解token $\\mathcal{T}_{und}$；稀疏感知模块从同一2D特征初始化任务特定query（来自数据集级K-Means聚类）通过时序交互、任务内推理、任务间通信、可变形采样和任务级细化，输出检测/建图/自车状态/运动token $\\mathcal{T}_{per}$；动作编码器通过对高斯噪声和目标速度序列做Flow Matching插值得到 $\\mathcal{T}_{act}$。第二步是MoT层的专家解耦投影：对每个专家 $g \\in \\{und, per, act\\}$，独立计算 $Q_g = \\mathcal{T}_g W_g^Q, K_g = \\mathcal{T}_g W_g^K, V_g = \\mathcal{T}_g W_g^V$，实现参数空间分离。第三步是掩码联合注意力：把三组QKV拼接为 $Q = [Q_{und}; Q_{per}; Q_{act}]$，按公式 $Z = \\text{Softmax}(\\frac{QK^\\top}{\\sqrt{d_k}} + M)V$ 计算全局注意力，掩码M的设计是理解token因果掩码、感知token能看前缀理解token、动作token能看所有前缀token；输出再切分回三组，经专家特定的输出投影、残差连接和FFN得到 $H_g$ 和 $O_g$。第四步是统一目标优化：总损失为 $\\mathcal{L}_{total} = \\lambda_1 \\mathcal{L}_{ar} + \\lambda_2 \\mathcal{L}_{per} + \\lambda_3 \\mathcal{L}_{act}$，其中 $\\mathcal{L}_{ar}$ 是自回归语言建模损失，$\\mathcal{L}_{per}$ 覆盖3D检测、在线建图、占用预测，$\\mathcal{L}_{act}$ 是Flow Matching速度场预测损失。
技术新颖性
UniDriveVLA的技术新颖性体现在四个方面。第一，从π0机器人MoT推广到自动驾驶三专家架构（理解+感知+规划），比DriveMOE/Orion等双系统MoE更彻底地解决感知-推理冲突。第二，Figure 2(a)的逐层余弦相似度分析首次实证了共享权重解码器中的表征坍缩现象，为MoT解耦提供了清晰的实验动机。第三，稀疏感知从2D VLM特征中抽取空间先验而非引入稠密BEV，是对OmniDrive/OpenDriveVLA路线的方法论突破。第四，三阶段渐进训练（VLM预训练锚定 → LoRA联合优化 → 冻结VLM精调专家）配合0.5× VLM学习率乘子和驾驶:通用数据=3:7的采样比，是工程上保证'既学到驾驶能力又不破坏通用能力'的关键配方。Table 7的消融直接验证了MoT相对共享权重解码器的全面优势：General VQA从31.1%跃升至45.5%，DriveBench从50.8%升至54.9%，轨迹L2从0.641降至0.533。
实验结果
实验在五个维度全面验证了UniDriveVLA的有效性。(1) Bench2Drive闭环规划（Table 1）：在不依赖PDM-Lite高质量专家数据的设置下，UniDriveVLA以78.37的Driving Score和198.86的Efficiency在所有方法中排名第一，Success Rate 51.82%与ReCogDrive（45.45%）和Orion（54.62%）形成第二梯队，Avg. L2 0.72m也具有竞争力。(2) Bench2Drive多能力测试（Table 2）：在并道（Merging 38.75%）和超车（Overtaking 80.00%）两个最难场景上分别取得第一，五个场景平均得分51.53%略低于Orion的54.72%，说明UniDriveVLA在复杂交互场景中表现尤为突出。(3) nuScenes开环规划（Table 3）：在更具挑战性的'无自车状态'设置下，UniDriveVLA-Large（Qwen3-VL-8B）在ST-P3协议取得最低平均L2 0.51m、UniAD协议取得L2 0.90m，均为表中最佳；在'带自车状态'设置下也保持与FSDrive、Orion等强基线持平。(4) nuScenes感知（Table 4）：UniDriveVLA-Large检测mAP 0.407、NDS 0.460，建图mAP 0.535，显著优于VAD等早期端到端方法，但运动预测minADE 1.264m仍弱于SparseDrive等专门方法（0.600m），揭示感知与运动预测之间的trade-off。(5) DriveBench驾驶VQA（Table 6）：UniDriveVLA取得51.97的平均分，接近GPT-4o的51.96和ReCogDrive的56.71，其中行为推理（Behav.）子项60.97%排名第一，说明MoT解耦确实保留了VLM的推理能力。Table 5的消融实验逐步加入自车状态、检测、占用、地图、运动模块，验证每部分贡献，其中加入占用后L2最低降至0.53m，验证稠密空间上下文对轨迹预测的增益。Table 7的MoT vs共享权重对比是最有说服力的证据：MoT使General VQA从31.1%跳到45.5%，L2从0.641降至0.533，碰撞率从0.175%降至0.140%，所有维度全面提升。Table 8显示UniDriveVLA在通用多模态基准上虽然弱于Qwen3-VL-8B原版（MMStar 43.3 vs 63.0），但仍保留有意义的能力，未发生灾难性遗忘。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Bench2Drive闭环规划 | Driving Score | 78.37 | DriveMOE: 74.22；Orion: 77.74 | +5.6% vs DriveMOE（无PDM-Lite设置中SOTA） |
| Bench2Drive闭环规划 | Efficiency | 198.86 | DriveMOE: 175.96；Orion: 151.48 | +13.0% vs DriveMOE |
| Bench2Drive闭环规划 | Success Rate (%) | 51.82 | Orion: 54.62；ReCogDrive: 45.45 | 略低于Orion但显著高于ReCogDrive |
| Bench2Drive多能力 | Merging Ability (%) | 38.75 | Orion: 25.00；DriveMOE: 34.67 | +55.0% vs Orion |
| Bench2Drive多能力 | Overtaking Ability (%) | 80.00 | Orion: 71.11；DriveMOE: 40.00 | +12.5% vs Orion |
| nuScenes开环规划（无自车状态，ST-P3） | Avg. L2 (m) | 0.51 (Large) | FSDrive: 0.53；OmniDrive: 0.84 | -3.8% vs FSDrive |
| nuScenes开环规划（无自车状态，UniAD） | Avg. L2 (m) | 0.90 (Large) | SparseDrive: 0.99；FSDrive: 0.96 | -9.1% vs SparseDrive |
| nuScenes检测 | mAP | 0.407 (Large) | SparseDrive: 0.418；UniAD: 0.380 | 略低于SparseDrive但优于UniAD |
| nuScenes检测 | NDS | 0.460 (Large) | SparseDrive: 0.525；VAD: 0.397 | +15.9% vs VAD |
| DriveBench驾驶VQA | Behavior子项 (%) | 60.97 | GPT-4o: 45.40；ReCogDrive: 42.36 | +34.3% vs GPT-4o |
| MoT vs 共享权重解码器 | General VQA平均 (%) | 45.5 | Shared-Weight: 31.1 | +46.3% |
| MoT vs 共享权重解码器 | 轨迹L2 (m) | 0.533 | Shared-Weight: 0.641 | -16.8% |
局限与改进
运动预测精度落后于专门方法：Table 4显示UniDriveVLA-Large的minADE 1.264m和minFDE 2.121m均显著差于SparseDrive（0.600m/0.960m），可能是因为动作专家主要优化轨迹生成，对未来运动的联合优化能力有限。 通用VQA能力相对原版VLM下降：Table 8中UniDriveVLA在MMStar 43.3、MMMU 47.3上明显低于Qwen3-VL-8B的63.0/52.8，虽然保留了多模态能力但损失了部分通用推理精度，提示驾驶适配仍对基础能力有挤压。 Table 5消融中地图和运动模块未带来额外增益：作者将其归因于nuScenes开环规划'headroom较小'，但也反映出感知模块与规划模块的协同尚未完全优化，感知结果可能没有被规划模块充分利用。 舒适度指标Compfortness仅11.78，显著低于UniAD（43.58）、VAD（46.01）等传统端到端方法，说明MoT解耦在轨迹平滑性上仍有改进空间。 Bench2Drive的Success Rate 51.82%仍低于Orion的54.62%，表明在极端长尾场景下，统一VLA框架相对专门规划模块的优势尚未完全建立。 未在长时序（>3s）规划上验证，论文主要报告1s/2s/3s的L2，缺乏对更长horizon稳定性的评估。
独立分析的弱点
从独立分析角度，UniDriveVLA存在以下可改进的弱点。第一，动作专家与感知专家的信息流仍偏单向：虽然Figure 4显示感知token能通过掩码联合注意力影响动作token，但缺乏显式的'感知-动作双向反馈'机制，可能导致规划时无法动态请求更多感知细节。第二，稀疏感知模块仅用K-Means初始化query，缺乏在线自适应机制，面对极端未见场景（如施工区、特殊交通参与者）时query可能无法覆盖关键目标。第三，三阶段训练中阶段二需要30个epoch完整遍历数据集，计算成本较高，论文未报告训练时长和GPU小时数，限制了可复现性评估。第四，Flow Matching在推理时需要ODE求解，文中未明确报告ODE步数与延迟，对自动驾驶实时性约束的兼容性尚不清晰。第五，Table 6显示感知子项（Percep.）仅36.78，低于ReCogDrive的64.95和GPT-4o的35.37，说明VLM适配后对感知类问题回答能力被稀释，可能因为语言建模目标主导了联合训练。每个弱点的改进方向分别是：引入循环交互模块让规划查询触发感知细化、用在线query更新替代静态K-Means、用LoRA做阶段二的近似全量训练、报告ODE步数-延迟权衡曲线、在阶段二提高感知类数据采样权重。
未来方向
作者在Conclusion中明确提出未来方向：将提出的解耦VLA设计推广到机器人操控场景，因为该类任务同样需要结构化空间感知与高层语义推理的协同。基于本文成果可延伸的方向还包括：(1) 探索四专家甚至N专家架构，将'预测''解释''反思'等元认知能力作为独立专家，进一步缓解VLA中的多任务干扰；(2) 将稀疏感知query与语言token对齐，实现用自然语言直接查询'前方左侧的白色车辆'，让感知成为可对话模块；(3) 在闭环仿真中引入对抗性场景生成，主动暴露UniDriveVLA的失败模式并迭代训练；(4) 把MoT解耦思想推广到多智能体协同驾驶场景，让每辆车作为一个专家参与注意力通信；(5) 研究如何在边缘设备上部署UniDriveVLA-Large（8B参数），稀疏化专家参数和动态激活是关键。
复现评估
论文的可复现性整体较好。代码仓库已开源：https://github.com/xiaomi-research/unidrivevla，项目主页 https://xiaomi-research.github.io/unidrivevla。模型基于公开发布的Qwen3-VL（2B和8B版本）构建，训练数据使用公开的nuScenes和Bench2Drive基准，外加FineVision通用多模态数据和DriveBench驾驶VQA。训练超参数在4.1节完整披露：阶段一3 epoch、lr $4 \\times 10^{-5}$、驾驶:通用=3:7；阶段二30 epoch、AdamW、lr $2 \\times 10^{-4}$（VLM $1 \\times 10^{-4}$）、LoRA；阶段三15 epoch、lr $1 \\times 10^{-4}$。但仍存在一些复现挑战：(1) 论文未报告训练所需的GPU数量和总训练时长，8B模型在3阶段+30 epoch联合训练下预计至少需要64张A100级别算力数天；(2) 驾驶VQA数据混合的具体清单未完全公开，可能需要联系作者获取；(3) 稀疏感知模块中的K-Means聚类、query数量等超参数未在主文中详尽说明，需要查代码或附录；(4) Flow Matching的ODE求解器选择和推理步数未明示。整体而言，对拥有大算力集群的研究团队，复现难度中等。
论文图表
图1对比了自动驾驶中三种VLA范式：(a) Vanilla 2D VLA（如EMMA、AutoVLA）保留强语义推理但空间感知有限；(b) 3D-enhanced VLA（如OpenDriveVLA、Percept-WAM）增强空间感知但牺牲语义推理；(c) UniDriveVLA用Mixture-of-Transformers将理解、感知、动作专家解耦并通过掩码联合注意力协调，同时获得强推理和强空间感知。
这是论文的核心motivation图，一目了然地展示出现有VLA的两难困境和UniDriveVLA的解耦思路，是理解论文'为什么需要MoT'的关键参考。
图2分两部分：(a) 在LLM token和感知token之间逐层计算余弦相似度，共享权重解码器中相似度逐层升至接近1（特征坍缩），而MoT保持低相似度维持任务解耦；(b) 性能对比柱状图，UniDriveVLA在DriveBench VQA（54.9 vs 50.8）、3D检测（51.6 vs 43.9 NDS）、Online Mapping、轨迹L2（0.532 vs 0.641）、碰撞率（15.6%降低）等所有维度上均超过共享权重基线。
这是论文最关键的实验证据之一，Figure 2(a)从机制层面证明表征干扰的存在，Figure 2(b)从指标层面证明MoT解耦的全面收益，是支撑整个论文motivation-method链路的实证基础。