Vega：学习用自然语言指令驾驶

提出统一视觉-语言-世界-动作模型，实现基于自然语言指令的自动驾驶

前置知识

视觉-语言-动作模型

VLA模型是一种融合视觉、语言和动作三种模态的多模态深度学习模型。它能够接收图像和自然语言作为输入，直接输出可执行的动作或轨迹规划。这种架构通过将大语言模型的世界知识和推理能力与视觉感知相结合，实现了从高层指令到低层动作的直接映射，减少了传统感知-预测-规划流水线中的信息损失和对昂贵3D标注的依赖。

本文的核心就是VLA模型，理解其架构和工作原理对于把握论文贡献至关重要。

扩散模型

扩散模型是一类生成模型，通过逐步添加高斯噪声破坏数据分布，然后学习逆向去噪过程来生成新样本。在轨迹规划和图像生成任务中，扩散模型能够提供高质量的生成结果和更好的多样性。扩散过程可以用马尔可夫链表示，每个时间步逐渐去除噪声，最终从随机噪声恢复出清晰的输出。

本文的图像生成和轨迹规划都采用扩散范式，理解扩散模型的原理对于理解方法实现必不可少。

世界模型

世界模型是一种能够预测未来状态的生成模型，它根据过去的观测和当前的动作来预测环境如何演化。在自动驾驶中，世界模型可以预测其他道路参与者的运动、交通信号灯的变化以及整个场景的演变。通过学习环境动态，世界模型为规划提供了重要的辅助信息，能够增强决策的鲁棒性和前瞻性。

本文的核心创新就是将世界模型作为密集监督信号来增强基于指令的规划能力。

研究动机

现有的自动驾驶视觉-语言-动作模型主要存在两个关键限制。首先，大多数VLA模型只能用于场景描述或决策推理，缺乏灵活的指令跟随能力。它们要么被训练为模仿平均专家策略，要么被限制在简单的封闭导航指令集，如左转或直行，无法推广到开放式的自然语言指令。例如，一个急于赶路的用户可能指示车辆超车以赶上下一个绿灯，而不是遵守训练数据中学到的保守策略。其次，直接的VLA模型训练在高维视觉-语言输入和低维动作预测之间存在显著的信息鸿沟，使得模型难以在复杂动态环境中学习从高层指令到低层动作的可泛化映射。

本文的目标是本文的目标是构建一个能够理解并执行多样化用户指定自然语言指令的通用自动驾驶智能体。这要求模型不仅要能够自主导航，还要能够根据用户的个性化意图调整驾驶行为。具体来说，模型应该能够根据诸如慢慢停下来等待、加速超车、减速跟随等灵活指令，在相同场景中生成不同的驾驶轨迹，实现真正的个性化驾驶。

与已有工作不同的是，本文的独特切入角度是通过联合学习动作规划和未来图像生成来解决指令跟随中的监督稀疏问题。传统VLA模型面临的主要挑战是动作监督过于稀疏，每个时间步只有一个低维动作标签，这与高维的视觉-语言输入形成巨大反差。本文创新性地将未来图像预测引入训练目标，提供像素级的密集监督信号，迫使模型学习指令、动作和视觉预测之间的因果关系。这种联合建模强制预测之间的一致性，实现了相互监督和细化，从而显著增强了模型的指令跟随能力。

核心方法

Vega采用统一的视觉-语言-世界-动作模型架构，结合自回归和扩散两种范式。整体思路是将自回归范式用于处理视觉输入和语言指令，将扩散范式用于生成未来预测和轨迹规划。模型通过联合注意力机制实现跨模态交互，并采用Mixture of Transformers设计来有效解耦不同模态的相关参数，增强模型在联合生成和规划方面的能力。核心是将动作规划和世界建模统一在同一个框架中，让模型在预测动作的同时也预测该动作会导致的视觉后果，从而学习到驾驶的基本因果链：智能体感知世界、接收指令、决定动作、观察结果。

核心创新点是提出了一种统一的视觉-语言-世界-动作模型，通过联合训练动作规划和未来图像生成来提供密集的像素级监督信号。与现有方法仅用语言进行场景描述或推理不同，Vega能够根据灵活的自然语言指令执行个性化驾驶。与传统的自回归视觉生成或外部扩散方法相比，本文采用集成的Transformer架构，将自回归VLM和扩散Transformer融合到单一模型中，实现了理解与生成模块的无信息丢失交互。另一个关键创新是Mixture of Transformers设计，不仅FFN层使用独立权重，连注意力层也针对每个模态独立，这被证明能够更快收敛并保持更高的模型容量。

方法步骤详情

方法包含三个主要步骤。步骤一：编码输入。对于文本，使用Qwen2.5分词器对自然语言指令进行分词；对于视觉理解，仅使用前向摄像头图像作为视觉观测，由VAE编码器编码为潜在表示，同时用SigLIP2 ViT编码器编码输入图像以丰富视觉上下文；对于动作，首先将2D绝对轨迹转换为连续步骤之间的相对运动，然后用线性头将标准化的相对动作序列投影到模型的潜在维度。步骤二：构造输入序列。将多模态片段以交错方式组合，历史图像和动作放在开头，后面跟随自然语言指令。当执行动作规划任务时，附加噪声目标动作；否则，先附加真实当前动作，然后附加噪声未来图像用于视觉生成。由于序列的严格因果性质，注意力掩码设置为块状下三角矩阵，每个块只能attend到之前的块。步骤三：模型处理。将交错的多模态序列分割成段，在每个注意力和FFN层中传递到各自的模块。为了计算全局因果注意力，序列被重新组装成一个整体进行处理。输出序列中提取图像生成和动作规划的令牌用于最终预测。

技术新颖性

技术新颖性体现在三个方面。第一，首次在统一的框架中实现了基于指令的联合视觉生成和动作规划，让模型能够根据不同的自然语言指令在同一场景中生成多样化的规划轨迹和未来图像。第二，采用集成的Transformer架构，将自回归VLM和扩散Transformer融合到单一模型中，避免了外部扩散方法中LLM与扩散生成器之间的信息瓶颈，实现了理解与生成的深度集成。第三，提出了训练时复制每个潜在表示的设计：第一个添加噪声的副本用于去噪监督，第二个清洁副本作为条件输入，同时屏蔽噪声潜在防止后续token关注，这解决了训练时噪声潜在与推理不匹配的问题，能够在单个自回归序列中高效训练多个扩散过程。

**Figure 1**: Visualizations of our model for instructional driving. We propose a unified vision-language-world-action model, Vega, for instruction-based generation and planning. Vega can predict multiple trajectories in the same scenario following diverse instructions.

**Figure 2**: Overview of our model. Compared to traditional imitation driving models, which can only predict the single expert trajectory, Vega can follow natural language instructions to generate diverse planning trajectories and future image predictions.

**Figure 3**: Framework of our Unified Vision-Language-World-Action Model. We jointly model action planning and image generation using multi-modal inputs and a MoT architecture [38].

实验结果

核心发现体现在三个实验中。消融实验验证了未来帧预测的有效性：三种配置的实验结果显示，移除未来帧预测会导致PDMS从77.9降至51.8、EPDMS从76.0降至48.9，证明了世界建模确实能够提升规划能力。交错观测-动作序列的消融实验表明，虽然交错序列在训练初期损失较高，但收敛速度显著快于非交错模型，最终性能超越后者。交错序列长度实验显示，使用2、4、6的历史图像-动作对训练时，更长序列的模型收敛更快。独立动作模块消融实验显示，使用独立动作专家的模型PDMS为77.9、EPDMS为76.0，显著优于使用VLM模块的75.7和优于使用扩散模块的19.6，验证了架构设计的有效性。定性分析显示，Vega能够成功根据不同的自然语言指令调整车辆速度，在同一场景中生成符合指令的动作序列和未来图像，表明世界建模框架成功帮助模型学习了驾驶环境的动态规律。

**Table 1**: Comparison with state-of-the-art methods on the NAVSIM v2 with extended metrics. NC: No at-fault Collision. DAC: Drivable Area Compliance. DDC: Driving Direction Compliance. TLC: Traffic Light Compliance. EP: Ego Progress. TTC: Time to Collision. LK: Lane Keeping. HC: History Comfort. EC: Extended Comfort. EPDMS: Extended Predictive Driver Model Score. dagger: Using the best-of-N (N=6) strategy following [85].

**Table 2**: Comparison with state-of-the-art methods on the NAVSIM v1. NC: No at-fault Collision. DAC: Drivable Area Compliance. TTC: Time-To-Collision. C.: Comfort. EP: Ego Progress. PDMS: Predictive Driver Model Score. Abbreviations: 1x Cam (single front-view camera), Nx Cam (surround-view cameras), L (LiDAR). dagger: Using the best-of-N (N=6) strategy following [85].

**Table 3**: Ablation of future image prediction. PDMS: NAVSIM v1 [5] benchmark, EPDMS: NAVSIM v2 [1] benchmark.

**Table 4**: Ablation of action expert. PDMS: NAVSIM v1 [5] benchmark, EPDMS: NAVSIM v2 [1] benchmark.

**Figure 4**: Ablation of interleaving image-action sequences. We compare the training losses of models trained on non-interleaving sequences (original) and interleaving sequences of different lengths.

**Figure 5**: Instruction-based planning examples. We visualize the effects of language instructions on action planning with front-view camera images and BEV maps.

**Figure 6**: Future image generation conditioned on instructions and actions. In the same scenario, given three sets of instructions, the model plans three action sequences and generates their respective future images. All action sequences follow their instructions and all images are consistent with their actions.

查看结构化数据

任务	指标	本文	基线	提升
NAVSIM v2 轨迹规划	EPDMS (Extended Predictive Driver Model Score)	86.9	DriveVLA-W0: 86.1, DiffusionDrive: 84.5, ARTEMIS: 83.1	相比DriveVLA-W0提升0.8，相比DiffusionDrive提升2.4
NAVSIM v1 轨迹规划	PDMS (Predictive Driver Model Score)	87.9	AutoVLA: 89.1, DiffusionDrive: 88.1, Hydra-MDP: 86.5	在单摄像头设置下达到与多摄像头加激光雷达方法竞争的性能
NAVSIM v2 无故障碰撞率	NC (No at-fault Collision)	98.9%	DriveVLA-W0: 98.5%, ARTEMIS: 98.3%	相比DriveVLA-W0提升0.4个百分点
NAVSIM v2 驾驶方向合规性	DDC (Driving Direction Compliance)	99.4%	HydraMDP++: 99.4%, DriveVLA-W0: 98.0%	达到与最佳方法相同的性能

局限与改进

论文承认的局限性包括：Vega在NAVSIM v1上的性能略低于最先进的VLA方法，作者认为这是由于NAVSIM v1的指标不平衡，过度偏向于风险规避策略而非本文模型学习的其他同样有效的策略。竞争对手的VLA方法要么需要额外的多视角高分辨率图像输入，要么通过额外的RL训练集成CoT推理。此外，模型的测试主要基于非反应式模拟器NAVSIM v1和反应式模拟器NAVSIM v2，缺乏在真实世界或更复杂模拟环境中的验证。指令生成虽然结合了VLM和规则方法，但仍可能存在多样性不足或与真实人类指令风格差异的问题。

独立分析的弱点

独立分析的弱点主要体现在四个方面。第一，计算复杂度较高。集成Transformer架构和Mixture of Transformers设计虽然性能优异，但显著增加了模型参数和计算开销，训练需要8个H20 GPU运行200k步，推理时的扩散过程也可能带来实时性挑战，这在资源受限的部署场景中是一个实际问题。改进方向可以包括模型蒸馏、知识压缩或开发更高效的架构设计。第二，输入模态单一。模型仅使用单个前向摄像头图像作为视觉输入，虽然证明了单摄像头的可行性，但在复杂天气、遮挡或远距离感知等挑战场景中，多摄像头融合或激光雷达补充可能更稳健。改进方向是扩展对多模态传感器的支持。第三，指令生成自动化。虽然采用VLM自动生成指令提高了效率，但可能缺乏人类指令的真实性和多样性。改进方向可以是引入人类标注或对VLM生成结果进行人工校验和增强。第四，泛化能力未充分验证。论文主要在NAVSIM基准上评估，缺乏对不同城市、不同交通规则、不同天气条件的泛化测试。改进方向是进行更广泛的跨域评估和实地测试。

未来方向

作者提出的未来研究方向包括将本文的核心架构与性能增强机制模块化结合，而不需要修改主要设计。基于本文成果可以延伸的方向包括：多模态传感器融合，将激光雷达、多摄像头、雷达等传感器数据整合到统一框架中，提升复杂场景的鲁棒性；更复杂的指令理解和推理，扩展到多步骤指令、条件指令、多目标优化等更复杂的驾驶场景；强化学习集成，在预训练的Vega基础上使用RL进行微调，进一步提升在真实环境中的决策质量；实时部署优化，研究模型压缩、量化、知识蒸馏等技术，使模型能够在嵌入式硬件上实时运行；人机交互优化，研究如何让模型更好地理解人类意图，提供自然的反馈和解释；跨域泛化，研究如何让模型从仿真环境平稳过渡到真实世界，处理未见过的场景和突发情况。

复现评估

论文提供了代码开源，项目页面为https://zuosc19.github.io/Vega，代码仓库为https://github.com/zuosc19/Vega。作者构建了InstructScene数据集，包含约100000个带有驾驶指令和对应轨迹标注的场景，基于NAVSIM v1和v2。训练使用8个H20 GPU，每设备批大小为1，学习率为2乘10的负5次方，预热2500步，总训练200k步。动作和图像损失的权重均为1.0。虽然开源了代码和数据，但训练所需的计算资源相当大，8个H20 GPU不是所有研究机构都能获得的。不过，作者提供了预训练模型和详细的实现细节，使得研究者可以在较低成本的设置上进行推理和消融实验。论文的实验配置、超参数、评估指标都有详细描述，这有助于复现验证。总体而言，本文的可复现性评估为良好，但完全复现训练过程需要强大的硬件支持。

Vega：学习用自然语言指令驾驶 Vega: Learning to Drive with Natural Language Instructions