Found-RL：基础模型增强的自动驾驶强化学习平台

通过异步批量推理框架将VLM语义知识蒸馏到轻量RL策略，实现实时自动驾驶

前置知识

强化学习

强化学习是一种通过与环境交互来学习最优策略的机器学习范式。智能体在状态s_t下采取行动a_t，获得奖励r_t并转移到新状态s_{t+1}，目标是最大化累积折扣奖励。在自动驾驶中，RL智能体通过试错学习驾驶策略，但样本效率低且缺乏语义理解能力。

本文的核心是将RL与基础模型结合，因此需要理解RL的基本框架、Actor-Critic算法、Q值学习等概念，才能理解VLM如何指导RL训练。

视觉语言模型(VLM)

视觉语言模型是能够同时理解和处理视觉与语言信息的大型预训练模型。VLM通过在大量图像-文本对上训练，学习视觉特征与语言语义的对齐关系，例如CLIP使用对比学习将图像和文本映射到同一嵌入空间，使得语义相关的图文对具有高相似度。在自动驾驶中，VLM可以解释驾驶场景并生成语义丰富的反馈信号。

本文利用VLM提供动作建议和语义奖励，需要理解VLM的工作原理、推理特性以及计算开销，才能理解异步批量推理框架的设计动机。

异步批量推理

异步批量推理是一种将重型模型推理从主训练循环解耦的技术。仿真器将观察数据发送到请求队列，推理服务器将多个请求聚合为批次并行处理，然后通过输出队列返回结果。这种方式避免了每个仿真步骤都等待VLM推理的延迟，同时通过批次处理摊销了token化、视觉编码等固定开销。在Found-RL中，VLM反馈与标准转移数据一起存储在回放缓冲区中，用可用性标记指示VLM输出是否就绪。

这是本文的核心工程创新，解决了VLM推理延迟过高导致无法实时训练的问题，是整个平台能够工作的关键基础。

奖励塑形

奖励塑形是通过修改原始环境奖励来加速RL学习的技术，通常基于领域知识或专家反馈。在自动驾驶中，环境奖励往往是稀疏的，而塑形奖励可以提供密集的中间反馈，例如遵守交通规则、平滑驾驶等。条件对比动作对齐使用CLIP计算当前动作与语义提示的对齐程度，通过RMS归一化得到奖励增量，最终奖励为环境奖励加上缩放的VLM奖励。

这是本文的关键算法组件之一，展示了如何利用VLM的语义理解能力为RL提供密集且可解释的监督信号。

研究动机

强化学习在自动驾驶中面临两大核心挑战：样本效率低下和语义解释性不足。传统RL方法类似自学过程，依靠大量试错探索策略，在复杂驾驶场景中需要数百万次交互才能收敛。更严重的是，RL智能体缺乏对场景的语义理解，无法像人类驾驶员一样识别交通规则含义、理解行人意图或判断危险情境。例如，RL智能体可能学会在红灯前停车，但不理解这是为了保障安全，换一个场景可能就会违反规则。此外，将计算密集的VLM集成到高频RL训练循环中面临严重的延迟瓶颈，单次VLM推理可能需要数百毫秒，而仿真步通常只需要几毫秒，直接调用会导致训练速度降低两个数量级，使得在线学习变得不可行。

本文的目标是本文的目标是构建一个能够高效整合基础模型语义知识到RL训练流程的统一平台，具体包括：设计异步批量推理框架解决VLM推理延迟问题，使VLM反馈能够实时或准实时地指导RL学习；开发多种VLM监督机制，包括显式的动作指导和隐式的奖励塑形，充分利用VLM的语义推理能力；实现轻量级RL策略，在保持实时推理能力约500 FPS的同时，达到接近十亿参数VLM的性能水平；提供模块化、可扩展的实验平台，支持不同VLM、RL算法和监督机制的组合与对比。

与已有工作不同的是，本文的独特切入角度是从工程系统层面解决基础模型与RL融合的瓶颈问题。现有工作要么专注于理论算法设计，但缺乏高效的工程实现；要么使用通用的RL库，这些库没有针对自动驾驶场景的专门支持，更不用说集成VLM。Found-RL是首个针对自动驾驶的基础模型增强RL专用平台，通过异步批量推理实现了VLM与RL的真正闭环训练。此外，本文在算法层面提出了条件对比动作对齐，创新性地通过速度和命令条件化解决了CLIP在连续控制中的动态盲视问题，这是对现有CLIP based奖励塑形方法的重要改进。

核心方法

Found-RL整体框架由三个耦合部分组成：仿真层、算法层和应用层。仿真层基于CARLA提供标准化基准和多样化交通场景，生成多模态驾驶观测如鸟瞰图BEV或BEV掩码以及轻量结构化上下文如速度、交通规则状态等和任务定义的奖励终止信号。算法层通过异步批量推理管道将经典RL学习器与基础模型集成，rollout workers将观测和上下文转换为提示，发送到共享请求队列，推理服务器微批次处理请求运行VLM CLIP推理并返回反馈，而不阻塞仿真器循环；得到的反馈如专家类动作建议或语义分数与标准转移一起存储在回放缓冲区中，被模块化学习目标消费。应用层将这些模块实例化为从基础模型反馈学习的端到端工作流，包括VLM动作指导和基于CLIP的奖励塑形，并在一致的评估协议下支持系统性基准测试和消融分析。

核心创新点包括三个层面：工程层面，异步批量推理框架将重型VLM推理从实时仿真循环解耦，通过客户端服务器设计和批次聚合解决延迟瓶颈；算法层面，Value Margin Regularization和Advantage Weighted Action Guidance两种机制有效地将VLM的动作知识蒸馏到RL策略，VMR通过margin约束鼓励critic给VLM动作更高值，AWAG通过advantage过滤只模仿优于当前策略的VLM动作；奖励层面，Conditional Contrastive Action Alignment创新性地对CLIP文本提示进行速度和命令条件化，从720个上下文感知提示中动态检索30个与当前上下文对齐的动作锚点，通过语义邻居掩码计算归一化margin奖励，缓解了CLIP的动态盲视和概率稀释问题。

方法步骤详情

Found-RL的完整工作流程包含以下步骤：首先，在数据准备阶段，从CARLA Leaderboard、NoCrash和CARLA Challenge三个基准收集演示数据，使用Roach PPO和autopilot漫游专家策略生成约137.4万状态动作转移对，并应用终止步过滤规则移除碰撞前的片段。接着，使用这些数据微调InternVL3等VLM模型，使其能够从BEV图像生成专家动作建议。同时微调OpenCLIP ViT B 16模型，将离散化的速度、控制动作与导航命令组成的语义提示与视觉观测对齐。在训练阶段，每个并行环境在步骤t构建查询提示，其中包含速度、路线命令、交通灯状态等结构化信号，请求被发送到共享队列。推理服务器使用大小上限和短超时形成微批次，运行选定的VLM返回每个请求的输出如VLM专家动作和可用性指示器。rollout端通过键异步匹配输出，存储增强转移。学习阶段，对于VMR，当可用时添加正则化项，使用余弦衰减系数控制强度；对于AWAG，计算advantage，应用Q filter门控和权重，最大化VLM动作的对数似然。对于CLIP奖励塑形，在每步计算上下文，检索对应的30个动作锚点，使用余弦相似度计算概率，定义语义邻居集，计算margin，经RMS归一化后得到最终奖励增量。

技术新颖性

技术新颖性体现在多个维度：架构层面，异步批量推理框架是首个针对基础模型增强RL的专用设计，通过请求队列、微批次聚合和异步匹配实现了VLM推理与仿真循环的真正解耦，这不同于简单的后台线程或延迟容忍策略；算法层面，VMR的margin based正则化和AWAG的advantage weighted门控实现了从VLM动作到RL策略的知识蒸馏，余弦衰减调度确保早期依赖VLM指导、后期转向自主探索，平衡了模仿学习与自我探索；奖励层面，条件对比动作对齐通过上下文条件化和动态锚点检索解决了CLIP在连续控制中的根本局限性，即无法感知数值化的ego状态，720个上下文感知提示库和语义邻居掩码的设计既保证了状态信息的完整编码，又避免了全局分类的概率稀释；系统层面，Found-RL提供了从仿真、算法到应用的完整流水线，支持模块化组合不同VLM、RL算法和监督机制，为社区提供了可复现、可扩展的研究平台，这是对现有孤立研究范式的重要推进。

实验结果

实验在CARLA Leaderboard和NoCrash两个基准上全面评估了Found RL的性能。在Leaderboard基准上，VLM增强的RL方法在所有指标类别上显著超越传统RL基线。DrQv2 CLIP取得了最优的Driving Score 0.77和Success Rate 0.57，大幅超越vanilla DrQv2基线。关键的是，这种激进进展没有牺牲安全性，VLM增强的智能体表现出更低的碰撞率，例如SAC VMR将车辆碰撞从0.50降低到0.20每公里。此外，这些方法保持了高能效，SAC VMR实现了最低的电池消耗，证明VLM衍生的监督有效引导智能体学习不仅鲁棒安全而且平滑节能的策略。在NoCrash基准上，Town01和Town02的结果共同表明VLM增强RL不仅稳定了较弱基线在熟悉环境中的性能，还在新颖场景中培养了显著的泛化能力。SAC VMR将Town01的Driving Score从微不足道的0.24提升到竞争性的0.71，在未见过的Town02将Success Rate从失败的7%恢复到47%。强大的DrQv2 CLIP基线在训练环境保持峰值性能，在Town02达到最高的整体Driving Score 0.76，确认其对增加交通复杂性的韧性。VLM反馈在碰撞避免和效率方面在两个域都至关重要，在Town01，SAC VMR显著降低了vanilla智能体的高车辆碰撞率从1.81到0.59每公里，在更具挑战性的Town02，DrQv2 CLIP将近减半了基线率从1.27降低到0.73每公里，确认对比对齐奖励成功编码了可迁移的障碍物感知。能效分析显示从动作指导有一致的效率收益，SAC AWAG相比基线实现了显著的能量节约，证明VLM指导的策略促进更平滑、不那么激进的致动以及其安全益处。

**Table 1**: Compare with RLs on Leaderboard benchmark

**Table 2**: Compare with RLs on NoCrash benchmark (Town01)

**Table 3**: Compare with RLs on NoCrash benchmark (Town02)

**Table 4**: Compare with VLMs on Leaderboard benchmark

**Table 8**: Comparison between Found-RL and VLMs on FPS and model size

**Fig. 6**: Comparison of average reward and route completion in meters per step between Found-RL and classical RLs on Leaderboard and NoCrash benchmarks.

**Fig. 7**: Comparison of actor and critic losses between Found-RL and classical RLs on Leaderboard and NoCrash benchmarks.

**Fig. 9**: Action prediction confusion matrix.

查看结构化数据

任务	指标	本文	基线	提升
CARLA Leaderboard基准驾驶分数	Driving Score	DrQv2-CLIP: 0.77	TD3: 0.53, SAC: 0.21, DrQv2: 0.56	相比DrQv2提升37.5%，相比SAC提升266.7%
CARLA Leaderboard基准成功率	Success Rate	DrQv2-CLIP: 0.57	TD3: 0.37, SAC: 0.03, DrQv2: 0.38	相比DrQv2提升50%，相比SAC提升1800%
CARLA Leaderboard基准车辆碰撞率	Collisions of Vehicle per km	SAC-VMR: 0.20	SAC: 0.50, TD3: 0.21	相比SAC降低60%
NoCrash Town01 Driving Score	Driving Score	SAC-VMR: 0.71	SAC: 0.24, TD3: 0.45	相比SAC提升195.8%
NoCrash Town02 Success Rate	Success Rate	DrQv2-CLIP: 0.71	SAC: 0.07, TD3: 0.20	相比SAC提升914.3%
与VLM对比Driving Score	Driving Score (Leaderboard)	DrQv2-CLIP (3.82M参数): 0.77	InternVL3-1B (10亿参数): 0.63, Qwen2.5-VL-7B (70亿参数): 0.76	用小260-1800倍的模型达到或超过VLM性能
推理速度FPS	Frames Per Second	Found-RL: 500 FPS	InternVL3-1B: 1.26 FPS, Qwen2.5-VL-7B: 0.89 FPS	速度提升400-560倍

局限与改进

作者承认的主要局限包括：异步批量推理框架虽然解决了延迟问题，但在VLM反馈与RL训练之间仍存在同步挑战，可能产生过时的反馈影响学习质量；BEV输入的降分辨率限制了处理复杂动态智能体的能力，这可能是RL智能体在某些场景下车辆碰撞率高于十亿参数VLM的原因；当前方法主要依赖单VLM反馈，缺乏模型ensemble机制，可能受限于单个VLM的偏见或错误；CLIP奖励塑形虽然高效，但其对比学习范式本质上依赖预训练数据分布，对于训练数据中罕见的corner case可能提供不当奖励；VLM微调数据使用终止步过滤移除了碰撞前的片段，这可能限制模型学习避免危险行为的能力。此外，实验主要在CARLA Town01到06的城市场景中进行，对于高速公路、农村道路等不同驾驶场景的泛化性尚未验证。

独立分析的弱点

独立分析的弱点包括：CLIP的语义邻居掩码基于人工定义的相似动作关系，这种硬编码可能无法捕捉所有细微的动作语义差异，例如在不同速度下刹车和急刹车的语义边界可能是动态变化的；VMR和AWAG的余弦衰减调度依赖于预定义的训练步数和超参数，在不同环境或任务中可能需要重新调优，缺乏自适应机制；当前异步推理使用固定的批次大小和超时参数，在VLM延迟波动较大时可能无法最优地平衡吞吐量和延迟；BEV掩码输入虽然计算高效，但丢失了原始RGB图像中的纹理和细节信息，这在识别远处交通灯、读取标志等任务中可能成为瓶颈；平台目前仅支持单个VLM同时提供反馈，对于不同驾驶方面如安全、效率、舒适性可能需要不同专业化的VLM，当前架构缺乏这种多模型协调机制。

未来方向

作者提出的未来工作方向包括：探索推理加速和量化技术，以防止过时反馈并确保在扩展到更大模型时的广泛样本覆盖；在更具挑战性的基准如CARLA Leaderboard 2.0上验证鲁棒性；设想编排多VLM ensemble，其中不同模型在不同驾驶方面提供专门反馈以协作增强学习效率，甚至集成轻量级VLM直接作为策略骨干进行端到端规划。基于成果可延伸的方向包括：扩展到更丰富的多模态输入，如激光雷达、雷达传感器数据，增强感知能力；研究VLM反馈的在线适应机制，使VLM能够根据智能体当前学习阶段动态调整指导策略；探索元学习框架，让智能体学会如何有效利用VLM反馈，而非硬编码的蒸馏机制；将框架扩展到多智能体协同驾驶场景，研究VLM如何协调多个智能体的决策；开发更精细的奖励分解机制，将CLIP奖励分解为安全、效率、舒适性等多个子奖励，提供更细粒度的监督信号。

复现评估

作者宣布代码、数据和模型将公开可用在GitHub，这为复现提供了良好基础。数据收集过程详细记录：从CARLA Leaderboard使用Roach PPO专家策略收集160集约45.7万转移，从NoCrash使用autopilot漫游专家收集80集约23.5万转移，从CARLA Challenge收集240集约68.2万转移，总计约137.4万转移，每集最大持续时间300秒。实验使用NVIDIA RTX PRO 6000 Blackwell Max Q工作站和Saturn Cloud的A100 GPU，这属于高端但可获得的硬件资源。超参数如折扣因子、学习率、批次大小、VMR margin、AWAG参数等需要从论文或补充材料中提取，当前文本中未完全明确。评估协议严格且一致：使用ROACH风格的奖励塑形方案，包括速度跟踪、路线保持、航向对齐和平滑性惩罚；终止标准包括阻塞、路线约束违反、闯红灯、闯停止标志或碰撞事件。由于CARLA模拟器的确定性设置和详细的实验配置记录如Town训练测试划分、随机种子等，复现难度中等。主要挑战在于VLM微调和大规模RL训练的计算资源需求，以及异步推理框架的正确实现。

Found-RL：基础模型增强的自动驾驶强化学习平台 Found-RL: foundation model-enhanced reinforcement learning for autonomous driving