面向长尾驾驶场景的推理轨迹数据集：KITScenes LongTail LongTail Driving Scenarios with Reasoning Traces: The KITScenes LongTail Dataset
提出包含多视角视频和多语言推理轨迹的自动驾驶长尾场景数据集与评估基准
前置知识
长尾分布 (Long-tail Distribution)
在实际驾驶场景中，绝大多数数据集中在少数常见情况（如白天直行、晴天），而大量罕见但重要的场景（如施工区、暴雪、夜间事故）在数据集中占比极低。这些罕见场景虽然出现频率低，但对自动驾驶系统的安全性和鲁棒性至关重要。论文指出，nuScenes数据集中约88%的场景为白天录制，直行和常规转弯占约90%，因此夜间、超车、变道等均属于长尾数据。
自动驾驶系统在这些长尾场景中的表现直接决定了其在真实世界中的安全性和可靠性，是当前自动驾驶技术面临的核心挑战之一
视觉语言模型 (VLM) 与视觉语言动作模型 (VLA)
VLM（如GPT-5、Gemini 3 Pro）是能够同时处理图像/视频和文本输入的多模态大模型，可生成文本输出进行场景理解和推理。VLA在此基础上进一步将视觉和语言上下文映射到可执行的驾驶动作（如方向盘角度、加速度），实现从感知到控制的端到端转换。这些模型通过大规模预训练获得强大的上下文泛化能力和可解释的推理能力。
论文评估的核心对象即为多种VLM/VLA在长尾场景中的规划能力，理解其工作原理是理解实验设计的基础
上下文学习 (In-Context Learning, ICL)
一种无需微调模型参数即可让大模型适应新任务的技术。通过在输入提示中提供少量示例（few-shot），模型能够从这些示例中学习任务模式并应用于新输入。论文探讨了两种ICL机制：(1) few-shot prompting，直接在提示中提供示例；(2) few-shot chain-of-thought (CoT) prompting，在示例中额外添加推理轨迹以引导多步决策。
这是论文评估的核心实验范式，决定了模型如何利用数据集中的推理轨迹进行学习和推理
思维链 (Chain-of-Thought, CoT) 推理
一种让大模型在给出最终答案前先进行中间推理步骤的技术。在自动驾驶场景中，CoT体现为模型先描述对场景的观察、分析驾驶动作的原因（如'我需要减速因为前方有施工区'），然后输出轨迹规划。论文发现，与数学/代码领域的CoT不同，驾驶领域的CoT需要解释驾驶动作的具体原因。
论文的核心贡献之一是研究CoT推理对驾驶规划的影响，发现其效果存在上下文记忆冲突问题
语义一致性 (Semantic Coherence)
论文提出的概念，用于衡量模型输出的推理轨迹中描述的驾驶动作与最终规划轨迹之间的一致程度。通过Rocchio分类器和句子嵌入（使用EmbeddingGemma 0.3B模型），将推理文本中的动作（加速、转向）与轨迹推导出的动作进行语义匹配。例如，推理文本说'保持当前速度'而轨迹显示加速，则语义一致性低。
这是论文的核心评估指标之一，直接反映模型推理过程的可信度和可解释性
多轨迹评分 (Multi-Maneuver Score, MMS)
论文提出的评估指标，解决单一专家轨迹无法覆盖驾驶多模态性的问题。对于每个场景，提供5类参考轨迹：专家轨迹（10分）、速度不当（7分）、忽视指令（4分）、驶出道路（1分）、碰撞（0分）。MMS通过比较规划轨迹与参考轨迹的相似度，结合舒适度惩罚（基于加加速度jerk和曲折度tortuosity），给出0-10分的综合评分。
这是论文的核心创新指标，比传统L2误差更能真实反映驾驶行为的质量
加加速度 (Jerk) 与曲折度 (Tortuosity)
Jerk是轨迹三阶导数，衡量加速度的变化率，反映驾驶平顺性。计算公式为 $\text{jerk} = \frac{1}{T}\sum_t \left\|\frac{\Delta Y_{t,:}}{\Delta t^3}\right\|$。Tortuosity衡量轨迹的曲折程度，计算公式为 $\text{tortuosity} = \frac{\sum_{t=2}^{T}\|Y_{t,:}-Y_{t-1,:}\|}{\|Y_{T,:}-Y_{1,:}\|}$，即实际行驶距离与直线距离的比值。当jerk超过参考轨迹44%或tortuosity超过6%时，MMS分别扣1分。
这两个指标是MMS中舒适度惩罚的依据，直接影响最终评分结果
研究动机
自动驾驶在长尾场景中的泛化能力仍是重大挑战。现有数据集如nuScenes、Waymo Open Perception等主要聚焦感知任务，约88%的数据为白天录制，直行和常规转弯占约90%，缺乏对罕见但关键场景（如施工区、恶劣天气、事故）的覆盖。Waymo Open E2E基准虽然考虑了长尾场景，但仅提供当前时间步的图像而非视频数据，且不包含推理轨迹，无法评估模型的推理能力。DriveLM-Data使用ChatGPT-3.5生成的规则化问答标签，但评估方式可解释性不足。CoVLA数据集使用VLM自动生成描述，可能导致模型崩溃问题。此外，现有基准大多仅与单一专家轨迹对比，忽视了驾驶行为的多模态性——同一场景可能存在多种合理驾驶选择。
本文的目标是本文旨在构建一个专注于长尾驾驶场景的综合数据集和评估基准，具体目标包括：(1) 提供包含多视角视频（360度视野、6个摄像头视角）、高级驾驶指令和人工标注的多语言推理轨迹（英语、西班牙语、中文）的高质量数据集；(2) 设计能够评估多种合理驾驶行为的评估指标MMS，而非仅对比单一专家轨迹；(3) 引入语义一致性指标，量化模型推理轨迹与规划轨迹之间的语义匹配程度；(4) 系统评估当前最先进的VLM和端到端驾驶模型在长尾场景中的零样本、少样本和CoT推理能力。
与已有工作不同的是，本文的独特切入角度体现在三个维度：第一，数据层面，这是首个同时包含多视角视频、精细语言指令（如'overtake truck driving on the right'而非简单的'left/right/straight'）和多语言专家推理轨迹的长尾驾驶数据集，且推理轨迹来自具有多元文化背景的领域专家，能够研究不同推理风格对驾驶能力的影响。第二，评估层面，MMS指标首次将多轨迹评估、舒适度评估和指令遵循评估整合到单一指标中，比L2误差与闭环DrivingScore的相关性更高（Pearson r=0.59 vs -0.45）。第三，方法层面，论文发现模型生成的推理轨迹中的驾驶动作比最终规划轨迹更接近专家行为，从而提出使用运动学模型从CoT推理中提取驾驶动作来改进规划的创新方法。
核心方法
本文的方法体系包含数据集构建、评估指标设计和实验评估三个层次。数据集构建方面，研究团队在两年时间内（2023年底开始）于德国卡尔斯鲁厄、海德堡、曼海姆和黑森林等地录制驾驶数据，通过刻意选择施工区、恶劣天气、事故等罕见场景，结合帕累托原则（以nuScenes为参照，选取累积频率80%阈值之外的场景类型）筛选出1000个9秒长的场景。每个场景包含同步六视角视频、360度拼接帧、高级驾驶指令和多语言推理轨迹。评估指标方面，MMS通过比较规划轨迹与5类参考轨迹的相似度进行评分，结合舒适度惩罚；语义一致性指标使用Rocchio分类器和句子嵌入评估推理文本与轨迹的匹配度。实验评估方面，系统测试了多种开源VLM（Pixtral 12B、Gemma 3 12B、Qwen3-VL 8B）、闭源模型（Gemini 3 Pro、Gemini Robotics ER 1.5、GPT-5）和传统端到端模型（UniAD、DMAD）在不同推理设置下的表现。
本文的核心创新在于三个方面。首先，MMS指标的本质区别在于它承认驾驶行为的多模态性——同一场景可能存在多种合理选择（如直行、左转、右转在某些路口都是可接受的），而传统L2误差仅与单一专家轨迹对比。MMS为每个场景提供5类参考轨迹，通过相似度加权和舒适度惩罚给出综合评分。其次，语义一致性指标的创新在于使用嵌入空间中的Rocchio分类来评估推理文本与轨迹的语义匹配，这比使用ChatGPT评估更高效、更可解释。最重要的是，论文发现了一个反直觉的现象：CoT推理反而降低了模型性能（平均MMS从3.97降至2.84-3.56），但模型推理轨迹中的驾驶动作却比最终轨迹更接近专家行为。这揭示了上下文记忆冲突问题，并启发了使用运动学模型从CoT中提取动作来改进规划的创新方法。
方法步骤详情
数据集构建流程分为四个步骤：第一步，场景筛选与录制，在德国多个城市选择包含施工区、恶劣天气、夜间、超车/变道、交叉路口等长尾场景的道路进行驾驶录制，使用6个摄像头覆盖360度视野，以5Hz帧率录制4秒视频（共20帧）。第二步，数据标注，由领域专家（自动驾驶研究人员）标注高级驾驶指令（如'overtake truck driving on the right'），指令类型分布为直行45.2%、右转14.5%、左转6.2%、使用右车道7.7%、使用左车道6.5%、超车13.6%等。第三步，推理轨迹标注，专家回答5个问题：(1)开放性问题描述场景观察，(2-3)未来0-3秒的转向和加速原因，(4-5)最后2秒的转向和加速原因。专家使用母语（英语、西班牙语、中文）作答，部分使用语音并通过Whisper转录。第四步，参考轨迹生成，为MMS评估提供5类参考轨迹：专家轨迹、速度不当轨迹（通过扩展卡尔曼滤波和平滑修改专家轨迹，速度±20%）、忽视指令轨迹（人工标注）、驶出道路轨迹（人工标注）、碰撞轨迹（人工标注）。
技术新颖性
本文的技术新颖性体现在多个层面。数据集层面，这是首个提供多语言推理轨迹的驾驶数据集，且推理轨迹来自真实专家而非GPT生成，避免了模型崩溃问题。数据集包含精细的语言指令而非简单的方向指令，能够更精确地评估指令遵循能力。图像拼接方法使用渐进式单应性变换而非单一单应性矩阵，在后视图区域产生重叠区域，提高了拼接质量。评估层面，MMS指标首次将多轨迹评估、舒适度评估（基于jerk和tortuosity的相对阈值，分别为44%和6%）和指令遵循评估整合，且计算效率远高于闭环仿真或神经渲染。语义一致性指标使用EmbeddingGemma 0.3B（当时MTEB前10中计算效率最高的模型）和Rocchio分类，比BLEU等指标更能处理同义词问题（如'keeping current speed' vs 'maintaining my speed'）。方法论层面，论文发现了CoT推理的上下文记忆冲突问题，并提出使用运动学自行车模型从CoT推理中提取驾驶动作来改进规划的创新方法，该方法在开源模型上取得了最佳MMS值（Gemma 3: 4.30）。
实验结果
实验结果揭示了多项重要发现。在零样本设置下，闭源模型和传统端到端模型显著优于开源VLM：Gemini 3 Pro达到最高MMS 4.61，GPT-5为4.24，而开源模型仅0.05-1.00。少样本提示显著提升开源模型性能（Pixtral: 0.05→3.63, Qwen3-VL: 0.94→3.79, Gemma 3: 1.00→3.97），但CoT推理反而降低性能（Gemma 3: 3.97→3.56），这与上下文记忆冲突有关——模型预训练中的推理轨迹多为数学/代码领域，与驾驶推理存在域差异。然而，使用运动学模型从CoT中提取驾驶动作却取得最佳效果（Gemma 3: 4.30），因为模型推理轨迹中的动作比最终轨迹更接近专家行为。语义一致性分析显示，模型推理轨迹与规划轨迹的一致性很低（0.27-0.51），即在49%-73%的场景中，推理描述的动作与实际轨迹不匹配。加速动作的一致性（0.32-0.83）高于转向动作（0.12-0.22）。MMS与闭环DrivingScore的相关性（Pearson r=0.59）远高于L2误差（r=-0.45），验证了MMS的有效性。所有模型在夜间场景表现最好，在雪天、交叉路口和特别选择的场景表现最差。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长尾驾驶场景规划（零样本） | MMS (0-10分) | Gemini 3 Pro: 4.61, GPT-5: 4.24, Gemini Robotics ER 1.5: 3.98 | 开源VLM: Pixtral 0.05, Qwen3-VL 0.94, Gemma 3 1.00; UniAD 3.24, DMAD 3.51 | 闭源模型比开源模型高3-4个数量级，比传统端到端模型高约1分 |
| 长尾驾驶场景规划（少样本） | MMS (0-10分) | Gemma 3: 3.97, Qwen3-VL: 3.79, Pixtral: 3.63 | 零样本: Gemma 3 1.00, Qwen3-VL 0.94, Pixtral 0.05 | 少样本提示提升开源模型MMS约3分，提升幅度达300%-7000% |
| 长尾驾驶场景规划（少样本CoT运动学） | MMS (0-10分) | Gemma 3: 4.30, Qwen3-VL: 4.03, Pixtral: 3.97 | 少样本CoT: Gemma 3 3.56, Qwen3-VL 3.25, Pixtral 2.84 | 运动学方法比CoT提升0.74-1.13分，Gemma 3达到开源模型最佳 |
| 语义一致性评估 | 语义一致性分数 (0-1) | Qwen3-VL 0.51, Gemma 3 0.30, Pixtral 0.27 | 理想值为1.0（完全一致） | 最高仅0.51，表明49%-73%场景中推理与轨迹不匹配 |
| MMS与闭环评估相关性 | Pearson相关系数 | MMS: r=0.59 | L2误差: r=-0.45 | MMS相关性绝对值比L2高0.14，符号更符合预期（正相关） |
局限与改进
论文存在多项局限性。首先，数据集规模有限，仅包含1000个场景（500训练/400测试/100验证），且全部来自德国，地理和文化多样性不足。其次，推理轨迹标注依赖人工，虽然使用语音转录降低标注成本，但标注效率仍受限于专家资源。第三，语义一致性评估使用EmbeddingGemma 0.3B进行Rocchio分类，虽然高效但可能无法捕捉复杂的语义关系，且参考嵌入的构建方式未详细说明。第四，MMS指标虽然比L2更全面，但仍基于非反应式评估，未考虑车辆间的交互影响。第五，实验中的少样本示例仅选择3个场景（高速公路超车、郊区左转、城市右转），可能无法覆盖所有长尾场景类型。第六，论文发现CoT推理降低性能，但未深入研究如何通过微调解决上下文记忆冲突问题。此外，论文未提供模型推理的计算成本对比，对于实际部署的可行性评估不足。
独立分析的弱点
独立分析发现以下主要弱点。第一，数据集的地理局限性——仅来自德国4个城市，无法评估模型在其他驾驶文化（如亚洲、美国）中的泛化能力，建议扩展到更多国家和城市。第二，推理轨迹的语言分布不均衡——论文提到英语、西班牙语、中文三种语言，但未提供各语言的具体标注数量和分布，可能导致某些语言的代表性不足。第三，MMS的参考轨迹构建依赖人工标注（忽视指令、驶出道路、碰撞轨迹），标注成本高且主观性强，建议开发半自动化的轨迹生成方法。第四，少样本示例的选择可能影响实验结论——仅3个示例可能无法代表所有场景类型，建议进行更全面的示例选择实验或使用数据集中的多样化示例。第五，语义一致性的评估粒度较粗——仅分为加速和转向两类，未考虑更细粒度的动作分类（如强加速vs轻加速）。
未来方向
论文作者提出和基于成果可延伸的未来研究方向包括：(1) 基于强化学习的微调——联合优化运动轨迹和推理轨迹，使模型生成的推理与轨迹保持一致；(2) 推理风格和语言研究——探索在特定推理风格或语言上进行预训练/微调是否能提升性能；(3) 世界模型评估——使用数据集评估具有文本解码器的世界模型（如VL-JEPA），检验内部世界表征是否能产生更接地气的推理；(4) 人类化推理评估——通过与专家推理轨迹对比，评估AI模型的推理是否具有人类特征；(5) 扩展数据集规模——增加场景数量和地理覆盖范围；(6) 解决上下文记忆冲突——通过领域特定的微调或提示工程，让模型更好地适应驾驶领域的推理模式；(7) 反应式评估——结合闭环仿真环境，评估模型在交互场景中的表现。
复现评估
论文在可复现性方面表现良好。数据集已在HuggingFace开源（hf.co/datasets/kit-mrt/kitscenes-longtail），包含完整的多视角视频、拼接图像、推理轨迹和参考轨迹。评估指标MMS的计算公式和阈值（jerk 44%、tortuosity 6%）均有详细说明。实验设置清晰，包括使用的模型版本（如gemini-3-pro-preview、gpt-5-2025-08-07）、推理参数和提示模板。然而，存在一些复现挑战：(1) 闭源模型（Gemini 3 Pro、GPT-5）的API访问可能受限；(2) 专家推理轨迹的标注过程依赖人工，无法完全自动化复现；(3) 论文提到使用Perplexity Pro优化提示模板，但未提供完整的优化过程；(4) 参考轨迹中的人工标注部分（忽视指令、驶出道路、碰撞）需要专业标注人员。整体而言，开源数据集和清晰的评估协议使得核心实验结果可以被复现和验证。
论文图表
三部分组成：左侧对比表展示nuScenes、Waymo E2E、CoVLA和本文数据集在长尾数据、专家推理、规划视野、多轨迹评估、舒适度评估、真实视频数据、高级指令等维度的对比；中间展示一个施工区长尾场景的示例帧；右侧展示该场景的专家推理轨迹起始部分，描述了在雨天施工区跟随前车行驶的观察。
这张图是论文的核心概览图，直观展示了本文数据集相对于现有基准的独特优势，同时用具体示例说明了长尾场景和推理轨迹的内容形式