DrivingGen：自动驾驶生成式视频世界模型的综合基准测试

首个面向自动驾驶世界模型的综合基准，覆盖视觉真实性、轨迹合理性、时间一致性和可控性四大维度

前置知识

生成式世界模型

生成式世界模型是一类能够根据当前场景和可选条件（如文本提示、驾驶动作）预测未来场景演变的模型。在自动驾驶领域，这类模型可以想象自车和周围交通参与者的未来运动轨迹，生成逼真的驾驶视频。它们本质上是对物理世界的概率建模，通过学习海量驾驶数据中的时空规律，实现对未来的预测和模拟。这类模型通常基于扩散模型（Diffusion Model）或流匹配（Flow Matching）等生成范式构建，能够支持闭环仿真、合成数据生成和安全测试。

本文的核心就是为这类模型建立评测基准，理解生成式世界模型的工作原理和应用场景是理解全文的基础。

Fréchet Video Distance (FVD)

FVD 是衡量生成视频质量的经典分布级指标，其思想源自图像领域的 FID（Fréchet Inception Distance）。它首先使用预训练的视频特征提取器（通常是 I3D 网络）将真实视频和生成视频映射到特征空间，然后假设两个分布都服从多元高斯分布，计算它们之间的 Fréchet 距离。FVD 越小表示生成视频的分布越接近真实视频的分布。这个指标反映的是整体分布层面的相似性，而非单个视频的质量。

FVD 是现有驾驶世界模型最常用的评估指标，本文指出其局限性并提出了补充指标 FTD，理解 FVD 才能理解本文的创新动机。

SLAM（同时定位与地图构建）

SLAM 是一种让机器人在未知环境中同时估计自身位置和构建环境地图的技术。在本文中，SLAM 被用于从生成的驾驶视频中恢复相机（即自车）的运动轨迹。具体流程是：通过 SIFT 特征匹配和 RANSAC 算法估计每帧之间的相机位姿变化，结合 PnP（Perspective-n-Point）算法和 UniDepthV2 深度估计，重建出完整的自车轨迹。这个轨迹随后用于评估生成视频中的运动是否合理、是否遵循了给定的条件轨迹。

轨迹提取是本文评估体系的关键环节——只有从视频中恢复出轨迹，才能评估轨迹的合理性、一致性和可控性。

DINOv3 特征

DINOv3 是 Meta 推出的自监督视觉基础模型，能够提取高质量的图像/视频语义特征。它通过自蒸馏的方式训练，学到的特征具有很强的语义表达能力和时间一致性。在本文中，DINOv3 被用作特征提取器来衡量视频帧之间的语义相似度：对于相邻帧（或经过自适应降采样的帧），提取它们的 DINOv3 特征并计算余弦相似度，以此评估视频的时间一致性。相比直接比较像素值，基于 DINOv3 的特征相似度更能捕捉语义层面的一致性。

DINOv3 是本文衡量视频时间一致性和智能体外观一致性的核心工具，理解其特性才能理解本文指标的设计思路。

研究动机

当前自动驾驶生成式世界模型领域虽然研究活动快速增长，但缺乏一个严谨的基准来衡量进展和指导研究方向。现有评估存在四大具体问题：第一，大多数基准依赖 FVD 等分布级指标来评估视频真实性，但驾驶场景对成像有独特的安全约束——传感器伪影、眩光等可能导致感知系统失效，通用视频指标无法捕捉这些驾驶特有的问题。第二，生成视频背后的自车运动轨迹至关重要，但轨迹的物理合理性（是否动态可行、是否安全）很少被量化评估。第三，时间一致性在驾驶场景中至关重要，因为周围物体的突然消失或外观突变会严重影响仿真可靠性，但现有基准往往只关注场景级一致性而忽略智能体级别的一致性。第四，对于基于自车轨迹条件的视频生成，评估生成运动是否忠实遵循给定条件轨迹这一可控性方面几乎被完全忽视。此外，现有数据集在天气、时间段和地理区域上的多样性严重不足——nuScenes 验证集中超过 80% 的数据是晴天白天场景，OpenDV 验证集更是超过 90%，这种偏差使得模型在极端天气和复杂场景下的表现无法被有效评估。

本文的目标是本文的目标是建立 DrivingGen——自动驾驶生成式世界模型的首个综合基准。具体目标包括：构建一个在天气（晴天、雨、雪、雾、洪水、沙尘暴）、时间段（白天、夜晚、黎明/黄昏）、地理区域（覆盖北美、欧洲、东亚、中东、拉美、南亚、撒哈拉以南非洲七大区域）和驾驶场景（密集交通、突然变道、行人过马路等）上高度多样化的评估数据集；设计一套涵盖视觉真实性、轨迹物理合理性、时间一致性和运动可控性四个维度的新型评估指标体系；对 14 个最先进模型进行全面基准测试，揭示当前模型的优劣和未来研究方向。整个数据集控制在 400 个样本（每个赛道 200 个），在评估效率和评估全面性之间取得平衡。

与已有工作不同的是，本文的独特切入角度在于同时从「视觉感知」和「机器人/自动驾驶」两个视角评估生成式世界模型。现有基准要么只关注视频质量（如 VBench），要么只关注轨迹对齐（如 ACT-Bench），要么评估维度单一。DrivingGen 首次将四个维度——分布、质量、时间一致性、轨迹对齐——整合到一个统一框架中。另一个关键洞察是：视频质量不仅仅取决于视觉真实感，对于自动驾驶和具身智能体来说，诱导出的自车运动的合理性同样重要。仅关注视觉保真度只能看到问题的一半。此外，本文提出了全新的 FTD（Fréchet Trajectory Distance）指标，将 FID 的思想从视频域扩展到轨迹域，使用运动预测领域的 Motion Transformer 编码器来衡量轨迹分布的距离，这一设计本身就是一个重要的方法论创新。

核心方法

DrivingGen 的设计思路可以用一个类比来理解：如果我们把生成式世界模型比作一个「画家」，那么现有基准只检查「画得像不像」（视觉质量），而 DrivingGen 不仅检查画得像不像，还要检查「画中的物体运动合不合理」（轨迹物理性）、「画中的物体会不会突然消失」（时间一致性）、「画家有没有按要求画」（可控性）。具体技术路线分为三大模块：首先是多样化数据集的构建，包含开放域赛道和自车条件赛道两个互补方向；其次是四维评估指标体系的设计，涵盖分布、质量、时间一致性和轨迹对齐；最后是对 14 个模型的全面基准测试和分析。整个框架的设计原则是：不仅要衡量「看起来好不好」，更要衡量「在驾驶场景中能不能用」。

本文最核心的创新是提出了一个四维评估框架，将视觉评估和轨迹/物理评估统一起来。具体来说，有三个关键设计：第一，Fréchet Trajectory Distance（FTD）指标，这是全文最重要的技术贡献。FTD 将 FID 的高斯 Fréchet 距离思想应用到轨迹域，使用运动预测模型 MTR 的编码器将轨迹映射到潜空间，然后计算生成轨迹分布和真实轨迹分布之间的距离。这样就能评估生成视频背后的运动是否「像真实驾驶」。第二，自适应时间一致性评估。传统方法用固定步长计算帧间相似度，但这会被近静态视频「作弊」——不动的视频一致性天然高。DrivingGen 先用光流模型计算每帧的运动幅度，然后对低运动视频进行更稀疏的降采样，使得每步位移在不同速度视频之间可比，再用 DINOv3 特征计算一致性。第三，智能体异常消失检测。使用视觉大语言模型（VLM）来判断智能体的消失是「自然的」（离开视野或被遮挡）还是「异常的」（突然消失），这比简单的检测框跟踪更能捕捉语义层面的问题。

方法步骤详情

DrivingGen 的评估流程分为以下步骤：第一步，数据准备。每个样本包含三个组件：前视 RGB 图像（视觉输入）、场景描述（语言输入，由 Qwen 模型生成）、可选的自车轨迹（动作输入）。开放域赛道从互联网收集多样化驾驶视频，覆盖全球七大区域；自车条件赛道聚合五个开源数据集（Zod-欧洲、DrivingDojo-中国、COVLA-日本、nuPlan-美国、WOMD-美国）。总共 400 个样本，每赛道 200 个。第二步，视频生成。将每个样本输入待评估的世界模型，生成 100 帧的预测视频。第三步，轨迹提取。使用 SLAM 管线（SIFT+RANSAC+PnP+UniDepthV2）从生成视频中恢复自车轨迹，包含失败恢复策略：如果某帧位姿估计失败，使用上一帧位姿加常速度外推并添加随机扰动。第四步，四维指标计算：(1) 分布指标——计算 FVD 和 FTD；(2) 质量指标——CLIP-IQA+ 评估主观感知质量、MMP 评估 PWM 闪烁、复合轨迹质量指标评估舒适度+运动性+曲率；(3) 时间一致性——自适应降采样后计算 DINOv3 帧间相似度、YOLOv10+SAM2 追踪智能体计算外观一致性、VLM 判断异常消失、轨迹速度/加速度稳定性；(4) 轨迹对齐——计算 ADE 和 DTW。

技术新颖性

DrivingGen 的技术新颖性体现在以下几个方面。首先，FTD 指标是首创——在此之前，没有任何基准将 FID 式的分布距离应用到驾驶轨迹域。FTD 使用 MTR 编码器将轨迹切分为窗口、编码、聚合后计算 Fréchet 距离，这一设计巧妙地利用了运动预测领域的预训练模型，避免了从零训练轨迹编码器的成本。其次，自适应时间一致性评估解决了传统固定步长方法的「静态作弊」问题，这是一个被忽视但实际影响评估公平性的重要问题。第三，智能体异常消失检测将 VLM 引入视频质量评估，能够理解语义层面的合理性（例如，一辆车在十字路口突然消失是不合理的，但在转弯后离开视野是合理的），这比传统的检测框跟踪方法更接近人类判断。第四，轨迹质量指标的设计也很有新意——它不依赖参考轨迹，而是通过评估轨迹的运动学特性（加速度平滑度、运动充分性、曲率合理性）来判断轨迹的物理合理性，这种无参考评估方式使得该指标可以应用于开放域场景。

实验结果

DrivingGen 对 14 个模型的全面基准测试揭示了多个重要发现。首先，闭源模型在视觉质量和整体排名上占据领先地位——Kling 2.1 在开放域赛道排名第一（平均排名 1），Gen-3 Alpha Turbo 排名第二，它们在感知质量评分和智能体行为稳定性方面表现突出，很少出现异常物体消失，时间一致性保持良好。其次，顶级开源通用模型在特定指标上具有竞争力——例如 CogVideoX 和 Wan 在 FVD 上表现优异（Wan2.2-I2V 在开放域赛道 FVD 为 609.0，是所有模型中最低的），表明开源模型可以在特定维度上超越闭源模型。第三，也是最重要的发现：没有任何模型能同时在视觉真实性和轨迹保真度上表现出色。通用模型（如 Wan、CogVideoX）生成的视频视觉效果好，但运动轨迹违反物理规律；驾驶专用模型（如 Vista、UniFuture）的轨迹更准确（ADE 低至 19.70），但视觉质量明显落后。第四，在自车轨迹条件下，所有模型的轨迹对齐能力都有限——ADE 最低也要 19.70（Vista），DTW 最低 1216（Vista），说明当前模型在遵循给定轨迹方面仍有很大提升空间。第五，DrivingGen 能够暴露单指标无法发现的失败模式——例如 VaViM 的 FVD 高达 1446.6（最差之一），但其视频一致性高达 0.9159（最高之一），说明它生成的视频虽然分布偏差大但内部一致性好。第六，物理世界模型 Cosmos-Predict2 在自车条件赛道表现亮眼（排名第四，ADE 22.38），展示了物理先验对轨迹建模的价值。

**Table 3**: 14 个生成式世界模型在 DrivingGen 上的评估结果

查看结构化数据

任务	指标	本文	基线	提升
开放域赛道-整体排名	平均排名	Kling 2.1: 1, Gen-3: 2, LTX-Video: 3	DrivingDojo: 14 (最差)	闭源模型整体领先，驾驶专用模型排名靠后
开放域赛道-视频分布	FVD ↓	Wan2.2-I2V: 609.0	VaViM: 1446.6	Wan 比最差模型降低 58%
自车条件赛道-轨迹对齐	ADE ↓	Vista: 19.70	VaViM: 41.92	Vista 比最差模型降低 53%
自车条件赛道-轨迹分布	FTD ↓	Kling 2.1: 23.74	CogVideoX: 166.6	Kling 比最差通用模型降低 86%
开放域赛道-智能体异常消失	Agent Missing Score ↑	Kling 2.1: 0.9442, Gen-3: 0.9495	Cosmos-Predict1: 0.8211	闭源模型比最差模型高约 15%
自车条件赛道-轨迹质量	Trajectory Quality ↑	Wan2.2-I2V: 0.6419	VaViM: 0.1936	Wan 比最差模型高 231%

局限与改进

本文存在以下局限性。首先，数据集规模受限——400 个样本虽然在效率和多样性之间取得了平衡，但可能无法完全覆盖驾驶场景的长尾分布，特别是在极端罕见事件（如动物穿越公路、极端自然灾害）方面覆盖不足。作者也承认随着生成模型速度提升和数据集更易获取，扩展到数千个片段是可行的。其次，当前基准只评估开环预测质量，没有涉及闭环评估——而在实际自动驾驶中，闭环性能（模型响应其他智能体行为的能力）才是关键。第三，数据集仅包含单前视摄像头视角，限制了对多视角结构化驾驶生成的评估，未来需要扩展到多视角视频和 LiDAR、高精地图等传感器数据。第四，场景可控性评估缺失——当前基准没有评估模型能否控制场景内容（如其他智能体的行为、道路布局），而这对于自动驾驶应用非常重要。第五，轨迹评估依赖单目 SLAM 重建，精度受限——作者在附录中承认，轨迹相关指标与人类判断的一致性低于视频相关指标，这是由生成视频中的伪影导致 SLAM 重建不准确造成的。第六，没有涉及反事实推理评估——当前基准只评估真实驾驶场景，无法测试模型处理假设性事件的能力。

独立分析的弱点

从独立分析的角度来看，DrivingGen 存在以下几个可改进的弱点。第一，FTD 指标的编码器选择存在局限——使用 MTR 的编码器虽然巧妙，但 MTR 本身是为运动预测任务设计的，其编码器学到的表示可能不完全适合衡量生成轨迹的分布距离。一个更好的方向是专门为轨迹生成评估设计或微调编码器。第二，智能体异常消失检测依赖 VLM 的判断，而 VLM 的判断可能存在偏差——附录中的人类验证显示轨迹相关指标与人类偏好的一致性不如视频指标，说明 VLM 判断的可靠性仍有提升空间。可以引入多模型投票或人类标注校准来提高鲁棒性。第三，轨迹质量指标的三个子指标（舒适度、运动性、曲率）使用等权重几何均值聚合，但没有验证这种权重设置是否最优——在不同场景下（如高速公路 vs 城市街道），这些因素的重要性可能不同。第四，自适应时间一致性评估虽然解决了静态作弊问题，但光流模型本身的精度会影响降采样策略的合理性，特别是在生成视频质量差、光流估计不准的情况下。第五，400 个样本的统计显著性值得商榷——对于某些细分维度（如特定天气条件），样本量可能不足以得出可靠结论。

未来方向

作者在论文中提出了多个有前景的未来研究方向。首先是闭环仿真评估——当前所有被评估的生成式世界模型都是开环的，未来需要将模型集成到交互式仿真器（如 CARLA）中，评估其在闭环驾驶中的表现。其次是扩展数据模态——从单前视摄像头扩展到多视角视频、LiDAR、高精地图等，构建更结构化的驾驶世界生成评估，这需要提出新的评估指标（如视角一致性）。第三是场景可控性评估——评估模型能否控制场景内容，如行人出现、车道配置等，这对自动驾驶应用至关重要。第四是反事实推理评估——引入假设性事件（如行人突然变向、车辆异常行为）来测试模型的推理能力。第五是综合评分的探索——当前 DrivingGen 提供透明的完整指标表，但一个归一化的单一综合分数也是有价值的探索方向。从论文成果可延伸的方向包括：利用 DrivingGen 的评估框架指导模型设计，针对发现的瓶颈（如视觉-轨迹权衡）开发新的架构；将 FTD 指标推广到其他具身智能领域（如机器人操作）的轨迹评估；以及利用评估结果进行自动化的模型选择和组合。

复现评估

DrivingGen 在复现性方面做得很好。作者已公开发布数据集和评估代码（项目网站 drivinggen-bench.github.io），这是基准研究的最佳实践。数据集构建方面，开放域赛道的数据来自互联网公开视频，自车条件赛道使用的五个数据集（Zod、DrivingDojo、COVLA、nuPlan、WOMD）都是公开可用的。评估代码覆盖了所有四个维度的指标。算力需求方面，视频生成是最耗时的部分（如 Wan2.2-14B 生成一个 100 帧视频约需 20-30 分钟，需要至少 40GB 显存的 GPU），而评估套件本身相对高效——在单个现代 GPU 上，对 400 个视频运行所有指标约需 1-2 天。复现难度中等——数据准备和指标计算流程清晰，但视频生成部分需要访问被评估的模型，部分闭源模型（Kling、Gen-3）需要 API 调用且可能有费用。总体而言，只要拥有足够的 GPU 资源和模型访问权限，复现 DrivingGen 的评估结果是完全可行的。

DrivingGen：自动驾驶生成式视频世界模型的综合基准测试 DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving