面向挑战性轨迹下物理一致性驾驶视频世界模型

PhyGenesis 通过轨迹矫正与异构训练实现物理一致的驾驶视频生成

前置知识

驾驶世界模型 (Driving World Model)

驾驶世界模型是一类能够根据当前观测和未来条件（如车辆轨迹、地图信息）合成未来驾驶场景视频的生成模型。它充当自动驾驶的模拟器角色，可以替代昂贵的真实数据采集和高保真物理仿真器。典型的输入包括初始多视角图像、静态高精地图和未来轨迹序列，输出为多视角视频帧序列。近年来，基于扩散变换器（DiT）的架构在该领域取得了显著进展，如 MagicDrive-V2、DiST-4D 等。

本文的核心就是改进驾驶世界模型在物理挑战性场景下的表现，理解这一概念是阅读本文的基础。

6-DoF 轨迹 (6 Degrees of Freedom Trajectory)

6-DoF 指物体在三维空间中的六个自由度，包括三个平移分量 $(x, y, z)$ 和三个旋转分量（俯仰角 pitch、偏航角 yaw、翻滚角 roll）。传统驾驶模型通常只使用 2D 轨迹 $(x, y)$，但在碰撞、颠簸等极端物理交互中，车辆的垂直运动和姿态变化非常剧烈，仅靠 2D 坐标无法准确捕捉这些动态。PhyGenesis 将 2D 轨迹提升为 6-DoF 表示，从而能够建模碰撞后的弹跳、侧翻等复杂物理现象。

本文的物理条件生成器核心输出就是 6-DoF 轨迹，这是区别于先前方法的关键设计。

扩散变换器 (Diffusion Transformer, DiT)

扩散变换器是一种将 Transformer 架构与扩散模型结合的生成模型。与传统的 U-Net 扩散模型不同，DiT 使用 Transformer 作为去噪网络的骨干，通过自注意力机制处理序列化的潜在表示。它在高分辨率图像和视频生成中表现出色，已被广泛应用于视频世界模型中。本文的视频生成器基于 Wan2.1（一个预训练的 DiT 视频生成模型）进行改造。

理解 DiT 架构有助于理解本文视频生成器的设计和训练流程。

Rectified Flows (整流流匹配)

Rectified Flows 是一种基于常微分方程（ODE）的生成模型训练框架。与传统扩散模型逐步加噪去噪不同，Rectified Flows 在干净样本 $z_1$ 和噪声样本 $z_0$ 之间定义一条直线插值路径 $z_t = (1-t)z_1 + t z_0$，并训练模型预测速度场 $v_t = z_1 - z_0$。这种线性路径设计使得训练更加稳定，推理时可通过 ODE 求解器高效采样。本文的视频生成器 PE-MVGen 即采用此训练目标。

这是本文视频生成器的核心训练范式，理解它才能理解模型的优化方式。

CARLA 仿真器

CARLA 是一个开源的高保真自动驾驶仿真平台，基于 Unreal Engine 构建，提供逼真的物理引擎、可配置的天气和交通条件、多种传感器模拟（摄像头、LiDAR、雷达等）。它支持程序化生成碰撞、偏离道路等安全关键场景，是自动驾驶领域最广泛使用的仿真工具之一。本文利用 CARLA 生成大量物理挑战性驾驶数据，与真实数据混合训练。

CARLA 是本文构建异构训练数据集的关键工具，理解其能力有助于评估数据质量。

可变形空间交叉注意力 (Deformable Spatial Cross-Attention)

可变形注意力是一种高效的注意力机制，它不是对所有空间位置计算注意力，而是学习一组采样偏移量，仅在关键位置进行特征聚合。在本文中，物理条件生成器使用可变形空间交叉注意力将轨迹编码的 agent token 与多视角透视图（PV）特征进行交互，使模型能够根据轨迹坐标从视觉特征中提取空间相关的环境信息。这种设计比全局注意力更高效，且能精确对齐轨迹位置与视觉特征。

这是物理条件生成器中空间信息融合的核心机制，直接影响轨迹矫正的效果。

研究动机

当前驾驶世界模型在面对挑战性或反事实轨迹条件时存在严重缺陷。具体而言，现有方法存在两个根本性限制：第一，模型缺乏对轨迹可行性的物理感知能力。轨迹模拟器或规划系统生成的轨迹可能违反基本物理约束（如重叠路径导致物体穿透），但现有模型本质上只是条件到像素的翻译器，缺乏显式物理推理能力，被迫执行这些物理不一致的输入时会产生严重的渲染伪影和结构失败。第二，模型缺乏物理一致的生成能力。现有方法如 UniMLVG、MagicDrive-V2、DiST-4D 等主要在 nuScenes 等真实世界数据集上训练，而这些数据集严重偏向安全和正常驾驶行为，缺乏碰撞、偏离道路等复杂物理交互。数据显示，nuScenes 中车辆的最大加速度分布明显偏向较低值，而物理挑战性场景需要更高的加速度范围。这导致模型在面对碰撞或偏离道路等罕见场景时——即使轨迹本身是物理可行的——也无法生成逼真的动态效果。如论文中的定性比较所示，DiST-4D 在物理挑战性轨迹下会出现物体变形、消失等严重伪影。

本文的目标是本文的目标是构建一个物理感知的驾驶世界模型 PhyGenesis，能够在挑战性轨迹条件下生成高保真度且物理一致的多视角驾驶视频。具体来说，该模型需要同时解决两个问题：一是将任意轨迹输入（包括物理违反的轨迹）转换为物理合理的条件；二是在这些条件指导下生成符合物理规律的视频。最终目标是实现对安全关键事件（如碰撞、偏离道路）的可靠模拟，为自动驾驶的仿真评估和安全测试提供实用工具。

与已有工作不同的是，本文的独特切入角度在于提出联合处理轨迹可行性和物理一致视频生成的范式。先前的工作要么专注于正常场景的高保真生成（如 MagicDrive-V2、DiST-4D），要么尝试合成高风险场景（如 SafeMVDrive、Challenger），但从未将两者统一。本文的关键洞察是：物理一致的世界建模需要同时处理轨迹的物理合理性和视频生成的物理一致性。为此，PhyGenesis 引入了两个全新组件——物理条件生成器将任意轨迹转换为物理可行的 6-DoF 运动，物理增强视频生成器在异构数据（真实+仿真）上训练以学习物理交互。这种先矫正再生成的两阶段管线是首个能够在初始物理违反轨迹条件下合成物理一致多视角驾驶视频的框架。此外，本文提出了一种系统性的反事实轨迹损坏策略来构造训练对，以及利用 CARLA 构建专注于物理挑战性场景的大规模多视角合成数据集，这些都是先前工作未曾探索的方向。

核心方法

PhyGenesis 的整体思路可以用一个直觉来概括：如果给模型一个不可能完成的任务（物理违反的轨迹），与其让它硬着头皮生成伪影视频，不如先帮它把任务变成合理的，然后再生成。具体来说，系统接收三个输入：初始多视角图像 $I_0$、静态地图 $M$、以及所有 $N$ 个 agent 的未来轨迹 $T^{\text{orig}} = \{T_i^{\text{orig}}\}_{i=1}^N$，其中 $T_i^{\text{orig}} = \{(x_{i,t}, y_{i,t})\}_{t=1}^T$ 表示 agent $i$ 在时间 $t$ 的 2D 位置。这些 2D 轨迹可能来自轨迹模拟器或端到端规划系统，可能包含物理违反（如穿透）。框架分为两个阶段：第一阶段，物理条件生成器（Physical Condition Generator）将这些可能无效的 2D 轨迹动态矫正为物理合理的 6-DoF 轨迹序列 $\hat{T}^{6\text{dof}}$；第二阶段，物理增强多视角视频生成器（PE-MVGen）基于矫正后的条件合成高保真、物理一致的多视角驾驶视频。两个组件在异构数据集上联合训练，该数据集结合了 nuScenes 真实驾驶数据和 CARLA 仿真器生成的物理挑战性场景数据。

本文的核心创新点与已有方法的本质区别体现在三个方面。首先，与先前方法（如 DiST-4D、MagicDrive-V2）直接将轨迹作为条件输入视频生成器不同，PhyGenesis 在轨迹和视频生成之间插入了一个物理条件生成器中间层，它不是简单地翻译条件到像素，而是先对条件本身进行物理合理性检查和矫正。其次，轨迹表示从 2D 提升到 6-DoF，这是一个关键设计，因为极端物理交互（碰撞、颠簸）会在垂直和旋转轴上引起剧烈变化，2D 坐标根本无法捕捉。第三，训练数据从单一的正常驾驶数据变为异构数据集，通过 CARLA 仿真器专门生成物理挑战性场景（碰撞、偏离道路、急刹车等），并与正常数据 1:1 混合训练。这种设计的核心洞察是：模型在正常数据上学不到物理交互的先验，必须在训练数据中显式包含这些事件。此外，本文还设计了反事实轨迹损坏策略来构造训练对，让模型学会纠正物理违反的轨迹，这是先前工作从未探索的训练范式。

方法步骤详情

PhyGenesis 的完整流程包括数据构建、物理条件生成和物理增强视频生成三个主要步骤。 **第一步：异构多视角数据构建。** 系统使用两类数据：（1）nuScenes 真实驾驶数据，提供正常的城市场景理解；（2）CARLA 仿真数据，通过扰动路线和目标速度诱导碰撞、偏离道路等极端场景。CARLA 数据分为 CARLA Ego（自车与环境交互，15.2 小时，830K 标注框）和 CARLA Adv（周围非自车 agent 交互，15.5 小时，760K 标注框）。通过碰撞传感器和地图元数据的规则过滤，提取出 9.7 小时的高物理挑战性视频片段。最终将 9.7 小时仿真片段与 4.6 小时真实数据组合，形成异构数据集。 **第二步：物理条件生成器。** 输入轨迹 $T^{\text{orig}}$ 首先通过正弦-余弦位置编码和 MLP 编码器编码为 agent token $q \in \mathbb{R}^{N \times D}$。然后依次经过：（1）可变形空间交叉注意力与多视角 PV 特征 $\mathcal{F}_{pv}$ 交互，得到空间锚定的查询 $q_s = \text{SpatialCrossAttn}(q, \mathcal{F}_{pv})$；（2）agent-agent 自注意力层使 token 感知周围车辆的位置和运动状态，解决重叠和穿透冲突 $q_a = \text{AgentSelfAttn}(q_s)$；（3）地图交叉注意力层整合矢量化地图嵌入 $E_{\text{map}}$ 提升偏离道路感知 $q_m = \text{MapCrossAttn}(q_a, E_{\text{map}})$；（4）前馈网络进行非线性变换 $q_f = \text{FFN}(q_m)$。最后，使用时间感知输出头（Time-Wise Output Head）将精炼的查询投影为 6-DoF 轨迹：将 $q_f[i]$ 在 $T$ 个未来步上展开，与步特定的时间嵌入 $E_{\text{time}}(t)$ 拼接，通过时间卷积网络（TCN）捕获局部步间动态变化，再由 MLP 输出 6-DoF 状态 $\hat{T}_{i,t}^{6\text{dof}} \in \mathbb{R}^6$。这种时间感知设计能准确捕捉碰撞时刻的突然物理变化，而传统 MLP 会导致速度变化平滑化。 **第三步：物理增强多视角视频生成器（PE-MVGen）。** 基于预训练的 Wan2.1 DiT 模型改造。输入多视角视频通过 3D VAE 编码为潜在表示 $z \in \mathbb{R}^{V \times T \times C \times h \times w}$，将视角维度拼接到空间轴实现跨视角建模。未来 3D agent 框和地图折线通过相机参数投影到各视角得到控制图像 $M_v$，经 VAE 编码后与噪声潜在表示沿通道维度拼接。训练采用 Rectified Flows 目标：$z_t = (1-t)z_1 + t z_0$，损失为 $\mathcal{L}_{FM} = \mathbb{E}\|u_\theta - v_t\|_2^2$。采用课程学习策略：先在低分辨率（224x400）训练 2850 步学习多视角几何，再在高分辨率（448x800）微调 350 步确保视觉保真度。在整个过程中，PE-MVGen 以 1:1 的比例在正常真实数据和仿真物理挑战性数据上联合训练，使用真实物理轨迹（非反事实轨迹）作为监督信号。

技术新颖性

PhyGenesis 的技术新颖性体现在多个层面。首先，物理条件生成器是一个全新的架构组件，它将轨迹矫正问题建模为一个独立的学习任务，而非隐式地由视频生成器承担。这种解耦设计使得物理推理和视觉渲染可以分别优化，避免了端到端方法中物理约束被视觉质量目标稀释的问题。其次，时间感知输出头（Time-Wise Output Head）的设计极具创新性：通过为每个时间步配备独立的可学习嵌入 $E_{\text{time}}(t)$ 并使用 TCN 捕获步间动态，模型能够精确建模碰撞时刻的瞬时速度跳变。实验证明，这种设计比传统 MLP 输出头在碰撞动力学模拟上显著更优——MLP 会导致碰撞后速度平滑下降，而时间感知头能产生瞬间降至零的真实动态。第三，反事实轨迹损坏策略是全新的训练范式：对于碰撞片段，保持碰撞前轨迹不变，碰撞后用碰撞前速度外推生成穿透式的反事实条件，以真实仿真日志作为矫正目标。这种故意制造问题再学习修复的训练方式赋予了模型内在的物理先验。第四，利用 CARLA 构建专注于物理挑战性场景的大规模多视角数据集是首创，先前工作（如 ReSim）的合成数据仅限单视角且未聚焦物理挑战事件。本文通过碰撞传感器和地图元数据的精确信号，设计规则过滤机制定位物理交互时间戳，提取 9.7 小时高物理挑战性片段，构建了迄今最大规模的物理挑战性驾驶视频数据集。

**Figure 3**: nuScenes、CARLA Ego 和 CARLA ADV 的最大自车加速度分布

实验结果

本文在三个数据集（nuScenes、CARLA Ego、CARLA ADV）上进行了全面实验，核心发现如下： **1. PhyGenesis 在所有数据集上全面超越基线方法。** 在物理挑战性的 CARLA 数据集上优势尤为显著。在 CARLA Ego 上，PhyGenesis 的 FVD 为 72.48，相比 DiST-4D 的 197.57 降低了 63.3%；物理一致性得分 PHY 为 0.71，相比 DiST-4D 的 0.39 提升了 82%。在 CARLA ADV 上，FVD 从 DiST-4D 的 128.88 降至 77.83（降幅 39.6%），PHY 从 0.56 提升至 0.87（提升 55.4%）。人类偏好评测中，PhyGenesis 在 CARLA Ego 上获得 71% 的偏好率，远超其他方法（UniMLVG 13%、MagicDrive-V2 6%、DiST-4D 10%）。 **2. 在 nuScenes 压力测试中表现突出。** 通过放大自车速度并保留碰撞案例构建物理违反的轨迹条件，PhyGenesis 在物理一致性上明显优于基线。在正常 nuScenes 轨迹下，FID 为 10.24（vs DiST-4D 的 10.49），FVD 为 40.41（vs 46.95），PHY 为 0.97（vs 0.86）。 **3. 物理条件生成器显著降低轨迹误差。** 如表 3 所示，在 CARLA Ego 上，6-DoF L2 距离从无物理条件生成器的 1.78 降至 0.65（降幅 63.5%）；在 CARLA ADV 上从 1.05 降至 0.86。在 nuScenes 上也有小幅改善（0.21 到 0.19），主要因为输入仅有 2D 信息，模型主要恢复缺失的 4-DoF。 **4. 异构数据联合训练效果显著。** 消融实验（表 4）表明，在 CARLA ADV 上，异构训练将 FVD 从 89.83 降至 77.83（降幅约 13.4%），偏好率从 0.13 提升至 0.53。在 CARLA Ego 上，异构训练将 FVD 从 116.51 降至 72.48（降幅 37.8%），偏好率从 0.19 提升至 0.55。 **5. 使用 GT 轨迹条件时，PE-MVGen 同样领先。** 如表 2 所示，即使所有方法都使用真实轨迹条件，PhyGenesis 在物理一致性上仍然最优（CARLA Ego PHY 0.69 vs DiST-4D 的 0.38），且可控性误差最低（CARLA ADV CtrlErr 0.37 vs DiST-4D 的 0.57），说明物理增强的视频生成器本身在渲染物理交互方面具有内在优势。

**Figure 7**: nuScenes 物理违反轨迹下的人类偏好评和物理得分

查看结构化数据

任务	指标	本文	基线	提升
CARLA Ego 物理违反轨迹视频生成	FVD↓	72.48	DiST-4D: 197.57	降低 63.3%
CARLA Ego 物理违反轨迹视频生成	PHY↑	0.71	DiST-4D: 0.39	提升 82.1%
CARLA ADV 物理违反轨迹视频生成	FVD↓	77.83	DiST-4D: 128.88	降低 39.6%
CARLA ADV 物理违反轨迹视频生成	PHY↑	0.87	DiST-4D: 0.56	提升 55.4%
nuScenes 正常轨迹视频生成	FVD↓	40.41	DiST-4D: 46.95	降低 13.9%
nuScenes 正常轨迹视频生成	PHY↑	0.97	DiST-4D: 0.86	提升 12.8%
CARLA Ego GT轨迹视频生成	CtrlErr↓	0.85	DiST-4D: 1.19	降低 28.6%
CARLA ADV GT轨迹视频生成	CtrlErr↓	0.37	DiST-4D: 0.57	降低 35.1%

局限与改进

尽管 PhyGenesis 取得了显著进展，但仍存在以下局限性： **作者承认的局限：** 论文提到由于比较的基线方法主要在 nuScenes 上训练，为了公平评估，需要将 CARLA 片段通过风格迁移模型转换为 nuScenes 视觉风格，这可能引入额外的域差距和评估偏差。此外，物理条件生成器目前仅处理 2D 轨迹输入到 6-DoF 的提升，对于更复杂的物理交互（如多车连环碰撞、行人与车辆交互）的建模能力尚未验证。 **我自己的观察：** 首先，训练资源需求巨大——48 块 NVIDIA H20 GPU 进行训练，这对大多数研究团队来说是难以复现的。其次，CARLA 仿真数据虽然提供了物理挑战性场景，但仿真与真实世界之间仍存在显著的域差距（sim-to-real gap），论文中的风格迁移方法是否能完全弥合这一差距存疑。第三，当前系统仅处理自车和周围车辆的交互，未涉及行人、骑行者等弱势道路使用者（VRU）的物理交互建模。第四，物理条件生成器的 $\lambda_{\text{event}} = 10$ 和 $\lambda_{\text{agent}} = 5$ 超参数需要针对不同场景精心调优，缺乏自适应机制。最后，论文未讨论模型的推理速度，考虑到 DiT 架构和 6-DoF 轨迹矫正的计算开销，实时性可能是一个问题。

独立分析的弱点

基于对论文的深入分析，我认为 PhyGenesis 存在以下可改进的弱点： **1. 仿真数据的域差距问题。** CARLA 仿真数据虽然提供了物理挑战性场景，但其视觉质量与真实世界仍有明显差距。论文提到使用风格迁移模型将 CARLA 片段转换为 nuScenes 风格，但这种后处理可能丢失重要的物理细节（如碰撞时的形变纹理、碎片飞溅等）。改进方向：可以探索域自适应训练策略，如对抗训练或渐进式域混合，让模型在训练过程中逐步适应真实与仿真之间的视觉差异，而非依赖后处理风格迁移。 **2. 物理条件生成器的 2D 输入限制。** 当前系统假设输入为 2D 轨迹 $(x, y)$，虽然模型能提升到 6-DoF，但这种从 2D 到 6D 的映射本身是一个高度欠定问题。在复杂场景中，同一 2D 轨迹可能对应多种合理的 6-DoF 运动。改进方向：可以设计多模态输出的物理条件生成器，对每个 2D 输入生成多个可能的 6-DoF 候选，再通过视频生成器选择最合理的一个，实现更丰富的物理交互建模。 **3. 仅考虑车辆交互。** 论文中的物理交互建模仅限于车辆-车辆和车辆-环境，未涉及行人、骑行者等弱势道路使用者。在真实驾驶场景中，这些交互同样至关重要。改进方向：将物理条件生成器扩展为支持多类型 agent（行人、骑行者、动物等），并在 CARLA 中收集对应的物理挑战性场景数据。 **4. 超参数敏感性。** 损失权重 $\lambda_{\text{event}} = 10$ 和 $\lambda_{\text{agent}} = 5$ 是手动设置的，论文的消融实验仅在有限范围内探索。改进方向：可以设计自适应权重机制，根据轨迹的物理违反程度自动调整损失权重，减少人工调参需求。 **5. 缺乏闭环评估。** 论文仅在开环设置下评估视频生成质量，未验证生成的视频能否用于闭环自动驾驶仿真。改进方向：将 PhyGenesis 集成到闭环仿真管线中，评估生成视频对下游规划和控制任务的实际影响。

未来方向

基于本文的成果，可以延伸出以下研究方向： **作者提出的未来方向：** 论文指出 PhyGenesis 可以作为仿真驱动评估和安全测试的实用构建模块，未来可以将其集成到自动驾驶的评估管线中，用于生成安全关键场景的测试视频。 **基于成果可延伸的方向：** **1. 实时物理世界模型。** 当前系统在 48 块 H20 GPU 上训练，推理效率未讨论。未来可以探索模型蒸馏或架构轻量化，将 PhyGenesis 压缩为可以在边缘设备上实时运行的版本，用于车载仿真。 **2. 多模态物理条件输入。** 当前仅支持轨迹作为条件输入，未来可以扩展支持自然语言描述（如前方车辆突然刹车）、草图、甚至脑机接口信号，让物理世界模型的交互更加自然。 **3. 物理一致的 4D 场景重建。** 结合 4D 高斯溅射等技术，将生成的物理一致视频提升为可编辑的 4D 场景表示，支持任意视角渲染和物理仿真。 **4. 与端到端规划器的闭环集成。** 将 PhyGenesis 作为世界模型嵌入端到端自动驾驶系统中，利用其物理一致性改进规划器的安全性评估和轨迹优化。 **5. 跨域迁移。** 探索将 PhyGenesis 的物理先验迁移到其他领域，如机器人操作（抓取碰撞建模）、体育运动分析、工业仿真等。

复现评估

从复现角度来看，PhyGenesis 的复现难度较高。**开源情况：** 论文提到项目页面为 https://wm-research.github.io/PhyGenesis/，但未明确说明是否开源代码和模型权重。**数据方面：** nuScenes 是公开数据集，但 CARLA 仿真数据需要专门的采集流程（包括碰撞传感器配置、Bench2Drive 路由设置、规则过滤机制等），论文在补充材料中详细描述了采集流程，但完整的数据采集管线复现需要大量工程工作。CARLA Adv 包含 15.5 小时（760K 标注框），CARLA Ego 包含 15.2 小时（830K 标注框），总数据量约 31 小时。**算力方面：** 训练在 48 块 NVIDIA H20 GPU 上进行，视频生成器采用两阶段训练（Stage 1: 224x400 分辨率 2850 步，Stage 2: 448x800 分辨率 350 步），物理条件生成器在 256 batch size 下训练。这种算力需求对大多数学术团队来说是难以企及的。**模型依赖：** 视频生成器基于 Wan2.1 预训练权重，物理条件生成器的 PV 特征提取使用预训练的 ResNet50。这些预训练模型的可用性也是复现的关键因素。**总体评估：** 完整复现需要中等以上的工程能力和显著的计算资源，预计需要数周到数月的时间。

面向挑战性轨迹下物理一致性驾驶视频世界模型 Toward Physically Consistent Driving Video World Models under Challenging Trajectories