Drive-JEPA：视频JEPA与多模态轨迹蒸馏结合的端到端驾驶框架 Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

Drive-JEPA的完整方法步骤如下：第一步，驾驶视频数据集构建与预训练。作者从CoVLA、DrivingDojo和OpenScene三个公开数据集收集208小时的驾驶视频，处理为8帧512×256分辨率的2Hz片段。使用V-JEPA 2发布的权重初始化ViT编码器，在8块H800 GPU上训练50个epoch（约3天）。预训练目标是最小化预测潜在表征与目标表征之间的L1距离。第二步，驾驶场景编码。给定前视图像$I_t^1$和$I_{t-1}^1$，使用预训练ViT提取时空特征$F_t \in \mathbb{R}^{N_f \times D}$，同时通过线性层将自车状态（驾驶命令、速度、加速度）编码为特征$e_t \in \mathbb{R}^{1 \times D}$。第三步，锚点提案生成。初始化$N_p=32$个提案查询$Q^0 \in \mathbb{R}^{N_p \times M \times D}$（$M$为未来航点数），通过$L$次迭代的Waypoint-anchored Deformable Attention（WADA）逐步优化提案。每次迭代中，MLP解码提案查询为航点轨迹$\tilde{W}^\ell$，使用这些显式航点位置作为锚点聚合BEV特征，然后更新查询。第四步，多模态轨迹蒸馏。从100k+训练轨迹中使用k-means聚类8192个轨迹中心作为词汇表，通过模拟器对所有轨迹计算EPDM评分，筛选评分>0.95的轨迹作为每个场景的伪教师轨迹$P_t$。轨迹损失为$$\mathcal{L}_{\text{traj}} = \sum_{\ell=1}^{L} \lambda^{L-\ell} \min_n \|W_t - \tilde{W}^{\ell(n)}\|_2 + \sum_{\ell=1}^{L} \min_n \|P - \tilde{W}^{\ell(n)}\|_2$$。第五步，动量感知轨迹选择。训练MLP评分器对最终提案打分，使用BCE损失监督。通过$$S \leftarrow \frac{7S + S_c}{8}$$融合学习得分与舒适度得分（$S_c$基于与前一帧选中轨迹$\hat{W}_{t-1}$的畸变计算），选择最高分轨迹$\hat{W}_t = \tilde{W}^{L(n^*)}$。辅助任务包括提案中心化地图分割和碰撞预测。

Drive-JEPA的技术新颖性体现在多个维度。首先，V-JEPA在驾驶领域的应用是开创性的。先前的驾驶视频预训练要么使用像素级重建（计算昂贵），要么使用辅助潜在预测（效果有限），而V-JEPA的预测性表征学习天然适合驾驶场景，因为驾驶需要预测未来状态。实验表明，V-JEPA 2预训练的ViT/L编码器在感知自由设置下比Epona（1.1B参数ViT/G）高出2.8 PDMS，且仅用208小时数据（vs Epona的128小时）。其次，多模态轨迹蒸馏的设计巧妙地将模拟器评估用于训练而非仅用于测试。传统方法仅在评估时使用模拟器打分，本文将这一机制翻转，构建了一个'生成-筛选-蒸馏'的闭环：模拟器对轨迹词汇表打分→筛选高质量多模态轨迹→作为训练目标指导提案生成。这解决了iPad等方法仅用单条人类轨迹监督导致的提案坍塌问题（图3对比显示无MTD时提案坍塌为单一模式，有MTD时呈多模态分布）。第三，动量感知选择机制是首次在提案选择中显式建模跨帧一致性。通过将前一帧选中轨迹作为参考，计算畸变舒适度分数$$S_c \in \mathbb{R}^{N_p \times 1}$$，并与学习得分加权融合，有效解决了多模态轨迹多样性带来的时间不连贯问题。消融实验表明，M4（动量感知选择）将EC从47.9提升至84.8，同时将EPDMS从84.5提升至87.8。

基于对论文的深入分析，我识别出以下几个潜在弱点及改进方向。第一，伪教师轨迹的多样性仍受限于预定义的轨迹词汇表（8192个k-means中心），这些中心来自训练数据的统计分布。在极端驾驶场景（如紧急避障、施工区域绕行）中，词汇表可能无法覆盖所需的轨迹模式。改进方向可以考虑自适应词汇表更新机制，或引入基于扩散模型的轨迹生成来补充词汇表覆盖范围。第二，动量感知选择机制使用固定的权重7:1融合学习得分和舒适度得分，这一权重是基于NAVSIM v2的启发式设置，可能不是最优的。可以探索自适应权重机制，根据场景复杂度动态调整多样性-舒适性权衡。第三，当前的辅助任务（提案中心化地图分割和碰撞预测）相对简单，未充分利用预训练ViT的丰富表征。可以考虑增加更多与驾驶场景理解相关的辅助任务，如意图预测、场景流估计等。第四，论文仅在NAVSIM（非反应式仿真）和Bench2Drive（CARLA反应式仿真）上评估，未在更接近真实世界的反应式仿真基准（如nuPlan）上验证，这限制了结论的普适性。

基于Drive-JEPA的成果，可以延伸出多个有价值的研究方向。首先，V-JEPA预训练框架可以扩展到更多模态，如将LiDAR点云、高精地图等信息整合到预训练过程中，学习更全面的驾驶场景表征。其次，多模态轨迹蒸馏的思想可以推广到其他需要多模态决策的领域，如机器人操作、无人机导航等。第三，当前的模拟器仅用于评估和筛选轨迹，未来可以探索将模拟器作为可微分组件嵌入训练循环，实现端到端的模拟器-策略联合优化。第四，作者提到V-JEPA的效率优势使其能够扩展到更大规模的预训练，未来可以探索在更大规模（如数千小时）的驾驶视频上预训练，并研究预训练数据规模与下游任务性能的缩放规律。第五，动量感知选择机制可以进一步发展为更通用的时序一致性模块，应用于连续决策任务中的多模态输出选择。最后，将Drive-JEPA部署到真实车辆上进行实车测试，验证其在真实世界驾驶环境中的表现，是推动该方法走向实用化的关键步骤。

从复现角度来看，Drive-JEPA具有较好的可复现性。作者在论文中提供了代码仓库链接（https://github.com/linhanwang/Drive-JEPA），这为复现提供了基础。在数据方面，作者使用了三个公开数据集（CoVLA、DrivingDojo、OpenScene）构建208小时的驾驶视频数据集，这些数据集均可公开获取。在算力方面，V-JEPA预训练需要8块H800 GPU训练3天，Drive-JEPA规划器训练需要2块NVIDIA A30 GPU训练20个epoch，batch size为64。这对大多数研究机构来说是可承受的，但H800 GPU的可用性可能对部分团队构成障碍。在实现细节方面，论文提供了关键超参数：$N_p=32$个提案、$L$次WADA迭代、学习率$1 \times 10^{-4}$（规划器）和$1 \times 10^{-5}$（ViT编码器）、损失权重$w_{\text{score}}=1, w_{\text{map}}=2, w_{\text{colli}}=1$等。轨迹词汇表使用k-means聚类8192个中心，伪教师轨迹筛选阈值为EPDM>0.95。这些细节使得复现是可行的，但论文未提供完整的训练脚本和预处理流程，可能需要一定的工程努力来完全复现结果。