先语义后像素:语义引导的分层视频预测框架 Re2Pix Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction

方法分四阶段。VFM 特征:冻结 DINOv2-Reg ViT-B/14 拼接第 3/6/9/12 层并 PCA 投影为 $h_t\in\mathbb{R}^{H_h\times W_h\times 1152}$。语义预测:掩码 Transformer $G_h$ 以 $M+1$ 帧特征为输入,前 $M$ unmask、目标帧 mask,损失 $\mathcal{L}_\text{feat}=\text{SmoothL1}(G_h(h_{1:M}),h_{M+1})$;推理时自回归 rollout。视频生成:上下文帧经 WAN2.1 VAE 编为 $z_{1:M}$,与 $h_{1:K}$ 作条件;$z_{M+1:K}$ 按 EDM 加噪,DiT 预测 $\hat\epsilon$;VFM 经嵌套 dropout 为 $\tilde h_{1:K}=[h_t^{1:c},\mathbf{0}^{C_h-c}]$,与 $z$ 求和实现 early fusion。训练:$c\in\{8,...,1152\}$ 等概率采样;90/10 混合监督;Adam,8×H200。

技术新颖性可分四点。第一,把 VFM 特征预测从"只服务于规划/世界模型"(DINO-WM)或"只服务于表示学习"(V-JEPA)扩展为"为生成提供动态条件",在视频预测任务上首次显式建立"语义预测→像素渲染"的两阶段生成管线,论文声称是 VFM 特征预测驱动分层视频扩散的首次工作。第二,提出"嵌套 dropout"用于弥合 train-test 分布偏移——它和 [43,58] 原始嵌套 dropout 用法不同,本文把它当作对特征通道做随机截断的鲁棒性正则,与 DINOv2 PCA 通道的"粗到细"语义结构天然耦合。第三,提出 90/10 混合监督的极简方案,在不引入复杂课程学习的前提下显著降低 FID/FVD 退化(见表 4)。第四,early fusion 用 channel-wise 求和把 VFM 特征与 VAE 潜码在输入层融合,既不增加 token 数,又比 cross-attention 显著节省参数,便于扩散模型在 14 层 DiT 内高效利用语义信号。

独立分析可指出三点可改进方向。第一,Stage 1 与 Stage 2 是顺序训练而非端到端,Stage 1 错误无法被 Stage 2 梯度反传修正;可考虑把 $G_h$ 的 rollout 误差作为可微 surrogate loss 加到 Stage 2 训练目标,或采用 straight-through estimator 让 Stage 1 接收 Stage 2 的反馈。第二,嵌套 dropout 在推理时固定使用 1152 通道,而表 5 显示 256 通道已接近最优,可在推理时主动裁剪以省算力并降低误差累积;也可在 stage 2 末端引入 CFG 风格的多粒度 guidance(论文附录 6.2 已提到)进一步提升质量。第三,评估集中在驾驶数据集的 4 个未来帧(帧 16-27),缺乏更长 horizon、跨域(如 Waymo Open、nuPlan)以及动作条件规划的实验;在多相机输入或 LiDAR 条件下的扩展性也未探索,这是走向真正世界模型的重要缺口。

作者在附录 6.2 已探索 CFG 风格的语义粒度对比引导,可作为未来主线之一。基于论文成果可延伸的方向有四:(a) 把语义预测从 DINOv2 替换为可学习的视觉 tokenizer(如 VQ-VAE 离散码本),把分层抽象推到更通用的表征;(b) 引入相机/动作条件,把 Re2Pix 扩展为可交互的世界模型,用于闭环规划;(c) 把 Stage 1 替换为更强的生成式视频模型(从单帧特征预测扩展为时空特征预测),用更长的语义上下文提升长程一致性;(d) 与多模态大模型结合,把 VFM 特征与文本/语言指令对齐,实现可控视频预测。

复现性总体较好但门槛偏高。代码已开源在 https://github.com/Sta8is/Re2Pix,使用 DINOv2-Reg ViT-B/14、WAN2.1 VAE、Cosmos-Predict DiT 架构(14 层/16 头/2048 维,EDM 噪声调度);数据来自 Cityscapes、nuScenes、CoVLA、KITTI 四个公开驾驶数据集,评测指标基于 DINOv2+DPT 分割头与 Depth Anything V2 伪深度,可复现。算力门槛较高:8×H200 GPU 单数据集训练 ~7h、多数据集 ~28h,等效 batch size 8,这一资源对一般研究组并不容易获得;学习率 $0.6\times 2^{-10.5}$、Adam $\beta=(0.9,0.99)$、40k/120k 迭代的细节在 §4.1 与附录 9 给出,需严格匹配才能复现 7× 加速。最大可复现性挑战是 VFM 特征 90/10 混合监督需在 batch 维度同步管理 $E_h$ 与 $G_h$ 两条分支。