← 返回 2026-03-13

DVD：基于生成先验的确定性视频深度估计 DVD: Deterministic Video Depth Estimation with Generative Priors

Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen 📅 2026-03-12 👍 27 2026-07-13 08:36
3D视觉 扩散模型 生成先验 确定性回归 视频深度估计
arXiv HuggingFace PDF

确定性地将预训练视频扩散模型转化为单次前向传播的深度回归器

前置知识

视频深度估计

视频深度估计的目标是从RGB视频序列 $x \in \mathbb{R}^{F \times 3 \times H \times W}$ 预测每帧的深度图 $d \in \mathbb{R}^{F \times H \times W}$，其中 $F$ 为帧数。与单图深度估计不同，视频深度估计还需确保帧间时序一致性，即相邻帧的深度预测在几何上连贯、不产生闪烁。这是3D场景理解的基础任务，广泛应用于自动驾驶、机器人操作等领域。

本文的核心任务就是视频深度估计，理解该任务的输入输出格式和评估标准是读懂论文的前提。

扩散模型（Diffusion Models）

扩散模型是一类生成模型，通过逐步向数据添加高斯噪声（前向过程）再学习去噪（反向过程）来生成样本。在整流流（Rectified Flow）框架中，时间变量 $t \in [0, 1]$ 参数化从数据分布 $z_0 \sim p_{\text{data}}$ 到高斯噪声 $z_1 \sim \mathcal{N}(0, I)$ 的线性插值轨迹 $z_t = (1-t)z_0 + t z_1$。网络 $v_\theta$ 通过最小化 $\mathcal{L}_{RF} = \mathbb{E}[\|v_\theta(z_t, t) - (z_1 - z_0)\|^2]$ 学习速度场。视频扩散模型（如CogVideoX、HunyuanVideo、Wan）在此基础上引入时序注意力机制，能够生成时空一致的视频内容，隐式编码了丰富的几何和动态先验。

本文将预训练的视频扩散模型确定性地转化为深度回归器，理解扩散模型的训练和推理机制是理解DVD方法的关键。

VAE（变分自编码器）

VAE由编码器 $\mathcal{E}(\cdot)$ 和解码器 $\mathcal{D}(\cdot)$ 组成，将高维数据压缩到低维潜在空间。在视频扩散模型中，VAE通常具有8倍空间压缩和4倍时间压缩，将原始视频映射到紧凑的潜在表示。本文中，VAE将RGB和深度图都编码到统一的潜在空间 $z_x = \mathcal{E}(x) \in \mathbb{R}^{f \times c \times h \times w}$，然后在潜在空间中进行深度预测，最后通过解码器重建深度图 $\hat{d} = \mathcal{D}(\hat{z}_d)$。

DVD在VAE潜在空间中操作，理解VAE的压缩机制和解码过程对于理解论文中的全局仿射一致性等技术至关重要。

LoRA（低秩适配）

LoRA是一种参数高效的微调方法，冻结预训练模型的原始权重，仅在注意力模块（$W_q, W_k, W_v, W_o, W_{ffn}$）上添加低秩适配器。每个适配器由两个低秩矩阵 $A \in \mathbb{R}^{d \times r}$ 和 $B \in \mathbb{R}^{r \times d}$ 组成，其中 $r \ll d$ 为秩参数。本文采用 $r=512, \alpha=512$ 的LoRA配置，在保持预训练先验的同时实现任务适配。

DVD使用LoRA微调视频扩散骨干网络，理解LoRA的工作原理有助于理解模型如何在保持生成先验的同时学习深度回归。

生成模型vs判别模型的范式权衡

在深度估计领域，生成范式（如DepthCrafter）利用预训练视频扩散模型的丰富时空先验，通过多步随机采样生成深度，具有出色的零样本泛化能力，但存在几何幻觉和尺度漂移问题。判别范式（如Video Depth Anything）使用ViT骨干网络直接回归深度，推理速度快且输出确定，但需要大量标注数据来解决语义歧义，对无纹理或运动模糊区域容易误判。两种范式各有优劣，形成了深度估计领域的核心权衡。

DVD的创新在于打破这一权衡，同时获得两种范式的优势，理解这一背景是理解论文动机的基础。

研究动机

现有视频深度估计方法面临一个根本性的范式困境。生成式扩散模型（如DepthCrafter）虽然利用预训练视频基础模型捕获了丰富的时空先验，具有出色的零样本泛化能力，但其依赖的随机多步采样过程引入了时序不确定性，导致几何幻觉——模型倾向于优先保证视觉合理性而非几何精确性，在长时间序列上出现尺度漂移和结构失真。另一方面，判别式ViT模型（如Video Depth Anything, VDA）提供高效率的确定性推理，但严格从密集标注数据中学习几何，往往遭受语义歧义的困扰，将运动模糊或无纹理区域误解为结构边界。为了克服这种歧义，判别范式严重依赖大规模多样化下游标注数据（VDA使用6000万帧训练数据），这不仅大幅提高了可扩展性和可复现性的门槛，也限制了其在数据稀缺场景中的适应能力。

本文的目标是本文的核心目标是设计一个能够有效平衡判别模型的结构稳定性和生成方法的丰富时空先验，同时保持高效和可扩展性的视频深度估计框架。具体而言，DVD旨在：（1）将预训练视频扩散模型确定性地转化为单次前向传播的深度回归器，消除随机采样带来的几何幻觉；（2）通过仅使用极少量任务特定数据（367K帧，仅为VDA训练集的不到1/160）来解锁基础模型中隐含的丰富几何先验；（3）实现无缝的长视频推理，无需复杂的时序对齐模块。

与已有工作不同的是，本文的独特切入角度在于「确定性地适配生成先验」。此前的方法要么在图像域实现了确定性适配（如Lotus），要么在视频域保持生成范式（如DepthCrafter）。DVD首次将确定性适配从静态图像扩展到动态视频，提出了一种全新的设计点：利用骨干网络的丰富语义先验来解决运动诱导的歧义，同时通过回归目标确保几何一致性，从而有效缓解生成幻觉。这一范式转变的关键在于三个发现：扩散时间步可以作为结构锚点来平衡几何稳定性与细节精度；潜在流形校正可以对抗回归引起的均值坍缩；以及确定性骨干网络天然具有全局仿射一致性，使得跨窗口深度差异可以通过简单的线性变换来对齐。

核心方法

DVD的整体思路可以这样理解：预训练的视频扩散模型已经学会了世界的几何和动态规律（就像一个经验丰富的3D艺术家），但它是通过随机采样来生成内容的（像画画时随意添加笔触）。DVD要做的是让这个「艺术家」用确定的方式「画出」深度图（每笔都精确计算），而不是随机涂抹。技术上，给定输入RGB视频 $x$，VAE编码器 $\mathcal{E}$ 提取潜在表示 $z_x$，然后预训练的视频扩散骨干网络 $F_\theta$ 执行单次确定性映射来预测深度潜在 $\hat{z}_d$，由条件时间步 $\tau$ 调制：$\hat{z}_d = F_\theta(z_x, \tau(t))$。整个流程不需要迭代去噪，而是一次前向传播直接输出深度。为了实现高保真度深度估计，DVD引入了三个针对视频扩散骨干网络潜在动态特性的核心设计。

DVD的核心创新在于识别并利用了扩散时间步 $t$ 的新角色——从噪声水平指示器转变为结构锚点。在传统扩散模型中，$t$ 参数化信噪比：高 $t$（早期时间，低信噪比）迫使网络估计低频全局结构，低 $t$（晚期时间，高信噪比）训练网络解析高频局部细节。DVD通过将动态时间步替换为固定条件状态 $\tau_0$，实例化了一个持久的结构代码，明确调制网络的几何操作范围。这一发现与已有的图像域确定性适配方法（如Lotus固定在 $t=1$）本质不同：简单地将视频骨干网络的时间步固定在终端状态会导致严重的几何过度平滑，因为视频扩散模型的频谱偏差特性使得不同的时间步对应不同的几何先验激活状态。此外，DVD发现了确定性骨干网络的一个关键性质——全局仿射一致性，即VAE解码主要引起全局仿射变化而非局部空间畸变，使得跨窗口差异可以通过简单的线性尺度-偏移变换来对齐，完全不需要特征匹配或光流估计。

方法步骤详情

DVD的方法包含以下关键步骤：（1）VAE编码：使用冻结的VAE编码器 $\mathcal{E}$ 将RGB视频和深度图投影到统一的潜在空间，得到 $z_x \in \mathbb{R}^{f \times c \times h \times w}$ 和 $z_d \in \mathbb{R}^{f \times c \times h \times w}$。（2）结构锚点设定：选择最优时间步 $\tau_0 = 0.5$ 作为条件，通过正弦基编码 $e_{\sin}(t) = [\cos(\omega_1 t), \ldots, \cos(\omega_{d/2} t), \sin(\omega_1 t), \ldots, \sin(\omega_{d/2} t)]$ 和MLP投影得到条件嵌入 $e_\phi(\tau_0)$。（3）确定性深度回归：冻结骨干网络权重，使用LoRA（秩512）微调注意力模块，执行单次前向传播 $\hat{z}_d = F_\theta(z_x; e_\phi(\tau_0))$。（4）潜在流形校正（LMR）：在训练中施加空间梯度约束 $\mathcal{L}_{sp} = \frac{1}{F \cdot \Omega} \sum_{f=1}^F \sum_{\partial \in \{\nabla_h, \nabla_w\}} \|\partial \hat{z}_d^f - \partial z_d^f\|_1$ 和时序流动约束 $\mathcal{L}_{temp} = \frac{1}{(F-1) \cdot \Omega} \sum_{f=2}^F \|\nabla_t \hat{z}_d^f - \nabla_t z_d^f\|_1$，总损失 $\mathcal{L}_{video} = \|\hat{z}_d - z_d\|_2 + \lambda_{sp}\mathcal{L}_{sp} + \lambda_{temp}\mathcal{L}_{temp}$。（5）图像-视频联合训练：构建包含静态图像（$F=1$）和动态视频序列的混合批次，统一目标 $\mathcal{L}_{joint} = \mathcal{L}_{video} + \lambda_{image}\mathcal{L}_{image}$。（6）长视频滑动窗口推理：利用全局仿射一致性，通过最小二乘法估计重叠区域的全局尺度 $s$ 和偏移 $t$：$s = \frac{\text{Cov}(d^A_{\text{overlap}}, d^B_{\text{overlap}})}{\text{Var}(d^B_{\text{overlap}})}$, $t = \mu_A - s\mu_B$，然后仿射对齐当前窗口 $\hat{W}_B = s \cdot W_B + t$ 并通过线性插值平滑混合。

技术新颖性

DVD的技术新颖性体现在多个层面。首先，这是首个将预训练视频扩散模型确定性地转化为深度回归器的框架，开辟了视频深度估计的全新范式。其次，发现并系统研究了时间步作为结构锚点的机制，揭示了 $\tau$ 值与几何保真度-稳定性权衡之间的严格关系：$\tau = 0.5$ 在室内和室外场景中均达到最优平衡，而极端值（$\tau \geq 0.9$）会导致严重性能崩溃。第三，提出的潜在流形校正（LMR）是一种无参数的监督策略，通过在VAE潜在空间中对齐一阶微分统计（梯度和流动分布），有效对抗了确定性回归中的均值坍缩问题，这与传统的边缘感知平滑或多尺度梯度匹配等正则化方法相比，在全局精度（AbsRel从8.5降至7.3）和边界精度（B-F1从0.210提升至0.259）上同时取得最优。第四，发现确定性骨干网络的全局仿射一致性这一固有性质，使得长视频推理可以通过简单的闭式最小二乘解来实现，完全不需要复杂的特征匹配、光流估计或循环时序模块。

DVD整体框架概览
Figure 2: DVD整体框架概览
时间步作为结构锚点的可视化分析
Figure 3: 时间步作为结构锚点的可视化分析
时间步嵌入相似度分析
Figure 4: 时间步嵌入相似度分析
LMR缓解均值坍缩的可视化
Figure 5: LMR缓解均值坍缩的可视化
跨窗口重叠一致性分析
Figure 6: 跨窗口重叠一致性分析
时间步 $\tau$ 的消融实验
Figure 10: 时间步 $\tau$ 的消融实验
跨窗口仿射对齐的详细可视化
Figure 12: 跨窗口仿射对齐的详细可视化

实验结果

DVD在多个基准测试中取得了最先进的零样本性能。在标准视频深度基准测试中（Table 1），DVD在ScanNet上取得最低AbsRel 5.5（对比VDA的5.8），在KITTI上取得6.7（对比VDA的7.2），在Bonn上与VDA持平（4.7）。在长视频场景中（Table 2），DVD的优势更加显著，在Bonn上取得AbsRel 5.3（对比DepthCrafter的8.5），在KITTI上取得7.6（对比VDA的9.6）。在细粒度边界指标上（Table 3），DVD的LMR机制成功对抗了均值坍缩，在ScanNet上B-F1达到0.259（对比VDA的0.210），B-Recall达到0.208（对比VDA的0.147）。最关键的数据效率发现：DVD仅使用367K帧训练数据（来自TartanAir和Virtual KITTI的合成数据），就超越了使用6000万帧数据训练的VDA，数据效率提升了163倍。训练在8块H100 GPU上不到36小时完成，展现了更高的训练效率。推理速度方面，DVD完全绕过了迭代生成采样的计算瓶颈，保持了与高效判别模型VDA相当的推理速度，同时提供更优的精度。

零样本视频深度估计结果
Table 1: 零样本视频深度估计结果
零样本长视频深度估计结果
Table 2: 零样本长视频深度估计结果
零样本边界指标（Recall和F1）
Table 3: 零样本边界指标（Recall和F1）
零样本单图深度估计结果
Table 4: 零样本单图深度估计结果
DVD超参数配置
Table 5: DVD超参数配置
跨骨干网络泛化实验（KITTI）
Table 6: 跨骨干网络泛化实验（KITTI）
结构锚点 $\tau$ 的详细分析
Table 7: 结构锚点 $\tau$ 的详细分析
不同正则化策略分析
Table 8: 不同正则化策略分析
重叠大小分析（KITTI）
Table 9: 重叠大小分析（KITTI）
LoRA秩分析（ScanNet）
Table 10: LoRA秩分析（ScanNet）
室内和室外场景的定性比较
Figure 7: 室内和室外场景的定性比较
数据效率、推理延迟和长视频稳定性分析
Figure 8: 数据效率、推理延迟和长视频稳定性分析
长时域室内导航的定性结果
Figure 9: 长时域室内导航的定性结果
LMR、采样策略和训练方案的消融实验
Figure 11: LMR、采样策略和训练方案的消融实验
短视频更多结果展示
Figure 15: 短视频更多结果展示
短视频更多结果展示（续）
Figure 16: 短视频更多结果展示（续）
短视频更多结果展示（续）
Figure 17: 短视频更多结果展示（续）
长视频更多结果展示
Figure 18: 长视频更多结果展示
长视频更多结果展示（续）
Figure 19: 长视频更多结果展示（续）
查看结构化数据
任务指标本文基线提升
视频深度估计（KITTI） AbsRel↓ 6.7 VDA: 7.2, DepthCrafter: 9.9 比VDA降低6.9%，比DepthCrafter降低32.3%
视频深度估计（ScanNet） AbsRel↓ 5.5 VDA: 5.8, DepthCrafter: 7.1 比VDA降低5.2%，比DepthCrafter降低22.5%
视频深度估计（Bonn） AbsRel↓ 4.7 VDA: 4.7, DepthCrafter: 5.9 与VDA持平，比DepthCrafter降低20.3%
长视频深度估计（Bonn） AbsRel↓ 5.3 VDA: 6.6, DepthCrafter: 8.5 比VDA降低19.7%，比DepthCrafter降低37.6%
长视频深度估计（ScanNet） AbsRel↓ 7.3 VDA: 7.3, DepthCrafter: 11.4 与VDA持平，比DepthCrafter降低36.0%
长视频深度估计（KITTI） AbsRel↓ 7.6 VDA: 9.6, DepthCrafter: 12.0 比VDA降低20.8%，比DepthCrafter降低36.7%
边界指标（ScanNet） B-F1↑ 0.259 VDA: 0.210, DepthCrafter: 0.173 比VDA提升23.3%，比DepthCrafter提升49.7%
单图深度估计（NYUv2） AbsRel↓ 5.5 VDA: 4.7, DepthCrafter: 17.1 略低于VDA（+17.0%），但远优于DepthCrafter（-67.8%）

局限与改进

作者承认了DVD的几个主要局限性。首先，长视频的边界条件问题：在无约束长视频中，极端动态（如长时间遮挡、快速光照变化或异常相机运动）可能引入局部非线性畸变，暂时压倒全局仿射假设，导致尺度不一致。其次，实时部署约束：虽然绕过随机采样显著加速了推理，但DVD仍依赖于庞大的视频DiT骨干网络（Wan2.1-1.3B），对于延迟敏感的设备端应用（如≥10Hz的实时推理）仍然具有挑战性。第三，VAE分辨率限制：在高度压缩的VAE潜在空间（8倍下采样）中操作，本质上限制了对原生分辨率下超薄几何结构的恢复能力。此外，从独立分析来看，DVD在单图任务上略逊于专门的单图方法VDA（NYUv2 AbsRel 5.5 vs 4.7），说明视频时序学习可能在一定程度上牺牲了单帧空间精度。在极端场景切换（如从室内桌面切换到室外隧道）的情况下，无视觉重叠的远距离帧之间仍会出现全局尺度漂移。

独立分析的弱点

从独立分析的角度，DVD存在以下值得关注的弱点：（1）骨干网络体积庞大：Wan2.1-1.3B参数量对于边缘设备部署来说仍然过重，即使采用LoRA微调，推理时的计算和内存开销仍然较高，这限制了其在移动机器人、AR眼镜等资源受限场景的应用。改进方向可以是知识蒸馏或架构搜索来压缩模型。（2）单图性能略逊：在NYUv2等单图基准上，DVD的AbsRel为5.5，不如专门针对单图优化的VDA（4.7），说明视频时序学习可能引入了对空间细节的轻微损害。改进方向可以设计更精细的图像-视频联合训练策略或自适应权重调整。（3）极端场景切换处理不足：论文Figure 14展示了在1100帧包含剧烈场景转换的序列中，DVD和VDA都无法避免全局尺度漂移，说明当前的全局仿射假设在完全无重叠的场景中失效。改进方向可以引入场景变化检测和分段处理机制。（4）VAE分辨率瓶颈：8倍空间下采样的VAE潜在空间限制了几何细节的恢复，对于细长物体或薄结构的深度估计精度有限。改进方向可以探索更高分辨率的潜在空间或无VAE的token化方案。

未来方向

作者提出了几个明确的未来研究方向：（1）长视频边界条件改进：探索更大的时序上下文窗口或非线性潜在跟踪来缓解极端动态场景下的尺度不一致问题。（2）实时推理优化：通过架构蒸馏和集成高效的线性复杂度序列模型，将丰富的生成先验迁移到轻量级网络中，实现真正的实时边缘部署。（3）高分辨率潜在空间：过渡到更高分辨率的潜在空间或完全无VAE的token化方案，进一步提升几何保真度。基于现有成果，还可以延伸以下方向：（4）跨模态扩展：将确定性适配范式应用于其他3D感知任务，如法线估计、光流预测或场景流估计。（5）多模态融合：将深度估计与语义分割、实例分割等任务联合，利用共享的生成先验实现多任务协同学习。（6）自监督/半监督学习：探索利用大量无标注视频数据进行自监督预训练，进一步降低对合成数据的依赖。

复现评估

DVD的可复现性非常高，作者完全开源了整个流水线。代码方面，项目提供了完整的训练套件（GitHub: https://github.com/EnVision-Research/DVD），包括模型架构、训练脚本和推理代码。数据方面，训练仅使用公开的合成数据集：TartanAir和Virtual KITTI的视频片段，以及Hypersim和Virtual KITTI的静态图像，无需任何私有数据或昂贵的真实世界标注。算力方面，训练在8块NVIDIA H100 GPU上不到36小时即可收敛，相比VDA的6000万帧训练数据需求，DVD的数据效率提升了163倍，大幅降低了复现门槛。预训练骨干网络Wan2.1-1.3B是公开可用的模型，VAE、LoRA配置等超参数在论文Table 5中有详细记录。推理方面，采用单块RTX A6000 GPU进行效率基准测试，实现了与VDA相当的推理速度。总体而言，DVD的复现难度较低，适合学术研究团队复现和扩展。

论文图表

Figure 1: DVD在1500帧野外视频上的定性比较及数据效率分析

上半部分展示了RGB输入及三种方法（DepthCrafter、VDA、DVD）在1500帧野外视频不同时间点的深度预测结果。下半部分展示了在KITTI、ScanNet和Bonn上的平均性能对比，以及DVD使用不到VDA训练集1%数据即可解锁丰富先验的数据效率。生成式方法（DepthCrafter）存在几何幻觉，判别式方法（VDA）存在语义歧义，DVD同时解决了这两个问题。

这张图直观展示了DVD的核心优势：同时克服生成模型的几何幻觉和判别模型的语义歧义，以及极高的数据效率。是理解论文核心贡献的关键入口。

Figure 13: CogVideoX骨干网络上的定性结果

展示了DVD在CogVideoX-5B骨干网络上的深度预测结果，与VDA对比。尽管使用不同的基础架构，DVD的确定性范式仍然保持了显著更锐利的高频细节。

验证了DVD确定性适配范式的跨骨干网络泛化能力，证明其不局限于特定架构。

1100帧包含剧烈场景转换的序列失败案例分析
Figure 14: 1100帧包含剧烈场景转换的序列失败案例分析

展示了在包含剧烈环境变化（从室内桌面到室外隧道）的1100帧序列中，DVD和VDA都无法避免全局尺度漂移（对比Frame #1和#500的绝对深度表示）。然而，即使存在全局尺度漂移，DVD始终保持着显著更优的局部结构保真度（如Frame #800-#900中的手部几何）。

诚实地展示了DVD的局限性，同时说明这是整个领域的未解决问题，而非DVD特有的缺陷。

Figure 20: 长视频更多结果展示（续）

展示DVD在更多长视频场景中的深度预测结果。

提供更多长视频场景的定性证据。