← 返回 2026-01-08

Gen3R：3D场景生成与前馈重建的融合框架 Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction

Jiaxin Huang, Yuanbo Yang, Bangbang Yang, Lin Ma, Yuewen Ma, Yiyi Liao 📅 2026-01-07 👍 2 2026-07-13 08:35
3D场景生成 几何先验 前馈重建 多模态生成 视频扩散
arXiv HuggingFace PDF

将重建模型VGGT重构为几何VAE，与视频扩散模型联合生成RGB视频和一致3D几何

前置知识

Latent Diffusion Model (LDM)

潜在扩散模型是扩散模型的一种高效实现方式，它通过训练一个变分自编码器（VAE）将高维输入（如图像）压缩到低维潜空间，然后在潜空间中执行扩散过程。这种方法大幅降低了计算开销，因为潜空间比原始像素空间维度低得多。训练时，VAE 编码器将输入映射到潜变量，扩散模型学习从噪声逐步还原潜变量分布；推理时，从纯噪声采样并通过去噪网络逐步生成潜变量，最后用 VAE 解码器重建到像素空间。

本文的核心思想是将重建模型的几何特征映射到视频扩散模型的潜空间，因此理解 LDM 的工作原理对于理解 Gen3R 如何统一外观和几何生成至关重要。

3D Scene Reconstruction from 2D Images

从2D图像重建3D场景是计算机视觉的经典问题，目标是恢复场景的几何结构和相机参数。传统方法基于多视图几何（SfM、SLAM），近年来深度学习方法如 Dust3R、VGGT 使用 Transformer 直接从图像中估计深度图、相机姿态和全局点云。这些方法通过端到端学习几何先验，能够在无显式3D监督的情况下输出一致的3D表示。VGGT 特别之处在于它能同时估计多个3D量（点云、深度、相机参数），其内部通过注意力机制捕获多视图间的几何一致性。

本文将 VGGT 作为几何先验的来源，理解其如何从2D图像中提取几何信息对于理解 Gen3R 的适配器设计至关重要。

KL Divergence (KL散度)

KL散度（Kullback-Leibler Divergence）是衡量两个概率分布之间差异的指标，定义为 DKL(p∥q) = Σp(x)log(p(x)/q(x))。在机器学习中，它常用于约束模型学习的分布接近某个目标分布。在 VAE 中，KL散度用于约束潜变量的分布接近标准正态分布，确保潜空间具有良好的结构。在本文中，KL散度 LKL = DKL(qG∥qA) 用于对齐几何潜变量分布 qG 与预训练外观潜变量分布 qA，使两个潜空间兼容从而支持联合生成。

KL对齐损失是本文的关键创新点之一，理解它如何约束几何潜空间的分布对于理解为什么 Gen3R 能够成功联合生成外观和几何至关重要。

Chamfer Distance (CD)

Chamfer距离是衡量两个点云之间相似度的常用指标，定义为两个方向上的最近邻距离之和：CD(A,B) = (1/|A|)Σ_{a∈A}min_{b∈B}||a-b||² + (1/|B|)Σ_{b∈B}min_{a∈A}||b-a||²。它计算每个点到另一个点云中最近点的平均距离，因此对点云的密度变化不敏感。与传统的L2距离相比，CD能更好地评估3D几何的重建质量，因为点云的点数可能不同。在3D生成和重建任务中，CD越小说明生成的点云与真实点云越接近。

本文使用 Chamfer Distance 作为几何生成和重建的主要评估指标，理解其计算方式和物理意义对于正确理解实验结果非常重要。

Novel View Synthesis (新视角合成)

新视角合成是指从有限输入图像生成场景在新视角下的图像，是评估3D场景生成质量的关键任务。高质量的新视角合成要求生成图像不仅在视觉上逼真，还必须与输入视角保持几何一致性，包括正确的遮挡关系、纹理连续性和光照一致性。常用评估指标包括 PSNR（峰值信噪比）、SSIM（结构相似性）和 LPIPS（感知相似性）。PSNR和SSIM衡量像素级和结构级相似性，LPIPS衡量感知层面的相似性。

本文在多个数据集上进行了新视角合成评估，这些指标直接反映了模型生成3D一致场景的能力，是理解 Gen3R 优势的重要依据。

研究动机

现有3D场景生成方法面临两大核心问题：一是几何结构质量差，二是计算成本高。基于分数蒸馏（SDS）的方法通过优化3D表示（NeRF、3DGS）对齐2D扩散模型分布，但缺乏显式3D推理，导致几何不一致性和高计算开销。基于多视图合成+重建的方法先合成多视图图像再重建，但同样存在几何不一致性。最近的视频扩散前馈方法（如Aether、WVD）通过训练几何中心VAE学习3D场景的紧凑潜空间，但由于大规模3D标注数据稀缺，从2D监督学习高质量几何VAE极具挑战性。这些方法生成的点云往往存在全局一致性差、多视图保真度弱的问题。

本文的目标是本文的目标是设计一个既能生成高质量RGB视频，又能输出几何一致3D场景的统一框架。具体而言，希望从单视图或多视图输入生成时序连贯的RGB帧和全局对齐的点云、深度图及相机参数。同时希望该框架具有灵活性，支持多种条件设置（有/无相机条件）、可前馈推理、且能提升重建鲁棒性。

与已有工作不同的是，本文的独特切入角度是重新思考重建模型的潜空间价值。大多数方法试图压缩重建模型的3D输出来构建VAE，但忽略了一个关键事实：Transformer-based前馈重建模型（如VGGT）本身就在一个空间紧凑的token空间中操作，该空间编码了丰富的多视图几何信息（深度、相机姿态、全局结构）。本文的核心洞察是：能否利用重建模型内蕴学习的潜流形来充分 exploit 重建先验用于3D场景生成？

核心方法

Gen3R的整体思路是将先进的重建模型与视频扩散模型在潜空间层面融合，形成统一的生成框架。具体而言，将VGGT重构为非对称几何VAE，通过训练适配器将其几何tokens映射到预训练视频扩散模型（Wan）的潜空间，同时用KL散度约束几何潜变量分布与外观潜变量分布对齐。然后在统一潜空间中精调视频扩散模型，实现外观和几何潜变量的联合生成。推理时，从噪声采样联合潜变量，分别解码得到RGB视频和3D几何（点云、深度、相机参数）。这种方法充分利用了重建模型在多个3D量上学习到的丰富几何先验，以及视频扩散模型的强大RGB先验。

核心创新点是将VGGT重建模型本身作为几何潜变量的提供者，而非压缩其3D输出。VGGT的encoder输出几何tokens V∈R^(N×L×hv×wv×C)，这些tokens已经编码了深度、相机姿态和全局结构等多视图几何信息。通过训练适配器(Eadp, Dadp)将这些tokens投影到视频扩散模型的潜空间G∈R^(n×h×w×c)，并用KL损失约束其分布与外观潜变量对齐。这与现有方法（如WVD压缩3D输出形成VAE）的本质区别在于：直接利用重建模型的内蕴潜流形，继承了其在多个3D量上的强大几何先验和高层场景理解能力。另一个关键创新是将外观和几何潜变量解耦但对齐，通过宽度维度拼接形成统一潜空间Z=[A;G]∈R^(n×h×2w×c)，既保留了两个模态的独立性，又允许它们在联合生成中相互约束。

方法步骤详情

方法包含三个完整步骤。第一步：训练几何适配器构建统一潜空间。VGGT encoder将N张输入图像I编码为几何tokens V∈R^(N×L×hv×wv×C)，其中L=4来自第4、11、17、23层，hv=wv=40，C=2048。适配器Eadp将V映射到几何潜变量G∈R^(n×h×w×c)，Dadp将G映射回V。训练使用重建损失L_rec=E||V̂-V||²+E||T̂-T||₁+E||D̂-D||²+E||P̂-P||²，其中V̂=Dadp(G)，(P,D,T)和(P̂,D̂,T̂)分别来自原始tokens和重建tokens的DPT head输出。同时引入KL对齐损失L_KL=DKL(q_G∥q_A)，q_G是几何潜变量分布，q_A是预训练Wan VAE编码图像得到的外观潜变量分布。总损失L=λ₁L_rec+λ₂L_KL。第二步：精调视频扩散模型进行联合生成。构建联合潜空间Z=[A;G]，A和G分别是外观和几何潜变量，沿宽度维度拼接。精调Wan2.1模型G_θ，支持多条件输入（文本提示y、条件图像序列I_cond、二值掩码M、可选相机条件T_cond），扩散过程G_θ:(Z_t,t,y,I_cond,M,T_cond)→Ẑ_{t-1}。训练时随机采样条件：1)首帧(1-view)、2)首尾帧(2-view)、3)全部帧，对应调整二值掩码。文本提示和相机条件分别以20%和50%概率dropout。第三步：解码潜变量到场景属性。推理时从噪声采样Z，分离得到A和G。外观潜变量A由预训练RGB VAE解码得到RGB视频帧I。几何潜变量G由适配器Dadp恢复为几何tokens V，再由预训练VGGT的DPT head解码得到点云P、深度图D和相机参数T。最后用相机参数反投影深度图得到最终几何结果。

技术新颖性

技术新颖性体现在三个方面：一是潜空间设计创新，首次将重建模型的内蕴几何tokens直接映射到生成模型的潜空间，而非压缩3D输出，保留了重建模型在多个3D量上的丰富先验。二是分布对齐创新，引入KL损失约束几何潜变量分布与外观潜变量对齐，这在没有VAE/VQ-VAE约束的情况下确保了潜空间的兼容性，是扩散训练收敛的关键。三是联合生成范式创新，将外观和几何潜变量解耦但对齐，在宽度维度拼接形成统一潜空间，既保持了两个模态的独立性（允许分别解码到不同输出），又实现了联合建模（允许在扩散过程中相互约束）。这种设计使得单个模型既能生成高质量RGB视频，又能输出几何一致的3D结构，还能用于前馈重建并提升原重建模型的鲁棒性。

Method. Left: We recast an advanced transformer-based feed-forward reconstruction model, VGGT, as a VAE to produce geometry latents G by training an adapter on its latent tokens. The training is supervised with a reconstruction loss Lrec, along with a regularization term LKL that aligns G with the appearance latent A, which is obtained from the VAE of a pre-trained video diffusion model, WAN. Right: We fine-tune the video diffusion model to jointly generate geometry and appearance latents, Z = [A; G], under various conditioning signals. At inference, varying the conditioning enables the generation of RGB videos and multiple 3D quantities, including global point clouds, depth maps, and camera parameters, from a single or multiple frames, as well as performing reconstruction.
Figure 2: Method. Left: We recast an advanced transformer-based feed-forward reconstruction model, VGGT, as a VAE to produce geometry latents G by training an adapter on its latent tokens. The training is supervised with a reconstruction loss Lrec, along with a regularization term LKL that aligns G with the appearance latent A, which is obtained from the VAE of a pre-trained video diffusion model, WAN. Right: We fine-tune the video diffusion model to jointly generate geometry and appearance latents, Z = [A; G], under various conditioning signals. At inference, varying the conditioning enables the generation of RGB videos and multiple 3D quantities, including global point clouds, depth maps, and camera parameters, from a single or multiple frames, as well as performing reconstruction.

实验结果

核心发现包括：Gen3R在单视图和双视图条件的3D生成任务上均达到SOTA性能，在外观和几何指标上全面超越基线方法。在RealEstate10K和DL3DV-10K数据集上的外观生成中，1-view设置下PSNR达到20.51（基线Aether 16.32、WVD 17.62），SSIM达到0.7388（基线0.6374、0.6658），LPIPS达到0.2281（基线0.3808、0.3300），VBench的I2V Subject达到0.9951、I2V Background达到0.9952、Imaging Quality达到0.5993。2-view设置下提升更显著，PSNR达到27.05（基线DepthSplat 26.67、LVSM 29.58、Aether 21.77、WVD 23.78），SSIM达到0.8732，LPIPS达到0.1352。在Co3Dv2、WildRGB-D、TartanAir数据集上的几何生成中，1-view设置下Chamfer Distance达到1.1047（基线Aether 1.9498、WVD 1.6137、VGGT 1.6137），Accuracy达到0.8284，Completeness达到1.3811。2-view设置下CD达到0.9767（基线Aether 1.5520、WVD 1.2759、VGGT 1.7081）。在重建任务上，Gen3R不仅保持了VGGT的性能，甚至有所提升，例如在WildRGB-D上CD从VGGT的0.1165降到0.1260，但Completeness从0.1405改善到0.1463。更重要的是，生成模型能够纠正VGGT重建中的噪声（如floaters），产生更干净的深度图。相机控制方面，RealEstate10K上AUC@30达到0.7443（基线Aether 0.6398、WVD 0.6727），WildRGB-D上达到0.8004（基线0.5375、0.6780）。消融实验显示：移除L_KL后性能显著下降（RealEstate10K 1-view PSNR从20.51降到16.31，CD从1.1047升到1.9620），证明了分布对齐的重要性；两阶段基线（先生成RGB再用VGGT重建几何）在所有指标上均低于联合生成，证明了联合建模的必要性。

Quantitative Comparison of Appearance Generation. We compare both 1-view and 2-view based settings.
Table 1: Quantitative Comparison of Appearance Generation. We compare both 1-view and 2-view based settings.
Quantitative Comparison of Geometry Generation. We compare both 1-view and 2-view based settings.
Table 2: Quantitative Comparison of Geometry Generation. We compare both 1-view and 2-view based settings.
Quantitative Comparison of Geometry Reconstruction. WVD (VAE only) uses pretrained RGB VAE to encode and reconstruct point clouds, while Ours (VAE only) projects and reconstruct VGGT tokens to decode scene geometry.
Table 3: Quantitative Comparison of Geometry Reconstruction. WVD (VAE only) uses pretrained RGB VAE to encode and reconstruct point clouds, while Ours (VAE only) projects and reconstruct VGGT tokens to decode scene geometry.
Ablation Study on appearance and geometry generation.
Table 4: Ablation Study on appearance and geometry generation.
Quantitative Comparison of Camera Controllability on RealEstate10K and WildRGB-D datasets.
Table 5: Quantitative Comparison of Camera Controllability on RealEstate10K and WildRGB-D datasets.
Qualitative Comparison of Geometry Generation in the 1-view based setting.
Figure 3: Qualitative Comparison of Geometry Generation in the 1-view based setting.
Qualitative Comparison of Novel View Synthesis with 2-view conditions. The input images are shown on the left, and error maps are displayed overlaid on the results. Bluer colors indicate smaller errors, while redder colors indicate larger errors.
Figure 4: Qualitative Comparison of Novel View Synthesis with 2-view conditions. The input images are shown on the left, and error maps are displayed overlaid on the results. Bluer colors indicate smaller errors, while redder colors indicate larger errors.
Quali. Comparison of Geometry Reconstruction.
Figure 5: Quali. Comparison of Geometry Reconstruction.
Appearance Comparison with ablation baselines. We highlight the artifacts of the baselines directly in the figures.
Figure 6: Appearance Comparison with ablation baselines. We highlight the artifacts of the baselines directly in the figures.
Visualization of Latent Spaces from different VAEs.
Figure 7: Visualization of Latent Spaces from different VAEs.
查看结构化数据
任务指标本文基线提升
外观生成（1-view） PSNR↑ 20.51 WVD 17.62 +16.4%
外观生成（1-view） SSIM↑ 0.7388 WVD 0.6658 +11.0%
外观生成（1-view） LPIPS↓ 0.2281 WVD 0.3300 -30.9%
外观生成（2-view） PSNR↑ 27.05 WVD 23.78 +13.7%
外观生成（2-view） SSIM↑ 0.8732 WVD 0.7948 +9.9%
几何生成（1-view） CD↓ 1.1047 WVD 1.6137 -31.5%
几何生成（2-view） CD↓ 0.9767 WVD 1.2759 -23.4%
相机控制（RealEstate10K 1-view） AUC@30↑ 0.7443 WVD 0.6727 +10.6%

局限与改进

作者承认的局限包括：论文主要关注静态场景生成，未涉及动态物体或时间一致性场景；对复杂遮挡区域的几何补全仍有限；高分辨率场景生成质量受限于训练数据规模。额外的观察包括：推理时需要同时生成外观和几何潜变量，计算开销仍较高；对未见过的场景类型（如极端天气、非常规视角）泛化能力有待验证；点云细节仍可能模糊，尤其是高频几何结构；训练需要多视图数据，对单视图场景的处理依赖模型外推能力。

独立分析的弱点

独立分析的弱点包括：1)几何细节模糊，尤其在细小结构和高频区域。这是因为VGGT的几何tokens经过适配器压缩到低维潜空间（c=16）时损失了部分细节信息。改进方向可以探索多尺度潜空间设计，在低维全局结构外增加高维局部细节分支。2)计算开销较高，推理需要同时运行视频扩散模型和VGGT解码器。改进方向可以探索知识蒸馏，将联合生成能力蒸馏到更轻量的模型。3)对复杂遮挡场景处理有限，虽然能部分补全遮挡区域，但深度估计仍可能不准确。改进方向可以引入显式遮挡推理模块，或在训练时增加遮挡样本增强。4)对未见场景泛化能力有限，在LLFF、Mip-NeRF 360等测试集上性能下降。改进方向可以增加域适应训练，或引入元学习机制提升泛化性。

未来方向

作者提出的未来方向包括：扩展到动态场景生成，处理时间一致性；支持更高分辨率输出；探索更高效的潜空间设计。基于成果可延伸的方向：1)融合多模态条件（文本、音频、深度图）实现更可控的生成；2)集成到编辑框架，支持场景编辑和重光照；3)应用于数据增强，为下游任务（如SLAM、3D检测）生成训练数据；4)探索与其他重建模型（Dust3R、MASt3R）的融合，验证方法的通用性；5)研究潜空间的插值和操作，实现语义控制；6)优化推理效率，探索实时生成方案；7)扩展到4D场景生成（3D+时间），处理动态物体。

复现评估

论文提供了项目页面（https://xdimlab.github.io/Gen3R/）但未明确说明是否开源代码。训练数据包括9个公开数据集：RealEstate10K、DL3DV-10K、ACID、TartanAir、KITTI-360、Waymo、Co3Dv2、MVImgNet、Virtual KITTI 2、WildRGB-D，共超过30万个多视图场景。实现基于预训练Wan2.1视频扩散模型和VGGT重建模型。训练分两阶段：适配器训练在24张H20 GPU上，使用560×560分辨率、batch size=192（梯度累积）、先25帧15k迭代再49帧6k迭代；扩散模型精调同样在24张H20 GPU上，batch size=4训练8k迭代。推理支持前馈生成，无需优化。复现难度中等，需要预训练模型和多GPU资源，但详细训练参数已提供。

论文图表

Gen3R bridges foundational reconstruction models with 2D video diffusion, enabling the joint generation of 2D videos and their corresponding geometry in various settings.
Figure 1: Gen3R bridges foundational reconstruction models with 2D video diffusion, enabling the joint generation of 2D videos and their corresponding geometry in various settings.

该图展示了Gen3R框架的整体效果，包括从单视图或双视图输入生成的RGB视频帧和对应的3D几何输出（点云）。图中的示例包括室内和室外场景，展示了生成的视频在时序上的连贯性以及点云的全局一致性。图中还标注了该方法支持的各种设置：有/无相机条件、单/多视图、生成和重建任务。

这张图对于理解论文至关重要，因为它直观展示了Gen3R的核心能力——同时生成高质量的RGB视频和几何一致的3D场景。它帮助读者快速把握论文要解决的问题和方法的输出形式，为后续理解方法细节提供直观基础。