LagerNVS：基于隐式几何的完全神经网络实时新视角合成

通过3D感知特征预训练实现高质量实时新视角合成，无需显式3D重建

前置知识

新视角合成（Novel View Synthesis, NVS）

新视角合成是计算机视觉中的经典任务，目标是从一组已知视角的图像生成场景的新视角图像。传统方法通常需要先重建场景的3D表示（如NeRF或3D高斯），然后从目标视角渲染。这个过程计算量大，且在源图像数量较少时容易过拟合。近年来，研究者开始探索直接从源图像生成目标视角的端到端神经网络方法，跳过显式3D重建步骤。

本文的核心贡献就是改进NVS方法，理解这个任务的基本范式（优化式 vs 前馈式 vs 直接渲染式）对于把握论文的创新点至关重要。

3D归纳偏置（3D Inductive Bias）

归纳偏置是指模型架构或训练过程中隐含的先验假设，帮助模型更好地学习特定任务。3D归纳偏置特指那些鼓励模型理解三维结构的设计，例如使用3D卷积、多视角几何约束、或从3D重建任务预训练的特征。这些偏置帮助网络理解深度、遮挡、视角变换等3D概念，即使最终模型并不显式输出3D表示。

本文的核心论点是：即使不进行显式3D重建，强3D归纳偏置对NVS仍然至关重要。理解这个概念有助于把握论文的理论贡献。

VGGT（Visual Geometry Grounded Transformer）

VGGT是一个前馈式3D重建网络，能够从单张或多张图像预测相机参数、深度图等几何信息。它使用Transformer架构，在大量多视角数据集上预训练，学习到了强大的3D几何理解能力。VGGT的特征虽然不直接输出3D表示，但包含了丰富的3D几何信息。

LagerNVS的编码器直接基于VGGT初始化，利用其预训练的3D感知特征。理解VGGT的工作原理和特征表示对于理解本文方法的核心创新点至关重要。

Encoder-Decoder架构

在NVS中，Encoder-Decoder架构将场景编码（encoding）和视角条件解码（decoding）分离。编码器处理源图像，提取场景的潜在表示；解码器根据目标相机参数，从潜在表示渲染新视角。这种设计允许编码成本在生成多个目标视角时分摊，提高效率。与之对比，Decoder-only架构每次渲染都需要重新处理整个网络。

本文详细比较了三种架构变体（decoder-only、bottleneck encoder-decoder、highway encoder-decoder），并提出highway变体作为最佳选择。理解这些架构差异是理解论文技术贡献的基础。

Plucker坐标（Plucker Coordinates）

Plucker坐标是一种表示3D空间中直线的六维参数化方法，由射线方向rd和射线矩rm组成，两者都是三维向量。在NVS中，每个像素对应一条从相机出发的射线，可以用Plucker坐标表示。这种表示方式比传统的相机内外参数更密集，能为解码器提供逐像素的视角信息。

LagerNVS的解码器使用Plucker射线图来编码目标相机，这是将相机参数转换为解码器可用格式的关键技术细节。

研究动机

新视角合成（NVS）领域存在一个根本性的权衡：基于优化的方法（如NeRF、3D高斯）需要对每个场景进行昂贵的优化，处理时间从分钟到小时不等，且在源图像数量较少时容易过拟合；而前馈式方法虽然更快，但往往依赖显式3D重建（如预测3D高斯），这带来了新的问题——在遮挡区域和反射表面等模糊情况下，显式3D表示难以准确重建，导致渲染质量下降。更具体地说，当目标视角指向源图像未覆盖的区域时，基于像素对齐的3D高斯方法（如AnySplat、Flare）会完全失败，因为它们强制高斯与射线对齐以保持观测内容清晰，但无法填充遮挡区域。此外，现有方法通常在单一数据集上训练，泛化能力有限，难以处理真实世界中多样的场景类型（如360度场景、非正方形图像、无相机位姿的情况）。

本文的目标是本文的目标是构建一个既高质量又实时的新视角合成系统，具体包括：在标准基准测试上达到或超越现有最佳方法（LVSM）的渲染质量，目标是超越至少1.5dB PSNR；在单张H100 GPU上以512x512分辨率实现30+ FPS的实时渲染；支持1到9个源图像的灵活输入；在有无相机位姿的情况下都能工作；泛化到真实世界数据，包括互联网照片、具身应用场景、360度场景和非正方形图像。

与已有工作不同的是，本文的独特切入点在于：与其在解码器端引入3D归纳偏置（如使用3D高斯渲染器），不如在编码器端利用预训练的3D重建网络的特征。作者观察到，虽然VGGT等3D重建网络的输出（深度图、点云）是显式的，但其内部特征（特别是Transformer的中间层输出）已经隐式编码了丰富的3D几何信息。这些特征是通过显式3D监督预训练得到的，因此具有强3D归纳偏置，但又不需要在推理时进行显式3D重建。这种隐式3D偏置的方法既保留了3D理解能力，又避免了显式3D表示在模糊情况下的重建难题。此外，作者系统比较了三种encoder-decoder架构变体，发现highway架构（解码器可以直接访问所有图像特征）在质量和速度之间取得了最佳平衡。

核心方法

LagerNVS的核心思路可以用一个类比来理解：想象一个经验丰富的画家，他不需要先用尺子精确测量房间的每个尺寸（显式3D重建），而是通过多年训练获得的空间感知能力（3D感知特征），直接从参考照片画出新视角的画面。具体来说，LagerNVS采用encoder-decoder架构：编码器基于预训练的VGGT模型，它已经通过大量3D重建任务学会了理解场景的几何结构，我们提取其Transformer中间层的特征作为3D感知的场景表示；解码器是一个轻量级的Vision Transformer，它接收目标相机的Plucker射线图和编码器输出的特征，直接渲染出512x512的新视角图像。整个系统在13个多视角数据集上端到端训练，使用L2损失和感知损失的组合进行优化。关键创新在于：编码器的特征虽然不显式表示3D，但包含了通过3D监督学习到的几何先验，这使得模型在处理遮挡、反射等模糊情况时比直接使用2D预训练特征（如DINOv2）表现更好。

本文最核心的创新点是：在不进行显式3D重建的前提下，通过预训练的3D重建网络的特征来注入强3D归纳偏置。这与现有方法形成了鲜明对比：LVSM等方法使用随机初始化或2D预训练的编码器，缺乏3D几何理解；而AnySplat等方法虽然使用VGGT，但将其用于显式3D重建（预测3D高斯），然后用高斯渲染器解码。LagerNVS的洞察在于：VGGT的最后一层Transformer特征（在输出深度图和相机参数之前的中间表示）已经包含了足够的3D信息，可以直接用于渲染，无需经过显式3D表示这个中间步骤。这种设计带来了两个关键优势：首先，避免了显式3D重建在模糊区域的误差累积；其次，编码器的计算可以跨多个目标视角分摊，解码器更轻量，实现实时渲染。实验表明，使用VGGT预训练特征比从零训练提升+2.9dB PSNR，比使用DINOv2等2D预训练特征也有显著优势。

方法步骤详情

LagerNVS的方法分为以下几个关键步骤：（1）输入处理：模型接收V个源图像和可选的相机参数。图像被缩放到VGGT期望的518x518分辨率，相机参数通过2层MLP投影到1024维token。（2）编码阶段：源图像和相机token输入VGGT的Transformer骨干网络（包含24层图像嵌入器和48层聚合器）。提取最后一层局部注意力和全局注意力层的输出token，拼接后通过线性层投影到解码器期望的维度C=768，再经过LayerNorm归一化，得到每个源图像的特征。（3）目标相机编码：目标相机g用Plucker射线图表示为6xHxW的密集表示，通过步长为8的卷积层提取HW/64个token，加上4个register token，得到相机token。（4）解码阶段：场景token和相机token输入ViT-B解码器（12层Transformer）。支持两种注意力变体：full attention（复杂度O(V^2)）和bidirectional cross-attention（复杂度O(V)）。解码器输出丢弃场景token和register token，从相机token通过线性层和sigmoid激活渲染出目标图像。（5）训练优化：使用AdamW优化器，组合L2损失和感知损失，在13个数据集上训练250k次迭代，batch size 512。随机采样1-10个源视图，40%概率丢弃相机token以支持无位姿推理。

技术新颖性

LagerNVS的技术新颖性体现在三个层面：首先，在特征利用层面，本文首次系统证明了从3D重建网络提取的隐式特征比显式3D表示更适合NVS任务。具体数据表明，使用VGGT特征比从零训练提升+2.9dB，比DINOv2 2D预训练提升约+2.8dB，这量化了3D预训练的价值。其次，在架构设计层面，本文提出了highway encoder-decoder架构，与LVSM的bottleneck架构不同，highway架构允许解码器直接访问所有源图像特征，没有信息瓶颈。实验显示，highway架构比bottleneck架构提升约+2.8dB PSNR（21.02 vs 17.53），同时通过bidirectional cross-attention保持了实时渲染能力（30+ FPS）。第三，在系统能力层面，LagerNVS是首个同时支持有/无相机位姿、单视图/多视图、多种场景类型（室内、360度、非正方形）的统一模型，这得益于其精心设计的场景尺度归一化策略（基于相机距离和场景点距离的双归一化因子）。

实验结果

LagerNVS在多个标准基准测试上取得了最先进的结果，显著超越了之前的最佳方法LVSM。在RealEstate10k数据集上（2个源视图，256x256分辨率），使用batch size 512训练时，LagerNVS达到31.39 PSNR、0.928 SSIM、0.078 LPIPS，比LVSM的decoder-only变体（29.67 PSNR）提升+1.72dB，比LVSM的bottleneck encoder-decoder变体（28.58 PSNR）提升+2.81dB。即使在资源受限的设置下（batch size 64），LagerNVS仍达到30.48 PSNR，比LVSM的28.89 PSNR提升+1.59dB。在DL3DV数据集上，LagerNVS在4视图设置下达到27.56 PSNR（vs DepthSplat的22.30 PSNR，提升+5.26dB），6视图设置下达到29.45 PSNR（vs 23.47 PSNR，提升+5.98dB）。在更具挑战性的CO3D 360度场景数据集上（9视图，512x512分辨率），LagerNVS达到22.05 PSNR，比AnySplat的15.87 PSNR提升+6.18dB。消融实验表明，3D预训练是关键：使用VGGT初始化比从零训练提升+2.9dB PSNR，比DINOv2 2D预训练提升约+2.8dB。端到端微调也是必要的，冻结VGGT骨干会导致性能下降约2dB（19.01 vs 21.02），并出现反射和纹理缺失。在速度方面，LagerNVS的解码器在单张H100 GPU上以512x512分辨率渲染时，使用cross-attention变体可支持最多9个源视图达到30+ FPS，使用full attention变体可支持6个源视图。此外，LagerNVS展示了强大的泛化能力，能够处理互联网照片（无相机位姿）、具身应用场景、360度场景和非正方形图像，且支持单视图NVS（小相机运动下）。

查看结构化数据

任务	指标	本文	基线	提升
RealEstate10k 2-view NVS	PSNR	31.39	LVSM 29.67	+1.72dB
RealEstate10k 2-view NVS	SSIM	0.928	LVSM 0.906	+0.022
RealEstate10k 2-view NVS	LPIPS	0.078	LVSM 0.098	-0.020
DL3DV 4-view NVS	PSNR	27.56	DepthSplat 22.30	+5.26dB
DL3DV 6-view NVS	PSNR	29.45	DepthSplat 23.47	+5.98dB
CO3D 9-view 360 NVS	PSNR	22.05	AnySplat 15.87	+6.18dB
Re10k 2-view unposed	PSNR	25.54	AnySplat 17.05	+8.49dB

局限与改进

尽管LagerNVS取得了显著成果，但仍存在几个重要局限性。首先，模型假设所有源图像和目标相机具有相同的内参（焦距），当输入具有不同焦距的图像或指定不同的目标焦距时，性能会下降。这是因为训练时源和目标图像总是共享相同的焦径，导致模型无法泛化到焦距变化的场景。其次，作为确定性回归模型，LagerNVS在处理遮挡区域时会回归到均值，产生模糊渲染和块状伪影。虽然在简单遮挡情况下（如浴缸角落）效果尚可，但在复杂遮挡场景下质量明显下降。作者展示了通过微调解码器为扩散模型可以缓解这个问题，但这增加了推理成本。第三，模型对高频模式（如草地、树木）的渲染质量系统性较差，这些区域往往呈现模糊或块状伪影。第四，模型仅适用于静态场景，未包含人类的训练数据，也不支持鱼眼等畸变图像。第五，在视频渲染时，遮挡区域的不确定性会导致闪烁，因为每帧独立渲染，缺乏时序一致性。

独立分析的弱点

从独立分析的角度看，LagerNVS存在几个值得关注的弱点。首先，编码器依赖VGGT预训练权重，而VGGT本身是为了3D重建任务设计的，其特征可能没有最优地保留外观信息（颜色、反射率）。作者自己也承认，VGGT将外观属性视为细微差别，未来版本的VGGT应该在训练时加入渲染损失，以更好地保留外观信息。其次，highway架构虽然提升了质量，但解码器复杂度与源视图数量V成正比（cross-attention变体为O(V)，full attention为O(V^2)），这限制了在源视图数量很大时的扩展性。一个可能的改进方向是设计更高效的注意力机制，如线性注意力或稀疏注意力。第三，场景尺度归一化策略虽然巧妙，但增加了系统复杂性，且在单视图或相机原点重叠的特殊情况下需要特殊处理。可以探索更简洁的归一化方法，或者让模型隐式学习尺度关系。第四，扩散解码器的微调仅用了60k次迭代和像素空间扩散，这可能不是最优的。使用潜空间扩散或更长的微调可能进一步提升生成质量。

未来方向

基于LagerNVS的成果，有几个有前景的未来研究方向。首先，视频NVS是一个自然延伸，当前模型独立渲染每帧导致闪烁，可以探索自回归扩散模型或视频扩散模型作为解码器，以生成时序一致的新视角视频。其次，焦距泛化是一个重要改进方向，通过在训练时随机化焦距，模型可以学习处理不同内参的输入，这对于真实世界应用至关重要。第三，可以探索将LagerNVS的编码器特征用于其他3D任务，如3D重建、语义分割、深度估计等，验证这些特征的通用性。第四，结合最新的大规模预训练视觉模型（如DINOv2、SAM）可能进一步提升特征质量。第五，探索更高效的解码器设计，如使用状态空间模型（SSM）或线性注意力，以支持更多源视图的实时渲染。最后，将LagerNVS与生成式AI结合，用于3D内容创建、虚拟现实、增强现实等应用场景。

复现评估

LagerNVS在复现方面具有较好的条件。作者承诺在项目网站（szymanowiczs.github.io/lagernvs）发布代码和模型检查点，这大大降低了复现门槛。训练数据方面，模型使用了13个多视角数据集的混合，包括公开可用的RealEstate10k、DL3DV、CO3D等，数据获取相对容易。算力需求方面，主模型在512分辨率下训练250k次迭代，batch size 512，这需要多GPU训练（作者使用了H100 GPU）。对于资源受限的研究者，论文也提供了在batch size 64下的实验结果，显示即使在较小规模训练下仍能取得不错的效果。解码器相对轻量（ViT-B，约85-170M参数），推理时在单张H100上可达30+ FPS，部署门槛较低。复现的主要挑战在于：需要正确实现VGGT的特征提取、Plucker射线图编码、以及highway/cross-attention机制。总体而言，对于有深度学习经验的研究团队，复现难度中等。