2Xplat：双专家架构优于单一通用模型的无位姿前馈3D高斯溅射 2Xplat: Two Experts Are Better Than One Generalist
双专家解耦位姿估计与外观生成，超越无位姿3DGS方法
前置知识
3D Gaussian Splatting (3DGS)
3D高斯溅射是一种用三维高斯基元表示场景的方法。每个高斯基元由位置、协方差（形状）、颜色和不透明度等参数定义。通过可微分渲染，这些高斯基元可以被投影到二维图像上，实现高质量的实时新视角合成。相比神经辐射场（NeRF），3DGS具有更快的渲染速度和更直观的几何表示，已成为当前新视角合成的主流方法。
本文的核心任务就是生成高质量的3DGS表示，理解3DGS的基本原理是理解论文技术贡献的前提
Feed-forward 3DGS
前馈式3DGS是指通过神经网络在单次前向传播中直接从输入图像预测3D高斯基元参数，而无需传统的逐场景迭代优化。传统3DGS需要对每个场景进行数万次梯度迭代（耗时数十分钟到数小时），而前馈方法可以在几秒内完成重建。这种方法的核心挑战在于如何在一次前向传播中生成足够精确的高斯参数。
本文提出的2Xplat就是一种前馈式3DGS方法，理解这一范式才能理解本文的效率优势
Pose-free Reconstruction
无位姿重建是指在不提供相机位姿（内外参数）的情况下，直接从多视角图像重建3D场景。传统方法依赖SfM/SLAM等预处理步骤获取相机位姿，这既耗时又可能引入误差。无位姿方法的目标是在无需任何位姿信息的条件下，直接从原始图像推断场景几何和外观。
本文的核心贡献就是实现高质量的无位姿前馈3DGS，这是论文要解决的核心问题
Depth Anything 3 (DA3)
DA3是一个大规模3D几何基础模型，能够从多视角图像同时预测深度图、点图、射线图和相机位姿。该模型通过在大规模合成和真实数据集上训练，展现出强大的几何估计能力。DA3采用了多任务联合学习的策略，不同几何任务之间的共享监督和协同训练带来了性能提升。
本文采用DA3作为几何专家，负责相机位姿估计，是框架的关键组成部分
Multi-view Pyramid Transformer (MVP)
MVP是当前最先进的有位姿前馈3DGS架构之一，采用金字塔式多视角Transformer设计。它集成了PRoPE相机位姿条件机制、用于稳定Transformer表示的寄存器令牌、以及交替注意力的双层次框架。MVP不依赖预训练的DINO特征，完全从头训练，通过更细粒度的空间令牌实现了更高的重建保真度。
本文采用MVP作为外观专家，负责生成3D高斯表示，是框架的另一个关键组成部分
Evaluation-time Pose Alignment (EPA)
评估时位姿对齐是一种在评估阶段对预测位姿进行后处理的技术。由于无位姿方法预测的相机位姿可能存在全局参考系的歧义（即整体旋转或平移偏移），EPA通过将预测位姿与真值位姿进行对齐来消除这种歧义，从而在评估时获得更准确的渲染结果。许多现有无位姿方法（如YoNoSplat）依赖EPA才能获得有竞争力的性能。
理解EPA对于公平比较不同方法至关重要，本文展示了不依赖EPA也能超越现有方法
研究动机
当前无位姿前馈3DGS的主流方法采用单一整体式（monolithic）架构，即用一个共享网络同时预测相机位姿和3DGS参数。这种设计存在三个核心问题。首先，几何估计和外观建模这两个目标本质上是冲突的：高质量的新视角合成并不严格依赖精确的几何结构，过强的几何约束反而可能降低视觉保真度，因为小的几何误差在感知上可以忽略，但严格的一致性会限制模型再现半透明、薄结构和视角相关着色等复杂外观效果的能力。其次，最先进的有位姿前馈3DGS方法（如MVP）都采用了精细的位姿条件机制（如PRoPE、Epipolar Transformer等），这些机制需要在流水线中充分利用已知相机位姿。但在整体式架构中，位姿是隐式估计的，无法充分利用这些先进的位姿条件架构设计。第三，生成高质量的3DGS属性不是对预测几何的简单微调，而是需要大量的表征能力和精细的空间推理，这不太可能由几何骨干网络的轻量级扩展来充分处理。
本文的目标是本文的目标是提出一种新的无位姿前馈3DGS框架，通过将位姿估计和外观生成显式解耦为两个专门的专家模块，来克服整体式架构的局限性。具体而言，该框架要实现：（1）通过专用几何专家（DA3）准确估计相机位姿；（2）通过专用外观专家（MVP）生成高质量3D高斯表示；（3）整个流程保持端到端可训练，使外观专家能够通过联合优化对噪声位姿估计具有鲁棒性；（4）在训练效率上大幅超越现有方法，同时在重建质量上达到与有位姿方法相当的水平。
与已有工作不同的是，本文的独特切入角度在于重新审视"先几何、后外观合成"这一范式。虽然此前已有工作探索过这种两阶段设计，但它们主要关注自监督学习策略，较少关注充分利用最新的高容量外观模型和位姿条件架构。本文从一个不同的视角出发：不是强调自监督训练，而是探究通过显式结合强几何估计器和强大的位姿条件3DGS生成器，能在多大程度上推动高质量无位姿新视角合成的性能。此外，尽管两阶段设计看似会在几何估计和外观合成之间引入信息瓶颈，但实际上它在训练效率方面带来了显著优势：整个框架可以直接重用两个成熟的预训练专家，无需引入新初始化模块，从而实现高效的轻量级端到端微调。
核心方法
2Xplat的核心思路是将无位姿前馈3DGS任务分解为两个专门的专家模块，而非使用单一网络处理所有任务。直觉上，这就像一个专业团队的分工协作：一个专门负责测量和定位的"几何专家"先确定每个相机的位置和朝向，然后另一个专门负责渲染和外观的"外观专家"根据这些精确的位置信息来生成高质量的3D场景表示。技术路线上，框架采用预训练的Depth Anything 3（DA3）作为几何专家，负责从多视角图像估计相机位姿；采用预训练的Multi-view Pyramid Transformer（MVP）作为外观专家，负责根据输入图像和预测位姿生成像素对齐的3D高斯表示。两个专家通过端到端联合微调进行优化，使得整个流程在不到5000次迭代内就能收敛，相比需要15万次迭代的YoNoSplat方法，训练效率提升了约30倍。
本文的核心创新在于打破当前无位姿3DGS领域的主流范式——单一整体式架构，提出显式的双专家解耦设计。与已有方法的本质区别体现在三个方面。第一，已有方法（如NoPoSplat、YoNoSplat）在单一共享骨干网络中同时预测位姿和3DGS参数，两个任务在共享表征中相互干扰；而2Xplat将这两个任务完全分离到独立的专家模块中，每个专家可以专注于自己的任务。第二，已有方法难以充分利用位姿条件架构（如PRoPE、Epipolar Transformer），因为位姿是在网络内部隐式推断的；而2Xplat通过显式地将预测位姿传递给外观专家，使得MVP中先进的PRoPE位姿条件机制能够被充分利用。第三，已有方法通常需要大量训练（如YoNoSplat需要15万次迭代和16块GH200 GPU）；而2Xplat直接重用两个成熟的预训练专家，无需引入新初始化模块，仅需2000-5000次迭代和8块H200 GPU就能收敛。
方法步骤详情
2Xplat的处理流程分为以下步骤。首先，给定一组N个未标定的多视角输入图像，包含Nc个上下文视角和Nt个目标视角，几何专家DA3对所有N个视角进行相机参数预测，输出每个视角的相机内参Ki和外参(Ri, ti)。然后，外观专家MVP接收上下文视角图像及其预测的相机参数，生成像素对齐的3D高斯表示。接着，使用可微分3DGS渲染器从预测的高斯表示渲染每个目标视角，计算图像重建损失Lrender（由MSE损失和感知损失组成，权重为lambda_perc）。同时，为了正则化位姿预测并防止几何漂移，还使用相对位姿损失Lcam对预测位姿进行监督，包括旋转损失（基于角度差的反余弦函数）、平移损失（Huber损失）和内参损失（L2损失）。最终的训练目标为L = (1/Nt) * sum(Lrender) + (1/N) * sum(Lcam)。整个流程在8块H200 GPU上训练2000-5000次迭代即可收敛。
技术新颖性
2Xplat的技术新颖性体现在多个层面。首先，虽然"先几何、后外观"的范式在先前工作中有所探索，但这些工作主要关注自监督训练策略，较少关注充分利用最新的高容量外观模型和位姿条件架构。本文首次系统地验证了通过显式结合强几何估计器和强大的位姿条件3DGS生成器，可以在无位姿设置下达到与有位姿方法相当的性能。其次，本文揭示了一个反直觉的发现：尽管两阶段分解看似会在几何估计和外观合成之间引入信息瓶颈，但实际上这种设计在训练效率方面带来了显著优势。因为直接重用两个成熟的预训练专家，无需引入新初始化模块，整个流水线可以通过轻量级端到端微调高效优化。第三，本文展示了端到端联合优化使得外观专家对噪声位姿估计具有鲁棒性，虽然位姿专家的预测可能不完美，但外观专家能够学习适应这些误差，这是单独训练两个专家所无法获得的。最后，本文的方法在参数量相当（甚至更少）的情况下，性能显著超越整体式架构，证明了模块化设计原则在复杂3D重建任务中的优势。
实验结果
本文在多个数据集和设置下进行了全面实验，取得了令人印象深刻的结果。在DL3DV低分辨率设置下，2Xplat的无位姿模型（不使用真值位姿和内参）在6、12、24个输入视角下分别达到26.007、26.015、25.894 dB的PSNR，显著超越所有现有方法，包括依赖真值位姿的方法。使用EPA后进一步提升至26.670、26.963、27.083 dB，大幅领先YoNoSplat+EPA的24.531、22.933、22.174 dB。在RE10K室内数据集上，2Xplat达到26.161 dB（无EPA）和27.239 dB（有EPA），远超YoNoSplat的19.723 dB和24.571 dB。在DL3DV高分辨率（960x540）设置下，2Xplat是唯一进行无位姿推理的方法，在16到128个视角下均取得有竞争力的性能，例如128视角下达到27.16 dB（无EPA）和28.30 dB（有EPA）。在跨数据集泛化实验中（DL3DV训练、ScanNet++测试），2Xplat在128视角下达到21.896 dB，大幅超越YoNoSplat的17.641 dB。在位姿估计方面，2Xplat仅用2000次迭代微调就达到了0.718/0.843/0.912的AUC@5/10/20度，与需要大量位姿监督的YoNoSplat（0.722/0.852/0.923）相当。在训练效率上，2Xplat仅需8块H200 GPU和2000-5000次迭代，而YoNoSplat需要16块GH200 GPU和15万次迭代，效率提升约30倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DL3DV无位姿新视角合成（6视角） | PSNR (dB) | 26.007（无EPA）/ 26.670（有EPA） | YoNoSplat: 22.290 / 24.531 | +3.7 dB / +2.1 dB |
| DL3DV无位姿新视角合成（12视角） | PSNR (dB) | 26.015（无EPA）/ 26.963（有EPA） | YoNoSplat: 20.383 / 22.933 | +5.6 dB / +4.0 dB |
| DL3DV无位姿新视角合成（24视角） | PSNR (dB) | 25.894（无EPA）/ 27.083（有EPA） | YoNoSplat: 19.711 / 22.174 | +6.2 dB / +4.9 dB |
| RE10K无位姿新视角合成 | PSNR (dB) | 26.161（无EPA）/ 27.239（有EPA） | YoNoSplat: 19.723 / 24.571 | +6.4 dB / +2.7 dB |
| DL3DV高分辨率128视角 | PSNR (dB) | 27.16（无EPA）/ 28.30（有EPA） | 3D-GS优化: 29.43（需位姿+30K迭代） | 无位姿推理，性能接近优化方法 |
| 跨数据集泛化（ScanNet++ 128视角） | PSNR (dB) | 21.896（无EPA） | YoNoSplat: 17.641 | +4.3 dB |
| 位姿估计（RE10K） | AUC@5/10/20度 | 0.718 / 0.843 / 0.912 | YoNoSplat: 0.722 / 0.852 / 0.923 | 相当（仅用2K迭代微调） |
| 训练效率 | GPU数量 x 迭代次数 | 8xH200 x 2K-5K迭代 | YoNoSplat: 16xGH200 x 150K迭代 | 效率提升约30倍 |
局限与改进
尽管2Xplat取得了显著成果，但仍存在一些局限性。首先，作者承认两阶段设计可能引入冗余的低层视觉处理，因为位姿估计和多视角一致的外观建模可能共享某些低层视觉推理。虽然实验表明这种冗余不会损害效率，但探索更原则性的共享方式仍是有趣的未来方向。其次，本文的方法在高分辨率设置下的性能仍略低于使用真值位姿的优化方法（如3D-GS），例如在DL3DV高分辨率128视角下，2Xplat达到28.30 dB，而3D-GS优化方法达到29.43 dB，仍有约1 dB的差距。第三，本文的几何专家依赖于预训练的DA3模型，如果输入图像的分布与DA3训练数据差异较大，几何估计的质量可能会下降，进而影响整体性能。此外，本文的实验主要在室内（RE10K）和城市户外（DL3DV）场景上进行，对于更复杂的场景（如大规模户外、动态场景等）的泛化能力尚未验证。最后，虽然本文展示了端到端联合优化的优势，但两个专家之间的梯度传播和信息流动的机制尚缺乏深入的理论分析。
独立分析的弱点
本文存在以下几个值得改进的弱点。第一，几何专家和外观专家之间存在冗余的低层特征提取，两个独立的编码器都需要从原始图像中提取低层视觉特征，这在计算上可能不够高效。改进方向可以是设计共享的低层特征提取器，或者让两个专家共享部分早期层的权重，在保持解耦优势的同时减少计算冗余。第二，当前方法在处理极稀疏输入（如少于6个视角）时的性能尚未充分探索，而实际应用中可能经常面临稀疏输入的场景。改进方向可以是设计自适应的专家协作机制，当输入稀疏时让两个专家之间进行更多的信息交互。第三，本文的方法依赖于固定的预训练几何专家，无法根据下游任务的特点进行针对性的几何估计优化。改进方向可以是设计更灵活的微调策略，允许几何专家在保持通用性的同时适应特定场景的几何特性。第四，虽然本文展示了端到端联合优化的优势，但训练过程中两个专家的学习动态和相互影响缺乏深入分析，这可能限制了进一步的架构优化。
未来方向
基于本文的成果，可以延伸出多个有前景的研究方向。首先，作者提出了探索更原则性的低层几何和视觉推理共享方式，这可以包括设计跨专家的注意力机制或特征蒸馏策略。其次，本文的双专家框架可以扩展到更多专家模块，例如加入专门的材质专家、光照专家或动态场景专家，形成多专家协作的3D重建流水线。第三，本文的方法可以与大规模语言模型或多模态基础模型结合，实现文本引导或语义感知的3D场景生成。第四，将本文的模块化设计原则应用到其他3D任务，如3D目标检测、场景理解或机器人导航，探索专家分解架构的通用性。第五，研究如何在保持双专家架构优势的同时实现知识共享，例如通过对比学习或互信息最大化来促进两个专家之间的协同效应。最后，探索更高效的几何专家替代方案，如轻量级的位姿估计网络，可以在保持性能的同时进一步提升推理速度。
复现评估
本文的复现条件相对良好。在开源方面，作者提供了项目主页（https://hwasikjeong.github.io/2Xplat/），但论文未明确说明是否开源代码。在数据方面，本文使用了公开可用的数据集：RealEstate10K和DL3DV用于训练，ScanNet++用于跨数据集泛化测试，这些数据集都有标准的数据划分和评估协议。在算力方面，本文的训练需要8块H200 GPU进行2000-5000次迭代，相比YoNoSplat需要的16块GH200 GPU和15万次迭代，算力需求大幅降低，但仍然需要相当的GPU资源。在预训练模型方面，本文依赖预训练的DA3和MVP模型，这两个模型是否有公开权重将直接影响复现的可行性。在难度方面，本文的框架设计相对简洁，核心是将两个预训练专家通过端到端微调组合起来，但正确实现位姿对齐、相对位姿损失和可微分渲染等技术细节仍有一定复杂度。总体而言，如果作者开源代码和预训练权重，本文的复现难度为中等。
论文图表
