将几何基础模型复用于多视角扩散 Repurposing Geometric Foundation Models for Multi-view Diffusion

GLD的完整流程分为以下步骤：第一步，特征提取与归一化。将输入的多视角图像（V=8个视角，其中N个为源视角，M个为目标视角）送入冻结的DA3-Base编码器，提取4层中间特征 $\{F_l\}_{l=0}^{3}$，每层维度为 $V \times T \times 1536$（T为token序列长度）。在训练扩散模型前，对每层特征按通道计算训练集上的均值和方差进行标准化。第二步，RGB解码器训练。训练一个ViT-based解码器 $D_{rgb}$ 从多层特征还原RGB图像，训练时采用层级dropout策略随机屏蔽某些层以增强鲁棒性。解码器在Re10K和DL3DV上训练，使用L1+LPIPS+GAN组合损失。第三步，边界层确定。独立训练4个扩散模型 $\{M_l\}_{l=0}^{3}$，每个负责生成特定层的特征。通过实验发现边界 $k=1$ 效果最优。第四步，级联特征生成。以Level 1为边界，先用 $M_1$ 生成Level 1特征，再用级联模型 $M_{1 \to 0}$ 以Level 1特征为条件生成Level 0特征。$M_{1 \to 0}$ 在训练时以带噪声的Ground Truth Level 1特征作为条件，以增强对推理时噪声输入的鲁棒性。第五步，特征传播与解码。将生成的Level 1特征 $\tilde{F}_1$ 送入冻结的DA3编码器的第7-11个block，确定性地推导出Level 2和Level 3特征。最后，RGB解码器 $D_{rgb}$ 接收完整的4层特征 $\{\tilde{F}_0, \tilde{F}_1, \tilde{F}_2, \tilde{F}_3\}$ 输出目标视角的RGB图像，同时DA3原始解码器 $D_{geo}$ 可直接输出深度图和射线图。

GLD的技术新颖性体现在三个层面。首先，在概念层面，它是首个将几何基础模型的特征空间作为多视角扩散潜空间的工作。此前RAE和SVG虽然探索了语义编码器（如DINO、MAE）的特征空间用于扩散，但这些工作都局限于单张图像生成，从未考虑过几何感知的表征。本文将'任务特定潜空间设计'这一理念从2D生成推广到了3D感知的多视角生成。其次，在方法层面，边层级联策略（cascaded feature generation）是一个巧妙的设计：通过让浅层特征的生成条件化于已生成的深层特征，保证了特征层级间的对齐，这比独立生成每一层特征再拼接更有效（实验验证PSNR从18.81提升到19.00）。第三，在工程层面，'冻结编码器+传播深层特征'的设计使得生成4层特征的实际计算量远小于显式生成所有层——Level 2和Level 3的传播仅需0.15秒，而生成Level 1需要37.8秒，这种不对称利用避免了全层生成的计算瓶颈。

GLD有几个值得关注的弱点。第一，推理效率：66.8秒的推理时间使得GLD难以应用于实时或近实时场景。改进方向包括：（1）使用一致性模型（Consistency Model）或蒸馏技术将多步采样压缩为单步或少步生成；（2）探索更高效的潜空间分辨率，当前DA3-Base的patch size为1导致token数量较多，可以考虑使用更小的ViT变体或对特征做空间下采样后再做扩散。第二，潜空间选择依赖人工经验：当前通过穷举实验确定Level 1为最优边界层，缺乏理论指导。改进方向是设计自动化的目标函数来评估各层特征的'扩散友好度'，结合几何对应分数和光度信息量的帕累托最优解。第三，级联生成引入了串行依赖：Level 0必须等Level 1生成完毕才能开始，限制了并行化。可以探索将两层的生成统一到一个模型中，通过多头输出或分层去噪策略同时生成多层特征。第四，RGB解码器的训练是独立于扩散模型的，两者之间没有联合优化。端到端的微调虽然计算量大，但可能进一步提升生成质量。

基于GLD的成果，有几个值得探索的方向。首先，将GLD框架扩展到视频生成：几何基础模型的跨帧一致性特征天然适合时序连贯的视频新视角合成，可以将时间维度纳入扩散过程。其次，探索更强大的几何基础模型作为潜空间：随着DA3和VGGT等模型的快速迭代，更新的主干网络可能提供更丰富的几何特征，进一步提升GLD的性能。第三，将GLD与文本条件结合：当前GLD仅支持图像条件输入，引入文本描述可以实现文本引导的新视角合成或场景编辑。第四，自适应边界层选择：不同场景复杂度可能需要不同的边界层深度，训练一个轻量级路由器根据输入场景自动选择最优边界层可以进一步提升效率和质量。第五，利用GLD生成的高质量几何信息做下游任务，如3D重建、场景理解、机器人导航等，将生成模型与感知任务打通。

GLD的复现条件相对友好。代码方面，论文提供了项目主页链接（https://cvlab-kaist.github.io/GLD），但未明确说明是否已开源完整代码和预训练权重。主干网络DA3-Base是公开可用的，RGB解码器和扩散模型的架构细节在论文中有详细描述（附录A.2），包括层数、隐藏维度、注意力头数等完整超参数。数据方面，训练使用了4个公开数据集（Re10K、DL3DV、HyperSim、TartanAir），评估使用了3个公开数据集（Re10K、DL3DV、Mip-NeRF 360、ETH3D），均为学术界常用基准。算力需求方面，训练使用8张NVIDIA B200 GPU训练175k步，这对大多数实验室而言是一个可承受的规模。RGB解码器训练约需170k步。总体而言，如果代码开源，复现难度中等——主要挑战在于数据预处理（多视角采样、相机位姿归一化）和扩散模型训练的超参数调优。