F4Splat: 前馈式3D高斯溅射的前馈预测性密度控制 F4Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting

方法包含以下关键步骤：（1）几何骨干网络处理：输入 $N_{ctx}$ 张上下文图像，使用预训练DINOv2编码器提取patch tokens，与可学习的相机tokens和register tokens拼接，通过帧内和全局自注意力层编码。编码后的相机tokens通过额外自注意力层和投影头预测相机参数 $\hat{\mathbf{P}}_i^{ctx}$。（2）多尺度预测：修改DPT解码器引入并行的高斯中心头和高斯参数头。在最后两层之前，将解码特征图双线性插值到各尺度目标分辨率 $(H_l, W_l)$，然后应用层级特定层。高斯中心头预测中心位置，高斯参数头预测其余参数及密度分数图 $\hat{\mathbf{D}}_i^l$。（3）空间自适应分配：根据密度分数图确定每个区域的表示尺度。从最粗尺度 $l=1$ 开始，若密度分数高于阈值 $\tau$，则从更细尺度选择高斯。通过二值分配掩码 $\mathcal{M}_{\tau,i}^l$ 确保跨尺度非重叠分配。（4）预算匹配：给定目标高斯预算 $\bar{N}_G$，通过预算匹配算法（Algorithm 2）高效计算满足目标的最小阈值 $\tau_{\bar{N}_G}$。（5）训练策略：使用新颖视图作为监督目标，将渲染损失反向传播得到的位置梯度 $v_g$ 转化为密度分数监督信号 $d_g = \log(1 + 10^4 \cdot \|v_g\|_2)$，通过L1损失 $\mathcal{L}^{score}$ 训练网络预测密度分数。

本文的技术新颖性体现在多个方面。首先，密度分数的定义和学习机制是原创的——从AbsGS中的自适应密度控制策略获得灵感，将基于梯度的密度控制信号转化为可学习的预测目标。具体地，利用渲染损失对高斯中心的同方向视空间位置梯度 $v_g$ 计算监督信号 $d_g = \log(1 + 10^4 \cdot \|v_g\|_2)$，训练网络从输入图像直接预测该信号。其次，多尺度预测与自适应分配的结合是新颖的——通过预测多尺度高斯参数图，并利用密度分数选择每个区域的表示尺度，实现了高斯数量的连续可控。第三，场景尺度正则化损失 $\mathcal{L}_{scene} = \left|\frac{1}{|\mathbf{G}|}\sum_{g \in \mathbf{G}} \|\mu_g\|_2 - 1\right|$ 对无标定设置的训练稳定性至关重要。第四，训练中使用新颖视图监督而非上下文视图，避免了平凡重建和过拟合，通过相似性变换对齐目标视图坐标系，确保训练稳定性。

论文存在以下可改进的弱点：第一，密度分数的监督信号来自单次渲染损失的梯度，这可能无法捕捉多视图一致性的全局信息。改进方向可以探索多视图联合梯度或基于几何一致性的密度分数定义。第二，当前方法使用固定的阈值 $\tau$ 进行分配决策，这是一种'硬分配'策略，可能导致边界区域的不连续性。可以考虑引入软分配机制，如基于softmax的概率分配。第三，场景尺度正则化损失 $\mathcal{L}_{scene}$ 的设计较为简单（将平均距离归一化到1），这可能对不同尺度的场景不够鲁棒。改进方向可以探索自适应的尺度归一化策略。第四，训练中使用新颖视图监督的策略虽然有效，但目标视图的选择策略（选择最近的两个上下文视图）可能不是最优的，可以探索更智能的目标视图采样策略。

基于本文成果可以延伸以下研究方向：首先，作者提出的密度分数预测机制可以扩展到其他3D表示（如NeRF、点云），实现通用的密度控制学习框架。其次，当前方法在训练时使用随机采样的阈值 $\tau$，未来可以探索课程学习策略，从粗到细地学习多尺度表示。第三，密度分数的预测可以与主动学习结合，用于指导稀疏视图采集——预测哪些视角能带来最大的质量提升。第四，将F4Splat扩展到动态场景的3D重建，密度分数可以指示时间维度上的复杂度变化。第五，探索密度分数与人类感知质量的关联，实现感知驱动的自适应分配。第六，当前方法假设固定数量的输入视图，未来可以扩展到流式输入场景，实现增量式的密度估计和高斯分配。

论文的复现条件较好。代码方面，论文提供了项目主页 https://mlvlab.github.io/F4Splat，但未明确说明是否开源代码。数据方面，使用了公开数据集RE10K和ACID，以及标准的训练/测试划分，复现门槛较低。算力方面，论文在8张NVIDIA H200 GPU上进行训练，每次训练约15小时，这对大多数研究团队来说是可承受的。对于AnySplat基线的复现，论文提到在相同设置下重新训练需要约27小时。预训练权重方面，模型从VGGT预训练权重初始化，这些权重应该是公开可获取的。总体而言，复现的主要挑战在于算力需求（8张H200）和对VGGT架构的理解，但论文提供了足够的实现细节（学习率、batch size、训练迭代数等），具有较好的可复现性。