基于锚点丢弃和球谐函数的稀疏视角高斯泼溅 Dropping Anchor and Spherical Harmonics for Sparse-view Gaussian Splatting
通过锚点式集群丢弃和球谐系数截断解决稀疏视角3DGS过拟合问题
前置知识
3D Gaussian Splatting (3DGS)
3DGS是一种显式三维场景表示方法，使用大量三维高斯函数来建模场景。每个高斯函数由位置 $\mu_i \in \mathbb{R}^3$、协方差矩阵 $\Sigma_i \in \mathbb{R}^{3 \times 3}$、颜色 $c_i$（由球谐系数表示）和不透明度 $\alpha_i \in [0, 1]$ 参数化。渲染时通过 $\alpha$-blending 将投影到二维平面的高斯函数进行深度排序后的加权混合来计算像素颜色。相比 NeRF 的隐式神经网络表示，3DGS 具有更快的渲染速度和更好的可解释性。
本文的核心创新是在 3DGS 框架内引入新的 Dropout 正则化策略，理解 3DGS 的基本参数化和渲染流程是理解本文方法的前提
球谐函数 (Spherical Harmonics, SH)
球谐函数是定义在球面上的一组正交基函数，高效表示视角相关的颜色信息。在 3DGS 中，每个高斯的颜色由一组 SH 系数 $c = [c^{(0)}, c^{(1)}, \ldots, c^{(L)}]$ 表示，其中 $c^{(l)}$ 是第 $l$ 阶的 SH 系数，每个 RGB 通道包含 $2l+1$ 个值。低阶 SH 编码基础颜色（与视角无关），高阶 SH 编码精细的视角相关细节。SH 的阶数 $L$ 越高，颜色表达能力越强，但参数量也越大。
本文发现高阶 SH 系数在稀疏视角条件下会导致过拟合，因此提出对 SH 系数进行 Dropout 的策略，这是本文的两大核心创新之一
Dropout 正则化
Dropout 最初是深度学习中的一种正则化技术，通过在训练过程中随机将部分神经元的输出置零来防止过拟合。在 3DGS 语境下，Dropout 指随机将某些高斯的不透明度 $\alpha_i$ 设为零，迫使模型不过度依赖特定高斯，从而学习更鲁棒的场景表示。已有方法包括 DropoutGS 和 DropGaussian，它们独立地随机选择高斯进行丢弃。
本文指出现有 Dropout 方法存在邻居补偿效应等根本性局限，需要理解 Dropout 的基本原理才能理解本文的改进动机
稀疏视角新视角合成 (Sparse-view NVS)
稀疏视角新视角合成是从少量输入图像（通常 3-12 张）生成任意新视角的任务。与密集视角（17-100+ 张）相比，稀疏视角条件下可用的几何和外观信息极其有限，3DGS 等方法容易严重过拟合，表现为渲染图像中的伪影、模糊和几何畸变。这是 3DGS 在实际应用中的关键瓶颈之一。
本文的研究场景正是稀疏视角条件下的 3DGS 优化，理解该场景的挑战有助于理解本文方法的价值
Moran's I 空间自相关指标
Moran's I 是一种衡量空间数据自相关程度的统计指标，取值范围为 $[-1, 1]$。值越接近 1 表示空间正相关越强（相似值聚集），接近 0 表示随机分布，接近 -1 表示空间负相关。本文使用该指标量化高斯之间在不透明度和颜色属性上的空间冗余度，发现距离越近的高斯在属性上越相似，这为理解邻居补偿效应提供了统计证据。
该指标是本文分析现有 Dropout 方法局限性的关键工具，Figure 2 的实验结果直接基于此指标
研究动机
现有 3DGS Dropout 方法存在两个根本性局限。第一个是邻居补偿效应：由于 3DGS 使用大量重叠高斯协作渲染场景，局部区域的高斯在不透明度和颜色属性上高度相似。当随机丢弃单个高斯时，其渲染贡献会被邻居高斯轻易补偿，像素颜色变化 $\Delta C$ 极小，导致反向传播的梯度信号微弱，无法有效正则化模型。Figure 2 的 Moran's I 分析表明，距离较近的高斯在不透明度和颜色上的相似度分别达到 0.59 和 0.61（距离最近时），证实了强烈的空间冗余。第二个局限是属性利用不充分：现有 Dropout 方法仅针对不透明度属性，忽略了球谐系数在过拟合中的作用。实验表明，在 LLFF 数据集稀疏视角（3 视图）条件下，使用高阶 SH 会导致性能显著下降，说明 SH 系数本身也是过拟合的来源。
本文的目标是本文旨在设计一种新的 Dropout 正则化策略，能够有效克服现有方法的邻居补偿效应，并将 Dropout 机制扩展到球谐系数属性上，从而在稀疏视角条件下显著提升 3DGS 的渲染质量，同时支持灵活的训练后模型压缩。具体目标包括：(1) 打破局部空间冗余，创建更大规模的信息空洞，迫使模型利用更广泛的上下文信息重建场景；(2) 通过丢弃高阶 SH 系数，将外观信息集中在低阶 SH 中，实现从粗到细的表示学习；(3) 在训练完成后，支持通过 SH 截断获得更紧凑的模型，无需重新训练。
与已有工作不同的是，本文的独特切入角度在于将 Dropout 从「孤立高斯丢弃」升级为「空间集群丢弃」和「属性层级丢弃」的双重扩展。具体而言，本文不再独立地随机丢弃高斯，而是选择锚点高斯并同时丢弃其空间邻居，创建连续的三维信息空洞区域。这种结构化 Dropout 策略从根本上打破了局部高斯之间的协作关系，使得邻居无法简单补偿被丢弃高斯的贡献。此外，本文首次将 Dropout 扩展到颜色属性（球谐系数），发现高阶 SH 在稀疏视角下是过拟合的重要来源，这在已有文献中被完全忽视。这两个创新点的结合使得 DropAnSH-GS 在正则化效果和模型压缩能力上都显著超越了已有方法。
核心方法
DropAnSH-GS 的整体思路可以用一个直观的类比来理解：想象你在训练一个学生识别场景，如果只是随机遮挡个别的物体碎片（现有 Dropout 方法），学生很容易通过周围的碎片推断出被遮挡的内容，达不到训练效果。更好的方法是遮挡整个区域（锚点 Dropout），迫使学生学会利用更远的线索来理解场景。同时，如果学生过度关注颜色的精细变化而忽略了整体结构，就应该限制他关注颜色细节的能力（SH Dropout）。技术路线上，本文提出两个互补的 Dropout 策略：(1) 锚点式空间 Dropout，在训练过程中随机选择锚点高斯并同时丢弃其 $k$ 个最近邻居，创建大面积的信息空洞；(2) 球谐系数 Dropout，随机将高阶 SH 系数置零，促使模型优先学习低阶 SH 编码的基础外观。两个策略共享同一个训练损失函数 $\mathcal{L} = \mathcal{L}_{L1}(\hat{C}, C_{gt}) + \lambda \mathcal{L}_{SSIM}(\hat{C}, C_{gt})$，与原始 3DGS 完全兼容。
本文的核心创新在于识别并解决了两个关键问题。第一个是「邻居补偿效应」：现有方法（DropoutGS、DropGaussian）独立随机丢弃高斯，但由于 3DGS 的高度局部冗余（近距离高斯的 Moran's I 值在不透明度上达 0.59，颜色上达 0.61），单个高斯的贡献被邻居轻松补偿，正则化效果大打折扣。本文的解决方案是选择锚点高斯并同时丢弃其 $k=10$ 个最近邻居，创建连续的信息空洞区域，从根本上打破局部协作关系。第二个创新是将 Dropout 从仅限于不透明度扩展到球谐系数。实验（Figure 3）表明，在稀疏视角条件下，高阶 SH 会导致性能下降和模型尺寸膨胀，说明 SH 本身也是过拟合的来源。本文对 SH 系数进行层级 Dropout，强制模型优先学习低阶 SH，这既抑制了过拟合，又为训练后的模型压缩（通过 SH 截断）奠定了基础。这两个创新点本质上都是从「更激进的正则化」和「更智能的属性利用」两个维度改进 Dropout 机制。
方法步骤详情
DropAnSH-GS 的训练过程包含以下步骤：第一步，锚点选择：随机选择一部分高斯作为锚点，选择比率 $p_a$ 从 0 线性增长到 0.02（基于迭代次数）。第二步，邻居构建：对每个锚点高斯，基于高斯中心之间的欧氏距离，找到其 $k=10$ 个最近邻高斯。第三步，结构化 Dropout：将所有属于任何锚点或其邻居的高斯收集到 Dropout 集合 $D$ 中，定义二值掩码向量 $M \in \{0, 1\}^N$，对 $G_i \in D$ 设 $m_i = 0$，否则 $m_i = 1$。有效不透明度为 $\hat{\alpha}_i = \alpha_i \cdot m_i$。第四步，SH Dropout：以概率 $p_{sh}=0.2$ 选择部分高斯，将其超过 $l_{max}$ 阶的 SH 系数置零。$l_{max}$ 在迭代 2000、4000、6000 时分别设为 0、1、2，实现渐进式学习。第五步，渲染与损失计算：使用标准 $\alpha$-blending 渲染，损失函数为 $\mathcal{L} = \mathcal{L}_{L1} + \lambda \mathcal{L}_{SSIM}$。整个流程在 10,000 次迭代中完成。
技术新颖性
DropAnSH-GS 的技术新颖性体现在三个层面。第一，从 Dropout 粒度上看，现有方法都是「单高斯级别」的 Dropout，而本文首次实现「集群级别」的结构化 Dropout，通过锚点机制创建连续的三维信息空洞。这不仅仅是简单地丢弃更多高斯，而是有策略地打破局部空间结构，迫使模型学习更全局的场景表示。第二，从 Dropout 属性上看，现有方法仅操作不透明度，本文首次将 Dropout 扩展到球谐系数，实现了对「存在性」和「外观」两个维度的联合正则化。第三，从训练后灵活性上看，SH Dropout 的渐进式设计（$l_{max}$ 从 0 逐步增加到 2）使得模型形成了从粗到细的 SH 表示，训练完成后可以通过截断高阶 SH 实现无需重训练的模型压缩。实验表明，仅保留零阶 SH 的模型（Ours-SH0）在 Blender 数据集上 PSNR 达到 25.04，仍优于原始 3DGS 的 22.13，而模型尺寸仅为 1.7MB（原始 3DGS 为 6.5MB），压缩率超过 73%。
实验结果
本文在 LLFF、MipNeRF-360 和 Blender 三个标准数据集上进行了全面实验。在最极端的 LLFF 3 视图条件下，DropAnSH-GS 的 PSNR 达到 20.68，相比 3DGS 基线（19.17）提升 1.51 dB，相比 DropGaussian（20.33）提升 0.35 dB，相比 DropoutGS（19.39）提升 1.29 dB。在 MipNeRF-360（12 视图）数据集上，Ours-SH3 的 PSNR 为 19.93，超越 DropGaussian 的 19.66。在 Blender（8 视图）数据集上，Ours-SH3 的 PSNR 达到 25.50，超越 DropGaussian 的 25.17。值得注意的是，模型压缩实验展示了 SH Dropout 的独特优势：在 Blender 数据集上，仅保留零阶 SH 的 Ours-SH0 模型 PSNR 为 25.04（优于 3DGS 的 22.13），模型尺寸仅 1.7MB（3DGS 为 6.5MB）。消融实验证实了两个组件的互补性：单独使用 Drop Anchor 的 PSNR 为 20.47，单独使用 Drop SH 为 19.59，两者结合达到 20.68。兼容性实验表明，DropAnSH-GS 可无缝集成到 FSGS、CoR-GS、DNGaussian 和 Scaffold-GS 等多种 3DGS 变体中，分别带来 0.29-1.22 dB 的性能提升。训练效率方面，本文方法仅增加不到 2.8% 的训练时间。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 稀疏视角新视角合成 (LLFF, 3 视图) | PSNR↑ | 20.68 | DropGaussian 20.33 / DropoutGS 19.39 / 3DGS 19.17 | 比 DropGaussian +0.35 dB, 比 3DGS +1.51 dB |
| 稀疏视角新视角合成 (LLFF, 3 视图) | SSIM↑ | 0.724 | DropGaussian 0.709 / DropoutGS 0.632 / 3DGS 0.646 | 比 DropGaussian +0.015, 比 3DGS +0.078 |
| 稀疏视角新视角合成 (MipNeRF-360, 12 视图) | PSNR↑ | 19.93 (SH3) | DropGaussian 19.66 / DropoutGS 19.17 / 3DGS 18.58 | 比 DropGaussian +0.27 dB, 比 3DGS +1.35 dB |
| 稀疏视角新视角合成 (Blender, 8 视图) | PSNR↑ | 25.50 (SH3) | DropGaussian 25.17 / DropoutGS 24.79 / 3DGS 22.13 | 比 DropGaussian +0.33 dB, 比 3DGS +3.37 dB |
| 模型压缩 (Blender, 8 视图, SH0) | PSNR↑ / Size | 25.04 / 1.7 MB | 3DGS 22.13 / 6.5 MB | PSNR +2.91 dB, 模型尺寸压缩 73.8% |
| 兼容性 (LLFF, 3 视图, FSGS 集成) | PSNR↑ | 20.72 | FSGS 20.43 | +0.29 dB |
| 兼容性 (LLFF, 3 视图, Scaffold-GS 集成) | PSNR↑ | 19.84 | Scaffold-GS 18.62 | +1.22 dB |
| 训练效率 (LLFF, 3 视图) | Total Time | 760.2s | 3DGS 741.6s | 仅增加 2.5% 训练时间 |
局限与改进
尽管 DropAnSH-GS 取得了显著的性能提升，但仍存在若干局限性。首先，锚点选择机制基于均匀随机采样，未考虑高斯的重要性差异。在 3D 场景中，不同区域的高斯分布往往非均匀，某些关键区域（如物体边界、纹理丰富区域）的高斯可能比平坦区域的高斯更重要，随机采样可能导致正则化效果不稳定。其次，邻居选择仅基于欧氏距离，未考虑高斯的各向异性和功能性冗余。由于高斯具有不同的缩放和旋转，其在不同方向的影响范围差异很大，仅用中心点距离判断邻近性不够精确。第三，SH Dropout 的 $l_{max}$ 调度策略是固定的（在 2000、4000、6000 迭代时分别设为 0、1、2），这种硬编码的时间表可能不适用于所有场景和数据集，缺乏自适应能力。第四，实验主要在标准基准数据集上进行，这些数据集的场景相对简单（室内、物体级别），在更复杂的户外大场景或动态场景中的表现尚需验证。此外，论文未讨论 DropAnSH-GS 对训练稳定性的影响，过度激进的 Dropout 策略可能导致训练初期的不稳定。
独立分析的弱点
本文存在几个可改进的弱点。第一，锚点选择策略过于简单，均匀随机采样未利用高斯的梯度信息或不透明度等属性来指导选择。在实际场景中，高梯度区域（如边缘、纹理过渡区）的高斯对渲染质量影响更大，基于重要性采样的锚点选择可能更有效。改进方向是设计基于梯度幅值或渲染贡献度的自适应锚点选择机制。第二，邻居选择基于欧氏距离，忽略了高斯的各向异性。由于高斯具有不同的缩放和旋转，其在不同方向的影响范围差异很大，仅用中心点距离判断邻近性不够精确。可以考虑使用高斯之间的重叠程度或渲染贡献度来定义「邻居」。第三，SH Dropout 的调度策略是固定的，缺乏自适应能力。如果某个场景的高频细节特别重要，固定的 $l_{max}$ 调度可能限制模型的表达能力。可以设计基于验证集性能或梯度信号的自适应 SH 调度策略。第四，论文未讨论 DropAnSH-GS 对不同场景类型（室内 vs 户外、静态 vs 动态）的适应性，缺乏场景自适应的分析和调参指南。
未来方向
作者在论文中提出了几个有价值的未来研究方向。第一，探索更智能的锚点选择机制，例如基于梯度幅值或不透明度的自适应采样，以更有效地识别关键区域。第二，设计更精细的邻居选择策略，考虑高斯的各向异性、局部场景特征甚至视角相关性，以更准确地识别功能冗余的高斯集群。除了作者提出的方向，基于本文成果还可以延伸出以下研究方向：(1) 将 DropAnSH-GS 与深度监督（如 DNGaussian 的深度约束）结合，同时利用正则化和几何先验来提升稀疏视角重建质量；(2) 将锚点 Dropout 的思想扩展到 4D 动态场景的 3DGS 表示中，应对时间维度的过拟合问题；(3) 探索 DropAnSH-GS 与蒸馏方法的结合，利用预训练的大型 3DGS 模型作为教师网络；(4) 研究 SH Dropout 的渐进式学习思想在其他多分辨率表示（如 NeRF 的频率编码）中的应用。
复现评估
本文的复现条件相对友好。作者声称使用 PyTorch 框架在单张 NVIDIA H100 GPU 上进行所有实验，保持与原始 3DGS 相同的优化器设置和学习率策略，训练 10,000 次迭代。关键超参数设置明确：锚点采样率 $p_a$ 从 0 线性增长到 0.02，邻居数 $k=10$，SH Dropout 概率 $p_{sh}=0.2$，$l_{max}$ 在迭代 2000、4000、6000 时分别设为 0、1、2。论文提供了项目主页 https://sk-fun.fun/DropAnSH-GS，但未明确说明是否开源代码。对于涉及随机性的方法（包括本文、CoR-GS 和 Dropout 基线），作者报告了 3 次独立运行的平均指标，这是良好的实验实践。复现所需算力为单张高端 GPU，训练时间约 12-18 分钟（Blender 数据集 887.7 秒），对大多数研究者可接受。数据集（LLFF、MipNeRF-360、Blender）都是公开可用的标准基准，复现门槛较低。
论文图表
包含三个子图：(a) 使用 Moran's I 指标测量不同距离高斯之间的不透明度和颜色空间自相关性，距离越近相似度越高（最近距离时 opacity: 0.59, color: 0.61）；(b) 两种 Dropout 策略（S1: 集群丢弃, S2: 单独丢弃）的渲染图像平均绝对误差对比，S1 产生更大影响；(c) S1 策略在被丢弃区域周围激活更多剩余高斯，产生更强的梯度更新。
这张图提供了邻居补偿效应的完整实证分析，是理解本文动机和方法设计的关键证据
在 LLFF 数据集上，展示不同 SH 阶数对 3DGS 性能的影响。(a) 全视角条件（17-48 视图）下，适度增加 SH 阶数可以提升性能；(b) 稀疏视角条件（3 视图）下，使用高阶 SH 导致性能下降和模型尺寸显著增加，表明 SH 本身也是过拟合的来源。
这张图揭示了 SH 系数在稀疏视角条件下导致过拟合的现象，是本文 SH Dropout 创新的直接动机