面向移动端3D高斯泼溅的蒙特卡洛能量聚合方法

通过蒙特卡洛能量聚合实现移动端实时3D高保真渲染

前置知识

Spherical Harmonics (SH)

球谐函数是定义在单位球面上的正交基函数，用于表示方向相关的函数。在3D高斯泼溅中，SH系数表示高斯点的视角相关颜色。L阶SH需要(L+1)^2个系数每颜色通道，3阶SH需要48个浮点参数（16系数×3通道），占用大量存储空间和内存带宽。

论文核心问题是第三阶球谐函数的高存储开销，每个高斯需要48个浮点参数（16系数×3颜色通道）。当场景包含数百万高斯时，这会导致 prohibitive 的存储需求和光栅化阶段的内存带宽消耗，成为移动设备部署的主要瓶颈。理解SH的系数数量、正交性质以及L阶与(L+1)^2系数的关系，是理解本文蒙特卡洛能量聚合如何将3阶SH压缩到1阶SH的技术基础。

3D Gaussian Splatting (3DGS)

3D高斯泼溅是一种显式的3D场景表示方法，用各向异性的3D高斯椭球集合来表示场景。每个高斯包含几何参数（位置、尺度、旋转）和外观参数（不透明度、球谐系数）。渲染时将高斯投影到图像空间，按深度排序后通过alpha混合计算像素颜色。

本文是基于3DGS的改进方法，需要理解高斯参数包括位置、尺度、旋转（几何）和不透明度、SH系数（外观）。渲染时通过alpha混合累积高斯贡献，这个过程决定了计算开销。理解3DGS的基本表示和渲染流程，才能理解本文如何在保持显式表示优势的同时，通过SH压缩和多视图致密化剪枝来减少参数数量。

Densification and Pruning

致密化和剪枝是3DGS训练过程中调整高斯数量的关键策略。传统单视图梯度致密化基于位置梯度阈值决定克隆或分裂高斯，剪枝基于不透明度阈值删除低贡献高斯。这些操作直接影响最终模型大小和渲染效率。

本文提出的多视图alpha加权致密化剪枝策略是核心创新之一。传统单视图梯度致密化基于位置梯度阈值，容易产生过多原元并过拟合。本文通过多视图损失图和alpha加权累积来识别重要性，更准确地剪枝冗余原元。理解传统致密化剪枝的机制和问题，是理解本文多视图策略改进的关键。

Alpha Blending

Alpha混合是体积渲染的核心操作，计算像素最终颜色时按透明度累积贡献。高斯对像素的alpha值为不透明度乘以高斯指数衰减，累积透射率为前面所有高斯的(1-alpha)乘积。像素颜色为所有高斯颜色乘以alpha和透射率的累加。

本文的多视图策略基于alpha加权误差累积计算重要性评分。alpha值由高斯不透明度和几何衰减决定，表示高斯对像素颜色的贡献权重。理解alpha混合的计算方式和累积透射率的概念，才能理解本文如何通过alpha加权来聚合多视图误差，从而指导致密化和剪枝。这是多视图策略的技术基础。

研究动机

3D高斯泼溅在桌面GPU上实现了高保真实时渲染，但在移动平台部署面临两大瓶颈。第一个瓶颈是第三阶球谐函数的高存储开销：每个高斯原元需要48个SH系数（16系数×3通道），当场景包含数百万高斯时，存储需求和光栅化阶段的内存带宽消耗成为移动设备的 prohibitive 负担。实验数据显示，原始3DGS在Mip-NeRF 360室内场景上存储高达478MB，室外场景高达1361MB，无法在移动设备上实时渲染。第二个瓶颈是冗余高斯点：轻量级GS变体如Mobile-GS使用传统单视图梯度致密化，这会激进地产生过多原元并容易过拟合到单一视图，导致训练时间大幅增加（Mobile-GS需要86-136分钟训练）和推理延迟，不适合边缘设备部署。

本文的目标是本文的Flux-GS方法旨在为资源受限的移动平台设计实时高斯泼溅，通过大幅减少参数数量来交付高保真渲染。具体目标包括：将3阶SH压缩到1阶表示（从48系数减少到4系数每通道），在保持竞争视觉质量的同时显著降低存储开销；设计多视图一致的致密化和剪枝策略以减少高斯原元数量并避免过拟合；实现零推理开销的增强模块以恢复压缩损失的高频细节；最终在Snapdragon 8 Gen 3 GPU移动设备上实现高FPS实时渲染。

与已有工作不同的是，本文的独特切入角度在于摒弃了需要昂贵预训练或蒸馏的压缩方法，而是通过蒙特卡洛能量聚合直接将高阶SH能量映射到低阶子空间。与Mobile-GS的师生蒸馏方法不同，Flux-GS先训练3k次迭代建立3阶SH的高频表示，然后通过蒙特卡洛投影提取3阶方向矩，用轻量级MLP聚合到紧凑潜空间。另一个独特角度是多视图alpha加权致密化剪枝策略，不同于传统单视图梯度准则，该方法通过分层相机采样和多视图alpha加权误差累积来确保多视图结构一致性，从而在保持重建质量的同时实现更紧凑的表示。

核心方法

Flux-GS方法的整体思路分为两个阶段和两个核心创新。第一阶段用完整3阶SH训练3k次迭代以建立高频表示，第二阶段通过蒙特卡洛能量聚合将3阶SH压缩到1阶表示。核心创新一是蒙特卡洛镜面能量聚合器（MC-SEA），通过在单位球面均匀采样K=2048个方向，计算3阶SH与2阶SH之间的光度残差，然后聚合残差得到能量大小Emag和方向Edir，最后用MLP将这些紧凑潜变量映射到1阶SH系数。核心创新二是多视图alpha加权致密化剪枝策略，通过分层相机采样选择代表性视图，计算每个视图的光度损失并生成二值误差图，然后用alpha加权累积每个高斯的重要性评分和剪枝评分，最终基于这些评分结合传统梯度准则进行精确致密化和适度剪枝。

Flux-GS与已有方法的本质区别体现在三个方面。首先，MC-SEA直接提取高阶SH的一阶方向矩而不是依赖师生蒸馏，这避免了Mobile-GS中昂贵的蒸馏训练负担（Mobile-GS需要86-136分钟训练时间），同时仍能保持高频镜面特征。其次，属性条件SH增强模块基于高斯内在属性（位置、尺度、旋转、不透明度、SH系数）预测零额外推理开销的SH偏移，这些偏移在推理前静态烘焙到显式高斯参数中，与Mobile-GS的视图依赖增强不同，后者需要在渲染管线中引入神经网络计算。第三，多视图alpha加权策略与传统单视图梯度致密化的根本区别在于前者通过多视图损失图和alpha加权贡献来识别重要性，后者仅依赖单视图位置梯度，这导致Flux-GS能更准确地剪枝冗余原元并避免过拟合（高斯数量减少40-50%）。

方法步骤详情

Flux-GS方法的完整步骤如下。步骤1是初始化和3阶SH预训练：从SfM点云初始化高斯参数，使用完整3阶SH系数训练前3000次迭代建立高频表示，损失函数为L1和SSIM的加权和，权重为0.2。步骤2是蒙特卡洛能量聚合：在单位球面上均匀采样K=2048个方向向量，使用球坐标变换，其中方位角phi均匀分布于0到2pi，极角theta通过arccos(2*xi-1)计算，xi均匀分布于0到1。计算每个高斯的3阶SH与2阶SH的残差能量，聚合得到Emag和Edir，然后用2层MLP（隐藏层64神经元）映射到1阶SH。步骤3是属性条件SH增强：用4层MLP（隐藏层128、64、32、12神经元）预测SH偏移，最终SH系数为增强后的值，注意MLP的最后一层严格零初始化以保证优化稳定性。步骤4是多视图致密化剪枝：分层采样6个相机视图，对每个视图渲染并计算光度损失，生成误差图，计算alpha加权评分，然后与传统梯度准则结合得到致密化掩码和剪枝掩码。步骤5是训练和部署：继续训练剩余27k次迭代，仅维护和更新轻量级1阶SH参数，部署时使用WebGL实现跨平台实时渲染。

技术新颖性

Flux-GS的技术新颖性体现在数学方法创新、工程实现优化和训练策略改进三个层面。数学方法创新方面，MC-SEA提出了从高阶SH提取一阶方向矩的蒙特卡洛方法，这避免了传统正交投影直接丢弃高频信息的问题。通过在球面均匀采样并聚合残差的外积，该方法能同时保存镜面能量的幅度和主导方向，这与直接聚合绝对光度残差破坏角相位梯度的方法有本质区别。工程实现优化方面，属性条件SH增强模块的静态烘焙设计确保了零推理开销，与需要每视图MLP前向传播的神经场方法形成鲜明对比。训练策略改进方面，多视图alpha加权策略通过分层相机采样和分位数阈值实现了自适应致密化和适度剪枝，这与Taming 3DGS的严格用户定义预算方法相比更灵活，与传统3DGS的激进剪枝相比更保守。

**Fig. 2**: Gaussian parameter distribution and Spherical Harmonic fidelity analysis.

**Fig. 3**: Overview of the Flux-GS framework.

**Fig. 4**: Illustration of our proposed Multi-view Alpha-based Densification and Pruning strategy.

实验结果

实验结果验证了Flux-GS在移动端实时渲染的显著优势。在Mip-NeRF 360数据集的室内场景上，Flux-GS达到PSNR 30.22，仅使用0.22M高斯点，存储2.1MB，在Snapdragon 8 Gen 3 GPU上实现147 FPS，训练时间仅11分钟。相比之下，Mobile-GS需要0.38M高斯点、存储3.5MB、131 FPS、86分钟训练。在室外场景上，Flux-GS达到PSNR 24.45、0.48M高斯点、存储4.6MB、132 FPS、11分钟训练，而Mobile-GS需要0.58M高斯点、存储5.5MB、114 FPS、136分钟训练。在Tanks & Temples数据集上，Flux-GS达到PSNR 23.27、SSIM 0.827、LPIPS 0.221、存储2.4MB、137 FPS，Mobile-GS达到PSNR 23.09、SSIM 0.831、LPIPS 0.208、存储2.5MB、124 FPS。在Deep Blending数据集上，Flux-GS达到PSNR 29.73、SSIM 0.898、LPIPS 0.275、存储1.9MB、158 FPS。消融实验表明，移除MC-SEA导致PSNR从27.02降至26.64，移除多视图致密化导致高斯数量从0.36M增加到1.37M、存储从3.5MB增加到16MB、FPS从139降至24。用户研究显示在三个数据集上，参与者对Flux-GS的主观偏好分别为43%、53%、60%。

**Table 1**: Comprehensive evaluation on the mobile device with Snapdragon 8 Gen 3 GPU on the Mip-NeRF 360 dataset.

**Table 2**: Quantitative evaluation of state-of-the-art light-weight Gaussian-based methods on the real-world datasets.

**Table 3**: Ablation study of our Flux-GS on the Mip-NeRF 360 dataset.

**Fig. 1**: Flux-GS achieves rendering quality comparable to both 3DGS and the Mobile-GS, while reducing the number of Gaussian primitives and facilitating significantly higher FPS on the mobile with Snapdragon 8 Gen 3 GPU.

**Fig. 5**: Qualitative and efficiency comparison with previous state-of-the-art methods.

**Fig. 7**: Impact of Monte Carlo Sampling Points K on Reconstruction Quality.

**Fig. 8**: Impact of the number of cameras in multi-view alpha-based densification.

查看结构化数据

任务	指标	本文	基线	提升
Mip-NeRF 360室内场景移动渲染	PSNR / Storage / FPS / Train Time	30.22 / 2.1MB / 147 FPS / 11min	Mobile-GS: 30.37 / 3.5MB / 131 FPS / 86min	存储减少40%，FPS提升12%，训练时间减少87%
Mip-NeRF 360室外场景移动渲染	PSNR / Storage / FPS / Train Time	24.45 / 4.6MB / 132 FPS / 11min	Mobile-GS: 24.51 / 5.5MB / 114 FPS / 136min	存储减少16%，FPS提升16%，训练时间减少92%
Tanks & Temples场景移动渲染	PSNR / SSIM / LPIPS / Storage / FPS	23.27 / 0.827 / 0.221 / 2.4MB / 137 FPS	Mobile-GS: 23.09 / 0.831 / 0.208 / 2.5MB / 124 FPS	存储减少4%，FPS提升10%
Deep Blending场景移动渲染	PSNR / SSIM / LPIPS / Storage / FPS	29.73 / 0.898 / 0.275 / 1.9MB / 158 FPS	Mobile-GS: 29.93 / 0.906 / 0.243 / 4.6MB / 135 FPS	存储减少59%，FPS提升17%

局限与改进

作者承认的主要局限性包括两个方面。首先，虽然蒙特卡洛能量聚合成功保存了视觉显著的镜面特征，但将模型限制为1阶SH不可避免地丢失了建模高度复杂镜面反射的能力，特别是镜面反射这种第三阶SH能自然捕获的现象。其次，Flux-GS仍需在初始3,000次迭代期间优化完整3阶SH，因此尽管最终模型非常轻量，但初始训练阶段仍需要与标准3DGS相当的峰值内存消耗。作者还指出了多视图alpha剪枝策略的一个潜在问题：如果场景包含仅在狭窄未采样角度可见的极度遮挡或高度视图依赖的微观结构，多视图引导可能会错误地将这些重要高斯分类为冗余并进行剪枝。

独立分析的弱点

独立分析发现的弱点和改进方向包括三个方面。第一个弱点是初始3k次迭代的3阶SH训练仍然消耗大量内存，对于显存特别受限的边缘设备可能构成挑战。改进方向可以考虑渐进式训练策略，从低阶SH开始逐步增加阶数，或者采用混合精度训练降低内存占用。第二个弱点是多视图策略的相机采样可能遗漏特殊角度，导致重要微观结构被错误剪枝。改进方向可以引入自适应采样策略，动态增加对高变化区域或高遮挡区域的采样密度。第三个弱点是在LPIPS感知指标上表现略逊于Mobile-GS（Deep Blending场景0.275 vs 0.243），这可能影响视觉感知质量。改进方向可以在属性条件SH增强模块中引入感知损失或对抗训练来增强细节保真度。

未来方向

作者提出的未来工作方向包括三个层面。第一个方向是扩展Flux-GS以支持移动平台上的动态场景（4D Gaussian Splatting），这需要适配多视图致密化策略以处理时间冗余，为实现移动端体积视频实时播放铺平道路。第二个方向是将多视图引导引入码本压缩或熵编码，进一步推低存储限制，实现低带宽网络的即时流式传输。基于本文成果可延伸的额外方向包括：研究自适应蒙特卡洛采样密度以平衡计算开销和质量；探索动态SH阶数策略，根据场景复杂度自动选择1阶、2阶或3阶SH；优化WebGL渲染管线以支持更大规模场景。

复现评估

论文的复现性评估显示整体情况良好但存在一些挑战。作者承诺将代码发布在https://xiaobiaodu.github.io/flux-gs-project/，这将有利于复现。实验使用了公开数据集Mip-NeRF 360、Tanks & Temples和Deep Blending，这些数据集都是可获取的标准基准。训练在RTX 4090 GPU上进行，这对大多数研究机构是可访问的硬件。关键超参数都有详细披露：蒙特卡洛采样点数K=2048，MC-SEA的MLP使用2层64神经元隐藏层，SH增强MLP使用4层128-64-32-12神经元，多视图相机数量为6，损失阈值分别为0.1和0.01，分位数阈值分别为0.6和0.1。复现的主要挑战在于3阶SH预训练的内存需求（与标准3DGS相同），以及多视图策略的分层相机采样需要正确实现场景中心估计和球坐标分箱。WebGL渲染实现可能需要一定的图形编程经验。

面向移动端3D高斯泼溅的蒙特卡洛能量聚合方法 Monte Carlo Energy Aggregation for Mobile 3D Gaussian Splatting