Matryoshka高斯泼溅：连续细节层次的三维场景表示方法

通过随机预算训练实现连续多细节层次的高斯泼溅渲染，全容量质量不损失

前置知识

3D高斯泼溅

3D Gaussian Splatting是一种显式3D场景表示方法，用数百万个各向异性高斯原语（携带位置、协方差、不透明度和颜色参数）来表示场景。通过可微栅格化和深度排序的前向-后向alpha混合来渲染像素，计算成本直接与高斯原语数量成正比。相比神经辐射场的隐式表示，3DGS具有实时渲染的优势，但其静态的原语集合限制了动态资源调度的灵活性。

论文的核心目标是解决3DGS在动态预算场景下的质量问题，必须理解3DGS的渲染机制和原语重要性评估原理，才能掌握MGS如何通过排序和训练策略实现连续质量-速度权衡。

多细节层次(LoD)渲染

Level of Detail技术是交互式图形学的核心，通过调整渲染表示的复杂度来匹配可用计算资源。传统离散LoD预计算有限数量的质量级别（如低/中/高细节），运行时在级别间切换，但会产生可见的pop-in/pop-out伪影。连续LoD支持任意细节水平的平滑过渡，在移动设备、混合现实头显等硬件差异大的场景中尤为重要。在高斯泼溅中，LoD对应于控制渲染的高斯原语数量。

理解LoD的不同实现方式（离散vs连续）和各自问题，才能明确MGS的创新点——它提供致密连续的预算谱而非有限离散级别，且避免了质量-速度权衡中的性能损失。

嵌套(套娃)表示

嵌套表示是一种有序结构，其中表示的任何前缀（前k个元素）都能独立使用且保持有意义。Matryoshka表示学习将这一思想扩展到高维嵌入，学习不同维度的嵌套向量。在3D场景表示中，嵌套原语意味着任何原语子集都能形成连贯的渲染结果，类似于渐进网格的有序细化操作。排序策略决定了前缀的质量特性。

这是MGS的理论基础，理解嵌套表示的前缀闭包性质和随机预算训练如何高效优化所有前缀，对于把握论文的核心创新和训练效率至关重要。

随机预算训练

这是MGS的核心训练策略。每个训练迭代从均匀分布$\mathrm{Unif}(r_{min}, 1)$中采样一个随机保留比例$r$，计算对应的前缀大小$k=\lceil rN \rceil$，然后同时渲染前缀和完整集合，最小化组合损失函数$\ell_{\mathrm{MGS}} = \ell(G_{\leq k}; \mathbf{I}) + \gamma \ell(G; \mathbf{I})$。前缀项迫使模型在部分子集上表现良好，完整集合项锚定全质量性能。通过均匀采样，训练过程无偏地覆盖整个预算谱。

这是论文最关键的算法创新，理解采样策略、损失函数设计和训练效率（仅两次前向传播），对于评估MGS的实用性和与需要多次渲染或多阶段训练的baseline的区别至关重要。

研究动机

现有3D高斯泼溅的LoD方法存在根本性缺陷。离散LoD方法如H3DGS（τ阈值层次结构）和Octree-GS（基于锚点的八叉树LoD）仅提供3-9个有限的质量级别，粒度粗糙且需要辅助索引结构，在计算预算连续变化的场景（如动态视点变化、不同硬件设备）中产生明显的pop-in/pop-out伪影。压缩和剪枝管道如MaskGaussian和FlexGaussian能在不同目标上近似多预算行为，但每个操作点独立获得，未确保子集的嵌套性或全局一致性，且仅提供2-6个离散操作点。连续LoD方法如CLoD-GS（距离相关不透明度衰减）和CLoD-3DGS（学习重要性排序）支持更平滑的预算缩放，但在全容量时产生显著质量退化。具体来说，CLoD-3DGS在MipNeRF 360上全预算时PSNR为27.44 dB，而标准3DGS为28.40 dB；CLoD-GS也类似地在高预算时质量下降。这导致采用LoD成为代价高昂的设计决策，往往牺牲重建质量。

本文的目标是本文的具体目标是开发一个无需牺牲全容量渲染质量的连续LoD控制框架，用于标准3D高斯泼溅管道。具体而言，学习单个有序的高斯原语集合，使得渲染任何前缀（前k个splat）都能产生连贯的重构，且保真度随着预算增加平滑改进。关键要求包括：(1)在全预算时匹配骨干模型的重建质量，(2)提供致密连续的质量-速度操作点谱，(3)无需架构修改即可集成到现有3DGS管道，(4)训练效率高，每迭代仅两次前向传播。

与已有工作不同的是，本文的独特切入角度是将Matryoshka嵌套表示学习原理从嵌入维度转移到3D场景原语的任意粒度。与现有方法不同，MGS不构建层次结构（如H3DGS、Octree-GS），不学习衰减函数（如CLoD-GS），也不训练多个独立模型。相反，通过学习单个有序的嵌套原语表示，使得每个前缀都是有效且连贯的场景表示。随机预算训练策略进一步实现了用随机前缀和完整集合高效优化整个连续预算范围，而非所有可能的N个预算，这在计算上是不可能的。这种设计填补了离散LoD的粗粒度限制和现有连续LoD的全容量质量损失之间的空白。

核心方法

MGS方法整体遵循'排序-截断-随机训练'的技术路线。首先，基于重要性分数对高斯原语进行排序，使得最重要的原语出现在序列前面。然后，通过随机预算训练优化这个有序集合，使得任何前缀都能产生高质量的渲染。训练的核心思想是在每次迭代中采样一个随机预算，同时优化前缀和完整集合的损失。这种策略通过均匀采样覆盖整个预算谱，最终生成一个连续的质量-速度前沿。在部署时，只需根据可用资源截断有序序列到指定大小，无需额外数据结构、模型切换或重新训练。整个方法仅修改训练目标，不改变模型架构，因此可以轻松集成到现有3DGS管道中。

MGS的核心创新点是随机预算训练和动态重排序的结合。与需要辅助索引结构的离散LoD方法（如H3DGS需要τ阈值层次结构）和多阶段优化的剪枝方法不同，MGS仅通过在每次迭代中采样随机预算$k=\lceil rN \rceil$（其中$r \sim \mathrm{Unif}(r_{min}, 1)$）并优化组合损失$\ell_{\mathrm{MGS}} = \ell(G_{\leq k}; \mathbf{I}) + \gamma \ell(G; \mathbf{I})$，就能高效学习一个在任何预算下都表现良好的嵌套表示。关键的设计选择包括：(1)使用不透明度作为重要性分数进行排序，使得早期前缀已经捕获主导场景结构；(2)训练后立即重排序以确保前缀始终包含当前参数下最重要的原语；(3)前缀项和完整集合项的平衡（默认$\gamma=1$）既确保低预算质量又锚定全质量性能。这种策略仅需两次前向传播，与需要渲染多个预算级别或多个质量级别的方法形成鲜明对比。

方法步骤详情

MGS方法的完整步骤包括：(1)重要性评分：为每个高斯原语$g_i$分配标量分数$s(g_i)$。实现中使用不透明度作为分数，即$s(g_i) = \sigma_i$（公式3），其中$\sigma_i \in [0, 1]$是高斯$g_i$的不透明度参数。这一选择基于不透明度反映原语的可见性和辐射贡献的直觉。(2)排序：基于重要性分数对原语进行降序排列，得到排列$\pi$使得$s(g_{\pi(1)}) \geq s(g_{\pi(2)}) \geq \cdots \geq s(g_{\pi(N)})$（公式4）。(3)前缀定义：k前缀定义为$\mathcal{G}_{\leq k} := \{g_{\pi(1)}, \dots, g_{\pi(k)}\}$，其中$k \in \{1, \dots, N\}$（公式5）。渲染预算k产生图像$\hat{I}_{\leq k} = R(\mathcal{G}_{\leq k}; c)$。(4)随机预算采样：每个训练步骤从均匀分布采样保留比例$r \sim \mathrm{Unif}(r_{min}, 1)$，计算前缀大小$k = \lceil rN \rceil$（公式6）。(5)训练：采样训练视图$(I, c) \sim \mathcal{D}$和前缀大小$k$，渲染前缀和完整集合，最小化组合损失（公式7）。(6)动态重排序：每次训练迭代后重新计算排列$\pi \leftarrow \operatorname{argsort}(s(g_1), \dots, s(g_N))$（公式8），确保前缀在当前参数下总是包含最重要的原语。

技术新颖性

MGS的技术新颖性体现在多个方面。首先，它首次将嵌套表示原理应用于3D场景原语的任意粒度，而非高维嵌入。与Matryoshka表示学习（MRL）固定离散前缀大小不同，MGS使用随机采样覆盖连续预算范围。其次，训练过程仅需两次前向传播（一次前缀，一次完整集合），无论N多大，这与需要渲染多个预算级别或多个质量级别的方法相比具有显著效率优势。第三，动态重排序机制确保前缀始终在当前参数下最优，避免了静态排序在训练过程中退化的风险。第四，方法模型无关，不要求架构修改，可以集成到大多数现有3DGS管道中（如gsplat）。最后，实验表明，MGS的全容量质量有时甚至超过仅训练完整集合的骨干模型（如在Deep Blending上28.41 dB vs 27.63 dB），这表明随机预算目标可能作为正则化器，在某些场景类型上提供额外收益。

**Fig. 2**: Framework of Matryoshka Gaussian Splatting.

实验结果

论文在四个标准基准上进行了广泛评估：MipNeRF 360、Tanks & Temples、Deep Blending和BungeeNeRF。在MipNeRF 360上，MGS实现了最佳的PSNR（28.20 dB）、SSIM（0.841）和LPIPS（0.130），超越次优LoD基线Octree-GS的27.62 dB PSNR，同时获得显著更低的感知误差（LPIPS 0.130 vs 0.221）。在Tanks & Temples上，MGS在PSNR上仅落后Octree-GS 0.03 dB（24.56 vs 24.59），但实现了最佳的SSIM和LPIPS。在Deep Blending和BungeeNeRF上，Octree-GS在其单一最高质量级别获得了更高PSNR，但其较粗的LoD级别导致严重质量退化，产生远低于MGS的AUC得分。MGS在所有四个基准上始终实现最低LPIPS，表明跨所有基准的强感知质量。在质量-速度权衡方面，MGS在AUCfps和AUCsplats上大幅超越所有基线。在MipNeRF 360上，MGS的AUCfps达到64.81，而次优的CLoD-3DGS为46.38，Octree-GS为21.61。这表明MGS在变化的速度和预算约束下持续保持高保真度。定性比较确认，MGS在激进的预算缩减（5-10% splats）下保持连贯的场景结构，而CLoD-3DGS和CLoD-GS遭受严重伪影。一个例外是DrJohnson场景，CLoD-3DGS在全预算时实现了更高的峰值PSNR（29.1 vs 27.7 dB），但MGS在减少的预算（5-30%）下仍更优雅地退化。

**Table 1**: Quantitative comparison on four benchmarks. PSNR, SSIM [38], LPIPS [44] reported at highest splat budget per baseline. AUCfps summarises quality–FPS trade-off frontier, and AUCsplats encapsulates quality/splat efficiency. The best and second best results are highlighted. ↑higher is better, ↓lower is better.

**Table 2**: Ablation study on importance score and budget training strategy. All metrics reported at split=1.0 (full budget). PSNR, SSIM and LPIPS represent raw quality; AUCfps and AUCsplats summarise quality–efficiency frontiers. The best and second best results per column are highlighted. ↑higher is better, ↓lower is better.

**Fig. 1**: Continuous LoD need not sacrifice full-capacity quality to enable budget trade-off. Our method, MGS (top), learns an ordered set of Gaussian primitives whose prefixes yield coherent reconstructions at any splat budget. Compared to CLoD-3DGS [26] (mid) and CLoD-GS [4] (bot), MGS achieves the highest fidelity at every operating point with quality degrading gracefully under budget reduction. Scene: Garden [1].

**Fig. 3**: Quality-budget trade-off on Mip-NeRF 360 [1], averaged across all nine scenes. Left: Quality ($\bar{Q}$, Eq. 9) vs. FPS. Right: Quality vs. number of Gaussian splats. Curves trace continuous LoD models across prefix ratios 1%–100%, and trace discrete LoD models at their recommended operating points respectively. MGS (ours, dark blue) achieves the highest quality at every speed and splat budget, while spanning a much wider FPS range than any baseline.

**Fig. 4**: Qualitative comparison of continuous LoD methods across four benchmarks. Renderings are shown at 5%, 10%, 30%, 60%, and 100% of the full splat budget. We compare MGS with CLoD-3DGS [26] and CLoD-GS [4]. Under highly constrained budgets (5–10%), MGS maintains coherent reconstructions with PSNR of 21–28 dB, while both baselines suffer from severe artifacts and quality collapse (11–17 dB).

**Fig. 5**: Additional qualitative results including a failure case. On stump, train, and rome, MGS maintains higher fidelity across all budget levels. On DrJohnson (bottom), CLoD-3DGS [26] achieves higher peak PSNR at 100% budget (29.1 vs. 27.7 dB); however, MGS still degrades more gracefully at reduced budgets (5–30%).

**Fig. 6**: Ablations on the importance score. The opacity-descending dominates other importance scores across the full budget range.

**Fig. 7**: Ablations on Prefix/Full Loss Weight distribution. While prefix-heavy or full-heavy weighting can marginally improve their respective endpoints, a 6:4 ratio provides the best area under the curve. For the sake of simplicity and balanced performance, we utilise a 5:5 ratio for our MGS approach and for all other ablation experiments.

查看结构化数据

任务	指标	本文	基线	提升
MipNeRF 360场景渲染	PSNR/SSIM/LPIPS (全预算)	28.20 dB / 0.841 / 0.130	Octree-GS: 27.62 dB / 0.813 / 0.221; CLoD-3DGS: 27.44 dB / 0.814 / 0.215	PSNR超越Octree-GS +0.58 dB，超越CLoD-3DGS +0.76 dB；LPIPS显著优于两者（0.130 vs 0.221 vs 0.215）
Tanks & Temples场景渲染	PSNR/SSIM/LPIPS (全预算)	24.56 dB / 0.874 / 0.086	Octree-GS: 24.59 dB / 0.865 / 0.157; CLoD-3DGS: 23.51 dB / 0.845 / 0.176	PSNR略落后Octree-GS 0.03 dB，但SSIM和LPIPS显著更优；超越CLoD-3DGS在所有指标
质量-速度权衡 (AUCfps)	AUCfps (MipNeRF 360)	64.81	CLoD-3DGS: 46.38; CLoD-GS: 19.39; Octree-GS: 21.61	超越CLoD-3DGS +39.7%，超越Octree-GS +200%，超越CLoD-GS +234%
质量-splat效率 (AUCsplats)	AUCsplats (MipNeRF 360)	77.79	CLoD-3DGS: 56.56; CLoD-GS: 63.43; Octree-GS: 68.43	超越CLoD-3DGS +37.5%，超越CLoD-GS +22.7%，超越Octree-GS +13.6%
低预算质量 (10% splats)	PSNR (MipNeRF 360, bicycle场景)	22.2 dB @ 493 FPS (透明度降序)	SH能量降序: 17.6 dB; 固定append: 21.5 dB	超越SH能量降序 +4.6 dB，超越固定append +0.7 dB

局限与改进

论文承认了一些局限性。首先，MGS使用不透明度作为重要性分数，这在某些场景中可能不是最优策略。虽然消融实验显示透明度降序在完整预算范围内表现最好，但作者指出需要进一步研究更复杂的重要性评分标准。其次，论文没有明确处理极端预算场景（如k < 1%），在这些情况下质量可能仍然急剧下降。第三，方法假设在训练和推理时都可以访问完整的高斯集合，这在极端资源受限的环境中可能不可行。第四，论文主要评估了静态场景，没有讨论动态或时变场景的扩展性。最后，虽然MGS在全容量时匹配骨干模型的质量，但在某些复杂场景（如DrJohnson）中仍略低于专门为全预算优化的方法。

独立分析的弱点

独立分析，MGS存在几个潜在弱点。首先，基于不透明度的重要性排序可能不适用于所有场景类型，特别是在高透明度区域（如玻璃、水）密集的场景中，或在不透明度与视觉贡献相关性弱的复杂光照条件下。一个改进方向是学习自适应重要性分数，综合考虑原语的空间位置、视角依赖颜色变化和视锥覆盖度。其次，当前方法在整个训练过程中使用均匀预算采样，这可能不是最优的。在训练早期，随机预算可能导致模型在低预算上过早过拟合，而在训练后期可能在极端低预算上欠拟合。自适应预算调度（如从高预算开始逐渐扩展到低预算）可能改善训练稳定性。第三，方法未考虑视角依赖的渲染策略，在某些视角下某些原语可能更重要。改进方向是实现距离或视角相关的前缀选择，使得渲染时根据视角动态选择最重要的原语。第四，当前实现仅训练单一模型，没有考虑流式或渐进式部署场景。可以研究增量训练策略，支持在线更新和扩展。

未来方向

作者提出了几个未来研究方向。首先，探索距离或视角依赖的前缀选择策略，使得渲染时根据相机位置和视角动态选择最重要的原语子集。这可能改善极端预算场景的质量并减少伪影。其次，研究自适应预算调度策略，根据训练进度或场景特性调整预算采样分布，提高训练效率和质量稳定性。第三，将MGS集成到流式渲染或设备感知渲染系统中，使得模型能够根据运行时硬件能力自动调整渲染质量。第四，扩展方法到动态或时变场景，可能需要引入时间一致的重要性排序和训练目标。基于论文成果，还可以探索将嵌套表示原理应用到其他显式神经渲染方法（如点云体素化、网格编码），或将MGS与压缩技术（如量化、熵编码）结合，在保持连续LoD的同时进一步减少存储开销。另一个有趣的方向是研究多模态重要性评分，结合几何、纹理、语义和光照信息进行更智能的原语排序。最后，可以探索理论分析，理解为什么随机预算训练可能作为正则化器提高全容量质量（如在Deep Blending和BungeeNeRF上的观察）。

复现评估

论文的复现性良好。方法建立在开源gsplat代码库上，使用3DGS-MCMC训练策略作为骨干。除非另有说明，作者使用透明度降序排序（公式4）、相等前缀/完整权重（$\gamma=1$，公式7）、全场景容量$N=5$M（公式4）并训练50 k次迭代。所有实验在配备NVIDIA A100 GPU的相同Ubuntu服务器上进行。论文提供了详细的超参数设置和训练协议，包括基准数据集的标准评估协议（每第8张图像分割）。消融实验使用单个场景（MipNeRF 360的bicycle，$N=1$M splats，50 k训练步骤）进行，提供了各设计选择的隔离评估。然而，论文没有明确提供代码开源链接，这是复现性的一个潜在障碍。此外，5M splats的高容量可能对部分研究者的计算资源构成挑战，因为训练50 k次迭代在A100 GPU上仍然需要可观的时间。量化报告训练时间或计算成本会进一步提高复现性评估的实用性。

Matryoshka高斯泼溅：连续细节层次的三维场景表示方法 Matryoshka Gaussian Splatting