SVGS:使用具有空间变化颜色的基元增强高斯泼溅 SVGS: Enhancing Gaussian Splatting Using Primitives with Spatially Varying Colors
在单个高斯基元内部引入空间变化的颜色与不透明度函数,显著提升高斯泼溅的表达能力与紧凑性。
前置知识
3D Gaussian Splatting (3DGS)
3DGS 是 2023 年提出的显式 3D 场景表示方法,核心是使用大量可学习的各向异性 3D 高斯椭球作为场景基元。每个高斯携带位置 $\mu$、3x3 协方差矩阵 $\Sigma$、球谐函数系数(编码视图相关颜色)以及不透明度 $\alpha$。训练时通过 SfM(如 COLMAP)初始化高斯位姿,再用可微泼溅(splatting)把 3D 高斯投影到 2D 图像平面,按从近到远顺序进行 alpha 混合,得到渲染像素。损失为 L1+SSIM+D-SSIM,反向传播同时更新高斯参数并执行 densify/split/prune。3DGS 的关键优势是训练/渲染都可达到实时(>30 FPS)且新视角合成质量极高,已成为 NeRF 之后的代表方法之一。
SVGS 的起点就是 3DGS 的显式基元范式;要理解 SVGS 解决了什么冗余/不紧凑问题,必须先知道 3DGS 的基元结构(位置/协方差/SH/不透明度)、densify 流程以及 splatting 渲染管线。没有这些背景,就无法理解为什么单高斯只能有一个颜色是表征瓶颈。
2D Gaussian Splatting (2DGS)
2DGS 是 3DGS 的几何改进版,将 3D 椭球沿最短轴压缩为高斯面片(Gaussian surfel),用该最短轴作为面片法向。这一改动的核心好处是 ray-surfel 的交点容易求(解析式),便于做精确深度渲染与法向估计,从而得到高质量表面重建(可提取 mesh)。在保持新视角合成画质接近 3DGS 的同时,2DGS 在 DTU/Tanks&Temples 等数据集上的几何指标Chamfer Distance 显著优于 3DGS。本文的 ray-surfel 交点 $p=(u,v)$ 正是定义在 surfel 局部坐标系中,是空间变化函数 $F_c(p), F_\alpha(p)$ 的输入域。
SVGS 的所有实验实现都基于 2DGS 框架,并继承其几何重建能力;同时 2DGS 的 surfel 表达使得局部坐标系 (u,v) 的定义极其自然(椭圆坐标轴就是坐标轴),这是设计 $F_c, F_\alpha$ 的前置条件。若没有 2DGS,SVGS 就缺少清晰的几何意义和低复杂度的交点计算。
球谐函数 (Spherical Harmonics, SH) 与视图相关颜色
球谐函数(Spherical Harmonics, SH)是一组定义在球面上的正交基函数,在 3DGS/2DGS 中用低阶(一般 0-3 阶)球谐系数表达从视角方向 $d$ 到 RGB 颜色的映射 $SH(d)$,是 3DGS 颜色参数化的标准方式。SH 的关键性质是:阶数越高能表达的视角相关细节越多,但参数也线性增加。SVGS 不替换 SH,而是在 SH 基础上加一项 $F_c(p)$,用 $c(p,d) = SH(d) + F_c(p)$ 实现'方向相关 + 位置相关'的复合表达。
理解 SH 是看懂 3DGS 颜色建模的关键;SVGS 的核心改动就是在 SH 之外引入一个由局部坐标 $p$ 决定的空间变化增量。这种'SH + 空间函数'的分解方式既保留了视角相关性的能力,又让单高斯能在表面方向上携带纹理信息。
可微泼溅与 alpha 混合
可微泼溅(differentiable splatting)是 3DGS/2DGS 的核心渲染操作:把 3D 高斯按投影协方差光栅化到 2D 图像平面,按从近到远顺序做 alpha 合成。数学形式为$C = \sum_i c_i \alpha_i \prod_{j<i}(1-\alpha_j)$,其中 $c_i$ 是高斯 $i$ 在该像素上的颜色贡献,$\alpha_i$ 是 2D 投影后的不透明度(由 3D 协方差和深度决定)。整条管线对 $c_i$ 和 $\alpha_i$ 都可微,所有训练信号都通过这条管线反向传播到 3D 高斯参数上。
SVGS 引入了额外自由度(核函数、MLP 等),但其梯度仍要走完整条 alpha-blending 管线,这决定了 per-primitive 复杂度的上限——任何 $F_c, F_\alpha$ 的实现都必须保证前向+反向可微并能融入现有渲染流程。理解 alpha 合成也是理解论文 Table XII 中 FPS/训练时间差异的物理原因。
研究动机
在 3DGS、2DGS 等高斯泼溅方法里,每个高斯基元仅持有一个由视角方向 $d$ 决定的球谐颜色 $SH(d)$ 和一个不透明度 $\alpha$,也就是说无论射线从哪个位置穿过这个高斯,只要方向相同就一定输出相同颜色。这一强约束在场景表面出现复杂纹理(像 Blender 数据集里那些几何简单但贴图丰富的物体)时会带来明显问题:方法只能靠堆叠大量小高斯来近似空间上的颜色和不透明度变化,造成严重表征冗余和存储浪费。论文图 1 的 toy example 给出了最直观的证据——目标是一张四色圆盘,训练时只允许 1 个高斯,2DGS/3DGS 都只能输出单色,而无法拟合出四种颜色。这种'一个高斯 = 一个颜色'的局限使得现有方法在纹理主导场景下要么牺牲画质、要么付出几倍高斯数的代价。
本文的目标是本文的核心目标是为每个高斯基元内部引入空间变化函数 $F_c(p)$ 和 $F_\alpha(p)$,使得穿过同一高斯不同交点 $p$ 的射线能获得不同颜色和不透明度,从而让单个高斯就具备表达空间纹理和几何细节的能力。形式上,作者把 2DGS 的颜色分解为$c(p,d) = SH(d) + F_c(p)$,把不透明度推广为 $\alpha(p) = F_\alpha(p)$,其中 $SH(d)$ 保留原有球谐项,$F_c$ 和 $F_\alpha$ 是新引入的、与交点 $p=(u,v)$ 相关的空间项。设计上希望保留 2DGS 的实时/显式特性与高质量几何重建能力,在纹理主导的场景(Blender 数据集)里达到甚至超越 3DGS 系方法的画质;同时在 Mip-NeRF360、Tanks&Temples、DTU 等场景下保持紧凑(用更少高斯达到同等或更好效果)。作者进一步把 3D-HGS、NegGS 视为该框架的特例,说明空间变化函数是表达力提升的一个统一视角。
与已有工作不同的是,已有相关工作如 Textured-GS 和 Textured-Gaus 通过给高斯挂 UV 纹理或 2D 纹理图来引入空间颜色,但作者在图 12 的单高斯实验里明确指出这些方法的局限:Textured-GS 在单高斯限制下出现明显的中心颜色衰减,并且在不同视角下颜色模式快速变化、出现多视图不一致;Textured-Gaus 在单高斯限制下完全失败,即使把高斯数增加到 100 或 1000 个也只能得到粗糙且结构不稳定的重建结果。也就是说,现有的'高斯+纹理'方案在'用极少量高斯表达丰富纹理'这一目标上仍有明显空白。SVGS 的独特定位是:在保持 2DGS 单高斯几何表示的同时,用极轻量函数(4 个可移动核 / 一个 3 层 MLP / 双线性插值)让单高斯内部就能产生空间变化颜色。理论层面,作者还指出 3D-HGS 和 NegGS 是其框架的特殊情形,为'高斯属性空间化'这一研究方向提供了统一视角。
核心方法
SVGS 的整体思路是给每个 2DGS 面片高斯挂上一个空间变化函数 $F_c(p), F_\alpha(p)$,输入是当前射线在 surfel 上的交点 $p=(u,v)$(定义在 surfel 的局部坐标系中),输出是该位置的颜色和不透明度增量。颜色总表达式为 $c(p,d) = SH(d) + F_c(p)$,不透明度 $\alpha(p) = F_\alpha(p)$。对 $F_c, F_\alpha$ 文中尝试了三种实现:双线性插值(Ours-BI)、可移动核(Ours-MK)以及一个挂在每个高斯上的 3 层小型 MLP(Ours-NN)。这三种方法在 per-primitive 参数上分别约为 2DGS 的 1.28、1.40、1.88 倍(图 5),仍属轻量级。整体训练流程继承 2DGS 的标准设置:30K 次迭代、15K 后停止分列克隆、每 3000 步重置不透明度到 0.01,唯一区别是不再使用 normal consistency loss,因为目标只是提升新视角合成画质。方法本身对空间变化函数形式几乎不做约束,允许输出为负(最终由 sigmoid 激活归一化到合法范围)。
核心创新点是把'高斯的属性'从'与空间无关'升级为'与局部交点位置 $p$ 有关',并以三种函数族作为算子。与 3DGS/2DGS 的本质区别在于:传统高斯的所有视图相关属性都由方向 $d$ 决定(通过球谐函数 $SH(d)$),而 SVGS 多了一个与 $p$ 耦合的项,且通过可移动核的加权插值或局部 MLP 来拟合空间变化。与 Textured-GS/Textured-Gaus 的本质区别在于:SVGS 不引入全局 UV 纹理图,而是在每个高斯内部用少量参数直接参数化空间变化函数,从而避免多视图不一致和中心颜色衰减。三种函数中,Ours-BI 最简单但有梯度消失问题;Ours-NN 表达力强但参数量大、训练不稳定;Ours-MK(4 个可移动指数核)以最少的参数同时获得了最强的表达力,是真正实用的一档。核函数 $F_{K_i}(p) = e^{-\lambda_e \|p-K_i\|^2}$ 在核中心 $K_i$ 处权重最大,随距离指数衰减,给出平滑过渡的同时避免 BI 的象限中心梯度消失问题。
方法步骤详情
完整训练/渲染流程共六步。第一步用 COLMAP/SfM 初始化高斯位姿并按 2DGS 协议建立 surfel 局部坐标系。第二步在 2DGS 的 CUDA splatting kernel 中加入 $F_c(p), F_\alpha(p)$ 的计算节点,对于 Ours-BI 用 sigmoid 把 $(u,v)$ 缩放到 $(0,1)$ 后做四象限双线性插值,公式为 $F_c(p)=(1-u')(1-v')c_0+(1-u')v'c_1+u'(1-v')c_2+u'v'c_3$,不透明度同理(公式 3-5)。第三步对 Ours-MK 引入 4 个可学习位置 $K_i=(K_{xi}, K_{yi})$ 和权重 $c_i, \alpha_i$,颜色由 $\sum_i F_{K_i}(p)c_i$ 给出,核函数 $F_{K_i}(p) = e^{-\lambda_e \|p-K_i\|^2}$,$\lambda_e=0.1$(公式 6-7)。第四步对 Ours-NN 在每个 surfel 上挂一个 3 层 MLP,输入 $(u,v)$、输出 RGB+$\alpha$,使用 sigmoid 激活(图 6,公式 8)。第五步是反向传播,作者为这三种函数都手工推导了对应的 CUDA 反向梯度并实现为可微节点。第六步把修改后的 $c(p,d), \alpha(p)$ 接到原 alpha-blending 管线中按 L1+SSIM+D-SSIM 损失进行端到端优化,30K 迭代后用同一套 splatting 即可渲染任意新视角。整个流程除空间变化函数实现外,densify/split/prune 调度、相机模型、损失函数都与 2DGS 一致。
技术新颖性
技术新颖性体现在三方面。其一,作者提出了'单高斯内部空间变化函数'这一统一框架,把双线性插值、移动核、局部 MLP 三种实现纳入同一分析视角,并指出 3D-HGS 和 NegGS 实际上是该框架的特殊情形,从而在概念上为一系列高斯增强工作建立了共同坐标系。其二,作者通过分析双线性插值在 sigmoid 缩放坐标后的行为,发现远离象限中心的区域出现梯度消失(被作者称为'grad vanish issue'),这是 BI 在全场景数据集上落后于 MK 的根本原因;可移动核通过可学习位置和指数衰减函数天然避免了这个问题。其三,作者用单高斯四色圆盘 toy example(图 1)作为系统化分析工具,对比了 SVGS、Textured-GS、Textured-Gaus 的表达力和多视图一致性,验证了 SVGS 在极小基元预算下的优势:Textured-GS 出现明显的中心颜色衰减和视角不一致,Textured-Gaus 在 1/100/1000 个高斯条件下都难以恢复细节,而 SVGS-MK 用 1 个高斯就能拟合四色盘。这些 toy-level 证据为后续在真实数据集上的大幅提升提供了机理上的解释。
实验结果
实验在 Synthetic Blender、Mip-NeRF360、Tanks&Temples、DTU 四个数据集上展开,核心发现可总结为四点。其一,在 noLimit 设置下,Ours-MK 在 Blender 数据集上达到 PSNR 34.10 / SSIM 0.970 / LPIPS 0.030,相对 2DGS(32.87 / 0.965 / 0.038)有约 1.23 dB 的绝对提升,并超过表中所有 SOTA:Plenoxels 31.76、INGP-Base 33.18、Mip-NeRF360 33.09、3DGS 33.32、MCMC-3DGS 33.80、Mip-Splatting 33.36、Textured-GS 28.44、Textured-Gaus 33.17、PGSR 30.22。其二,在 50K Gaussians 的低预算设置下,Ours-MK 仍能到 33.09 PSNR,而 2DGS 仅 32.64,体现了紧凑性优势(表 I)。其三,在 Mip-NeRF360 上 Ours-MK 取得 27.31 PSNR(noLimit),高于 2DGS 的 26.86 但仍略低于 MCMC-3DGS(29.89)和 Textured-Gaus(27.37),作者解释这是 2DGS 框架本身而非空间变化函数方法的限制。其四,在 DTU 上当不限制高斯数时Ours-MK 取得 PSNR 35.22、Chamfer Distance 0.76,几何质量与 2DGS 持平但图像质量更高;50K/100K 预算下几何与画质均显著优于 2DGS(表 IV、表 V)。图 8、9、11 的定性对比也显示 SVGS 在mic 麦克风的线材、自行车细节、花园远景、火车轮廓、树叶高频纹理等区域能恢复 2DGS 模糊掉的细节。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Blender 新视角合成(noLimit) | PSNR↑ / SSIM↑ / LPIPS↓ | 34.10 / 0.970 / 0.030(Ours-MK) | 32.87 / 0.965 / 0.038(2DGS) | +1.23 dB PSNR,LPIPS 降低 21% |
| Mip-NeRF360 新视角合成(noLimit) | PSNR↑ / SSIM↑ / LPIPS↓ | 27.31 / 0.815 / 0.209(Ours-MK) | 26.86 / 0.796 / 0.255(2DGS) | +0.45 dB PSNR,LPIPS 降低 18% |
| Tanks&Temples 新视角合成(noLimit) | PSNR↑ / SSIM↑ / LPIPS↓ | 23.72 / 0.847 / 0.179(Ours-MK) | 23.19 / 0.830 / 0.214(2DGS) | +0.53 dB PSNR,LPIPS 降低 16% |
| DTU 几何重建(noLimit) | Chamfer Distance↓ / PSNR↑ | 0.76 / 35.22(Ours-MK) | 0.75 / 34.43(2DGS) | CD 相当(-0.01),PSNR +0.79 dB |
| DTU 几何重建(50K 高斯) | Chamfer Distance↓ / PSNR↑ | 0.99 / 29.86(Ours-MK) | 1.11 / 28.76(2DGS) | CD -0.12,PSNR +1.10 dB |
| Blender 参数公平对比 | PSNR(2DGS* 增到 14K 高斯后) | 34.10(10K MK) | 33.99(2DGS* w/o. LN) | +0.11 dB(同等参数量下 SVGS 仍更优) |
| Blender 双倍高斯对比 | PSNR / 高斯数 | 34.10 / 205K(Ours-MK) | 34.05 / 387K(2DGS†-Grad) | +0.05 dB,但只用 53% 的高斯 |
局限与改进
作者明确承认的局限:1)计算开销增加,由于前向/反向都要评估 4 个子核及对应梯度,训练时间从 2DGS 的 635.25 s 上升到 Ours-MK 的 1083.13 s(Blender),渲染 FPS 从 210.73 降至 133.25(表 XII),尽管仍维持 30 FPS 以上实时。2)核位置理论上可能跑出 Gaussian,作者统计各数据集内部核概率为 99.57%-99.95%(表 X),实际几乎不会发生。3)方法继承 2DGS 的 2D 表达,因此在 Mip-NeRF360 这类大场景上仍弱于 MCMC-3DGS(29.89)等 3DGS 派系方法。4)没有显式的抗锯齿机制,Table XI 显示 1/8 分辨率时 Mip-Splatting 平均 31.97 PSNR、Ours-MK 仅 25.86;作者也观察到远景灌木等高频区域仍有模糊。5)高斯尺寸受 splatting 训练机制约束,toy 图与真值在轮廓上存在差异(不是 bug 而是设计取舍)。我自己的观察:6)所有实验均在单 A100 80GB 上做,30K 迭代对大场景耗时长;7)表 VIII 显示 NN-1Layer 在 Lego 单场景上反而优于 NN-3Layer(35.66 vs 35.39 PSNR),说明 MLP 深度对该任务并不关键,反而加大训练不稳定。8)Mip-NeRF360 上的 LPIPS 0.209 仍高于 3DGS 系方法(0.214 量级),说明细节恢复能力与全空间模型仍有差距。
独立分析的弱点
独立分析有三个明显可改进的弱点。其一是 GPU 效率:Ours-MK 训练时间比 2DGS 慢 1.7×(1083.13 s vs 635.25 s,表 XII),FPS 从 210.73 降到 133.25,但只换到 ~1.2 dB 的 PSNR 增益,吞吐量下降明显;改进方向包括把四个子核合并到一个 fused CUDA kernel、用 shared memory 复用 SH 系数、或采用 half-precision 推理,并借鉴 LightGaussian、Mini-Splatting2 等压缩框架做 inference-time 剪枝。其二是 anti-aliasing 缺失:表 XI 显示 SVGS-MK 在 1/8 分辨率下只到 18.24 PSNR,而 Mip-Splatting 28.67,可引入 Mip-Splatting 的 3D smoothing filter 或 2D Mip filter 做后处理。其三是 3D 泛化:本文讨论明确要扩展到 3DGS ellipsoids,但 ellipsoid-ray 相交更复杂,可能需改用抛物面/球面参数化或近似方法。其四是核位置 $K_i$ 偶尔跑出椭圆时方法退化为 2DGS,可以加一个可微的 in-ellipse 软约束损失让核位置有界。其五是 toy 例子中轮廓与真值存在差异,这是 splatting 训练机制(不鼓励过大高斯)的自然产物而非 bug,但限制了高斯大小的自由。
未来方向
作者明确列出的方向有四点:1)将可移动核扩展到 3DGS ellipsoids,公式层级只需把 (u,v) 换成椭球局部坐标,结合 volumetric sampling 后有望把 PSNR 进一步推到 29+ dB 区间;2)尝试更多空间变化函数族,例如 hash-grid + 小 MLP、傅里叶特征、球面调和基;3)与 MCMC-3DGS 互补整合(MCMC 解决采样/初始化问题,SVGS 解决单高斯表达力问题,理论上可叠加收益);4)集成 Mip-Splatting 的 scale-aware filter 解决抗锯齿问题,把 1/8 分辨率 PSNR 从 18.24 拉回 30+ 区间。基于成果可延伸的方向还包括:与 SuGaR/PGSR 等几何方法结合进一步提升 surface quality;用蒸馏/低秩近似压缩 per-Gaussian MLP 实现端到端快速训练;把空间变化函数用于 4D 动态场景(让单个高斯在不同时刻呈现不同颜色/形状);以及作为可编辑性的基础,配合 segmentation 字段实现对单高斯内部子区域的选择性编辑与纹理替换。
复现评估
复现难度中等偏低。截至当前版本,论文并未在 arXiv v2 中给出公开代码链接(GitHub 仓库未标注),但作者明确说'基于 2DGS 代码框架修改',并指出需要修改 CUDA kernel 及对应的反向传播梯度。硬件条件为单卡 NVIDIA A100 80GB + Intel Xeon Platinum 8375C;超参数完全沿用 2DGS/3DGS:30K iter、split threshold 0.0002、opacity reset 0.01、stop densify at 15K,仅去掉了 normal consistency loss。数据集均为公开标准基准:Synthetic Blender(NeRF)、Mip-NeRF360、Tanks&Temples、DTU,评价指标为 PSNR/SSIM/LPIPS + Chamfer Distance,对照实现成熟且训练流程与 2DGS 完全一致。整体复现路径清晰,主要门槛在三处:1)CUDA kernel 改写与反向梯度手工推导;2)三种空间变化函数的正确实现细节(特别是 BI 的 sigmoid 缩放和 MK 的核中心约束);3)大场景 30K 迭代的 GPU 时间和显存管理。对于熟悉 2DGS 代码的研究者,预期可在 1-2 周内复现主表结果。
论文图表
用一张四色圆盘图像训练 2DGS/3DGS/SVGS,限制为单个高斯基元。2DGS 和 3DGS 都只能输出单色(单色高斯),而 SVGS 用同一单高斯就拟合出了四种颜色的盘面。
这张图是论文核心论点的最直观证据——单高斯在传统方法下无法表达空间颜色,而 SVGS 可以,是后续方法讨论的 motivation anchor。
在 3DGS、2DGS、SVGS 三种框架下对同一场景的重建结果对比,SVGS 在白色高亮区域能恢复更多细节,2DGS/3DGS 出现明显模糊。
用于展示 SVGS 的实际视觉优势,与 Fig. 1 的 toy example 互补,给出真实场景的定性证据。
挂在每个 surfel 上的 3 层小 MLP,输入 (u,v) 局部坐标,输出颜色和不透明度,使用 sigmoid 激活。
让读者清楚 NN 实现的具体结构,是方法细节的补充说明。
横向四个数据集 (Blender/Mip-NeRF360/T&T/DTU),每数据集下分 50K/100K/500K/noLimit 四种预算,纵向对比 2DGS、2DGS w/o LN、Ours-BI、Ours-NN、Ours-MK。Ours-MK 几乎在所有单元格取得前 1-2 名。
全论文最核心的定量表格,给出所有方法在所有数据集和所有预算下的对比,是 results 的 anchor。
把 2DGS 的高斯数从 10K 增加到 14K,使其总参数与 10K 的 Ours-MK 相当;Ours-MK 仍 34.10 dB,优于 2DGS* 的 33.99 dB。
排除'我们只是参数更多'的怀疑,给出严格参数公平下的对比。
横向比较 Plenoxels、INGP-Base、Mip-NeRF360、Zip-NeRF、3DGS、MCMC-3DGS、Mip-Splatting、Textured-GS、Textured-Gaus、2DGS、PGSR、Ours-MK。Ours-MK 在 Blender 上 34.10 dB 居首,Mip-NeRF360 上 27.31 dB 仅次于 MCMC-3DGS(29.89)。
给读者一个 SOTA 全景视角,证明 Ours-MK 在纹理主导的 Blender 上达到 SOTA,在其他数据集也有竞争力。
对比 2DGS、2DGS*、PGSR、Ours-MK 在 50K/100K/noLimit 三种预算下的 Chamfer Distance 与 PSNR。Ours-MK 在 50K 预算时 CD 0.99 vs 2DGS 1.11、PSNR 29.86 vs 28.76。
是几何 + 画质双指标对比,体现 SVGS 在低预算下的紧凑性优势。
包含 2DGS、2DGS*、PGSR、NeuS、3DGS、VolSDF、SuGaR、Ours-MK。Ours-MK CD 0.76、PSNR 35.22;3DGS PSNR 35.76 略高但 CD 1.96 几何差很多。
在 DTU 上同时比较隐式/显式方法,证明 SVGS 在 NVS 与几何之间取得更佳折中。
在 Blender 上比较 2DGS、Ours-MK 在 w/ LN 和 w/o LN 下的指标,去掉 LN 后 2DGS 升到 33.65,Ours-MK 升到 34.10。
排除'正常损失是性能差异来源'的可能,证明空间变化函数本身带来提升。
对比 8 kernels(PSNR 34.04)、sigmoid 核(33.97)和默认 4 个指数核(34.10)。8 个核参数涨到 105 仍未超越 4 核。
说明 4 核 + 指数函数是 Pareto 最优设计,避免读者盲目增加参数。
1/2/3/4 层 MLP 的 PSNR 分别为 35.66/35.44/35.39/35.38,远低于 Ours-MK 的 36.49。
证明 MLP 深度对性能影响极小,并且整体上 MLP 方案不如 MK。
通过修改梯度阈值(Grad)或直接 Split,2DGS†-Grad 达到 387K 高斯、34.05 dB;Ours-MK 仅用 205K 高斯就拿到 34.10 dB。
进一步排除'SVGS 只是因为参数多才更好'的质疑。
Blender 99.95%、Mip-NeRF360 99.60%、T&T 99.92%、DTU 99.57%。
回答'核是否会跑出高斯'的潜在问题,支撑作者'不施加约束'的工程决策。
全分辨率 / 1/2 / 1/4 / 1/8 分辨率下 NeRF、MipNeRF、2DGS、3DGS、Ours-MK、Mip-Splatting 的 PSNR。Ours-MK 平均 25.86 dB 高于 2DGS 的 24.43 和 3DGS 的 24.84,但低于 Mip-Splatting 的 31.97。
诚实暴露方法在 anti-aliasing 上的短板,把未来工作指向多尺度滤波。
2DGS 训练 635.25 s、FPS 210.73、PSNR 32.87;Ours-MK 1083.13 s、133.25 FPS、33.77 PSNR;把 Ours-MK 训练时间压到与 2DGS 相当时仍 33.77 dB。
给出计算开销与精度的真实权衡,避免读者高估运行成本。
并列展示 2DGS、Ours-BI、Ours-NN、Ours-MK 的同视角渲染,MK 在细节还原上明显领先。
把 Table I 的数字结论转化为视觉证据。
在 mic 等模型上,2DGS 的金属支架和电线出现明显模糊与错误颜色,Ours-MK 与真值几乎一致;error map 显示 Ours-MK 残差更低。
展示 SVGS 在 Blender 几何简单+纹理复杂场景下的实际细节优势。
在 bicycle、garden、train、leaves 等场景里 Ours-MK 在远处轮廓、训练车纹理、树叶细节上明显更接近真值。
证明 SVGS 的优势不仅限于 Blender 简单场景,在复杂数据集上同样有效。
在 50K/100K 高斯预算下 Ours-MK 重建出的表面更平滑、更接近真值;noLimit 时两者几何相当但 Ours-MK 纹理更细。
为 Table IV/V 的几何定量对比提供定性补充。
在多个 DTU 扫描上对比 2DGS 与 Ours-MK 在 50K/100K/noLimit 三种预算下的网格与渲染图。
扩展 Fig. 10 的定性证据,展示方法在多种几何形状上的稳定性。
第一行三种 SVGS 函数拟合四色盘;第二行 Textured-GS 在单高斯限制下出现中心颜色衰减与多视图不一致;第三行 Textured-Gaus 在 1/100/1000 个高斯时均无法恢复细节。
作为单高斯表达力的最严格基准,把 SVGS 与最近的纹理化高斯工作放在一起对比。