RT-Splatting：基于高斯泼溅的反射-透射联合建模

通过几何占据与光学不透明度解耦，实现半透明场景中高质量反射与透射的实时渲染

前置知识

3D Gaussian Splatting (3DGS)

一种用3D高斯原语表示场景并进行实时渲染的技术。每个高斯由位置、协方差、不透明度α和球谐函数表示的颜色定义。渲染时将高斯投影到2D图像平面，按深度排序后通过alpha blending累积颜色。最终像素颜色公式为C等于Σc_iα_i∏(1-α_j)，其中c_i和α_i是第i个高斯的颜色和不透明度。这种方法相比NeRF等隐式表示方法具有更高的渲染效率，可实现实时渲染。

RT-Splatting是基于3DGS的扩展，需要理解其基本的渲染原理、表示方法和alpha blending机制，才能理解本文如何通过修改高斯表示来处理反射和透射。

Deferred Shading（延迟着色）

一种两通道渲染技术，将几何处理与光照计算分离。第一通道（geometry pass）渲染最近的表面属性如深度、法线、反照率和粗糙度到中间缓冲区（G-buffers）；第二通道（shading pass）使用G-buffer信息逐像素计算最终颜色。这种方法特别适合复杂的着色计算，因为避免了重复的几何处理。在反射建模中，G-buffers提供了必要的表面几何信息用于计算镜面反射。

本文使用延迟着色来处理高频镜面反射，需要理解其基本原理和与传统forward rendering的区别，以及如何利用G-buffers进行表面属性聚合。

反射与透射（Reflection and Transmission）

光线在半透明界面上的两种主要物理现象。反射是指光线在表面被反射回去，其强度和方向取决于入射角度、表面法线和材质属性；透射是指光线穿过表面继续传播，可能伴随折射和吸收。在半透明镜面表面如玻璃窗、塑料薄膜上，这两种效应往往同时存在，形成复杂的视觉效果。反射通常呈现高频镜面特征，而透射则保留背景的清晰细节。物理建模需要考虑菲涅尔方程、粗糙度、折射率等因素。

这是论文要解决的核心问题。需要理解这两种现象的物理本质和视觉特征，才能明白现有方法的局限性以及本文如何通过分离建模来改进效果。

研究动机

现有的3D高斯泼溅方法在处理半透明镜面表面时存在严重局限性。这些表面（如汽车挡风玻璃、塑料薄膜）同时展示高频镜面反射和清晰透射，但现有方法无法同时准确建模这两种现象。标准3DGS会为拟合高频镜面反射在表面后产生floaters（漂浮的高斯），这些虚假几何不仅无法正确捕获反射外观，还会错误地遮挡本应可见的背景几何，导致透射效果模糊或完全消失。现有的延迟着色方法如EnvGS、3DGS-DR、Ref-GS虽然改进了反射建模，但由于G-buffer只存储最近表面的属性，无法处理半透明性。TransparentGS采用多阶段流水线，用独立的高斯集合建模透明对象，但这要求背景不通过透明对象可见，限制了适用场景（如无法重建只能通过车窗看到的汽车内部）。在Ref-Real、NeRF-Casting等基准数据集上，现有方法在透明区域的PSNR通常在36-38之间，LPIPS在0.012-0.014之间，仍有显著提升空间。

本文的目标是本文提出RT-Splatting框架，目标是实现真实世界场景中半透明表面反射和透射的联合建模，同时保持实时渲染能力。具体目标包括：（1）准确捕获高频镜面反射细节，避免模糊；（2）保持透射背景的清晰度，避免过度遮挡；（3）使用单一的高斯原语集合实现统一的场景表示；（4）支持实时渲染（目标FPS大于30）；（5）使表示具有可编辑性，能够独立调整反射和透射组件。通过在多个真实数据集上超越现有方法的定量指标（如透明区域PSNR大于39，LPIPS小于0.010）来验证目标达成。

与已有工作不同的是，本文的独特切入角度是将每个高斯原语的几何占据（geometric occupancy）从其光学不透明度（optical opacity）中解耦。现有方法使用单一不透明度参数同时控制表面的几何存在性和光学衰减，这在半透明表面中产生根本矛盾：几何上需要是实体的（用于渲染清晰反射），但光学上需要是透明的（允许光线通过）。本文通过引入两个独立的参数σ和α来分离这两个角色，从而允许高斯在几何上作为表面元素参与反射建模，同时在光学上保持透明让背景光线通过。这种factorization使得单一的高斯集合可以同时作为表面和体积被解释，支持混合渲染管线，这是现有方法从未尝试过的角度。

核心方法

RT-Splatting的核心思路是将场景表示解耦为表面和体积两个层面，使用混合渲染管线分别处理反射和透射。直觉上，半透明表面在几何上仍然是实体的（有明确的表面法线，可以产生镜面反射），但在光学上是透明的（允许背景光线透过）。为了实现这一点，论文将每个高斯的不透明度分解为几何占据σ和光学不透明度α两个独立参数。几何占据决定高斯作为表面元素沿光线参与的程度，光学不透明度控制光线被吸收或散射的程度。这种分解使得高斯可以强几何、弱光学地表示半透明表面。渲染时，延迟通道使用几何占据聚合最近表面属性到G-buffers，然后执行镜面着色得到反射组件；前向通道使用有效不透明度α_eff进行体积渲染，累积透射的背景辐射。最后通过可学习的衰减因子β组合两个组件。为了解决反射和透射联合优化的模糊性，论文引入Specular-Aware Gradient Gating机制，识别高频镜面区域并抑制流向透射分支的梯度。整个框架支持端到端联合优化，无需分阶段处理。

核心创新点是occupancy-opacity factorization（占据-不透明度分解）。与现有方法使用单一不透明度参数同时表示几何存在和光学衰减不同，本文引入两个独立的可学习参数：几何占据σ∈[0,1]表示光线与高斯物质相互作用的概率，光学不透明度α∈[0,1]表示给定相互作用时光线被吸收或散射的条件概率。有效不透明度为α_eff=σα。这种分解的本质区别在于：透明对象可以用高σ（强几何存在，用于反射建模）和低α（弱光学衰减，允许透射）的高斯表示。这产生了一个统一的表面-体积表示：同一高斯集合可以同时被解释为表面（通过σ）和体积（通过α）。由此导出的混合渲染管线是自然的：几何占据用于延迟着色的表面聚合，光学不透明度用于前向渲染的体积累积。这是首次在3DGS框架中实现这种物理驱动的分解。

方法步骤详情

RT-Splatting的完整方法流程分为四个主要步骤。第一步是occupancy-opacity factorization：为每个高斯原语学习两个独立参数σ_i和α_i，替代原来的单一不透明度。有效不透明度α_eff=σ_iα_i用于体积渲染。第二步是表面属性聚合：使用概率公式A=Σp_i a_i聚合最近表面属性（法线n、粗糙度ρ、特征z、散射颜色C_scatter、透射率τ）到G-buffers，其中p_i是第i个高斯作为第一表面的概率。第三步是混合渲染：延迟通道使用G-buffer属性和镜面着色函数f_spec计算反射颜色C_spec；前向通道使用有效不透明度α_eff进行体积渲染，累积透射背景C_trans和子表面传输C_sub；最终颜色为C=C_spec+β·C_sub，其中β是f_spec输出的可学习衰减因子。第四步是Specular-Aware Gradient Gating：对每个像素x计算镜面复杂性g(x)=exp(-k·Var_{N(x)}(C_spec))，其中Var是局部方差，N(x)是局部邻域，k是超参数（设置为4）。在反向传播时，用g(x)调制流向透射分支的图像损失梯度。这抑制了高频镜面区域的误导性梯度。整个方法使用透明掩码损失（SAM2模型预训练的掩码）正则化光学不透明度，防止无约束的高σ、低α高斯积累。

技术新颖性

RT-Splatting的技术新颖性体现在三个方面。首先，首次在3DGS框架中提出了物理驱动的occupancy-opacity factorization。现有方法如2DGS改进了几何表示但仍使用单一不透明度，EnvGS、3DGS-DR等延迟着色方法只是重新利用不透明度进行表面聚合，都未解决半透明性的根本矛盾。本文的分解在数学上产生了自然的概率表面提取公式（p_i作为第一表面概率），为延迟着色提供了物理依据。其次，提出的Specular-Aware Gradient Gating机制是针对反射-透射联合优化问题的首个解决方案。现有方法要么完全避免联合优化（如TransparentGS分阶段处理），要么接受模糊性但未提出缓解策略。本文通过识别镜面复杂性区域并梯度门控，在不完全切断透射监督的前提下减少了误导性信号。最后，统一的表面-体积表示和混合渲染管线是新颖的架构设计。现有方法要么纯粹基于表面（2DGS），要么纯粹基于体积（3DGS），要么用分离的高斯集合（TransparentGS）。本文用单一集合实现双重解释，既保持了简洁性又获得了灵活性，这是架构层面的创新。

**Figure 6**: Visual decomposition on real-world scenes

实验结果

论文在多个真实世界数据集上进行了全面评估，核心发现非常显著。在Ref-Real（Sedan、Toycar）、NeRF-Casting（Compact、Hatchback）、EnvGS（Audi）和T&T（Truck）共6个公开基准场景上，RT-Splatting在所有指标上超越了所有基线方法。透明区域的PSNR达到39.765（相比第二名EnvGS的37.953提升了1.812），SSIM达到0.992（相比第二名3DGS和2DGS的0.990提升了0.002），LPIPS降低到0.010（相比基线方法的0.012-0.014）。在整图指标上也保持领先：PSNR为27.490（第二名EnvGS为27.141），SSIM为0.831（第二名Ref-GS为0.819），LPIPS为0.167（基线在0.181-0.203之间）。更重要的是，实时渲染性能达到33.28 FPS，虽然低于3DGS的218.95 FPS和2DGS的208.82 FPS，但显著优于EnvGS的18.31 FPS和GaussianShader的24.59 FPS，满足了实时应用需求。训练时间为0.9小时，与Ref-GS的0.8小时相当，远快于EnvGS的2.9小时。在自捕获的Van和Swab场景上的结果进一步验证了泛化能力：透明区域PSNR达到35.490和38.551，超越所有基线。消融研究量化了每个组件的贡献：去除occupancy-opacity factorization（w/o occupancy）使透明区域PSNR从37.983降至36.919；去除联合优化（w/o joint optimization）导致卡车内部完全无法重建（PSNR降至36.288）；去除内部散射（w/o scattering）使透射变暗（PSNR降至37.597）；去除衰减因子（w/o attenuation）降低了0.442 PSNR；去除梯度门控（w/o gating）产生视觉伪影（PSNR降至37.754）；去除透明掩码正则化（w/o Lmask）导致优化不稳定（PSNR降至37.167）。场景编辑实验展示了方法的灵活性：可以独立调整粗糙度、透明度、移除镜面反射或改变材质色调，而不影响另一组件。

**Table 1**: Quantitative results on scenes from Ref-Real, NeRF-Casting, EnvGS and T&T

**Table 2**: Quantitative results on our self-captured scenes

**Table 3**: Ablation study of our model in transparent regions

**Table 4**: Sensitivity analysis of the gating strength hyperparameter k

**Table 5**: Per-scene metrics on entire images

**Table 6**: Per-scene metrics on transparent regions

**Figure 1**: Photorealistic rendering and decomposition of real-world scene with coexisting reflection and transmission

**Figure 3**: Qualitative comparisons on test-set views of real-world scenes

**Figure 5**: Decomposed transmission components across ablation settings

查看结构化数据

任务	指标	本文	基线	提升
半透明场景新视角合成（透明区域）	PSNR	39.765	EnvGS: 37.953	+1.812
半透明场景新视角合成（透明区域）	SSIM	0.992	3DGS/2DGS: 0.990	+0.002
半透明场景新视角合成（透明区域）	LPIPS	0.010	Ref-GS: 0.013	-0.003
半透明场景新视角合成（整图）	PSNR	27.490	EnvGS: 27.141	+0.349
实时渲染性能	FPS	33.28	EnvGS: 18.31	+14.97

局限与改进

作者在结论中明确指出RT-Splatting的局限性：该方法专为薄半透明表面设计，没有显式建模折射或多次光线弹射（multiple light bounces）。这意味着对于厚玻璃、水或其他需要精确折射建模的场景，该方法可能不适用。此外，虽然方法可以处理内部散射和吸收，但假设光线沿直线传播（negligible refractive effect），这限制了其在强折射介质中的表现。除了作者承认的局限性，还有几点观察：首先，方法依赖SAM2预训练的透明掩码进行正则化，如果SAM2在特定场景中分割失败，可能影响性能。其次，Specular-Aware Gradient Gating的局部窗口大小（3×3）和敏感性超参数k=4可能需要针对不同场景调整，虽然敏感性分析显示k=4在所有场景上平均最优。第三，虽然训练时间（0.9小时）可以接受，但相比标准3DGS（0.3小时）仍有差距，这可能限制了在资源受限环境中的应用。第四，方法在无镜面线索的漫反射区域可能产生ghost几何，虽然透明掩码正则化部分缓解了这个问题。最后，当前的实现基于2DGS，需要2D disk surfels，这比标准3D高斯的表示更复杂，可能影响在某些场景中的几何精度。

独立分析的弱点

独立分析来看，RT-Splatting存在几个可以改进的弱点。首先，对SAM2透明掩码的依赖是一个潜在弱点。虽然作者使用掩码仅作为正则化而非硬分割，但如果SAM2在特定场景（如低对比度、复杂光照）中分割失败，可能影响光学不透明度的学习。改进方向可以是自学习透明度估计，通过训练一个小网络从渲染的中间特征预测透明度，逐步减少对预训练模型的依赖。其次，Specular-Aware Gradient Gating机制使用固定的局部窗口（3×3）和全局敏感性参数k=4，这可能不是所有场景的最优配置。对于包含不同尺度镜面特征的场景，自适应窗口大小或尺度敏感的门控机制可能更有效。改进方向可以包括多尺度方差计算（如金字塔结构）或基于镜面特征尺度的自适应窗口。第三，方法假设光线沿直线传播，忽略折射效应。对于厚玻璃、水、宝石等强折射介质，这会导致几何失真。改进方向是扩展框架以显式建模折射，例如为每个高斯学习折射率，或在体积渲染中使用Snell定律计算弯曲光线路径。第四，虽然方法支持实时渲染，但33.28 FPS相比3DGS的218.95 FPS仍有较大差距。改进方向包括优化混合渲染管线的实现（如并行化延迟和前向通道），或简化镜面着色网络（如使用预计算的环境贴图替代网络）。最后，消融显示去除内部散射和衰减因子会导致性能下降，但这些组件增加了模型复杂度和训练难度。改进方向可以是更有效的内部散射建模，如解析模型替代学习参数，或通过物理先验约束减少学习自由度。

未来方向

作者提出的未来工作方向是扩展框架以处理厚折射介质和多次光线弹射，如水或固体玻璃对象。这是一个自然的延伸，可以显著扩大方法的适用范围。基于RT-Splatting的成果，还有几个有潜力的研究方向。首先，结合更强的物理模型：当前方法使用简化的光线传输（直线传播+内部散射），可以结合Monte Carlo光线追踪或路径积分来建模更复杂的光传输，包括次表面散射、焦散效应等。其次，动态场景扩展：当前方法针对静态场景，可以扩展到动态半透明对象（如水波纹、变形塑料），通过引入时间维度或运动场。第三，多模态数据融合：除了RGB图像，可以融合深度、偏振光、光场等多模态数据，以提供更强的几何和外观约束，特别是在弱纹理或镜面区域。第四，语义引导的分解：结合语义分割（如识别玻璃、水、塑料），为不同材质类型学习不同的反射-透射模型，提高泛化能力。第五，端到端的应用集成：将RT-Splatting集成到更大的系统中，如AR/VR渲染管线、自动驾驶场景理解、或电影制作中的虚拟摄影，探索其实际应用价值。第六，理论分析：深入分析occupancy-opacity factorization的数学性质，如与物理渲染方程的关系、优化景观的几何特征，为方法提供更强的理论基础。最后，轻量化和边缘部署：研究模型压缩和加速技术，使方法能够在移动设备或嵌入式系统上运行，扩大实时应用场景。

复现评估

论文提供了较为完整的复现信息。实现基于PyTorch和2DGS框架，所有超参数与Ref-GS保持一致以确保公平比较。数据预处理遵循3DGS-DR和Ref-GS的协议，应用一致的图像下采样因子。实验在单个NVIDIA RTX 4090 GPU上进行，训练时间约0.9小时。关键超参数包括：密度控制每1500迭代交替重置σ和α（相比标准2DGS的3000迭代）；梯度门控使用3×3窗口，k=4（敏感性分析验证为最优）；损失权重λ_n=0.05（法线一致性）、λ_mask=0.01（透明掩码）、λ=0.2（L1损失）、λ_perc=0.01（感知损失）。论文提供了项目页面（https://sjj118.github.io/RT-Splatting），虽然正文未明确声明代码开源，但项目页面通常会提供代码和模型。评估使用了标准指标（PSNR、SSIM、LPIPS），在公开基准数据集上与多个基线比较，结果透明。消融研究详细报告了每个组件的贡献，包括定量指标和定性比较。总的来看，复现难度中等，需要熟悉2DGS框架和延迟着色管线，但论文提供了足够的技术细节和超参数设置。如果项目页面提供代码，复现应该相对直接；否则需要从论文实现细节自行构建，难度较高。

RT-Splatting：基于高斯泼溅的反射-透射联合建模 RT-Splatting: Joint Reflection-Transmission Modeling with Gaussian Splatting