SpectralSplats：基于频谱矩监督的鲁棒可微分跟踪框架

通过频域监督解决3DGS跟踪中的梯度消失问题

前置知识

3D Gaussian Splatting (3DGS)

3DGS是一种用三维高斯基元集合表示场景的神经渲染方法。每个高斯基元由均值 $\mu_i$、协方差 $\Sigma_i$、不透明度 $\alpha_i$ 和球谐系数 $c_i$ 参数化，通过可微光栅化函数 $\mathcal{R}$ 投影到2D图像平面。3DGS实现了实时光渲染和逼真的新视角合成质量，其可微性使其成为基于模型的视频跟踪的理想表示。

本文的核心目标是在3DGS框架下实现鲁棒跟踪，理解3DGS的基本参数化和光栅化机制是理解本文方法的前提。

梯度消失问题（Vanishing Gradient）

在基于像素的光度跟踪中，当渲染的高斯基元与目标图像在空间上完全不重叠时，梯度严格为零。这是因为高斯基元具有紧凑的空间支撑（compact support），只能影响局部像素区域。数学上，目标监督项 $\int I_{gt}(\mathbf{p}) \nabla_\Theta I_{rend}(\mathbf{p};\Theta) d\mathbf{p}$ 中，若两者空间不重叠，被积函数处处为零，导致优化器无法获得指向正确目标的方向梯度。

这是本文要解决的核心问题，理解梯度消失的成因是理解频谱方法必要性的关键。

傅里叶变换与频域分析

傅里叶变换将空间域信号分解为不同频率的正弦/余弦分量。对于图像 $I(\mathbf{p})$，其频谱矩定义为 $\mathcal{M}(k_x, k_y) = \int I(\mathbf{p}) \cdot \exp(-j\boldsymbol{\omega}_{k_x,k_y}^T \mathbf{p}) d\mathbf{p}$，其中 $\boldsymbol{\omega}$ 是频率向量。频域表示的一个关键性质是：空间平移对应频域中的相位偏移，这为全局匹配提供了基础。

本文的核心创新就是将优化目标从空间域转移到频域，利用频域的全局性质来解决空间域的局部性陷阱。

Parseval定理

Parseval定理表明，信号在空间域的总能量等于其在频域的总能量，即 $\sum_k |\mathcal{M}(\omega_k)|^2 = \int |I(\mathbf{p})|^2 d\mathbf{p}$。这意味着在完整正交频率基上优化空间L2损失是数学等价的。然而，这同时意味着同时使用所有频率会完全重建空间损失的景观，从而继承所有局部最小值问题。

这是理解为什么需要频率退火（Frequency Annealing）而非直接使用完整频谱的理论基础。

频率退火（Frequency Annealing）

一种从粗到细的优化策略：初始阶段只使用低频分量建立全局吸引盆地，随着空间误差减小，逐步引入更高频率分量实现精细对齐。退火权重定义为 $w_k(t) = \frac{1 - \cos(\pi \cdot \text{clamp}(\alpha(t)-k, 0, 1))}{2}$，其中 $\alpha(t)$ 线性增长控制激活带宽。这一策略源于相位缠绕分析：当 $|\boldsymbol{\omega}^T \mathbf{d}_t| < \pi$ 时损失函数是凸的。

频率退火是将频谱矩监督从理论变为实用的核心技术手段，决定了方法能否在全局收敛和空间精度之间取得平衡。

相位缠绕（Phase Wrapping）

当空间位移 $\mathbf{d}$ 与频率 $\boldsymbol{\omega}$ 的乘积超过 $\pi$ 时，余弦函数 $\cos(\boldsymbol{\omega}^T \mathbf{d})$ 会发生缠绕，导致损失景观出现多个局部最小值。高频分量虽然提供精细对齐能力，但更容易触发相位缠绕，从而破坏全局吸引盆地。

相位缠绕是高频分量产生局部最小值的根本原因，理解这一点才能理解频率退火的必要性和设计原则。

研究动机

基于3D高斯溅射（3DGS）的模型跟踪在实际应用中面临一个根本性瓶颈：梯度消失问题。当初始相机对齐不准确或位姿先验存在噪声时，渲染的高斯基元可能与其对应的目标像素在空间上完全不重叠。由于高斯基元具有紧凑的空间支撑（compact support），这种零重叠状态导致优化器无法获得方向性梯度信号。论文通过1D模拟清晰展示了这一病理现象：在标准空间L2损失下，即使光度误差很大，梯度景观在正确解附近完全平坦，优化器被搁浅。更糟糕的是，错误的空间重叠会产生腐蚀性梯度，将高斯基元锚定到背景杂波而非正确目标。现有解决方案如LPIPS深度特征距离虽然略微扩大了吸引盆地，但在严重错位下仍然依赖空间重叠；类别特定先验（如SMPL人体模型）通过提供强初始对齐来规避问题，但牺牲了通用性。论文在GART狗数据集上的实验表明，随着初始位移半径从0增加到0.6，纯像素监督的PSNR从约25dB骤降至20dB以下，充分说明了问题的严重性。

本文的目标是本文旨在设计一个纯优化的、与类别无关的跟踪目标函数，该目标函数既能在大位移下提供全局收敛保证，又能实现高精度的空间对齐。具体而言，SpectralSplats希望：（1）彻底解决3DGS跟踪中的梯度消失问题，使得即使在零空间重叠的极端初始化下也能获得有效的方向梯度；（2）提供一个与变形模型无关的通用框架，可以无缝集成到不同的参数化方案（如MLP驱动的控制点和直接优化的控制点）中；（3）通过原理性的频率退火策略，在全局凸性和空间精度之间实现优雅平衡，避免高频相位缠绕引入的局部最小值陷阱。

与已有工作不同的是，SpectralSplats的独特切入角度在于将优化目标从空间域转移到频域。这一转换的核心洞察是：与像素或渲染溅射等局部基元不同，正弦基函数是全局的——它们在整个空间域上都有非零值。通过将渲染图像投影到一组复傅里叶特征（频谱矩）上，空间位移直接对应频域中的相位偏移，从而在即使渲染物体与目标完全空间分离的情况下也能提供非零梯度信号。更进一步，本文首次从第一性原理推导出频率退火调度策略：通过分析相位缠绕的稳定性条件 $|\boldsymbol{\omega}^T \mathbf{d}_t| < \pi$，证明了在对数频率网格上线性扩展频率索引是安全频率扩展的理论上界。这与之前通过神经切线核（NTK）理论或信号带宽模糊启发式推导的退火策略形成对比，提供了严格的优化理论基础。

核心方法

SpectralSplats的整体思路可以用一个简单的比喻来理解：如果空间域的像素比较就像在黑暗中用手电筒搜索——只有照亮的地方才能看到目标，那么频域的频谱矩就像在整个房间铺设一个斜坡——即使你看不见目标，斜坡也能引导你滑向正确方向。技术路线分为三个层次：首先，认识到标准光度损失的梯度消失源于高斯基元的局部性，因此需要一个全局目标函数；其次，选择复正弦函数作为频谱基，将空间位移转化为可检测的相位偏移；最后，通过原理性的频率退火策略，从低频全局吸引逐步过渡到高频精细对齐。整个框架是一个即插即用的空间损失替代品，不需要修改底层的变形模型架构，只需替换损失函数即可。

SpectralSplats的核心创新是频谱矩监督（Spectral Moment Supervision）。与已有方法的本质区别在于：传统方法（包括L2、LPIPS等）都在空间域定义损失，其梯度计算依赖于渲染物体与目标的空间重叠，这是局部性的根本来源。SpectralSplats则将图像投影到频域：$\mathcal{M}(k_x, k_y; I) = \int I(\mathbf{p}) \cdot \exp(-j\boldsymbol{\omega}_{k_x,k_y}^T \mathbf{p}) d\mathbf{p}$。这一投影的关键性质是：即使渲染物体和目标在空间上完全分离，它们在频域的投影值（标量）也会不同，从而产生非零误差信号；同时，频谱矩对运动参数的梯度 $\nabla_\Theta \mathcal{M}_{rend}(\Theta)$ 通过分部积分可以表示为 $\int I_{rend}(\mathbf{p};\Theta) \nabla_{\mathbf{p}} F(\mathbf{p}) d\mathbf{p}$，只要场的梯度 $\nabla_{\mathbf{p}} F(\mathbf{p})$ 在物体区域非零，就保证了有效的方向信号。这种全局性从根本上突破了局部空间重叠的限制。

方法步骤详情

SpectralSplats的方法分为以下步骤：（1）频谱矩计算：对渲染图像 $I_{rend}$ 和目标图像 $I_{gt}$ 分别计算频谱矩 $\mathcal{M}_{rend}$ 和 $\mathcal{M}_{gt}$，即在选定的频率集合 $\{\boldsymbol{\omega}_{k_x,k_y}\}$ 上计算图像与复正弦基的内积。实际实现中可通过2D FFT高效计算。（2）频率退火调度：从第一性原理推导稳定性条件 $|\boldsymbol{\omega}^T \mathbf{d}_t| < \pi$，设计退火权重 $w_k(t) = \frac{1 - \cos(\pi \cdot \text{clamp}(\alpha(t)-k, 0, 1))}{2}$，其中 $\alpha(t)$ 线性从0增长到K。初始阶段保持低频预热阶段确保全局收敛，随后线性扩展频率（而非对数索引的线性扩展，即亚指数增长）以保守地保持在相位缠绕阈值以下。（3）损失计算与优化：频谱损失为 $\mathcal{L}_{spectral} = \sum_k w_k(t) |\mathcal{M}_{rend}^k - \mathcal{M}_{gt}^k|^2$，通过自动微分将梯度反向传播到运动参数 $\Theta$。（4）空间损失过渡：一旦频谱退火建立足够的空间重叠，自然过渡到标准空间损失（L2或LPIPS）进行高频精细优化。最终优化目标为频谱损失与空间损失的加权组合。

技术新颖性

SpectralSplats的技术新颖性体现在多个层面。首先，将图像矩（image moments）的思想引入3DGS跟踪是一个全新视角：传统图像矩用于形状匹配是静态的，而本文将矩监督嵌入可微分渲染的优化循环中，实现了动态的、梯度驱动的跟踪。其次，频谱对偶性分析揭示了一个深刻悖论：根据Parseval定理，完整频谱基等价于空间L2损失，因此静态使用全部频率无法避免局部最小值；这迫使设计动态频率控制策略，这一洞察本身就是重要理论贡献。第三，频率退火的第一性原理推导是方法论上的突破：通过分析相位缠绕条件 $|\boldsymbol{\omega}^T \mathbf{d}_t| < \pi$，严格证明了线性频率索引扩展是最优安全策略，这为之前启发式的NTK理论和带宽模糊方法提供了统一的理论解释。第四，保守频率扩展策略（线性扩展频率值而非指数扩展）的设计考虑了真实场景中背景杂波、遮挡和复杂变形导致的非理想收敛行为，体现了方法的实用性。

**Fig. 2**: Breaking the Locality Trap: A 1D Optimization Analysis

**Fig. 3**: Warmup duration effect on frequency recovery

实验结果

SpectralSplats在两个数据集和多种配置下进行了全面评估。在SC4D合成数据集上，随着初始空间位移半径增大，纯像素监督的PSNR急剧下降，而SpectralSplats保持稳定：在位移半径0.5的设置下，MLP参数化+LPIPS配置中，本文方法相比像素基线PSNR提升3.54dB（27.15 vs 23.61），SSIM提升0.014（0.955 vs 0.941），LPIPS降低0.036（0.049 vs 0.085）。在无LPIPS的纯像素监督下提升更为显著，PSNR从17.67提升到26.70（+9.03dB）。在直接变形场参数化下同样观察到一致的改进模式。在GART真实世界数据集上（位移半径0.6），SpectralSplats在7只狗的平均PSNR为22.06 vs 基线20.15（+1.91dB），SSIM为0.907 vs 0.891（+0.016），LPIPS为0.216 vs 0.258（-0.042）。特别值得注意的是Shiba狗的案例，PSNR提升达4.53dB（25.36 vs 20.82），LPIPS降低0.096（0.179 vs 0.275）。定性结果显示，像素基线常出现模糊和错误对齐，极端情况下甚至将物体推出画面；而SpectralSplats始终保持正确的姿态恢复和清晰的结构。方法在训练视角和新视角上都表现出改进，表明其具有良好的泛化能力。

**Table 1**: Metric evaluations on data generated by SC4D under spatial shift (radius = 0.5)

**Table 2**: Per-dog quantitative comparison on GART dataset under spatial shift radius 0.6

**Fig. 4**: Effect of initial spatial shift on tracking performance

**Fig. 5**: Qualitative comparison on SC4D data under initial spatial shift (radius = 0.5)

**Fig. 6**: Qualitative comparison on GART data under initial spatial misalignment (radius = 0.6)

查看结构化数据

任务	指标	本文	基线	提升
3DGS跟踪（SC4D MLP+LPIPS，位移半径0.5）	PSNR ↑	27.15 dB	23.61 dB（像素基线）	+3.54 dB
3DGS跟踪（SC4D MLP+w/o LPIPS，位移半径0.5）	PSNR ↑	26.70 dB	17.67 dB（像素基线）	+9.03 dB
3DGS跟踪（GART平均，位移半径0.6）	PSNR ↑	22.06 dB	20.15 dB（像素基线）	+1.91 dB
3DGS跟踪（GART平均，位移半径0.6）	SSIM ↑	0.907	0.891（像素基线）	+0.016
3DGS跟踪（GART平均，位移半径0.6）	LPIPS ↓	0.216	0.258（像素基线）	-0.042
3DGS跟踪（GART Shiba狗，位移半径0.6）	PSNR ↑	25.36 dB	20.82 dB（像素基线）	+4.53 dB

局限与改进

SpectralSplats存在几个明显的局限性。首先，当前公式假设已经获得一个预初始化的规范资产（canonical asset），这将方法的适用范围限制在基于模型的跟踪场景，无法直接处理从无标定视频中联合优化规范几何和运动的完整动态场景重建问题。其次，论文在实验中发现频率退火的预热阶段长度需要谨慎选择：预热时间过长会导致高频细节无法正确恢复（如论文Fig. 14所示），这意味着超参数调节仍需一定经验。第三，论文承认真实场景中的背景杂波、遮挡和复杂变形会导致空间误差的衰减偏离理想的指数曲线，虽然保守的亚指数频率扩展策略增强了鲁棒性，但在极端场景下的性能保证尚未充分分析。此外，当前方法仅在两个数据集上验证（SC4D合成数据和GART狗数据），涵盖的物体类别和变形复杂度有限，对于更具挑战性的场景（如高度非刚性变形、多物体交互）的表现有待进一步验证。从效率角度看，频谱矩计算虽然可以利用FFT加速，但相比直接的空间损失仍有额外计算开销。

独立分析的弱点

SpectralSplats存在几个值得关注的弱点。第一，频谱矩本质上是一个全局统计量，它提供了整体的对齐信号但缺乏空间局部性信息。在复杂场景中（如多个相似物体共存），全局频谱特征可能无法区分不同物体，导致跟踪歧义。改进方向可以考虑引入空间加权的频谱矩或多尺度局部频谱特征。第二，频率退火策略虽然有理论推导支撑，但实际实现中的预热长度和频率扩展速率仍是经验性超参数。可以探索自适应退火策略，根据优化过程中的实际空间误差动态调整频率带宽。第三，论文仅展示了对平移和变形的处理，对于大角度旋转的鲁棒性未被充分探索，因为旋转在频域中的表示比平移复杂得多。可以研究旋转不变或等变的频谱特征设计。第四，从Table 2可以看到English狗的数据上本文方法几乎无改进（PSNR仅提升0.05dB，LPIPS甚至略增），说明对于某些特定场景特征，频谱方法的优势可能不明显，需要进一步分析适用条件。

未来方向

作者提出了两个明确的未来方向：一是将频率引导优化从跟踪扩展到完整的动态场景重建，在此场景中规范几何和运动从未标定视频中联合优化，这将消除对预初始化规范资产的依赖，是方法实用化的关键一步；二是探索替代的矩类型以捕获高度复杂的动态，例如引入学习型频谱基或自适应频率选择机制。基于现有成果还可以延伸以下方向：将SpectralSplats的全局吸引思想应用于相机位姿估计（扩展BARF的工作到更极端的初始化情况）、将其与增量式3DGS在线跟踪方法结合、以及将频域监督思想推广到其他基于基元的表示（如NeRF或3D网格）的优化中。此外，论文提到的旋转鲁棒性问题也值得深入研究，可以结合球谐函数的频域性质设计旋转感知的频谱矩。

复现评估

论文未明确提及代码开源计划，这可能影响复现的便利性。方法的核心组件——频谱矩计算——可以通过标准的2D FFT高效实现，计算复杂度不高，理论复现难度中等。论文使用了两个公开数据集：SC4D（基于Consistent4D的资产）和GART Dog数据集（来自2022年National Dog Show和Adobe Stock的单目视频）。变形模型的控制点选择遵循标准流程（引用GSGD），因此需要熟悉3DGS的控制点提取方法。算力需求方面，虽然论文未明确报告训练时间，但由于频谱矩可通过FFT高效计算，且方法主要是在损失函数层面的修改，预计与标准3DGS跟踪的算力需求相当。复现的关键难点可能在于频率退火超参数的调节，以及从第一性原理推导的保守频率扩展策略的正确实现。

SpectralSplats：基于频谱矩监督的鲁棒可微分跟踪框架 SpectralSplats: Robust Differentiable Tracking via Spectral Moment Supervision