AdaGaR：自适应Gabor表示用于动态场景重建

提出自适应Gabor表示结合三次Hermite样条插值，实现高频细节保持和时间连续的单目视频动态3D重建。

前置知识

3D Gaussian Splatting

3D高斯泼溅是一种显式的3D场景表示方法，将场景表示为一系列3D高斯基元{Gk | k = 1, ..., N}的集合，每个基元包含中心μk ∈ ℝ³、协方差Σk ∈ ℝ³×³、不透明度αk ∈ [0,1]和颜色ck。渲染时通过前向混合将高斯投影到图像平面并累积颜色。该方法的优势是实时渲染速度快，但单个高斯核本质上是低通滤波器，会抑制高频纹理细节，这对重建复杂纹理场景是天然的限制。

本文方法建立在3D Gaussian Splatting基础上，通过扩展Gaussian原语为Gabor原语来解决其高频细节捕获能力不足的问题。理解3DGS的渲染公式C(x) = Σ Tkαkck（其中Tk = Π(1-αj)）是理解本文Adaptive Gabor表示如何扩展这个框架的基础。

Gabor函数

Gabor函数是高斯函数的周期性扩展，由高斯包络和余弦调制组成。其二维形式为GGabor(x) = exp(-1/2 ||x-μ||²_Σ^-1) cos(fᵀx + φ)，其中x = (x,y)ᵀ是图像平面坐标，f = (fx, fy)ᵀ是中心频率向量，φ代表相位偏移。为了表示更丰富的频率成分，多个Gabor波可以组合成加权叠加：S(x) = Σ ωi cos(fi⟨di, x⟩ + φi)，其中ωi ∈ ℝ是幅度权重，fi ∈ ℝ⁺是频率大小，di ∈ ℝ²且||di||₂ = 1是频率方向单位向量。这种结构可以同时捕获局部方向性纹理和高频细节变化。

本文核心创新是将Gabor函数引入3D高斯表示，通过可学习的频率权重ωi实现从低频Gaussian到高频Gabor的自适应过渡。理解Gabor的数学结构（高斯包络+余弦调制）对于理解本文如何解决高频细节捕获和能量稳定性平衡至关重要。

三次Hermite样条

三次Hermite样条是C¹连续的插值方法，需要位置和斜率信息。给定M个时间关键帧{t₀, t₁, ..., t_{M-1}}和对应控制点位置{y₀, y₁, ..., y_{M-1}} ⊂ ℝ³，定义相邻关键帧间的时间间隔为Δk = t_{k+1} - t_k，斜率为δk = (y_{k+1} - y_k)/Δk。Hermite基函数定义为：H₀₀(s) = 2s³ - 3s² + 1，H₁₀(s) = s³ - 2s² + s，H₀₁(s) = -2s³ + 3s²，H₁₁(s) = s³ - s²，其中s = (t - t_k)/Δk ∈ [0,1]是归一化时间。插值位移为Δ(t) = H₀₀(s)y_k + H₁₀(s)Δkm_k + H₀₁(s)y_{k+1} + H₁₁(s)Δkm_{k+1}，最终位置为μ(t) = μ_base + Δ(t)。

本文使用三次Hermite样条进行动态原语的时间插值，配合时间曲率正则化确保C¹连续和平滑运动演化。理解样条插值的数学基础对于理解本文如何避免运动伪影和几何撕裂至关重要。

研究动机

现有动态3D场景重建方法面临两个核心矛盾：一方面，基于3D Gaussian Splatting的显式表示速度快但受限于低通滤波特性，无法捕获高频纹理细节（例如DAVIS数据集中的车窗反射、鼓面纹理等细粒度特征）；另一方面，虽然引入Gabor-like频率调制可以增强纹理保真度，但固定幅度的余弦调制会破坏高斯的能量稳定性，导致渲染质量下降。此外，许多方法缺乏显式时间约束，导致快速运动或遮挡场景下的运动不连续性和几何撕裂现象，这些问题在实际应用中会严重影响视觉质量和后续任务的可靠性。

本文的目标是本文提出AdaGaR（Adaptive Gabor Representation）统一框架，同时解决动态显式表示中的频率自适应和时间连续性问题。具体目标包括：设计自适应Gabor表示，通过可学习频率权重和自适应能量补偿在细节捕获和稳定性之间取得平衡；引入时间曲率正则化的三次Hermite样条插值，确保平滑运动演化并避免插值伪影；开发自适应初始化机制，通过深度估计、点跟踪和前景掩码建立早期训练阶段稳定的点云分布，最终在Tap-Vid DAVIS数据集上实现最先进的视频重建性能，并在帧插值、深度一致性、视频编辑和立体视图合成等任务上展现强泛化能力。

与已有工作不同的是，本文的独特切入角度是将频率自适应和时间连续性这两个正交方面分离但紧密结合：(i)通过可学习Adaptive Gabor Representation实现频率自适应，平衡高低频成分同时保持能量稳定性；(ii)通过带时间曲率正则化的三次Hermite样条实现时间连续性，约束运动轨迹实现平滑演化。与SplineGS在多视图设置中应用三次Hermite样条不同，本文将样条与Gabor基元结合用于单目视频且无需相机位姿估计，引入时间曲率正则化实现物理合理的运动约束。与现有Gabor方法针对静态场景且使用固定频率不同，本文的自适应Gabor表示扩展到动态视频，支持可学习频率权重并能优雅降级到标准Gaussian。

核心方法

AdaGaR方法整体采用正交相机坐标系统，将宽度、高度和深度映射到X、Y、Z轴，实现3D视频结构的直接正交表示，避免昂贵的相机位姿估计。视频被表示为动态自适应Gabor原语的集合，每个原语编码空间位置、时间变化和频率响应，从固定身份姿态渲染。核心组件包括：(1)自适应Gabor表示，将传统高斯扩展到频率域，通过可学习频率权重ωi和自适应能量补偿实现从Gaussian（低频）到Gabor（高频）的自适应过渡；(2)时间曲率正则化的三次Hermite样条插值，用于动态原语的时间演化，确保C¹连续性；(3)自适应初始化机制，结合深度估计、点跟踪和前景掩码建立时间一致的初始点云分布。优化采用多目标损失函数，包括RGB重建损失、光流一致性损失、深度损失和时间曲率正则化。

核心创新点是自适应Gabor表示的数学设计，它解决了传统Gabor方法的能量不稳定问题。具体而言，标准Gabor调制会破坏高斯的能量平衡，本文通过补偿项b实现能量稳定。自适应调制函数定义为Sadap(x) = b + Σ ωi cos(fi⟨di, x⟩)，其中补偿项b = γ + (1-γ)(1 - 1/N Σ ωi)，γ ∈ [0,1]是固定超参数控制降级平滑度，1/N归一化多波加权平均到稳定范围。当ωi → 0时，b → 1，公式自然退化为传统高斯；当ωi > 0时，引入频率调制捕获高频细节。这种自适应行为通过Straight-Through Estimator (STE)与硬sigmoid激活实现：前向传播时clip((ω+1)/2, 0, 1)约束ωi在[0,1]范围内防止无界增长；反向传播时使用sigmoid梯度的 surrogate ∂L/∂ω = ∂L/∂̂ω · σ(ω)(1-σ(ω))提供平滑有界的梯度信号。

方法步骤详情

AdaGaR方法的完整实现步骤分为三个阶段：(1)自适应初始化：对于每个候选点pi，采样概率Π(pi) ∝ 1/(τi + ε) + λτ/(ρi + ε)，其中τi是时间支持，ρi是局部密度，λτ ∈ [0,1]平衡时间稳定性和空间均匀性。为确保全局覆盖，将图像划分为固定网格G = {Gu,v}并按Π′(pi | Gu,v) = Π(pi)/(1 + λgCu,v)调整每个单元采样，其中Cu,v是单元的累积样本，λg > 0。通过边界感知补偿Π′′(pi) = Π′(pi | Gu,v)(1 + λb||∇Mt(pi)||)进一步调整，其中Mt是前景掩码，λb > 0。(2)时间插值：使用三次Hermite样条插值动态原语的时间演化。在so(3)李代数空间插值旋转参数，通过指数映射转换为单位四元数：q(t) = normalize(normalize(q_base)⊗exp(Δq(t)))，其中⊗表示四元数乘法，角度包裹确保旋转角度在(-π,π]内。引入单调门机制防止关键帧间不必要振荡：当sign(δ_{k-1}) = sign(δk)时，mk = β·(δ_{k-1}+δk)/2；否则mk = 0，其中β ∈ (0,1]是平滑系数。(3)优化：总损失函数Ltotal = λrgbLrgb + λflowLflow + λdepthLdepth + λcurvLcurv，其中Lrgb(It, Ît) = (1-λssim)L¹(It, Ît) + λssimLssim(It, Ît)结合L1和SSIM，Lflow通过CoTracker提供的2D轨迹对齐，Ldepth使用DPT的单目深度估计进行尺度和平移不变对齐，Lcurv = Σ w_k||y′′k||²/Σ(w_kD + ε)对每个关键帧的轨迹施加曲率惩罚，其中二阶导数估计为y′′k = 2(d⁺_k - d⁻_k)/(h_{k-1} + h_k)，h_{k-1} = t_k - t_{k-1}，h_k = t_{k+1} - t_k，d⁺_k = (y_{k+1} - y_k)/h_k，d⁻_k = (y_k - y_{k-1})/h_{k-1}，D = 3。

技术新颖性

技术新颖性体现在三个层面：在表示层面，首次提出自适应Gabor表示用于动态视频，通过可学习频率权重ωi和能量补偿项b实现从Gaussian到Gabor的优雅过渡，解决了固定频率Gabor方法的能量不稳定问题；在时间建模层面，将三次Hermite样条与Gabor基元结合用于单目视频且无需相机位姿估计，引入基于二阶导数的时间曲率正则化Lcurv显式 enforce平滑性，而非依赖架构或训练的隐式平滑；在初始化层面，提出多模态融合的自适应初始化机制，联合推理深度、运动和分割建立几何和时间一致的初始化，而非随机采样或单帧方法。实验证明该方法在Tap-Vid DAVIS上达到PSNR 35.49 dB、SSIM 0.9433、LPIPS 0.0723，相比次优方法提升6.86 dB PSNR。

**Figure 2**: Hierarchical frequency adaptation.

**Figure 4**: Adaptive Gabor formulation.

实验结果

核心发现包括三个方面：(1)在Tap-Vid DAVIS数据集上的定量评估显示，AdaGaR达到PSNR 35.49 dB、SSIM 0.9433、LPIPS 0.0723，相比次优方法Splatter A Video (PSNR 28.63 dB, SSIM 0.8373, LPIPS 0.2283)提升6.86 dB PSNR、0.1060 SSIM、0.1560 LPIPS，相比CoDeF (PSNR 26.17 dB, SSIM 0.8160, LPIPS 0.2905)提升9.32 dB PSNR、0.1273 SSIM、0.2182 LPIPS。训练时间为90分钟/视频序列（RTX 4090），在合理时间内实现最先进性能。(2)在应用任务上的泛化实验显示：深度一致性任务中，3D原语表示保持静态元素跨帧一致深度，显著减少深度闪烁和边界错位，优于逐帧优化器（如Marigold）；帧插值任务中，使用三次Hermite样条在关键帧间查询生成分数时间戳的平滑中间帧，保持纹理细节并避免边界伪影；视频编辑任务中，在规范空间编辑共享自适应Gabor原语保持时间一致性，减少风格漂移和闪烁；立体视图合成任务中，显式表示支持从单目输入进行立体合成，改善视差一致性并产生合理几何。(3)消融实验验证各组件必要性：Adaptive Gabor Representation (PSNR 37.43 dB, SSIM 0.9620, LPIPS 0.0242)优于Standard Gabor b=0 (PSNR 36.65 dB, SSIM 0.9543, LPIPS 0.0345)、1+S(x) (PSNR 36.50 dB, SSIM 0.9511, LPIPS 0.0322)和Gaussian (PSNR 36.66 dB, SSIM 0.9423, LPIPS 0.0421)，证明能量感知公式对稳定频率建模至关重要；三次Hermite样条(PSNR 38.98 dB, SSIM 0.9697, LPIPS 0.0259)优于B-Spline (PSNR 36.68 dB, SSIM 0.9573, LPIPS 0.0368)和标准Cubic Spline (PSNR 32.42 dB, SSIM 0.9073, LPIPS 0.0818)，显式速度控制对平滑无伪影运动建模至关重要；自适应初始化相比随机初始化提升6.78 dB PSNR。

**Table 1**: Quantitative results on Tap-Vid DAVIS [65].

**Figure 1**: State-of-the-art video reconstruction quality on DAVIS [65] dataset.

**Figure 5**: Visual comparison on DAVIS dataset.

**Figure 6**: Depth consistency across time.

**Figure 7**: Frame interpolation results.

**Figure 8**: Temporally consistent video editing.

**Figure 10**: Curvature regularization ablation.

**Figure 11**: Adaptive initialization ablation.

查看结构化数据

任务	指标	本文	基线	提升
Tap-Vid DAVIS视频重建	PSNR/SSIM/LPIPS	35.49 dB / 0.9433 / 0.0723	Splatter A Video	PSNR +6.86 dB, SSIM +0.1060, LPIPS -0.1560
Adaptive Gabor消融	PSNR/SSIM/LPIPS	37.43 dB / 0.9620 / 0.0242	Standard Gaussian	PSNR +0.77 dB, SSIM +0.0197, LPIPS -0.0179
样条方法消融	PSNR/SSIM/LPIPS	38.98 dB / 0.9697 / 0.0259	Standard Cubic Spline	PSNR +6.56 dB, SSIM +0.0624, LPIPS -0.0559

局限与改进

作者承认的局限性包括：样条运动建模假设平滑轨迹，在突然或高度非线性运动下可能导致错位；自适应Gabor表示可能在高频区域因能量约束出现振荡。此外，方法依赖高质量单目深度估计和点跟踪作为监督信号，这些基础模型的误差会影响重建质量。实现细节方面，训练需要两个阶段（500次迭代预热 + 10K次迭代主优化），控制点每100次迭代更新，硬件需求为NVIDIA RTX 4090、90分钟每视频序列。从观察角度，方法在正交相机坐标系下操作，可能限制透视场景的几何准确性；频率权重固定为fi ∈ {1,2}对应两个正交基频波形，虽简化实现但可能限制更复杂纹理的表示能力；补偿项中的超参数γ需要手动调节，不同场景可能需要不同设置。

独立分析的弱点

独立分析的弱点及改进方向：(1)样条运动建模的平滑假设限制了快速运动和突然场景变化的处理能力，可能引入运动模糊或错位。改进方向：引入自适应时间控制点机制，根据运动复杂度动态调整采样密度，或结合运动感知频率调制在高频运动区域使用更高时间分辨率。(2)固定频率参数fi ∈ {1,2}限制了纹理表示的丰富性，可能无法充分捕获复杂自然纹理。改进方向：扩展为可学习频率向量，或采用频率分层架构（如多尺度Gabor金字塔）捕获更广频率范围。(3)依赖外部单目深度和光流监督引入基础模型误差传播风险。改进方向：设计自监督几何一致性约束，减少对外部先验的依赖，或开发联合优化框架同时优化重建和基础模型估计。(4)正交相机坐标系限制了透视场景的几何准确性，特别是包含显著相机运动的视频。改进方向：扩展到透视投影模型，或引入相机位姿估计模块增强几何表达能力。(5)超参数γ控制降级平滑度但需要手动调节，不同场景可能需要不同设置。改进方向：设计场景感知的自适应γ机制，或通过元学习自动学习最优配置。

未来方向

未来研究方向包括：(1)作者提出的自适应时间控制点和运动感知频率调制，根据场景动态特性自适应调整表示复杂度；(2)扩展方法到更多下游任务，如视频超分辨率、风格迁移、三维物体编辑等，利用Adaptive Gabor的频率分离特性实现精细控制；(3)探索与其他显式表示的结合，如2D Gaussian Splatting、Beta Splatting等，在保持效率的同时增强表达能力；(4)开发实时推理版本，通过模型压缩、算子优化或硬件加速实现实时动态场景重建；(5)探索理论分析Adaptive Gabor表示的频率响应特性，建立频率选择性与视觉质量的定量关系；(6)扩展到多视图或RGB-D输入，利用更丰富几何先验进一步提升重建精度和鲁棒性。

复现评估

复现评估：论文提供了项目页面（https://jiewenchan.github.io/AdaGaR/）和补充材料，但未明确说明代码开源状态。实验基于Tap-Vid DAVIS数据集（公开可用），使用CoTracker进行光流监督、DPT进行深度估计（均为开源模型）。硬件需求为NVIDIA RTX 4090，训练时间约90分钟每视频序列，对于学术界研究团队是可接受的资源需求。实现细节包括两阶段训练（500次预热+10K主优化），控制点每100次迭代更新，这些参数描述清晰。复现主要挑战可能在于：(1)Straight-Through Estimator的具体实现细节需要仔细处理以确保梯度正确传播；(2)自适应初始化机制涉及多模态信号融合（深度、跟踪、掩码），需要正确协调不同先验源；(3)样条插值中的单调门机制和时间曲率正则化需要精确实现以避免数值不稳定；(4)补偿项b的计算涉及超参数γ选择，可能需要针对不同数据集调整。总体而言，论文提供了足够的实现细节和实验配置，具备良好的可复现性，但代码开源情况将显著降低复现门槛。

AdaGaR：自适应Gabor表示用于动态场景重建 AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction