4DGS360: 从单个视频重建动态物体的360度高斯表示 4DGS360: 360° Gaussian Reconstruction of Dynamic Objects from a Single Video
提出锚点引导的3D跟踪实现单目视频360度动态物体重建
前置知识
3D Gaussian Splatting (3DGS)
3DGS是一种显式的三维场景表示方法，使用各向异性高斯基元 $G(\mu, \Sigma, \alpha, c)$ 来建模场景。每个高斯由均值 $\mu \in \mathbb{R}^3$、协方差矩阵 $\Sigma \in \mathbb{R}^{3 \times 3}$、不透明度 $\alpha \in \mathbb{R}^+$ 和球谐系数 $c$ 参数化。通过可微分的光栅化渲染，将3D高斯投影到2D图像平面进行alpha混合，实现实时照片级渲染。相比NeRF的隐式MLP表示，3DGS具有更快的渲染速度和更直观的几何解释。
本文基于3DGS框架构建动态场景表示，理解高斯基元的参数化和渲染机制是理解方法的基础
动态高斯泼溅 (4DGS)
将3DGS扩展到时序动态场景的方法。核心思想是在规范空间（canonical space）定义静态高斯基元，然后通过时间相关的变形场将它们变换到各帧。变形通常用 $T_t = [R_t | t_t] \in SE(3)$ 表示，将规范空间的高斯变换到时间 $t$。本文采用HiMoR的层次化运动结构，通过树状节点和运动基的组合来编码复杂变形。
本文的目标是改进4DGS的初始化和优化过程，实现360度完整重建，因此理解动态高斯的基本框架至关重要
2D点追踪 (2D Point Tracking)
在视频序列中追踪2D像素点跨帧对应关系的技术。现代方法如TAPIR和CoTracker使用深度学习预测每个查询点在目标帧的2D位置和可见性。2D追踪在真实场景中鲁棒性强，对深度噪声和相机标定误差不敏感，但只能提供图像平面的运动信息，无法直接推断3D空间位置。对于被遮挡的点，无法从目标帧的深度图中获取可靠的3D坐标。
本文指出2D追踪的局限性是导致现有方法无法360度重建的根本原因，理解这一限制有助于理解本文的核心创新
3D点追踪 (3D Point Tracking)
在3D空间中追踪点的方法，如TAPIP3D使用Transformer架构直接在XYZ空间进行追踪，利用反投影的图像特征构建时空3D特征云，通过3D邻域注意力机制建模时序对应。相比2D追踪，3D追踪具有更好的几何理解能力，但对深度图和相机标定误差敏感，且追踪误差会随时间累积导致长期稳定性差。
本文的AnchorTAP3D正是为了解决3D追踪的漂移问题而设计的，理解3D追踪的优缺点是理解本文方法的关键
ARAP正则化 (As-Rigid-As-Possible Regularization)
一种约束局部运动保持刚性的正则化技术。对于属于同一局部刚性簇的节点对 $(i, j)$，鼓励它们在任意帧 $t$ 和 $t'$ 之间的成对距离和相对局部变换保持一致。这种约束使得时序信息能够连贯传播，即使在大运动或遮挡情况下也能保持几何一致性。ARAP的核心假设是物体的局部区域在短时间内近似刚性运动，通过最小化局部形变来保持结构完整性。
ARAP在本文中是优化阶段的关键正则化，作者指出在错误初始化下ARAP无法正确工作，而他们的初始化使其能够发挥应有作用
单目动态场景重建
从单个摄像头拍摄的视频重建动态3D场景的任务。这是一个高度不适定（ill-posed）问题，因为每帧只有一个视角可用，缺乏多视角立体线索。现有方法通常依赖预训练模型或2D追踪线索来恢复图像平面的运动，但这些方法只能重建可见区域，导致遮挡区域的几何重建失败。本文通过引入遮挡感知的3D追踪来解决这一根本性挑战。
这是本文要解决的核心问题，理解单目设置的固有困难有助于认识本文贡献的意义
研究动机
现有单目动态场景重建方法在极端新视角下严重失败，即使那些区域在输入视频的其他帧中是可见的。具体来说，现有方法如MoSca和HiMoR严重依赖2D原生先验进行初始化：它们使用2D追踪模型（如TAPIR、BootsTAP）建立跨帧对应关系，然后通过深度图反投影将2D轨迹提升到3D空间。然而，深度图只能为当前帧可见的表面提供深度信息，导致被遮挡的追踪点的3D位置存在歧义。这种不完整的初始化几何使得重建结果过度拟合每个时间步的可见表面，遮挡区域的几何无法在优化阶段恢复。在iPhone360数据集的实验中，当测试相机与训练视角相差超过90度时，现有方法的渲染质量显著下降，出现严重的几何不一致和伪影。
本文的目标是本文的目标是实现从单目视频的完整360度动态物体重建。具体而言，方法需要：（1）在初始化阶段就解决遮挡区域的几何歧义，产生可靠的3D轨迹；（2）使优化策略（特别是ARAP正则化）能够在正确的初始化基础上发挥全部潜力；（3）在极端新视角（测试相机与训练视角相差70°-135°）下仍能生成连贯的4D重建结果。此外，作者还希望建立一个能够真正评估360度重建能力的新基准数据集。
与已有工作不同的是，本文的独特切入角度在于认识到问题的根源在于初始化而非优化。作者提出了一个关键洞察：现有方法失败的根本原因是2D追踪结合深度反投影无法为遮挡点推断3D位置，而纯3D追踪又因误差累积而不可靠。为此，本文提出了一种混合策略——AnchorTAP3D，将高置信度的2D追踪点作为锚点来引导3D追踪。这种设计既利用了2D追踪在真实场景中的鲁棒性，又利用了3D追踪的几何理解能力，通过锚点约束抑制误差漂移，实现遮挡区域的可靠初始化。与依赖扩散模型合成未见视角的思路不同，本文认为更好的几何初始化本身就是更强的基线，可以与扩散方法互补。
核心方法
4DGS360的整体思路是通过改进初始化阶段来解决360度动态重建的根本问题。直觉上，如果在初始化时就能为遮挡区域提供合理的3D位置估计，那么后续的优化策略就能在其基础上产生连贯的360度几何。技术路线分为三个阶段：首先，使用提出的AnchorTAP3D模型进行遮挡感知的3D追踪，生成可靠的3D轨迹；然后，基于这些轨迹初始化动态高斯基元和层次化运动结构；最后，通过结合刚性正则化和渲染正则化的优化策略进行精细化。整个流程从追踪到初始化到优化逐步推进，每一步都建立在前一步的可靠输出之上。
本文的核心创新是AnchorTAP3D（Anchor-guided Tracking Any Point in 3D），其本质区别在于将2D追踪和3D追踪的优势通过锚点机制统一起来。现有方法要么只用2D追踪（如MoSca、HiMoR），要么只用3D追踪（如TAPIP3D）。2D追踪鲁棒但缺乏3D理解，3D追踪有几何理解但易漂移。AnchorTAP3D的创新在于：（1）先用2D追踪器获取高置信度的2D对应关系；（2）将高置信度点反投影为3D锚点；（3）在3D追踪器的Transformer推理中，将这些锚点作为时空约束条件输入。这样，3D追踪器不再独立工作，而是在可靠锚点的指导下进行追踪，有效抑制误差漂移。数学上，3D追踪器的预测变为带有锚点条件的函数，其中锚点集合为从高置信度2D追踪反投影得到的3D点集合。
方法步骤详情
方法分为以下步骤：（1）2D追踪阶段：使用2D追踪器对每个查询点预测目标帧的2D对应点和置信度；（2）锚点生成：将高置信度（置信度大于阈值）的2D对应点通过深度图和相机参数反投影到3D空间，形成锚点集合；（3）锚点引导的3D追踪：在长度为16帧的滑动时间窗口内，Transformer 3D追踪器以锚点为条件，预测每个查询点的3D位置和可见性；（4）高斯初始化：从T个查询时间的3D轨迹中随机采样N条轨迹定义高斯基元，选择可见高斯最多的帧作为规范帧；（5）运动基初始化：使用k-means按速度将轨迹聚类为B组，通过Procrustes对齐估计帧间刚性变换作为初始运动基；（6）节点初始化：按运动幅度和空间密度加权采样n1个高斯初始化第一层节点；（7）优化：使用ARAP正则化保持局部刚性，结合RGB损失（含D-SSIM和LPIPS）、掩码损失、深度一致性损失和2D追踪损失进行联合优化。总损失函数为各损失项的加权和。
技术新颖性
本文的技术新颖性体现在多个层面：（1）方法论创新：AnchorTAP3D是首个将2D追踪锚点作为条件输入3D追踪器的混合追踪框架，这种设计无需额外训练就能提升3D追踪的长期稳定性；（2）问题诊断创新：作者首次明确指出初始化阶段的遮挡区域几何歧义是360度重建失败的根本原因，而非优化策略本身的问题；（3）数据集创新：iPhone360是首个专门设计用于评估360度动态重建的数据集，测试相机与训练视角相差70°-135°，填补了现有基准的空白；（4）理论洞察：证明了在正确初始化下，ARAP正则化能够从部分可见的帧中恢复完整的物体几何，揭示了初始化质量与正则化效果之间的关键联系。与依赖扩散模型合成未见视角的方法不同，本文证明了改进初始化本身就是更有效的路径，且可与扩散方法互补。
实验结果
实验结果表明4DGS360在多个数据集和评估指标上均达到最先进水平。在iPhone360数据集上（6个场景，测试相机与训练视角相差70°-135°），本文方法在CLIP-I（图像相似度）、CLIP-T（时序一致性）和LPIPS（感知距离）三个指标上全面超越MoSca和HiMoR。具体而言，在Block2场景上，CLIP-I从HiMoR的0.8422提升到0.9021，LPIPS从0.3122降低到0.2569；在Goat场景上，CLIP-I从0.8357提升到0.8706，LPIPS从0.3260降低到0.2244；在Jacket场景上，CLIP-I从0.7041大幅提升到0.9147。在iPhone数据集上（5个场景），本文方法在平均LPIPS上达到0.3877，相比HiMoR的0.4639降低16.4%；平均CLIP-I从0.8907提升到0.9015。在DAVIS数据集的定性比较中，本文方法在快速运动场景下更好地保持了几何连贯性。消融实验表明，移除3D初始化或移除锚点都会导致遮挡区域重建质量显著下降，验证了每个组件的必要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| iPhone360数据集 - Block2场景 | CLIP-I (↑) | 0.9021 | HiMoR: 0.8422, MoSca: 0.7499 | 相比HiMoR提升7.1% |
| iPhone360数据集 - Goat场景 | LPIPS (↓) | 0.2244 | HiMoR: 0.3260, MoSca: 0.6332 | 相比HiMoR降低31.2% |
| iPhone360数据集 - Jacket场景 | CLIP-I (↑) | 0.9147 | HiMoR: 0.7041, MoSca: 0.7073 | 相比HiMoR提升29.9% |
| iPhone数据集 - 平均性能 | LPIPS (↓) | 0.3877 | HiMoR: 0.4639, SoM: 0.4827 | 相比HiMoR降低16.4% |
| iPhone数据集 - Paper-windmill场景 | LPIPS (↓) | 0.2055 | HiMoR: 0.3216, SoM: 0.3253 | 相比HiMoR降低36.1% |
局限与改进
作者承认了几个重要局限性：（1）方法性能仍依赖预训练模型的能力，AnchorTAP3D虽然改进了追踪质量，但仍受限于底层2D和3D追踪器的精度；（2）假设每个高斯的颜色随时间固定，无法处理真实场景中的光照变化，这在物体旋转导致光照角度改变时会产生伪影；（3）无法合成输入视频中不可见的极端视角背景区域，需要依赖扩散先验来补全。从个人观察来看，方法的计算复杂度较高，需要运行2D追踪、3D追踪和优化三个阶段；此外，k-means聚类和Procrustes对齐的运动基初始化对超参数敏感，论文未提供详细的敏感性分析；iPhone360数据集仅有6个场景，规模较小，可能不足以全面评估方法的泛化能力。
独立分析的弱点
本文存在以下弱点：（1）计算效率问题：AnchorTAP3D需要同时运行2D追踪器和3D追踪器，且3D追踪器在滑动窗口内处理16帧，推理开销较大，论文未报告运行时间和计算资源需求，这在实际应用中可能是瓶颈；（2）锚点置信度阈值的选择：论文未详细讨论如何设置这个关键阈值，过高会丢失有用信息，过低会引入噪声锚点；（3）运动基数量和节点数量的选择：这些超参数直接影响重建质量，但论文缺乏系统的调参指导；（4）评估指标的局限性：CLIP-I和CLIP-T是基于CLIP嵌入的语义相似度，可能无法捕捉精细的几何细节差异，而像素级指标（PSNR、SSIM）被移到附录中，削弱了评估的全面性。改进方向包括：引入自适应锚点选择策略、设计更高效的滑动窗口机制、开发针对360度重建的专用评估指标。
未来方向
作者提出了几个明确的未来方向：（1）与扩散模型集成：作者展示了与DIFIX3D+的组合结果，表明更好的几何初始化为扩散模型提供了更好的起点，未来可进一步探索这种协同效应；（2）处理光照变化：当前假设固定颜色的限制可通过引入时变外观模型或光照估计来解决；（3）背景合成：对于输入视频中完全不可见的背景区域，可结合大规模扩散先验进行补全。基于本文成果，还可延伸以下方向：（4）将AnchorTAP3D应用于其他需要长期追踪的任务，如视频编辑、动作捕捉；（5）探索自监督的锚点选择策略，减少对预训练2D追踪器的依赖；（6）将方法扩展到多物体场景和可变形物体的360度重建。
复现评估
论文提供了项目主页 https://jaewon040.github.io/4dgs360/，但未明确说明是否开源代码和数据。iPhone360数据集使用多个iPhone设备采集，包含LiDAR深度和相机参数作为真值，复现需要相同的硬件设备。方法依赖多个预训练模型（2D追踪器如BootsTAP、3D追踪器如TAPIP3D），需要下载和配置这些依赖。优化阶段涉及多个损失函数和超参数（运动基数量、节点数量、置信度阈值等），完全复现需要仔细调整。从技术难度来看，方法涉及3DGS、动态场景建模、点追踪等多个领域，对研究人员的背景知识要求较高。建议作者开源代码和预处理好的数据集以促进社区复现。
论文图表
图(a)展示了iPhone360数据集相比iPhone数据集具有更大的训练-测试视角差异；图(b)展示了在极端新视角下，本文方法相比SoM、MoSca、HiMoR产生更高质量的渲染结果，包括正面和背面视角。
这张图同时展示了本文的两大贡献（新数据集和新方法）的核心优势，是理解论文价值的入口
图(a)展示6个场景在新视角下的定性比较，包括训练视角、新视角真值、MoSca、HiMoR和本文方法的渲染结果；图(b)展示360度子弹时间渲染效果，在固定时间点从不同角度渲染动态物体。
提供了本文方法在极端视角下的直观视觉证据，子弹时间效果特别说明了360度重建能力
对比三种初始化方法：直接反投影2D轨迹（w/o 3D init）、使用朴素3D追踪器（w/o Anchor）、使用AnchorTAP3D（Ours），在walk-around和jelly场景上的定性结果。
直观验证了每个组件的必要性，特别是锚点机制对360度重建的关键作用