4RC：通过随时随地条件查询实现4D重建 4RC: 4D Reconstruction via Conditional Querying Anytime and Anywhere
提出统一前馈框架，从单目视频联合重建4D几何与运动
前置知识
DUSt3R 与点图预测（Pointmap Prediction）
DUSt3R 是一种开创性的前馈式三维重建方法，通过单次前向传播直接从图像对预测密集的3D点图（pointmap），每个像素对应一个3D坐标。这种范式摒弃了传统 SfM + MVS 的多阶段优化流程，用一个端到端的神经网络直接回归3D结构。后续工作如 MASt3R 和 VGGT 在此基础上扩展到多视角，并统一了相机位姿估计与深度预测。理解点图预测是理解本文4D扩展的关键基础。
4RC 的核心思想是在点图预测基础上引入时间维度，将其扩展为时变4D点图，因此需要先理解点图的基本概念和DUSt3R系列方法的工作原理
4D 重建（4D Reconstruction）
4D重建旨在同时恢复场景的三维结构和时间演变，即在三维空间坐标 (x, y, z) 之外再引入时间维度 t。与静态3D重建只关注每一帧的几何不同，4D重建还需要建模帧间运动、物体轨迹和形变。这在机器人导航、视频合成、场景理解等应用中至关重要。传统方法通常将运动估计与几何重建解耦为多个阶段，而本文追求统一的单次前向传播方案。
本文的核心任务就是4D重建，理解这个概念是读懂全文的前提
Vision Transformer (ViT) 与 DINOv2
ViT 将图像切分为固定大小的 patch，将每个 patch 线性投影为 token，再通过标准 Transformer 编码器进行全局自注意力计算。DINOv2 是一个在大规模数据上自监督预训练的 ViT 模型，能学到强大的视觉表征，广泛用于下游任务的骨干网络。4RC 采用 DINOv2 的 ViT-Giant 架构作为编码器骨干，拥有40层 Transformer、1536维特征和24个注意力头。
4RC 的编码器架构直接基于 DINOv2 ViT-G，理解 ViT 的 patch 化、token 序列和自注意力机制对于理解模型的整体设计至关重要
Adaptive Layer Normalization (AdaLN)
AdaLN 是一种条件归一化技术，通过将条件信号（如时间嵌入）注入到 Layer Normalization 的缩放和偏移参数中来实现条件化控制。给定输入 x 和条件 c，AdaLN 计算 AdaLN(x, c) = gamma(c) * (x - mu) / sigma + beta(c)，其中 gamma(c) 和 beta(c) 是由条件信号生成的可学习参数。这在扩散模型和条件生成中被广泛使用。
4RC 的运动解码器使用 AdaLN 将目标时间戳嵌入注入自注意力层，这是实现在任意目标时间戳查询运动这一核心能力的关键技术
Factorized 4D Representation（分解式4D表征）
直接为所有可能的源帧-目标时间对预测完整3D点图是冗余且不可行的。分解式表征将每帧的4D属性分解为与视角无关的基础几何 P_i(t_i) 和时间相关的相对位移 Delta_P_i(t_i -> tau)。给定源帧在时间 t_i 的基础点图，任意目标时间 tau 的点图可表示为 P_i(t_i -> tau) = P_i(t_i) + Delta_P_i(t_i -> tau)。这样既避免了重复预测几何，又保证了时间一致性。
这是4RC最核心的表征设计，理解分解式表征才能理解模型如何高效地支持任意源帧到任意目标时间的运动查询
研究动机
现有4D重建方法存在严重的碎片化和灵活性不足问题。以 SpatialTracker 为代表的多阶段方法将重建与跟踪解耦为顺序子任务，依赖迭代优化，且仅能产生稀疏3D轨迹。MonST3R 需要后处理优化才能建立帧间对应关系。即便是近期的前馈方法也各有局限：ST4RTrack 和 Dynamic Point Map 仅支持成对视角预测，难以建模长期复杂运动；TraceAnything 使用 Bézier 曲线表示运动轨迹，虽然支持长程跟踪但牺牲了几何质量，且难以捕捉高频复杂动态；Any4D 仅能预测第一帧的场景流，无法建模其余帧的3D运动；V-DPM 将 VGGT 扩展到4D，但推理速度慢且灵活性受限，它需要对所有帧联合聚合计算，导致显著的计算开销。这些方法的核心矛盾在于：要么运动建模能力不足，要么计算效率低下，要么灵活性受限，无法在统一框架内同时实现完整、灵活、高效的4D重建。
本文的目标是本文旨在开发一个统一的前馈模型4RC，能够从单目视频输入中，在单次前向传播内联合重建场景的完整4D属性——包括每一帧的密集3D几何结构和帧间的3D运动动态。具体目标包括：（1）消除对辅助估计器或逐场景优化的依赖；（2）支持从任意源帧到任意目标时间戳的灵活运动查询；（3）通过紧凑的4D潜在表征实现高效推理；（4）在相机位姿估计、视频深度预测、点云重建、3D点跟踪和密集运动建模等多个任务上实现有竞争力的性能。
与已有工作不同的是，4RC 的独特切入角度在于其提出的编码一次、随时随地查询（encode-once, query-anywhere and anytime）范式。与现有方法的本质区别在于：首先，它不将运动估计与几何重建解耦，而是在统一的 Transformer 骨干中联合编码整个视频为一个紧凑的时空潜在表征 F；其次，它不为每帧预测完整点图，而是采用分解式表征，将每帧表示为基础几何加相对位移；第三，它不依赖固定的目标帧（如第一帧），而是通过条件解码器支持从任意源帧到任意目标时间的灵活查询。这种设计既不同于 V-DPM 的全局聚合解码（计算量大），也不同于 TraceAnything 的轨迹场表示（精度受限），而是在灵活性、完整性和效率之间找到了新的平衡点。
核心方法
4RC 的整体思路可以这样理解：想象你有一段视频，传统方法要么只告诉你每一帧的3D形状（静态重建），要么告诉你某些点在帧间怎么运动（点跟踪）。4RC 的想法是：能否一次性把整个视频的所有时空信息编码成一个紧凑的4D数据库，然后你想查询任意一帧在任意时刻的3D形状和运动时，都能高效地取出来？这就是编码一次、随时随地查询的核心直觉。技术上，4RC 首先用一个基于 ViT 的 Transformer 编码器处理整个视频序列，将每帧的 patch token 与相机 token、时间 token 一起编码为统一的4D潜在表征 F。然后，一个条件4D解码器接受查询帧和目标时间戳作为输入，通过交叉注意力从 F 中检索相关信息，分别输出基础几何（通过几何头）和相对运动位移（通过运动头）。最终通过分解式组合得到任意源帧到任意目标时间的完整4D点图。
4RC 的核心创新是分解式4D表征和条件查询解码器的结合。与现有方法的本质区别体现在三个方面：第一，表征设计上，4RC 将每帧的4D属性分解为基础几何 P_i(t_i) 和时间相关位移 Delta_P_i(t_i -> tau)，即 P_i(t_i -> tau) = P_i(t_i) + Delta_P_i(t_i -> tau)，这避免了为每个时间步重新预测完整几何，保持了时间一致性；第二，解码方式上，4RC 不像 V-DPM 那样需要对所有帧联合聚合解码，而是通过轻量级条件解码器按需查询，支持从任意单个源帧到任意目标时间的密集运动估计；第三，时间条件注入上，运动解码器通过 AdaLN 注入目标时间嵌入 T_tau，再通过交叉注意力访问目标时间的空间 token Z_tau，这种设计使得解码器能在推理时灵活指定任意目标时间，而不需要为不同时间对重新训练或推理。这种设计将全局时空建模与灵活的按需查询桥接起来，既实现了准确的4D重建，又保持了高效率。
方法步骤详情
4RC 的方法分为三个主要步骤：（1）4D表征编码：输入单目视频 V = {I_i}_{i=1}^N，每帧首先被 patch 化为 token 序列，然后每个 patch token 附加一个相机 token C_i 和一个时间 token T_i。这些 token 通过一个基于 DINOv2 的 ViT-Giant 编码器进行处理，编码器交替执行帧内自注意力和全局自注意力，最终输出统一的4D潜在表征 F = {F_i}_{i=1}^N，其中 F_i = {Z_{i,j}}_{j=1}^M 并上 {C_i} 和 {T_i}。（2）基础几何解码：几何解码器 D_g 接收编码后的空间 token Z_i 和相机 token C_i，采用双DPT设计预测每帧的深度图 D_i、射线图 R_i 和相机参数 theta_i，然后通过透视相机模型计算基础点图 P_i(t_i)。（3）运动解码：对于查询帧 I_q 和目标时间 tau，运动解码器 D_m 以编码器输出的 Z_q 作为查询 token，通过 K=4 层交替自注意力和交叉注意力层处理。目标时间嵌入 T_tau 通过 AdaLN 注入自注意力块，目标空间 token Z_tau 作为交叉注意力的键值，最终输出密集3D位移场 Delta_P_q(t_q -> tau)。最终的4D点图通过 P_q(t_q -> tau) = P_q(t_q) + Delta_P_q(t_q -> tau) 得到。
技术新颖性
4RC 的技术新颖性体现在多个层面。首先，编码一次、随时随地查询范式本身是新颖的——与现有方法要么逐帧独立预测、要么成对处理、要么全局聚合不同，4RC 将整个视频编码为一个紧凑的4D潜在表征，然后通过轻量级条件解码器按需查询，这在4D重建领域是首创的架构设计。其次，分解式4D表征的设计具有明确的技术优势：基础几何复用了单帧3D重建的成熟技术，位移场直接捕捉时间运动，两者解耦使得网络不需要在每个时间步重新学习几何形状，从而显著降低学习难度并提高时间一致性。实验消融表明，直接预测点坐标（无论是世界坐标还是局部坐标）的性能都显著低于分解式位移表征。第三，运动解码器中 AdaLN 加交叉注意力的组合设计是精心选择的：消融实验显示移除任何一个组件都会导致性能下降，特别是交叉注意力对于捕捉精细的非刚性运动（如手部和腿部运动）至关重要。最后，训练中采用的梯度约束（空间域的深度梯度和时间域的位移梯度）也是有效的正则化手段，鼓励空间平滑和时间一致的预测。
实验结果
4RC 在广泛的4D重建基准上进行了全面评估，涵盖密集跟踪、稀疏点跟踪、相机位姿估计、多视角3D重建和深度估计五大类任务。在密集3D跟踪任务上，4RC 在所有基准上都达到了最优或接近最优的性能：在 Kubric 测试集上 APD 达到 85.44（vs V-DPM 的 71.12），在 Waymo 上达到 56.63（vs 41.44），分别提升了 20.1% 和 36.6%。在稀疏点跟踪上，4RC 在4个数据集中的3个上超越了专门为点跟踪设计的 SpatialTrackerV2。在相机位姿估计上，4RC 在 TUM-dynamics 上取得了最佳的 ATE（0.010）和 RPEt（0.008），甚至超越了在更大数据集上训练的专用3D重建方法如 Pi3。在多视角3D重建上，4RC 在 7-Scenes 上取得了最佳的精度（0.034）和完整性（0.051），远优于 TraceAnything 的 0.240/0.359，后者因使用轨迹场建模而牺牲了几何质量。在深度估计上，4RC 在 Bonn 数据集上达到 0.051 的 Rel 和 97.4% 的 delta < 1.25，与 Pi3 持平。消融实验进一步验证了设计选择的有效性：移除交叉注意力或自注意力都会导致显著性能下降，使用直接点预测替代分解式位移表征也会严重损害性能。此外，流式变体 S-4RC 在因果在线推理模式下仍保持了有竞争力的性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 密集3D跟踪 (Kubric) | APD (越高越好) / EPE (越低越好) | 85.44 / 1.022 | V-DPM: 71.12 / 2.849 | APD 提升 20.1%，EPE 降低 64.1% |
| 密集3D跟踪 (Waymo) | APD (越高越好) / EPE (越低越好) | 56.63 / 1.611 | V-DPM: 41.44 / 1.948 | APD 提升 36.6%，EPE 降低 17.3% |
| 相机位姿估计 (TUM-dynamics) | ATE (越低越好) / RPEt (越低越好) / RPEr (越低越好) | 0.010 / 0.008 / 0.314 | Pi3: 0.014 / 0.009 / 0.309 | ATE 降低 28.6%，RPEt 降低 11.1% |
| 多视角3D重建 (7-Scenes) | Acc (越低越好) / Comp (越低越好) / NC (越高越好) | 0.034 / 0.051 / 0.783 | TraceAnything: 0.240 / 0.359 / 0.584 | 精度提升 85.8%，完整性提升 85.8% |
| 深度估计 (Bonn) | Rel (越低越好) / delta < 1.25 (越高越好) | 0.051 / 97.4% | Pi3: 0.044 / 97.5% | 与最优方法 Pi3 性能持平 |
| 稀疏点跟踪 (PointOdyssey) | APD (越高越好) / EPE (越低越好) | 85.86 / 0.2498 | SpatialTrackerV2: 73.66 / 0.3944 | APD 提升 16.6%，EPE 降低 36.6% |
局限与改进
作者承认了4RC存在两个主要局限性。首先，在几何恢复本身就困难的场景中，4RC 会遇到问题，包括极端深度区域（如远处的云层）、透明物体和浮动伪影，这些场景中基础几何缺乏清晰的深度边界。作者期望改进的深度估计方法和3D重建技术的进步能够缓解这些问题。其次，在具有极端或高度混乱运动的场景中，4RC 会出现性能退化。这主要源于现有数据集运动标注的多样性不足，无法为如此复杂的动态提供足够的监督信号。从独立观察来看，4RC 的训练需要16张 A100 GPU 训练50个 epoch，这表明计算成本较高；此外，虽然论文展示了在多种数据集上的泛化能力，但在真实世界极端场景（如快速旋转、剧烈形变、多物体交互）中的鲁棒性仍需进一步验证；流式变体 S-4RC 虽然支持在线推理，但性能相比离线版本有明显下降（如 Waymo APD 从 56.63 降至 46.02），说明全局时序上下文对于高质量4D重建仍然重要。
独立分析的弱点
4RC 存在以下几个值得关注的弱点。第一，对极端几何场景的处理能力有限——论文明确指出在透明物体、远处天空等区域基础几何质量下降。改进方向可以是引入专门处理这些边缘情况的模块，如透明度感知的深度估计或基于不确定性加权的几何融合。第二，对极端运动的建模能力不足——当物体运动速度极快或运动模式高度不规则时，现有训练数据的运动标注多样性不足以提供有效监督。可以通过引入更多样化的运动数据（如高速摄影、体操运动等）来增强模型对极端运动的泛化能力。第三，虽然分解式表征简化了学习，但位移场的参数化方式（直接3D位移）可能对大幅度位移或拓扑变化（如物体拆分/合并）不够灵活，未来可以探索更丰富的运动参数化方式如旋转+平移的刚体分解或学习到的运动基。第四，运动解码器仅使用4层 Transformer，可能限制了对复杂运动模式的建模能力，增加层数或引入多尺度运动解码可能带来提升。
未来方向
论文作者提出未来将探索扩大训练数据规模以覆盖更广泛的运动模式和运动多样性，这对提升模型在极端动态场景中的性能至关重要。基于4RC的成果，可以进一步延伸以下研究方向：第一，将4RC扩展到在线/增量式4D重建，流式变体 S-4RC 已经迈出了一步，但需要进一步优化以缩小与离线版本的性能差距；第二，将4RC的4D表征应用于下游任务，如视频编辑（利用运动分解实现物体独立操控）、场景理解（基于4D表征进行动态场景语义分割）和机器人导航（利用实时4D重建进行避障和路径规划）；第三，探索4RC与视频生成模型的结合，利用精确的4D几何和运动信息指导视频合成；第四，研究更高效的编码器架构，当前的 ViT-G 模型参数量较大，可以探索知识蒸馏或架构搜索来降低计算成本；第五，引入自监督或弱监督学习范式，减少对昂贵的密集4D标注数据的依赖。
复现评估
从复现角度来看，4RC 的复现条件较为优越但也存在挑战。代码方面，论文提到了项目页面（https://yihangluo.com/projects/4RC/），但未明确说明是否开源完整代码和预训练权重。数据方面，训练使用了7个公开数据集（PointOdyssey、Dynamic Replica、Kubric、Waymo、DL3DV、ScanNet++、MVS-Synth），这些数据集均可获取，但数据预处理流程和采样策略的细节需要参考附录。计算资源方面，训练需要16张 A100 GPU 训练50个 epoch，这是一个显著的计算门槛；推理时单次前向传播是高效的，但具体推理速度未在论文中报告。模型架构方面，编码器初始化自 DA3 预训练权重，这是一个公开可用的模型，降低了从头训练的需求。总体而言，复现的硬件门槛较高（16张 A100），但数据和预训练权重的可获取性较好，如果作者开源代码，复现难度将大幅降低。
论文图表