ReLift：将稠密三维跟踪转化为提升轨迹的修复与补全 ReLift: Dense 3D Tracking as Lifted Trajectory Repair
预训练2D跟踪与3D几何提升轨迹，轻量校正器修复补全，单模型跨组合达SOTA。
前置知识
点跟踪（Point Tracking / TAP）
给定视频和参考帧中的查询点，跟踪任意点任务要求输出每个查询点在后续每一帧的图像坐标及可见性标志。CoTracker 以联合方式同时跟踪大量点，用注意力让点间共享运动信息；AllTracker 和 CoWTracker 进一步扩展到参考帧每个像素的稠密跟踪。这类模型靠带真值轨迹的合成视频（如 Kubric）训练，推理时完全前馈。
ReLift 的第一个输入组件就是冻结的稠密 2D 跟踪器。论文核心论点之一是“对应问题已被预训练 2D 跟踪器解决”，实验证明原生 2D 轨迹的图像平面精度（APD2D）超过所有 3D 方法的投影，不理解点跟踪就无法理解 lift 的来源与质量。
轨迹提升（Lifting）
把 2D 图像轨迹转为 3D 轨迹的操作：对每帧像素 $u$，用内参逆 $K^{-1}$ 得到归一化视线方向 $q$，其模长把光轴深度换算为沿视线的射程 $r$，再得到 3D 点 $y=o+r\cdot d$，其中 $d$ 是世界坐标系下的单位视线方向、$o$ 是相机中心。深度与相机来自预训练几何模型逐帧估计。
提升是 ReLift 流水线的起点，也是名字的来源（Re-Lift = 修复提升结果）。论文定义的四类误差（视线方向误差、深度抖动/漂移、错表面、缺失观测）全部按提升过程的几何失效模式刻画，训练时的模拟损坏也是对这些量的直接随机扰动。
前馈 3D 几何基础模型
以 DUSt3R 为开端的模型家族：直接从一张或多张图像前馈预测深度、点图和相机内外参，无需逐场景优化。代表包括 VGGT 与后续 VGGT-Ω（多视图几何 transformer）、Depth Anything 3（DA3，任意视图深度与相机）、4RC（4D 重建，可查询任意时刻几何）。它们靠大规模几何监督训练，不需要动态 4D 轨迹标注。
论文把深度和相机完全外包给这类冻结模型，实验横跨 DA3 / VGGT-Ω / 4RC 三种 provider；“同一校正器换 provider 免训练迁移”这一核心卖点，直接建立在几何模型可即插即替换的前提上。
APD3D 指标与 Sim(3) 对齐
APD3D 是 TAPVid-3D 指标：在阈值集合 $\delta\in\{0.1,0.3,0.5,1.0\}$ 米下，统计预测 3D 位置与真值偏差小于阈值的点-帧占比并对阈值取平均。评测前用 RANSAC 拟合相似变换（尺度+旋转+平移）把预测对齐到真值坐标系以消除单目尺度不确定性；All/Dyn 分别对全部点和累计位移超 0.01 的动态点打分。
论文主表所有数字（89.01、86.95 等）都是该协议下的 APD3D；理解对齐方式才能判断结果可比性，以及附录中 global-scale 对齐（只拟合尺度）下数据集排名变化（如 PS 上 V-DPM 反超）的含义。
因子化 / 交替注意力
把 $P$ 条轨迹、$N$ 个时间块的 token 排成 $P\times N$ 网格后，不做全 token 联合注意力（代价 $O(P^2N^2)$），而是交替执行两种注意力：时间注意力连接每条轨迹的全部 $N$ 个块，跨整段序列聚合证据；跨轨迹注意力连接同一时间块内的 $P$ 条轨迹，共享空间运动信息。总代价 $O(PN^2+NP^2)$。
这是校正器（8 个 block）的核心架构，也是它能在参考帧所有像素上稠密前馈推理的原因：时间注意力负责“从缺口前后夹逼补全”，跨轨迹注意力负责“借邻居轨迹的运动证据修复”，正是论文两个修复假设的机制化实现。
域随机化（Domain Randomization）
源自机器人 sim-to-real 的训练策略：在仿真中随机化物理参数（摩擦、质量、光照等），使策略学到对参数变化鲁棒的表征，从而零样本迁移到真实世界。本文借用它处理“provider 误差分布未知”的问题：训练时从固定分布随机采样噪声强度、时间相关系数、离群率等损坏参数，而非绑定某次真实 provider 推理产生的误差。
这是“单一校正器跨 6 种 tracker–geometry 组合免训练迁移”的关键机制，也是本文训练范式（全程不运行跟踪器/深度模型/渲染器）的依据；消融实验（Fig.5/6）专门验证了它优于用真实 provider lift 训练。
研究动机
稠密 3D 点轨迹描述场景内容如何在空间中随时间运动，是机器人操作策略学习、动态场景重建、传感器仿真和运动控制视频生成等下游任务的关键输入。现有方法通常把它当作单一端到端学习问题：一个前馈网络从单目视频直接回归 3D 轨迹，必须同时学会跨帧对应、场景几何估计和遮挡后的运动推断三件事。然而 4D 监督（带真实 3D 轨迹的动态视频）极其稀缺，目前主要只有合成的 PointOdyssey 和由双目视频重建的 Stereo4D，联合学习目标负担过重。推理代价也高：专用 3D 跟踪器 4RC 处理 84 帧需 31.8 秒，V-DPM 需 591 秒，OpenD4RT 需 284 秒，难以用于大规模数据生成或实时场景。更关键的是，预训练模型其实已解决其中两件事：2D 跟踪器（AllTracker、CoWTracker）的图像平面对应精度甚至超过 3D 方法投影后的轨迹（原生 CoWTracker 平均 APD2D 78.75，对 3D 方法最好的 77.27）；几何模型（VGGT-Ω、Depth Anything 3）靠可扩展的几何监督学出深度和相机，完全不需要动态 4D 标注。
本文的目标是本文的目标是把稀缺的 4D 监督集中到尚未被解决的部分：修复组合估计中的错误，并补全遮挡区域的缺失运动。作者想证明三件事：第一，仅用预训练 2D 轨迹配合估计的深度与相机做“提升”，加上简单的间隙线性插值初始化，就能与使用相同几何的专用 3D 跟踪器打平甚至更强——即稠密 3D 跟踪的瓶颈不在对应或几何本身；第二，可以训练一个轻量前馈“轨迹校正器”，输入只有几何量（位置、视线方向、可用性掩码），通过预测 3D 残差来保留可靠观测、修复被污染的位置（深度抖动/漂移、错表面）、补全缺失运动；第三，校正器应与具体跟踪器和几何模型解耦，一次训练即可在多种 provider 组合上免训练迁移，从而直接受益于任一组件的未来进步。最终目标是在 WorldTrack 基准取得平均精度 SOTA，同时提供比同精度 3D 跟踪器快数倍的配置。
与已有工作不同的是，本文的独特切入是把稠密 3D 跟踪重新表述为“几何轨迹修复与补全”问题，而非从图像直接回归 3D 轨迹。与 DELTAv2、4RC、SpatialTrackerV2 等联合学习运动与几何的端到端方法不同，ReLift 把对应和几何完全交给冻结的预训练模型，自己只学残差修正；与 Shape of Motion、Uni4D 等逐场景优化方法不同，它是单次前馈。训练策略上的创新最关键：直接运行跟踪器和深度模型在合成视频上生成训练 lift，会把网络绑定到所选 provider 的误差分布；作者因此完全不用跟踪器、深度模型或渲染器，而是把提升失败的几何效应建模为对干净 3D 轨迹的随机损坏——扰动视线方向、对数射程（含自相关噪声、漂移、离群错表面）和观测可用性——借鉴机器人学的域随机化思想，使单一权重对 6 种 tracker–geometry 组合全部有效。消融显示模拟 lift 训练优于真实 provider lift 训练：后者在训练场景提升 +14.1/+8.3 APD3D 但迁移不一致，用 VGGT-Ω lift 训练的模型在所有评估数据集上都降低精度。
核心方法
直觉上，一个点的 3D 轨迹由两部分构成：它在每帧图像上的位置（对应问题）和它沿视线的距离（几何问题）。前者 2D 跟踪器已做得很好，后者几何基础模型已能可靠估计，因此把 2D 轨迹与深度/相机逐帧相乘“提升”成 3D 轨迹就已经是强方法——实验证实未校正的提升在 CoWTracker+VGGT-Ω 组合下达 84.9 平均 APD3D，已超过同几何的 TrackCraft3R（83.9）和 DELTAv2（81.1）。剩下的错误是几何性质的：遮挡段缺观测、深度边界处的错表面跳变、逐帧深度抖动漂移。技术路线上，ReLift 先用跟踪器可见性掩掉遮挡观测并对间隙线性插值，得到初始化提升 $\bar{x}$；然后一个仅 19.1M 参数的校正器 transformer 读入位置、视线方向与可用性掩码，通过沿轨迹（时间）与跨轨迹（空间）交替的因子化注意力聚合证据，用零初始化的输出头预测逐帧 XYZ 残差 $\Delta X$，最终轨迹为 $\hat{x}=s(\bar{x}+\Delta)$；时间分块（$C=4$ 帧/token）与分组批处理（$P=1024$ 条/组）让对全部参考像素的稠密校正高效可扩展。
核心创新有三层。第一是观察层面：作者发现“提升轨迹+间隙插值”这一无需训练的基线已能与专用 3D 跟踪器打平或更好（同等几何下 CoWTracker 提升 84.9 对 TrackCraft3R 83.9、DELTAv2 81.1 平均 APD3D），颠覆了“必须端到端联合学习 3D 跟踪”的默认假设，并把问题收缩为修复与补全。第二是表征与架构层面：校正器输入只含几何量（相对锚点的位移、掩码位移、可用性、到最近观测的帧距、掩码视线方向、相机中心共 14 维 token），不用图像特征；残差预测配合零初始化头保证未训练网络等价于恒等映射，训练即学习“何时信任观测、何时用运动先验补全”。交替注意力沿轨迹共享时间证据（前后观测夹逼缺口）、跨轨迹共享运动信息，注意力代价 $O(PN^2+NP^2)$ 远低于联合注意力的 $O(P^2N^2)$。第三是训练范式层面：不运行任何 provider，直接对 PointOdyssey 干净轨迹施加随机几何损坏（视线角噪声、对数射程的自相关闪烁/倾斜/偏置/白噪声/稀疏离群、合成遮挡物与连续丢失、遮挡边缘保留错表面观测），以域随机化获得 provider 无关性——同一权重改进全部 6 种组合。
方法步骤详情
完整流程分四步。第一步，提升：2D 跟踪器给出参考帧像素的图像轨迹 $u_i^t$ 与可见性 $v_i^t$，几何模型给出光轴深度 $Z^t$、内参 $K^t$ 与位姿；计算视线方向 $d_i^t=R^tq_i^t/\|q_i^t\|$、射程 $r_i^t=Z^t(u_i^t)/\|q_i^t\|$、提升位置 $y_i^t=o^t+r_i^td_i^t$（$q_i^t=K^{-1}(u_i^t,1)$）；可见性低于阈值（AllTracker $\gamma=0.85$、CoWTracker $\gamma=0.65$）或射程非正则掩码成缺口。第二步，初始化与 token 化：以中位参考深度 $s$ 归一化，缺口线性插值、末段保持；每帧构造 14 维 token $\phi_i^t=(\bar{x}_i^t-a_i,\,m_i^t(\bar{x}_i^t-a_i),\,m_i^t,\,g_i^t,\,m_i^td_i^t,\,o^t/s)$（$a_i$ 为参考锚点、$g_i^t$ 为到最近观测的帧距），每 $C=4$ 帧拼成 1 个 tracklet token，线性投影到 $D=384$ 维并加时间位置编码与锚点嵌入 $\psi(a_i)$。第三步，校正：8 个 block 交替时间注意力与跨轨迹注意力（每组 $P=1024$ 条轨迹），零初始化线性头输出逐帧 XYZ 残差，最终 $\hat{x}_i^t=s(\bar{x}_i^t+\Delta_i^t)$；推理时参考像素随机分组、独立批处理，成本随像素数线性增长。第四步，训练：在 PointOdyssey 100 场景 / 6137 个 84 帧窗口上按式(5)构造模拟 lift（角噪声 std $U(0.0005,0.005)$ 弧度、对数射程扰动 $\varepsilon$ 裁剪到 $[-1,1]$、至多 2 个运动遮挡矩形、10% 轨迹连续丢失 2–20 帧、遮挡边缘 30% 概率保留错表面观测），用位置+位移加权损失（式(6)，$\lambda=4$，$w=(1+3\mu)(2-m)$）训练 150k 步 AdamW（lr $3\times10^{-4}$，bf16，单卡 RTX PRO 6000）。
技术新颖性
技术新颖性体现在与三条已有路线的本质区别。对端到端 3D 跟踪器（DELTAv2、SpatialTrackerV2、4RC、TrackCraft3R、Track4World、V-DPM）：它们从视频联合学习对应+几何+遮挡运动，ReLift 证明对应与几何可由冻结预训练模型免费获得，学习只需聚焦修复——这既是范式转变也是效率来源（校正器仅 19.1M 参数，全流水线 7.3–40.4 秒，对比 V-DPM 的 591 秒）。对逐场景优化方法（Shape of Motion、MoSca、Uni4D、TrackingWorld）：它们同样组合预训练深度/跟踪线索，但需分钟级逐场景迭代，ReLift 是单次前馈。对 TracksTo4D、Seurat 这类从 2D 轨迹恢复结构的工作：它们从原始 2D 轨迹出发，ReLift 从“已用预训练深度和相机提升过的轨迹”出发学习 3D 残差。最独特的是训练数据生成方式：现有 4D 监督方法要么用合成视频直接训练（PointOdyssey），要么用 provider 在真实数据上生成伪标签（需目标对齐与窗口过滤）；本文的“模拟损坏 lift”只用 3D 标注本身，损坏分布显式参数化并可随机采样（Table 4 完整给出），与图像渲染和 provider 推理都解耦；消融证明这比用 AllTracker+DA3/VGGT-Ω 真实 lift 训练迁移性更好，且在匹配训练窗口的对照下优势依旧（Fig. 6）。因子化注意力本身沿用 TracksTo4D，但用于残差修复、配合时间分块与分组批处理是新的组合。
实验结果
核心结果分五块。（1）主结果（Table 1）：一个训练好的校正器用于全部 6 种 tracker–geometry 组合，CoWTracker+4RC 几何达平均 APD3D 89.01（All）/ 86.95（Dyn），比最强基线分别高 2.1 和 3.0 点（All 最强为 4RC 的 86.94，Dyn 最强为 V-DPM 的 83.91）；真实数据上尤其强，ADT 各配置 91.1–94.1，PS 上 CoWTracker+VGGT-Ω 达 92.20。精度随几何质量单调上升：两个 tracker 的 mean 均从 DA3（84.53/82.22）到 VGGT-Ω（87.49/85.84）再到 4RC（89.01/86.95），证明免训练换 provider 有效。固定用 4RC 自家几何时，CoWTracker 变体仍比 4RC 自身轨迹预测高 2.1（All）/ 5.4（Dyn）。（2）提升基线：未校正的 CoWTracker+VGGT-Ω 提升已到 84.9，超同几何 TrackCraft3R（83.9）与 DELTAv2（81.1）。（3）修复增益（Fig.3 / Table 2 / Table 12）：校正对全部 6 组合为正，mean 加 1.6–3.6 点；遮挡点增益最大，CoWTracker+VGGT-Ω 遮挡点 71.6→80.8（+9.2）。（4）图像平面（Table 11）：原生 CoWTracker 每列超所有 3D 方法投影（mean 78.75），支撑复用 2D 对应的动机；3D 方法中 CoWTracker+4RC mean All 第一（77.27）。（5）效率（Table 15）：VGGT-Ω 配置 7.3–11.7 秒，比 4RC（31.8 秒）快 2.7–4.4 倍；1024² 分辨率下 4RC/V-DPM/DELTAv2 全部 OOM 而 ours 可行（82.6/51.0 秒）。Kubric 暴露几何敏感性：DA3/VGGT-Ω 配置（66.6–67.3）落后自家几何的 4RC（85.33）约 18 点；global-scale 对齐下 ours 仍以 82.11/79.72 领先 WorldTrack mean。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WorldTrack 稠密 3D 跟踪（全部点） | APD3D (%)，RANSAC Sim(3) 对齐，四数据集平均 | 89.01（CoWTracker+4RC 几何，单一校正器） | 86.94（4RC，最强基线） | +2.07 |
| WorldTrack 稠密 3D 跟踪（动态点） | APD3D (%) | 86.95（CoWTracker+4RC） | 83.91（V-DPM，最强基线） | +3.04 |
| 同几何对比（4RC 自家几何） | APD3D Dyn mean (%) | 86.95 | 81.60（4RC 自身轨迹预测） | +5.35 |
| 提升基线 vs 同几何 3D 跟踪器 | APD3D All mean (%) | 84.9（未校正 CoWTracker+VGGT-Ω 提升 + 插值初始化） | 83.9（TrackCraft3R+VGGT-Ω）/ 81.1（DELTAv2+VGGT-Ω） | +1.0 / +3.8 |
| 遮挡点修复 | APD3D (%)，四数据集平均（Table 12） | 80.8（CoWTracker+VGGT-Ω，校正后） | 71.6（初始化提升） | +9.2 |
| 推理速度（84 帧，512²，全流水线含 provider） | 运行时间 (s) | 7.3（AllTracker+VGGT-Ω）/ 11.7（CoWTracker+VGGT-Ω） | 31.8（4RC）/ 591（V-DPM） | 比 4RC 快 2.7–4.4 倍 |
| 训练策略消融（模拟 lift vs 真实 provider lift） | 测试 mean APD3D 相对初始化提升的增益 (%) | 模拟 lift 训练：在两个测试 provider 的所有数据集上均为正增益 | 真实 AllTracker+DA3 lift 训练（训练场景 +14.1，迁移不一致）；真实 AllTracker+VGGT-Ω lift 训练（训练场景 +8.3，测试时所有数据集降精度） | 迁移稳定性与幅度均显著更优 |
局限与改进
作者承认的局限：性能对输入几何质量敏感——Kubric 上 DA3/VGGT-Ω 配置的 mean APD3D 仅 66.6–67.3，明显落后使用自家几何的 4RC（85.33），说明校正器无法弥补几何模型的大幅误差；损坏模拟不含相机位姿误差和“持续切换到另一物体轨迹”两类失效；可见性分数直接沿用 2D 跟踪器输出，校正器不参与遮挡判断。我自己的观察：第一，图像平面精度始终低于原生 2D 跟踪器（CoWTracker+4RC mean APD2D 77.27 对原生 78.75，Dyn 差 3.82 点），说明 3D 修复会轻微伤害 2D 对应，用 2D 与 3D 指标评价会得到不同结论；第二，评测采用 RANSAC Sim(3) 对齐（允许旋转平移），global-scale 对齐下 PS 上所有方法大幅下降且 V-DPM 领先，数据集排名对对齐方式敏感；第三，轨迹组独立处理（$P=1024$）意味着组与组之间没有信息交换，全局一致的运动先验受限；第四，训练窗口仅 84 帧、损坏分布手工设定（虽经随机化），真实 provider 误差分布的尾部（长程深度漂移、相机标定漂移）可能未被覆盖；第五，稠密推理成本随像素线性增长（512² 校正约 3 秒、1024² 约 12 秒），几何模型是更大瓶颈且在 1024² 部分组合 OOM。
独立分析的弱点
独立分析的弱点与改进方向：（1）几何质量是硬上限——DA3/VGGT-Ω 提升在 Kubric 上比 4RC 低约 18 点，校正器只能修小误差、不能救大错；改进方向是迭代式 lift–correct 循环（用校正后的轨迹反哺几何重估计）、多几何模型输出融合或按几何不确定度加权。（2）损坏模拟不含相机位姿误差——真实单目视频中相机轨迹估计误差会造成所有轨迹的系统性漂移，而训练中相机中心恒定；改进：在模拟中加入相机位姿的 Sim(3) 扰动，让校正器学会区分“相机错”与“点错”。（3）组内交互、组间隔离——稠密场景中同一刚体的轨迹被分到不同组时无法共享刚性约束；改进：引入少量全局上下文 token 或层次化分组注意力。（4）84 帧窗口限制——长视频需滑窗拼接，窗口边界的尺度 $s$ 与锚点可能不一致；改进：递归状态传递或跨窗口一致性正则。（5）可用性掩码依赖手工阈值 $\gamma$（0.85/0.65），校准偏差会直接改变输入缺口结构；改进：软掩码或学习式可用性估计，甚至让校正器联合输出可见性。（6）高分辨率显存——1024² 下 CoWTracker 组合 OOM，几何模型是瓶颈；改进：深度估计的分块/多尺度推理，或蒸馏轻量几何头。
未来方向
作者明确提出的方向：提高对几何误差和持续性对应错误的鲁棒性（结论点名“Performance remains sensitive to input geometry”）。基于本文成果可延伸的方向：（1）闭环迭代——把校正后的稠密轨迹场作为几何模型的先验重新估计深度/相机，交替数轮，有望在不运行昂贵 4RC 的情况下逼近其精度；（2）数据扩展——训练目前仅用 PointOdyssey 合成轨迹，可加入 Stereo4D 真实双目轨迹或自监督伪标签覆盖真实运动分布，并把损坏分布与具体 provider 的实测误差统计对齐；（3）下游赋能——稠密可靠的 3D 轨迹场可直接用于运动控制视频生成（同组作者的 Time-to-Move）、机器人操作策略学习、传感器仿真（RadarGen 类）；（4）长视频与超大分辨率——交替注意力+分块的近线性代价使亿级像素轨迹场可行，可探索分钟级视频的时间状态化处理；（5）把可见性/遮挡判断纳入校正器，实现位置与可见性联合修复（当前沿用 tracker 分数）；（6）在 4D 高斯/神经场重建中用校正轨迹替代逐场景优化的初始化，量化端到端下游收益。
复现评估
复现评估：作者声明项目页提供代码与示例。所有依赖模型均为公开权重：2D 跟踪器 AllTracker（ICCV'25）与 CoWTracker（CVPR'26），几何模型 Depth Anything 3、VGGT-Ω、4RC；训练数据 PointOdyssey 训练集公开。训练成本很低：校正器仅 19.1M 参数，150k 步 AdamW（lr $3\times10^{-4}$、bf16、batch 16、梯度裁剪范数 1），单卡 RTX PRO 6000（96GB），普通实验室可负担。附录质量高：A.1–A.4 给出掩码阈值、token 维度、位置编码公式、完整损坏分布表（Table 4 含每项噪声的分布参数）、损失权重与推理分组细节；附录 B 给出评测对齐协议与所有 baseline 的推理配置（Table 5）。难点在于：完整复现主表需跑通十余个 2025–2026 年第三方 baseline 并逐一按 Table 5 配置，工作量可观；部分引用模型（VGGT-Ω、4RC、CoWTracker 等 2026 工作）的发布状态需确认；RANSAC Sim(3) 对齐须严格按附录 B.1 实现否则数字不可比。总体：核心校正器的训练与评估复现难度中低（数据、超参、算力都明确），复现全部对比表中高。
论文图表
