TrackCraft3R：将视频扩散 Transformer 改造为稠密三维跟踪器 TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

方法步骤可拆为四步。第一步是双流 VAE 编码：RGB VAE $E_{rgb}$ 与点图 VAE $E_{pm}$ 各自把 $I_j$ 和 $P_j(t_j)$ 编码为 $z_j^{rgb}, z_j^{pm}\in\mathbb{R}^{h\times w\times c}$；点图预先按 2%–98% 深度分位计算均值和最大距离做归一化，使其落进 $[-1,1]$，且对所有帧 $P_j(t_j)$ 与残差 $\Delta_j$ 使用同一套归一化因子以保证同一点归一化后值一致；时间维被当 batch 维处理以保留空间精度（Tab. 3d 验证）。第二步是双潜变量构造：几何潜变量 $g_j=[z_j^{rgb};z_j^{pm}]\in\mathbb{R}^{h\times w\times 2c}$ 在通道维拼接，轨迹潜变量 $r_j=g_0$ 沿时间维复制首帧几何，$r_j$ 在空间上作为稠密查询点定义在参考帧。第三步是带时间 RoPE 对齐的 DiT 前向：$\{g_j\},\{r_j\}$ 沿 token 维拼接送入带 LoRA 的 Wan 2.1 DiT，扩散时间步固定为 0 改作一步回归；为应对输入输出 token 通道翻倍，DiT 输入投影权重被复制，输出投影权重前 $c$ 通道保留预训练、后 $c$ 通道零初始化；时间 RoPE 让 $g_j$ 与 $r_j$ 用相同时间索引 $t_j$，相对位置编码保证每个 $r_j$ 注意力集中到对应时刻的 $g_j$。第四步是双 VAE 解码与残差回归：DiT 输出对应轨迹 token 通道二分，前半送入跟踪解码器 $D_{track}$ 回归残差位移 $\hat\Delta_j\in\mathbb{R}^{H\times W\times 3}$，后半送入可见性解码器 $D_{vis}$ 预测 $\hat o_j\in[0,1]^{H\times W}$（可见性需广播到 3 通道以匹配解码器输出维度）；最终 $\hat P_0(t_j)=P_0(t_0)+\hat\Delta_j$。长视频时采用以首帧为锚的步幅滑窗 $s=\lceil(L-1)/F\rceil$ 分组多次前向，无需后处理。

技术新颖性体现在三个层面。第一，把视频 DiT 从生成模型重定位为'一步回归跟踪器'需要颠覆其原本的扩散时间步语义，作者通过把时间步钉死在 0、复制/零初始化输入输出投影、并用 LoRA 注入 1024 阶低秩更新（Tab. 5 显示 rank 从 64 升到 1024 让 AJ 从 0.5025 升到 0.5399，再叠加 VAE 微调升到 0.5639）完成了这一转换，这是工程与训练范式上的新组合。第二，双潜变量 + 时间 RoPE 对齐机制在概念上非常优雅：复制首帧几何作为轨迹查询、用共享时间索引让注意力自动对齐到目标帧，这种'用架构而非用损失硬编码先验'的做法与之前 St4RTrack 用跨帧 transformer 块、CoTracker 用迭代关联的方案有本质差异，是本文最具方法论意义的贡献。第三，作者在训练上分两阶段（先冻结 VAE 训 DiT+LoRA 3 天，再解冻 VAE 端到端训 2 天）并显式打开 VAE 微调（Tab. 5 最后一行的 0.5639 vs 0.5399）也是相对其前作的精细化创新。

独立分析本文存在几个可改进的弱点。第一个是输入依赖与级联误差：把 ViPE/DA3 的 3D 估计当作硬输入意味着任何点图噪声都会直接影响跟踪精度，论文没有给出对点图噪声/缺失区域的鲁棒性测试，可以加一个在点图上加噪或 mask 掉部分区域的消融。第二个是双 VAE 微调带来的额外成本：Stage 2 解冻全部 VAE 编码器/解码器在 8×H200 上还要 2 天，rank=1024 LoRA 本身就吃显存，普通研究者难以复现；可以考虑冻结 RGB VAE、只微调点图/可见性 VAE 子集。第三个是首帧锚定假设过强：当参考帧 $I_0$ 的内容大量出框或在初始时刻就处于严重遮挡时，$r_j=g_0$ 这种'硬复制'会让查询失去有效几何锚点，模型只能依赖 RGB 匹配，理论上会在镜头快速平移 + 主体大幅出框场景失效；可考虑用多参考帧或自适应参考帧切换。第四个是评估协议的可比性：Tab. 1 中第 (ii) 类基线没有可见性输出，作者用投影+深度容差方法合成可见性，OA 比较存在一定不公平，论文应在脚注里更明确这一点。

作者明确指向几个未来方向：把更准确的 3D 基础模型（如未来更强的 DA 系列）直接接入即可提升跟踪上界；探索自监督或视频级无标注训练以减少对 Kubric/PO/DR 合成轨迹的依赖；从我们的弱观察还可以引申：第一，把同一范式扩展到多参考帧（multi-reference）或循环参考，可以解决首帧内容大幅出框的问题；第二，把双潜变量思想用于稀疏 2D 跟踪或光流估计，把视频 DiT 的'生成 → 跟踪'改造范式普适化；第三，引入显式的不确定性估计（每个跟踪点的协方差），让模型在遮挡边缘给下游任务提供置信度；第四，把跟踪点图作为条件接入视频生成模型实现可控视频编辑或 3D 一致的长视频生成；第五，研究 DiT 不同规模（1.3B/14B）对跟踪性能的 scaling 规律，论文用 12 帧 clip 训练没触及模型容量-数据效率曲线。

复现评估方面有几个关键信息。论文在 CVLab-KAIST 项目页 cvlab-kaist.github.io/TrackCraft3r 提供主页，但摘要与代码状态未在文中明示（属于 2026 年 5 月预印本，需以官方仓库为准）。训练在 8 块 H200 GPU 上进行，第一阶段 LoRA+投影层训练 batch=80 共 3 天，第二阶段解冻 VAE 端到端 batch=64 再训 2 天，总计 5 天 × 8 卡 = 40 卡日，单卡消费级硬件几乎不可达。数据上沿用 Kubric、PointOdyssey、Dynamic Replica、TartanAir 四个公开数据集，均可下载。模型基于 Wan 2.1-T2V 开源 DiT + 自训 LoRA 权重，VAE 沿用 Wan VAE 初始化。评估协议基于 TAPVid-3D 协议，五个基准均公开，Sim(3) 对齐脚本与 AJ/APD3D/OA 计算脚本可复用。整体复现难度偏高：算力门槛、数据准备复杂度、以及点图归一化细节（2%–98% 分位 + 同一组因子跨帧共享）都需要小心实现，但论文各消融表（Tab. 2-6）描述足够细，结构性创新点（双潜变量、时间 RoPE 对齐、VAE 时序压缩关闭）在公开 ViT/DiT 库上都可独立验证。