Scal3R：面向可扩展在线三维重建的高效多参考相对位姿查询

冻结骨干注入约1%参数的查询token，配合在线位姿图优化，实现公里级在线3D重建

前置知识

前馈在线3D重建

指CUT3R、STream3R这类模型：逐帧输入RGB，用Transformer解码器结合持久隐状态(CUT3R)或因果注意力滑动窗口(STream3R)，在前向传播中一次性输出局部点云和相机位姿，无需逐场景离线优化，实现实时重建。

Scal3R的骨干就是这两类模型，理解它们的全局位姿回归头为何在长序列上失效是全文的出发点。

第一帧锚定的全局位姿回归

现有方法把每帧相机位姿表示为相对序列第一帧的 $SE(3)$ 变换，由专门的相机token直接回归得到。序列越长，当前帧离首帧坐标系越远，预测必然外推到训练分布之外，误差单调累积并放大。

这是论文要根除的问题形式，理解它才能明白为什么要改写成相对多个关键帧的位姿查询。

非对称注意力注入

把新增的位姿查询token只作为Query参与解码器注意力，去关注图像token提取几何线索；图像token的Key/Value序列保持原样、完全不与位姿token交互。信息单向流动，冻结表征空间不被扰动，因此无需注意力掩码。

这是保证冻结骨干点云质量逐位不变的关键机制，也是参数高效微调能成功的核心设计。

位姿图优化(PGO)

把轨迹建模为因子图：每个相机位姿 $T_t \in SE(3)$ 是节点，帧间相对位姿预测作为between-factor边，通过最小化带Huber鲁棒核的加权误差联合优化整条轨迹。iSAM2基于贝叶斯树支持增量求解，适合在线场景。

Scal3R靠在线PGO把大量局部相对约束聚合成无漂移的全局一致轨迹，是整个后端的支柱。

回环检测

当相机重访曾到过的区域时，识别出这种回访并加入高置信约束边以消除累积漂移。本文用DINOv2骨干加SALAD聚合层生成场景级描述子，FAISS只对关键帧在线索引，按余弦相似度、最小时间间隔和NMS筛选候选。

回环是公里级序列保持全局一致性的最后保障，且本文回环能自然融入多参考查询管线，无需改架构。

ATE(绝对轨迹误差)

估计轨迹与真值轨迹做对齐后的平均欧氏误差。论文遵循CUT3R/STream3R协议用Sim(3)对齐处理单目尺度模糊，KITTI上以米为单位报告，数值越低越好。

论文所有位姿实验都用ATE衡量，KITTI上基线普遍在百米级而本文降到几十米，是理解表格数据的前提。

提示微调

冻结预训练模型的全部参数，只训练少量注入的可学习token或适配器(通常少于2%参数)来完成下游任务适配，避免全参数微调在小数据集上破坏预训练先验，已证明能匹配甚至超过全量微调。

Scal3R首次把该范式用于前馈3D重建的相对位姿估计，新增参数仅约1%，单卡8小时即可收敛。

6D旋转表示

用旋转矩阵的前两列共6个数连续表示旋转，再经Gram-Schmidt正交化恢复 $SO(3)$。相比欧拉角或四元数，它在旋转空间上连续，不存在周期性跳变，有利于网络回归训练的稳定性。

相对位姿头采用该表示输出旋转变换，是位姿预测连续可靠的工程基础。

研究动机

CUT3R、STream3R等前馈式在线重建模型通过回归相对第一帧的全局位姿实现实时重建，在短序列上表现良好，但在长视频上遭遇灾难性失败。失败根源有二：其一，现有3D训练数据(如TartanAir)只覆盖有限场景尺度，模型被迫外推到远离训练分布的全局坐标系；其二，真实相机运动高度多变，无界视频流必然出现分布外轨迹，前馈式全局位姿回归在理论上就无法扩展。后果非常直观：在KITTI上(Seq.00长达4542帧、3.7公里)，CUT3R平均ATE高达207.2米，STream3R为227.3米，MASt3R-SLAM为200.9米，最强在线方法TTT3R也有182.2米，估计轨迹扭曲成完全无法辨认的自相交曲线，几何彻底坍塌。

本文的目标是本文的目标是让冻结的前馈3D重建骨干(CUT3R或STream3R)能在公里级无界视频流上稳定地在线重建，同时不牺牲局部几何质量和推理速度。具体量化目标包括：将长序列位姿估计误差大幅压低，在KITTI上相比最强在线基线TTT3R(平均ATE 182.2米)降低超过60%；保持每帧点云质量不退化，法向一致性等重建指标反而提升；新增可学习参数仅约1%的骨干参数量；微调只需单张A100 GPU约8小时；推理仍是流式在线处理，运行速度接近原始骨干，并能与回环检测自然结合，恢复全局一致的轨迹。

与已有工作不同的是，作者的独特切入点来自一个关键的错误解耦观察：在分布外长序列上，全局位姿误差灾难性发散，而每帧深度预测始终保持稳定(论文Fig.2b)。这说明骨干学到的局部几何表征完好无损，失效被隔离在全局位姿回归头上。据此，本文不从改进全局回归入手，而是彻底更换问题形式：把全局位姿回归改写为多参考相对位姿查询——只让模型在局部视角域(它最可靠的地方)估计当前帧相对多个历史关键帧的变换，再由在线位姿图优化把海量局部约束聚合成全局轨迹。这延续了视觉里程计中相对形式比绝对形式泛化更好的经典结论，但首次以prompt tuning方式在冻结3D基础模型上实现。

核心方法

直觉上，与其强迫模型外推到距离第一帧越来越远、必然分布外的全局坐标系，不如让它只回答当前帧相对过去某个关键帧移动了多少这类局部问题，再用图优化把大量局部约束拼成全局一致的轨迹。技术上：在完全冻结的CUT3R/STream3R解码器中，通过非对称注意力注入一组轻量可学习token(约1%参数)；维护一个位姿token缓冲区保存历史关键帧的相机token，共享基础查询token $q$ 与经MLP投影的参考相机token相加得到查询 $\tilde{q}_k = q + \mathrm{MLP}(c_{r_k})$；轻量MLP头把解码后的token映射为 $SE(3)$ 相对变换；后端用iSAM2做增量位姿图优化，配合基于3D重叠的关键帧选择和DINOv2+SALAD回环检测。整个系统在TartanAir上以4视角样本训练，batch size 8训练40个epoch，单张A100约8小时收敛。

核心创新是把在线重建的位姿估计从全局锚定回归重构为多参考相对查询。与现有方法的本质区别有三点。第一，目标的解耦：CUT3R等模型必须一次预测相对固定首帧的绝对位姿，误差随序列长度单调累积；Scal3R的每个查询token独立预测 $\hat{T}_{t\leftarrow r_k}$，任何单个参考失效都不会污染其他约束。第二，非对称注意力注入：位姿token只作为Query参与注意力，图像token的Key/Value序列完全不变，保证冻结骨干的点云表征逐位不变——这直接利用了深度稳定、位姿崩溃的解耦观察。第三，参考数量推理时可自由扩展：训练只用 $K=3$ 个参考，推理可增至 $K=12$ 而无需重训练，配合PGO的gap依赖噪声模型 $\sigma = \sigma_{base} \cdot \Delta^{0.5}$，参考越密、漂移越小，消融中ATE从15.748单调降到5.632。

方法步骤详情

流程：①特征提取，每帧 $I_t$ 经冻结DINOv2编码器得到图像token，与参考相机token $c_{r_k}$ 一起送入冻结解码器；②查询组装，共享基础token $q$ 与MLP投影的参考相机token相加，生成 $K$ 个查询token(训练 $K=3$，推理可扩至 $K=12$)；③非对称解码，位姿token仅作Query关注图像token，图像token自注意力不含位姿token；MLP头以6D旋转表示解码出 $\hat{T}_{t\leftarrow r_k}\in SE(3)$，损失对旋转与平移(尺度对齐后)分别监督；④关键帧与PGO，按角度重叠分数 $<\tau_{overlap}$ 且置信度 $>\tau_{conf}$ 选关键帧；相对位姿作为between-factor经Huber核与iSAM2增量优化并写回缓冲区；每 $N_{reset}=10$ 帧重置流式状态，段间用恒等约束保持图连通；⑤回环，DINOv2+SALAD描述子经FAISS检索候选，命中则把归档相机token重新注入缓冲区，预测 $\hat{T}_{t\leftarrow r_{loop}}$ 作为高置信回环边加入位姿图。

技术新颖性

新颖性体现在四个层面。(1)问题层：首次将提示微调范式应用于前馈3D重建的相对位姿估计——此前Human3R只在冻结CUT3R上做过人体-场景联合重建，从没人用prompt tuning解决位姿崩溃问题。(2)架构层：非对称注意力是一种干净的设计，位姿token不进入图像K/V序列，因此无需注意力掩码，并证明了几何先验可以在完全不动骨干的前提下被旁路读取，点云质量零损失。(3)系统层：多参考设计让回环检测天然融入推理管线——归档关键帧的相机token重新入缓冲区即可获得长程约束，无需任何架构修改，这是单参考或全局锚定设计做不到的。(4)效率层：4视角随机间隔采样使模型对不同运动速度鲁棒，8小时单卡收敛避免了全参数微调在小数据集上的几何先验坍塌；推理时 $K$ 从4扩到12不需重训练，展示了一种推理时可伸缩的位姿查询机制。

**Fig. 3**: Overview of the Scal3R framework

**Fig. 4**: Asymmetric Attention Injection

**Fig. 5**: Inference pipeline and pose graph structure

实验结果

KITTI 11段序列(0.4至5.1公里)上，Scal3R (CUT3R)平均ATE为69.7米、(STream3R)为70.8米，最强在线基线TTT3R为182.2米，降幅超60%；Seq.00(3.7公里)从基线约180米降到45.3/57.9米。vKITTI上Scal3R (CUT3R)平均ATE为5.63，超越所有流式方法(STream3R 77.01、TTT3R 25.28)，接近离线π3的2.04。跨域：CUT3R版Sintel最优0.168，STream3R版TUM最优0.018、ScanNet最优0.049。7-Scenes 300帧重建：STream3R版NC均值0.579，优于骨干的0.560。消融：去掉参考监督ATE恶化到33.318；去掉关键帧选择38.258、去掉PGO 20.089；推理 $K$ 从4增至12，ATE从15.748降至5.632；关闭回环平均ATE从75.01升至143.45，回环贡献48%改进。效率：完整管线达14.4/7.95 FPS，与骨干15.9/9.1 FPS几乎持平(冻结前向占延迟86.3%/91.2%)。

**Table 1**: Camera pose estimation on KITTI (ATE)

**Table 2**: Camera pose estimation on Virtual KITTI (ATE)

**Table 3**: Camera pose estimation on Sintel, TUM-Dynamic, and ScanNet (ATE)

**Table 4**: 3D reconstruction on 7-Scenes (300 frames)

**Table 5**: Ablation on training strategy (vKITTI)

**Table 6**: Ablation on inference-time components (vKITTI)

**Table 7**: Ablation on loop closure (KITTI, ATE)

**Fig. 6**: Qualitative 3D reconstruction on Virtual KITTI

**Fig. 7**: Qualitative trajectory comparison on KITTI long sequences

**Fig. 8**: Per-frame runtime breakdown on KITTI

**Fig. 9**: Robustness Analysis on KITTI

**Fig. 10**: Qualitative effect of loop closure on KITTI 07

查看结构化数据

任务	指标	本文	基线	提升
长序列相机位姿估计(KITTI, 在线)	ATE(米, Sim(3)对齐)	平均69.7 (CUT3R版) / 70.8 (STream3R版)，Seq.00为45.3/57.9	TTT3R 182.2；CUT3R 207.2；STream3R 227.3；MASt3R-SLAM 200.9	相比最强在线基线TTT3R降低超过60%
合成驾驶位姿估计(Virtual KITTI, 在线)	ATE(米)	平均5.63 (CUT3R版) / 7.92 (STream3R版)，Scene02为0.72	TTT3R 25.28；STream3R 77.01；离线π3为2.04	超越所有流式方法，接近离线方法精度且保持在线
跨域位姿估计(Sintel/TUM-Dynamic/ScanNet)	ATE	Sintel 0.168 (CUT3R版)；TUM 0.018、ScanNet 0.049 (STream3R版)	TTT3R 0.210/0.028/0.064；STream3R 0.214/0.026/0.052	三项基准均达SOTA或与最优持平，TUM上较基线改进35%
3D重建(7-Scenes, 300帧)	NC(法向一致性, 越高越好)/Acc/Comp	Ours(STream3R): NC均值0.579、中位数0.622，Acc 0.052，Comp 0.020	STream3R骨干: NC 0.560/0.590，Acc 0.095；CUT3R: NC 0.544/0.565	NC均值提升0.019，Acc降低45%，几何一致性显著改善
消融:回环检测(KITTI)	平均ATE(米)	开启回环后CUT3R版75.01 / STream3R版78.39	关闭回环143.45 / 129.40	回环降低48%误差，回环密集序列(Seq.00/05)收益最大

局限与改进

作者承认三点局限：性能上限受冻结骨干约束，在遮挡或弱纹理区域骨干失效时Scal3R无法补救；基于外观的回环检测在极端视角或光照变化下会漏检回访；关键帧选择与回环检测依赖人工设定的阈值(如重叠分数 $\tau_{overlap}$、置信度 $\tau_{conf}$、相似度 $\tau_{sim}$、时间间隔 $\tau_{gap}$)。我的补充观察：一是评估依赖Sim(3)对齐，单目尺度来自预测本身，真实无参考部署时度量精度存疑；二是Seq.08(3.2公里)上改进有限(227.0 vs 骨干231.8)，说明纹理贫乏的高速场景仍是难点；三是 $N_{reset}=10$、K=12等超参对不同运动模式可能敏感，论文未报告敏感性分析；四是DINOv2+SALAD+FAISS回环链路增加系统工程复杂度与额外显存开销。

独立分析的弱点

独立分析五个弱点。第一，外观回环在季节/昼夜变化和动态场景中脆弱，误检的回环边又被赋予紧噪声模型，可能强行扭曲轨迹，可引入几何验证(如ICP点云配准校验候选)或一致性图拒绝机制。第二，阈值化关键帧选择对运动速度分布敏感：超快旋转或近乎静止的缓慢平移可能漏选或冗选关键帧，可改为基于不确定性或信息增益的自适应准则。第三，性能被冻结骨干的深度质量封顶，弱纹理、反射表面无法改善，可让前馈深度不确定性估计直接进入PGO噪声模型 $\Sigma_{t,k}$，实现逐帧质量感知加权。第四，训练仅用TartanAir单一数据源，室内手持与室外驾驶间的域差靠骨干先验弥补，扩展多域训练数据或域随机化可能进一步提稳健性。第五，多参考查询的显存随K增长(K=12个查询token+KV缓存快照)，在边缘设备上部署需要token裁剪或量化策略。

未来方向

作者提出的方向包括改进回环检测对极端视角/光照变化的鲁棒性，以及把关键帧选择与回环阈值自动化。基于本文成果还可延伸：将多参考查询扩展到动态场景的在线重建，结合分割掩码过滤动态物体；把PGO替换为可微优化模块，实现位姿与深度的联合在线微调；探索参考token的跨场景持久记忆，使系统重访旧环境时直接复用历史地图，迈向终身SLAM；与语义信息结合，用语义一致性约束回环与关键帧选择；训练侧尝试更大 $K$ 或课程式间隔采样进一步压缩长程误差；此外，冻结骨干加查询token的旁路范式值得推广到在线光流、在线深度补全、在线新视角合成等流式视觉任务。

复现评估

复现条件较友好。论文提供项目主页 linjohnss.github.io/scal3r，代码是否开源需关注主页更新。训练仅需公开的TartanAir数据集，4视角随机间隔采样构造样本，batch size 8、40个epoch、AdamW学习率 $1\times10^{-4}$，单张A100约8小时收敛，新增参数约1%，算力门槛远低于全参数微调。推理依赖iSAM2(GTSAM)、FAISS、DINOv2、SALAD等成熟开源组件。评测覆盖KITTI、vKITTI、Sintel、TUM-Dynamic、ScanNet、7-Scenes六个公开基准，统一采用无内参协议与官方默认设置，对比公平可复现。主要难点在工程细节：关键帧阈值 $\tau_{overlap}/\tau_{conf}$、状态重置周期 $N_{reset}=10$、回环NMS窗口 $w_{nms}$ 等超参未完整给出，位姿图与流式解码器KV快照交互的实现需要对齐原论文描述，总体属于中等偏易的复现难度。

Scal3R：面向可扩展在线三维重建的高效多参考相对位姿查询 Scal3R: Learning Efficient Multi-Relative Pose Query for Scalable Online 3D Reconstruction