Click3R：基于稀疏对应点点击的交互式双目3D重建

用户点几个跨视图对应点，前馈3D重建模型即可一次前向修正几何错误

前置知识

前馈式3D重建与点图回归

DUSt3R 开创的范式：用共享 ViT-Large 编码器加非对称解码器（两支路间交叉注意力），一次前向传播直接回归两视图的稠密3D点图（每个像素的3D坐标）和逐像素置信度，不需要显式特征匹配、三角化或测试时优化。与其对照，传统 SfM/SLAM 靠迭代优化逐步求精。

CLICK3R 的骨干就是 DUSt3R，理解点图回归流程才能明白适配器插入在编码器到解码器之间的哪个位置、改写了什么。

跨视图对应点与对极几何

对应点指两幅不同视角图像中指向同一3D点的像素对 $(p_1, p_2)$。少量对应点即可约束两视图的对极几何（本质矩阵）与相对尺度，进而恢复相对位姿，并破解对称结构和重复纹理造成的歧义。经典几何管线长期依赖（自动估计的）对应点作为硬几何约束。

本文的用户点击正是稀疏对应点，理解它的几何含义才能明白为什么一两个点击就能纠正整幅重建。

SAM 式提示与双向注意力

Segment Anything（SAM）用可学习的提示 token（点击/框）经交叉注意力注入图像特征实现交互式分割；位置用随机傅里叶特征编码以保留亚像素精度，提示 token 与图像 token 之间做双向（prompt→image 与 image→prompt）注意力交换信息。

CLICK3R 的对应点分词器与两层双向注意力适配器直接借鉴这套机制，只是把分割提示换成了几何对应提示。

mAA 与 RRA 位姿指标

mAA@θ（mean Average Accuracy）衡量相对相机位姿精度：统计旋转/平移误差低于阈值 θ 的图像对占比，并在多个阈值上取平均；RRA@θ 是单阈值的相对旋转精度；点图质量用尺度与平移不变的中位点图误差（PM Err.）衡量，越低越好。

论文所有结论都以 mAA@30°、medRRE、PM Err. 表述，不懂这些指标就读不懂实验表格。

置信度加权回归损失

DUSt3R 的训练目标：逐像素用预测置信度 $C_v(x)$ 加权点图误差，并附加 $-\alpha\log C$ 项防止置信度坍缩为 0，整体在尺度不变意义下计算。模型同时学会「预测几何」和「预测自己哪里不可靠」。

CLICK3R 沿用该损失做端到端联合训练；且置信度被用来分析模型是否能感知点击的可靠性。

研究动机

前馈式双目3D重建模型（DUSt3R、MASt3R 及其多视图后继）用一次前向传播直接回归稠密点图，速度与泛化性远超传统迭代优化，但代价是「一次定终身」：预测错了没有任何纠错机制。在重复纹理、对称结构、大视角变化、弱纹理或低重叠场景中，这类模型会静默失败，输出整体错位甚至完全错误的几何。现有两条补救路线各有硬伤：测试时优化（如 LoRA3D 对 DUSt3R 做场景级自校准微调）计算昂贵，且无法解决推理时真正遇到的歧义；注入辅助先验（如 Pow3R 条件化内参/位姿/深度）则受制于这些信息实际中常常拿不到。经典管线依赖自动估计的对应点，可在重复纹理和大视角变化下恰恰最不可靠。作者自测的 Hard3DBench 统计显示：困难场景下预训练 DUSt3R 的中位旋转误差从常规基准的 1.1° 恶化到 12.0°，说明失败普遍且严重，而标准评估的聚合指标完全掩盖了这类灾难性失败。

本文的目标是目标是把前馈3D重建变成可交互纠错的系统：当用户对重建不满意时，只需在两张图上点出少量跨视图对应点（哪怕 1 个），模型就在下一次前向传播中吸收这些几何约束，显著修正位姿与几何，全程不做测试时微调或逐场景优化。量化目标包括：无点击时与重训 DUSt3R 基线性能持平（适配器退化为恒等映射 $G'_v=G_v$）；在自建 Hard3DBench 上用 1–8 个真值对应点将 mAA@30° 相比基线提升约 1.3 至 9.9 个百分点；在 100 对人工标注对应点的真实评测中把中位旋转误差从 17.30° 降到 8.78°、mAA@30 从 36.2 提到 56.2；同时保持一次前向的效率，不增加输入分辨率或训练数据。

与已有工作不同的是，已有的条件化前馈重建（Pow3R、G-CUT3R、Rig3R、Mono3R、MapAnything、Any4D）全部聚焦场景级先验——内参、位姿、深度图、多机位元数据——它们能提升度量精度，却无法解决感知混淆：两个像素看起来相同但3D位置不同的问题。作者抓住的切入点是：稀疏跨视图对应点正是直接消除几何歧义的证据，几个点对就能约束对极几何、解开深度歧义、破除对称镜像；而交互式视觉系统（SAM 点击分割、DragGAN/DragDiffusion 拖拽编辑）早已证明人类点击是高效提示，却从未进入前馈3D重建。CLICK3R 把两条线接起来：像 SAM 用点击提示分割那样，用对应点点击提示重建，据作者称这是首个交互式双目前馈3D重建工作。

核心方法

直觉上，CLICK3R 给 DUSt3R 装了一个「听众接口」：平时模型自己看图猜几何，猜错了用户点几个点告诉它「这两个像素是同一个3D点」，模型下一轮就把这些点当作强几何约束重新推理。技术上，CLICK3R 以 DUSt3R 为骨干：共享 ViT-Large 编码器（$D_{enc}=1024$，24 层）分别编码两图，非对称解码器（$D_{dec}=768$，每支路 12 层，含跨视图交叉注意力）输出稠密点图与置信度。在图像 token 投影到解码器维度之后、第一个解码块之前，插入轻量的对应点适配器：用户点击先经对应点分词器编码为 token，再通过受 SAM 启发的双向注意力与两视图稠密图像 token 交换信息，改写解码器输入特征 $G_v$。基座与适配器用模拟人类点击在 DUSt3R 同款3D数据集上端到端联合训练，训练时点击数量随机采样形成课程，使模型能适应不同点击稀疏度。无点击时适配器退化为恒等映射，行为与基线完全一致。

核心创新是「对应点提示」：把用户提供的稀疏跨视图对应点当作一种新的提示模态，经交叉注意力注入前馈重建网络——既不像测试时优化那样改权重，也不像 Pow3R 系列那样注入场景级先验。本质区别有三。其一，对应点是几何硬约束：$K$ 个点对直接约束对极几何与尺度，能消除感知混淆，这是内参、深度等场景级先验做不到的。其二，注入方式是前馈的：点击经分词器变成 token 后与图像 token 做双向注意力，一次前向传播完成纠错，完全保持前馈范式的效率，没有任何逐场景迭代。其三，通过随机采样点击数量的课程训练，模型学会在不同点击稀疏度下工作，且 $K=0$ 时适配器退化为恒等映射，保证无提示不掉点。这与 SAM 用点击提示分割同构，但提示信号从语义类别换成了几何对应关系，据称是首个交互式双目前馈3D重建工作。

方法步骤详情

流程分四步。①用户在图像对上点出 $K$ 个对应点；共享 ViT 编码器提取两视图 patch token 并投影为解码器特征 $G_v$。②对应点分词器把点击编码为 token：坐标归一化后用 SAM 式随机傅里叶特征编码位置（保留亚像素精度），再加视图嵌入与配对嵌入，得 $t_v^i=\mathrm{e}_{pos}+\mathrm{e}_{img(v)}+\mathrm{e}_{pair(i)}$。③两视图各有独立的两层双向注意力适配器 $A_1,A_2$（共享分词器），每层依次做提示自注意力、prompt→image 交叉注意力 $\mathrm{Attn}(T_v,G_v,G_v)$、提示 MLP、image→prompt 交叉注意力 $\mathrm{Attn}(G_v,T_v,T_v)$，共用傅里叶位置编码对齐坐标系；输出 $G'_v=A_v(G_v,T_v,pos_v)$ 送入原解码器输出点图与置信度。④训练时从真值几何采样互可见的模拟点击、课程采样点击数量，用置信度加权损失 $\mathcal{L}=\sum_{v}\sum_{x} C_v(x)\|\hat{X}_v(x)-X^{*}_v(x)\|^2-\alpha\log C_v(x)$（$\alpha=0.2$，尺度不变）端到端联合训练。

技术新颖性

新颖性分三层。模态层面：此前条件化前馈重建都用场景级先验——Pow3R 条件内参/位姿/深度、G-CUT3R 条件相机与深度、Rig3R 条件多机位元数据、Mono3R 条件单目深度、MapAnything 统一多种输入、PromptDA 用稀疏 LiDAR 点提示深度——CLICK3R 首次把「跨视图点对应」作为提示模态，直接针对感知混淆这一上述方法无法解决的问题。机制层面：注入机制借鉴 SAM 的提示式双向注意力，但把「点→掩码」的语义提示改为「点对→几何约束」，并与 DUSt3R 的非对称结构对齐——两视图独立适配器、共享分词器、统一傅里叶位置坐标系，使稀疏点与稠密 token 能直接比较空间位置。训练层面：消融显示从 CroCo v2 初始化端到端训练最优（三基准与 Hard3DBench 平均 mAA@30 达 75.1%），优于微调 DUSt3R 的 72.3% 和冻结骨干只训适配器的 71.2%，证明骨干必须与对应点条件化推理共同适配，即插即用式适配器不足以发挥该模态的价值。

**Figure 2**: CLICK3R architecture. A shared ViT encoder processes the two input images. Correspondence prompts are tokenized ... updates the decoder-input features for each view.

实验结果

五组实验环环相扣。标准基准（CO3D/ScanNet++/ARKitScenes）上，无提示 CLICK3R 与重训 DUSt3R 持平（mAA@30°：84.41 vs 84.33、89.87 vs 90.81、84.27 vs 82.71），说明接口不掉点；单个精选对应点分别 +1.4、+0.9、+3.2；grid oracle 单点把 ARKitScenes 从 84.27 拉到 92.75（+10.0），证明提示位置至关重要——位姿大涨而点图误差仅 0.157→0.146，提示主要重塑场景整体配置。Hard3DBench 上收益随点击数单调增长：2 视图分布内集 mAA@30 从 56.1 升到 61.8（8 点，+5.7），分布外集 52.6→62.4（+9.8）；5 视图分布内集 39.4→49.3（+9.9），点图误差 2.131→1.525。人工标注评测最关键：100 对分布外困难图像、平均每对 3.8 个点击，中位旋转误差 17.30°→8.78°，mAA@30 36.2→56.2（+20.5），RRA@15° 47%→69%，恢复随机真值 4 点 oracle（59.2）改进间隙约 96%，证明模拟点击训练能迁移到真实人类交互。

**Table 1**: Standard benchmark results on held-out splits of CO3D, ScanNet++, and ARKitScenes.

**Table 2**: Hard3DBench results on the 2-view (left) and 5-view (right) subsets.

**Table 3**: Human-labeled correspondence evaluation. 100 out-of-distribution pairs with human-annotated correspondences.

**Figure 4**: Qualitative comparison. Each example features challenging geometry, such as large baselines, limited co-visibility, or substantial viewpoint changes.

查看结构化数据

任务	指标	本文	基线	提升
标准双目重建（ARKitScenes）	mAA@30°	CLICK3R（grid oracle，单点）92.75	DUSt3R（重训）84.27	+10.0
标准双目重建（CO3D）	mAA@30°	CLICK3R（grid oracle）88.21	DUSt3R（重训）84.33	+3.9
Hard3DBench 2视图分布外	mAA@30°	CLICK3R（8 个真值点）62.4	DUSt3R（重训）52.6	+9.8
Hard3DBench 5视图分布内	mAA@30°	CLICK3R（8 个真值点）49.3	DUSt3R（重训）39.4	+9.9（点图误差 2.131→1.525）
人工标注对应点评测（100 对分布外困难图像）	medRRE / mAA@30°	8.78° / 56.2（平均 3.8 个人工点击）	CLICK3R 无提示 17.30° / 36.2；随机真值 4 点 oracle 8.40° / 59.2	medRRE −8.52°、mAA@30 +20.5，恢复 oracle 改进间隙约 96%
Hard3DBench 2视图分布内	mAA@30°	CLICK3R（8 个真值点）61.8	DUSt3R（重训）56.1	+5.7

局限与改进

作者承认存在局限并给出失败案例（附录 H、J）。首先，收益强烈依赖点击位置：grid oracle 与随机单点的差距高达 +10.0 vs +3.2（ARKitScenes mAA@30），普通用户未必知道该点哪里，实际增益可能介于两者之间且方差大。其次，绝对水平仍受输入分辨率制约：主实验均在 224×224 下进行，与 518 原生分辨率的 VGGT/Pi3 相比仍有差距（Hard3DBench 2 视图分布内 VGGT@518 为 63.7 vs CLICK3R 61.8）。第三，点图误差改善小于位姿改善（grid oracle 点图误差仅 0.157→0.146），说明提示主要纠正全局配置，局部表面精度提升有限。第四，扰动超过 8 像素（半个 patch）后性能明显退化，点击不准反而可能误导模型。第五，多视图支持是间接的：5 视图靠 DUSt3R 全局对齐协议在 $\binom{5}{2}$ 个成对预测上拼合，误差会累积，未原生支持 VGGT 类多视图模型。第六，模拟点击依赖真值深度与位姿来生成并筛选互可见性，限制了训练数据范围，且与真实点击分布仍有差距。

独立分析的弱点

第一，「点哪里」缺乏引导：oracle 实验证明位置决定收益（ARKitScenes 单点 +10.0 vs 随机 +3.2），但真实用户面对错误重建往往不知道哪个区域歧义最大；改进方向是让模型输出不确定性热图、主动建议最有信息量的点击位置，形成「模型问、用户答」的闭环。第二，点击错配风险：对称场景中用户自己也可能点错对应，扰动实验显示 8 像素以上误差即显著伤害性能；可引入对应点一致性校验，或允许标记「不确定」点击让适配器学习降权——点击处置信度随扰动下降的现象说明模型已有可靠性感知，可作为坏点击检测信号。第三，只覆盖双目支路：5 视图靠成对预测加全局对齐拼合，误差随视图数累积；自然延伸是把对应点适配器移植到 VGGT/Pi3 等原生多视图架构。第四，交互是一轮式的：论文只评估单次注入，未研究用户根据新结果追加或修改点击的多轮收敛行为，也没有点击删除/修正机制。第五，模拟点击训练时用真值可见性筛选，真实场景遮挡边界附近点击可能落在互不可见区域，训练与使用分布存在差距，可用自动匹配器预筛或数据增强缓解。

未来方向

作者希望「对应点提示」成为交互式3D重建的通用方向，类比 SAM 之于2D分割。可延伸方向包括：把对应点适配器推广到多视图与视频模型（VGGT、CUT3R、Fast3R），乃至动态4D场景（结合 Any4D 一线的多模态传感器输入）；结合不确定性估计实现主动提示——模型自动建议最有信息量的点击位置，最小化用户努力；扩展交互形式到线段、区域框、草图等更丰富的对应提示；将人工点击与自动匹配器（如 MASt3R 稠密匹配）混合，只在自动匹配失败处请求人工介入；探索以前馈提示替代微调的在线场景自适应（对比 LoRA3D 的测试时优化路线）；以及把 Hard3DBench 扩充为社区标准困难基准，纳入透明/反光物体、运动模糊等更多失败类别。另外，扰动下置信度自发下降暗示模型内化了可靠性估计，值得作为校准与坏点击自动检测的信号深入研究。

复现评估

项目主页 uva-computer-vision-lab.github.io/click3r 已存在，属 NeurIPS 2026 论文，通常配套开源，但正文未明确声明代码与权重已发布，动手前需先确认。数据全部公开：训练用 CO3D、BlendedMVS、Habitat、WildRGB-D 等 DUSt3R 同款3D数据集；Hard3DBench 分布内取这四套数据的 held-out 划分，分布外取 7Scenes、DTU、ETH3D、NRGBD、ScanNet；100 对人工标注对应点需自建标注界面（附录给出截图，标注者无需深度/位姿先验）。算力方面：骨干为 ViT-Large，须从 CroCo v2 初始化端到端重训，作者致谢 Anvil、Delta/DeltaAI 等超算，完整复现训练需多卡高端 GPU 数天量级；但若只做推理加点击交互（例如接入自己项目做人工纠错），单卡即可运行。难点集中在训练管线细节（点击课程采样、互可见性筛选，附录 B）与 Hard3DBench 筛选协议（附录 C）的复刻，总体复现难度中等偏高。

Click3R：基于稀疏对应点点击的交互式双目3D重建 Click3R: Interactive Stereo 3D Reconstruction with Sparse Correspondence Clicks