← 返回 2026-05-22

SceneAligner：面向真实场景的 3D 基座平面图定位 SceneAligner: 3D-Grounded Floorplan Localization in the Wild

Junhyeong Cho, Ruojin Cai, Hadar Averbuch-Elor 📅 2026-05-21 👍 8 2026-07-13 08:36
3D场景重建 LoRA微调 平面图定位 视觉基础模型 跨模态对应
arXiv HuggingFace PDF

将平面图定位重构为3D重建与密度图对齐，实现野外定位

前置知识

3D 基础模型 (3D Foundation Model)

如 π3、VGGT、DUSt3R 等，从无约束图像集合直接预测每像素的 3D 点云与相机相对位姿，省去传统 SfM 多阶段流程。本文用 π3 输出每像素 3D 点 $P_c^i$ 与映射到参考帧的相机位姿，作为整个管线的几何来源。

理解本文把定位重述为'重建+对齐'的关键，需要知道 3D 基础模型已能在野外大规模场景给出可靠几何重建。

跨模态特征匹配 (Cross-modal Correspondence)

在不同视觉模态间建立像素级对应关系。本文用 DINOv3 把密度图（俯视几何）与平面图（抽象线条图）嵌入共享特征空间，再用 RANSAC 从对应点回归 2D 相似变换 $M$。模态鸿沟越大匹配越欠约束。

理解为何纯照片↔符号平面图匹配会失败，以及密度图作为中间桥梁如何缓解这一欠约束难题。

LoRA 低秩适应

冻结预训练大模型权重，在 Transformer 注意力与 MLP 模块注入低秩可训练矩阵（秩 $r$、缩放 $?lpha$），用极少参数适配下游任务并保留预训练表征。本文取 $r=?lpha=16$、dropout 0.1。

理解如何在 DINOv3 上微调以学习跨模态对应，同时避免灾难性遗忘并显著节省显存。

RANSAC 与 2D 相似变换

RANSAC 通过随机采样内点集迭代估计鲁棒模型参数，剔除离群对应。2D 相似变换 $M\in\mathrm{Sim}(2)$ 由缩放 $s$、旋转 $R$、平移 $t$ 参数化，本文用它把重建场景对齐到平面图坐标系。

理解最终定位如何从带噪声的跨模态对应点稳健地回归出全局变换。

InfoNCE 对比学习

通过拉近正样本对、推远负样本对学习表征。本文用对称 InfoNCE 作为特征匹配损失 $\mathcal{L}_{feat}$，温度 $ au=0.07$，让对应的密度图/平面图特征相似度高于其他配对。

理解核心特征匹配目标的数学形式，是看懂损失设计的第一步。

研究动机

平面图定位（floorplan localization）旨在确定相机观测在 2D 建筑平面图中的位置，在导航、机器人、AR 中至关重要。现有方法（LASER、F3Loc、UnLoc、C3Po 等）几乎都假设受控的小尺度室内环境与精确矢量化平面图，通过对离散化位姿空间做穷举搜索来打分候选相机位置——例如一张 8m×10m、以 0.1m 与 10° 离散化的平面图会产生 80×100×36 个候选位姿。这些假设在历史地标、纪念碑等真实大规模建筑中迅速失效：平面图往往只是栅格化或符号化草图，建筑复杂度远超精心策划的基准，且视角与外观差异巨大。C3Po 试图直接学习照片与符号平面图间的对应，但由于极端视角/模态鸿沟，匹配高度欠约束，在 C3 野外测试集上联合角-位置召回仅 32.96%。

本文的目标是本文目标是突破上述假设，实现真正的'野外'平面图定位：给定一组完全无约束的网络照片集合与一张栅格化平面图，无需矢量化、无需离散位姿空间、无需相机高度先验，即可把每张图像的相机位姿定位到平面图坐标系。方法应在大规模室内外建筑（寺庙、教堂等）上稳定工作，并对稀疏输入（甚至单张图像）保持鲁棒。此外还要支持下游应用，例如把视觉互不重叠的室内外 3D 重建对齐到统一坐标系，从而把整栋建筑纳入同一全局坐标，服务于导航与数字孪生。

与已有工作不同的是，本文的独特切入角度是：把'定位'重新表述为'重建+对齐'问题，而不是在位姿网格上打分。借助 3D 基础模型（π3）从照片恢复重力对齐的 3D 场景，再正交投影成俯视密度图作为'平面图代理'，于是定位就降为密度图与平面图之间的 2D 相似变换估计。这一中间表示天然桥接了'无约束照片'与'抽象平面图'两个极端模态，从根本上缓解了 C3Po 直接跨模态匹配的欠约束难题，也绕开了对矢量化平面图与离散位姿空间的强依赖。

核心方法

直觉上，作者观察到：3D 基础模型现在能从网络照片可靠地重建大规模场景几何，而平面图本质是建筑的俯视结构图——那么只要把 3D 重建'压平'成俯视图，它就会长得像平面图，剩下就是把两张俯视图配准的几何问题。技术路线因此分三步：(1) 用 π3 重建相机坐标系下的 3D 点云与位姿，用 GeoCalib 估计重力并对齐到水平面；(2) 过滤离群点后正交投影得到 2D 密度图作为平面图代理；(3) 用微调后的 DINOv3 提取跨模态对应，通过 RANSAC 估计相似变换 $M\in\mathrm{Sim}(2)$ 把重建场景变换到平面图坐标系。整个流程优雅地把'照片定位'转化为'3D 几何对齐'。

核心创新在于'密度图作为跨模态桥梁'+'结构一致性约束的跨模态微调'。与 C3Po 直接在照片↔符号平面图间学习对应（模态鸿沟极大、欠约束）不同，本文先用 3D 重建得到一张与平面图同构的俯视密度图，再在这个相对窄的模态鸿沟上做特征匹配。更关键的是，单纯的点级特征匹配损失 $\mathcal{L}_{feat}$ 会让对应结构坍塌成退化的相似变换，因此作者额外引入坐标回归 $\mathcal{L}_{regr}$、拓扑保持 $\mathcal{L}_{topo}$、几何一致性 $\mathcal{L}_{geo}$ 三项正则：前者用可微 soft-argmax 实现亚像素精度，后两者利用'相似变换保持角度与距离比'的不变性，自监督地惩罚非刚性形变。

方法步骤详情

(1) π3 从无约束图像重建每像素 3D 点及映射到参考帧的相对相机位姿。(2) 重力对齐：GeoCalib 逐图估重力向量，变换到参考帧取 medoid 为稳健估计 $\mathbf{g}$，用 Gram-Schmidt 正交化使 $\mathbf{g}$ 对齐竖直 $y$ 轴，得到重力对齐点云。(3) 密度图：过滤低置信点、水平离群点与地板/天花板，保留墙体等竖直结构，正交投影到 $xz$ 平面统计网格点数，经 gamma 校正与归一化得俯视密度图 $D$。(4) 跨模态对应：冻结 DINOv3 ViT-B/16、注入 LoRA 作共享编码器，采样 $Q=1024$ 对真值对应，最小化加权损失 $\mathcal{L}=\sum_k\lambda_k\mathcal{L}_k$（$k\in\{feat,regr,topo,geo\}$，系数 $1,50,10,10$，$\tau=0.07$）。(5) 取置信度前 50% 且互为最近邻的可靠对应，RANSAC 解相似变换 $M$ 作用到点云与位姿。训练用课程学习逐步加入各损失、AdamW、单卡 A6000 约 2 天。

技术新颖性

新颖性体现在三方面。其一，问题重构：首次把平面图定位纳入'3D 基础模型重建 + 相似变换对齐'范式，绕开了矢量化平面图与离散位姿空间的强假设，直接吃原始栅格化平面图。其二，中间表示设计：密度图既是 3D 几何的降维投影，又天然形似俯视建筑图，作为'翻译器'把欠约束的照片↔平面图匹配转化为较易的密度图↔平面图匹配。其三，结构一致性微调：不盲目相信点级损失，而是用自监督的拓扑/几何不变性正则防止对应坍塌，并用 soft-argmax 把 patch 级量化误差（16×16 patch 约 ±8 像素）压到亚像素。这套设计让单张图像也能重建出足够结构、完成定位。

SceneAligner 流程：3D 重建→选择性投影得密度图→2D 相似变换对齐。
Figure 2: SceneAligner 流程：3D 重建→选择性投影得密度图→2D 相似变换对齐。
微调前后的 DINOv3 特征 PCA 可视化与真值对应。
Figure 3: 微调前后的 DINOv3 特征 PCA 可视化与真值对应。

实验结果

在 C3 野外测试集（清洗后保留 111/118 测试场景、共 574/597 场景，覆盖率 96.15%）上本文全面领先。Table 1 联合角-位置召回 @（30°,20%）达 73.58%，较最强基线 C3Po 的 32.96% 提升 123.24%，较裸 DINOv3 的 18.28% 提升 302.52%；角召回 @5° 达 65.91%（C3Po 24.45%）。Table 2 的 RMSE 仅 0.0776，而 C3Po 为 0.1780；PCK@1% 从 C3Po 的 9.06% 跃升至 20.42%。在合成室内 Structured3D（Table 3）上，尽管不用离散位姿空间、不做平面图预处理，联合召回 @（30°,1m）达 51.6%，超 UnLoc 的 37.6% 达 37.2%。稀疏性实验（Figure 5）显示单视图 Ours(=1) 已大幅领先 C3Po，Ours(≤30) 即与 150 视图持平；Table F.4 显示推理 143.7 ms/图，快于 C3Po 的 195.4 ms。

C3 上相机位姿估计：本文全面优于基线。
Table 1: C3 上相机位姿估计：本文全面优于基线。
C3 上对应估计：本文各 PCK 与 RMSE 均最优。
Table 2: C3 上对应估计：本文各 PCK 与 RMSE 均最优。
Structured3D 单视图室内定位。
Table 3: Structured3D 单视图室内定位。
野外定性对比：GT / Ours / C3Po / DUSt3R / LoFTR。
Figure 4: 野外定性对比：GT / Ours / C3Po / DUSt3R / LoFTR。
C3 上不同输入视图数的性能曲线。
Figure 5: C3 上不同输入视图数的性能曲线。
不同视图数下的野外平面图对齐可视化。
Figure 6: 不同视图数下的野外平面图对齐可视化。
室内外 3D 场景的对齐。
Figure 7: 室内外 3D 场景的对齐。
查看结构化数据
任务指标本文基线提升
C3 野外相机位姿估计 联合角-位置召回 @(30°,20%) 73.58% C3Po 32.96% +123.24%（绝对 +40.62 个百分点）
C3 野外跨模态对应估计 RMSE↓ 0.0776 C3Po 0.1780 / DINOv3 0.2624 误差相对 C3Po 降低约 56.4%
Structured3D 单视图室内定位 联合召回 @(30°,1m) 51.6% UnLoc 37.6% +37.2%
C3 像素级对应精度 PCK@1%↑ 20.42% C3Po 9.06% +125.4%（绝对 +11.36 个百分点）

局限与改进

作者承认方法依赖 3D 基础模型，重建几何误差会传播到密度图与对齐质量——Table F.1 量化显示单视图重建相对 150 视图伪真值的 Chamfer 距离高达 1.0346，远大于 10 视图的 0.0317。此外存在两类固有歧义（Figure G.1）：结构性歧义（密度图只覆盖局部如一道门，匹配到平面图多个相似结构）与对称性歧义（仅观测到十字结构的三个臂，导致 180° 朝向错配）。按场景类型看，Table F.2/F.3 显示外部场景准确率明显低于内部（联合召回 69.36% vs 84.89%），因外部重建更嘈杂、含远景背景点。我也观察到：方法对大场景需分块（>150 图分块），块间未显式联合优化；清洗 C3 时丢弃了 3.85% 场景，可能掩盖了真正困难样本的表现。

独立分析的弱点

第一，强依赖 3D 重建质量：π3/VGGT 在纹理稀疏、重复结构（玻璃幕墙、长走廊）场景易失败，错误几何无法补救——改进方向是把几何重建与对齐联合优化，让对齐损失回传指导重建。第二，全局上下文不足导致歧义：密度图偏局部时易多重匹配，可引入更全局的场景级语义先验（如房间功能分类）或多块密度图互相约束。第三，外部场景显著落后：远景背景污染密度图，可加深度/语义分割前置过滤天空与远景。第四，对称性歧义无显式处理：可利用相机朝向弱监督或建筑主轴方向偏好。第五，分块策略次优：块内对齐后块间未融合，大规模建筑可能累积漂移，宜用全局位姿图优化。第六，训练数据仅 C3 与 Structured3D 两类，跨域到非建筑（地铁、商场）平面图风格时泛化未知。

未来方向

作者明确提出的方向：提升对不完美重建的鲁棒性，并联合推理场景几何与平面图对齐。基于本文成果可延伸：其一，把密度图扩展为语义-几何联合代理，融入房间/门/窗类别以缓解歧义。其二，借鉴 SLAM 位姿图，做多块密度图的全局一致性优化，消除分块漂移。其三，把对齐的相似变换升级为可处理非刚性形变（建筑测绘误差、楼层非正交）的更通用模型。其四，把室内外 3D 重建联合对齐到统一坐标系（作者已展示 Figure H.1/H.2 的雏形），向'整栋建筑数字孪生'迈进。其五，迁移到平面图之外的俯视图（卫星图、消防疏散图）实现跨图源定位。其六，结合语言模型，用建筑名称/描述等文本先验缩小对称歧义候选。

复现评估

作者承诺代码与数据将公开（'code and data will be publicly available'），并附 viewer.html 做 360° 对齐可视化。附录 C 给出相当详尽的实现细节：编码器为 DINOv3 ViT-B/16、LoRA $r=\alpha=16$、dropout 0.1 注入注意力与 MLP；数据增广列出两个重建模型、两种预处理、$\rho_{conf}\in\{30,45,60,75,90\%\}$ 等全部超参，共生成 ~140K 多视图密度图 + ~140K 单视图密度图；训练用课程学习、混合分辨率（512/768/1024/1280）、AdamW $lr=10^{-4}$、batch 4、1 epoch、单卡 A6000 约 2 天。算力门槛中等。主要复现难点：(1) C3 数据集需作者的清洗脚本与内外部标签（多轮人工 + Qwen2.5-VL/CLIP 标注）；(2) π3 重建模型用的是文献[20]专门微调的权重，公开度待确认；(3) 真值对应的生成细节未完全展开。总体复现难度中等偏高。

论文图表

SceneAligner：给定野外图像集合与栅格化平面图，重建重力对齐 3D 点云并全局对齐到 2D 平面图。
Figure 1: SceneAligner：给定野外图像集合与栅格化平面图，重建重力对齐 3D 点云并全局对齐到 2D 平面图。

展示方法全貌：输入是 Doddabasappa 神庙（外部）与 Saint-Martin d'Agonac 教堂（内部）的图像集合加一张栅格化平面图，输出是重建的 3D 点云被对齐叠加到平面图上，证明方法能同时处理外部与内部大尺度场景。

一张图即可让读者抓住'定位=重建+对齐'的核心思想，并直观看到方法适用于真实地标建筑，奠定论文价值。

Table E.1: 损失设计消融。

逐步加入 $\mathcal{L}_{feat}, \mathcal{L}_{regr}, \mathcal{L}_{topo}, \mathcal{L}_{geo}$。仅 $\mathcal{L}_{feat}$ 联合召回 69.10%，加 $\mathcal{L}_{regr}$ 升至 70.60%，再加两项正则达 73.58%，RMSE 从 0.0900 降至 0.0776，证明结构一致性正则的必要性。

为'为何要四个损失'提供消融依据，是理解方法设计的关键表格。

Figure G.1: 失败案例：结构性歧义与对称性歧义。

(a) 结构性歧义：密度图仅覆盖一道门，匹配到平面图多个相似结构导致错配；(b) 对称性歧义：仅观测十字结构三臂，朝向可能与真值相差 180°。

展示方法固有局限，帮助读者理解何时会失效。

Table F.4: C3 上摊销推理时间。

分四阶段报告每图耗时：3D 重建、密度图、对应、相机位姿。C3Po 共 195.4 ms；本文 Ours(≤10) 仅 143.7 ms（最优点），Ours(=1) 196.4 ms，Ours(≤150) 223.4 ms（重建二次复杂度成瓶颈）。

证明方法不仅在精度上领先，在推理效率上也具优势，对落地重要。

Table F.2: 按场景视图类型（内/外部）的位姿估计。

内部场景联合召回 84.89%、外部 69.36%、整体 73.58%。角召回 @5° 内部 73.84% vs 外部 62.96%。

揭示外部场景因重建噪声/远景点而落后的弱点，对理解局限重要。