C-GenReg：基于多视角一致几何到图像生成与概率模态融合的训练自由三维点云配准

用世界基础模型把点云生成多视角一致RGB图，再与几何分支做概率融合，实现零样本点云配准。

前置知识

点云配准（Point Cloud Registration）

估计两组三维点云之间的刚体变换 $(R, t) \in SE(3)$，使源点云经旋转平移后与目标对齐。标准流程是「特征提取→特征匹配→RANSAC/鲁棒估计」三步。若已知 ground-truth 对应点集 $C^*=\{(p_i^*,q_i^*)\}$，则可通过闭式最小二乘解得最优变换。

这是本文要解决的核心问题，文章所有设计（生成图像辅助、概率融合）都是为了得到更可靠的对应点，从而更准确地估计刚体变换。

Vision Foundation Model（VFM）

在海量异构图像数据上预训练得到的通用视觉模型（如 DINOv2、MASt3R、RoMa），具备很强的跨域泛化能力。本文特别区分了「通用 VFM」（DINOv2，训练目标为自监督表征）和「任务专用 VFM」（MASt3R、RoMa，针对密集图像匹配微调），并证明后者在配准任务上优势巨大。

本文的整条生成-RGB 分支就是把 3D 问题「翻译」到 VFM 最擅长的 2D 图像域，VFM 的选择直接决定了几何-图像转换是否能产出高质量对应。

World Foundation Model（WFM）

在「世界尺度」视频/多视角数据上预训练的大模型（如 NVIDIA Cosmos-Transfer），能根据深度、分割、边缘等结构条件生成多视角几何一致的视频。本文用 Cosmos-Transfer-1-7B（Depth）从深度图序列生成对应的 RGB 视频。

WFM 是 C-GenReg 与 GPCR、ZeroMatch 等前作最关键的差异：WFM 天然具备多视角一致性，文章借此避免了对生成模型的任何微调。

RANSAC 与鲁棒姿态估计

RANSAC 通过随机采样最小子集（如 3 对点估刚体）并对所有候选点投票，找出局内点最多的变换。本文使用 SC2-PCR 作为鲁棒估计器，以减轻概率融合后残余的离群对应点对最终姿态的干扰。

概率融合得到的是带噪声的后验，仍然需要鲁棒估计器筛掉错误匹配；理解这一段才能明白「训练自由」并不等于「不做后处理」。

概率融合 Noisy-AND / Noisy-OR

贝叶斯框架下用条件独立假设把两模态对应后验合并为联合后验。Noisy-AND 强调「双模态都支持」才给高置信度，Noisy-OR 则是「任一模态支持即可」。C-GenReg 用 Noisy-AND 在概率空间融合两分支，保留各自分支的预训练归纳偏置。

这是文章的第二个核心创新，决定了「Match-then-Fuse」策略相较 GPCR 直接 concat 特征为什么能更鲁棒地保留每个分支的归纳偏置。

研究动机

现有学习式 3D 配准方法在跨传感器、跨密度、跨环境时泛化能力差。在 3DMatch 上训练、在 KITTI 风格的 LiDAR 上测试时，GeoTransformer 的平均 RRE 从 1.4° 飙升到 7.3°、RTE 从 4.0cm 涨到 4.1m；FCGF 在 Waymo 上的 1°/2°/5° 旋转精度从室内 90.4%/93.7%/94.8% 跌到 14.7%/27.7%/55.5%。本质原因是 3D 点云领域缺乏「foundation model」级别的通用骨干：FPFH/SHOT 手工描述子对噪声、密度、partial overlap 极度敏感，而 FCGF/Predator/RoITr/GeoTransformer 都依赖 3DMatch 训练集，对不同 LiDAR 光束模式与采样密度基本没有外推能力。与此同时，2D 图像域因为 DINOv2、SD、MASt3R、RoMa 等大规模预训练模型，已经基本解决了跨域问题——但这些 2D 强泛化能力目前不能直接被纯点云 pipeline 利用。

本文的目标是提出一个完全 training-free、plug-and-play 的点云配准框架：无需任何微调或重新训练，在室内 RGB-D（3DMatch、ScanNet）和户外 LiDAR（Waymo）三大基准上都拿到零样本 SOTA；具体指标上要求 3DMatch 平均 RTE 相对 GeoTransformer 减半，Waymo 1° 旋转精度从 ~17% 抬到 >60%，并首次让生成式配准框架在真实户外 LiDAR 上跑通。

与已有工作不同的是，已有生成式配准方法（GPCR、FreeReg、ZeroMatch）要么需要 fine-tune 才能强制多视角一致（GPCR 训练扩散模型约束跨视角），要么依赖真实 RGB 输入（FreeReg 用 SD 桥接 RGB 与 depth，ZeroMatch 需要真 RGB-D）。本文的切入点是「让 WFM 自己就解决多视角一致性」：用 Cosmos-Transfer 直接以「时间拼接的深度视频」为控制信号生成 RGB，wfm 内部预训练好的时序一致性先验保证跨视角几何与外观连贯，绕开了 fine-tuning；再加一个「Match-then-Fuse」后验融合层，把生成-RGB 分支与原始几何分支的对应点以概率方式结合，而非简单 concat，保留各分支的归纳偏置。

核心方法

直觉上可以这样理解 C-GenReg：当一个资深点云算法工程师遇到一对室内或户外点云，他先打印出一张对应深度图，再让一个「懂世界」的世界模型按深度脑补出多视角一致的真彩图，然后让一个专门做图像配对的视觉模型在新图上找密集对应——他相当于让 VFM 走了一条「迂回但更鲁棒」的路。同时，他也没有完全抛弃传统几何描述子，而是把几何分支的对应也保留下来，最后用贝叶斯公式把两边的「证据」综合，得到一个比任一单边都准的对应点置信度，再喂给 RANSAC/SC2-PCR 估刚体变换。整条管线所有模块（Cosmos-Transfer、MASt3R、GeoTransformer）都是冻结的预训练权重，没有任何反向传播。

与 GPCR 那种「fine-tune 扩散模型来强制多视角一致」的做法不同，C-GenReg 的本质创新是**用一个已经具备多视角先验的 WFM 来「零样本」提供几何到图像的迁移**——这是训练自由的根源。第二个本质差异是**后验概率融合代替特征拼接**：以往工作（GPCR、ZeroMatch）把不同模态的特征 concat 之后才匹配，concat 出来的特征空间与任何单一预训练模型的归纳偏置都不对齐，匹配质量受限于哪个分支特征维度更占主导；C-GenReg 在每个分支内部先用各自的预训练模型独立出 2D 和 3D 描述子、独立计算匹配似然，再用贝叶斯公式（条件独立下的 Noisy-AND）把两边的对应后验融合，每个分支的预训练结构原封不动，最终融合结果既不是 image-only 也不是 geometry-only，而是双模态证据的贝叶斯组合——这让「零训练」同时还「比任一单边都好」成为可能。

方法步骤详情

C-GenReg 分 4 步。（1）**几何到图像生成**：源/目标点云各挂虚拟相机渲染 50 帧深度，时间拼接送入冻结 Cosmos-Transfer-1-7B（CFG=7、35 步去噪、30fps），输出跨视角几何一致的 RGB 视频（纹理不必与真实一致）。关键 trick 是「时间拼接」而非「水平拼接」——前者贴近 WFM 训练分布，后者引入空间不连续（Fig. 5 沙发被错换）。（2）**VFM 特征与 2D→3D 抬升**：采 K=4 帧送冻结 MASt3R 做 16 对条件特征；借助相机内参抬到 3D 后用最近邻把体素下采样点云查询对齐（indoor 2.5cm / outdoor 5cm）。（3）**几何分支**：冻结 GeoTransformer 提描述子。（4）**Match-then-Fuse 概率融合**：两分支相似度后者取 K² 视角对最大值，τ=0.1 行 softmax 得模态后验，在条件独立假设与均匀先验下按 Noisy-AND 求 p^fuse，mutual NN 抽候选，SC2-PCR 估刚体。

技术新颖性

技术新颖性可总结为三点：第一是**「off-the-shelf WFM + 时间拼接」免去扩散模型微调**——前作 GPCR 必须对 SD/ControlNet 做 fine-tune 才能跨视角一致，FreeReg、ZeroMatch 又依赖真实 RGB；本文直接用 Cosmos-Transfer 在「时间拼接的深度视频」上做 zero-shot 推理，是把世界模型当作几何到图像的「无损翻译器」。第二是**后验概率融合 vs 特征级 concat**——GPCR/ZeroMatch 在特征空间做 concat，等于把两个独立预训练的特征空间强行压扁再匹配，破坏了各自归纳偏置；C-GenReg 的 Noisy-AND 融合在概率空间进行，每个分支的 pretrained 权重可以原封不动冻结使用，并自然地为每个对应点提供校准后的置信度。第三是**「LiDAR→虚拟 f-θ 相机→深度图→WFM→RGB」** 的工程化适配，使整套生成式 pipeline 第一次能跑在真实户外 LiDAR 上（Waymo），填补了已有方法在户外传感模态上的空白。

**Figure 1**: C-GenReg: A training-free point cloud registration framework. The pipeline operates in two parallel branches: (1) Generated-RGB Branch - a World Foundation Model generates RGB views that are geometrically aligned with the input source and target point clouds and visually consistent across the two viewpoints; a task-specific Vision Foundation Model extracts dense image features and estimates RGB-based correspondences. (2) Geometric Branch - a geometric feature extractor encodes structural cues directly from the raw 3D point clouds and independently produces geometry-based correspondences. The two correspondence probability maps are then fused using our 'Match-then-Fuse' probabilistic fusion to yield the final correspondence set for estimating the rigid transformation aligning the two point clouds.

**Figure 2**: C-GenReg Overview: A training-free, zero-shot point cloud registration framework with two parallel branches. (1) Generated-RGB Branch - source and target point clouds are each represented as depth-frame sequences, temporally concatenated and processed by a frozen World Foundation Model to generate RGB views that are geometrically aligned and appearance-consistent across views. A subset of K frames per domain is fed to a frozen, task-specific Vision Foundation Model (VFM) to extract dense pixel-level features, later lifted to 3D using the original depths. (2) Geometric Branch - extracts dense geometric features directly from the raw point clouds using a pretrained geometric feature extractor. Each modality yields a posterior correspondence map, pimg and pgeo, which are fused via the proposed 'Match-then-Fuse' probabilistic module into a unified posterior pfuse, from which the final rigid transformation is estimated.

**Figure 4**: Prompt robustness on 3DMatch. Relative rotation (RRE,°) and translation (RTE, cm) errors under different prompt types.

**Figure 5**: WFM Input Formatting. (a) Input depth maps of the source and target views. (b) Feeding the pretrained WFM with horizontally concatenated depth inputs causes cross-view inconsistencies, e.g., the sofa is mistakenly replaced in the generated source image. (c) Using temporal concatenation produces RGB outputs that are geometrically coherent and appearance-consistent between the two views.

**Figure 6**: Effect of View Selection (K). Registration performance measured by Relative Rotation Error (RRE) and Relative Translation Error (RTE) as a function of the number of selected views K. Performance saturates for K ≥4, indicating that only a few representative views are sufficient for stable registration.

**Figure 7**: C-GenReg LiDAR Input Pipeline: (a) A virtual camera is configured into the LiDAR scan. (b) The LiDAR points are projected into a depth image. (c) The resulting depth map is fed into the generative model to generate the corresponding RGB frame.

实验结果

**3DMatch**：旋转 5/10/45° 精度 94.2/97.5/98.3%，mean RRE 3.8°；平移 5/10/25cm 精度 57.5/82.0/95.7%，mean RTE 11.9cm。相比 GPCR（4.5°/12.5cm）与 GeoTransformer（12.0°/24.6cm），平均 RTE 几乎腰斩。**ScanNet 跨域**：Hard 88.7/92.9/94.9% 旋转、7.8°/23.0cm；SuperGlue 89.5/92.0/94.6% 与 8.4°/32.2cm，显著高于 FCGF（78.9/84.2%）。**Waymo（户外 LiDAR）**：1/2/5° 旋转精度 61.8/76.2/86.3%，mean RRE 2.4°、RTE 1.7m。**消融**：DINOv2 mean RRE 27.4°/RTE 73.3cm；换 RoMa/MASt3R 后腰斩。**低重叠**：LoWaymo 上 RRE 从 19.72°/9.04m 骤降到 4.95°/1.66m。

**Table 1**: 3DMatch Benchmark. Rotation and translation accuracy (% of pairs within RRE/RTE thresholds in deg and cm respectively) and mean/median error across different methods. RGB-D baselines are included as complementary reference. Best in bold, second-best in underlined.

**Table 2**: ScanNet Benchmarks. Rotation and translation accuracy (% of pairs within RRE/RTE thresholds in deg and cm respectively) and mean/median error on the ScanNet Hard and ScanNet SuperGlue Split benchmarks. Best results are in bold, second-best underlined.

**Table 3**: Waymo Outdoor Registration Benchmark. Rotation (deg) and translation (m) accuracy/error. Best results are in bold.

**Table 4**: Ablation Study on the 3DMatch Benchmark. Top: impact of different Vision Foundation Models (no geometric features or fusion). Bottom: impact of geometric feature extractors and fusion operators (using MASt3R as the VFM). Best in bold.

**Table 5**: Runtime Analysis. Runtime per registration problem measured on a single NVIDIA RTX A6000 GPU.

**Figure 3**: C-GenReg qualitative example on 3DMatch. Generated source and target images with a subset of matched points (color-coded correspondences), and the corresponding matches visualized on the input point clouds. The resulting rotation (RRE) and translation (RTE) errors are reported.

**Figure 8**: Matching Performance Comparison of Noisy-AND vs. Noisy-OR. Precision–recall curves comparing the two probabilistic fusion operators on the point-matching task (a match is correct if within 5cm under the ground-truth transformation). Noisy-AND consistently achieves higher precision at similar recall rates.

查看结构化数据

任务	指标	本文	基线	提升
3DMatch 室内点云配准	RRE 5°/10°/45° 精度（%）+ 平均/中位 RRE	94.2 / 97.5 / 98.3；mean 3.8° / median 1.3°	GPCR 94.3 / 96.7 / 98.1；mean 4.5° / median 1.4°；GeoTransformer 88.9/91.8/93.3；12.0°/1.4°	RRE 5° 精度与 GPCR 持平（差 0.1pp），平均 RRE 降 0.7°；相对 GeoTransformer 平均 RRE 降 8.2°、5° 精度升 5.3pp
3DMatch 室内点云配准	RTE 5cm/10cm/25cm 精度（%）+ 平均/中位 RTE	57.5 / 82.0 / 95.7；mean 11.9cm / median 4.3cm	GPCR 54.3/81.5/93.1；12.5cm/4.7cm；GeoTransformer 59.8/81.0/90.1；24.6cm/4.0cm	相对 GPCR 5cm 精度 +3.2pp、平均 RTE -0.6cm；相对 GeoTransformer 平均 RTE -12.7cm（腰斩）
3DMatch（真 RGB Oracle 上界）	RRE/RTE 5°/5cm 精度 + 平均	95.1 / 99.6 / 99.8；mean 2.1° / 7.3cm	ZeroMatch 93.5/97.1/98.4；3.6°/10.8cm（需真 RGB）	5cm 精度 +9.4pp、平均 RTE -3.5cm，验证 pipeline 离真实 RGB 上界已不远
ScanNet Hard 跨域（未在 ScanNet 训练）	RRE 5°/10°/45° + RTE 5cm/10cm/25cm	88.7 / 92.9 / 94.9；61.8 / 79.8 / 88.1	GPCR 82.9/90.0/94.4；56.4/73.0/82.7；FCGF 78.9/84.2/87.5；55.3/70.7/79.7	5° 精度 +5.8pp（vs GPCR）、+9.8pp（vs FCGF）；5cm 平移精度 +5.4pp/+6.5pp
ScanNet SuperGlue 切分	RRE 5°/10°/45° 精度 + 平均	89.5 / 92.0 / 94.6；mean 8.4°	RoITr 88.4/91.2/93.2；mean 11.1°；Predator 82.0/88.7/92.2；12.5°	5° 精度 +1.1pp（vs RoITr），平均 RRE -2.7°
Waymo 户外 LiDAR 零样本配准	RRE 1°/2°/5° 精度 + 平均 RRE/RTE	61.8 / 76.2 / 86.3；mean 2.4° / 1.7m	GeoTransformer 17.0/39.6/80.8；7.3°/4.1m；Predator 21.0/49.0/65.1；10.0°/4.9m；FCGF 14.7/27.7/55.5；15.4°/7.4m	1° 精度 +44.8pp（vs GeoTransformer），平均 RRE -4.9°、RTE -2.4m，是首个能在 Waymo 工作的生成式方法
Lo3DMatch 低重叠室内	平均 RRE / RTE	14.57° / 45.49cm	GeoTransformer 21.10° / 53.46cm	RRE -6.5°（约 -31%）、RTE -7.97cm（约 -15%）
LoWaymo 低重叠户外	平均 RRE / RTE	4.95° / 1.66m	GeoTransformer 19.72° / 9.04m	RRE -14.77°（约 -75%）、RTE -7.38m（约 -82%），低重叠下提升尤为显著

局限与改进

作者承认的局限：（1）**WFM 耗时极高**——单次配准 508.1s，其中 WFM 占 507s（VFM 0.97s + 几何 0.075s + 姿态 0.066s，Tab. 5），援引 Cosmos 蒸馏可压到 72×（~7s），但当前仍不适合实时应用。（2）**Prompt 对语义错误敏感**——「snowy forest」描述室内点云让 RRE 从 ~1° 飙升到 13°（Fig. 4），部署时需至少粗粒度场景类别先验。（3）**生成图与真图存在分布偏移**——Oracle 比生成图版仍优 1.7cm 平均 RTE。（4）**GPCR 代码不可得**——Waymo、ScanNet SuperGlue 上无法直接对比 GPCR。我的额外观察：（5）**对 LiDAR 安装姿态敏感**——Waymo 上 f-θ 虚拟相机的朝向/视场对结果影响很大，稀疏 LiDAR（VLP-16）或 360° 多相机拼接的稳健性仍待验证。（6）**Noisy-AND 偏保守**——P-R 曲线（Fig. 8）显示其 recall 略低于 Noisy-OR，可能漏掉一些「只有一边很确信」的有效匹配。

独立分析的弱点

**（1）WFM 是性能也是瓶颈**：当前 507s/次与「plug-and-play 训练自由」之间存在张力，SLAM/AR/自动驾驶里程计都等不起 8 分钟。改进方向：替换更轻量 WFM（蒸馏 Cosmos-Lite、LVDM），或把 WFM 推理改为「每张深度图缓存一次特征」再做检索式匹配。**（2）单虚拟相机对户外稀疏 LiDAR 不够鲁棒**：360° 视角信息投影到单深度图时大量丢失。改进方向：构建 4-8 个 f-θ 虚拟相机拼接 360° 深度视频，再跨相机融合对应。**（3）条件独立假设是 Noisy-AND 的脆弱性**：生成 RGB 完全由输入深度决定，$S^{img}$ 与 $S^{geo}$ 在几何区域高度相关，会让双证据增益被高估。改进方向：学非平凡依赖矩阵 $\rho$ 修正乘积项，或做轻量 corrector。**（4）Prompt 鲁棒性与 Noisy-AND 偏保守**：前者可用 LLM 自动生成 coarse prompt 解决；后者用自适应阈值——Noisy-AND 候选 < 阈值则退回 Noisy-OR。

未来方向

**作者提出的方向**：（a）把整套 pipeline 蒸馏成可端到端部署的轻量模型，援引 [15] 把 WFM 阶段压到 7s；（b）拓展到 360° LiDAR 多相机配置，验证户外通用性；（c）研究 prompt-free 或 zero-prompt 的 WFM 配置，进一步消除 prompt 依赖。**基于成果可延伸的方向**：（d）把「几何→图像→VFM 匹配」范式推广到其他 3D 任务（3D 目标检测、跨模态分割、3D 场景流估计）；（e）将 Match-then-Fuse 后验融合框架推广到 3D 之外的跨模态场景（RGB-D 语义分割、SAR-光学图像配准）；（f）探索 Noisy-AND/OR 的自适应选择机制，根据局部匹配质量动态切换；（g）把 C-GenReg 接到 3D 重建/NeRF 流水线中，把注册结果作为多视角监督信号——对低成本消费级 LiDAR（如 iPhone LiDAR）的 3D 扫描可能很有价值。

复现评估

**代码与数据**：仓库 https://github.com/yuvalH9/CGenReg；WFM 用 NVIDIA 公开 Cosmos-Transfer-1-7B（Depth）与 -Sample-AV（LiDAR），VFM 用 MASt3R 公开权重，几何用 GeoTransformer 的 3DMatch 与 KITTI checkpoint。**算力**：单卡 RTX A6000（48GB）跑通；Cosmos-7B + MASt3R-L 峰值显存 24-32GB。**复现难度**：中等偏低——核心是 WFM 推理而非模型实现。难点：(1) Cosmos depth control signal（CFG=7、35 步去噪、30fps）；(2) f-θ 虚拟相机内参需从 LiDAR 标定换算；(3) MASt3R 16 对条件特征 K² 聚合需 K=4 stride。**数据**：3DMatch/ScanNet 申请下载，Waymo 官方注册；C-GenReg 零样本。**陷阱**：LiDAR 用 f-θ 非标准 pinhole；safeguard 帧数对稳定很重要。

C-GenReg：基于多视角一致几何到图像生成与概率模态融合的训练自由三维点云配准 C-GenReg: Training-Free 3D Point Cloud Registration by Multi-View-Consistent Geometry-to-Image Generation with Probabilistic Modalities Fusion