PLANING：一种用于流式3D重建的松耦合三角形-高斯框架 PLANING: A Loosely Coupled Triangle-Gaussian Framework for Streaming 3D Reconstruction
提出三角形-高斯混合表示，实现流式3D重建中几何精度与渲染质量的解耦优化
前置知识
3D Gaussian Splatting (3DGS)
3DGS是一种显式的辐射场表示方法，使用各向异性的三维高斯基元来表示场景。每个高斯基元由位置、协方差矩阵（控制形状和方向）、颜色（球谐系数）和不透明度参数化。渲染时通过可微分的溅射（splatting）将3D高斯投影到2D图像平面，实现高效的光栅化。相比NeRF的隐式表示和逐光线采样，3DGS的显式表示支持实时渲染和更直观的场景编辑。
本文方法建立在3DGS基础上进行改进，理解3DGS的表示方式和渲染机制是理解本文松耦合设计的前提。
流式重建 (Streaming Reconstruction)
流式重建指在接收单目图像序列的同时实时进行3D场景重建，无需预先采集所有数据。系统需要同时完成相机位姿估计（前端跟踪）和场景建图（后端优化），通常采用关键帧选择、增量式原语初始化等策略。与离线的先采集后处理范式相比，流式重建对效率和内存管理有更严格的要求。
本文的核心贡献之一是设计了高效的流式重建框架，需要理解流式处理的挑战和约束。
可微渲染 (Differentiable Rendering)
可微渲染是指渲染过程对场景参数（如几何、外观）可微，允许将渲染损失的梯度反向传播到场景表示的参数上。在3DGS中，通过alpha混合实现可微渲染：最终像素颜色是沿视线上各高斯基元贡献的加权和，权重由不透明度和深度顺序决定。这使得可以用图像重建损失直接优化场景参数。
本文的训练策略依赖可微渲染实现几何和外观的联合优化，理解梯度传播机制对理解方法设计至关重要。
SLAM (Simultaneous Localization and Mapping)
SLAM是同时定位与地图构建的缩写，指机器人或设备在未知环境中同时估计自身位姿和构建环境地图的问题。视觉SLAM使用相机图像作为输入，通常包含前端（帧间跟踪、关键帧选择）和后端（全局优化、回环检测）两个模块。近年来，将神经辐射场或3DGS集成到SLAM框架中成为研究热点。
本文的流式重建框架借鉴了SLAM的前端-后端架构设计，理解SLAM有助于把握整体系统设计。
三角形原语 (Triangle Primitives)
三角形原语是计算机图形学中最基本的几何表示单元，由三个顶点定义一个平面片。本文提出可学习的三角形原语，其顶点位置、不透明度、锐度等参数可以通过梯度下降优化。三角形具有明确的边界和法线，天然适合表示室内场景中常见的平面结构。与高斯基元相比，三角形能提供更清晰的几何边界。
三角形原语是本文的核心创新之一，用于显式建模场景几何，与神经高斯形成松耦合的混合表示。
研究动机
现有基于3DGS的流式3D重建方法面临一个根本性矛盾：几何精度与渲染质量难以兼顾。具体而言，3DGS基元虽然能高效建模视角相关的外观，但缺乏明确的结构边界，难以恢复连贯的表面几何。为了补偿几何缺陷，这些方法往往依赖大量基元，导致显著的冗余——例如在ScanNetV2数据集上，2DGS需要超过119万个基元，训练时间长达10.9分钟。更严重的是，优化高斯以重现输入视图本质上会偏向外观学习，牺牲几何一致性，特别是在稀疏观测或新视角下。这种几何-外观的耦合导致流式重建中出现漂移、冗余和不稳定性，限制了方法在大规模场景和实时应用中的可扩展性。
本文的目标是本文旨在设计一种能够同时实现高几何精度、高保真渲染和计算效率的流式3D重建方法。具体目标包括：（1）将密集网格Chamfer-L2距离相比PGSR降低18.52%；（2）渲染PSNR超越ARTDECO 1.31dB；（3）在ScanNetV2上实现场景重建时间低于100秒，比2D Gaussian Splatting快5倍以上；（4）保持原语数量的紧凑性，使系统能够扩展到大规模场景。这些目标需要在不牺牲渲染质量的前提下实现几何精度的提升。
与已有工作不同的是，本文的独特切入角度在于对几何和外观的显式解耦。与现有方法使用单一表示同时承担几何和外观建模不同，作者观察到：（1）三角形具有明确的边界和平面特性，天然适合几何建模；（2）高斯基元擅长视角相关的外观编码，但缺乏结构约束。基于这一洞察，本文提出松耦合的混合表示——三角形作为几何的结构锚点提供稳定的几何约束，而神经高斯从三角形解码外观，两者通过特征传递建立协同关系但又保持各自独立的优化路径。这种设计使得几何和外观可以分别针对各自的目标函数进行优化，避免了相互干扰。
核心方法
PLANING的方法可以用一个类比来理解：想象建造一座房子，三角形原语就像是钢筋骨架，提供稳定的结构支撑；而神经高斯就像是墙面涂料，负责外观呈现。两者虽然紧密配合，但各自独立——骨架决定房子的形状，涂料决定房子的外观，修改涂料不会影响骨架的稳定性。技术路线上，方法分为三个层次：（1）表示层：定义可学习三角形原语和神经高斯的参数化方式及其交互机制；（2）框架层：设计包含前端跟踪、后端优化和映射器的流式重建系统；（3）应用层：支持平面提取、密集网格重建和下游任务。
本文最核心的创新是松耦合的三角形-高斯混合表示。与现有方法的本质区别在于：（1）几何-外观解耦——三角形显式建模场景几何，高斯从三角形特征解码外观，两者通过共享特征但独立优化实现松耦合；（2）协同机制——三角形作为稳定的结构锚点抑制漂移和冗余，而通过高斯反向传播的渲染梯度可以在不违反结构约束的前提下精细优化几何；（3）灵活的高斯宿主——每个三角形可以关联可变数量的高斯（Kmin到Kmax），使表示能够适应局部场景细节。这种设计解决了传统方法中几何-外观优化相互干扰的根本问题，使系统能够同时追求几何精度和渲染质量。
方法步骤详情
方法包含以下关键步骤：（1）三角形原语定义：每个三角形由三个可学习顶点参数化，定义局部坐标系用于高效渲染，引入边缘保持贡献函数 $\omega(\hat{x})$ 控制边界锐度；（2）神经高斯关联：每个三角形关联24维上下文特征，高斯基元从三角形位置解码，包含可学习偏移、球谐系数、不透明度等参数；（3）流式重建框架：前端处理输入帧估计相机运动，后端进行回环检测和全局捆绑调整，映射器执行场景重建；（4）原语初始化策略：通过光度滤波器（基于拉普拉斯算子的高频区域检测）和空间滤波器（深度自适应的冗余抑制）确定新原语的插入位置；（5）训练策略：几何损失 $L_{geo}$ 监督三角形深度和法线，外观损失 $L_{rgb}$ 监督高斯渲染，两者独立优化但梯度可相互传播；（6）全局地图更新：当前端优化的位姿变化时，对原语施加相对变换 $\Delta T$ 保持一致性。
技术新颖性
本文的技术新颖性体现在以下几个方面：首先，与3D-GES使用2D surfel和3D高斯的双尺度设计不同，PLANING使用三角形和高斯的松耦合，三角形提供更明确的几何边界；其次，与GSDF和3DGSR将神经SDF与3DGS结合相比，本文的混合表示避免了隐式场的高计算开销和优化复杂度；第三，区别于PlanarSplatting使用矩形原语，三角形原语具有更高的灵活性来捕捉复杂几何；第四，流式框架中的光度-空间双重滤波策略和全局地图更新机制是针对混合表示特性的定制设计，有效解决了流式重建中的冗余和一致性问题。此外，边缘保持贡献函数的设计和基于细分的深度排序算法也是针对三角形渲染的技术创新。
实验结果
实验结果表明PLANING在多个维度上取得SOTA性能。在几何重建方面（Table 1），ScanNet++数据集上Chamfer-L2为3.53（最佳），F-score达86.88（最佳），相比PGSR的3.87和81.98分别提升8.8%和6.0%；ScanNetV2上Chamfer-L2为5.68，F-score为62.15，相比ARTDECO的6.05和57.58分别提升6.1%和7.9%。在渲染质量方面（Table 2），方法在6个数据集中的5个取得最佳PSNR：VR-NeRF上32.59dB（超越ARTDECO的30.02dB达2.57dB），FAST-LIVO2上33.97dB（超越ARTDECO的32.86dB达1.11dB），Waymo上29.24dB（超越2DGS的26.97dB达2.27dB）。效率方面，ScanNetV2场景重建仅需2.1分钟和56.1k个几何原语，而2DGS需要10.9分钟和1196.8k个原语；ScanNet++场景重建5.5分钟，比ARTDECO的5.6分钟更快且原语数量仅为61.6k vs 478.3k。消融实验（Table 4）验证了各组件贡献：移除三角形导致Chamfer-L2从5.68增加到5.90，PSNR从28.83下降到28.44；移除混合表示（仅用高斯）导致Chamfer-L2进一步增加到6.06，原语数量激增到621.5k。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 平面重建 (ScanNet++) | Chamfer-L2 | 3.53 | 3.82 (ARTDECO) | 降低7.6% |
| 平面重建 (ScanNet++) | F-score | 86.88 | 83.08 (ARTDECO) | 提升4.6% |
| 渲染质量 (VR-NeRF) | PSNR | 32.59 | 30.02 (ARTDECO) | 提升2.57dB |
| 渲染质量 (FAST-LIVO2) | PSNR | 33.97 | 32.86 (ARTDECO) | 提升1.11dB |
| 效率 (ScanNetV2) | 训练时间 | 2.1分钟 | 10.9分钟 (2DGS) | 快5.2倍 |
| 密集网格重建 (ScanNetV2) | Chamfer-L2 | 5.87 | 6.00 (ARTDECO) | 降低2.2% |
局限与改进
作者在论文中坦诚指出PLANING存在以下局限：（1）神经高斯基元不适合建模半透明或透明物体，不可靠的外观梯度可能负面影响几何优化；（2）框架专注于表面建模，未显式处理室外场景中的天空或远景区域，可能导致不一致的初始化和降质的外观质量。从独立观察的角度，我发现以下额外局限：（3）方法依赖MASt3R提供的几何先验，在先验质量较差的场景（如极端光照或遮挡）中性能可能下降；（4）三角形原语虽然适合平面结构，但在高度曲面或有机形状的场景中可能不如连续表示灵活；（5）流式框架中的全局优化步骤（15k迭代）虽然必要，但在超长序列中可能成为瓶颈；（6）论文未充分讨论方法对相机内参标定误差的鲁棒性，这在实际应用中是常见问题。
独立分析的弱点
基于对论文的深入分析，我认为存在以下可改进的弱点：（1）三角形原语的平面假设限制了对曲面的表达能力，改进方向是引入可变形三角形或层次化细分机制，使原语能够适应局部曲率；（2）当前的高斯-三角形关联是静态的（基于索引），可能在场景几何变化时缺乏灵活性，可以探索动态关联机制；（3）光度滤波器基于拉普拉斯算子检测高频区域，对噪声敏感，可改用学习的显著性检测器；（4）空间滤波器的深度自适应参数（Vmin, Vmax, p等）需要手动调优，可以设计自适应策略根据场景统计自动调整；（5）全局地图更新依赖位姿变化的相对变换，对于大范围漂移可能累积误差，可引入基于地标的全局校正；（6）方法对透明/反射物体的处理能力有限，可以引入物理渲染模型或分离透明层的表示。
未来方向
作者提出和基于成果可延伸的未来方向包括：（1）改进透明/反射物体的建模，可能通过引入体积渲染或专门的透明度表示；（2）扩展到更大规模的室外场景，结合GPS或IMU等多模态传感器；（3）探索更紧凑的三角形表示，如自适应细分或层次化LOD；（4）将平面提取能力用于更高层的场景理解，如房间布局估计或语义分割；（5）利用几何约束进行位姿估计的进一步改进，实现更鲁棒的跟踪；（6）将框架扩展到动态场景，处理运动物体；（7）探索在具身AI中的更广泛应用，如导航策略学习或物理仿真；（8）与大型语言模型结合，实现场景的语义理解和交互。
复现评估
从复现评估角度看，PLANING具有较好的可复现性：（1）代码开源：项目主页 https://city-super.github.io/PLANING/ 提供了代码和预训练模型；（2）数据集：使用公开数据集ScanNet++、ScanNetV2、VR-NeRF、FAST-LIVO2、KITTI和Waymo，共计56个场景，覆盖室内外多种环境；（3）算力需求：实验在Intel Core i9-14900K CPU和NVIDIA RTX 4090 GPU上进行，单场景重建时间2-6分钟，对硬件要求适中；（4）依赖组件：需要MASt3R作为几何先验提供者，这是额外的依赖但也是公开可用的；（5）超参数：论文提供了关键超参数设置（Kmin=4, Kmax=8, λd=10.0等），降低了调参难度；（6）复现难度：中等——核心算法有详细描述，但CUDA自定义光栅化器和细分策略的实现细节在附录中，需要一定的图形学背景。总体而言，具备中等GPU资源和3D视觉背景的研究者应该能够复现本文结果。
论文图表
