3D视觉指南：数据、学习范式与应用 A Cookbook of 3D Vision: Data, Learning Paradigms, and Application
提供以数据为中心的3D视觉统一框架，连接表示、数据集与学习范式
前置知识
3D数据表示
3D视觉中的数据表示形式，包括点云（3D空间中的离散点集）、网格（顶点-边-面图结构）、体素（规则3D网格）、RGB-D（带深度信息的2D图像）、多视图图像、CAD模型、隐式场（神经函数表示）和3D高斯（高斯分布集合）。每种表示在存储效率、渲染保真度和计算复杂度之间有不同权衡。
本文核心就是对比分析各种3D表示的优缺点和应用场景，理解这些基本概念是理解全文框架的基础。
可微分渲染
一种通过图像形成过程反向传播梯度的技术，允许用2D图像平面损失（如颜色、深度、轮廓）替代显式3D监督。关键损失函数为 $\mathcal{L}_{photo} = \sum_{i=1}^N \|I_i - \mathcal{R}(M_\theta, P_i)\|^2$，其中 $\mathcal{R}$ 是可微分渲染算子，$M_\theta$ 是3D表示，$P_i$ 是相机参数。这避免了计算昂贵的3D距离损失。
可微分渲染是现代3D学习范式的核心基础设施，本文重点分析了NeRF的体积渲染和3DGS的瓦片光栅化两种渲染桥接方式，理解这个概念才能看懂技术演进路线。
图像对齐表示
一类新兴的3D学习范式，将3D几何信息投影到2D图像平面进行学习，保持密集的逐像素结构同时将学习保持在2D域。典型方法包括DUSt3R（置信度加权的回归）、VGGT（多任务联合优化）、$\pi$3（排列等变监督）等，它们不需要训练时的显式多视图优化。
这是本文提到的最重要的技术趋势之一，代表了从显式3D监督向2D监督的范式转变，是构建端到端几何基础模型的关键技术路线。
3D高斯溅射
一种显式的神经渲染表示，用稀疏的3D高斯分布集合表示空间密度。每个高斯由位置 $\mu = (x, y, z)$、协方差矩阵 $\Sigma \in \mathbb{R}^{3 \times 3}$、不透明度 $\alpha$ 和球谐系数定义。协方差分解为 $\Sigma = R S S^T R^T$，其中 $R$ 是旋转矩阵，$S$ 是对角缩放矩阵。训练时通过梯度下降优化参数 $\theta_{i}^{(t+1)} = \theta_{i}^{(t)} - \eta \cdot \nabla_{\theta_i} \mathcal{L}_{render}$。
这是近年来3D视觉的重大突破，将渲染时间从秒级降到毫秒级，本文将其作为效率-保真度平衡的关键案例，强调了它如何使大规模前馈3D基础模型成为可能。
研究动机
3D视觉领域在不同表示和基准测试方面仍然碎片化，难以在效率、保真度和可扩展性方面形成统一视角。具体问题包括：数据表示种类繁多（点云、网格、体素、RGB-D、多视图图像、CAD模型、神经隐式场、3D高斯等），每种都有不同的结构假设、学习管道和计算权衡；下游任务从重建和分割到姿态估计和场景生成，多样性导致新研究者学习曲线陡峭；现有综述大多以架构为中心、表示为中心或任务特定，缺乏统一的数据中心视角来连接数据结构、基准数据集和建模范式。
本文的目标是提供统一的数据中心3D视觉视角，连接几何表示、数据集、学习框架和应用。具体目标包括：提供3D数据如何在计算机和机器学习系统中被表示、存储和处理的高级地图；强调数据集和基准不仅实现了公平评估，还通过定义数据结构、监督格式和可扩展性约束积极塑造了3D学习范式的演变；将新兴趋势（如2D监督的3D学习、神经隐式场、4D场景理解和世界建模）置于效率、保真度和可访问性的更广泛叙事中。
与已有工作不同的是，本文的独特切入角度是数据中心视角。与架构中心的工作（关注网络家族但不考虑数据集-表示的关系）、主题中心的总结（深入一个范式但让其他表示断开连接）、任务导向的概述（为单个应用提供详细分类但很少考虑监督策略或跨任务可扩展性）、机制专注的处理（孤立分析渲染管道）不同，本文将可微分渲染只作为更广泛光谱的一个组件来处理，提供一个统一的概念地图连接表示、数据集和学习范式。
核心方法
本文采用综述方法，通过三个核心轴组织内容：数据表示（评论3D视觉的主要数据形式，分析效率-保真度权衡）、数据集和基准（探索跨模态和任务的数据集生态系统，强调基准设计如何既推动进步又限制模型发展）、建模范式（总结经典基于几何的管道和现代神经方法，包括2D监督的3D学习、隐式神经场和4D视频/世界建模）。论文从表示开始，到数据集，再到学习范式和应用，形成一个逻辑递进的框架。
核心创新是以数据为中心的分类法，将3D视觉的各种组件（表示、数据集、学习范式、应用）连接在一个概念地图中。关键洞见包括：数据集和基准不仅用于评估，还通过定义数据结构、监督格式和可扩展性约束积极塑造学习范式的演变；可微分渲染的演进定义了3D学习的计算极限；图像对齐表示已成为领先范式，因为它们保持密集的逐像素结构同时将学习保持在2D域；重建和生成历史上是分离的领域，但几何基础模型现在通过生成用于重建和重建用于生成的协同作用紧密耦合它们。
方法步骤详情
本文分为三个主要部分：首先（第3节），分类和分析8种主要3D表示——RGB-D、点云、体素、网格、CAD模型、3D高斯、隐式场和多视图图像——包括它们的数学定义、效率-保真度权衡和数据获取管道。其次（第4节），总结现代3D学习和渲染范式，从可微分渲染的初步概念开始，分析NeRF的体积渲染和3DGS的瓦片光栅化，然后深入端到端几何基础模型的学习范式（如DUSt3R、VGGT、$\pi$3的图像对齐表示，生成先验和结构化潜空间的优化），最后探索下游应用（3D重建、资产生成、视频生成、4D渲染、世界模型、视觉-语言-动作中的空间智能）。最后（第5节），分析50个代表性数据集和基准的生态系统，按照数据模态、空间粒度、任务表述和时间维度分类，并提供统计分析和趋势观察。
技术新颖性
技术新颖性体现在几个方面：提供了第一个真正以数据为中心的3D视觉统一框架，而不是架构中心或任务中心的视角；系统性地分析了表示-数据集-学习范式的相互影响，特别强调了基准设计如何塑造学习范式的演变；将最新的技术趋势（如图像对齐表示、3DGS、4D世界模型、视觉-语言-动作中的空间智能）纳入一个连贯的叙事中，而不是孤立讨论；提供了详细的统计分析和50个代表性数据集，显示了数据集发布的非线性增长模式和模态覆盖的不均匀性；提出了重建和生成的协同作用作为几何基础模型的重要趋势，以及它们如何在共享潜空间中创建连续的数据飞轮。
实验结果
论文通过系统分析50个代表性数据集发现了重要趋势：数据集发布呈现非线性增长，特别是自2020年以来有两个活跃的爆发期（2020-2022和2023-2025），表明基准增长与新的感测管道和模型家族的爆发式增长相关联；模态覆盖高度不均匀，网格支持的数据集（28/50）和多视图基准（25/50）远多于体素（3/50）或隐式场（1/50）数据集；空间粒度方面，以对象为中心（18）和室内场景（13）的数据集占主导地位，而混合和户外场景相对稀缺；基准构建本身正变得模型感知，例如MegaSynth使用合成场景扩展重建预训练，InteriorGS直接在3D高斯溅射制度中提供语义标记的室内场景；未来3D/4D基准不仅要评估重建保真度，还要评估生成模型在长期、物理锚定任务中是否像可用模拟器一样行为（如WorldSimBench）。当前基准仍然缺乏大规模、多模态覆盖，同时支持异构表示（点、网格、溅射和图像）、时间一致性和开放世界泛化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数据集模态覆盖统计 | 数据集数量（比例） | 网格28/50(56%)、多视图25/50(50%)、RGB-D 16/50(32%)、点云13/50(26%)、体素3/50(6%)、隐式场1/50(2%) | 无（本研究为首次系统性统计） | 首次揭示了3D基准的模态覆盖不均衡性，指出了体素和隐式场数据集的稀缺性 |
| 空间粒度分布统计 | 数据集数量 | 对象18、室内场景13、户外场景6、以人为中心7、混合1 | 无（本研究为首次系统性统计） | 首次定量展示了3D基准的空间粒度分布，显示室内场景和对象占主导地位 |
| 数据集发布时间趋势 | 每年发布数量 | 2015-2019年线性增长，2020-2022年和2023-2025年两次爆发式增长 | 无（本研究为首次系统性分析） | 首次揭示了数据集发布的非线性模式，与感测技术和模型架构的突破相关联 |
局限与改进
作者承认的局限性包括：提供的50个代表性数据集列表并不详尽，虽然会在GitHub上维护更新版本；重点在于概念框架而非性能基准测试，因此缺乏对不同方法的定量比较；作为综述性工作，没有提出新的算法或模型。另外，本文也暴露了3D视觉领域的根本性挑战：碎片化的数据集阻碍了公平比较；基于体素和网格的方法在可扩展性方面困难重重；超越策划域的泛化仍然有限；新兴领域（如4D时空推理、物理感知建模、世界一致的视频生成）需要将3D先验与多模态和物理信号更紧密地集成。
独立分析的弱点
作为一篇综述论文，主要弱点是缺乏原创实验和定量性能比较。虽然提出了统一的概念框架，但没有提供实证验证这个框架的有效性。对50个数据集的统计分析虽然有价值，但缺乏对数据集质量、标注一致性、任务难度等维度的深入评估。对不同学习范式（如2D监督vs显式3D监督）的比较主要停留在概念层面，缺乏系统的实验证据来支持各种假设。此外，论文提到的一些新兴技术（如4D世界模型、视觉-语言-动作中的空间智能）相对简略，读者可能需要查阅更多专门文献来深入理解这些领域。改进方向包括：设计统一的评估协议来定量比较不同表示和学习范式的效率-保真度权衡；开发自动化的数据集质量评估工具；提供更详细的代码示例和教程来帮助新研究者入门；加强对动态4D场景和多模态融合的覆盖。
未来方向
作者提出的未来方向包括：统一的基准和评估协议，跨越对象、场景和动态；跨模态和2D监督的学习策略，利用大规模图像数据同时保持几何锚定；可扩展、实时的表示，从高斯溅射到参数化CAD，平衡效率与保真度。基于论文成果的可延伸方向包括：开发同时支持异构表示（点、网格、溅射和图像）的大规模多模态数据集；研究更有效的跨模态迁移学习策略，特别是在2D监督下的3D学习；探索更高效的实时表示，可能结合3DGS的速度和CAD的保真度；开发更全面的4D基准，评估时间一致性、物理交互和长期规划能力；研究几何先验与多模态信号（文本、音频、触觉）的更深层次集成；开发自动化的数据合成和标注流水线，以减少标注开销同时保持质量；研究3D基础模型在真实世界部署中的安全性和可靠性问题。
复现评估
论文维护了一个GitHub仓库（https://github.com/Hongyang-Du/awesome-3d-datasets），包含50个代表性数据集的列表，并承诺保持更新。这为研究者提供了一个有用的资源入口。然而，作为一篇综述论文，本文本身不涉及代码实现或实验复现。论文中提到的各种方法（如PointNet、PointTransformer、3DGS、DUSt3R、VGGT等）大多有独立的实现，但缺乏统一的代码库来比较它们。数据集的可访问性差异很大，一些是公开的（如ShapeNet、ScanNet），一些需要申请许可，一些是专有的。对于想复现论文中提到的具体方法的研究者，需要查阅原始论文的官方实现。论文没有提供关于计算资源需求的具体信息，因为这取决于具体的方法和数据集。总体而言，本文作为概念框架和资源指南的复现性较高（通过GitHub列表），但作为技术对比的复现性有限。
论文图表