ShapeR：从随意拍摄中实现鲁棒的条件式3D形状生成

多模态整流流模型从随意拍摄序列生成鲁棒的度量3D物体形状

前置知识

Rectified Flow（整流流）

整流流是一种生成模型框架，通过学习从噪声分布到目标分布的直线传输路径来生成数据。与扩散模型不同，它直接学习速度场 $\dot{z}_t = f_\theta(z_t, t, C)$，将高斯噪声 $z_1 \sim \mathcal{N}(0, I)$ 传输到目标潜变量 $z_0$。训练目标是最小化预测速度与真实速度之间的均方误差，使得采样过程更高效稳定。

ShapeR的核心生成框架基于整流流，理解这一概念是理解模型如何从噪声生成3D形状的基础。

VecSets（向量集合）

VecSets是一种3D形状的潜变量表示方法，将3D形状编码为一组可变长度的特征向量序列 $z \in \mathbb{R}^{L \times d}$，其中 $L$ 可以是256、512到4096不等，特征宽度 $d=64$。这种表示允许灵活的形状编码，并通过解码器预测有符号距离场（SDF）来重建网格。

VecSets是ShapeR的形状表示基础，理解其工作原理对于理解模型如何编码和解码3D形状至关重要。

Visual-Inertial SLAM（视觉惯性SLAM）

SLAM（Simultaneous Localization and Mapping）是一种同时进行定位和建图的技术。视觉惯性SLAM结合摄像头图像和IMU（惯性测量单元）数据，通过跟踪和三角化高梯度图像区域来提取稀疏度量点云和相机姿态。这些点云提供聚合的几何信息，跨越整个序列。

ShapeR利用SLAM点云作为关键输入模态之一，理解SLAM如何工作有助于理解模型如何获取度量几何信息。

Curriculum Learning（课程学习）

课程学习是一种训练策略，按照从易到难的顺序组织训练数据。在ShapeR中，第一阶段使用大规模物体中心数据集（600K+网格），包含广泛的数据增强来模拟噪声输入；第二阶段在更真实的场景数据集上微调，包含真实的遮挡、物体交互和SLAM噪声模式。

两阶段课程学习是ShapeR实现鲁棒性的关键策略，理解这一概念有助于理解模型如何从合成数据泛化到真实场景。

DINOv2特征提取

DINOv2是一个预训练的视觉基础模型，能够提取鲁棒的图像特征。在ShapeR中，DINOv2作为冻结的骨干网络从输入图像中提取特征token，这些特征与Plücker射线编码和2D点掩码信息结合，为3D形状生成提供视觉条件。

DINOv2提供了ShapeR的视觉特征表示，理解其作用有助于理解多模态条件化的工作机制。

研究动机

现有的3D形状生成方法在理想条件下表现良好，但在现实世界的随意拍摄场景中面临严重挑战。具体来说，当用户自由移动、拍摄轨迹不规则时，采集的数据通常包含遮挡、背景杂乱、传感器噪声、低分辨率和次优视角等问题。例如，如Figure 2所示，在随意拍摄设置中，物体被其他物体遮挡、图像质量差、运动模糊严重，即使人工交互式分割也很难准确提取物体。现有的最先进3D模型（如TripoSG、Direct3DS2、Hunyuan3D-2.0等）在这些场景下性能显著下降，因为它们依赖于干净、无遮挡、分割良好的输入。此外，现有的真实世界3D重建数据集要么在受控设置中采集（如DTC、StanfordORB），要么具有合并的物体和背景几何或不完整的形状（如ScanNet、ScanNet++），无法提供完整的物体级3D几何评估。

本文的目标是本文的具体目标是开发一种能够从随意拍摄的图像序列中鲁棒生成高保真度量3D物体形状的方法。ShapeR旨在利用多模态输入（稀疏度量点云、多视角姿态图像和机器生成的描述）来生成完整、度量准确的物体形状，而不需要显式的2D分割掩码。量化目标包括：在Chamfer距离上相比现有技术实现2.7倍的改进，并在新的评估基准上展示强大的泛化能力。

与已有工作不同的是，ShapeR的独特切入角度在于将生成式3D形状建模与度量3D场景重建统一起来。现有方法要么专注于干净条件下的高质量生成（如TripoSG、Direct3DS2），要么专注于场景级重建但产生单体表示（如NeRF、3DGS）。ShapeR抓住了被忽视的点：现实世界中的3D重建需要同时具备生成完整性（填补遮挡区域）和度量一致性（保持真实世界尺度）。通过多模态条件化和鲁棒的训练策略，ShapeR能够在不需要显式分割的情况下，从随意拍摄中自动重建物体，这是现有方法难以做到的。

核心方法

ShapeR的方法可以类比为一个经验丰富的工匠从多个角度观察物体后重建其完整形状的过程。给定一个随意拍摄的图像序列，ShapeR首先使用现成的视觉惯性SLAM系统提取稀疏度量点云和相机姿态，然后应用3D实例检测算法识别物体实例，最后利用视觉语言模型生成描述性文本。这些多模态输入（稀疏点云、多视角图像、文本描述）共同条件化一个整流流变换器，该变换器对VecSet潜变量进行去噪，最终解码为完整的3D物体网格。技术路线包括：1）多模态条件编码；2）基于整流流的生成模型；3）两阶段课程学习训练策略；4）大量在线数据增强。

ShapeR的核心创新点在于多模态条件化结合鲁棒训练策略的集成方法。与已有方法的最本质区别是：ShapeR不依赖显式的2D分割掩码，而是通过3D实例点云和2D投影点掩码隐式学习物体分割。具体来说，模型使用稀疏SLAM点云作为几何先验，这些点云编码了跨整个序列的聚合形状信息；使用DINOv2图像特征提供视觉细节；使用文本描述提供语义信息。关键创新包括：1）在DINO特征上使用2D点投影进行提示，明确指示要重建的物体；2）合成组合增强，包括背景合成、遮挡叠加、可见性雾等；3）两阶段课程学习，先在大规模物体数据集上学习形状先验，再在场景数据集上学习真实世界复杂性。

方法步骤详情

ShapeR的完整流程包括以下步骤：1）**预处理**：给定输入图像序列 $I = I_1, ..., I_K$ 和对应的相机内外参数 $\Pi = \Pi_1, ..., \Pi_K$，首先使用SLAM系统计算稀疏度量点云 $P$，通过跟踪和三角化高梯度图像区域获得3D点位置及其跨帧可见性关联 $P_{I_k} \subseteq P$。2）**物体检测**：应用3D实例检测模型在姿态图像和点云上预测物体实例的3D边界框。对于每个物体 $i$，使用SAM2在其边界框内细化点集 $P_i \subset P$，移除邻近实例的噪声样本。3）**多模态条件提取**：利用点-帧关联 $P_{I_k}$ 识别物体 $i$ 可见的所有帧，选择固定数量 $N$ 的代表性帧 $I_i$。对于每个选定帧，将点云投影到图像平面生成二值掩码 $M_i$。使用视觉语言模型对每个物体的代表性图像生成描述性文本 $T_i$。完整的条件集为 $C_i = \{P_i, I_i, \Pi_i, M_i, T_i\}$。4）**归一化**：将每个物体的点云 $P_i$ 归一化到归一化设备坐标立方体 $[-1, 1]^3$。5）**生成**：整流流模型预测物体在归一化空间中的形状，通过积分学习的流进行采样：$z_{t-\Delta t} = z_t - \Delta t \cdot f_\theta(z_t, t, C_i)$，使用中点采样。6）**解码与重建**：解码器预测有符号距离值，使用Marching Cubes提取网格，最后将重建网格 $\hat{S}_i$ 重新缩放回 $P_i$ 的原始度量坐标系统，确保物理准确的尺寸。

技术新颖性

ShapeR的技术新颖性体现在以下几个方面：1）**多模态融合的创新**：首次将稀疏SLAM点云、多视角姿态图像和文本描述同时用于条件化3D形状生成，而不是依赖单一模态（如仅图像或仅点云）。2）**隐式分割机制**：与依赖显式2D分割掩码的现有方法不同，ShapeR通过3D点token和2D投影点掩码信息隐式学习物体分割，这使得模型对分割噪声更加鲁棒。3）**合成组合增强**：提出了一套全面的在线数据增强策略，包括背景合成、遮挡叠加、可见性雾、分辨率降级和光度扰动，这些增强以组合方式应用，产生几乎无限的独特训练样本流。4）**两阶段课程学习**：第一阶段在大规模物体数据集上学习通用形状先验，第二阶段在场景数据集上学习真实世界复杂性，这种策略比单一阶段训练提供了更好的泛化能力。5）**评估基准**：引入了新的ShapeR评估数据集，包含178个真实世界物体，跨越7个场景，具有完整的几何标注，填补了现有评估基准的空白。

实验结果

ShapeR在多个实验设置中展示了显著优于现有方法的性能。在ShapeR评估数据集上（178个物体，7个场景），ShapeR实现了2.375×10⁻²的Chamfer距离（CD），0.810的法线一致性（NC），和0.722的F1分数（F1），相比最佳基线方法（w/o Point Mask Prompting的2.568 CD）提升了7.5%。更重要的是，与现有技术相比，ShapeR实现了2.7倍的Chamfer距离改进。具体对比显示：EFM3D（13.82 CD）由于单体场景重建在遮挡下产生不完整物体；FoundationStereo（6.483 CD）基于深度融合的方法同样受限；DP-Recon（8.364 CD）和LIRM（8.047 CD）依赖2D分割的方法在噪声掩码下性能下降。用户研究（Table 2）进一步证实了ShapeR的优势：在660个响应中，86.67%的用户偏好ShapeR而非TripoSG，86.11%偏好而非Amodal3R，88.33%偏好而非Direct3DS2，81.11%偏好而非Hunyuan3D-2.0。在ScanNet++和Replica数据集上的评估显示，ShapeR的Chamfer距离分别为1.09×10⁻²和1.77×10⁻²，显著优于DPRecon的7.69×10⁻²和4.65×10⁻²，召回率分别达到0.91和0.82。在DTC Active和Passive数据集上，ShapeR与LIRM性能相当（Active: 0.94 vs 0.90 CD），在更随意的Passive设置上超越LIRM（0.95 vs 1.37 CD）。消融研究（Table 1）证实了各组件的重要性：移除SLAM点云导致CD从2.375增加到4.514（+89.9%）；移除点增强导致CD增加到3.276（+37.9%）；移除图像增强导致CD增加到3.397（+43.0%）；移除两阶段训练导致CD增加到3.053（+28.5%）；移除点掩码提示导致CD增加到2.568（+8.1%）。

查看结构化数据

任务	指标	本文	基线	提升
ShapeR评估数据集 - 3D形状重建	Chamfer距离 (CD×10² ↓)	2.375	w/o Point Mask Prompting: 2.568; EFM3D: 13.82; FoundationStereo: 6.483; DP-Recon: 8.364; LIRM: 8.047	相比最佳消融变体提升7.5%，相比最佳基线提升2.7倍
ShapeR评估数据集 - 法线一致性	Normal Consistency (NC ↑)	0.810	w/o Point Augmentation: 0.805; w/o Image Augmentation: 0.778; w/o Two Stage Training: 0.801; EFM3D: 0.614; FoundationStereo: 0.677	达到最高NC分数
ShapeR评估数据集 - F1分数	F-score (F1 ↑)	0.722	w/o Point Mask Prompting: 0.701; w/o SLAM Points: 0.486; w/o Point Augmentation: 0.667; EFM3D: 0.276	相比最佳消融变体提升3.0%，相比最佳基线提升65.6%
ScanNet++ - 3D重建	Chamfer距离 (CD×10² ↓)	1.09	DPRecon: 7.69	提升6.1倍
Replica - 3D重建	Chamfer距离 (CD×10² ↓)	1.77	DPRecon: 4.65	提升1.6倍
DTC Passive - 3D重建	Chamfer距离 (CD×10² ↓)	0.95	LIRM: 1.37	提升30.7%
用户研究 - 偏好率	ShapeR Win Rate ↑	81-88%	TripoSG, Amodal3R, Direct3DS2, Hunyuan3D-2.0	用户显著偏好ShapeR

局限与改进

作者承认了几个主要局限性：1）对于图像保真度低或视角非常有限的物体，重建可能不完整或缺乏细节，因为几何和视觉证据不足。2）当物体与其他物品紧密堆叠或附着时（例如支撑其他物体的桌子），重建的网格有时会包含这些相邻结构的残余部分，而不是干净地隔离目标物体。3）ShapeR依赖于上游的3D实例检测，因此漏检或不准确的边界框会直接传播到重建阶段，漏检的物体无法恢复。从我的观察来看，还有一些额外的局限性：1）模型需要多个视角的输入，对于真正的单图像重建场景可能不够灵活。2）虽然论文展示了单图像重建能力，但需要额外的MapAnything模型来估计点云和相机参数，增加了系统复杂性。3）评估主要在室内场景进行，对于户外大场景或动态物体的适用性尚未验证。4）模型计算成本较高，需要128个H100 GPU进行训练，推理时间也可能较长。

独立分析的弱点

基于独立分析，ShapeR存在以下几个弱点：1）**单图像重建的依赖性**：虽然论文展示了单图像重建能力，但这需要额外的MapAnything模型来估计点云和相机参数，这增加了系统复杂性和潜在的误差传播。改进方向是开发端到端的单图像到3D度量形状生成模型，或改进点云估计的鲁棒性。2）**物体间交互处理**：当物体紧密堆叠或附着时，模型难以干净地隔离目标物体。改进方向包括引入更精细的物体边界检测机制，或使用图神经网络建模物体间关系。3）**计算效率**：模型训练需要大量计算资源（128个H100 GPU），推理可能较慢。改进方向包括模型压缩、知识蒸馏或开发更高效的注意力机制。4）**泛化到新场景**：虽然模型在多个数据集上表现良好，但主要在室内场景评估。改进方向包括在更多样化的场景（户外、工业环境）上进行训练和评估。5）**动态物体处理**：当前方法假设静态场景，对于运动物体可能失效。改进方向包括结合光流或运动分割技术。

未来方向

作者提出和基于成果可延伸的未来研究方向包括：1）**实时推理优化**：开发轻量级版本以支持实时3D重建，这对于AR/VR应用至关重要。2）**更丰富的语义理解**：结合更先进的视觉语言模型，提供更精确的物体描述和语义分割。3）**场景级联合重建**：将物体级重建扩展到完整的场景重建，同时保持度量一致性和物体完整性。4）**自监督和少样本学习**：减少对大规模标注数据的依赖，通过自监督或少样本学习提高泛化能力。5）**多模态融合改进**：探索更有效的多模态融合策略，如跨模态注意力机制或对比学习。6）**可解释性和可控性**：提高模型的可解释性，允许用户通过文本提示或草图控制生成过程。7）**物理属性预测**：扩展模型以预测物体的物理属性（如材质、重量），用于机器人抓取和交互。

复现评估

ShapeR的复现评估显示中等难度。**开源情况**：论文承诺将发布所有代码、模型权重和ShapeR评估数据集，这大大降低了复现门槛。**数据集**：模型使用大规模物体中心数据集（600K+网格）和Aria合成环境数据集进行训练，这些数据可能难以获取。评估数据集包含178个物体，跨越7个场景，具有完整的几何标注。**算力需求**：训练需要128个H100 GPU，这对大多数研究机构来说是相当高的要求。VAE训练使用64个H100 GPU，流匹配模型训练使用128个H100 GPU。**复现难度**：中等偏高。主要挑战在于获取训练数据和计算资源。模型架构基于FLUX.1变换器，实现细节在附录中提供。对于资源有限的研究者，可以考虑使用预训练模型进行微调，或在较小的数据集上训练简化版本。

ShapeR：从随意拍摄中实现鲁棒的条件式3D形状生成 ShapeR: Robust Conditional 3D Shape Generation from Casual Captures