SegviGen：将3D生成模型重新用于部件分割 SegviGen: Repurposing 3D Generative Model for Part Segmentation
利用预训练3D生成模型的先验知识，通过部件着色实现高效3D部件分割
前置知识
3D部件分割（3D Part Segmentation）
3D部件分割是将3D物体（如网格或点云）分解为多个语义上有意义的部件的任务。例如，一把椅子可以被分解为椅背、座面、四条腿等部件。这与2D图像分割类似，但在3D空间中操作，需要处理更复杂的几何结构和拓扑关系。传统的3D分割方法依赖于固定的数据集标注类别，泛化能力有限。
这是本文要解决的核心任务。理解3D部件分割的定义、应用场景（如3D打印、动画绑定、部件级编辑）以及现有方法的局限性，是理解本文动机和贡献的基础。
3D生成模型（3D Generative Model）
3D生成模型是在大规模3D资产数据上训练的深度学习模型，能够生成新的3D物体。本文重点关注基于扩散模型的原生3D生成方法，如Trellis系列，它们直接在3D隐空间中进行去噪和生成，而非通过2D多视角图像间接重建。这些模型在训练过程中隐式学习了丰富的3D结构和纹理知识。
本文的核心思想是将3D生成模型中编码的结构先验迁移到部件分割任务中。理解3D生成模型的工作原理和其所蕴含的先验知识，是理解本文方法创新性的关键。
Flow Matching（流匹配）
Flow Matching是一种生成模型训练范式，它是扩散模型的一种变体。与标准扩散模型逐步添加高斯噪声不同，Flow Matching学习一个时间依赖的向量场 $v_\psi(z_t, t, c)$，将噪声分布 $z_0 \sim \mathcal{N}(0, I)$ 沿直线插值路径映射到目标分布 $z_1$。其核心公式为 $z_t = (1-t)z_0 + tz_1$，训练目标是使模型预测的速度场与常速场 $(z_1 - z_0)$ 一致。
本文的基座模型Trellis.2使用Flow Matching作为生成框架，而SegviGen的方法本质上是将部件分割问题转化为条件化的Flow Matching去噪过程。理解Flow Matching才能理解本文的技术路线。
Structured Latent（结构化隐表示）
结构化隐表示是Trellis系列模型提出的一种3D隐空间表示方法。它将3D资产表示为稀疏体素网格上的活跃体素（active voxels），每个体素同时存储几何和纹理特征。通过SC-VAE（稀疏压缩变分自编码器）将高维体素特征映射到紧凑的隐空间 $z = E_\phi(x)$，实现高效的3D生成。这种表示保留了空间结构信息，比无结构的隐向量更适合3D任务。
SegviGen正是在这种结构化隐表示上进行操作，将部件分割转化为隐空间中的着色任务。理解这一表示才能理解本文如何将生成模型改造为分割模型。
SAM（Segment Anything Model）
SAM是Meta提出的2D基础分割模型，能够根据用户提示（如点击、框选）对图像中的任意物体进行分割。SAM在大规模数据上预训练，具有强大的零样本分割能力。在3D分割领域，许多方法（如SAMPart3D、P3-SAM、Point-SAM）都借鉴或基于SAM来获取2D分割先验，然后将其提升到3D空间。
SAM是本文主要对比的基线方法的技术基础。理解SAM及其在3D领域的衍生方法，有助于理解本文与现有方法的本质区别——从依赖2D分割先验转向利用3D生成先验。
RoPE（Rotary Position Embedding）
RoPE是一种位置编码方法，通过旋转矩阵将位置信息注入到Transformer的注意力机制中。与传统的可学习位置嵌入或正弦位置编码不同，RoPE在计算注意力时通过查询和键向量的旋转来隐式编码相对位置关系，具有更好的外推能力和长序列泛化性。
本文在交互式分割中利用RoPE来编码用户点击的3D坐标信息，从而省去了额外的可学习位置嵌入。这是本文条件注入设计的一个技术细节。
研究动机
3D部件分割是3D内容创建管线中的核心原语，广泛应用于部件级编辑、动画绑定和3D打印等场景。然而现有方法存在严重的质量瓶颈，常常产生错误区域和不精确的边界，限制了实际可用性。具体来说，现有方法分为两大流派都有根本性缺陷。第一类是2D到3D提升方法：SAMPart3D等方法通过2D到3D蒸馏优化3D分割，但计算和时间开销巨大，且产生模糊边界；另一类多视角方法（如SAM3D、PartSLIP等）对多视角渲染图像应用SAM获取2D掩码，然后反投影到3D空间，但这些方法运行时开销大、对视角覆盖敏感，反投影和融合步骤经常引入跨视角不一致和不精确的边界。第二类是原生3D判别式方法（如P3-SAM、PartSAM）：虽然避免了2D提升的缺陷，但通常需要大规模带标注的3D部件数据进行训练，而精细标注成本高昂且不同数据源之间在粒度、层次和边界定义上存在不一致，导致监督失配和跨域泛化能力弱。
本文的目标是本文的目标是提出一种新的3D部件分割框架，能够有效利用预训练3D生成模型中编码的丰富结构和纹理先验知识，在大幅减少训练数据需求的同时，实现高质量、边界清晰的3D部件分割。具体而言，SegviGen旨在：(1) 统一支持三种实用设置——交互式部件分割、完整分割和2D引导的完整分割；(2) 在交互式部件分割任务上超越现有最优方法（P3-SAM和Point-SAM）；(3) 仅使用0.32%的训练数据就能达到或超越大规模训练方法的性能；(4) 产生具有锐利部件边界的高保真分割结果。
与已有工作不同的是，本文的独特切入角度在于对3D生成模型的再利用（repurposing）。已有方法要么利用2D基础模型（如SAM）作为先验进行2D到3D提升，要么直接在3D空间训练判别式分割模型。本文提出了第三条路径：将3D部件分割重新表述为部件级着色任务（part-wise colorization），直接利用预训练3D生成模型的全部生成能力。核心洞察是，3D生成模型在大规模无标注3D纹理资产上训练后，隐式编码了丰富的部件级结构和纹理模式——这些知识天然适合部件分割。通过将生成带纹理的3D资产转化为生成带部件颜色标记的3D资产，SegviGen可以在极少标注数据下获得强大的分割能力，同时生成模型的结构化隐空间天然支持锐利的部件边界。这种将生成先验迁移为判别能力的思路，与现有方法有本质区别。
核心方法
SegviGen的整体思路可以用一个直觉来概括：如果一个3D生成模型能够生成逼真的3D纹理资产，说明它已经理解了物体的部件结构——椅背、扶手、座面各有不同的纹理和几何特征。那么，我们能否让这个模型在生成3D资产时，同时为每个部件涂上不同的颜色，从而实现部件分割？这就是SegviGen的核心思想：将部件分割重新表述为条件化的部件着色任务。具体来说，给定一个输入3D资产，预训练的3D VAE编码器将其编码为结构化隐表示 $z = E(X)$，确定活跃体素的支撑集。然后，SegviGen构建一个部件级着色的目标表示（每个部件一种颜色），并将其编码到同一隐空间得到 $y$。通过在 $y$ 上添加噪声得到 $y_t = (1-t)y + t\epsilon$，然后微调预训练的DiT骨干网络来预测噪声残差，条件包括几何隐表示 $z$、任务条件 $C$ 和任务嵌入 $e_\tau$。推理时，模型根据条件生成带部件颜色标记的3D体素，通过最近邻映射和多数投票将体素颜色转移到原始网格上。
SegviGen的核心创新在于将3D部件分割从传统的判别式语义标签预测重新定义为生成式条件着色。这一转变带来了三个本质区别：第一，传统判别式方法需要大量标注数据来学习从3D特征到部件ID的映射，而SegviGen利用生成模型已有的3D结构先验，只需极少标注数据（仅0.32%的训练数据）就能实现强大性能。第二，传统方法的输出空间是固定的部件类别集合，而SegviGen将部件标签编码为颜色，通过随机采样颜色调色板（每个形状使用 $K=10$ 个独立调色板），既保持了灵活性又减少了对特定颜色选择的敏感性。第三，这种着色范式天然支持多任务统一——交互式分割（黑白着色）、完整分割（多色着色）和2D引导分割（带2D分割图条件的着色）可以在同一个模型中通过不同的条件注入方式实现。另一个关键创新是条件注入设计：交互式分割通过点条件token（3D坐标+可学习特征）进行提示，2D引导分割通过图像编码器生成的交叉注意力token进行引导，而任务身份通过正弦编码和MLP映射为连续任务嵌入，与时间步嵌入相加后注入DiT的自适应层。
方法步骤详情
SegviGen的方法分为以下几个关键步骤：(1) 几何编码：输入3D资产 $X$ 通过预训练的SC-VAE编码器 $E_\phi$ 得到结构化隐表示 $z_1 = E_\phi(x)$，确定活跃体素支撑集和几何锚点。(2) 目标构建与编码：根据任务类型构建部件级着色目标。交互式分割将目标部件设为白色、其余为黑色；完整分割从随机调色板中为每个部件分配独特颜色，每个形状使用 $K=10$ 个独立调色板以增强鲁棒性；2D引导分割在此基础上额外渲染对应的2D分割图作为引导。目标同样通过SC-VAE编码得到隐表示 $y$。(3) 噪声注入与去噪训练：采样 $\epsilon \sim \mathcal{N}(0, I)$ 和 $t \sim U(0,1)$，构造噪声插值 $y_t = (1-t)y + t\epsilon$，微调DiT骨干预测噪声残差 $\hat{v}_\theta = f_\theta(y_t, z, C, e_\tau, t)$，使用条件Flow Matching损失 $\mathcal{L}(\theta) = \mathbb{E}[w(t)\|\hat{v}_\theta - (\epsilon - y)\|_2^2]$。(4) 条件注入：交互式分割通过点条件token $Q = \{q(u_1), \ldots, q(u_m)\}$ 注入用户点击，其中 $q(u_i) = [u_i; e_p]$（3D坐标拼接可学习特征）；不足10个点时用零坐标零特征填充至10个token长度，保持统一接口。2D引导分割额外通过图像编码器 $g_\phi$ 生成引导token $p = g_\phi(I_{\text{guide}})$，通过交叉注意力注入。任务嵌入 $e_\tau = \text{MLP}_\psi(\text{PE}(\tau))$ 与时间步嵌入 $e_t$ 相加得到调制向量 $m = e_t + e_\tau$。(5) 推理与颜色转移：使用12步推理生成带部件颜色的体素隐表示，解码后通过最近邻映射将体素颜色转移到原始网格顶点，再通过面内多数投票确定面标签，最后进行轻量级网格平滑去除投影产生的孤立尖刺。
技术新颖性
SegviGen的技术新颖性体现在多个层面。首先，任务重新表述的创新：将3D部件分割定义为隐空间中的条件着色任务，这一视角转换使得生成模型可以直接被再利用为分割模型，而无需从头训练判别式分割头。其次，生成-判别迁移范式的创新：不同于传统的2D到3D蒸馏或多视角聚合，SegviGen展示了预训练3D生成模型的结构化隐空间中蕴含的部件级知识可以直接迁移到分割任务，且只需极少的微调数据。第三，多任务统一架构的创新：通过不同的条件注入方式（点token、零填充token、图像token+交叉注意力），同一个Flow Transformer可以处理交互式、完整和2D引导三种分割任务，避免了为每种任务设计专门架构。第四，条件注入设计的创新：利用RoPE已在注意力层中编码空间位置的特性，省去了可学习的输入级位置嵌入，所有点共享同一个可学习特征向量，简化了交互式分割的接口设计。第五，体素到网格的颜色转移：通过最近邻映射和面内多数投票，将模型在解码后可能与输入网格不同的体素预测转移到原始网格上，保留了原始网格结构。
实验结果
SegviGen在多个基准测试和任务设置上展示了全面的性能提升。在交互式部件分割方面，SegviGen在PartObjaverse-Tiny和PartNeXT两个基准上均显著超越Point-SAM和P3-SAM。在最具挑战性的单击场景（IoU@1）中，SegviGen在PartObjaverse-Tiny上达到42.49%，比Point-SAM（24.87%）和P3-SAM（33.04%）分别提升17.62%和9.45%；在PartNeXT上达到54.86%，比Point-SAM（23.90%）和P3-SAM（35.61%）分别提升30.96%和19.25%。随着点击数从1增加到10，SegviGen持续稳定提升，在PartNeXT上10次点击时达到82.73%的IoU，远超Point-SAM（65.04%）和P3-SAM（53.81%）。这表明生成框架对3D部件结构具有更强的初始理解能力，能从最少的用户引导中推断出完整的部件几何。在完整分割（无2D引导）方面，SegviGen在PartNext上以55.40%的IoU大幅超越PartField（41.50%）和SAMPart3D（29.62%），在PartObjaverse-Tiny上达到50.64%。值得注意的是SAMPart3D在小数据集上表现较好（59.05%），但在PartNext上性能崩溃（29.62%），而SegviGen在两个数据集上保持了稳健性能。在2D引导的完整分割方面，SegviGen（w. 2D Map）达到新的最优结果：PartObjaverse-Tiny上62.98%，PartNext上71.53%，比无引导版本分别提升12.34%和16.13%。此外，在泛化到AI生成网格的定性实验中，SegviGen在Hunyuan3D 2.1生成的网格上也能产生合理的部件分解，展示了对自动生成3D内容的潜在适用性。消融实验表明，12步推理是精度和效率的最佳平衡点（2.63秒），而基于标签的语义嵌入在少点击场景下略优于显式坐标编码。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 交互式部件分割（IoU@1，PartObjaverse-Tiny） | IoU@1 | 42.49% | P3-SAM 33.04% | 相对提升28.6%，绝对提升9.45个百分点 |
| 交互式部件分割（IoU@1，PartNeXT） | IoU@1 | 54.86% | P3-SAM 35.61% | 相对提升54.1%，绝对提升19.25个百分点 |
| 交互式部件分割（IoU@10，PartNeXT） | IoU@10 | 82.73% | P3-SAM 53.81% | 相对提升53.7%，绝对提升28.92个百分点 |
| 完整分割（无2D引导，PartNext） | IoU | 55.40% | PartField 41.50% | 相对提升33.5%，绝对提升13.9个百分点 |
| 2D引导完整分割（PartNext） | IoU | 71.53% | P3-SAM 31.94% | 相对提升123.9%，绝对提升39.59个百分点 |
| 2D引导完整分割（PartObjaverse-Tiny） | IoU | 62.98% | SAMPart3D 59.05% | 相对提升6.7%，绝对提升3.93个百分点 |
局限与改进
作者明确承认了SegviGen的两个主要局限性。第一，语义歧义问题：在交互式和完整分割设置中，由于同一物体可能存在多种合理的部件分解方式，模型可能产生比预期更多或更少的部件。例如，一条椅子腿可能被进一步细分为上半部分和下半部分，也可能被作为一个整体部件处理，这种歧义会导致评估时的IoU下降。第二，2D引导的精细结构限制：虽然2D引导提高了可控性，但当引导图过于精细时，模型无法始终准确复现高度详细的部件分解，3D分割结果的边界精度和平滑度会下降。从实验数据中还可以观察到其他局限：(1) 数据依赖：虽然只需0.32%的训练数据，但模型仍需依赖PartVerse数据集的12k对象和91k部件标注，且实验仅在两个评估基准上进行，缺乏更大规模、更多样化的评估。(2) 视角依赖性：2D引导模式下，不可见区域的颜色分配会因视角不同而变化，虽然作者指出这主要反映标签分配歧义而非错误分解，但在实际应用中这可能带来不确定性。(3) 推理效率：虽然12步推理（2.63秒）已经较快，但相比判别式方法仍有一定延迟，且需要GPU硬件支持。(4) 评估指标单一：主要使用IoU评估，缺乏对边界质量（如Boundary F1-Score）的定量评估。
独立分析的弱点
尽管SegviGen取得了显著成果，仍存在以下可以改进的弱点：(1) 语义歧义缺乏显式控制：当存在多种合理分解时，模型缺乏机制让用户指定偏好。改进方向可以是引入层次化部件表示，支持用户选择分解粒度，或者通过对比学习让模型区分不同粒度的分解。(2) 颜色调色板的局限：当前使用 $K=10$ 个随机采样调色板来减少颜色选择敏感性，但当部件数超过调色板颜色数时可能产生冲突。改进方向可以是使用基于图的自适应颜色分配策略，或引入连续的部件嵌入空间替代离散颜色。(3) 2D引导的视角敏感性：不同视角的2D引导可能导致不可见区域的不同分解。改进方向可以是融合多视角2D引导，或引入视角不确定性建模来处理遮挡区域。(4) 体素到网格映射的信息损失：最近邻映射和多数投票可能在复杂几何区域（如细小部件边界）丢失精度。改进方向可以是引入可微的体素-网格对齐模块，或利用网格顶点的局部邻域信息进行更精细的颜色插值。(5) 缺乏定量边界质量评估：当前仅用IoU评估，无法准确反映边界锐利度。改进方向是引入Boundary IoU、Boundary F1-Score等边界敏感指标。
未来方向
作者指出，通过更显式的语义控制和细结构感知的分割来解决语义歧义和精细结构问题是重要的未来方向。基于本文成果，还可以延伸以下研究方向：(1) 层次化部件分割：利用生成模型中可能蕴含的多层次结构信息，实现从粗到细的层次化部件分解，支持不同粒度的分割需求。(2) 交互式迭代精化：结合交互式分割和2D引导的优势，设计更高效的用户交互流程，例如允许用户在2D视图中修正分割结果后反馈到3D空间。(3) 跨类别和跨域泛化：将SegviGen扩展到更大规模的3D资产集合（如Objaverse-XL的10M+对象），研究在更广泛类别上的泛化能力。(4) 与下游任务的集成：如论文展示的与VoxHammer的交互式3D编辑集成，进一步探索SegviGen在动画绑定、物理仿真、材质编辑等下游任务中的应用。(5) 实时交互：优化推理流程（如利用单步推理的良好性能），实现真正的实时交互式3D部件分割。(6) 视频和4D分割：将方法扩展到动态3D场景的时序一致部件分割。
复现评估
SegviGen在可复现性方面表现良好。作者明确声明代码和预训练权重已在GitHub公开（https://github.com/Nelipot-Lee/SegviGen）。基座模型Trellis.2也是公开可用的。训练使用PartVerse数据集（12k对象），评估使用PartObjaverse-Tiny（200对象）和PartNeXT（300对象子集），这些数据集均为公开数据集。实验在8块NVIDIA A800 GPU上进行，训练8小时，推理12步约2.63秒，算力需求适中。不过需要注意：(1) 依赖特定版本的Trellis.2模型和SC-VAE编码器，需要下载对应的预训练权重；(2) 颜色转移步骤（体素到网格的映射）的实现细节对最终结果质量有影响；(3) 评估中使用的颜色调色板采样策略（$K=10$）和IoU计算方式需要与原论文一致。总体而言，开源代码和数据的支持使得复现本文结果相对可行。
论文图表
图中展示了多个3D物体的分割结果，包括交互式分割和完整分割的可视化。每个例子都展示了输入3D资产和对应的部件分割结果，不同颜色表示不同的部件。结果具有锐利的部件边界和跨物体类别的强泛化能力。
这是论文的核心展示图，直观地展示了SegviGen的能力——利用3D生成先验实现多样化和精确的3D部件分割，是理解论文贡献的最佳入口。
图中展示了使用不同视角渲染的2D分割图作为引导时，SegviGen的3D分割结果。可见区域的分割结果一致，但不可见区域在不同视角下可能获得不同的颜色分配（反映标签分配歧义而非错误分解）。
揭示了2D引导模式的一个重要特性——视角依赖性，帮助理解该模式的优势和局限。
图中展示了SegviGen的失败案例。交互式和完整分割中，语义歧义可能导致模型产生比预期更多或更少的部件。2D引导模式下，极精细的结构可能难以清晰一致地从引导图中分割出来。
坦诚展示了方法的局限性，帮助读者理解SegviGen的适用边界和需要改进的方向。
图中展示了SegviGen在更多物体上的分割结果，包括不同类别和复杂度的3D资产。
展示了SegviGen在多样化3D资产上的分割能力，体现方法的通用性。
图中展示了SegviGen与VoxHammer结合进行交互式3D编辑的结果。SegviGen提供精确的部件分割，目标编辑区域由绿色点指示，VoxHammer在此基础上执行3D编辑操作。
展示了SegviGen在下游3D编辑任务中的实际应用价值，证明了部件分割质量对下游任务的重要性。