OmniLatent：面向 3D 部件建模的统一潜在表示 OmniLatent: Unified Latent for 3D Part Modeling
在统一潜在空间中同时生成几何、外观与部件ID，单图直出可编辑的部件级3D资产
前置知识
变分自编码器（VAE）
VAE 把高维数据压缩为低维潜在向量：编码器输出后验分布 $q(z|x)$，用 KL 散度把 $z$ 约束到接近标准高斯先验，解码器从 $z$ 重建输入。在 3D 生成中，它把复杂网格压缩成紧凑的几何感知 latent，使扩散模型能在低维序列上高效训练和采样。本文用共享编码器把几何、形变、外观、部件 ID 四种属性一起压进同一组 latent token，再用带属性专属头的共享解码器还原。
OmniLatent 的『统一潜在空间』本质就是一个多属性 VAE，读懂它的编码方式、级联解码设计和多任务损失都依赖 VAE 的基本概念。
Rectified Flow（整流流）
一类流匹配生成模型：在数据 $z_1$ 与噪声 $z_0$ 之间定义直线路径 $z_t = t z_1 + (1-t) z_0$，训练网络 $v_\theta$ 预测该方向的速度 $(z_1 - z_0)$，即 $\mathcal{L}_{flow} = \mathbb{E}_{t,z_0,z_1}\|v_\theta(z_t,t,c) - (z_1 - z_0)\|^2$。推理时从纯噪声出发沿预测速度做 ODE 积分即可采样，轨迹近似直线、所需步数少、训练稳定。
OmniLatent 的生成主干（1.9B MM-DiT）就用 rectified flow 训练，3.3 节的插值路径和损失公式是理解生成过程的基础。
MM-DiT（多模态扩散 Transformer）
源自 Stable Diffusion 3 的架构：把图像、文本、掩码等条件 token 与噪声 latent token 拼接成同一序列，在双流/单流 Transformer 块中通过联合自注意力交换信息，替代传统 U-Net 的 cross-attention 条件注入。它天然支持任意长度、任意类型的条件序列。
本文的点提示 token、2D 分割掩码条件都是直接拼入 MM-DiT 的去噪序列生效的，理解控制信号的注入方式必须先懂这个架构。
SDF 与 Marching Cubes
符号距离函数（SDF）为空间每个点给出到物体表面的带符号距离，零等值面即物体表面；Marching Cubes 在体素网格上提取 SDF 的零等值面并输出三角网格，是从连续场得到可渲染 mesh 的标准算法。表面顶点可再作为查询点去采样颜色、法线等属性。
本文 VAE 采用级联表面查询解码：先重建 SDF 提取表面，再让表面顶点查询形变/外观/部件 ID，部件边界因此天然落在几何曲面上，不懂得 SDF 流水线就读不懂这个关键设计。
RoPE（旋转位置编码）
Rotary Position Embedding 把位置信息以复数旋转形式注入注意力的 Q/K 内积，使注意力得分天然依赖 token 间的相对位置，且支持长度外推。本文的 CA-RoPE（条件感知 RoPE）进一步扩展：第一个维度索引条件类型（RGB 图、2D 掩码、3D latent 各不相同），其余维度编码空间的高和宽。
CA-RoPE 负责 2D 条件与 3D latent 的空间对齐（消融显示去掉后 mIoU 从 74.18 降到 69.20）；amodal 补全还用『RoPE 锚定 vs no-RoPE』区分已观测与待补全区域，是核心机制之一。
Amodal 部件补全
『Amodal』指感知上完整的、包括被遮挡部分的形态。该任务给定整体几何与每个部件仅覆盖可见表面的部分掩码，要求恢复每个部件在未观测区域和内部区域的完整几何，例如补全被坐面挡住的完整椅腿。它区别于只划分可见表面的常规分割，输出可直接用于部件级编辑与动画。
这是本文三大能力之一（3.5 节），动态 per-part token 分配、RoPE/no-RoPE 双组 token、部件局部+全局交替注意力全部为这个任务而设计。
mIoU 与 Chamfer Distance
mIoU（平均交并比）衡量预测部件区域与真值区域的重叠程度，是分割的标准指标，越高越好；Chamfer Distance（CD）计算两组点集之间的平均最近邻距离，衡量几何误差，越低越好；F-score 在给定距离阈值（如 0.1、0.05）下统计匹配点对的调和平均，越高越好。
论文全部定量结论（Table 1–8）都用这些指标表达：分割看 mIoU，补全看 CD 与 F-score，纹理看 cFID/LPIPS 等，不熟悉这些指标就无法判断结果好坏。
研究动机
图像条件的 3D 生成模型（Hunyuan3D 2.0、TRELLIS、Hi3DGen 等）已能从单图合成精细的几何与外观，但输出基本是单一整体曲面：物体看起来成立，语义部件却没有显式分离，直接限制了材质指定、动画绑定、物理制造和结构化编辑。主流补救是『先生成、后分割』的两段式流程（SAMPart3D、PartField、P3-SAM 等事后分割器），但分割与生成表示完全解耦：质量严重依赖输入网格，在薄结构、锐利边界和依赖纹理的语义过渡处频繁退化；粒度难以控制，可能把视觉连贯的组件拆开、把不同功能的部件合并，产生的边界与生成曲面并不对齐。数据层面同样失衡：本文使用的数据中几何网格约 900K、带纹理资产约 300K，而高质量部件级 3D 标注只有约 20K——仅靠部件标注训练无法利用大规模几何与视觉先验；2D 基础模型虽能提供掩码线索，却因遮挡、视角偏差和 2D-3D 对应不完美而难以直接迁移到 3D 表面。
本文的目标是本文的核心问题是：能否构建一个统一潜在空间，让它同时具备几何、视觉与语义上下文，使 3D 部件分解不再是孤立的标注任务，而是与资产生成一体的过程？具体目标分三层。第一，把几何、形变、外观和二进制部件 ID 编码进同一组 latent token，训练一个以单图为输入的基础模型，一次前向就生成带表面部件 ID 的完整 3D 资产；可选接受 2D 分割掩码控制部件粒度，没有掩码时也能自主完成表面分割。第二，把预训练模型轻量适配为点提示交互编辑器，用任意数量的 3D 点提示（每个点带 6 位部件 ID）实现完整分割、已有分割的细化、以及把粗部件再细分为更细部件。第三，扩展出 amodal 部件补全模型：给定完整几何和所有部件的部分表面掩码，恢复每个部件的完整几何并保持全局一致，从而同时覆盖『分割可见表面』与『补全不可见部件』两类生产需求。
与已有工作不同的是，已有统一 3D 表示工作的重心不在部件：TRELLIS 统一的是输出格式（辐射场、网格等），UniLat3D 简化几何-外观联合的纹理网格生成，UniPart 探索几何与部件的集成但仍是部件级生成路线。OmniLatent 的独特切入是把『统一潜在建模』本身当作部件分解的基础设施：让数据丰富的模态（几何、外观）塑造强 latent 先验，再通过渐进训练课程把先验迁移给数据稀缺的部件学习，使部件标注规模（20K）无需与几何数据（900K）对齐。更关键的是，部件 ID 被当作与 RGB 同等的生成模态参与去噪，而不是分类头的事后输出；配合级联表面查询设计，部件边界定义在与几何、外观相同的重建曲面上，从表示层面消除了两段式流程的边界错位问题。这个『先验迁移 + 同空间生成』的组合，是它区别于事后分割和部件级生成两条既有路线的根本差异。
核心方法
直觉上，部件边界应由几何突变（边、角）与外观变化（颜色过渡）共同决定，所以最可靠的做法是让部件预测与几何外观共享同一表示。技术上，OmniLatent 基于 VoxSet 的体素查询表示构建『表面对齐多属性场』：对每个物体采样点集 $X \in \mathbb{R}^{N\times 16}$，由几何场 $P \in \mathbb{R}^{N\times 7}$（坐标、法线、锐边二值指示，均匀采样叠加锐边附近加密采样）、外观场 $C \in \mathbb{R}^{N\times 3}$（表面 RGB）和部件场 $Q \in \{0,1\}^{N\times 6}$（6 位二进制部件 ID）拼接为 $X=[P,C,Q]$。统一 VAE 用共享编码器经 cross-attention 把 $X$ 压成有序 latent token 序列 $z \in \mathbb{R}^{L\times D}$；解码采用级联表面查询：先重建 SDF 并用 Marching Cubes 提取表面，再让表面顶点从同一组 latent token 查询形变偏移、外观颜色与部件 ID，输出逐面掩码。生成端用 1.9B 参数的 MM-DiT 以 rectified flow 从单图（可选 2D 掩码）直接生成 latent。训练采用 900K 几何 → 300K 纹理 → 20K 部件对象的渐进课程，缺失字段编码前置零，保证各阶段 latent 空间兼容。
核心创新有四点。第一，部件 ID 是生成模态而非事后标签：它与几何、外观在同一去噪过程中合成，分割成为条件生成的一部分，从根本上避免两段式流程的误差累积与边界错位。第二，6 位二进制部件 ID 最多编码 $2^6=64$ 个部件，且 ID 在每个物体内随机分配、无需跨对象语义对应；相比 RGB 编码的部件掩码，二进制码在去噪下更稳定——RGB 的微小连续色偏会把一个语义部件裂成多个不一致 ID，而按位解码保持类别精度。第三，级联表面查询：部件场在定义几何与外观的同一重建表面上解码，保证边界与结构天然对齐。第四，先验迁移的课程设计：大规模几何先建立结构化 latent 空间，纹理资产对齐外观，最后少量部件数据只需教 latent 空间『解码』出连贯部件 ID——消融证明这是关键：统一 latent 达 74.18 mIoU，而只学部件的 latent 仅 67.69，去掉几何外观预训练会导致部件区域明显变噪、边界不稳。
方法步骤详情
流程分五步。（1）数据构建：整理 900K 高质量网格（Objaverse 为主）、300K 几何+纹理资产（目标 albedo，用点光/面光/HDRI 随机照明渲染条件图）与 20K 人工标注部件对象（每件 5–30 个语义部件，强调语义合理与对称），用 Blender 渲染 RGB 图与配套 2D 分割掩码。（2）VAE 训练：先用 2048 再过渡到 6144 token 长度、学习率 $10^{-4}$ 训 SDF 稳定 latent 空间，训练中随机采样 token 数以适应不同体素密度，然后联合形变/外观/部件监督；多任务损失 $\mathcal{L}_{vae}=\lambda_{kl}\mathcal{L}_{KL}+\lambda_{sdf}\mathcal{L}_{sdf}+\lambda_{def}\mathcal{L}_{def}+\lambda_{app}\mathcal{L}_{app}+\lambda_{part}\mathcal{L}_{part}$，权重 $\lambda_{kl}{=}10^{-6}, \lambda_{sdf}{=}1, \lambda_{def}{=}0.1, \lambda_{app}{=}1, \lambda_{part}{=}1$，约 3 天。（3）基础生成器：1.9B MM-DiT，学习率 $5\times10^{-5}$、序列长 12248，条件经 CA-RoPE 注入（第一维索引条件类型，其余两维编码高宽），训练时 10% 概率把条件换成零嵌入以支持 CFG（推理尺度 5），掩码条件随机丢弃使同一模型兼容有无掩码两种模式，并对掩码做丢弃/合并/拆分/成分分解/内部噪声/腐蚀增强，约 7 天。（4）点提示适配：提示集 $\mathcal{P}=\{(x_i,b_i)\}_{i=1}^{n}$（3D 点 + 6 位 ID）经轻量 MLP 映射为 latent token 拼入去噪序列全层参与；全分割每部件采样 1–10 点，细化时随机合并 2–4 个部件再在每个原部件内采样 1–10 点，并用白/黑二值区域指示器软性标记待编辑部件；在 20K 数据上从预训练模型全量微调 30K 步。（5）amodal 补全适配：按各部件可见体素数动态分配 token（钳制在平均预算的 $[0.5,1.5]$ 倍），token 分为 RoPE 锚定组（保留已见表面证据）与 no-RoPE 补全组（训练占 20–40%、推理固定 30%，损失加权 5 倍），几何 latent 经 cross-attention 注入，部件局部注意力与全局注意力交替；过滤掉 4 个以上部件需补全超 60% 的训练样本，同样微调 30K 步。推理时基础模型用 8192 个 latent token 约 30 秒完成一次完整生成。
技术新颖性
与事后分割方法（SAMPart3D、PartField、P3-SAM）的本质区别：它们在已完成的曲面上聚类学习特征，粒度需靠多分辨率枚举或语义提示外控，而 OmniLatent 的分割发生在 latent 采样过程内部，粒度既可由 2D 掩码引导也可自主决定。与部件级生成方法（PartCrafter、OmniPart、X-Part、HoloPart）的区别：那些方法把部件当作独立的几何块或组合 latent 来生成；OmniLatent 用同一 latent、同一主干承载四种属性，分割、细化、细分与补全都通过轻量适配复用同一组几何/外观/部件先验，而非从头训练交互分割模型。架构层面也有细化创新：CA-RoPE 用条件类型维度区分 RGB、掩码与 latent token，针对多条件 3D 生成；amodal 补全的『RoPE 锚定 + no-RoPE 自由 token』双组机制与按可见体素动态分配容量，是对固定长度部件 token 方案的直接改进——消融显示去掉表面 RoPE 使部件级 CD 从 0.08 恶化到 0.15，去掉全局注意力恶化到 0.13，证明两个组件缺一不可。
实验结果
实验覆盖四条线。（1）表面部件分割（PartObjaverse-Tiny-wt，200 形状、3000+ 细粒度标注，mIoU）：掩码引导下 OmniLatent 平均 74.18%，显著超过 P3-SAM 58.10、PartField 52.61、SAMPart3D 50.02、Find3D 20.76，八个类别全面领先（动物 82.68、食物 80.72、人体 79.36、电子 70.98，最弱的建筑也有 58.94）。为排除『在自己生成的网格上评测』的偏袒，作者让所有基线也在 OmniLatent 生成表面上评测：仍是 74.18 对最强基线 56.01；在 GT 水密面上无掩码 62.42、有掩码 76.53，说明掩码引导贡献约 14 个点。（2）点提示交互（10 个提示，mIoU）：全分割 67.32（P3-SAM 58.10），交互式分割 55.75（P3-SAM 49.11、Point-SAM 仅 24.16），且同一接口覆盖分割/细化/细分三种编辑。（3）amodal 补全（ObjaversePart-Tiny 200 样本）：整体几何 CD 0.03、F-score-0.1 0.97、F-score-0.05 0.85，全面最优，对比 X-Part 0.08/0.92/0.78、OmniPart 0.08/0.91/0.77、HoloPart 0.09/0.88/0.73；部件级 CD 0.08、F-0.05 0.78，优于 X-Part 的 0.11/0.71；消融证实表面 RoPE（去掉后部件级 CD 0.08→0.15、F-0.05 0.78→0.64）与全局注意力（去掉后 CD→0.13、F-0.05→0.68）缺一不可。（4）支撑质量：几何生成 ULIP-I 0.126、Uni3D-I 0.318 与 Hunyuan3D 2.0（0.130/0.315）相当；外观生成 cFID 22.95、CMMD 2.079、LPIPS 0.111 均为最优，但 CLIP 0.903 略低于 MaterialMVP 的 0.921。效率上，单图一次生成约 30 秒（8192 token），而『几何 30s + 纹理 30s + 分割 20s』的分阶段管线约 80 秒；测试时 token 可从 3072 外推到 20480 并持续提升细节。消融还量化了两个设计：去掉 CA-RoPE 使 mIoU 从 74.18 降到 69.20，统一 latent 相比仅部件 latent 提升 6.49 个点（67.69→74.18）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 表面部件分割（PartObjaverse-Tiny-wt，掩码引导） | mIoU (%) | 74.18 | P3-SAM 58.10 / PartField 52.61 / SAMPart3D 50.02 | 较最强基线 +16.08 |
| 表面部件分割（所有方法统一在 OmniLatent 生成表面上评测） | mIoU (%) | 74.18 | P3-SAM 56.01 / PartField 51.93 / SAMPart3D 48.73 | 较最强基线 +18.17 |
| 表面部件分割（GT 水密面，无掩码自主模式） | mIoU (%) | 62.42 | 有掩码 76.53 | 掩码引导可再 +14.11 |
| 点提示全分割（10 提示） | mIoU (%) | 67.32 | P3-SAM 58.10 | +9.22 |
| 点提示交互式分割（10 提示） | mIoU (%) | 55.75 | P3-SAM 49.11 / Point-SAM 24.16 | 较最强基线 +6.64 |
| amodal 部件补全·整体几何（ObjaversePart-Tiny） | Chamfer Distance ↓ | 0.03 | X-Part 0.08 / OmniPart 0.08 / HoloPart 0.09 | 误差降低约 62.5% |
| amodal 部件补全·整体几何 | F-score-0.05 ↑ | 0.85 | X-Part 0.78 | +0.07 |
| amodal 部件补全·部件级 | Chamfer Distance ↓ | 0.08 | X-Part 0.11 / SAMPart3D 0.15 | 误差降低 27.3% |
| amodal 部件补全·部件级 | F-score-0.05 ↑ | 0.78 | X-Part 0.71（消融：去表面 RoPE 0.64，去全局注意力 0.68） | +0.07 |
| 几何生成（450 个高细节资产基准） | Uni3D-I ↑ | 0.318 | Hunyuan3D 2.0 0.315 / TRELLIS 0.311 | 持平略优（ULIP-T 0.073 略逊 Hi3DGen 0.066） |
| 外观生成（MaterialMVP 测试集 268 图） | cFID ↓ | 22.95 | MaterialMVP 24.78 / RomanTex 24.78 / Hunyuan3D-2 26.43 | 最优（但 CLIP 0.903 低于 MaterialMVP 0.921） |
局限与改进
作者承认三类失败模式（Figure 13）：对称结构可能被分配不对称的部件布局；几何、外观或空间上下文相似的两个组件可能被错误合并为一个部件；2D 掩码条件具有视角依赖性，可能在背面把本应 3D 连通的区域切开。我的补充观察：其一，6 位 ID 上限 64 个部件，且 ID 是对象局部随机分配、无跨对象语义，输出没有部件命名，难以支持『找出所有螺丝』这类语义查询；其二，分割评测把 GT 部件 ID 经最近邻转移到生成表面上，几何偏差会压低自身得分，但 GT 水密面上无掩码仅 62.42 也说明自主分割与掩码引导之间差距较大（14.11 个点）；其三，部件训练数据仅 20K 且靠人工筛选标注，语义多样性与一致性受数据源限制，建筑类 mIoU 只有 58.94，远低于食物 80.72 和动物 82.68；其四，amodal 补全过滤了『4 个以上部件需补全超 60%』的训练样本，极端遮挡场景缺乏监督、真实能力未知；其五，外观只建模 albedo，不含 PBR 材质与 UV，CLIP 指标也落后于专精纹理的 MaterialMVP，距离生产级资产还有一步之遥。
独立分析的弱点
独立分析四点弱点。其一，交互与补全能力都靠在同一个 20K 数据集上全量微调获得（点提示与补全各 30K 步），每增加一种控制模态就要再微调一次适配器，工程上不可持续——改进方向是 LoRA 式轻量适配或统一的多任务提示接口，让多种控制在一次适配中共享。其二，2D 掩码引导存在背面切割错误，根源是单视角掩码与 3D 连通性之间没有约束，可引入多视角掩码一致性正则或基于连通分量的后处理来保证部件的 3D 连通。其三，部件 ID 无语义命名，输出对下游工具链不友好，可与 LLM 或开放词汇 3D 语义模型结合，为每个二进制 ID 附加文本标签并支持文本查询与文本控粒度。其四，对称性错误说明纯数据驱动的 latent 先验缺乏结构对称约束，可在注意力中加入对称等变偏置或利用测试时对称性自监督修正。此外，64 部件上限对极端复杂装配体可能不够，可改用可变长编码或层次化部件树；建筑类仅 58.94 mIoU 提示大规模场景型物体的部件结构远比日常物体复杂，需要针对性数据与层级表示。
未来方向
作者明确提出三个方向：引入更强的对称性先验、连通性约束或交互纠正机制，解决不对称分割与错误合并；把统一 latent 形式扩展到更多生产属性——材质、UV、关节（articulation），构建更完整、可编辑的 3D 资产表示。基于本文成果还可延伸：一是部件语义化，把对象局部的二进制 ID 与开放词汇文本嵌入对齐，实现『文本选部件、文本控粒度』；二是用本模型对海量无标注资产批量生成伪部件标注，形成自训练闭环，突破 20K 人工标注的瓶颈；三是把 amodal 补全的 RoPE/no-RoPE token 机制推广到通用形状补全与场景级补全；四是与可关节化建模结合，让部件边界直接对接骨骼与运动学，服务机器人仿真与动画管线；五是生成层次化部件树（椅子→坐面→扶手→螺钉）而非扁平 ID，统一不同粒度需求；六是把测试时 token 缩放（3072→20480 外推）系统化为按算力自适应的生成模式，并研究 token 数与部件边界质量的定量关系。
复现评估
复现难度：高。论文未声明代码或权重开源（v1 版本无开源链接）。数据侧：900K 几何网格与 300K 纹理资产主要来自 Objaverse，获取可行但清洗、水密化与渲染工作量大；20K 部件对象经人工筛选并标注语义部件 ID（每件 5–30 个部件），标注成本最高且论文未给出标注协议细节，是最难复现的环节。算力侧：VAE 训练约 3 天、1.9B MM-DiT 约 7 天、两个适配器各 30K 步微调，未披露 GPU 型号与数量，按经验需要多卡 A100/H100 级集群。推理较友好：单图一次生成约 30 秒（8192 token），如能拿到权重，单卡环境即可使用。评测协议清晰且基准公开：PartObjaverse-Tiny（沿用 P3-SAM 水密版协议）、ObjaversePart-Tiny 200 样本（X-Part 协议，含 0°/90°/180°/270° 旋转取最优）、MaterialMVP 268 图测试集、450 资产几何基准，指标（mIoU、CD、F-score@0.1/0.05、cFID、CMMD、CLIP-I、LPIPS）均为标准定义。若作者开源，中大型实验室可在数周内复现主要结果；不开源则完整复现成本很高，但复现其消融结论（小规模预训练+适配）仍具参考价值。
论文图表
论文首图，展示单张输入图像经过 OmniLatent 后同时输出四个通道：几何（geometry）、形变（deformation）、外观（appearance）与连贯的表面部件 ID（part decomposition），并示意这些属性共享同一 OmniLatent 潜在空间。
一图概括论文的全部产出与核心卖点——部件结构不是事后分割，而是与几何纹理在同一次潜在生成中产出，适合作为理解全文的入口。
失败案例展示两类典型错误：(a) 非对称——对称物体上几何对应的区域被分配了不同的部件布局；(b) 误合并——几何/外观/空间上下文相似的两个本应独立的组件被合并为同一部件。
作者主动给出的局限性证据，是评估该方法能否用于生产、以及后续改进方向（对称先验、连通性约束）的直接依据。