SNAP3D：从单张图像生成物理可装配的三维零件 SNAP3D: Physically Grounded 3D Parts for Assembly from a Single Image
修补部件穿透、推理接触并仿真优化连接件，使单图生成的零件装得上、站得稳
前置知识
部件级 3D 生成（part-aware 3D generation）
从一张图像或一个整体网格出发，产出带语义结构的部件集合（如椅腿、靠背、桌面），代表方法有 PartCrafter、OmniPart、PartPacker（直接生成）与 PartGen、P3-SAM、X-Part（对重建网格做分解）。每个部件是独立网格，但方法只保证各自视觉完整，不约束部件间的物理关系。
本文的全部输入正是这类方法的输出，论文要解决的核心缺陷——部件互相穿插、没有接触面、装配站不稳——就是它们的通病，理解其输出形态才能看懂三个阶段的动机。
网格布尔差运算
对封闭实体网格做集合运算（交、并、差）。本文的正则化布尔差 $\hat{P}_i = P_i \setminus \bigcup_{j\in T_i} P_j$ 把两个部件的共享体积从其中一侧裁掉，使裁剪后的边界恰好是另一个部件已有的表面，从而既消除穿插又不重画语义分解边界。
第一阶段几何编辑的核心操作；理解它才能明白为什么作者能宣称『只改共享边界、不碰语义结构』，以及为什么开放壳输入会导致差运算无定义、残留 0.5% 穿插。
增量势能接触（IPC）与仿射体动力学
IPC 是一种保证仿真全程无穿插、无反转的接触求解方法（SIGGRAPH 2020），配合仿射体动力学可在连接件那种极窄间隙下给出可靠接触力；本文用开源库 libuipc 实现。若求解器容忍穿插，重叠体会被接触力『焊死』，烂装配反而显得最稳定。
论文的稳定性评估协议和第三阶段连接件优化全部建立在 IPC 之上，作者还专门做了零重力预检排除穿插初值，理解这一点才能读懂其物理指标的公信力。
交叉熵方法（CEM）
一种无梯度黑盒优化：维护参数分布 $\mathcal{N}(\mu_t, \Sigma_t)$，每代采样 $K$ 个候选、仿真打分，取最好的 $M$ 个精英样本重估均值 $\mu_{t+1}$ 和全协方差 $\Sigma_{t+1}$，迭代收敛。本文每代 $K=32$、精英 $M=8$、共 3 代，并始终保留几何初始化解兜底。
每次仿真 rollout 不返回梯度，连接件六参数搜索只能靠 CEM；多盆地初始化与全协方差设计贡献了从 86% 到 95% 的最后一段稳定性提升（Table 6 消融掉了任一项都掉回 88–89%）。
Chamfer Distance 与 F-score
CD 衡量两个表面点集间最近邻距离的对称平均（本文以 $\times 10^{-2}$ 报告），F-score 是距离阈值（单位对角线的 2%）内匹配点的比例；p-CD/p-F1 是先做刚体对齐、再用匈牙利算法按体素 IoU 一对一匹配部件后的部件级版本。
论文用这些指标证明『物理修补几乎不牺牲几何保真』（CD 0.98 vs 最优 0.85），是读懂 Table 1 对比和 Table 2 消融中 b-CD、p-F1 列的基础。
榫卯式连接件（peg-and-socket）
一个零件上的凸柱（peg）插入另一零件上的凹窝（socket），靠比孔口更宽的头部卡扣形成几何互锁，而非摩擦力固定；参数化为一组六元组：切平面内位置 $(u,v)$、相对法向的倾角 $(\alpha,\beta)$、轴半径 $r$ 与插入深度 $\ell$。
所有装配都靠这种参数化连接件实现，它是第三阶段优化的对象，也是结果能直接 3D 打印、徒手组装（无需胶水螺丝）的关键；连接件库单一也是方法的一个局限。
研究动机
现有部件级 3D 生成方法（PartCrafter、OmniPart、X-Part、PartGen、P3-SAM 等）只追求单个部件的视觉完整与语义正确，从不约束部件之间的物理关系，导致相邻部件互相穿插、共享同一体积、缺少可依附的接触面。论文在从 HY3D-Bench 精选的 100 个『网格-图像』样本上量化了这一通病：三个主流基线的穿插部件对比例（IPR）高达 24.9%–31.8%，穿插体积比（IVR）达 2.98%–6.40%；把它们的输出按原样放进重力仿真，稳定率几乎为零（XPart 0.0%、OmniPart 2.0%、PartCrafter 1.0%），倒塌率 55%–89%，平均位移高达 33.4–98.1 个网格单元——部件直接散架。而部件编辑、铰接、仿真、3D 打印制造等下游应用都要求部件不仅在几何上正确，还要有兼容的接触面和真正的连接结构，才能组成在重力下稳定的整体。
本文的目标是本文要把部件级 3D 生成从『语义分解』推进到『物理可装配』：给定单张图像，先用现成的图像到 3D 部件方法得到语义部件，再通过三阶段框架（1）做部件几何编辑，消除部件间穿插、恢复干净接触面；（2）做连接件几何推理，判断哪些部件应该连接、在哪里接触，并在每个接触面上按局部几何实例化榫卯连接件；（3）做基于物理的连接件优化，用仿真反馈精调每个连接件的位置、朝向和尺寸，使装配体在重力下保持稳定。最终产物既要能直接 3D 打印并徒手组装，又要尽可能不改动生成器给出的原始几何与语义分解。
与已有工作不同的是，既有工作分成两条互不相通的传统。制造与装配方向（Chopper、AutoConnect、MOCCA、IndustReal、ASAP 等）研究在『给定合法整体或已几何兼容的组件』时如何切分与设计连接件——分解是它们的输出而非输入，切哪里、连接件放哪完全不管部件语义，例如把杯子切成三块；部件生成方向则只管语义与外观，产出语义部件但体积与接触面天然不兼容。PhysPart 虽按物理约束补全单个部件，却不建模部件之间的连接。本文的独特切入是第一次把『物理装配』接到部件级生成器的输出上：不重新生成几何，而是在保留语义分解的前提下只编辑共享边界，再用仿真在环把接触面升级为显式连接件，并配套提出一套基于 IPC 的物理评估协议，弥补语义部件生成与物理可实现 3D 资产之间的断层。
核心方法
直觉上，让一堆零件『站得稳』需要三件事：零件之间不能互相穿插（要有干净接触面）、知道谁和谁相连（接触结构）、相连处有真正能受力的结构（连接件）。SNAP3D 沿这个直觉搭了三阶段流水线（Fig. 2）。输入是用 Hunyuan3D 从单图重建整体网格、再用 X-Part 分解出的语义部件 $\{P_1,\dots,P_n\}\subset\mathbb{R}^3$，它们处于同一坐标系并保持相对布局。第一阶段（Sec. 3.1）做部件几何编辑：用带体积上限的正则化布尔差把每对部件的共享体积划给侵入更深的一侧，消除穿透并保留干净接触面。第二阶段（Sec. 3.2）做连接件几何推理：在编辑后的部件上建接触图 $G=(V,E)$，边要求两表面距离 $d\le\delta$ 且对面面积 $A_{ij}\ge\lambda D^2$（$D$ 为装配包围盒对角线），并在每条边上按局部几何初始化一个榫卯连接件。第三阶段（Sec. 3.3）做基于物理的连接件优化：用增量势能接触（IPC）加仿射体动力学仿真重力下的装配，定位失稳的部件群，只重新优化连接运动组件与支撑部分的那几条边的六参数 $\theta_e=(u,v,\alpha,\beta,r,\ell)$，用无梯度的 CEM 迭代搜索，直至装配稳定或候选耗尽。
核心创新是『编辑而非再生成』加『仿真在环』的组合，这也是与已有方法的本质区别。部件生成方法直接产出部件、从不考虑装配，而制造类方法（如 Chopper）把连接件切在『最好装』的地方、完全不管语义；本文明确保留生成器给出的语义分解，只把每对部件的重叠体积按侵入分数 $s_{ij}$（综合相对大小、包含比例、重叠偏心位置）裁决给侵入更深的一侧，使裁剪后的边界恰好是某个部件已有的表面——语义边界不被重画；再配总体积损失上限 $\varepsilon_{max}=0.35$ 防止一个部件被多个邻居叠加过度侵蚀。连接件全部参数化在接触面局部标架上（切平面内锚点位移 $u,v$、相对凹窝内法向的倾角 $\alpha,\beta$、半径 $r$、插入深度 $\ell$），锚点经最近点投影 $\Pi_B$ 拉回表面，保证任意参数取值下连接件都几何合法，这是 CEM 的角度统计量能在不同锚点间迁移、三代就收敛的前提。最后不同于一次性设计：先仿真定位『哪些部件在动』，只优化连接运动组件与支撑部分的边，用配对目标 $L_{pair}(\theta_e)=\max(\Delta p_e/\tau_p,\,\Delta\phi_e/\tau_r)$ 和全局目标 $L_{global}(\theta_e)=\max_{i\notin S}\max(\Delta p_i/\tau_p,\,\Delta\phi_i/\tau_r)$ 双重筛选，避免修好一处却弄散别处。全程零训练，纯几何处理加仿真。
方法步骤详情
第一步，部件几何编辑：对每对重叠部件计算共享体积 $O_{ij}=P_i\cap P_j$、包含比例 $f_i=\mathrm{vol}(O_{ij})/\mathrm{vol}(P_i)$ 与归一化偏心度 $q_i$，用侵入分数 $s_{ij}=2q_i+(q_i-q_j)+w_f(f_i-f_j)+w_v\log(\mathrm{vol}(P_j)/\mathrm{vol}(P_i))$（$w_f=w_v=3$、$w_s=0.5$，且有 $f_i\ge 0.05$、$f_i\ge 3f_j$、$q_i-q_j\ge 0.4$ 的前置清分规则）比较双方侵入程度，由 $\sigma(i,j)$ 裁掉更深的一侧，得到 $\hat{P}_i=P_i\setminus\bigcup_{j\in T_i}P_j$；随后对单部件累计损失封顶 $\varepsilon_{max}=0.35$（超限则翻转裕度最小的配对），在 $256^3$ 网格上清除浅角相交留下的薄片，并只在穿插不增、水密性与连通分量数保持时接受编辑。第二步，连接件几何推理：在 $\{\hat{P}_i\}$ 上按距离阈值 $\delta=0.5\%D$ 与最小对面面积 $\lambda D^2$（$\lambda=1.5\times10^{-5}$）建接触图；每条边把榫头分给较小部件、凹窝（receiver）分给较大部件，锚点 $a_0$ 取接触面上到边界裕度最大的点，初始轴沿凹窝内法向 $n_r(a_0)$，尺寸取打印分辨率允许的最小值（半径 $r=0.6\%D$、插入深度 $\ell=1.0\%D$）并以该方向可用材料封顶。第三步，物理在环优化：每次 rollout 把装配释放在地面、钉住接地部件、仿真 2 秒；把位移或转角超过 $\tau_p=5.9\%D$、$\tau_r=10°$ 且仍相互接触的部件聚成运动组件 $U$，候选边为 $C(U)=\{(i,j)\in E: i\in U, j\notin U\}$；逐条边用 CEM 优化 $\theta_e$——每代 $K=32$ 个候选（含保底的初始解 $\theta_e^0$）、精英 $M=8$、共 3 代，第 0 代从三个轴向族多盆地采样（$\theta_e^0$ 周边 45° 锥、法向 $\pm 10°$、法向 45° 锥，可行轴限 55° 锥内），几何不可行样本（无材料支撑、会撞第三部件）重抽；每修完一条边重新定位失稳，循环至通过或候选耗尽。
技术新颖性
技术新颖性有四点。其一，问题定义本身是新的：作者自称首个研究『部件级 3D 生成结果的物理装配』的工作，把语义部件生成与制造装配两条割裂的研究线接了起来，且配套的物理评估协议（零重力有效性预检 + 2 秒重力 rollout + 终态无穿插要求）本身就是贡献——零重力下自由部件若自发移动说明初始接触态无效，而『无穿插』要求防止了穿插被接触求解器焊死、烂装配反而显得最稳的假象。其二，非对称布尔裁决：用统一侵入分数权衡相对大小、包含比例与偏心度后再裁剪，保住了语义分解，这与 HoloPart 等 amodal 补全方法各自独立补全、两个邻居可能争夺同一体积的做法有本质区别。其三，连接件的六参数全部定义在接触面局部标架并经投影拉回表面，参数语义与锚点位置无关，使得无梯度的 CEM 能在小预算（3 代×32 rollout）内收敛。其四，失稳定位加逐边串行优化把全局组合问题分解为小规模黑盒搜索，配合多盆地初始化与全协方差更新（Table 6 显示去掉任一项都退回 88–89%、接近未优化的 86%），在仿真昂贵的约束下拿到 86%→95% 的最后一段增益。
实验结果
主实验在 HY3D-Bench 精选的 100 个『网格-图像』对上进行（2–18 个部件、10 个类别，多数装配含 5–16 个标注部件），对比原生图像到部件生成器（OmniPart、PartCrafter）与部件分割路线（Hunyuan3D+XPart）。Table 1 显示：物理稳定性上本文 95.0% 稳定、仅 3.0% 倒塌，而三个基线稳定率 0.0%–2.0%、倒塌率 55%–89%；最差部件平均位移（Shift）本文仅 5.6 格（约 $2.2\%D$），比所有基线（33.4–98.1 格）低 6–18 倍；穿插指标本文 IPR 仅 0.5%、IVR $<0.01\%$，两项均全场最优。几何保真上本文排第二：CD 0.98 对 XPart 的 0.85，F1 94.8 对 95.9，p-CD 1.72 对 1.67，说明物理修补几乎不动原始几何。Table 2 的阶段消融逐级验证三阶段贡献：基线穿插体积 4.86%、稳定 0%；加几何编辑（PGE）后穿插降到 0.07%、稳定 22%；再加连接件推理（CGR）跃升至 86%——连接件是最大功臣；物理优化再推到 95%，而编辑距离 b-CD 仅 0.63、p-F1 只从 81.3 微降到 80.6。Table 3 搜索空间消融显示去掉方向/尺度/位置任一维度都降到 90–92%（位置与尺度最关键：锚点落在没材料处或尺寸超过壁厚时其余参数救不回来）；Table 6 显示多盆地初始化与全协方差缺一不可（各掉到 88%/89%）。Table 5 的鲁棒性测试对 95 个稳定装配施加训练目标之外的载荷：重力反向保持 88.4% 连接（位移 0.86%D、转角 3.27°），三轴震动（振幅 $0.5\%D$、2 Hz、3.5 秒）保持 96.8%（位移 0.80%、转角 2.77°）。真机制造 6 个物体（PLA、Bambu Lab A1 mini、最长边 15 cm、名义间隙约 0.2 mm）全部徒手组装成功，无需胶水螺丝。另需注意 PartCrafter 的 p-F1=46.4 是在仅匹配到 46.1% 标注部件的情况下算出的（XPart 74.9%、Ours 74.3%），须与匹配率一起解读。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物理装配稳定性（重力仿真，100 例） | Stable (%) ↑ | 95.0 | XPart 0.0 / OmniPart 2.0 / PartCrafter 1.0 | 较最强基线 +93 个百分点 |
| 物理装配稳定性 | Shift（最差部件平均位移，格）↓ | 5.6（约 2.2%D） | XPart 73.5 / OmniPart 33.4 / PartCrafter 98.1 | 位移降低 6–18 倍 |
| 部件穿插 | IPR（穿插部件对比例，%）↓ | 0.5 | XPart 31.8 / OmniPart 30.4 / PartCrafter 24.9 | 约减少 50–63 倍 |
| 部件穿插 | IVR（穿插体积比，%）↓ | <0.01 | XPart 4.86 / OmniPart 2.98 / PartCrafter 6.40 | 近乎完全消除 |
| 整体形状保真 | CD（×10⁻²）↓ | 0.98 | XPart 0.85 / OmniPart 3.10 / PartCrafter 7.13 | 排名第二，与最优仅差 0.13 |
| 整体形状保真 | F1 (%) ↑ | 94.8 | XPart 95.9 / OmniPart 74.5 / PartCrafter 46.7 | 排名第二，接近最优 |
| 管线阶段消融（Table 2） | Stable (%) ↑ | 完整方法 95.0 | 基线 0.0 / +PGE 22.0 / +PGE+CGR 86.0 | 三阶段逐级 +22 / +64 / +9 个百分点 |
| 搜索空间消融（Table 3） | Stable (%) ↑ | 完整搜索 95.0（Shift 5.57） | 未搜索 θ0 86.0（Shift 8.50）；去方向 92.0 / 去尺度 90.0 / 去位置 90.0 | 搜索贡献 +9 个百分点 |
| 持出载荷鲁棒性（Table 5） | 连接保持率 (%) ↑ | 重力反向 88.4 / 三轴震动 96.8 | 可初始化的基线装配两者均为 0.0 | 在未优化的更强载荷下仍保持连接 |
| 真实制造与装配 | 徒手组装成功率 | 6/6（PLA，15 cm，Bambu Lab A1 mini） | 基线部件穿插严重、无法直接打印装配 | 无胶水螺丝完成装配并经受手动摇晃 |
局限与改进
作者明确承认的局限有三：仿真把部件与连接件都当刚体，无法刻画打印材料的弹性变形与过盈预紧，真实装配中可能存在的微小弹性效应在仿真中被忽略；优化代价高，窄间隙需要高保真接触仿真，目标函数每次评估都是一次完整 rollout；布尔编辑假设每个部件是封闭实体，生成器输出开放壳时差运算无定义，因此仍有 0.5% 部件对穿插残留（若重网格化会破坏想保留的分解）。我自己的观察：剩余不稳定案例集中在接触面过薄、放不下足够大连接件的装配上，这类结构性问题在『只加连接件不改形状』的框架内无解；装配顺序完全不在考虑范围，静止合法的榫卯在插入路径上可能被第三个部件挡住；方法完全依赖上游生成器把部件放到正确邻位（Fig. 10 的失败案例中 detached 部件无接触面可用）；评估虽有零重力预检，但 100 例的规模和『钉住接地部件』的设定仍偏受控，搬动与使用等动态场景只被震动测试间接覆盖。
独立分析的弱点
第一，刚体假设与真实打印的鸿沟：0.2 mm 名义间隙在 FDM 打印中伴随 ±0.1 mm 级尺寸误差，目前成功依赖卡扣几何互锁的宽容度，更小或更精密的装配可能直接失效——改进方向是把打印公差分布作为不确定性引入仿真（鲁棒优化或域随机化），甚至反推公差预算。第二，逐边串行的 CEM 优化昂贵且贪心：每代 32 次仿真、修一条边重定位一次，部件多、接触复杂时开销线性放大，最坏情况循环很长——可把接触边分组并行优化，或训练一个以接触几何为条件的网络直接回归连接件参数、把仿真只留作验证。第三，只优化重力静力稳定：没有显式的强度/应力校验，连接件抗弯、抗拔能力未建模——可把有限元校验或更丰富的载荷原型（冲击、扭矩）纳入 $L_{global}$。第四，几何编辑是纯规则的布尔裁剪，遇到薄片件、开放壳或语义边界本身不合理时无能为力（0.5% 残留穿插）——可换成基于 SDF 的可微局部重建顺带解决开放壳问题。第五，无法处理生成器部件放错位的上游失败（Fig. 10），也不规划装配顺序——分别需要空间一致性更强的生成模型和拆解反推的装配序列规划来补足。
未来方向
作者在 Limitations 中提出的方向：把刚体仿真扩展到能刻画打印材料变形与弹性预紧的模型；降低优化成本、为窄间隙发展高保真接触加速技术；把装配顺序纳入优化，使连接件在插入路径上也不被其他部件阻挡。基于其成果可再延伸：其一，把三阶段蒸馏成端到端可学习的生成模型，让『物理可装配』成为生成目标本身（类似 DSO 用仿真反馈对齐 3D 生成器），摆脱对后处理的依赖；其二，扩展连接件库——目前仅榫卯一种，可加入卡扣、铰链、螺纹等类型并让优化器按接触几何自动选型，支持可动与铰接装配；其三，把『零重力预检 + 重力 rollout + 载荷反转/震动』这套评估协议推广成公开 benchmark，服务于铰接物体生成、仿真就绪场景重建等方向；其四，与机器人装配衔接——接触图和连接件参数天然是抓取-装配规划的结构化先验，可检验更完整 sim-to-real 流水线；其五，研究软材料、多材质打印与过盈配合设计，使连接强度可调、可承载。
复现评估
复现难度中等偏上但完全可行。论文有项目主页（lucytuan.github.io/SNAP3D/），正文加补充材料几乎给全了超参：几何编辑 $256^3$ 网格、$\varepsilon_{max}=0.35$、侵入分数权重 $w_f=w_v=3$、$w_s=0.5$；接触图 $\delta=0.5\%D$、$\lambda=1.5\times10^{-5}$；连接件间隙 0.1%D、头部过悬 0.3%D、最小半径 0.6%D、最小插入深度 1.0%D、可行轴 55° 锥、三盆地初始化与标准差下限；CEM 的 $K=32$、$M=8$、3 代；仿真阈值 $\tau_p=5.9\%D$、$\tau_r=10°$、2 秒 rollout。依赖组件全部公开：Hunyuan3D、X-Part、libuipc（IPC 仿射体求解器）、Genesis（仅定性可视化）、HY3D-Bench（需按附录 A 用 Gemini 2.5 Pro 加人工核验筛出 100 例）。零训练、无 GPU 训练负担，主要算力成本是每条连接边约 3 代×32 次 IPC rollout 的 CPU 仿真，单卡/多核工作站即可；最考验工程的是水密网格布尔运算的鲁棒性与 IPC 在窄间隙下的数值设置。论文未明确承诺开源代码，若无官方实现，从零复现估计需要熟悉几何处理与物理仿真的研究者投入一到两人周以上。
论文图表
teaser 图：左上展示通过生成的连接件可拆装（exploded 视角），右上展示 3D 打印后徒手组装的实物；下方对比同一次重力测试中，先前部件感知方法 [40]（X-Part）的部件共享体积、无显式连接而坍塌（左下），而本文结果保持稳定（右下）。
一图点明全文动机与卖点：语义部件分解离物理可用还差『不穿插 + 有连接 + 站得稳』三步，且最终产物可真实打印组装。
失败案例：上游生成器把某个部件放到了偏离其应在位置处（左图圈出并放大），由于该部件与邻居之间没有有效接触界面，连接件阶段无法把它装回装配体。
明确方法边界：本文只精修不重建，输入分解的空间一致性是前提，帮助读者预判适用范围。