Arbor：用于可控3D资产生成的显式几何条件控制

通过约束网格为3D生成添加显式空间控制接口，支持hull/avoidance/touch三种约束类型

前置知识

Flow Matching

一种与扩散模型相关的生成框架，通过学习从噪声分布到目标分布的连续概率路径来生成样本。与扩散模型不同，flow matching直接建模速度场，训练更稳定且采样速度更快。在3D生成中，flow matching用于学习从噪声潜变量到清晰3D状态的变换过程。

本文使用的TRELLIS-1骨干网络就是基于flow matching训练的3D生成模型，理解flow matching有助于理解生成过程和训练目标。

Sparse Voxel Representation

一种稀疏的3D体素表示方法，只存储被占用的体素单元而不是完整的密集网格。这种方法通过压缩3D空间表示，大幅减少了内存消耗和计算复杂度，同时保留了足够的几何细节。TRELLIS使用163的稀疏体素网格进行结构生成，每个体素包含8个通道的潜在特征。

Arbor需要将密集的约束网格编码为稀疏的潜在token，理解这种表示方式对于理解编码和路由过程至关重要。

Cross-Attention

注意力机制的一种变体，其中查询来自一个序列，而键和值来自另一个序列。这使得模型能够将来自一个模态（如文本或几何约束）的信息注入到另一个模态（如3D潜变量）中。在本文中，cross-attention用于将约束token注入到生成器的潜在空间。

Arbor的核心机制就是通过cross-attention将几何约束信息注入到冻结的3D生成器中，理解cross-attention对于理解整个控制流程至关重要。

Adapter/ControlNet

一种在不修改预训练骨干网络权重的情况下添加额外控制条件的方法。通过在预训练模型的每一层添加小的可训练分支，这些分支学习如何将额外的条件信息注入到主网络中。原始的骨干网络保持冻结，只训练这些适配器分支。

Arbor本质上是一个3D版本的Adapter，它在冻结的TRELLIS-1生成器中添加了几何控制分支，理解Adapter机制有助于理解Arbor的设计理念。

研究动机

现有的文本和图像条件3D生成模型虽然能够生成可信的3D资产，但在生产环境中面临着严重的空间控制问题。艺术家在创建3D资产时，往往需要满足精确的空间要求：椅子需要适配特定的座椅模板，手柄必须保持在可触及范围内，道具需要为动画或相邻物体预留空间，零件需要暴露干净的连接区域。然而，当前的3D生成器无法提供直接的接口来表达这些空间意图，导致艺术家陷入反复尝试的困境——尝试大量提示词，却永远无法精确满足约束，最终不得不进行手动清理。根本问题在于提示词描述的是语义而非空间，图像条件又受限于视角和外观，使得空间绝对约束难以编码。

本文的目标是本文的目标是创建一个显式的几何控制接口，让艺术家能够通过3D约束网格直接表达空间意图，并将其注入到文本条件的3D生成过程中。具体而言，系统需要支持三种类型的约束：hull约束定义生成几何应该存在的区域（如椅子座椅），avoidance约束定义几何不应该存在的区域（如座椅上方的空隙），touch约束定义物体应该接触的表面（如椅子腿部接触地面）。这个接口应该在不干扰生成器形状创造变异性的前提下，提供精确的体积控制能力，使3D资产生成更加可靠且更有可能用于生产环境。

与已有工作不同的是，与现有方法的本质区别在于，Arbor不是处理编辑、全局结构先验下的生成、部分几何完成或采样时引导，而是在生成前就定义密集的局部几何hull，标记对物体有语义意义的体积（手柄、座椅、轮子）。现有的形状引导方法主要关注几何应该出现的区域，而Arbor还指定了必须保持为空的区域（孔洞、间隙）和自定义约束如touch（标记资产应该接触但不延伸过远的表面）。与预填充潜在或关注粗略代理的方法不同，Arbor在艺术家预先指定体积和信号的前提下，用显式结构引导去噪过程。

核心方法

Arbor的整体思路是将艺术家的3D约束网格转换为可被文本条件3D生成器理解的潜在信号，并通过路由机制将这些信号注入到生成器的相关区域。方法建立在TRELLIS家族的3D生成模型之上，使用TRELLIS-1（T1）作为强文本条件骨干网络，利用TRELLIS-2（T2）的直接表面编码机制提供显式几何信号的条件生成接口。T2支持辅助的每表面通道，原本用于渲染中的材质参数，Arbor将这些通道重新用于编码约束信息作为二进制标志，每个标志表示特定表面约束的存在或不存在。然后通过学习的路由剩余分支将这些标志注入生成过程。整个流程将类型化约束对象转换为TRELLIS-2 OVoxel，用冻结编码器编码几何和信号属性，将得到的潜在对齐为几何token，并通过几何路由器将这些token路由到TRELLIS稀疏结构去噪器中。

Arbor的核心创新在于引入了三个统一的技术组件：类型化区域约束、几何token编码和路由注入机制。首先，引入hull、touch、avoidance三种类型区域作为统一的控制接口，用户可以直接以3D网格形式指定。其次，展示冻结的几何编码器可以被重新用于将约束网格和类型信号转换为保留局部结构的紧凑潜在token，作为模型输入。最后，引入路由器将局部约束证据分配到重要的潜在区域，并通过剩余分支将此证据注入冻结的3D生成器。与现有方法的本质区别在于，Arbor不是完成、匹配或引导的单一信号，而是使用几何作为类型化规范——hull区域指示资产应该存在的地方，touch区域标记接触表面，avoidance区域通过不成为表面来精确定义。

方法步骤详情

Arbor的完整流程包括四个主要步骤。第一步是约束创建，艺术家准备三个类型的约束网格：hull约束（绿色）定义几何应该存在的区域，avoidance约束（红色）定义应该保持为空的区域，touch约束（蓝色）定义物体应该接触的表面。这些网格被融合为单个网格Cmesh，包含表面法线Cnormals和编码约束类型的信号通道Csignal。第二步是约束编码，应用OVoxelize操作将约束对象转换为对齐的形状和材质场：$\text{OVoxelize}(M, A) = (f^{\text{shape}}_M, f^{\text{mat}}_M)$。冻结的T2形状和材质编码器将这些场映射到紧凑的稀疏潜在：$z^{\text{shape}} = E_{\text{T2,shape}}(f^{\text{shape}}_M)$，$z^{\text{mat}} = E_{\text{T2,mat}}(f^{\text{mat}}_M)$。Arbor将3个对齐法线通道和3个二进制控制通道用于类型信号。第三步是几何路由，将16^3的查询潜变量格划分为64个组，每个组覆盖4×4×4的相邻查询块。对于每个组，路由器从投影的约束token构建几何上下文。第四步是适配器注入，在每个T1块中，在冻结的文本交叉注意力之后和前馈网络更新之前，通过单独的接地分支注入几何：$\Delta z^{(\ell,g)}_{\text{geo}} = \text{CrossAttn}^{(\ell)}_{\text{geo}}(z^{(\ell,g)}_{\text{text}}, c^{(g)}_{\text{ctx}})$，$z^{(\ell,g)} = \text{FFN}^{(\ell)}(z^{(\ell,g)}_{\text{text}}) + W^{(\ell)}_{\text{geo}}\Delta z^{(\ell,g)}_{\text{geo}}$。

技术新颖性

Arbor的技术新颖性体现在多个层面。在编码层面，创新性地重新利用TRELLIS-2的材质通道来携带约束类型信号，而不是修改TRELLIS-1的原生编码器，避免了缓慢的体素化、150视图渲染和DINOv2特征投影过程。在路由层面，引入了local+global的双层路由机制：局部路由使用每个组的中心和八个角作为路由锚点Rg，通过距离评分保留K=2048个最近的token；全局路由用96个学习的总结token捕获更广泛的信号如范围、touch方向和占据与禁止区域之间的关系。在训练层面，仅训练几何面向的模块（几何投影和位置嵌入、全局总结模块、语义部分token模块、接地适配器），而T1自注意力、文本交叉注意力和前馈网络权重保持冻结，使用原始T1稀疏结构潜在作为flow matching目标，不使用显式的约束合规损失。这种设计使得Arbor能够在不破坏预训练生成器先验的前提下，有效地整合几何约束。

**Figure 1**: Arbor overview. Arbor turns simple 3D control objects into an explicit constraint signal for text-conditioned 3D generation. Hull regions mark where generated geometry should exist, touch regions mark contact patches, and avoidance regions mark free space that should remain empty. This enables artist to co-author the generation process, making asset generation more reliable and therefore more likely to be used in production.

**Figure 2**: Constraint conditioning pipeline. Arbor converts a typed constraint object into TRELLIS.2 OVoxels, encodes geometry and signal attributes with frozen encoders (Sec. 3.2), aligns the resulting latents into geometry tokens, and routes those tokens into the TRELLIS sparse structure denoiser (Sec. 3.3). Local routing gives each query group the nearby constraint evidence it needs, while learned global summaries provide object scale context.

实验结果

Arbor在Toys4K数据集上的控制生成基准评估中展现了卓越的性能。在手动分割（n=32）上，Arbor的控制分数达到0.402，hull命中率为0.714，avoidance违例仅为0.025，touch命中率为0.857，体积匹配为0.469，多视图CLIP为0.229。在自动分割（n=128）上，控制分数提升至0.472，hull命中率为0.786，avoidance违例降至0.006，touch命中率达到0.984，体积匹配为0.487，多视图CLIP为0.240。用户偏好研究显示，在404次试验中，Arbor家族获得了59.2%的配对选择胜率，其中单一Arbor行在合并变体之前被选择最频繁。TRELLIS是下一个最强的人工基线，因为它产生干净的对象，尽管错过了许多约束。消融实验显示，仅局部路由保留了84.3%的约束IoU，表明路由的局部证据是主要机制，全局总结仍然添加有用的对象级上下文，而仅全局总结仅保留27.0%。约束扫描实验表明，当约束区域连续移动、缩放或旋转时，生成的资产跟随移动的约束而不会捕捉到小范围的布局或丢失对象身份。在固定约束下的变异性方面，Arbor在固定hull的情况下改变卡车背部和轮胎，同时遵守hull和avoidance，并围绕控制的座椅区域构建新的沙发垫和周围框架几何，变异性达到0.740。

**Table 1**: Controlled generation benchmark. Manual (n=32) and automatic (n=128) splits. Pref. is the pairwise user study win rate over 404 trials from 27 participants, with the parenthesized value merging the three Arbor variants. Geometry metrics use 64^3 voxels and Ctrl. Scr. is defined in Appendix A.5.

**Table 2**: Variation under a fixed constraint. Var. is mean pairwise 1-IoU across three seeds; other columns report mean +- standard deviation. Arbor keeps high variation while preserving control.

**Table 3**: Conditioning ablation. Constraint IoU retained relative to full Arbor.

**Figure 3**: Controlled generation comparison. Each column shows one prompt and constraint object. The constraint is rendered as normal shaded geometry with signal regions colored hull, touch, and avoidance. Rows compare predictions and their constraint following. Here, green indicates a hull match and blue indicates missing hull. Arbor keeps readable objects while following local roles.

**Figure 4**: Constraint sweeps. The prompt is fixed and the constraint region is continuously moved, scaled, or rotated. Arbor follows the deformation without snapping to a small set of canonical layouts.

**Figure 5**: Variation under a fixed constraint. Each block keeps the hull fixed and varies the seed; image conditioned baselines also fix the input image. Arbor changes details and proportions across seeds while still satisfying the constraint, where the image anchored methods stay close to their input.

查看结构化数据

任务	指标	本文	基线	提升
控制生成（手动分割）	Control Score	0.402	Trellis: 0.253, Gradient: 0.347, SpaceControl: 0.151, Spice-E: 0.151	相比Trellis提升58.9%，相比Gradient提升15.8%，相比SpaceControl和Spice-E提升166.2%
控制生成（自动分割）	Control Score	0.472	Trellis: 0.267, Gradient: 0.436, SpaceControl: 0.214, Spice-E: 0.227	相比Trellis提升76.8%，相比Gradient提升8.3%，相比SpaceControl提升120.6%，相比Spice-E提升108.0%
固定约束下的变异性	变异性 + Control Score	Var: 0.740, Ctrl. Scr.: 0.361	Point-E: Var: 0.731, Ctrl. Scr.: 0.105; SPAR3D: Var: 0.141, Ctrl. Scr.: 0.162; Hunyuan3D-Omni: Var: 0.526, Ctrl. Scr.: 0.318	相比Point-E控制分数提升243.8%，相比SPAR3D变异性提升424.8%，相比Hunyuan3D-Omni变异性提升40.7%
用户偏好研究	配对选择胜率	59.2%	Trellis: 33.3%, Gradient: 18.2%, SpaceControl: 9.6%, Spice-E: 5.2%	相比Trellis提升77.8%，相比Gradient提升225.3%，相比SpaceControl提升516.7%，相比Spice-E提升1038.5%

局限与改进

作者承认了Arbor的两个主要限制。首先，约束区域携带几何和类型信号，但不携带完整的语义功能。座椅区域给生成器提供体积和方向，但不保证当提示与约束冲突时该体积将被用作座椅。语义变体还没有超过路由几何路径本身。其次，Arbor仅在稀疏结构阶段起作用，不直接控制后续的细化，在那里表面细节和材质属性进入。这些限制指向了下一步：更丰富的部分标签和相同路由附件扩展到后续阶段，以便结构、细节和材质可以遵循一个显式几何规范。此外，作者在附录A.6中记录了进一步的限制，包括对预训练3D编码器的依赖、约束创建的复杂性、以及在某些极端约束情况下可能产生不自然的结果。

独立分析的弱点

从独立分析的角度看，Arbor存在几个可以改进的弱点。首先，约束创建过程对艺术家来说仍然有一定的复杂性，需要手动创建三种不同类型的网格，这可能限制方法的易用性。改进方向可以是开发更直观的约束创建工具，如基于草图的约束生成或从现有资产自动提取约束模板。其次，Arbor仅影响稀疏结构阶段，对后续的细化阶段没有直接控制，这可能导致表面细节不够精确。改进方向可以是将路由机制扩展到细化阶段，或者在细化阶段添加额外的约束处理模块。第三，约束区域的语义信息有限，当文本提示与约束冲突时，生成器可能无法正确理解约束的语义意图。改进方向可以是增强约束的语义表示，例如通过添加文本标签或使用更强的语义编码器。第四，方法依赖于预训练的TRELLIS-2编码器，这限制了方法的灵活性和可扩展性。改进方向可以是端到端训练约束编码器，或者支持更多类型的3D表示和编码器。

未来方向

基于作者的提议和Arbor的成果，未来研究方向包括：开发更丰富的部分标签系统，使约束区域不仅包含几何和类型信号，还包含语义功能信息；将路由机制扩展到生成器的后续阶段，使结构、细节和材质可以遵循一个显式几何规范；支持更多类型的约束，如对称性约束、比例约束或相对位置约束；提高方法的泛化能力，使其能够处理更复杂和更多样的约束场景；开发自动约束生成工具，从现有资产或设计规范中自动提取约束模板；探索将Arbor应用于其他3D生成任务，如场景生成、动画生成或交互式3D内容创建。此外，还可以研究将Arbor与其他控制方法结合，例如文本控制、图像控制或草图控制，以提供更丰富和更灵活的控制接口。

复现评估

Arbor的复现性评估需要考虑多个方面。在开源情况方面，论文提到了项目页面（https://arbor.jdihlmann.com/），但没有明确说明代码和模型权重是否开源。如果作者提供了完整的训练代码、评估脚本和预训练模型权重，这将大大降低复现难度。在数据方面，方法使用大约50k个从ABO、HSSD和Objaverse-XL的Sketchfab子集采样的对象，约占TRELLIS报告的训练量的10%。这些数据集都是公开可用的，但需要大量的存储空间和下载时间。评估使用Toys4K数据集，在其上构建了两个控制基准，包含128个程序化生成的约束和32个手工创作的约束。在算力方面，训练Arbor需要大量的GPU资源，特别是在处理高分辨率的3D数据和复杂的Transformer网络时。论文没有提供具体的训练时间和硬件配置，这可能会影响复现的可行性。在难度方面，复现Arbor需要对3D生成、flow matching、attention机制和3D几何处理有深入的理解，还需要熟悉TRELLIS模型的架构和训练流程。总体而言，如果作者提供了完整的代码和详细的训练配置，复现难度中等偏高；如果缺乏这些资源，复现难度将显著增加。

Arbor：用于可控3D资产生成的显式几何条件控制 Arbor: Explicit Geometric Conditioning for Controllable 3D Asset Generation