SeMo3D：以选择性建模统一 3D 生成、编辑与补全 SeMo3D: Unifying 3D Generation, Editing, and Completion via Selective Modeling
将三大 3D 任务统一为仅合成指定区域、保留其余的选择性建模范式，无需配对数据。
前置知识
Rectified Flow 与流匹配（Flow Matching）
流匹配是一种生成式建模范式：定义前向过程在数据 $x_0$ 与噪声 $\epsilon$ 之间线性插值 $x_t = (1-t)x_0 + t\epsilon$（$t \in [0,1]$），训练速度场网络 $v_\theta$ 最小化条件流匹配损失 $\mathcal{L}_{CFM} = \mathbb{E}\|v_\theta(x_t, t, c) - (\epsilon - x_0)\|^2$。Rectified Flow 让插值路径近似直线，因此推理时用极少的 ODE 积分步数（如 12 步）即可采样。TRELLIS/Trellis2 的三个生成阶段均采用这一目标。
SeMo3D 的核心训练目标"区域选择性去噪"本质上就是流匹配损失的掩码版本——只在被选中的 token 子集上计算速度回归误差。不理解流匹配的插值与速度目标，就无法理解其损失设计与推理时"干净上下文 + 噪声选区"混合输入的含义。
结构化潜变量（Structured Latents）
TRELLIS/Trellis2 提出的 3D 资产表示，分三阶段编码：稀疏结构（SS）阶段将资产编码为覆盖 $N^3$ 个体素的稠密潜网格 $Z^{ss} \in \mathbb{R}^{N^3 \times d_s}$（本文 $N=16$），由 SS 解码器恢复占据体素集 $O$；随后两个 SLat 阶段仅在 $O$ 的位置产生形状 token $Z^{shape} \in \mathbb{R}^{|O| \times d_g}$ 与 PBR 纹理 token $Z^{tex} \in \mathbb{R}^{|O| \times d_t}$。关键性质是每个 token 对应一个局部空间区域。
"token 与空间区域一一对应"是选择性建模成立的前提：只有 token 空间对齐，才能把"编辑某区域"转化为"只去噪某些 token"。本文直接复用 Trellis2 的 SC-VAE 与三阶段预训练权重做微调，不熟悉该表示就看不懂整体流水线。
Diffusion Transformer（DiT）与交叉注意力条件注入
DiT 用 transformer 替代 U-Net 作为扩散/流模型的骨干，将潜 token 展平为序列做自注意力。外部条件（图像、文本特征）通常经交叉注意力注入：潜 token 作为 query，条件特征（来自 DINOv3、CLIP 等编码器）作为 key/value。Trellis2 的三个阶段就是图像条件（DINOv3）的 3D DiT，宽度 1536、30 个 block、12 头。
Omni3DiT 的架构改动全部围绕条件注入展开：新增并行 CLIP 文本交叉注意力分支、把稀疏点嵌入直接拼接进 token 序列参与自注意力。理解交叉注意力和自注意力两种注入方式的差异，是读懂其消融实验（点条件用自注意力远优于交叉注意力）的基础。
Classifier-Free Guidance（CFG）与条件 dropout
训练时以一定概率把条件替换为可学习的空（null）嵌入，让同一网络同时学到条件与无条件分布；推理时用 $\tilde{v} = v_{uncond} + s \cdot (v_{cond} - v_{uncond})$ 外推强化条件影响。标准 CFG dropout 只有两种状态：保留全部可用条件，或全部丢弃。
本文提出的"组合条件丢弃"是对标准 CFG dropout 的推广：随机场条件组合的子集而非全有/全无，迫使新增的文本与点分支各自独立承担完整引导。消融显示换成标准 dropout 后指标几乎退回 image-only 水平，这是理解本文训练技巧价值的关键对照。
零初始化（Zero-Initialization）微调技巧
把新增网络模块（嵌入向量、分支的输出投影层）的参数初始化为全零，使微调开始时新分支的输出恒为 0，完全不扰动预训练模型的原有行为；随着训练推进，梯度使这些参数逐渐偏离零点、新功能慢慢浮现。这是 ControlNet、Adapter 类工作的常用稳定化手段。
Omni3DiT 的角色嵌入 $e_S/e_C$ 与文本分支输出投影均为零初始化，这使得在预训练 Trellis2 之上加新条件分支不会破坏已学到的图像引导生成能力。理解这一点才能明白为什么论文敢说"在初始化处基本保留预训练行为、实现稳定微调"。
研究动机
3D 内容创建的三大任务——生成、编辑、补全——长期被孤立研究，且主流前馈方法共享同一个"整体建模（holistic modeling）"范式：在任务约束下重新生成完整的 3D 资产（生成匹配条件，编辑/补全额外条件于源资产或部分输入）。这种"要改的和实际建模的东西不匹配"带来三个具体问题。其一，任务隔离：生成（Trellis、Trellis2）、编辑（3DEditFormer、PartFlow）、补全（LaS-Comp）各需独立模型、架构与训练流程，设计与部署成本成倍增加。其二，区域不一致：既然整体重新生成，未修改区域只能靠条件"鼓励"保真而无法"保证"，Fig. 2(a) 的黑框清晰展示了本应不变的内容被基线方法改动（如编辑女孩时雨伞走样、人物头部漂移）。其三，配对数据依赖：尊重源资产的整体再生成需要源-目标监督，PartFlow 用七阶段流水线整理了 10 万对编辑数据，3DEditFormer 用了 11.6 万对，成本高昂且难以扩展。此外，多数方法只接受单一模态条件：文本缺乏几何精度，图像又无法描述被遮挡的区域，控制粒度受限。
本文的目标是本文的目标是构建一个统一模型，用同一网络、同一套训练流程同时完成 3D 生成、局部编辑和形状补全，并满足四个具体要求：第一，三个任务只差在"选哪个区域"，模型架构与权重完全共享；第二，未修改区域从机制上（by construction）逐 token 保持不变，而不是靠损失软约束去"鼓励"；第三，训练完全不依赖昂贵的配对编辑/补全数据集，只用标准 3D 资产数据集（Trellis-500K，过滤美学分低于 4.5 的资产），因为任何普通资产都可以自行切分成"选区 + 上下文"两部分充当监督信号；第四，支持图像、文本、稀疏点三种模态的任意组合条件，实现细粒度可控合成——图像定外观、文本定语义、点定空间布局。在此之上，论文还希望该模型能作为工具集成进 LLM agent，通过自然语言多轮交互完成 3D 创作，速度与成本远优于 agent 直接编写 Blender 代码。
与已有工作不同的是，本文的独特切入角度是"选择性建模（Selective Modeling）"这一范式级观察：生成、编辑、补全三个任务尽管约束不同，但共享同一结构——合成一个指定区域、保持其余部分不变（分别是全区域、目标区域、缺失区域）。既然 3D 资产可以表示为空间对齐的 token 序列，任务差异就可以归结为掩码划分方式的差异。这与已有工作的"统一"含义截然不同：近期的统一多模态模型（Hunyuan3D-Omni、ShapeLLM-Omni、UniVers3D 等）统一的是输出模态（文本/图像/3D 的合并），多构建在 VLM 架构上，原生 3D 建模能力受限，且其编辑功能仍依赖大规模配对监督；训练式编辑/补全方法则必须整体再生成，需要源-目标数据对。SeMo3D 是第一个把三个 3D 子任务本身（而非输出模态）统一进单个原生 3D 扩散 transformer、并通过区域选择性去噪从普通资产自监督习得编辑与补全能力的工作，从根上绕开了配对数据瓶颈。
核心方法
直觉上，如果把 3D 资产表示为一串空间对齐的 token（Trellis2 结构化潜变量），那么"只改想改的地方"就是把 token 索引集划分为选集 $\mathcal{S}$ 与上下文集 $\mathcal{C}$（$\mathcal{S} \cup \mathcal{C} = \mathcal{I}$，互斥）：模型只对 $\mathcal{S}$ 中的 token 去噪生成，$\mathcal{C}$ 的 token 原封不动复用。技术上，SeMo3D 构建在 Trellis2 的三阶段流模型之上：SS 阶段生成 $16^3$ 的稀疏结构潜网格并解码出占据体素集 $O$，两个 SLat 阶段在 $O$ 上分别生成形状 token 与 PBR 纹理 token，各阶段均为 rectified flow。训练侧提出区域选择性去噪：随机划分区域、只对选区加噪并在选区上计算损失，一个流程覆盖编辑到生成的全部任务谱系。架构侧设计 Omni3DiT：在 Trellis2 的图像条件 3D DiT 上加入角色嵌入、CLIP 文本交叉注意力分支、经 RoPE 空间定位的稀疏点条件（仅 SS 阶段），并用组合条件丢弃训练各模态的独立引导能力。推理时按任务定义划分——生成选全区域、编辑选用户掩码、补全选部分输入占据的补集——三个阶段顺序执行。生成一个 512 分辨率资产约需 5 秒，与 Trellis2 持平。
核心创新是"区域选择性去噪（region-selective denoising）"训练目标及其带来的"构造性保持"性质。与整体建模的本质区别在于：整体建模对所有 token 统一加噪去噪，未改区域只是被条件"软约束"；SeMo3D 构造混合输入 $\tilde{z}_{t,i}$——选区内 token 按流匹配插值加噪 $\tilde{z}_{t,i} = (1-t)z_{0,i} + t\epsilon_i$，上下文 token 保持干净 $\tilde{z}_{t,i} = z_{0,i}$，损失 $\mathcal{L}_{RSD} = \mathbb{E}\left[\frac{1}{|\mathcal{S}|}\sum_{i \in \mathcal{S}}\|v_\theta(\tilde{z}_t, t, c)_i - (\epsilon_i - z_{0,i})\|^2\right]$ 只在 $\mathcal{S}$ 上计算（用 $1/|\mathcal{S}|$ 跨选区大小归一化），上下文 token 从不被再生成，因此源保真是"保证"而非"鼓励"。更巧妙的是多任务能力在训练中免费获得：每步以等概率采样两种划分模式——全区域模式（$\mathcal{S}=\mathcal{I}$）退化为标准 CFM 损失，学习生成；局部区域模式在随机 3D box 内选区，学习编辑与补全。由于选区大小从局部连续变化到全域，单一训练流程覆盖整个任务谱系，且只训练了 box 区域就能在推理时处理自由形状的目标/缺失区域。这一切只用普通 3D 资产即可训练——任何资产都能切成"选区+上下文"——与 PartFlow 的 10 万对、3DEditFormer 的 11.6 万对配对数据形成鲜明对比。
方法步骤详情
训练（SS / SLat-shape / SLat-tex 三阶段独立微调）分五步。第一步，取普通资产的结构化潜 token $Z=\{z_i\}$，等概率采样划分模式：全区域模式 $\mathcal{S}=\mathcal{I}$；或局部模式——在面向条件相机的一半资产内采样边长随机的 3D box（SS 阶段边长 4–16 体素、SLat 8–32 体素），拒绝过稀疏的 box 并收缩到其占据体素。第二步，构造混合输入：$\mathcal{S}$ 内 token 按流匹配插值加噪、$\mathcal{C}$ 内保持干净，附二值掩码。第三步，Omni3DiT 前向：token 加零初始化角色嵌入 $e_S, e_C$；图像经 DINOv3 交叉注意力、文本经 CLIP 交叉注意力（共享 query、输出相加、文本投影零初始化）；点条件（FPS 采 32 点再随机取 $k\in[1,32]$ 个，共享可学习嵌入经 RoPE 按体素坐标定位）拼接进 SS 阶段 token 序列参与自注意力。第四步，组合条件丢弃随机保留条件子集：SS 阶段 {I,T,P}/{I,T}/{I,P} 各 0.2、{I}/{T}/{P}/∅ 各 0.1；SLat 阶段 {I,T} 0.5、{I} 0.2、{T} 0.2、∅ 0.1。第五步，仅在 $\mathcal{S}$ 上计算速度回归损失。训练配置：Trellis-500K、512 分辨率、AdamW 学习率 $5\times10^{-5}$、batch 32、EMA 0.9999，SS 200K 步、SLat 各 100K 步。推理：按任务划分（生成选全区域；编辑用用户掩码；补全取部分输入占据的补集），$\mathcal{S}$ 从纯噪声经 Euler 采样器去噪（生成 12 步、CFG 7.5/7.5/1.0；编辑/补全 SS 50 步、SLat 12 步、CFG 3.0），每步复用干净上下文；SS 先确定占据集 $O$，其划分经最近邻上采样迁移到 SLat 网格，再依次生成形状与纹理。
技术新颖性
技术新颖性体现在四个层面。范式层面：把三个任务统一为"掩码化的流匹配"，任务差异只是掩码定义的函数，这是对 3D 生成任务组织方式的重新表述——此前统一模型（Hunyuan3D-Omni、ShapeLLM-Omni、UniVers3D）统一的是输出模态而非子任务，且多依赖 VLM 架构；训练目标层面：区域选择性去噪把 2D 图像修补（inpainting）式的掩码训练思想迁移到结构化 3D 潜空间，并利用"选区大小连续可变"这一性质让单一流程覆盖编辑→补全→生成全谱系，配合 $1/|\mathcal{S}|$ 归一化保证不同大小选区的损失量级均衡；而且训练只见 box 却能泛化到自由形状掩码与不规则缺失（Fig. 7 的洞状缺失），说明模型学到的是"区域条件生成"这一通用能力而非 box 修补。架构层面：三个新组件各有巧思——角色嵌入解决同一序列中混合噪声水平 token 的区分问题（消融显示去掉后生成几乎不受影响但补全 CD 从 0.0133 恶化到 0.0156）；点条件采用共享可学习嵌入 + RoPE 体素定位 + 自注意力拼接，而非交叉注意力（后者使生成 CD 从 0.0118 翻倍到 0.0244），因为点与潜 token 共享 3D 空间、自注意力可直接做空间推理；组合条件丢弃强制文本/点分支独立承担完整引导（标准 CFG dropout 下指标几乎退回 image-only：LPIPS 0.110 vs 0.079）。工程层面：所有新模块零初始化或纯加性，最大限度保留 Trellis2 预训练行为，实现稳定微调。
实验结果
三个基准的核心发现。3D 生成（Toys4K，3180 物体 105 类）：SeMo3D（I,T,P）取得 LPIPS 0.079、FID 4.99、KID×100 0.059、DINO 0.926、CD 0.0118，四项最优、KID 第二，全面超过单/双条件基线——Trellis2（I）LPIPS 0.111 / CD 0.0330，Pixal3D（I）FID 5.05 但 CD 0.0453，TIGON（I,T）LPIPS 0.127，HY3D-Omni（I,P）CD 0.0317。定性上，做多层蛋糕时文本-only 给出层级蜡烛但丢外观、图像-only 看不到被遮挡层级，SeMo3D 靠点条件恢复隐藏层级。消融揭示来源：加文本主要改善感知语义（FID 5.49→5.34）而几何几乎不变，加点大幅改善几何（CD 0.0334→0.0116）。3D 编辑（Edit3D-Bench，300 案例）：SeMo3D（I,T）全指标第一——一致性 CD 0.0088、PSNR 37.39、SSIM 0.986、LPIPS 0.028，质量 FID 22.46、FVD 113.6，精度 DINO 0.875、CLIP 0.286；对比最强基线 VoxHammer-T（PSNR 31.55、FVD 339.2），未编辑区域保真提升约 5.8 dB、FVD 约 3 倍改善，且完全无配对编辑数据，优势正来自上下文 token 的构造性保持（Fig. 6 中雨伞、头部等未编辑部位分毫未动）。3D 补全（Omni-Comp，180 部分输入）：不加点条件已达 CD 0.0208 / EMD 0.0346 / F-Score 0.468，超全部基线（LaS-Comp-I 0.0226/0.0375/0.359，HY3D-Omni† 0.0270/0.0464/0.412）；加稀疏点后达 0.0133/0.0223/0.541，并能处理不规则缺失。鲁棒性：掩码放大约 40% 结果几乎不变；点数 16/32/48（训练上限 32）整体几何一致。Agent 集成：相比 GPT-6 Astra 直接写 Blender 代码（20 min/$3.32、6 min/$1.04、10 min/$1.64），接入 SeMo3D 后各约 1 分钟/$0.05–0.10，保真度更高。生成速度约 5 秒/资产，与 Trellis2 持平。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 3D 生成（Toys4K） | LPIPS ↓ | 0.079（I,T,P 条件） | Trellis2（I）0.111；TIGON（I,T）0.127；HY3D-Omni（I,P）0.121 | 较最佳基线 Trellis2 降低约 29% |
| 3D 生成（Toys4K） | Chamfer Distance (CD) ↓ | 0.0118 | HY3D-Omni（I,P）0.0317；Trellis2（I）0.0330；Pixal3D（I）0.0453 | 较最佳基线降低约 63% |
| 3D 编辑（Edit3D-Bench） | PSNR ↑（未编辑区域一致性） | 37.39（I,T 条件） | VoxHammer-T 31.55；Nano3D（I）31.42；PartFlow（I）30.13 | 较最佳基线提升 5.84 dB |
| 3D 编辑（Edit3D-Bench） | FVD ↓ | 113.6 | VoxHammer-T 339.2；Nano3D 388.6；3DEditFormer 572.4 | 较最佳基线降低约 66.5%（约 3 倍改善） |
| 3D 补全（Omni-Comp） | F-Score@0.01 ↑ | 0.541（I,T,P 条件）；无点条件 0.468 | HY3D-Omni†（I,P）0.412；LaS-Comp-I 0.359 | 较最佳基线提升 0.129（约 +31%） |
| 3D 补全（Omni-Comp） | EMD ↓ | 0.0223（I,T,P 条件） | LaS-Comp-I 0.0375；HY3D-Omni† 0.0464 | 较最佳基线降低约 40.5% |
| Agent 交互式建模（vs 直接 Blender 编码） | 执行时间 / Agent 成本 | 各任务约 1 分钟 / $0.05–0.10 | GPT-6 Astra 直接写 Blender 代码：6–20 分钟 / $1.04–3.32 | 时间降低 6–20 倍，成本降低 10–66 倍，保真度更高 |
局限与改进
作者承认的局限有两条：其一，继承 Trellis2 结构化潜变量的分辨率上限（SS 网格 $16^3$、SLat 网格 $32^3$），无法表达细薄结构——Fig. 10 上排的棕榈树叶片粗糙；其二，CLIP 文本编码器难以处理复杂组合提示——Fig. 10 下排提示词要求"interspersed low-poly orange fruits"，模型只生成了橙色纹理而未把水果作为独立对象生成，作者建议用更强 VLM 编码器（如 Qwen3-VL）与更高保真 3D 表示（如 P2Voxel）改进。我的补充观察：第一，"构造性保持"只在 token 层面成立，依赖结构化潜变量近乎无损重建这一假设，若 SC-VAE 本身重建有损，资产级保真也只是近似；第二，本文的"编辑"明确定义为局部增删替换，不含风格迁移等全局操作，且局部模式训练时 box 被限制在面向条件相机的一半资产内，极端视角或跨越大半资产的超大区域编辑的泛化未经充分验证；第三，评估基准均为物体级玩具/资产数据（Toys4K、Edit3D-Bench、Omni-Comp），没有场景级或多对象实验；第四，补全的 F-Score 绝对值（最好 0.541）仍不高，说明困难补全场景（大面积缺失）与真实差距尚存；第五，点条件仅在 SS 阶段注入，只能控制占据结构，无法直接指定纹理细节的空间布局；第六，agent 工作流依赖 GPT-Image 生成编辑后图像再导出掩码，图像生成的误差会级联进入 3D 结果；第七，三阶段顺序流水线意味着 SS 阶段的占据错误会向形状与纹理阶段传播。
独立分析的弱点
独立分析几点弱点并给出改进方向。其一，表示分辨率是硬瓶颈：$16^3/32^3$ 的网格天然丢失细薄结构（格栅、细枝、鬃毛），改进方向是换用更高分辨率的稀疏体素表示或金字塔式 token 化（论文引用的 P2Voxel、SupervoxelGPT 即此思路），但分辨率翻倍会带来注意力计算成本爆炸，需要稀疏注意力配合。其二，文本理解能力被 CLIP 卡死：CLIP 是对比学习双塔编码器，对数量词、空间关系、否定等组合性语言的表达很弱，Fig. 10 的水果失败即为实例；应改用 Qwen3-VL 类 VLM 的文本特征或增加 T5/LLaMA 文本编码分支。其三，编辑语义对齐依赖条件图像质量：用户掩码不精确时模型有约 40% 的容错余量（附录验证），但当目标区域跨越大半资产甚至延伸到背面时，单张条件图像无法指导被遮挡面的编辑，需要多视角图像或深度/法线条件补充。其四，点条件交互粒度较粗：最多 32 个点、仅作用于 SS 阶段、RoPE 定位精度为体素级，对"抬起手臂"这类精细姿态调整只能靠图像条件间接驱动，可扩展为带法线或语义标签的更密点集，或允许在 SLat 阶段也注入点。其五，任务边界限于单个物体：无法处理场景级组合编辑（"把椅子移到桌子旁边"涉及物体间关系推理），需要引入场景图或实例级条件。其六，掩码必须由用户或外部 agent 提供，模型缺乏内置部件感知——若结合 part 分割头自动提出可编辑部件，交互成本可大幅降低。其七，尽管复用 Trellis2 预训练，微调仍需 SS 200K + SLat 各 100K 步（batch 32），若不复用预训练、从零训练统一模型是否依然成立，论文未验证，这关系到该范式的普适性。
未来方向
作者明确提出的方向：用更高保真的 3D 表示缓解结构化潜变量的分辨率限制（引用了 P2Voxel、SupervoxelGPT、AnySurf 等）；用更强的视觉-语言编码器（Qwen3-VL 等）替换 CLIP 以处理复杂组合提示。基于其成果可自然延伸的方向：第一，把选择性建模从物体级推广到场景级 3D，用实例感知的掩码支持"移动/复制/组合"等关系性操作；第二，与 3D 部件分割结合（如复用 SegVigen 的思路），实现"点选部件 + 文字描述"的零掩码编辑，进一步降低交互门槛；第三，把点条件扩展为线段、包围盒、稀疏深度图等更丰富的几何笔刷，并延伸到 SLat 阶段以控制纹理布局；第四，构建闭环 agent：生成→渲染→VLM 自评→自动发起下一轮编辑，实现无监督迭代优化，论文已缓存每个输出的潜表示供后续编辑，工程基础已具备；第五，区域选择性去噪思想可迁移到 4D 动态资产（只再生成变化的时间片段）和高斯泼溅场景编辑（只更新移动的锚点）；第六，作者展示了 ULIP/Uni3D 嵌入指标与视觉质量相悖（Fig. 11：Trellis2 明显更接近真值却得分更低），设计更可靠的 3D 生成评价指标本身就是一个值得做的后续工作；第七，在统一模型上引入人类反馈或强化学习，直接对齐"编辑指令执行准确性"与"保留区域保真度"这两个可验证目标。
复现评估
复现评估：论文有项目主页（xiaokunsun.github.io/SeMo3D.github.io），但正文未明确声明开源代码与权重，需关注项目页后续发布。有利因素是复现链条的每一环都已公开：训练数据用 Trellis-500K（TRELLIS 官方发布，训练 split 过滤美学分 < 4.5 的资产）；三个评测基准 Toys4K、Edit3D-Bench、Omni-Comp 均为公开基准且评估协议在附录 8.1 写得很细（如生成渲染 8 视角、仰角 15°、方位角间隔 45°，CD 用 10K 表面点并归一化到单位盒，编辑一致性只在掩码外像素/点上计算等）；预训练起点 Trellis2 的 SC-VAE 与三阶段流模型权重开源。关键超参数披露充分：附录 Table 5 给出各阶段网格分辨率（$16^3/32^3$）、宽度 1536 / 30 blocks / 12 heads、训练步数、box 边长范围（SS 4–16、SLat 8–32 体素），正文给出 AdamW 学习率 $5 \times 10^{-5}$、weight decay 0.01、EMA 0.9999、bfloat16、组合条件丢弃的完整概率表，以及推理采样设置（生成 12 步 CFG 7.5/7.5/1.0，编辑/补全 SS 50 步 SLat 12 步 CFG 3.0）。算力方面论文未报告 GPU 数量与训练时长，但需微调三个宽度 1536、30 层的 DiT（合计 400K 步、batch 32、512 分辨率），估计需 8 卡 A100/H100 级别运行数天至两周，个人研究者难以完整复现训练；若官方开源权重，推理侧单卡即可（约 5 秒生成一个 512 资产），复现实验表格相对容易。综合评估：文档化程度高、推理复现容易、训练复现中等偏难，主要不确定性在于代码与权重是否开源。
论文图表
Teaser 图：展示 SeMo3D 以图像为主导条件、文本与点为可选条件，统一完成 3D 生成、编辑、补全三个任务；训练只用标准 3D 资产、不需要配对编辑/补全数据；并支持 agent 驱动的交互式 3D 创作。
一图概括论文的全部卖点：统一三任务、无配对数据训练、多模态条件、agentic 交互。读者可在 10 秒内建立对系统边界的正确预期。
对比图：左 (a) 整体建模——生成/编辑/补全各自需要独立模型，即便局部修改也重新生成完整资产，未改区域被改动（黑框标出），且编辑/补全需要配对数据；右 (b) 选择性建模——一个模型只合成指定区域（全区域/目标区域/缺失区域），其余按构造保持，无需配对数据。
这是论文核心论点的可视化：三个任务被统一为"分区合成"的不同掩码配置。理解此图等于理解本文的范式贡献，也是读懂后续方法设计的概念基础。
两个失败案例：上排棕榈树的叶片过于粗糙（结构化潜变量分辨率不足），下排"点缀低多边形橙色水果"的提示只生成了橙色纹理而未生成水果对象（CLIP 编码器难以处理复杂组合提示）。
作者主动展示失败边界，明确指出两条技术路线的改进方向（高保真 3D 表示、更强 VLM 文本编码器），对评估该方法适用范围至关重要。
附录中的分阶段训练配置表：SS 阶段网格 $16^3$、SLat 两阶段 $32^3$；宽度 1536 / 30 blocks / 12 heads；条件 SS 用 I,T,P、SLat 用 I,T；训练步数 SS 200K、SLat 各 100K；batch 32；随机 box 边长 SS 4–16 体素、SLat 8–32 体素。
复现训练的必要信息，同时揭示了"局部区域模式"中 box 尺寸随阶段分辨率缩放的设计细节。