Tetris3D：让物体彼此严丝合缝的3D场景生成 Tetris3D: 3D Scene Generation With Objects That Fit Together

完整流程分五步。(1) 场景解析：输入单张 RGB 图，用 SAM3 提取实例掩码，Qwen3-VL-30B 两阶段提示（先做带颜色对应的物体清单，再推断物理关系及置信度），得到有向依赖边（stack/lean/contain）与无向 touch 边；算法 1 用子集动态规划做置信度加权最优拓扑排序，最小化被删边的置信度之和来化解环，ground 平面为根节点。(2) 构建物体网格：对目标物体 $o_i$，将其掩码内像素按深度反投影为部分点云 $P$，在包围 $P$ 并留 margin 的立方体上定义网格 $\mathcal{G}$，遮挡掩码取 $M^i_{\text{occ}}=\bigcup_{j \ne i} M_j$。(3) 条件构造：按式 (1)(2)(3) 计算 $c_{\text{depth}}$、$c_{\text{img}}$、$c_{\text{int}}$，图像特征按遮挡比例 $\rho$ 与空嵌入混合 $\tilde{f}=(1-\rho)f+\rho e_{\text{empty}}$。(4) 两阶段生成：SS 与 SLAT 的每个 DiT 层按式 (4) 逐 token 注入条件（token 特征更新 $h^{(l)}(x) \leftarrow h^{(l)}(x)+\text{MLP}^{(l)}_{\text{img}}(c_{\text{img}})+\lambda_{\text{depth}}\text{MLP}^{(l)}_{\text{depth}}(c_{\text{depth}})+\lambda_{\text{int}}\text{MLP}^{(l)}_{\text{int}}(c_{\text{int}})$），V2I 注意力按式 (5) 更新不可见 token，流匹配采样后解码出该物体的完整网格，其几何随即成为后续物体的交互上下文。(5) 训练：在 ComOb 上从 TRELLIS.2 与 Pixal3D 初始化微调，SS 训 20 万步约 7 天、SLAT 训 10 万步约 9 天（2×H200，batch 16，AdamW，学习率 $10^{-4}$），课程学习按 1:2:1 混合完整图/原语遮挡图/合成遮挡图，并对深度做射线向高斯扰动（概率 0.3）与 10% 体素丢弃增强。

技术新颖性体现在四个层面。其一，条件设计的粒度：以体素级截断 UDF + 方向 + 法向 + 关系嵌入描述『这个体素离哪个邻居表面多近、朝哪个方向、属于什么物理关系』，相比图像级或场景级条件的局部引导精确得多，且 UDF 天然兼容非水密网格。其二，注入机制：因为条件与生成共享同一 3D 网格，可实现逐 token 空间对齐注入，配合零初始化门控（借鉴 Flamingo）在保留 TRELLIS.2/Pixal3D 预训练先验的同时渐进引入新条件，这在 3D 场景生成中是新的系统性设计。其三，V2I 注意力：与 Amodal3R 的遮挡感知注意力相比（消融中 CD-S 4.29 对本文 3.90），它显式以不可见 token 为查询、可见 token 为键值，信息流向更明确，且对遮挡掩码的定义（其余物体掩码之并）不依赖 amodal 分割。其四，自回归顺序即物理：把『先支撑后依赖』编码为生成顺序，用 VLM 置信度 + 最优拓扑排序处理真实场景中相互支撑造成的环，而隐式耦合方法无法提供这种逐物体的局部几何引导。配套的 ComOb（120 万场景、340 万标注样本、约 40 万独特物体、12 种参数化原语、MuJoCo 沉降仿真 + 逐对关系标注 + 交互诱导的自然遮挡）本身也填补了通用物体物理交互数据的空白。

独立分析四个弱点。其一，自回归误差无恢复机制：若支撑物体（如桌面）形状有偏差，所有依赖物体的交互条件都被污染，且先生成的物体无法在看到后续物体后修正，改进方向是引入生成后的全局联合精化阶段，或对高置信度依赖做多次重打样择优。其二，对深度质量高度敏感：使用 MoGe3 估计深度时 CD-S 从 3.68 升至 7.56、ICP-Rot 从 5.29° 升至 12.7°，在透明、反光、弱纹理物体上单目深度估计会更糟，可考虑深度与形状的联合迭代估计，或对深度条件引入逐体素不确定性加权（现有训练仅做均匀高斯扰动增强）。其三，关系表示封闭且离散：五类可学习嵌入无法表达接触面积、摩擦系数、软硬程度等连续物理属性，也无法描述多物体同时接触一处的组合关系，可用开放词汇关系描述或连续物理参数回归替代固定嵌入表。其四，串行推理瓶颈：$N$ 个物体需 $N$ 次两阶段扩散采样，可利用物理依赖图的层次性做分块并行去噪（无依赖关系的物体同时生成）。另有一个设计层面的观察：遮挡掩码定义为其余物体掩码之并，过于保守——目标物体背后并未被遮挡的区域也被视为不可见，可能过度依赖生成先验而非图像证据。

作者在讨论中提出的方向是减少对现成模块的依赖、并对估计条件的不确定性建模。在此基础上有若干自然延伸：(1) 把软物理约束升级为硬约束，例如在流匹配去噪过程中嵌入可微物理引擎的投影或能量项，使物理有效性在采样时得到保证而非事后祈祷；(2) 延伸到动态场景与交互仿真——ComOb 本就由 MuJoCo 生成，可直接衔接机器人操作中的『重建-仿真-执行』闭环，让重建场景成为策略学习的仿真环境；(3) 开放词汇物理关系：用 VLM 的语言空间替代五类封闭嵌入，支持磁吸、悬挂、缠绕等长尾交互，并随 VLM 能力提升自动受益；(4) 非刚性/可变形物体（布料、绳索、食物）的交互重建，现有刚性 UDF 条件不适用，需要时变或拓扑灵活的邻域表示；(5) 与可微仿真联合训练，让模型学到摩擦、重心等真实物理量而非仅视觉合理性；(6) 置信度校准：对 VLM 关系预测做不确定性估计，在排序与条件注入中传播该不确定性；(7) 将 ComOb 的自动场景生成管线（原语布置 + 沉降仿真 + 关系标注）推广为通用物理交互数据引擎，服务于具身智能预训练。

复现难度评估为中高、但完全可行。论文给出项目页（cvlab-kaist.github.io/Tetris3D），正文未明确承诺代码与权重开源，需关注项目页动态。数据方面，ComOb 的构建流程在附录 B.3 描述得非常完整：约 40 万 TRELLIS-500K 目标物体 + 12 种参数化原语（盒、板、圆柱、圆锥、球、楔、管、环面、杯、敞口箱、多边形箱、碗），按交互类型规则化布置后经 MuJoCo 沉降仿真（最终观测窗内线速度 <0.025 m/s、角速度 <0.12 rad/s 才保留），Blender EEVEE 渲染（FOV 35°-70°，目标可见率限制在 0.3-0.9），工程量不小但每一步都可复现。算力门槛友好：仅需 2 张 NVIDIA H200，SS 模型 20 万步约 7 天、SLAT 模型 10 万步约 9 天，batch 16，模型从开源的 TRELLIS.2（1.83B/1.68B 参数）与 Pixal3D 初始化微调，而非从零训练。推理侧还需 MoGe3、SAM3、Qwen3-VL-30B 三个开源模型与 MuJoCo。若作者放出权重与 ComOb 数据，复现主表结果的难度不大；若需从零搭建数据管线，主要成本在仿真过滤阈值与渲染参数的调试上。