Mira-Scene：像素对齐布局的生成式三维场景重建 Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene

完整流程如下。(1) 输入预处理：图像与掩码统一缩放到 518×518；每个物体在裁剪图像空间中预测 CCM（296×296），以保住小物体分辨率、避免把布局 token 浪费在背景上。(2) 几何分支：二值体素网格 $\{0,1\}^{N\times N\times N}$ 经稀疏结构 VAE 压缩为 $8\times8\times8$、8 通道连续特征网格 $G_k$，序列化为 token 加 3D 位置嵌入，进入 24 层 DiT（隐藏维 1024、16 头）去噪；条件为 DINOv2 提取的全图、掩码与裁剪物体图特征，经 cross-attention 注入；几何分支训练时 10% 条件 dropout，推理用 classifier-free guidance scale 3.0。(3) 布局分支：噪声 CCM 与裁剪 RGB 沿通道维拼接作像素对齐局部条件，经步幅卷积（patch 8）token 化为 $37\times37=1369$ 个 token；全图/掩码 DINOv2 特征经 cross-attention 提供全局上下文；布局分支不用 CFG（确定性条件对稠密坐标预测更稳定）。(4) 共享位置编码：几何 token 直接用 3D 位置嵌入；布局 token 虽在 2D 网格上，被视作偏移 $(N,N)$、位于平面 $z=z_{layout}$ 上的 3D 点，两个模态共享同一位置基，便于多模态自注意力交互。(5) 训练目标：双 rectified flow 损失 $\mathcal{L}=\lambda_1\mathcal{L}^{CFM}_{t,\epsilon_g}(g)+\lambda_2\mathcal{L}^{CFM}_{t,\epsilon_c}(c)$，取 $\lambda_1=\lambda_2=1$。两阶段训练：预训练用 60K 个 Objaverse 物体渲染 100 万物体中心视角，外加 2 万张经 FLUX2 背景补全（并做前景一致性校验）的照片级视图，100K 步、32 张 A100-80G、每卡 batch 4、AdamW 学习率 $10^{-4}$；几何流从 TRELLIS-image-large 初始化。微调在 2 万张 3D-FRONT 场景视图上采样被遮挡实例，学习 amodal 补全，8 张 A100、lr 从 $10^{-4}$ 线性衰减至 $5\times10^{-5}$，BFloat16、梯度裁剪 1.0。(6) 场景拼装：推理用 30 步 Euler 采样；先按近原点检查 $\|C_k(u)\|_2>0.02$ 过滤低置信 CCM，再用局部 $7\times7$ 窗口的相对深度范围 $\rho_u=(d_{max}-d_{min})/(|d_{mean}|+\epsilon)>0.05$ 剔除深度边缘像素（若过滤掉超 70% 有效像素则放宽）；RANSAC 每次采样 $m=6$ 条对应、自适应内点阈值 $\delta=0.02\|\max(p)-\min(p)\|_2$、99% 成功概率的自适应早停，最优假设内点集上用 Umeyama 闭式解，至多 5 轮迭代精化；另有可选的『共享竖直方向』变体，约束多物体共享同一 up 方向以提升物理合理性（主实验默认逐物体求解）。(7) 网格细化：几何专家只预测稀疏体素结构，最终网格复用 SAM3D 的第二阶段网格生成/细化模块得到。

技术新颖性体现在四个层面。表示层：首次把组合式场景布局表示为『规范空间像素对齐坐标场 + 鲁棒几何对齐』。作者指出布局表示是与『检索还是生成物体、联合还是分模块估计位姿』正交的设计维度——此前的几何对齐类方法（Gen3DSR、Deep Prior Assembly 等）虽也做对齐，但其对应或坐标目标仍依赖场景空间监督，而 CCM 的有界目标天然支持物体级预训练，这使『用物体级数据学布局』成为可能。架构层：据作者所知是首个在 Mixture-of-Transformers 中联合去噪『3D 潜空间几何 + 2D 像素对齐 CCM』的模型；模态专属 expert 流保留两种输出的结构差异（体素潜码 vs 平滑坐标图），共享自注意力和共享 3D 位置基（布局置于虚拟平面 $z=z_{layout}$）促进形状-布局一致性——消融显示去掉联合注意力使 FS@0.01 从 0.383 跌至 0.125，去掉共享 PE 也降至 0.349。训练层：两阶段课程设计（无场景标注的物体级预训练 + 少量场景微调学 amodal 补全与遮挡推理），使 60K 开源资产即超越 SAM3D 的百万级私有数据（3D-IoU 0.727 vs 0.520）。分析层：给出『2D→3D 预测比 3D→2D 容易』的机理假设（2D 特征已隐含局部几何）并以 CUPID 协议实验佐证：Mesh+GT 设定下本文 CD 0.023 vs CUPID 0.047，FS@0.05 0.885 vs 0.727。

独立分析以下弱点并提出改进方向。(1) 逐物体独立生成导致交叠与穿透：椅子和猫紧贴时尾巴直接穿过椅子背，因为各物体的变换是独立解算的，缺乏物体间碰撞约束。改进方向：在 RANSAC/Umeyama 之后接一层物理感知的场景优化（接触面约束、重力方向对齐、穿透惩罚），或采用多物体联合去噪让 expert 间显式交换空间关系。(2) 对输入掩码质量敏感：SAM 类分割在复杂场景下的噪声掩码直接转化为 floaters 和缺失部件。改进方向：把分割并入生成模型（掩码与 CCM 联合去噪、以置信度加权对应点），或训练时对掩码加噪/随机腐蚀以增强鲁棒性。(3) 布局质量的上限由单目几何决定：PCM 错则对齐错，卡通图像的薄片点云尤其致命。改进方向：让布局分支与 PCM 估计联合训练（互相提供不确定性），或在对应集上引入逐像素置信度并用加权 Umeyama/概率对齐替代硬阈值 RANSAC。(4) 相似变换假设限制表达：物体只有各向同性缩放，无法处理非刚性形变、铰接物体或部分遮挡导致的『可见部分与整体位姿不一致』。改进方向：引入铰接/部件级变换，或用 amodal CCM（预测被遮挡区域的规范坐标并标注不确定性）。(5) CCM 只描述可见表面：重度遮挡物体 3D-IoU 掉到 0.635，意味着布局完全依赖少量可见像素的对应。改进方向：显式的 amodal 对应头 + 遮挡感知的损失加权，或引入多视角/视频输入。(6) 依赖外部单目深度模型的 FOV 估计与非度量深度：尺度锚定链路较长，任一环节数值不稳定都会传播到最终布局。改进方向：联合优化 FOV 与全部物体变换的全局束调整式后端。

作者提出的方向包括：引入联合多物体生成以消除物体交叠（参考 MIDI 的多实例扩散）；减少对掩码的依赖，让模型直接从图像语义恢复物体；随着更强的单目几何估计器出现，卡通/风格化输入的薄片点云问题有望自然缓解；利用物体级资产的可扩展性继续扩大预训练规模以追平乃至超越大规模私有数据训练的单物体质量。基于本文成果可以自然延伸的方向：(1) 把 CCM 思想推广到铰接物体与场景级关系——用『部件规范坐标图』同时恢复部件位姿与物体位姿；(2) 与分割统一：训练一个掩码-CCM-几何三流 MoT，实现真正的端到端免掩码重建；(3) 引入不确定性估计：让布局分支同时预测逐像素协方差，把 RANSAC 换成可微的概率对齐，嵌入端到端训练；(4) 多视角与视频输入：CCM 天然适合时序传播，可做动态场景的组合式 4D 重建；(5) 与具身智能闭环结合：论文已展示资产可导出到仿真器与物理引擎，进一步可让重建场景直接承载策略训练并用仿真反馈反哺重建质量；(6) 文本/语言条件化：在共享位置基上增加语言 token 流，支持『把椅子挪近窗户』式的指令编辑。

复现条件总体友好但链路较长。论文有项目页（sunyangtian.github.io/Mira-Scene-web/），并在附录中承诺发布详细 prompt 与配置（含 VLM-SAM3 分割流水线的 prompt），代码尚未在文中给出直接链接，需关注作者后续开源。训练数据全部公开可得：Objaverse 中选取的 60K 物体、3D-FRONT 渲染的 2 万场景视图、评测用 BlendSwap 与 3D-Future Scene；数据预处理还需 FLUX2 做背景补全并配前景一致性校验。算力门槛偏高：预训练 100K 步需 32 张 A100-80G（每卡 batch 4），微调 8 张 A100，全量复现对多数实验室不现实，但消融规模的模型（如架构消融用 10 万图/约 5 万物体训练）在更小集群上可行。推理链路依赖多个外部模型：TRELLIS-image-large 初始化、DINOv2 特征、Pixel-Perfect Depth（PCM）、MoGe（消融基线）、SAM3D 第二阶段网格细化、可选的 SAM3+VLM 分割——组件多但都有公开实现。评测协议较复杂：稳健 ICP 对齐（含 yaw 扫描初始化、粗到细配准）、场景级统一变换、ADD-S 对称公式等，忠实复现指标需仔细照搬附录 E 的协议，否则数字不可比。总体评估：开源落地后复现难度中等，最大障碍是预训练算力与多组件数据流水线的工程整合。