Extend3D：城镇规模3D场景生成 Extend3D: Town-Scale 3D Generation

Extend3D的完整步骤如下：输入处理阶段，给定单张场景图像I，使用MoGe-2单目深度估计器提取点云P和相机参数；稀疏结构生成阶段，将点云P体素化为初始占用网格O₀∈R^{aM×bM×M}，使用编码器E将O₀编码为潜在Z₀^{(g)}，应用under-noising公式Z_{t_start} = (1-t_noise)·Z₀^{(g)} + t_noise·noise，其中t_start > t_noise，使用重叠块式流（滑动窗口大小N³或M³，步长N/d或M/d）对扩展的稀疏结构潜在Z_t^{SS}进行去噪，每个块与对应的图像块条件ψ_{i,j}(I)配对，在每个时间步使用Adam优化器优化向量场v̂_t，目标是最小化稀疏结构损失L_SS，迭代执行SDEdit：O_{n+1} = SDEdit(O_n)，通常n_iter=5次；结构化潜在生成阶段，从稀疏结构{p_i}初始化SLAT潜在Z₁，使用相同但更细的重叠块式流（d=4）对扩展的SLAT潜在Z_t^{SLAT}进行去噪，在每个时间步使用Adam优化器优化向量场v̂_t，目标是最小化结构化潜在损失L_SLAT = LPIPS(Î, I) - SSIM(Î, I)，其中Î = Render(D_GS(Z_t^{SLAT} - t·v̂_t), P)；解码阶段，使用解码器D_GS和D_mesh将最终的SLAT Z₀解码为3D高斯和网格表示。

Extend3D的技术新颖性体现在四个方面：跨模态方法迁移，首次将训练free高分辨率图像生成中的扩展潜在和重叠块式思想成功迁移到3D领域，针对3D生成的独特挑战（对象中心性、3D几何约束）进行了专门设计；Under-noising概念，提出了under-noising这一新颖概念，通过使去噪程度高于加噪程度（t_start > t_noise），让模型将不完整结构视为噪声并在去噪过程中自然补全，这与传统的outpainting或inpainting方法有本质区别；双阶段3D感知优化，设计了针对稀疏结构和结构化潜在的不同优化目标，占用损失确保几何结构保持，渲染损失细化外观，这种分离式优化比统一优化更有效；迭代完善框架，提出了迭代SDEdit框架，每次迭代都基于上一次的结果进一步完善场景，逐步填充遮挡区域并细化细节，这种迭代思想在3D生成中是新颖的。

独立分析的弱点包括：依赖单目深度估计的质量，MoGe-2的误差直接影响初始化质量，虽然under-noising可以部分缓解，但深度估计的系统性偏差仍可能传播到最终结果，改进方向是集成多视图几何约束或使用更鲁棒的深度估计方法，如结合立体匹配或激光雷达数据（如果可用）；对极端视角的敏感性，当输入图像包含极端透视（如低角度拍摄）时，扩展潜在空间的xy均匀扩展与实际投影几何不匹配，导致失真，改进方向是引入非均匀的潜在扩展策略，根据透视畸变自适应调整扩展因子；材质和光照的一致性，虽然方法确保了几何连续性，但不同块之间可能存在光照和材质的不一致，改进方向是引入全局光照一致性约束或使用可微分渲染来优化跨块的光照参数；缺乏语义理解，方法没有显式建模场景语义，可能导致语义不一致（如室内外边界模糊），改进方向是引入语义分割先验或使用多模态模型来确保语义一致性。

作者提出的未来研究方向：支持更广泛的图像类型，解决街道级别图像中的尺度不匹配问题，实现从更广泛视角和场景类型的3D生成；优化SLAT的内存效率，减少SLAT优化过程的内存占用，使方法能够在更有限的GPU资源上运行更大的场景。基于成果可延伸的未来方向：多模态条件生成，扩展方法以支持文本、草图、布局等多种输入条件的组合，提供更灵活的控制方式；动态场景生成，扩展到包含动态元素（如行人、车辆）的4D场景生成；编辑和交互，开发基于Extend3D的场景编辑工具，允许用户修改特定区域或添加/删除对象；层次化场景表示，引入层次化的潜在表示，支持从粗到细的场景生成和编辑，类似于LT3SD但保持训练free的优点；真实场景重建，将Extend3D与神经辐射场或3D高斯泼溅结合，实现从真实视频序列的高质量场景重建和生成。

复现评估：Extend3D的代码和模型权重尚未开源（截至论文发表），这限制了完全复现的能力。然而，方法的各个组件都有公开实现：Trellis（结构化3D潜在）、MoGe-2（单目深度估计）、SDEdit（扩散编辑）。数据方面：论文使用了多种数据源进行评估，包括UrbanScene3D（45个合成场景，带ground truth网格）、ChatGPT生成的图像、Flux.1生成的图像、Google Earth图像和CarlaSC数据集。这些数据集都是公开可访问的。算力要求：论文使用NVIDIA RTX Pro 6000 GPU，峰值内存使用28GB（a=b=2, d=4, n_iter=5，包含SLAT优化）。不使用SLAT优化时，内存需求降到14GB。推理时间为14.1分钟（与SynCity的52.0分钟和EvoScene的35.3分钟相比）。对于a=b=6的扩展，不使用SLAT优化时峰值内存为61GB。复现难度：中等。主要挑战包括实现重叠块式流的精确映射（特别是反向映射(ϕ_{i,j})⁻¹和(ϕ_{i,j}^{SLAT})⁻¹）、调整under-noising的超参数（t_noise和t_start）以及实现Adam优化器的向量场优化。论文在补充材料中提供了详细的算法伪代码（算法1、2、3）和严格的数学定义（Sec. A.5），这有助于复现。