SceneFrom3D：基于视图调度和对象级控制的几何条件化户外3D场景生成 SceneFrom3D: Geometry-Conditioned Outdoor 3D Scene Generation via View Scheduling with Object-Level Control

方法分为三个主要阶段。阶段1-视图调度：首先构建有向生成图$G_{gen}=(V, \vec{E})$，其中$V$是锚点视图节点集，$\vec{E}$是有向插值边集。节点构造通过均匀采样表面点$P=\{(p_n, n_n)\}_{n=1}^{N_p}$，定义软可见性分数$V_{i,n}=V_{fov} \cdot V_{dist} \cdot V_{front} \cdot M_{occ}$，结合FOV、距离、朝向和遮挡四个标准。通过可见性引导的稠密化和优化相机姿态得到紧凑的锚点视图集。边构造基于共享可见性分数$S_{i,k}=\sum_{n=1}^{N_p} \min(V_{i,n}, V_{k,n})$和碰撞检测连接合适的视图对，然后使用节点索引作为生成顺序定向边，得到有向无环图。阶段2-多视图生成：按照图的拓扑顺序为每个节点$v_j$生成锚点图像。构建条件输入$C_j=\{P_j, O_j, \hat{D}_j, S_j, \{(I_o, M_{j,o})\}_{o \in O_j}, \tau_j\}$，包括部分观测、观测掩码、结构条件、腐败强度图、身份-区域对和文本提示。使用微调的FLUX.2-klein-9B模型生成锚点图像，然后用Wan2.1-VACE-14B视频扩散模型沿边插值生成中间视图。阶段3-3DGS优化：从生成的姿态观测优化3DGS，最小化损失$L_{3DGS}=\frac{1}{|J|}\sum_{m \in J} [\lambda_r L_1 + \lambda_s L_{DSSIM} + \lambda_p L_{LPIPS} + \lambda_d \|\tilde{D}_m - D^{mesh}_m\|_1]$，包括RGB重建、结构相似性、感知一致性和深度对齐损失。

技术新颖性体现在多个方面：首先，这是首个不需要显式相机轨迹输入的户外几何条件化3D场景生成框架，解决了传统三阶段流水线在户外场景中的视图调度瓶颈。其次，提出的生成图概念将视图调度从单一路径规划扩展为多分支图结构，更好地适配扩散模型的生成特性。第三，对象级条件机制实现了精细的生成控制，每个对象有独立的外观引导和几何遵循度控制，这在现有方法中是不存在的。第四，综合的可见性度量结合了FOV、距离、朝向和遮挡四个因素，并通过软联合、姿态优化等精细化设计，实现了紧凑且充分覆盖的视图调度。最后，方法结合了图像扩散（锚点视图）和视频扩散（插值），充分利用了不同扩散模型的优势。

独立分析的弱点包括：计算开销较大，多视图生成阶段使用视频扩散模型导致总流水线时间较长（200-400分钟），影响实际部署效率。可以通过优化视频扩散策略、使用更高效的插值方法或并行化生成过程来改进。对象身份数量的限制（8个）约束了复杂场景的应用，可以通过改进条件融合机制或使用更大容量的扩散模型来扩展。阴影一致性问题可以通过引入全局光照先验、多视图一致性约束或后处理阶段的光照对齐来改善。对输入几何质量的依赖意味着对于非常粗糙的输入可能生成效果不佳，可以通过几何增强、自适应几何遵循度或多级几何细化来缓解。当前方法的可扩展性在超大场景中可能受限，可以通过层次化视图调度或分块生成策略来改进。

作者提出的未来方向包括扩展对象级控制的粒度和灵活性，探索更精细的对象交互和关系建模。基于成果可延伸的方向包括：集成动态元素生成，支持具有时序变化的场景；扩展到室内外混合场景，处理更复杂的环境；探索更高效的视图调度算法，减少计算开销；结合其他条件模态（如音频、触觉）实现多模态场景生成；研究端到端的训练范式，减少对预训练扩散模型的依赖；探索实时或近实时的生成管线，提升交互体验；扩展到VR/AR应用，支持沉浸式场景创建；研究生成场景的可编辑性和动画化，支持后续的创意工作流。此外，将方法应用于其他领域如自动驾驶仿真、游戏开发、虚拟制作等也具有潜在价值。

复现评估方面，作者承诺发布所有代码和数据集（论文声明'We will release all code and datasets upon acceptance'），这有利于复现。实验使用NVIDIA A100-80G GPU进行，视图调度和3DGS训练使用单GPU，多视图生成使用双GPU并行。详细的超参数在补充材料中提供（见表S1和S2），包括表面采样间距$h=1.0$、首选相机距离$d_0=35.0$、FOV sigmoid锐度$\beta=5.0$、各种可见性阈值（$\delta_{cand}=32.0, \delta_{vis}=0.001, \delta_{dense}=0.1, \delta_{remove}=80.0, \delta_{merge}=0.1, \delta_{shared}=0.007$）、相机网格安全边距$d_{safe}=6.0$、权重系数（$\lambda_{rep}=1.0, \lambda_{tilt}=1.0$）以及3DGS优化参数（$\lambda_r=0.8, \lambda_s=0.2, \lambda_d=5.0, \lambda_p^{max}=0.1, T_p=5000$）。训练数据集合成过程详细描述，包括349个身份图像跨越22个身份类别和约17K身份到锚点视图训练对。考虑到需要FLUX.2-klein-9B和Wan2.1-VACE-14B等大型预训练模型，硬件要求较高，但方法本身模块化，可以逐步复现和验证。总体而言，复现难度中等偏上，需要相应计算资源和仔细的超参数调优。