SeeThrough3D：文本到图像生成中遮挡感知的三维场景控制 SeeThrough3D: Occlusion Aware 3D Control in Text-to-Image Generation

SeeThrough3D的完整流程分为数据准备、模型构建和推理三个阶段。在数据准备阶段：首先从Objaverse和SketchFab收集39个3D资产，在Blender中手动对齐使其正面方向与+Y轴一致，并按真实世界比例缩放（如吉普车小于大象）；然后在半球形区域内随机放置最多4个物体，设置虚拟相机，通过程序化生成过滤掉遮挡不足（所有物体可见比>0.7）或过度遮挡（某物体可见比<0.3）的场景，以及物体过大或过小的情况；渲染OSCR表示和真实图像；最后用FLUX.1-Depth-dev深度到图像管线对渲染图进行真实感增强（约25K张渲染图+25K张增强图），并通过CLIP相似度阈值0.25过滤掉物体对齐不准确的增强样本。在模型构建阶段：将OSCR渲染图通过VAE编码为OSCR token $z$，与文本prompt token $p$ 和噪声图像token $x_t$ 拼接，OSCR token使用与噪声图像token相同的位置编码以建立空间对应关系；在FLUX的mmDiT块中联合处理所有token；仅对OSCR token对应的注意力投影矩阵（query、key、value）训练rank=128的LoRA，且将text和image token的LoRA scale设为0以保留FLUX的先验。物体绑定方面：使用Blender渲染的分割掩码确定每个包围盒 $b_i$ 的空间范围，创建注意力遮罩 $M$，使得该区域内的OSCR token只能注意到对应物体名词token $p_i$；当多个包围盒重叠时，交集区域的OSCR token会同时关注多个物体token。训练方面：先在512分辨率训练25K步，再在1024分辨率训练5K步，学习率 $10^{-4}$，使用AdamW优化器，在2块NVIDIA H100上约9小时完成。个性化扩展通过额外训练一个subject LoRA实现。

SeeThrough3D的技术新颖性体现在三个层面。首先是OSCR表示本身的新颖性：与之前所有3D布局条件化工作不同，OSCR是第一个通过半透明渲染来保留被遮挡物体信息的3D场景表示。这一设计看似简单（把包围盒设为半透明然后渲染），但它创造性地解决了遮挡场景下'模型看不到被遮挡物体'这一根本问题，同时保留了真正的3D透视关系。颜色编码朝向也是一个巧妙设计：用橙色表示前面、蓝色表示左侧、其他面为绿色，这种映射直接在图像空间中编码了朝向信息，避免了额外的参数化表示。其次是条件注入方式的创新：将OSCR渲染图作为'条件图像'通过VAE编码后送入DiT，结合仅对OSCR token训练LoRA的策略，既引入了3D控制能力又完美保留了FLUX的生成先验。第三是基于空间掩码的注意力绑定策略：不同于Compass Control等方法使用learnable adapter将朝向映射为embedding，本文利用Blender渲染的分割掩码直接在注意力矩阵中建立空间区域与语义token的对应关系，这种做法更加直接、通用且不需要额外参数。

本文有以下几个值得深入讨论的弱点。第一，半透明渲染表示的信息密度问题：当场景中物体数量增多且遮挡严重时，半透明渲染图像中的信息会变得非常密集和模糊，OSCR token可能难以编码如此复杂的空间关系。改进方向可以是探索自适应透明度策略（根据遮挡深度调整透明度）或多视图OSCR渲染以提供更多信息。第二，训练数据的合成域差距：尽管作者使用了深度到图像增强管线来提高真实感，但训练数据中的物体仅有39个类别，且物体是固定姿态的刚性3D资产。虽然定性结果展示了对新物体的泛化，但定量评估仅在包含相同类别物体的3DOcBench上进行，对真实世界照片场景的泛化缺乏系统评估。改进方向可以是引入更多样化的3D资产库（如Objaverse的完整版），或使用真实3D场景数据集进行额外微调。第三，注意力绑定机制的可扩展性：当物体包围盒大量重叠时，交集区域的OSCR token需要同时关注多个物体token，论文中虽然展示了2个物体重叠时的效果良好，但对更大规模重叠（如拥挤街景中5-6个物体相互遮挡）的表现未做分析。第四，评估指标的设计：深度排序指标依赖外部单目深度估计模型（Depth Anything），其本身的估计误差会传导到评估结果中；物体分数依赖Segment Anything的分割质量。一个更robust的评估方案可能需要使用真实的3D标注数据。

基于本文的成果，未来研究可以在多个方向延伸。首先，将OSCR表示与场景编辑结合：作者提到当前方法不支持布局改变时的图像一致性，一个自然的方向是将OSCR与图像编辑管线结合，实现在已有图像中基于3D布局精确修改物体位置或遮挡关系。其次，扩展到视频生成：OSCR的3D遮挡编码和视角控制能力可以自然地扩展到视频生成场景，通过在连续帧中使用一致的OSCR布局来实现遮挡一致的3D感知视频生成。第三，提升真实场景泛化能力：可以通过在大规模真实场景数据集（如ScanNet、ARKitScenes）上进行域适应微调，或使用更先进的数据增强管线（如利用NeRF从真实场景提取3D布局）来缩小合成域与真实域的差距。第四，引入更多3D属性控制：当前OSCR编码了位置、大小、朝向和遮挡，但物体的形状仍由文本描述决定；未来可以引入更精细的形状控制（如变形的包围盒）或材质控制。第五，与3D重建管线结合：可以将SeeThrough3D生成的图像作为3D重建的初始化或约束，实现从文本描述到3D场景的端到端生成。

在复现性方面，本文有几个值得关注的点。开源情况方面，作者在论文中声明将发布3DOcBench基准测试数据集，且项目页面（seethrough3d.github.io）已公开，但训练代码和模型权重的开源状态在论文中未明确说明。数据方面，训练数据依赖39个手动对齐的3D资产和Blender程序化渲染管线，这一流程虽然有详细描述但需要相当的3D建模专业知识来复现；数据增强使用了FLUX.1-Depth-dev，这是一个开源模型。算力需求方面，完整训练需要2块NVIDIA H100 GPU运行约9小时（30K步），这在研究机构中属于可接受的范围，但对个人研究者来说可能有一定门槛。LoRA的使用使得推理时的额外参数开销较小（rank=128的LoRA相对于FLUX的全模型参数量非常小）。总体复现难度评估为中等偏高：主要障碍在于3D资产的准备和Blender渲染管线的搭建，而非模型训练本身。如果作者能开源预处理好的训练数据和渲染脚本，复现难度将大幅降低。