OcclusionFormer：为布局到图像生成安排Z轴顺序 OcclusionFormer: Arranging Z-Order for Layout-Grounded Image Generation

OcclusionFormer的训练和推理流程包含以下步骤。输入包括全局提示$P$和每个实例$i$的五元组条件$(M_i, B_i, O_i, C_i, P)$，分别是掩码、边界框、遮挡者集合、实例描述和全局提示。步骤1：通过冻结的Flux前级模块处理图像标记和全局提示，得到视觉特征$Z \in \mathbb{R}^{L \times D}$。步骤2：实例解耦。对每个实例$i$，找到其边界框$B_i$内的标记索引集合$\Omega_i = \{u | \text{Coord}(u) \in B_i\}$，提取局部视觉序列$Z_{\Omega_i}$，然后只在局部范围内执行多模态注意力$\hat{Z}_{\Omega_i, C_i} = \text{MM-Attention}(Z_{\Omega_i}, C'_i)$，其中$C'_i$是实例描述的文本嵌入。通过LoRA适应预训练骨干。步骤3：学习密度预测。通过TimeTextEmbed模块融合时间步$t$和文本投影$y_i$得到$e_{itemb} = \text{TimeTextEmbed}(t, y_i)$，然后通过线性层和Softplus激活预测可学习的密度向量$\sigma_i \in \mathbb{R}^D$，确保非负性。步骤4：体渲染合成。对每个像素$p$，计算不透明度$\alpha_i(p) = (1-\exp(-\sigma_i)) \cdot \mathbb{I}(p \in B_i)$，透射率$T_i(p) = \exp(-\sum_{j \in O_i} \sigma_j \cdot \mathbb{I}(p \in B_j))$，渲染权重$w_i(p) = T_i(p) \cdot \alpha_i(p)$。合成特征$Z_{out}(p) = \frac{\sum_i w_i(p) \cdot \hat{Z}_i(p)}{\sum_i w_i(p) + \epsilon}$（对于有遮挡权重的情况）或$Z_{out}(p) = \frac{1}{|S_p|}\sum_{i \in S_p} \hat{Z}_i(p)$（对于无遮挡约束的情况），其中$S_p$是覆盖像素$p$的实例集合。步骤5：查询对齐损失。从$e_{itemb}$派生查询向量$q_i$，计算空间相似度图$S_i(p) = \frac{\hat{Z}_i(p) \cdot q_i}{(\|\hat{Z}_i(p)\|+\epsilon)\|q_i\|}$，通过轻量CNN预测器$F_\theta$输出前景/后景概率图$\hat{M}_i = \text{Softmax}(F_\theta(S_i)) \in [0,1]^{H \times W \times 2}$，用交叉熵损失$L_{align} = -\frac{1}{N} \sum_{i,p} [M_i \log(\hat{M}_{fg_i}) + (1-M_i) \log(\hat{M}_{bg_i})]$监督。总损失$L_{total} = L_{flow} + \lambda \cdot L_{align}$，其中$\lambda = 0.5$，$L_{flow}$是标准的Rectified Flow损失。

OcclusionFormer的技术新颖性体现在多个方面。首先，在架构层面，它是首个将实例解耦引入DiT布局到图像生成的工作。通过将每个实例的特征计算限制在局部边界框范围内，避免了全局注意力导致的特征纠缠，这为显式Z-order建模奠定了基础。其次，在遮挡处理层面，它首次将体渲染的透射率概念应用于2D扩散模型，通过学习密度向量$\sigma_i$而非固定值，实现了随扩散步骤动态调整不透明度的能力，这与LaRender的启发式操作有本质区别。第三，在监督信号层面，查询对齐损失是一种新颖的空间监督机制，它不从注意力图直接监督，而是通过学习查询向量检索空间足迹，再用CNN细化，这种两步设计比直接的注意力图BCE损失更稳定有效。第四，在数据层面，SA-Z数据集首次在高分辨率开放词汇场景下提供Z-order和amodal标注，填补了该领域的数据空白。最后，在训练策略上，论文采用时间依赖的掩码监督：在高噪声水平（$t \in [700, 1000]$）使用amodal掩码建立完整几何先验，在低噪声水平（$t < 700$）使用modal掩码细化可见边界，这种课程学习策略有助于模型从粗到细学习遮挡关系。

独立分析的第一个弱点是外观与遮挡顺序的耦合问题。当改变Z-order时，同一实例的纹理细节会发生变化，这表明实例的特征生成过程并未完全独立于其遮挡上下文。一个具体的改进方向是引入外观一致性正则化，例如在训练时同时采样多个Z-order排列，要求同一实例在不同排列下生成的特征在可见区域内尽可能相似，可以通过对比学习或特征蒸馏实现。第二个弱点是掩码预测器的能力有限。当前的CNN预测器只有三层卷积（32→16→2通道），对于具有复杂拓扑结构的物体（如人物、动物、植物）可能难以预测精确边界。改进方向包括增加网络深度、引入跳跃连接、使用更先进的分割架构（如基于Transformer的掩码解码器），或直接利用SAM等现成的分割模型作为辅助监督。第三个弱点是对极端遮挡场景的鲁棒性不足。当某个实例被遮挡超过90%时，几乎没有任何可见像素提供视觉信号，模型难以学习其正确外观。改进方向包括：在训练中引入极端遮挡的hard negative mining，鼓励模型从amodal标注中学习被遮挡部分的特征；在推理时为重度遮挡实例提供额外的文本描述或参考图像作为补充信号。第四个弱点是Z-order的获取成本高。当前方法需要用户提供完整的成对遮挡关系，这在多实例场景下不切实际。改进方向包括开发自动Z-order推断模块，利用物理常识（如重力、支撑关系）、语义先验（如天空应该在地面物体之后）和预训练的深度估计模型来预测合理的遮挡顺序。

作者提出的未来工作方向是结合后训练策略（如强化学习）来增强遮挡控制的精度和一致性，解决外观与Z-order耦合的问题。基于论文成果可以延伸的方向包括：（1）将OcclusionFormer扩展到视频生成，通过时序一致性约束确保视频中遮挡关系的连贯性，避免物体在遮挡切换时出现外观跳变；（2）探索更复杂的遮挡类型，如半透明物体（玻璃、水）的折射和反射、软体物体的变形遮挡、动态模糊下的运动模糊遮挡等；（3）将方法应用于3D场景生成，从2D布局推断3D深度，通过NeRF或3D Gaussian Splatting渲染多视图一致的遮挡场景；（4）开发交互式遮挡编辑工具，允许用户通过点击或拖拽实时调整Z-order，模型即时更新生成结果；（5）研究跨实例的特征交互，允许遮挡关系影响被遮挡物体的外观（如阴影、反射）而非简单的可见性遮蔽，这需要更复杂的体渲染公式；（6）将SA-Z数据集扩展到更多领域，如医学影像、工业检测、卫星图像等，探索遮挡控制在专业场景中的应用；（7）探索遮挡条件下的风格迁移，如在不同Z-order下保持艺术风格的一致性。

论文未在正文中明确声明代码开源，但在Project Page (https://henghuiding.com/OcclusionFormer/) 上可能提供代码和模型。SA-Z数据集的构建过程描述详细，但未说明是否公开下载。实验设置方面，论文基于Flux.1-dev（公开模型），使用LoRA rank=4，训练200K步，batch size=16，学习率1e-4，在Nvidia A800 GPU上训练。训练细节包括时间依赖的掩码监督策略（$t \in [700, 1000]$用amodal掩码，$t < 700$用modal掩码）和损失权重$\lambda=0.5$。评估使用公开基准OverLayBench和自建的SA-Z Eval（1000张图像），指标计算依赖SAM3和InstaOrder框架获取遮挡和深度标注。复现的潜在挑战包括：（1）SA-Z数据集的构建涉及DescribeAnything、InstaOrderNet、SAM-3D等多个外部工具，复现数据集需要配置多个依赖；（2）SA-1B作为数据来源需要访问权限；（3）LoRA微调Flux.1-dev需要较大显存（实验在A800上进行），普通GPU可能需要调整配置；（4）查询对齐损失的CNN预测器超参数（如GELU激活、卷积核大小）在附录中给出，但可能需要调优。总体而言，如果代码和模型公开，复现难度中等，主要挑战在数据获取和计算资源。