在推理阶段将图像引导注入到文本条件扩散模型中 Injecting Image Guidance into Text-Conditioned Diffusion Models at Inference

第一步，从CLIP文本编码器提取预投影tokens $T \in \mathbb{R}^{n \times d_{text}}$，从CLIP图像编码器提取预投影tokens $I \in \mathbb{R}^{m \times d_{image}}$；第二步，使用两层MLP对齐器 $f_{\phi}$ 将图像tokens映射到文本嵌入空间得到 $\hat{I} = f_{\phi}(I)$，通过InfoNCE损失 $L_{InfoNCE} = -\log \frac{\exp(\cos(\mu_{\hat{I}}, \mu_T)/\tau)}{\sum_j \exp(\cos(\mu_{\hat{I}}, \mu_{T^j})/\tau)}$ 和交叉注意力重构损失 $L_{attn} = \|T' - T\|_2^2$ 联合训练；第三步，使用拼接融合策略 $[T; \hat{I}]$ 将对齐后的图像tokens追加到文本序列末尾；第四步，可选地应用PNO模块，联合优化条件tokens $T_{final}$ 和初始扩散噪声 $x_T$ 最大化生成图像与参考图像的CLIP相似度。

技术新颖性体现在多个方面：首次提出无需概念特定训练的推理时双条件引导框架；创新的模态对齐策略通过同时优化全局分布对齐和局部结构重建，避免了简单的加权平均导致的语义噪声损失；可选的PNO模块将原本用于毒性检测的测试时优化框架重新用于视觉对齐，提供额外的细化能力；仅约240万参数的单一模型即可处理所有类型图像，相比StyleDrop的10M参数、ControlNet的300M参数大幅提升效率。

缺乏精细的特征控制机制是明显弱点，用户无法指定只转移颜色而不转移形状，或只转移构图而不转移纹理，这可能导致生成结果不符合预期。改进方向可以是引入可学习的注意力权重图或用户交互式控制界面。训练数据多样性有限，仅使用COCO数据集可能限制对艺术风格、科学图表等特殊图像类型的对齐能力，扩展到更多样化数据集如LAION或风格特定数据集可提升泛化性。未与SDEdit等训练免费方法比较，无法明确优势范围，需要补充更全面的基准测试。

作者提出的发展方向包括引入更精细的特征转移控制机制，通过结合语义条件（通过VCF对齐的图像特征）和空间控制（受skip connection操作启发的结构控制），实现对内容语义、空间组成和不同视觉影响的扩散过程时间调度的独立控制。另一个有前景的方向是扩展VCF同时支持多个参考图像，使用户可以组合多个视觉概念。基于当前成果，可以探索将VCF应用于其他条件生成任务如视频生成或3D内容创建，或与其他控制技术如ControlNet结合实现更全面的生成控制。对齐器训练可以探索更先进的架构如Transformer，或引入自适应损失权重。

作者承诺将公开发布代码、对齐器权重和示例notebook，便于复现和未来研究。实验使用公开的Stable Diffusion v2模型（768-ema-pruned变体）和公开的COCO Captions数据集，训练仅约2小时在单个A100 GPU上完成，门槛较低。使用DDIM采样50步在768×768分辨率，超参数详细提供在表2中，包括InfoNCE温度参数、交叉注意力损失权重$\lambda=0.2$、融合强度$\alpha=0.3$等。主要限制是未提供对比实验代码和完整训练日志，其他研究者需要自行实现基线方法进行比较。总体而言复现难度中等，需要A100或同等GPU和约2小时训练时间。