← 返回 2026-05-27

从多模态大语言模型中挤压能力用于主题驱动生成 Squeezing Capacity from Multimodal Large Language Models for Subject-driven Generation

Shuhong Zheng, Aashish Kumar Misraa, Yu-Teng Li, Yu-Jhe Li, Igor Gilitschenski 📅 2026-05-25 👍 12 2026-07-13 08:36
主题驱动生成 图像生成 多模态大语言模型 扩散模型 身份保持
arXiv HuggingFace PDF

提出DLA模块和多阶段去噪策略，整合MLLM与VAE实现高质量主题驱动图像生成

前置知识

主题驱动图像生成

一种图像生成任务，目标是在保持给定主体身份的同时，根据文本指令合成新图像。例如，给定一张特定狗的照片，生成这只狗在海滩上奔跑、戴着帽子等不同场景下的图像，但要确保生成的狗仍然可识别为同一只狗。传统方法需要针对每个主体进行微调，而现代方法试图实现零样本能力，即不需要重新训练就能适应新主体。

这是本文研究的核心任务，理解这个概念才能明白论文的目标和评估指标

扩散模型

一类生成模型，通过学习从简单噪声分布到真实数据分布的逐步去噪过程来生成样本。给定数据样本 x_0，前向过程逐渐添加高斯噪声 q(x_t | x_0) = N(x_t; sqrt(alpha_t)x_0, (1-alpha_t)I)，反向过程学习预测添加的噪声或干净样本。本文采用Rectified Flow重新表述为确定性传输过程，参数化为速度场 dx_t/dt = v_theta(x_t, t)，目标函数为 L_RF = E_{t,x_0,x_1} ||v_theta(x_t, t) - (x_0 - x_1)||_2^2。

本文方法基于扩散模型，特别是Diffusion Transformer (DiT)架构，理解其工作机制对理解条件控制和训练策略至关重要

多模态大语言模型

能够同时处理和推理文本、图像等多种模态信息的大规模预训练模型。MLLM通过在交叉注意力层中融合文本和图像token，实现对联合语义的理解。例如，当输入一张图片和文本描述时，MLLM可以将文本中的概念正确绑定到图片中的对应区域。InternVL3-8B这类模型在不同层表现出不同的特征特性：浅层保留更多低级外观细节，深层更多包含高级语义信息。

本文利用MLLM的跨模态推理能力来解决传统方法分别编码文本和图像的问题，理解其层次化特征特性是理解DLA模块设计的基础

VAE (变分自编码器)

Variational Autoencoder，一种能够学习数据潜在表示的生成模型。编码器将输入图像映射到潜在空间，解码器从潜在表示重建图像。在扩散模型中，VAE编码器常作为图像tokenizer，将参考图像编码为潜在token用于条件控制。VAE擅长保留高频细节和精确的身份信息，但缺乏语义理解能力，容易导致复制粘贴问题，即生成的主体姿态与参考图像过于相似。

本文将VAE与MLLM结合使用，利用其身份保持优势，同时通过多阶段去噪策略缓解其缺陷

复制粘贴问题

主题驱动生成中的常见失败模式，即生成的主体与参考图像姿态过于相似，缺乏创造性变化。这通常发生在主要依赖VAE编码的方法中，因为VAE倾向于重建参考图像的外观和结构。论文通过Orient Anything工具估计主体的方位角和极角来量化这个问题，计算参考图像和生成图像之间的角度差异，并提出Recall@k度指标来衡量生成样本的角度低于k度的百分比，并报告平均Recall率。

这是本文解决的核心问题之一，也是评估模型性能的重要指标

Rectified Flow

扩散模型的一种重新表述，将生成过程视为从噪声分布到数据分布的确定性传输，而非随机采样。它使用ODE求解器从初始噪声点x_1沿着学习的速度场v_theta(x_t, t)移动到目标x_0。这种方法训练更稳定，推理更简单，因为可以采用更大的步长而不影响质量。本文选择FLUX.1 dev作为骨干正是因为其采用Rectified Flow参数化。

本文采用Rectified Flow作为扩散模型框架，理解其原理有助于理解训练目标和推理过程

研究动机

现有主题驱动图像生成方法存在两个核心问题。第一，大多数方法如UNO、UMO、DreamO等基于VAE的token条件控制，将文本和参考图像分别编码，这限制了跨模态推理能力。当文本提示涉及参考图像中未明显显示的概念，或者需要将文本中的词汇正确绑定到图像区域时，这些方法往往失败。例如，用户给出一张包含多个物体的参考图，要求给熊猫戴上帽子，模型可能无法正确识别熊猫并添加帽子。第二，基于VAE的方法普遍存在复制粘贴问题，即生成的主体姿态与参考图像过于相似，缺乏变化。论文通过Orient Anything工具量化了这个问题，现有方法的平均方位角差异约为20.8-25.7度，极角差异约为7.8-10.4度，而本文方法分别达到25.7度和10.4度，表明生成的姿态更加多样化。虽然DreamEngine、Qwen-Image、EasyRef等工作尝试将MLLM与扩散模型连接，但它们通常只使用MLLM的最终层特征，或者将ViT特征与最终层输出通过标量混合，这忽略了对身份至关重要的细粒度视觉线索，导致身份保持效果不佳。

本文的目标是本文的具体目标是设计一个能够同时实现强大跨模态推理能力和高保真身份保持的主题驱动图像生成框架。具体而言，作者希望在三个方面取得突破：在保持主体身份的同时提供比现有方法更多样化的姿态和场景变化；在复杂的文本提示下实现准确的概念绑定和跨模态理解；在不依赖私有高质量数据集的情况下，仅使用公开数据达到与最先进方法相当的性能。为了实现这些目标，作者探索如何最优地利用MLLM的容量，不仅作为语义理解器，也作为身份信息的来源。

与已有工作不同的是，本文的独特切入角度在于同时从两个维度解决主题驱动生成的挑战：一是通过精心设计的特征聚合机制充分挖掘MLLM的跨层表示能力，二是通过时间步感知的去噪策略协调MLLM和VAE这两种互补的条件信号。与现有工作相比，作者不是简单地连接MLLM和扩散模型，而是深入分析了MLLM不同层在主题驱动生成中的作用，发现早期和晚期层分别对外观和语义有更强的激活。基于这一观察，作者提出分别聚合文本和图像token的层次化特征，而不是使用单一模块或仅依赖最终层。此外，作者发现如果从一开始就联合训练MLLM和VAE条件，VAE的强重建能力会主导身份学习，导致MLLM的特征无法得到充分利用。因此作者创新性地采用两阶段训练策略，先训练MLLM-DiT框架，再引入VAE，使两种条件信号能够在不同去噪阶段发挥各自优势。这种从特征聚合到训练策略的系统性优化，使本文能够在仅使用公开数据的情况下取得竞争性能，并显著缓解复制粘贴问题。

核心方法

本文方法的核心思想是构建一个统一的多模态理解与高保真身份保持框架，通过精心设计的模块整合MLLM的语义推理能力和VAE的细节保持能力。整体框架包含四个主要组件：MLLM（InternVL3-8B）负责联合编码文本和参考图像，提供跨模态理解和语义信息；VAE编码器将参考图像映射到潜在空间，提供高频身份细节；Diffusion Transformer（FLUX.1 dev）作为生成骨干，采用Rectified Flow参数化；Dual Layer Aggregator（DLA）模块负责聚合MLLM的多层特征并对齐到DiT的特征空间。DLA是本文的核心创新，它包含两个独立的Layerwise Attention Pooling（LAP）模块，分别处理文本token和图像token。每个LAP通过对层维度的注意力机制将MLLM所有transformer层的特征聚合为一个表示，这样模型可以自适应地利用浅层的外观信息和深层的语义信息。在推理阶段，作者提出多阶段去噪策略：早期去噪步骤（t >= tau_1，其中tau_1=0.95）仅使用MLLM条件以建立全局语义；中期步骤（tau_2 <= t < tau_1，其中tau_2=0.85）同时使用MLLM和VAE条件；晚期步骤（t < tau_2）仅使用VAE条件以细化身份细节。这种设计符合扩散过程从粗糙到精细的固有特性：早期步骤确定语义和全局布局，后期步骤精修局部细节。

本文的核心创新点在于三个方面：Dual Layer Aggregator模块、多阶段去噪策略和两阶段训练策略。与现有方法仅使用MLLM最终层特征或简单混合不同，DLA分别聚合文本和图像token的层次化特征，每个模态的LAP可以专注于最相关的信息。文本LAP强调语义保真和提示遵循，图像LAP关注主体外观和身份一致性。这种设计不会牺牲跨模态交互，因为MLLM已经在中间层启用了跨模态信息流动，图像token已经吸收了来自文本的跨模态信息，反之亦然。多阶段去噪策略通过时间步相关的掩码M_MLLM(t)和M_VAE(t)控制不同条件分支的激活，在训练时随机drop参考图像输入以确保鲁棒性，使系统能够自然处理只有一种条件源可用的场景。两阶段训练策略是解决MLLM和VAE条件冲突的关键。如果从一开始就联合训练，VAE倾向于吸收大部分身份学习，导致MLLM在早期去噪步骤中欠优化，而早期步骤已经确定了图像的最终外观，一旦偏离就无法在后期恢复。作者的第一阶段仅使用MLLM条件训练25K步，第二阶段联合训练10K步，确保两条条件路径在整个去噪过程中都有效贡献。

方法步骤详情

方法的第一步是输入处理，给定文本提示T和参考图像集合I = {I_n}_{n=1}^N。文本通过tokenizer转换为token序列，参考图像分别通过MLLM的图像编码器和VAE编码器处理。MLLM处理文本和图像token后，输出所有transformer层的特征图集合F = {F_i}_{i=0}^M，其中M是MLLM的层数（InternVL3-8B有28层），每个F_i属于R^{B x L x C}包含batch大小B、序列长度L和通道数C。第二步是DLA模块处理，文本LAP对文本token的层维度执行多头注意力，将层索引视为序列维度，然后通过全连接投影进行自适应层加权，得到聚合的文本表示；图像LAP对图像token执行相同操作，得到聚合的图像表示。第三步是条件注入，将聚合的文本和图像表示注入到DiT的cross-attention层中，同时VAE编码的潜在token也通过相应的适配模块注入。第四步是多阶段去噪，根据时间步t应用不同的条件掩码：当t >= 0.95时，M_MLLM(t)=1, M_VAE(t)=0；当0.85 <= t < 0.95时，M_MLLM(t)=1, M_VAE(t)=1；当t < 0.85时，M_MLLM(t)=0, M_VAE(t)=1。去噪网络预测每一步的干净样本hat{x}_{t-1} = f_theta(x_t, c_MLLM * M_MLLM(t), c_VAE * M_VAE(t))，其中f_theta表示去噪transformer，c_MLLM和c_VAE是来自两个编码器的条件嵌入。第五步是Rectified Flow推理，从初始噪声x_1沿着学习的速度场通过ODE求解器迭代到达目标x_0，使用cosine去噪调度和CFG值为2.5的classifier-free guidance。

技术新颖性

本文的技术新颖性体现在对MLLM表示利用的深入分析和系统性优化。作者通过实验发现，当使用单一LAP模块联合聚合文本和图像token时，模型在不同检查点表现出身份保持和文本对齐之间的权衡，且训练倾向于过拟合到一种模态而降低另一种模态的性能。进一步分析显示，来自文本和图像token的层注意力存在显著差异，反映不同的层次化信息模式。基于这一发现，DLA解耦了跨模态的层聚合，这是对现有仅使用最终层特征或简单混合策略的重要改进。作者还对MLLM层的角色进行了详细分析，将InternVL3-8B的28层分为早期（0-9）、中期（10-19）和晚期（20-28）三组，实验显示使用所有层（0-28）的DLA达到最佳性能：DINO-I为0.7482，CLIP-I为0.8443，CLIP-T为0.3010。另一个新颖性是对两阶段训练必要性的论证。作者通过消融实验发现，单阶段训练无法充分利用时间步感知去噪，因为在第一步训练时MLLM未发展出足够的身份保持能力，VAE在后期无法纠正已经偏离的去噪轨迹。这表明MLLM在早期去噪步骤中的重要性，而这一点在之前的工作中被忽视。此外，本文对复制粘贴问题的量化评估也是一种新颖的贡献，作者提出使用方位角和极角差异作为姿态多样性的指标，并报告平均Recall率，这为评估主题驱动生成的质量提供了新的维度。

Overview of our framework.
Figure 2: Overview of our framework.
Preliminary analysis on single Layerwise Attention Pooling (LAP) across text and image modalities.
Figure 3: Preliminary analysis on single Layerwise Attention Pooling (LAP) across text and image modalities.
Single-stage training prevents the model from leveraging timestep-aware denoising.
Figure 6: Single-stage training prevents the model from leveraging timestep-aware denoising.

实验结果

本文在多个实验中验证了所提方法的有效性。首先在标准DreamBench基准上，仅使用公开数据训练的MLLM-only模型已经达到与在相同数据下训练的UNO相当的性能，DINO-I为0.6788，CLIP-I为0.8228，CLIP-T为0.2988，证明了DLA从MLLM提取多模态特征和身份信号的能力。完整的MLLM+VAE模型取得与最先进方法相当的性能：DINO-I为0.7482，CLIP-I为0.8443，CLIP-T为0.3010。更重要的是，本文显著缓解了复制粘贴问题，平均方位角差异达到25.7度，极角差异达到10.4度，平均Recall率为0.349，明显低于现有方法的0.372-0.486，表明生成的姿态更加多样化。在多模态推理能力的评估中，作者构造了包含350个样本的基准，本文在CLIP-T指标上达到0.3208，显著优于UNO的0.2851、DreamO的0.2888和Qwen-Image的0.3099。在人类对齐评估中，使用7个不同MLLM作为评分器，本文在所有MLLM上的平均得分均高于现有方法。用户研究包含30名参与者，共1500票，本文在1-10评分尺度上获得7.26分，明显高于XVerse的5.75、DreamO的6.31、USO的6.74和UMO的6.02。消融实验显示，使用DLA（双LAP）相比单LAP有显著优势，在使用所有层和残差连接到最后一层时达到最佳性能。两阶段训练相比单阶段训练有显著提升，DINO-I从0.7184提升到0.7482，CLIP-I从0.8245提升到0.8443，CLIP-T从0.2971提升到0.3010。

Quantitative comparison on DreamBench.
Table 1: Quantitative comparison on DreamBench.
Quantitative comparisons of subject variation between the reference and generated images.
Table 2: Quantitative comparisons of subject variation between the reference and generated images.
Quantitative comparisons on the constructed benchmark with 350 samples for multimodal reasoning capability.
Table 3: Quantitative comparisons on the constructed benchmark with 350 samples for multimodal reasoning capability.
Quantitative comparisons on the human-aligned MLLM-based scores on the subject categories in DreamBench++.
Table 4: Quantitative comparisons on the human-aligned MLLM-based scores on the subject categories in DreamBench++.
User study from 30 participants with a total of 1,500 votes.
Table 5: User study from 30 participants with a total of 1,500 votes.
Analysis on different strategies of connecting MLLM features to the DiT.
Table 6: Analysis on different strategies of connecting MLLM features to the DiT.
Comparison regarding single-stage training, with and without timestep-aware denoising (TAD).
Table 7: Comparison regarding single-stage training, with and without timestep-aware denoising (TAD).
Comparisons of our method with state-of-the-art subject-driven generation approaches.
Figure 4: Comparisons of our method with state-of-the-art subject-driven generation approaches.
Comparisons on reasoning capability.
Figure 5: Comparisons on reasoning capability.
查看结构化数据
任务指标本文基线提升
DreamBench主体驱动生成 DINO-I (身份相似度) 0.7482 UNO: 0.7484, USO: 0.7478, DreamO: 0.7537 与最先进方法相当
DreamBench主体驱动生成 CLIP-I (身份相似度) 0.8443 UNO: 0.8354, USO: 0.8263, DreamO: 0.8356 优于所有基线
DreamBench主体驱动生成 CLIP-T (文本对齐) 0.3010 UNO: 0.3040, USO: 0.3086, DreamO: 0.3213 与基线相当
复制粘贴问题缓解 平均方位角差异 25.7度 OmniGen2: 22.6, DreamO: 22.1, USO: 20.8, Qwen-Image: 17.6 显著优于所有基线
复制粘贴问题缓解 平均Recall率(越低越好) 0.349 OmniGen2: 0.486, DreamO: 0.372, USO: 0.401, Qwen-Image: 0.460 显著低于所有基线
多模态推理基准 CLIP-T (文本对齐) 0.3208 UNO: 0.2851, DreamO: 0.2888, Qwen-Image: 0.3099 显著优于所有基线
用户研究 偏好评分(1-10) 7.26 XVerse: 5.75, DreamO: 6.31, USO: 6.74, UMO: 6.02 显著高于所有基线

局限与改进

作者承认了几个局限性。首先，本文方法主要在单主体数据上训练，虽然实验显示在双参考图像输入时仍能正确绑定概念，但多主体场景的性能可能不如专门设计的多主体方法如LAMICBench。其次，虽然MLLM-only模型已经达到竞争性能，但添加VAE条件后性能提升有限，这可能意味着在公开数据规模下，MLLM已经学习到相当强的身份保持能力。第三，多阶段去噪策略的超参数tau_1=0.95和tau_2=0.85是基于实验选择的，可能需要根据不同数据集或用户偏好调整。此外，作者观察到DLA对不同MLLM架构的自适应能力需要进一步验证，虽然实验显示在InternVL3-8B上工作良好，但其他MLLM可能有不同的层次化特性。从更广泛的角度看，本文方法仍然依赖于高质量的参考图像，当参考图像质量较差或包含遮挡、模糊等问题时，性能可能下降。最后，作者提到由于篇幅限制，更多消融研究在附录中提供，这意味着某些分析可能不够充分。

独立分析的弱点

本文的一个独立分析弱点是计算开销较大，因为需要同时运行MLLM和VAE编码器，并且DLA模块需要处理所有MLLM层的特征。在资源受限的部署场景下，这可能成为瓶颈。一个改进方向是研究如何近似DLA的计算，例如通过学习层重要性权重或使用蒸馏技术，在保持性能的同时减少计算量。另一个弱点是超参数敏感性，多阶段去噪的阈值tau_1和tau_2需要精心调整，这可能影响用户体验。可以探索自适应阈值策略，根据输入复杂度或参考图像特征动态调整各阶段的比例。第三个弱点是训练数据仍然有限，虽然使用公开的UNO-1M约40万对图像，但相比私有数据集可能有差距。可以通过数据增强、合成数据生成或半监督学习来扩展训练规模。此外，两阶段训练策略增加了训练复杂性，未来可以探索端到端的训练方法，例如通过 curriculum learning 或动态平衡不同条件损失的权重来替代显式的两阶段训练。

未来方向

作者提出的未来工作方向包括探索更复杂的参考图像组合策略，以支持多主体和更精细的控制。基于本文成果，可以延伸的研究方向包括：将DLA思想应用到其他多模态生成任务，如视频生成、3D生成等，这些任务同样需要平衡语义理解和细节保持；研究更细粒度的条件控制机制，例如允许用户指定不同生成阶段的偏好，在保持身份和姿态多样性之间进行权衡；探索将本文方法与文本到图像的其他技术结合，如布局控制、风格迁移等，以提供更全面的创作工具；在更多样的评估维度上验证方法，包括可编辑性、跨领域泛化等；研究如何在不牺牲性能的情况下减少对参考图像数量的依赖，使方法更容易使用。此外，作者提到的对MLLM层次化表示的深入分析可以进一步扩展，例如研究不同MLLM架构（如Qwen、LLaVA等）的层特性差异，以开发更通用的特征聚合策略。

复现评估

本文提供了较为完整的复现信息。代码和模型预计将在项目网站发布，但截至论文发表时尚未完全开源。训练使用公开的UNO-1M数据集，经过MLLM-based评分筛选后约40万对图像，这比依赖私有数据集的方法更易于复现。实现细节明确：采用InternVL3-8B作为MLLM，FLUX.1 dev作为DiT，LoRA rank为512用于微调DiT注意力块，MLLM和DiT其他权重都冻结。训练在8张NVIDIA H100 GPU上进行，batch size为16，学习率为1e-5，第一阶段25K步，第二阶段10K步。推理时使用cosine去噪调度，CFG值为2.5，时间步阈值tau_1=0.95，tau_2=0.85。评估指标明确，包括DINO-I、CLIP-I、CLIP-T等标准指标，以及作者提出的复制粘贴量化指标。用户研究的详细界面和说明在补充材料中提供。总体而言，复现难度中等偏高，主要挑战在于计算资源需求（8张H100）和模型下载（InternVL3-8B和FLUX.1 dev），但由于使用公开数据和明确的超参数，有资源的实验室应该能够复现。

论文图表

Benefits of leveraging MLLMs for subject-driven generation.
Figure 1: Benefits of leveraging MLLMs for subject-driven generation.

这张图展示了利用MLLM进行主题驱动生成的两个主要好处：缓解复制粘贴问题和增强多模态理解能力。左列展示背包在绿色草地上、向日葵周围、雪地中等不同场景，中间列展示戴着眼镜的狗，右列展示复制粘贴缓解和多模态理解的对比。VAE-based方法容易出现复制粘贴问题，即生成的主体姿态与参考图像过于相似。相比之下，本文方法能够生成更多样化的姿态，同时保持主体身份。多模态理解方面，MLLM通过联合建模输入图像和文本，能够更好地理解主题驱动生成流水线，而VAE-based方法分别编码它们，限制了跨模态推理。

这张图直观地展示了本文解决的两个核心问题（复制粘贴和多模态理解），并通过视觉对比让读者快速理解MLLM的优势，是理解论文动机和贡献的关键视觉材料。