统一多模态模型的语义生成调优

利用图像分割作为生成代理，统一多模态模型的理解与生成能力

前置知识

统一多模态模型

统一多模态模型（Unified Multimodal Models, UMMs）是一类旨在将视觉理解和视觉生成整合到单一架构中的模型。传统多模态模型通常分别优化理解和生成任务，而UMMs试图通过共享表示空间和统一训练来实现双向知识传递。例如，BAGEL采用混合Transformer框架实现层间特征共享，OmniGen2则利用理解模块的隐藏状态作为生成过程的语义指导。这种架构统一为交叉模态知识转移和相互强化提供了可能性，使得模型能够支持交错的图像-文本生成和上下文视觉编辑等高级能力。

本文核心研究的就是如何在统一多模态模型框架下实现视觉理解与生成的协同优化。理解UMMs的架构特点（如双编码器设计：ViT语义编码器和VAE细节编码器）对于理解SGT方法的动机和实现至关重要。

图像分割

图像分割是计算机视觉中的一项经典高层语义任务，其目标是将图像中的每个像素分类到预定义的类别中，从而实现像素级的语义理解。与目标检测（仅提供边界框）或边缘检测（仅关注低层纹理变化）不同，分割提供了图像内容的结构化语义表示。论文中探讨了多种分割变体：语义分割（区分物品种类但不区分实例）、实例分割（区分每个独立的物体实例）和全景分割（同时处理stuff和things）。分割图通常被彩色化处理成三通道伪彩色图像作为生成目标。

本文的核心创新就是发现并验证了图像分割是统一多模态模型中最佳的生成代理任务。理解分割任务的特点和它提供的结构化语义表示，对于理解为什么SGT能够有效对齐理解和生成的表示空间至关重要。

生成式调优

生成式调优是一种通过生成目标来增强模型表示学习的方法。在本文中，它被定义为条件生成过程 y = f_θ(x, [z_vit, z_noise])，其中输出 y 位于视觉空间。训练目标定义为 L = L(f_θ(x, [z_vit, z_noise]), ŷ)，其中 x 是为特定任务定制的简洁自然语言指令，ŷ 是目标视觉表示。与传统监督学习不同，生成式调优要求模型从嵌入中重建视觉输入，这种重建目标迫使模型学习更丰富和更具判别性的视觉表示。

本文提出的SGT方法本质上就是一种生成式调优，但它将生成目标从像素空间（如ReCA、GenHancer等方法的像素重建）提升到了语义空间（分割图）。理解生成式调优的机制有助于理解SGT如何通过分割目标来对齐理解和生成的表示空间。

双编码器架构

双编码器架构是许多统一多模态模型采用的设计模式，它包含两个并行的视觉编码器：基于ViT的语义编码器 Φ_vit(·) 和基于VAE的细节编码器 Φ_vae(·)。ViT编码器提取语义标记 z_vit ∈ R^{L×D} 用于多模态推理，VAE编码器将图像编码到潜在空间 z_vae ∈ R^{H×W×C} 以保持结构和纹理细节。对于视觉理解任务，模型使用语义特征生成文本响应；对于视觉生成任务，模型将文本提示和初始噪声映射到合成图像；对于视觉编辑任务，框架整合 z_vit、z_vae 和随机组件实现高保真图像操作。

这种架构为SGT提供了自然的应用框架。SGT主要通过优化ViT编码器提取的语义表示 z_vit 来实现理解和生成的对齐，同时保持VAE编码器提供的细粒度细节。理解双编码器的工作方式有助于理解SGT如何在不损害生成质量的情况下提升理解能力。

研究动机

现有统一多模态模型面临的核心问题是训练范式中的优化分歧。如图1(a)所示，理解和生成任务通过不同的监督信号分别优化：理解任务主要由稀疏的文本监督驱动（如VQA数据集），而生成能力通过低层视觉目标优化（如像素或视觉token重建）。这种解耦的训练策略隔离了两种能力，阻碍了模型捕捉视觉理解和生成之间的内在依赖关系。例如，在BAGEL和OmniGen2等主流UMMs中，理解模块和生成模块虽然在架构上统一，但优化过程仍然分离。最近的研究（如ReCA）尝试通过像素空间重建作为代理任务来解决这个问题，如图1(b)所示。然而，像素重建本质上优化的是图像保真度而非跨模态语义对齐。这导致模型被迫关注与视觉理解无关的细粒度细节，限制了模型增强视觉理解的能力。

本文的目标是本文的具体目标是为统一多模态模型开发一种新的训练范式，以解决理解和生成任务之间的优化分歧问题。作者希望通过系统性的实证研究来回答两个关键问题：第一，像素空间重建是否真的是UMMs的最佳代理任务；第二，是否存在更好的视觉代理任务能够更有效地协同理解和生成能力。为此，作者建立了一个分层视觉任务分类法（包括低层、中层和高层任务），系统评估了不同粒度的视觉任务作为生成代理时对UMMs性能的影响。基于实证发现，作者提出了语义生成调优（SGT）方法，旨在通过高层语义代理（特别是图像分割）来对齐和增强多模态能力。

与已有工作不同的是，本文的独特切入角度在于首次系统性地研究了不同粒度的视觉代理任务对统一多模态模型的影响。与现有工作（如ReCA、DIVA、ROSS、GenHancer等）依赖像素重建不同，本文提出了一个根本性的问题：是否应该将优化目标从像素空间提升到语义空间。通过建立分层视觉任务分类法（高层：分割、目标检测；中层：深度估计、修复；低层：边缘检测），本文提供了全面的实证分析，揭示了高层语义任务（特别是图像分割）在协同理解和生成方面显著优于低层重建。这种从像素级到语义级的范式转变是本文的创新核心，与现有方法形成本质区别。

核心方法

SGT方法的整体思路可以概括为：通过将图像分割等高层语义任务作为生成代理，来对齐统一多模态模型中理解和生成的表示空间。直觉上，稀疏的文本监督（用于理解）和密集的RGB信号（用于生成）之间存在语义鸿沟，而分割提供的结构化视觉监督恰好作为中间表示，能够桥接这两种模态。技术路线方面，SGT采用条件生成框架，模型接收RGB图像和简洁文本指令，通过视觉编码器提取语义特征，然后映射到指定的任务。论文通过大量实验验证了分割目标在各种粒度的视觉代理任务中效果最佳，因为分割提供了结构语义，显著增强了以视觉为中心的感知和生成布局保真度。

SGT的核心创新点是将生成目标从像素空间提升到语义空间，具体来说就是使用图像分割作为生成代理。与ReCA等方法的像素重建不同，SGT不追求像素级的完美重建，而是要求模型生成图像的语义分割图。这种方法的本质区别在于：像素重建迫使模型关注低频纹理细节，而分割任务迫使模型关注高级语义和结构信息。论文发现，这种语义级的代理更符合视觉理解的需求，因为鲁棒的视觉理解本质上依赖于语义信息而非低层纹理的记忆。此外，论文首次建立了分层视觉任务分类法，系统评估了不同粒度代理任务的影响，这是现有工作中未曾有过的。

方法步骤详情

SGT方法的完整训练流程包括以下步骤：首先，输入处理阶段接收RGB图像 I 和简洁的自然语言指令 x，通过ViT编码器提取语义标记 z_vit ∈ R^{L×D} 用于多模态推理，同时通过VAE编码器编码图像到潜在空间 z_vae ∈ R^{H×W×C} 以保持结构和纹理细节。其次，生成目标设定阶段，对于分割任务，使用MS COCO数据集的地面真值注释，通过着色过程将原始注释转换为三通道伪彩色图像作为最终目标信号 ŷ。第三，理解任务处理使用标准的视觉问答（VQA）数据，通过交叉熵损失进行基于文本的监督。第四，统一损失计算阶段，在同一个训练batch中混合VQA指令和分割视觉目标，论文通过实验发现最优的batch内比例是2:1（分割:VQA）。最后，端到端优化阶段使用AdamW优化器（β₁=0.9, β₂=0.95, weight decay=0.01），对OmniGen2使用学习率 4×10⁻⁴ 训练2500步约4小时，对BAGEL使用学习率 1×10⁻⁴ 训练10000步约18小时，全局batch size为60。

技术新颖性

SGT的技术新颖性体现在多个方面。首先，它首次提出了语义级的生成调优范式，与现有的像素级重建方法（如ReCA、GenHancer等）形成根本区别。其次，它建立了分层视觉任务分类法，系统性地研究了不同粒度视觉任务对UMMs的影响，这是现有工作中未曾有过的全面分析。第三，机制分析揭示了SGT从根本上改善了特征线性可分性和优化了视觉-文本注意力分配模式：t-SNE可视化显示分割数据增强了语义相似但结构不同类别（如三角钢琴和立式钢琴）的线性可分性；注意力分析显示分割目标使模型在更深的transformer层中更关注视觉token，减少了语言先验的过度依赖。第四，SGT展示了在不同架构（BAGEL、OmniGen2）和不同规模（3B+4B到7B+7B）上的泛化能力，证明了方法的普适性。最后，论文展示了SGT的可扩展性，随着分割数据量从2k扩展到100k样本，性能持续单调提升。

**Fig. 2**: Overview of the generative tuning paradigm.

实验结果

论文通过大量实验得出三个核心发现。第一，高层语义任务显著优于低层视觉线索。如图3(a)所示，高层任务（如图像分割）在多模态理解方面带来的益处远大于中层任务（如深度估计）和低层任务（如边缘检测）。论文将此归因于高层语义与理解模型的推理需求强对齐，而高层监督鼓励提取语义和结构本质，低层任务则可能迫使模型过度拟合对复杂推理往往多余的复杂纹理细节。第二，视觉监督增强感知而非推理。生成式调优范式主要增强基础视觉感知而非语言先验或抽象逻辑推理。论文观察到在视觉中心任务、空间推理和幻觉抵抗方面有显著性能提升，但图表识别和数学知识能力保持静态或边际下降，这表明虽然视觉衍生的监督通过提升表示质量来增强感知能力，但不会 impart 额外的知识或逻辑推理技能。第三，各种代理任务持续改善空间保真度。如图3(b)所示，与理解基准上观察到的不同粒度趋势不同，生成式调优范式持续增强整体生成质量，模型在位置感知任务上显示一致的性能提升，这表明视觉代理任务固有地提供显式空间约束，迫使模型在重建这些视觉结构时保持准确的空间布局。

**Table 1**: Statistics of the training data.

**Table 2**: Comparison with state-of-the-art UMMs.

**Table 4**: Taxonomy of Computer Vision Tasks.

**Table 5**: Summary of benchmarks for six core visual understanding capabilities.

**Table 6**: Detailed quantitative results corresponding to Fig. 3a.

**Table 7**: Detailed quantitative results corresponding to Fig. 3b.

**Table 8**: Training configurations of OmniGen2 and BAGEL.

**Table 9**: More results from mixed SFT and SGT training.

**Fig. 3**: Empirical evaluation of the hierarchical task ladder across diverse understanding and generation dimensions.

**Fig. 4**: Qualitative comparison on compositional text-to-image generation.

**Fig. 5**: Ablation studies on segmentation data integration.

**Fig. 6**: Training dynamics with different SFT:Seg ratios.

**Fig. 7**: Feature space analysis on fine-grained classes.

**Fig. 8**: Analysis of attention patterns.

查看结构化数据

任务	指标	本文	基线	提升
GenEval	总体得分	90.0 (SGT-BAGEL)	88.0 (BAGEL)	+2.0 (约2.27%提升)
CV-Bench	得分	79.23 (SGT-BAGEL)	73.21 (BAGEL)	+6.02 (约8.22%提升)
MMVP	得分	83.33 (SGT-BAGEL)	83.00 (BAGEL)	+0.33 (约0.40%提升)
VSR	得分	81.54 (SGT-BAGEL)	80.45 (BAGEL)	+1.09 (约1.35%提升)
HallusionBench	得分	70.24 (SGT-BAGEL)	68.34 (BAGEL)	+1.90 (约2.78%提升)
GenEval	总体得分	78.86 (SGT-Gen2)	76.58 (OmniGen2)	+2.28 (约2.98%提升)
MMVP	得分	68.33 (SGT-Gen2)	65.00 (OmniGen2)	+3.33 (约5.12%提升)

局限与改进

论文指出了SGT的几个局限性。首先，虽然SGT有效地对齐了自然场景的理解和生成，但依赖分割数据限制了在符号密集和知识密集型任务上的性能。论文观察到在表格解释和知识推理方面能力保持静态或边际下降，这表明SGT最好作为基础对齐策略而非独立训练解决方案。其次，SGT主要增强视觉感知能力，对语言先验或抽象逻辑推理的影响有限。这意味着SGT不会 impart 额外的知识或逻辑推理技能，因此需要与VQA等理解数据结合使用才能保持符号熟练度。此外，论文主要集中在自然场景图像上，对于其他类型的视觉内容（如医学图像、遥感图像）的适用性尚未验证。最后，SGT主要关注理解和生成的对齐，对于复杂图像编辑任务的改进相对较小（从基线6.52提升到6.94），这表明 driving 进一步的实质性编辑增益可能需要集成显式图像编辑数据。

独立分析的弱点

从独立分析的角度看，SGT存在几个可以改进的弱点。第一，数据集依赖性强：SGT依赖于高质量的分割标注数据，这限制了其在没有良好分割标注领域（如医学图像、遥感图像）的应用。改进方向可以是探索自监督分割方法或合成分割数据，以减少对人工标注的依赖。第二，知识密集型任务表现有限：SGT在图表识别和数学知识推理等任务上没有显著改进，甚至可能有所下降。改进方向可以是将SGT与知识增强方法结合，例如在训练中加入更多符号密集的任务数据，或者引入外部知识库。第三，复杂编辑能力提升有限：在GEdit-Bench-En等复杂图像编辑任务上，SGT的提升相对较小（从6.52到6.94）。改进方向可以是集成专门的图像编辑数据集，或者开发更精细的编辑任务分解方法。第四，仅关注静态图像：目前SGT主要集中在静态图像上，对于视频理解与生成的对齐尚未探索。改进方向可以将SGT扩展到视频分割任务，探索时空语义对齐。第五，计算开销：虽然SGT本身不需要额外的模型架构，但分割数据的训练可能增加计算开销。改进方向可以是探索更高效的训练策略或数据采样方法。

未来方向

基于论文的成果和潜在扩展，未来研究可以从多个方向展开。首先，作者提出探索一个全面的后训练管线，集成SGT对齐策略与理解数据、生成目标和强化学习框架，以实现最优的跨模态性能。其次，可以将SGT扩展到更多视觉架构，如VARGPT、Emu3等单视觉编码器架构，验证其普适性。第三，可以探索视频和3D生成领域的应用，例如将视频分割或3D场景分割作为生成代理，研究时空语义对齐或3D空间语义对齐。第四，可以研究统一的视觉和语言代理任务，例如将视觉问答也作为生成目标，探索更统一的训练范式。第五，可以探索自监督的代理任务，例如使用自监督学习获得的伪标签作为分割目标，减少对人工标注的依赖。第六，可以研究多任务联合优化，探索在同一个训练过程中同时优化多个高层语义任务（如分割、检测、深度估计）的协同效应。第七，可以研究SGT与其他对齐方法（如对比学习、对齐正则化等）的结合，探索更强大的对齐策略。

复现评估

论文的复现性评估如下。开源情况：论文在项目页面上提供了代码，这是复现性的积极因素。数据方面：论文使用了现有的数据集，包括SAM数据集（190k样本用于分割）、LLaVA-OneVision的500k监督微调样本，以及MS COCO用于代理任务评估。这些数据集大部分是公开的，但具体的处理流程和数据分割需要仔细复现。算力要求：论文在BAGEL（7B+7B参数，训练10000步约18小时）和OmniGen2（3B+4B参数，训练2500步约4小时）上进行实验，全局batch size为60。这意味着需要相当大的GPU资源，特别是对于BAGEL的训练。复现难度：中等。虽然论文提供了详细的实验配置（包括优化器参数、学习率、warmup步数等），但准确的复现需要仔细处理数据预处理、随机种子设置等细节。此外，论文提到结果是在12个独立随机种子上的平均值，这意味着需要多次运行才能获得稳定的统计结果。总的来说，对于有充足计算资源的研究团队来说，复现是可行的，但对于资源有限的小团队可能会有挑战。

统一多模态模型的语义生成调优 Semantic Generative Tuning for Unified Multimodal Models

前置知识