通过多表示生成增强统一多模态模型的理解能力 Generation Enhances Understanding in Unified Multimodal Models via Multi-Representation Generation
训练UMM同时生成深度图和分割图，反向提升视觉理解能力
前置知识
统一多模态模型（UMM）
统一多模态模型是指在单一架构中同时集成视觉理解和视觉生成能力的模型。与传统的单一任务模型不同，UMM可以同时处理视觉问答等理解任务和文本到图像生成任务。根据生成范式可分为三类：纯自回归（AR）模型如Show-o使用VQ-VAE将图像编码为离散token；自回归+掩码自回归（AR+MAR）模型如Harmon利用掩码重建学习语义；自回归+扩散（AR+Diffusion）模型如OpenUni用扩散模型作为生成器。UMM的核心愿景是理解与生成能力相互增强。
本文研究的对象就是UMM，理解UMM的架构和工作原理是理解本文方法的前提。
后训练（Post-training）
后训练是指在模型完成预训练之后，通过特定的微调策略进一步提升模型某些能力的训练阶段。对于UMM，后训练可以在不改变模型架构的前提下，针对性地增强生成或理解能力。典型的方法包括RecA（利用理解表征指导重建）和SRUM（自奖励训练）。后训练通常比从头训练成本低得多，本文方法也属于后训练范式。
本文提出的方法UniMRG就是一种后训练方法，理解后训练的概念有助于评估该方法的实际可行性和成本。
内在视觉表示（Intrinsic Visual Representations）
内在视觉表示是指图像中除了RGB像素外观之外，能够描述场景本质属性的表示形式。深度图（Depth Map）编码了场景的几何信息和相对距离关系，每个像素值表示该点到相机的距离；分割图（Segmentation Map）则编码了物体边界和区域划分的结构信息。这些表示捕捉的是场景的内在因素（intrinsic factors），不会随光照、纹理等外观变化而改变。
本文的核心创新就是让UMM学习生成这些内在视觉表示来增强理解能力，理解这些表示的含义是理解本文方法的关键。
Depth Anything V2 与 SAM
Depth Anything V2是一个强大的单目深度估计模型，使用ViT-Large编码器，能够从单张RGB图像预测逐像素的深度值，输出归一化到[0,255]范围的深度图。SAM（Segment Anything Model）是Meta提出的通用分割模型，使用ViT-H骨干网络，通过自动掩码生成器在32×32网格上采样1024个点提示，基于预测IoU阈值（0.88）和稳定性分数阈值（0.95）过滤候选掩码。这两个模型在本文中被用作生成深度和分割监督信号的工具。
本文使用这两个模型自动生成训练目标（ground truth），理解它们的工作方式有助于评估训练数据的质量和方法的可复现性。
VQ-VAE（向量量化变分自编码器）
VQ-VAE是一种将连续图像表示映射到离散token空间的模型。它通过一个包含有限码本（codebook）的量化层，将编码器输出的连续特征向量映射到最近的码本向量，从而得到离散的token序列。码本大小限制了模型的表达能力——例如Show-o使用4096个token的码本，这意味着图像信息被压缩到仅4096个可能的值中。较小的码本可能导致信息瓶颈，限制模型同时生成多种表示的能力。
本文发现Show-o由于VQ码本过小（4096 token），导致UniMRG效果有限，理解VQ-VAE有助于理解这个局限性。
研究动机
统一多模态模型（UMM）的一个核心愿景是理解和生成能力可以相互增强。近期工作如RecA利用UMM自身的理解编码器提取丰富的语义信息来指导图像重建，显著提升了生成能力；SRUM则利用UMM的理解能力对生成图像进行评分，实现自奖励训练。这些工作都聚焦于「理解→生成」的方向。然而，反向的「生成→理解」这条路径却几乎没有被探索过。具体来说，当要求现成的UMM生成深度图或分割图时，模型往往输出的是类似RGB重建的结果，而非结构化的内在表示。以Harmon-1.5B为例，在空间理解任务VSR上得分仅60.88，在幻觉检测HallusionBench上仅46.69，说明模型缺乏对场景几何和结构的深入理解。
本文的目标是本文的目标是探索一条被忽视的路径：能否通过增强UMM的生成能力来反向提升其理解能力？具体而言，作者希望通过训练UMM生成多种内在视觉表示（像素重建、深度图、分割图），使其在理解任务上实现可量化的提升，包括细粒度感知（MMVP提升3+分）、幻觉减少（HallusionBench提升3+分）和空间理解（VSR提升7+分），同时不损害生成能力。
与已有工作不同的是，本文的独特切入角度在于：之前的工作都将生成视为需要被增强的目标，而本文反其道而行之，将生成作为增强理解的手段。作者观察到一个关键现象：当UMM无法生成合理的深度图时，它在空间理解任务上也表现不佳；而当通过训练使其能够生成连贯的深度图后，空间理解能力也随之提升。这说明生成内在表示的过程迫使模型内化（internalize）了几何和结构规律，这些规律随后迁移到了理解任务中。这种「通过创造来理解」的思想呼应了费曼的名言：「我不能创造的东西，我就不理解。」
核心方法
UniMRG的核心直觉可以用一个类比来理解：如果你想真正理解一幅画中的空间关系，光看它是不够的——你需要能够画出它的深度图和物体轮廓。就像一个美术学生通过学习素描和透视来加深对场景的理解一样，UMM通过学习生成深度图和分割图来内化场景的几何和结构规律。技术路线上，UniMRG是一种架构无关的后训练方法，它在标准的视觉理解训练基础上，额外引入三个生成任务：图像重建（像素级）、深度图生成（几何级）和分割图生成（结构级）。四个任务同时训练，共享同一个理解编码器提取的视觉特征，损失函数为四个任务损失的简单加权求和（权重均为1）。
UniMRG与已有方法最本质的区别在于方向的逆转：RecA等方法用理解增强生成，而UniMRG用生成增强理解。更具体地说，已有方法只关注像素级重建（如RecA），而像素级监督主要约束的是纹理和颜色，对内在因素如几何和结构的约束很弱。UniMRG引入了深度和分割这两种内在视觉表示作为额外的生成目标。深度图直接编码几何和相对距离关系，有助于空间推理（如前后、远近）；分割图则提供物体边界的结构先验，有助于解耦实体、减少幻觉中的错误属性绑定。通过合成这些互补的表示，UMM能够捕捉外观、空间关系和结构布局等多维度信息，从而实现更深入、更全面的视觉理解。
方法步骤详情
UniMRG的训练流程包含四个并行任务。首先，输入图像通过UMM的视觉理解编码器提取视觉嵌入h。然后，对于每个任务，模型接收不同的提示（prompt）和目标：（1）图像重建任务：提示为"Generate original image for the input image"，目标为原始图像$I_{pixel}$，使用扩散损失或交叉熵损失，目的是增强生成能力；（2）深度图生成任务：提示为"Generate depth map for the input image"，目标为使用Depth Anything V2预处理的深度图$I_{depth}$，目的是学习几何线索和空间关系；（3）分割图生成任务：提示为"Generate segmentation map for the input image"，目标为使用SAM自动掩码生成器预处理的分割图$I_{seg}$，目的是学习结构线索和区域划分；（4）视觉理解任务：使用标准的视觉语言问答对，目的是保持理解能力。总损失为四项损失的加权和：$\mathcal{L}_{total} = \lambda_{pixel}\mathcal{L}_{pixel} + \lambda_{depth}\mathcal{L}_{depth} + \lambda_{seg}\mathcal{L}_{seg} + \lambda_{und}\mathcal{L}_{und}$，实验中所有权重均设为1。训练时，VQ-VAE和文本编码器/解码器被冻结；对于共享编码器的UMM（如Harmon），理解编码器会被更新，否则冻结。推理时，UniMRG与标准UMM完全相同，无需额外的架构修改或计算开销。
技术新颖性
UniMRG的技术新颖性体现在三个层面。首先，方向新颖：这是首个系统性地探索用生成增强理解的工作，而之前的工作都聚焦于理解增强生成。其次，目标新颖：与之前只关注像素重建的方法不同，UniMRG引入了深度和分割这两种内在视觉表示，它们分别捕捉几何和结构信息，是对像素级外观信息的有力补充。第三，方法简洁有效：UniMRG不需要任何架构修改，只是在训练时增加了两个生成目标，使用现成的Depth Anything V2和SAM生成监督信号，推理时完全没有额外开销。与SpatialRGPT和DepthVLA等需要额外模块来注入深度线索的方法相比，UniMRG更加轻量和通用。
实验结果
UniMRG在三个不同的UMM架构上进行了广泛的实验验证，结果令人印象深刻。在理解能力方面，OpenUni-3.6B经过UniMRG后训练后，MMVP（细粒度感知）从71.67提升到74.67（+3.00），HallusionBench（幻觉检测）从60.88提升到64.56（+3.68），VSR（空间理解）从66.69大幅跃升到73.90（+7.21）。Harmon-1.5B的提升更为显著，VSR从60.88提升到61.21，RWQA从46.67提升到51.90（+5.23），GenEval从71.37提升到85.26（+13.89）。在生成能力方面，UniMRG不仅没有损害生成质量，反而有所提升：Harmon的GenEval从71.37提升到85.26，OpenUni从61.13提升到68.00。值得注意的是，单纯使用SFT（只训练理解任务）会导致生成能力灾难性下降——Harmon的GenEval从71.37暴跌到0.30，DPGBench从80.52暴跌到2.85。消融实验表明，逐步添加深度和分割表示生成后，理解能力持续提升，且不损害生成能力。在OOD泛化实验中，UniMRG在MidjourneyV6合成图像上的深度生成质量也显著提升，Harmon从0.623提升到0.822，OpenUni从0.617提升到0.834，证明模型学到了真正的内在表示规律而非过拟合训练分布。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 细粒度感知（MMVP） | 准确率 | 74.67（OpenUni）、62.67（Harmon）、51.33（Show-o） | 71.67、60.00、50.00 | +3.00、+2.67、+1.33 |
| 幻觉检测（HallusionBench） | 准确率 | 64.56（OpenUni）、49.32（Harmon）、47.00（Show-o） | 60.88、46.69、46.06 | +3.68、+2.63、+0.94 |
| 空间理解（VSR） | 准确率 | 73.90（OpenUni）、61.21（Harmon）、54.42（Show-o） | 66.69、60.88、54.26 | +7.21、+0.33、+0.16 |
| 空间理解（RealWorldQA） | 准确率 | 66.01（OpenUni）、51.90（Harmon）、39.87（Show-o） | 65.23、46.67、38.17 | +0.78、+5.23、+1.70 |
| 图像生成（GenEval） | Overall Score | 85.26（Harmon）、68.00（OpenUni）、71.40（Show-o） | 71.37、61.13、67.32 | +13.89、+6.87、+4.08 |
| 图像生成（DPGBench） | Score | 85.27（Harmon）、81.78（OpenUni）、84.55（Show-o） | 80.52、79.41、81.94 | +4.75、+2.37、+2.61 |
局限与改进
尽管UniMRG取得了显著的成果，但仍存在若干局限性。首先，Show-o（1.3B参数）由于使用VQ码本仅含4096个token，表达能力有限，在UniMRG训练后理解能力提升很小（MMVP仅+1.33，VSR仅+0.16），深度和分割图生成甚至输出纯黑色。这说明当生成表示空间受限时，UniMRG的效果会受到瓶颈限制。其次，训练数据使用的是LLaVA Mix-665K和LLaVA-Next-Data这两个理解数据集，以及Depth Anything V2和SAM自动生成的监督信号，这些自动生成的标签可能存在噪声，特别是在复杂场景中。第三，论文只在1.3B-3.6B规模的模型上进行了验证，未探索更大规模模型上的效果。第四，作者自己也承认，增强生成能力可能增加图像生成被滥用的风险（如创建欺骗性内容），需要配合内容过滤等安全措施。第五，目前只探索了深度和分割两种内在表示，其他表示如姿态、边缘、法线图等的效果未知。
独立分析的弱点
从独立分析的角度看，UniMRG存在几个值得关注的弱点。第一，内在表示的选择是手工指定的（深度和分割），缺乏自动化选择机制。不同任务可能需要不同的表示——例如，医学影像可能更需要边缘检测，而自动驾驶可能更关注光流。改进方向可以是设计一个自适应的表示选择模块，根据下游任务自动选择最有帮助的内在表示。第二，所有生成任务使用相同的权重（均为1），但实际上不同任务对理解的贡献可能不同。可以考虑引入课程学习或自适应权重调整策略，让模型在不同训练阶段关注不同的表示。第三，Depth Anything V2和SAM生成的监督信号是单模型预测的结果，可能存在系统性偏差。可以考虑集成多个深度/分割模型的预测，或使用置信度加权的多教师蒸馏。第四，论文没有探索生成质量与理解提升之间的定量关系——是否生成的深度图越准确，理解能力提升越大？这种因果关系的验证有助于更好地理解方法的工作机制。
未来方向
作者在结论中提到，未来将探索更多内在表示（如姿态、素描）以及扩展到视频场景。基于本文的成果，还有几个值得延伸的方向：首先，可以探索UniMRG在更大规模模型（如7B、13B）上的效果，特别是对于使用更大VQ码本的模型，瓶颈问题是否会缓解。其次，可以研究UniMRG与其他后训练方法（如RecA、SRUM）的组合效果——理解增强生成和生成增强理解是否可以形成正向循环。第三，可以将UniMRG扩展到多模态生成任务，如文本到图像生成中同时生成深度和分割图，可能会提升生成图像的结构一致性。第四，可以探索更高效的训练策略，如只在特定层或特定token上施加生成损失，减少训练开销。
复现评估
从复现角度来看，UniMRG具有很高的可复现性。首先，代码和模型架构都是基于已有的开源UMM实现（Show-o、Harmon、OpenUni），无需从头实现。其次，训练数据使用的是公开的LLaVA Mix-665K和LLaVA-Next-Data数据集。第三，深度和分割监督信号使用的是开源的Depth Anything V2和SAM模型自动标注，无需人工标注。第四，训练资源需求相对较低：OpenUni约3小时（8张H20 GPU），Harmon约5小时，Show-o约8小时，这对于大多数研究团队来说是可接受的。第五，论文提供了详细的超参数配置（学习率、batch size、训练步数等）和提示模板。主要的复现挑战在于需要获取基础UMM的预训练权重，以及H20 GPU的可用性（但其他类型的GPU也可以）。总体而言，这是一篇复现难度较低的论文。
论文图表
展示了现成UMM（Harmon-1.5B）和经过UniMRG后训练的UMM在深度图和分割图生成上的对比。基线模型生成的深度/分割图看起来像RGB重建，而UniMRG后训练后能生成语义正确的深度图和分割图。
这张图直观地展示了本文的核心问题：现成UMM无法生成合理的内在视觉表示，以及UniMRG如何解决这个问题。
展示了深度图生成训练如何提升空间理解能力的具体案例。上半部分：基线UMM无法生成合理的深度图，在空间理解问题"Which are closer, the apples or the flowers?"上回答错误。下半部分：经过image-to-depth训练后，UMM能生成连贯的深度图，并正确回答空间理解问题。
这张图是理解本文核心思想的关键——通过生成来增强理解，给出了具体的正面和负面案例。