UniG2U-Bench：统一模型是否真正推动了多模态理解？ UniG2U-Bench: Do Unified Models Advance Multimodal Understanding?
首个系统评估「生成能否帮助理解」的统一多模态模型基准，覆盖3000样本×35模型。
前置知识
统一多模态模型 (Unified Multimodal Model, UMM)
统一多模态模型是指在单一架构中同时具备视觉理解（回答问题）和图像生成（画画）能力的模型。与传统的「理解模型 + 生成模型」管线不同，UMM 将两种能力整合进同一参数空间，通过联合训练实现。代表模型包括 Bagel、Show-o2、Janus-Pro 等。根据架构设计，可分为端到端统一模型（End-to-End，生成与理解共享参数并联合训练）、解耦统一系统（Decoupled，生成和理解由独立模块实现）和智能体统一模型（Agentic，通过工具调用实现生成与理解的协议级统一）三类。
本文的核心问题就是评估这些统一模型相比纯理解模型，生成能力的加入是否真正提升了理解性能，因此理解UMM的定义和分类是读懂全文的基础。
生成增强理解 (Generation-to-Understanding, G2U)
G2U 是本文提出的核心概念，指的是生成能力对理解任务产生的协同效应。具体来说，对于一个统一多模态模型 {UM}$，其 G2U 增益定义为 $\Delta_{G2U} = \text{Perf}(M_{UM}; D) - \text{Perf}(B(M_{UM}); D)$，其中 (M_{UM})$ 是该统一模型对应的纯判别式基座视觉语言模型。如果 $\Delta > 0$，说明生成能力帮助了理解；反之则说明生成能力干扰了理解。这个定义的关键在于严格配对统一模型与其基座VLM，从而隔离生成能力的纯贡献。
G2U 增益是贯穿全文的核心评估指标，所有实验结论都围绕这个指标的正负和变化规律展开。
直接推理 vs. 生成后回答 (Direct vs. Generate-then-Answer, GtA)
这是两种推理协议。直接推理（Direct）指模型一次性接收输入并直接输出答案，不产生中间视觉产物，形式化为 $\hat{y} = \text{Ans}(x, \emptyset)$。生成后回答（GtA）则先要求模型生成一个中间视觉产物 $（如画辅助线、追踪状态），然后将原始输入和生成的 $ 一起输入模型来得出最终答案。对于多步推理问题（如迷宫导航），GtA 采用迭代变体：交替生成第 $ 步的中间视觉状态和第 $ 步的决策，直到得出最终答案。
Direct 与 GtA 的对比是论文第二大核心实验，揭示了「显式生成中间图像」是否比「隐式利用生成训练的表征」更有效。
对齐税 (Alignment Tax)
对齐税是本文用来描述统一模型相比基座VLM性能下降现象的术语。它指的是在多模态联合训练过程中，生成目标和理解目标之间的干扰效应。即使统一模型在纯理解任务上使用直接推理（不生成中间图像），其理解性能仍然低于基座VLM，这说明性能下降不是中间图像质量差导致的，而是参数层面生成与理解耦合带来的固有代价。论文将这种现象类比为表征层面的「税收」——为了获得生成能力，模型不得不在判别推理精度上做出让步。
对齐税是论文最重要的实验发现之一，解释了为什么统一模型不一定比纯理解模型更好。
推理-视觉对齐 (RA) 与 答案-视觉对齐 (AL) 指标
这是论文提出的两个新诊断指标，用于评估 GtA 协议中中间生成图像的质量。RA（Reasoning-to-Visual Alignment）评估生成的中间图像是否正确地实现了预期的推理支架，综合考虑指令遵循度（40%）、视觉质量（30%）和任务相关性（30%）。AL（Answer-to-Visual Alignment）评估最终答案与生成的中间图像及原始问题之间的逻辑一致性，综合考虑视觉-答案一致性（50%）、问答对齐（30%）和推理连贯性（20%）。两个指标均采用 GPT-4o 在 1-5 分制上评分。
RA 和 AL 是理解 GtA 成功与失败机制的关键工具，论文通过这两个指标揭示了「高对齐保真度是 G2U 增益的必要但不充分条件」这一核心发现。
研究动机
当前统一多模态模型的研究重心在于「理解如何帮助生成」（如更好的语义理解提升图像生成质量），而「生成是否能反过来帮助理解」这一方向几乎没有被系统研究过。现有基准如 MME-Unify、Uni-MMMU、ROVER 等虽然开始评估统一模型，但存在三个根本缺陷：第一，它们主要分别评估理解和生成能力（「能回答吗？」和「能画画吗？」是独立测试的），而不考察生成能力是否积极促进了理解过程；第二，样本量和任务覆盖有限（MME-Unify 有 1964 理解样本覆盖 3 个子任务，ROVER 仅 404 样本覆盖 6 个子任务），无法进行细粒度的认知类别分析；第三，没有严格将统一模型与其基座VLM配对比较，无法隔离生成能力的纯贡献，结果受模型规模和骨干网络差异等混淆变量影响。在几何推理、空间布局重建、谜题游戏等复杂场景中，有效的理解往往不能简化为语言抽象，必须通过视觉生成来实现推理——但目前没有基准来系统验证这一假设。
本文的目标是本文的具体目标是构建一个大规模、系统化的诊断基准（UniG2U-Bench），用于回答以下四个研究问题：（1）统一多模态模型是否比其严格配对的基座VLM在理解任务上表现更好？（2）在复杂推理任务中，显式的视觉外部化（GtA协议）是否优于直接推理？（3）不同架构类别的统一模型是否表现出可预测的、类别一致的行为模式？（4）GtA协议中生成的中间图像是否忠实于推理意图，并真正有助于下游推理？论文希望通过覆盖 7 个认知类别、30 个细粒度子任务、3000 个精心筛选的样本，以及对 35 个模型（11 个基座VLM + 21 个统一模型 + 3 个智能体模型）的全面评测，为「生成何时以及如何帮助理解」提供首个系统性的实证答案。
与已有工作不同的是，本文的独特切入角度在于：它不是简单地增加评测规模，而是首次提出了严格配对比较框架和「G2U增益」这一隔离指标。与现有工作的关键区别是：第一，论文严格将每个统一模型与其基座VLM在相同数据集、相同提示模板、相同推理预算下配对评测，从而干净地隔离生成能力的纯贡献，消除了模型规模和骨干网络差异的混淆效应；第二，论文设计了 Direct 和 GtA 两种推理协议的对比实验，将 G2U 增益进一步分解为 $\Delta_{\text{Direct}}$（隐式生成表征的贡献）和 $\Delta_{\text{GtA}}$（显式中间图像生成的贡献），从而精确诊断性能变化的来源；第三，论文提出了 RA 和 AL 两个新指标来机械性地分析 GtA 中间图像的质量与下游性能的关系。这种从「现象描述」到「机制诊断」的研究范式，是之前所有统一模型基准所不具备的。
核心方法
UniG2U-Bench 的整体设计思路可以用一个类比来理解：假设你要评估「学会画画是否能帮助一个人更好地理解几何题」。传统做法是分别测试这个人「理解能力多强」和「画功多好」，但 UniG2U 的做法是：找一个只会理解不会画的人（基座VLM），和一个既会理解又会画的人（统一模型），在完全相同的题目上比较他们的理解成绩，从而判断「学画画」这件事本身是否提升了理解能力。更进一步，对于那些既会理解又会画的人，还让他们在做题时选择「先画再答」（GtA）和「直接答」（Direct）两种模式，看显式画图是否比隐式利用画画训练带来的表征更有帮助。技术路线上，论文构建了包含 3000 个样本、7 大认知类别、30 个子任务的数据集，覆盖真实应用、几何推理、物理推理、谜题游戏、图表推理、空间智能和感知推理七大领域，每个样本标注任务类别、答案类型和生成需求标签。评测在统一的 lmms-eval 框架下执行，采用贪心解码（温度=0，top-p=1.0），严格控制推理预算。
本文最核心的创新不是提出新模型，而是提出了一个严谨的评测范式——严格配对比较与增益分解。具体来说，对于每个统一模型 {UM}$，论文严格找到其对应的纯判别式基座VLM (M_{UM})$，在完全相同的条件下评测两者的理解性能，定义 $\Delta_{\text{Direct}} = \text{Acc}_{\text{Direct}}^{M_{UM}} - \text{Acc}_{B(M_{UM})}$ 来捕获隐式统一训练带来的能力变化，定义 $\Delta_{\text{GtA}} = \text{Acc}_{\text{GtA}}^{M_{UM}} - \text{Acc}_{\text{Direct}}^{M_{UM}}$ 来隔离显式中间图像生成的贡献。这种双层分解使得论文能够精确区分「统一训练本身的效应」和「显式生成中间图像的效应」。此外，论文首次引入了 RA 和 AL 两个对齐诊断指标，从机制层面解释 GtA 成功或失败的原因。与 MME-Unify、RealUnify、Uni-MMMU 等已有基准相比，UniG2U 的独特之处在于：样本量最大（3000 vs. 最多 1964）、任务覆盖最广（30 子任务 vs. 最多 6）、模型覆盖最全面（35 个模型），以及首次实现了严格的基座-统一模型配对比较和增益分解。
方法步骤详情
方法包含四个主要步骤。第一步，数据集构建：从多个公开数据源（IllusionBench、MMSI-Bench、Visual Puzzles、Geometry3K、AuxSolidMath、Uni-MMMU、ChartQA、RealUnify、BabyVision、PhyX、VSP 等）收集候选样本，按照两条设计原则筛选——类别应反映不同的底层认知结构，且所有类别理论上应具有 G2U 协同潜力。最终筛选出 3000 个样本，分布在 7 大类别中：真实应用（200样本）、几何推理（200样本）、物理推理（200样本）、谜题游戏（537样本）、图表推理（100样本）、空间智能（500样本）、感知推理（1263样本）。每个样本标注类别/子任务标签、答案类型和生成需求标签。第二步，模型选择与配对：确定 11 个基座VLM（如 Qwen2.5-VL-7B、Qwen3-VL-8B、llava-onevision 等）和 21 个统一模型（如 Bagel、Show-o2、OmniGen2、OneCAT-3B 等），以及 3 个智能体模型（GPT-4o + GPT-image、Gemini Pro + Nano Banana Pro、Qwen2.5-7B + Qwen-edit）。每个统一模型都明确标注其对应的基座VLM（见论文 Table 3 的 Backbone 列）。第三步，双协议评测：在统一环境下对所有模型执行 Direct 和 GtA 两种推理协议的评测。Direct 协议下模型直接输出最终答案；GtA 协议下模型先生成中间视觉产物 $，再基于原始输入和 $ 生成最终答案。对于多步推理问题，GtA 采用迭代变体。第四步，分析与诊断：计算 G2U 增益（整体和逐子任务）、RA/AL 对齐指标、以及任务级和模型级的相关性分析（Spearman 相关系数），系统回答四个研究问题。
技术新颖性
UniG2U 的技术新颖性体现在三个层面。第一，评测范式的新颖性：这是首个提出「严格配对比较」的统一模型基准。此前所有基准（MME-Unify、RealUnify、Uni-MMMU、ROVER、UEval）要么分别评测理解和生成，要么在评测协同效应时没有严格控制基座模型变量。UniG2U 通过强制统一模型与其基座VLM的配对比较，首次实现了生成能力纯贡献的干净隔离。第二，分析框架的新颖性：论文首次将 G2U 增益分解为 $\Delta_{\text{Direct}}$ 和 $\Delta_{\text{GtA}}$ 两个分量，前者捕获统一训练的隐式效应，后者捕获显式生成的贡献。这种分解揭示了一个关键洞察——Direct 模式下统一模型的性能下降不是因为中间图像质量差，而是参数层面生成与理解耦合的固有代价（对齐税）。第三，诊断工具的新颖性：RA 和 AL 两个指标首次实现了对 GtA 中间图像质量的结构化评估，将图像质量与下游性能关联起来，揭示了「高对齐保真度是必要但不充分条件」的机制。此外，论文的分类学（Taxonomy）也具有新颖性，将统一模型分为端到端（E2E）、解耦（Decoupled）和智能体（Agentic）三类，并指出智能体模型可视为广义统一模型。
实验结果
论文通过对 35 个模型在 3000 个样本上的全面评测，得出三个核心发现。第一，整体性能下降：统一模型在大多数任务上不如同等条件下的基座VLM。以 Qwen2.5-VL-7B 为基座的模型组为例，基座VLM 整体准确率为 34.45%，而 OmniGen2（Direct）为 31.99%（$\Delta = -2.46$），OmniGen2（GtA）为 31.87%（$\Delta = -2.58$），OneCAT-3B（Direct）为 31.15%（$\Delta = -3.30$），OneCAT-3B（GtA）仅为 28.80%（$\Delta = -5.65$）。这种下降在 Direct 模式下就已存在（即不生成中间图像时），说明这是「对齐税」——联合训练目标的干扰，而非中间图像质量问题。第二，GtA 协议在大多数逻辑密集型任务上反而降低性能，但在空间推理等转换密集型任务上带来显著提升。GtA 的整体表现通常低于 Direct：如 Bagel（Direct 35.84% vs. GtA 36.10%，仅微增）、Show-o2（Direct 31.59% vs. GtA 26.59%，显著下降 4.00%）、OneCAT-3B（Direct 31.15% vs. GtA 28.80%，下降 2.35%）。但在多步空间推理（MSR）子任务上，GtA 一致带来提升：OmniGen2 从 22.0% 升至 29.0%，Ovis-U1 从 12.0% 升至 27.0%，MIO 从 21.0% 升至 32.0%。在迷宫导航和滑块拼图等任务上，Bagel 的 GtA 也显著优于 Direct（迷宫从 2.1% 到 28.1%，滑块从 0.9% 到 19.5%）。第三，G2U 增益呈现结构化的任务级和模型级相关性。任务级上，感知导向任务（如细粒度识别）和推理导向任务（如几何推理、拼图）各自内部正相关，但相互之间负相关，揭示了一个根本性的认知权衡。模型级上，共享相同基座VLM的统一模型展现出极强的行为相关性（如所有基于 Qwen2.5-VL 的模型），而仅共享生成架构的模型（如都是自回归或都是扩散模型）相关性较弱，说明预训练数据的表征先验对 G2U 行为的塑造力远强于生成架构本身。此外，智能体模型的表现揭示了上界：Gemini Pro + Nano Banana Pro 达到 60.80% 的整体准确率，远超所有原生统一模型，但也说明当前统一模型与「外部工具增强」的差距巨大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体理解（Qwen2.5-VL-7B 系列） | 整体准确率 (%) | Bagel (GtA): 36.10 | Qwen2.5-VL-7B 基座: 34.45 | +1.65（唯一实现正G2U增益的模型） |
| 整体理解（Qwen3-VL-8B 系列） | 整体准确率 (%) | MammothModa2 (Direct): 29.97 | Qwen3-VL-8B 基座: 37.75 | -7.78（对齐税最严重的案例之一） |
| 空间智能（多步空间推理 MSR） | MSR 准确率 (%) | OmniGen2 (GtA): 29.0 | OmniGen2 (Direct): 22.0 | +7.0（GtA 在转换密集型任务上的典型增益） |
| 智能体模型上界 | 整体准确率 (%) | Gemini Pro + Nano Banana Pro: 60.80 | GPT-4o 纯理解: 38.96 | +21.84（外部工具增强的巨大优势） |
| GtA 中间图像质量 | RA/AL (满分5分) | GPT-4o + GPT-image: RA 3.73 / AL 4.09 | 原生统一模型平均: RA 约2.0-2.9 / AL 约2.8-3.6 | RA 提升约1.0-1.7分，AL 提升约0.5-1.3分 |
局限与改进
论文存在以下局限性。首先，作者承认样本量的限制：虽然 3000 个样本已是同类基准中最大的，但每个细粒度子任务的样本量相对有限（最少的图表推理仅 100 个样本），部分子任务的统计结论可靠性可能不足。这是由于真正具有 G2U 协同潜力的任务在现有数据集中本质上稀缺所致。其次，评测环境的差异：虽然论文尽可能在 lmms-eval 统一框架下评测，但对于不兼容的模型和专有模型，仍需回退到各自的原生评测栈，这可能引入实现层面的偏差。第三，RA 和 AL 指标的评估依赖 GPT-4o 作为评审，存在 LLM-as-judge 的固有偏差和可重复性问题。第四，论文主要关注图像生成作为中间推理媒介，未充分探索文本生成、结构化输出或其他模态的中间产物对理解的帮助。第五，论文的基座模型配对依赖于模型作者的公开信息或架构相似性推断，部分配对可能不够严格（当统一模型没有官方对应的VLM基座时，选择训练数据和架构最接近的VLM作为基线）。此外，论文未深入探讨模型规模对 G2U 效应的影响——当统一模型和基座VLM的参数量差异较大时，G2U 增益的解释可能受到规模因素的干扰。
独立分析的弱点
论文存在以下值得深入分析的弱点。第一，任务设计的偏差：论文的 7 大类别中，感知推理（Perception Reasoning）占了 1263 个样本（42.1%），而其他类别仅 100-537 个样本。这种不平衡可能导致整体结论偏向感知任务的特性——由于感知任务本身不太依赖生成，整体 G2U 增益倾向于负面，可能掩盖了生成在其他任务上的潜力。改进方向是均衡各认知类别的样本量，或对整体结果进行加权平均。第二，GtA 协议的公平性问题：GtA 协议要求模型先生成图像再回答，这比 Direct 多了一次前向传播和图像生成，虽然论文声称「匹配推理预算」，但图像生成本身的计算开销（特别是扩散模型）可能远高于纯文本生成，导致 GtA 在算力受限场景下不具实际可比性。改进方向是明确报告两种协议的 FLOPs 或推理时间差异。第三，智能体模型的评测不够对齐：智能体模型（如 GPT-4o + GPT-image）使用了闭源的强大模型作为组件，与开源统一模型的比较不在同一基准线上。论文虽然承认这一点，但 60.80% vs. 36.10% 的差距可能误导读者认为「管线方案远优于端到端方案」，而忽略了成本和延迟的差异。改进方向是增加成本归一化的比较（如每美元/每秒的准确率）。第四，相关性分析缺乏因果解释：论文的 Spearman 相关性分析揭示了任务级和模型级的模式，但相关性不等于因果性。共享基座VLM的模型行为高度相关，可能仅仅是因为它们继承了相同的弱点，而非因为「表征先验主导了G2U行为」。改进方向是引入因果干预实验（如微调特定层或替换特定模块）。
未来方向
论文在结论部分提出了几个未来研究方向，结合其发现可进一步延伸。作者提出的方向包括：（1）表征层面对齐目标——在统一训练中显式地优化生成表征与理解表征的对齐，而不仅仅依赖隐式的联合训练；（2）可靠性感知或自验证的中间生成——让模型在生成中间图像后能够自我评估其质量，丢弃不准确的中间产物，避免错误传播；（3）闭环智能体精炼——通过多轮迭代和反馈来改进中间生成的质量，而非当前的单次生成范式。基于论文的发现可延伸的方向包括：（4）探索文本或结构化中间产物的作用——论文发现视觉中间产物在感知任务上是冗余的，但在空间推理上有帮助，那么文本形式的中间推理（如自然语言描述变换步骤）是否在某些场景更有效？（5）G2U 效应的缩放定律——随着模型规模增大，对齐税是加剧还是缓解？统一训练的收益是否在更大规模模型上更明显？（6）设计面向 G2U 的训练数据——论文发现当前预训练数据中的 G2U 友好任务稀缺，专门构造此类数据可能释放统一模型的潜力。
复现评估
论文的复现条件较为开放。数据集方面，论文使用的所有数据源均为公开数据集（IllusionBench、MMSI-Bench、Geometry3K、ChartQA 等），论文提供了数据筛选和标注的详细流程（Section 4.1），并提供了项目主页 https://nssmd.github.io/unig2u.github.io/。评测框架方面，论文主要依赖开源的 lmms-eval 框架，且统一使用贪心解码（温度=0，top-p=1.0），复现门槛较低。模型方面，21 个统一模型中大部分为开源模型（如 Bagel、Show-o2、OmniGen2、Janus-Pro 等），但 3 个智能体模型中 GPT-4o + GPT-image 和 Gemini Pro + Nano Banana Pro 依赖闭源 API，无法完全复现。RA 和 AL 指标的评估依赖 GPT-4o API 调用，需要相应的 API 额度。算力方面，评测 35 个模型在 3000 个样本上的完整实验需要大量 GPU 资源（特别是扩散类模型的推理），但可以先从子集（如单个模型家族）开始复现。总体而言，论文的开源程度较好，核心实验（原生统一模型的 Direct 和 GtA 评测）可在中等规模算力条件下复现。
论文图表
