量化统一多模态模型中理解与生成之间的鸿沟 Quantifying the Gap between Understanding and Generation within Unified Multimodal Models
提出GAPEVAL双向基准，揭示当前统一多模态模型仅实现表面统一而非深层认知融合
前置知识
统一多模态模型 (Unified Multimodal Models, UMMs)
统一多模态模型是指在单一模型架构中同时具备视觉理解（给定图像和文本输入，生成文本回答）和视觉生成（给定文本描述，生成图像输出）两种能力的模型。近年来涌现了多种架构路线：早期融合的token级Transformer（如Chameleon、UniPic）、LLM+Diffusion混合架构（如BLIP-3o、UniWorld）、自回归+离散扩散混合（如Show-o）、Mixture-of-Experts（如OneCAT）、Mixture-of-Transformers（如Bagel）等。这些模型的核心理念是让理解和生成共享同一套内部表征，从而实现跨模态的知识复用和能力互补。
本文的核心研究对象就是UMMs，理解什么是UMMs及其不同架构路线是理解全文实验设计和结论的前提
双向评估 (Bidirectional Evaluation)
传统评估基准要么只测理解（如MMMU、MMBench），要么只测生成（如GenEval、DPG-Bench），每个问题只有一个方向的答题方式。双向评估的核心设计是：同一道题目既可以文本回答（理解任务），也可以生成图像回答（生成任务），两个方向共享相同的语义意图和知识要求。这种对称设计使得我们可以直接比较同一个模型在两种模态下对同一知识的掌握程度，从而量化模态间的一致性。
GAPEVAL的核心创新就是双向评估设计，理解这一概念才能明白为什么现有基准无法发现UMMs的模态鸿沟问题
多维项目反应理论 (Multidimensional Item Response Theory, MIRT)
MIRT是经典项目反应理论（IRT）的多维扩展，源自心理测量学。传统评估指标（如平均准确率）隐含假设所有题目难度相同，这会导致对模型能力的误判。MIRT为每个模型赋予一个潜在能力向量 $\theta_i$（本文是二维：理解和生成），为每道题目赋予难度参数 $\beta$，通过sigmoid函数将能力与难度的差值映射为成功概率：$P = \sigma(\theta - \beta)$。通过贝叶斯MAP优化同时估计所有参数，MIRT能自动区分「模型能力不足」和「题目太难」两种失败原因，并在连续空间中敏感地捕捉不同模型和题目之间的细微差异。
本文提出的Gap Score指标基于MIRT框架，这是量化理解-生成鸿沟的数学基础，不理解MIRT就无法理解Gap Score的计算原理和优势
知识操纵实验 (Knowledge Manipulation Experiments)
知识操纵是一种探针实验方法，通过在模型的一个模态上注入新知识或编辑已有知识，然后在两个模态上同时评估，来检验知识是否在模态间共享。具体包括两种操作：知识注入（Knowledge Injection），即向模型引入它原本不知道的实体（如某个小众地标），看新知识是否能跨模态传播；知识编辑（Knowledge Editing），即修改模型已有的知识关联（如把微波炉改成电饭煲），看修改是否在两个模态间同步生效。如果知识是共享的，在一侧的修改应该在另一侧也能观察到效果变化。
这是本文探究UMMs模态鸿沟深层机制的核心实验手段，实验结果直接支撑了「UMMs内部知识是解耦的」这一关键结论
研究动机
当前统一多模态模型（UMMs）在理解和生成两个方向上都取得了令人瞩目的性能，但一个根本性问题始终未被回答：理解和生成是真正融合在一起，还是仅仅在工程层面共存于同一个模型中？现有评估框架无法有效诊断这一问题。具体来说，大多数基准如MMMU（11,550题）、MMBench（3,217题）、GenEval（553题）都是单方向的——要么只测理解，要么只测生成，完全忽略了两个能力之间的协同关系。即便是较新的统一评估框架如UniEval和MME-Unify，虽然覆盖了两种能力，但仍然没有评估模型是否能在同一道题上同时以文本和图像两种方式正确作答。更近的RealUnify和GIR-Bench虽然开始关注跨任务协同，但其设计仍然是任务绑定的，无法显式地量化理解和生成之间的性能差距。这种评估缺失导致我们无法判断：一个在理解任务上得分95%、生成任务上得分60%的模型，与一个两项都得75%的模型，哪个才是真正「统一」的。
本文的目标是本文的具体目标是：第一，构建一个高质量的双向评估基准GAPEVAL，包含646道精心标注的题目，每道题都可以通过文本理解和图像生成两种方式作答，涵盖指令遵循、数值感知、世界知识和推理四大类；第二，提出一个基于多维项目反应理论（MIRT）的Gap Score指标，能够将模型能力不足和题目难度两个因素解耦，给出一个0到100之间的、可解释的理解-生成鸿沟分数；第三，通过对9个UMMs和6个非UMMs的全面实验，量化当前模型的模态一致性程度；第四，通过知识操纵实验（注入和编辑）深入探究鸿沟背后的机制。
与已有工作不同的是，本文的独特切入角度在于抓住了一个被现有工作忽视的核心观察：「性能」和「统一程度」是两个独立的维度。具体而言，作者发现了一个反直觉的现象——更高的性能并不意味着更强的统一性。例如OneCAT虽然在多个任务上整体表现不如Bagel，但其Gap Score更小，说明模态整合反而更好。又如OmniGen2以FLUX.1-dev为扩散骨干构建，但在生成任务上的表现竟然不如FLUX.1-dev本身，说明统一架构在某些情况下反而会稀释单一能力。这种「性能好 ≠ 统一好」的发现，以及从知识操纵角度探究鸿沟机制的方法，是此前工作从未系统揭示的。作者还发现了一个「性能滞后效应」：低能力模型因为两种模态都失败所以差距小，中等能力模型差距反而最大，高能力模型差距又开始缩小——这揭示了模态间能力发展的非同步性。
核心方法
GAPEVAL的核心思路可以用一个类比来理解：想象一个翻译官，既能听中文说英文（理解），也能听英文说中文（生成）。传统测试只测一个方向，所以你不知道这个翻译官是真正的双语者，还是只是两个单语翻译的拼凑。GAPEVAL的做法是：给翻译官同一句话，让他先用一种语言理解并回答，再用另一种语言表达，然后比较两次回答的一致性。技术路线上，GAPEVAL首先构建646道双向题目（每题都有文本答案和图像答案两种ground truth），然后让UMMs分别以理解和生成两种方式作答，使用GPT-5-mini作为评判模型打分（二元正确/错误），最后通过MIRT框架将原始准确率转化为考虑题目难度的能力估计，并计算Gap Score。整个流程分为两个阶段：第一阶段是能力测量（每题独立评判正确性），第二阶段是能力差距量化（MIRT联合建模）。
GAPEVAL最核心的创新是双向对称评估设计加上MIRT-based Gap Score。与已有方法的本质区别在于：第一，现有基准的每道题只有一个答题方向，而GAPEVAL的每道题都有语义等价的文本版和图像版，这使得直接比较同一模型在同一知识上的双向表现成为可能；第二，现有统一评估框架使用简单的平均准确率作为指标，这隐含假设所有题目难度相同，当模型在两个模态上都答错某题时，你无法判断是模型不行还是题目太难。MIRT通过引入潜在变量（模型能力和题目难度）并用sigmoid函数建模成功概率，自动将两种因素解耦。更具体地说，MIRT为每个模型 $i$ 赋予二维能力向量 $\theta_i = (\theta_i^{\text{text}}, \theta_i^{\text{image}})$，为每道题 $j$ 赋予难度参数 $\beta_j$，通过MAP优化学习所有参数，最终的Gap Score定义为 $G = \sigma(\theta^{\text{text}}) - \sigma(\theta^{\text{image}})$，经过归一化后映射到0-100。此外，作者还引入了惩罚-奖励机制：当模型在两模态上同时失败时增大gap（惩罚），同时成功时缩小gap（奖励），鼓励模型追求一致性。
方法步骤详情
GAPEVAL的方法分为数据构建和评估计算两大步骤。数据构建阶段：首先确定四大类别（指令遵循、数值感知、世界知识、推理），每个类别下有多个子类。对于每道题，标注团队设计一个共享语义意图的文本指令对（如「描述打碎后的花瓶」和「画出打碎后的花瓶」），以及对应的参考文本答案和参考图像。数据来源包括人工设计（世界知识、推理子集）、从现有数据集修改（MMMU、MMLU的推理子集渲染为图像）、以及自动化生成+人工筛选（数值感知的计数图像用Qwen-Image生成）。总计646题，经过严格的同行评审确保质量。评估阶段：第一阶段，对每个模型的每个回答，使用GPT-5-mini作为评判模型（在200个样本的人工标注集上达到92%的一致率），给出二元正确性标签。每个模型的每个输出模态独立采样10次取平均。第二阶段，将所有二元结果聚合计数，输入MIRT框架：构建似然函数 $\mathcal{L} = \sum_i \sum_T [n_{\text{success}} \log P + n_{\text{fail}} \log(1-P)]$，加上多元高斯先验，通过Adam优化器联合优化所有参数，最终计算归一化的Gap Score。
技术新颖性
GAPEVAL的技术新颖性体现在三个层面。第一，在评估范式上，它是首个真正意义上的双向基准——不仅同时评估理解和生成，而且通过同一题目的双向对称设计，使得直接比较两个模态下的知识一致性成为可能。现有基准如RealUnify和GIR-Bench虽然也评估两种能力，但它们的题目仍然是单向的，无法建立这种对称比较。第二，在指标设计上，引入MIRT是一个重要创新。传统评估用平均准确率，这在题目难度差异大时会产生严重偏差（一道超高难度题答错不应和一道简单题答错等权计算）。MIRT将题目难度作为显式变量建模，通过贝叶斯MAP优化自动区分「模型能力限制」和「题目固有难度」，这在多模态评估领域是首次应用。第三，在诊断深度上，本文不仅停留在评估层面，还通过知识操纵实验（注入和编辑）探究了鸿沟的成因。这种「评估→发现→诊断」的完整研究范式，使得结论不仅是「存在鸿沟」，还回答了「为什么存在鸿沟」——即UMMs内部的知识表征是模态解耦的。
实验结果
GAPEVAL的实验覆盖了9个开源/闭源UMMs、4个纯理解模型和2个纯生成模型，揭示了五个核心发现。第一，UMMs存在显著且持续的模态鸿沟。以世界知识类别为例，Bagel的理解得分88.17%但生成只有58.50%，Gap Score高达56.67；OmniGen2更极端，理解86.22%但生成仅35.54%，Gap Score达81.57。即使是最先进的闭源UMM GPT-Image-1，理解95.91%但生成68.03%，仍有44.45的Gap Score。第二，高性能不等于高统一性。OneCAT整体性能不如Bagel，但Gap Score仅54.73（Bagel为71.52），说明更好的模态整合不一定来自更高的总体能力。UniWorld-V1是一个正面例子，它同时实现了高准确率（理解93.28%、生成92.74%）和低Gap Score（12.60），暗示有效的统一来自刻意的架构设计。第三，存在「性能滞后效应」：低能力模型（如OneCAT、UniPic2）的Gap Score小是因为两种模态都表现差；中等能力模型（如Bagel、Show-o2）的理解先提升、生成滞后，Gap Score反而增大；高能力模型（如GPT-Image-1、Gemini2.5-Flash-Image）两种能力逐渐对齐，Gap Score开始下降。第四，知识操纵实验证明UMMs内部知识是解耦的。在知识编辑任务上，仅在理解侧微调使Bagel的理解得分提升0.62、OmniGen2提升0.56，但生成侧几乎不变；反之在生成侧微调Show-o使生成得分提升0.89，理解侧同样不变。第五，模态能力的发展是非同步的。训练曲线显示，理解能力在前几千步就快速上升并饱和（约0.8），而生成能力增长缓慢，需要更长的训练才能追上。这种非对称收敛动态解释了为什么中等训练程度的模型反而gap更大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 世界知识 (World Knowledge) | Gap Score | Bagel: 56.67, GPT-Image-1: 44.45 | UniWorld-V1: 12.60 (最低) | 最优与最差之间差距达77.13分 |
| 数值感知 (Numerical Perception) | Gap Score | OmniGen2: 91.55, Ovis-U1: 91.51 | GPT-Image-1: 83.87 (闭源最优) | 所有UMMs在数值感知上Gap Score均超过60，是四个类别中表现最差的 |
| 指令遵循 (Instruction Following) | Gap Score | OmniGen2: 92.36, Bagel: 87.14 | GPT-Image-1: 20.83 (最低) | GPT-Image-1在指令遵循上实现了最小的模态鸿沟 |
| 推理 (Reasoning) | Gap Score | OmniGen2: 92.40, Bagel: 85.36 | GPT-Image-1: 53.29 (闭源最优) | 推理是仅次于数值感知的第二大鸿沟类别 |
| 知识注入 - 理解侧微调后生成得分 | Generation Score | Bagel: ~0.15, OmniGen2: ~0.10 | 基线: ~0.10 | 理解侧微调对生成能力几乎无提升 |
| 知识编辑 - 生成侧微调后理解得分 | Understanding Score | Show-o: ~0.35 | 基线: ~0.30 | 生成侧微调对理解能力的提升同样极其有限 |
局限与改进
本文存在几个值得注意的局限性。首先，评判模型的依赖性是一个重要问题。GAPEVAL使用GPT-5-mini作为唯一的评判模型，虽然在200个样本上与人类标注达到了92%的一致率，但评判模型本身可能引入系统性偏差。作者在附录中展示了使用Gemini3-Flash作为替代评判模型的结果（Pearson相关系数0.9656），增强了可信度，但仍未完全消除对单一评判模型的依赖。其次，GAPEVAL的规模相对较小（646题），相比MMMU的11,550题和MME-Unify的4,104题，统计显著性可能受限，尽管MIRT框架通过建模题目难度部分缓解了这个问题。第三，知识操纵实验的规模也较小（约100个知识实例），且仅在3个模型（Show-o、OmniGen2、Bagel）上进行，结论的普适性有待验证。特别是Bagel由于官方实现限制，无法进行单模态微调，只能使用联合训练策略，这使得Bagel的实验结果与其他两个模型不完全可比。第四，本文主要关注语义正确性（物体识别、事实准确性），对更细粒度的生成质量（如图像保真度、风格一致性、空间布局准确性）评估不足。最后，本文的诊断性质强于解决性质——它很好地量化和解释了鸿沟，但没有提出缩小鸿沟的具体方法。
独立分析的弱点
从独立分析的角度，本文存在几个可以改进的弱点。第一，Gap Score的计算虽然引入了MIRT，但最终的归一化公式 $G = \sigma(\theta^{\text{text}}) - \sigma(\theta^{\text{image}})$ 相对简单，没有考虑不同任务类别之间的差异。一个在数值感知上Gap很大但在指令遵循上Gap很小的模型，与一个反过来的模型，会被赋予相同的总体Gap Score，但这两种gap的性质和影响可能完全不同。改进方向是设计类别加权的Gap Score，或为每个类别单独报告。第二，评判模型只使用了二元标签（正确/错误），丢失了大量信息。一个「基本正确但有小错」的回答和一个「完全答非所问」的回答都被标记为0，这在样本量有限时会影响MIRT参数估计的精度。改进方向是引入多级评分（如0-5分的Likert量表），或使用连续的相似度分数。第三，知识操纵实验中使用的知识实体数量较少（约100个），且选择标准偏主观（视觉上可区分但知名度低的实体），可能导致结论对实体选择敏感。改进方向是扩大实体覆盖范围，增加领域多样性，并引入自动化的大规模知识探针。第四，本文没有探索任何缩小鸿沟的方法。既然发现了知识解耦的问题，一个自然的下一步是设计跨模态知识对齐的训练策略（如交替训练、跨模态对比学习、知识蒸馏等），并验证是否能有效降低Gap Score。
未来方向
基于本文的发现，有几个值得探索的未来方向。第一，也是作者明确提出的，是如何实现真正的认知统一——不仅仅是功能层面的统一，而是理解和生成共享同一套内部知识表征。这可能需要全新的架构设计，比如显式的跨模态知识共享模块、或者在训练目标中加入模态一致性约束。第二，Gap Score可以作为训练信号使用——将Gap Score作为正则化项加入训练损失函数，直接优化模型的模态一致性，而不是只优化单模态性能。第三，知识操纵实验可以扩展到更多类型的知识（如关系知识、时序知识、因果知识），以及更复杂的能力（如多步推理、长上下文理解），以全面绘制UMMs内部知识的模态分布图谱。第四，本文发现了「性能滞后效应」，即模态gap随模型能力先增后减，这暗示存在一个「统一度」的临界点。未来工作可以研究这个临界点与模型规模、训练数据量、架构类型的关系，为设计真正统一的模型提供理论指导。第五，将GAPEVAL的双向评估范式扩展到更多模态（如音频、视频、3D），构建多维度的统一性评估框架。
复现评估
在复现性方面，本文处于中等水平。数据层面，GAPEVAL的646道题目涵盖了四大类别，数据收集流程描述详细（附录D），包括人工设计、从现有数据集修改、自动化生成+人工筛选等多种来源，但作者未明确说明是否开源数据集。模型层面，实验覆盖了7个开源UMMs（Bagel-7B、OneCAT-3B、UniWorld-V1、UniPic2-Mataquery-9B、Show-o2、OmniGen2、Ovis-U1）和2个闭源UMMs（Gemini2.5 Flash Image、GPT-Image-1），开源模型的权重均可获取。算力需求方面，本文的评估不需要额外训练（仅推理），但知识操纵实验需要微调，作者使用的具体GPU型号和训练时长未在主文中详细说明。评判模型使用GPT-5-mini，需要OpenAI API访问。MIRT的实现使用标准的Adam优化器，优化细节在附录A中有完整描述。总体来说，如果拥有足够的GPU资源和API访问，复现评估结果是可行的；但知识操纵实验的微调部分可能需要更多的工程细节才能精确复现。
论文图表
