ImagenWorld：基于可解释人类评估的图像生成模型压力测试基准 ImagenWorld: Stress-Testing Image Generation Models with Explainable Human Evaluation on Open-ended Real-World Tasks
提出统一的图像生成/编辑评估基准，覆盖6任务6主题，用可解释标注揭示模型失败模式
前置知识
扩散模型 (Diffusion Models)
一类通过逐步去噪过程生成图像的生成模型。训练时向数据添加高斯噪声，学习反向去噪过程；推理时从纯噪声开始，逐步去噪生成高质量图像。代表模型包括Stable Diffusion、DALL-E等。这类模型在图像生成质量和多样性上取得了突破性进展。
本文评估的14个模型中，大多数基于扩散架构或其变体（如流匹配），理解扩散模型的基本原理有助于理解不同模型的架构差异和性能表现。
自回归模型 (Autoregressive Models)
将图像生成建模为序列预测任务，逐个token生成图像。与扩散模型不同，自回归模型通常基于Transformer架构，将图像离散化为视觉token序列，然后按顺序预测每个token。代表模型包括Infinity、Janus Pro等。
本文比较了扩散、自回归和混合架构在不同任务上的表现，发现架构选择显著影响编辑任务的行为模式。
VLM-as-a-Judge (视觉语言模型作为评判者)
使用大型视觉语言模型（如Gemini、GPT-4V）自动评估生成图像的质量。模型接收图像和评估提示，输出与人类评估标准对齐的分数。这种方法可以大幅降低人工评估成本，但可能存在系统性偏差。
本文的一个核心贡献是系统比较了VLM评估与人类评估的一致性，发现VLM在高层语义评估上可靠，但在细粒度错误检测上仍需人类介入。
Set-of-Mark (SoM) 标注
一种视觉提示技术，将图像分割成多个区域并为每个区域分配唯一标识符（如数字或字母）。这样可以精确定位图像中的特定区域，便于细粒度的评估和错误归因。
本文使用SoM技术实现段级(segment-level)错误标注，让标注者能够精确定位图像中有问题的区域，这是实现可解释评估的关键技术。
研究动机
当前图像生成模型的评估存在严重碎片化问题。现有基准要么只覆盖单一任务（如仅文本到图像生成），要么只关注特定领域（如艺术作品或文本图形），无法全面评估统一模型的真实能力。例如，DrawBench和PartiPrompts只测试文本到图像生成，ImagenHub虽然覆盖多任务但缺乏可解释性，GenAI-Arena存在用户提交提示的主题偏差。更关键的是，现有评估通常只给出一个不透明的分数，无法告诉用户模型为什么失败、失败在哪里。这导致研究者无法针对性地改进模型，用户也无法理解模型的局限性。随着GPT-Image-1、Gemini 2.0 Flash等统一模型的出现，它们能够同时处理生成和编辑任务，但现有基准无法揭示这些模型在不同任务和领域间的性能差异和失败模式。
本文的目标是本文的目标是建立一个统一、全面、可解释的图像生成评估基准。具体而言，ImagenWorld旨在：(1) 统一6种核心任务（文本引导生成/编辑、单参考生成/编辑、多参考生成/编辑）和6个主题领域（艺术品、写实图像、信息图形、文本图形、计算机图形、截图），创建3.6K个条件集；(2) 设计可解释的评估方案，不仅给出分数，还能通过对象级和段级错误标注揭示模型失败的具体原因；(3) 对14个代表性模型进行全面评估，揭示不同架构、不同任务、不同领域间的性能差异和失败模式。
与已有工作不同的是，本文的独特切入角度在于「可解释性」。与以往只关注分数高低的评估不同，ImagenWorld首次将人类评估从「打分」升级为「诊断」。通过对象级标注（标注哪些预期对象缺失或变形）和段级标注（使用SoM标记图像中有问题的区域），评估结果能够精确回答「模型在哪里失败」和「为什么失败」。这种可解释性不仅帮助研究者理解模型弱点，还能为未来的自动评估器提供训练信号。此外，本文首次系统比较了统一模型（能处理所有6个任务）和专家模型（只擅长部分任务）的表现，发现统一模型在编辑任务上仍存在系统性缺陷。
核心方法
ImagenWorld的构建可以类比为建立一个全面的「体检中心」。就像医院体检不只看一个指标，而是从多个维度系统检查身体状况，ImagenWorld也从多个维度系统评估图像生成模型。整个流程分为三个阶段：首先是「数据集构建」，由22名专家标注员创建3.6K个条件集，每个条件集包含任务指令、参考/源图像和预期输出；其次是「可解释评估」，标注员不仅给出4个维度的分数（提示相关性、美学质量、内容一致性、伪影），还要标记具体的错误位置；最后是「自动评估对比」，使用VLM（Gemini-2.5-Flash）作为自动评判者，与人类评估进行对比分析。
本文最核心的创新是将评估从「黑盒打分」升级为「白盒诊断」。传统评估只告诉你「这张图得分0.75」，但ImagenWorld能告诉你「这张图得0.75分是因为右上角的吊灯缺失（对象级问题）和左下角的文本扭曲（段级问题）」。这种可解释性通过两个互补的错误分类实现：对象级问题由VLM预先生成预期对象列表，标注员标记哪些对象缺失或变形；段级问题通过SoM将图像分割成区域，标注员选择有问题的区域。这种设计不仅让评估结果更可操作，还为未来的自动评估器提供了细粒度的训练信号。
方法步骤详情
方法分为三个主要步骤：(1) 数据集构建：标注员编写自然语言指令并配对相应的参考/源图像，确保每个实例对齐6种任务之一。数据集覆盖6个主要主题，每个主题进一步细分为细粒度子主题，总计3.6K个条目，每个任务-主题组合100个样本。(2) 可解释评估：每个图像由3名标注员独立评分，使用5点李克特量表评估4个维度（提示相关性、美学质量、内容一致性、伪影）。同时，标注员进行错误标注：对于对象级问题，指令和参考图像输入Gemini-2.5-Flash生成预期对象列表，标注员标记缺失或变形的对象；对于段级问题，使用SoM将图像分割成区域，标注员选择有视觉缺陷的区域。(3) 自动评估与对比：使用Gemini-2.5-Flash作为VLM评判者，按照相同的4个维度评分，计算与人类评估的Spearman相关系数、Kendall准确率和偏差。
技术新颖性
ImagenWorld的技术新颖性体现在三个方面：首先是任务统一性，首次将6种生成/编辑任务纳入同一框架，使用统一的指令驱动范式，所有任务都基于自然语言指令$t_{ins}$，可选地配合源图像$I_{src}$或参考图像集$I_R$。其次是评估可解释性，首次在图像生成评估中引入对象级和段级的细粒度错误标注，让评估结果不仅能排序模型，还能诊断失败原因。第三是覆盖全面性，同时覆盖6个主题领域（从艺术作品到截图），每个领域包含多样化的子主题，确保评估结果能反映真实世界的使用场景。
实验结果
本文对14个模型进行了大规模评估，揭示了四个关键发现：(1) 编辑任务普遍比生成任务困难。在统一模型（GPT-Image-1、Gemini 2.0 Flash、BAGEL、OmniGen2）上，生成任务平均得分3.92，编辑任务平均得分3.52，差距具有统计显著性（$t=13.71$, $p=6.6 imes 10^{-42}$）。编辑任务中存在两种失败模式：完全重新生成新图像（忽略源图像）或返回未修改的输入。OmniGen2和Step1X-Edit等AR-扩散混合模型有17%的概率生成全新图像，而IC-Edit和InstructPix2Pix等纯扩散编辑器几乎不会忽略源图像（<3.4%）。(2) 主题领域差异显著。艺术品和写实图像表现最好，平均分接近0.78，GPT-Image-1在这两类达到0.9；而文本图形和计算机图形平均约0.68，截图和信息图形最困难，平均约0.55。符号化和文本密集内容（截图、信息图形）的伪影问题尤为严重，非符号化内容几乎没有失真。(3) 闭源模型总体领先，但开源模型在特定领域有竞争力。GPT-Image-1在所有任务上平均领先Gemini 2.0 Flash约0.1-0.2分，尤其在编辑任务上差距更大。然而，开源模型在文本引导生成上表现接近：Flux.1-Krea-dev（0.82）和Qwen-Image（0.87）在该任务上超过Gemini 2.0 Flash（0.80）。Qwen-Image在文本图形上表现突出，得益于其专门针对文本密集图像的合成数据整理流程。(4) VLM评估可靠但有限。VLM与人类的Kendall准确率达到0.79，Spearman相关系数0.72，接近甚至超过人类间一致性（0.76/0.68）。但VLM倾向于低估伪影问题（偏差+0.06），在内容一致性评估上也稍弱（Spearman 0.57 vs 人类0.50）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本引导图像生成 (TIG) | 人类总体评分 | GPT-Image-1: 0.91 | Gemini 2.0 Flash: 0.80 | +0.11 |
| 文本引导图像编辑 (TIE) | 人类总体评分 | GPT-Image-1: 0.82 | Gemini 2.0 Flash: 0.69 | +0.13 |
| 单参考图像生成 (SRIG) | 人类总体评分 | GPT-Image-1: 0.84 | Gemini 2.0 Flash: 0.67 | +0.17 |
| 单参考图像编辑 (SRIE) | 人类总体评分 | GPT-Image-1: 0.80 | Gemini 2.0 Flash: 0.59 | +0.21 |
| 多参考图像生成 (MRIG) | 人类总体评分 | GPT-Image-1: 0.84 | Gemini 2.0 Flash: 0.73 | +0.11 |
| 多参考图像编辑 (MRIE) | 人类总体评分 | GPT-Image-1: 0.79 | Gemini 2.0 Flash: 0.62 | +0.17 |
局限与改进
本文存在几个局限性：首先，评估主要依赖人类标注，虽然提供了可解释性，但成本高昂（约1000美元API费用+大量人工时间），难以频繁更新。其次，VLM评估使用Gemini-2.5-Flash单一模型，可能存在系统性偏差，未探索多模型集成或不同VLM的评估差异。第三，数据集虽然覆盖6个主题，但每个任务-主题组合只有100个样本，统计功效可能不足以检测小的性能差异。第四，评估框架假设每个任务有明确的「成功」标准，但实际使用中用户对图像质量的偏好可能多样化。此外，本文未探索模型的计算效率、推理速度等实际部署因素，这些在真实应用中同样重要。最后，可解释评估虽然提供了错误归因，但未进一步探索如何利用这些信息自动改进模型。
独立分析的弱点
从独立分析角度看，ImagenWorld存在几个可改进的弱点：(1) 评估维度局限性：当前4个维度（提示相关性、美学质量、内容一致性、伪影）可能无法覆盖所有重要的图像质量方面，例如「创意性」、「文化适当性」、「安全性」等维度未被纳入。建议未来扩展评估维度，特别是针对特定应用场景（如医疗图像、教育材料）的专门指标。(2) 标注员偏差：虽然使用了3名标注员取平均，但标注员主要是英语流利的研究生，可能对某些文化背景或专业领域的图像理解存在偏差。建议增加标注员多样性，包括不同文化背景和专业领域。(3) 静态评估：当前评估是静态的，即一次评估后不再更新。随着模型快速迭代，基准可能很快过时。建议设计动态更新机制，定期添加新的任务和主题。(4) 缺乏用户研究：评估主要关注技术指标，未探索真实用户如何使用这些模型、他们的满意度如何。建议补充用户研究，了解评估指标与用户实际体验的相关性。
未来方向
作者提出了几个有前景的未来方向：(1) 利用人类评分作为偏好数据训练更好的对齐模型，例如通过偏好优化或基于排序的微调；(2) 利用对象级标注开发诊断和自我纠正方法，让模型能够生成对象感知的修正或产生纠正指令；(3) 结合细粒度标注和人类评估开发更可解释的自动指标，更好地捕捉对象级错误、组合不一致性和提示-对象不匹配。基于本文成果，还可以延伸以下方向：(4) 探索如何将可解释评估的发现反馈到模型训练中，例如通过强化学习让模型学会避免特定类型的失败；(5) 开发针对特定领域（如文本密集图像）的专门评估和改进方法，Qwen-Image的成功表明针对性的数据整理可以显著提升特定领域能力；(6) 将评估框架扩展到视频生成和3D生成等新兴领域。
复现评估
本文的复现性较好。作者承诺在GitHub和HuggingFace上发布代码、数据集和清洗后的人工标注。所有实验使用8块NVIDIA A6000 GPU进行，使用ImagenHub推理库。闭源模型的API访问花费约1000美元。开源模型在相同种子（42）下评估，确保公平比较。数据集包含3.6K个条件集和20K个细粒度人工标注，规模足够大。评估协议详细描述了标注指南、评分标准和错误标注流程，其他研究者可以遵循相同流程进行扩展评估。主要复现挑战在于：(1) 需要大量人工标注资源（22名标注员工作2个月）；(2) 闭源模型API成本；(3) 需要GPU集群进行模型推理。对于资源有限的研究者，可以先复现自动评估部分，使用VLM作为评判者进行初步评估。
论文图表
