GRADE：面向学科知识推理的图像编辑基准评测 GRADE: Benchmarking Discipline-Informed Reasoning in Image Editing
首个评估图像编辑模型学科推理能力的基准，揭示当前模型在知识密集型编辑中的巨大瓶颈
前置知识
统一多模态模型（Unified Multimodal Models, UMMs）
一类将语言理解、视觉感知和图像生成集成在单一系统中的模型，例如 GPT-Image 系列、Gemini、Seedream 等。这类模型不仅能够理解图像内容，还能根据文本指令对图像进行编辑和生成。与传统独立的图像编辑模型不同，UMMs 期望在统一架构中协调知识推理与视觉生成能力，是当前多模态 AI 研究的核心方向。
GRADE 基准的核心评测对象就是 UMMs 在学科知识约束下的编辑能力，理解 UMMs 的定位才能理解本文的研究动机和评测意义。
图像编辑（Image Editing）
根据文本指令对输入图像进行特定修改的任务。与文本到图像生成不同，图像编辑需要在保留原图视觉结构的基础上做出精确修改。当前主流方法包括基于扩散模型的编辑（如 FLUX 系列）和基于多模态大语言模型的统一编辑框架。编辑任务要求模型同时理解指令意图、掌握修改方法并保持视觉一致性。
本文的核心任务就是学科知识驱动的图像编辑，区别于传统的自然图像编辑，需要模型具备领域专业知识。
MLLM-as-a-Judge（多模态大模型作为评判者）
使用多模态大语言模型（如 GPT-5、Gemini-3-Flash）来自动评估生成图像质量的方法。与传统基于像素的指标（如 PSNR、SSIM）或基于嵌入的指标（如 CLIP Score）不同，MLLM-as-a-Judge 能够进行语义层面的推理判断。本文提出了一种结构化的问题引导评估策略，将学科推理分解为可验证的二元问题，通过加权聚合得到最终评分。
本文的评估流水线是核心贡献之一，理解 MLLM-as-a-Judge 范式才能理解 GRADE 如何实现可扩展且与人类判断对齐的自动评估。
隐式推理（Implicit Reasoning）
编辑指令不直接说明所需的学科知识变换，而是要求模型自行推理。例如指令可能要求「画出图中分子的酯化反应产物」，但不会显式描述产物的分子结构应如何变化。这要求模型首先识别输入图像中的学科内容，激活相关的领域知识，然后推理出正确的编辑操作。与显式指令（直接描述所需操作）相比，隐式推理对模型的知识检索和推理能力要求远更高。
GRADE 的所有指令都设计为隐式推理形式，这是区分本文基准与已有编辑基准的关键设计选择。
视觉一致性（Visual Consistency）
图像编辑中确保未被指令要求修改的部分保持不变的性质。本文将视觉一致性细分为三种类型：局部一致性（仅目标区域变化）、风格一致性（整体结构变化但视觉风格保持）和一致性无关（不要求与原图一致，如从渲染图生成工程图）。不同类型的任务有不同的视觉一致性要求，这反映了编辑场景的多样性。
视觉一致性是 GRADE 三维评估框架的三大维度之一，理解其细分类型才能理解评估设计的精细程度。
研究动机
当前图像编辑基准在评测统一多模态模型（UMMs）的推理能力方面存在严重不足。现有基准如 ImgEdit 主要针对传统编辑任务，推理并非核心考量；RISEBench 和 KRISBench 虽然引入了隐式推理，但涉及的知识仅限于日常常识（如时间顺序、因果关系、空间位置），而非专业学科知识。这些设置只能测试模型在浅层常识推理下的表现，无法真正评估模型是否能在结构化的学科知识约束下进行精确编辑。例如，在现有基准上表现相近的模型（如 Nano Banana Pro 和 GPT-Image-1.5），在需要学科知识的编辑场景下可能表现出巨大差异，说明已有基准的区分能力不足以揭示模型在知识密集型推理方面的真实水平。
本文的目标是本文旨在构建首个面向学科知识推理的图像编辑基准 GRADE（Grounded Reasoning Assessment for Discipline-informed Editing），系统评估模型在 10 个学术学科（从自然科学到社会科学）的知识约束下进行图像编辑的能力。具体目标包括：(1) 设计涵盖 520 个精心策划样本的基准数据集，跨越数学、物理、化学、生物、历史、地理、体育、音乐、计算机科学和经济学；(2) 提出多维度自动评估协议，联合评估学科推理、视觉一致性和逻辑可读性；(3) 对 20 个最先进的开源和闭源模型进行全面评测，揭示当前模型的关键局限。
与已有工作不同的是，GRADE 的独特切入角度在于将学科专业知识作为图像编辑的核心挑战维度。与此前在多模态理解（如 MMMU）或文本到图像生成（如 GenExam）中引入学科知识的工作不同，图像编辑场景要求模型在领域约束下操作，同时保留现有视觉结构并做出精确修改，这对知识理解、推理和编辑能力的整合提出了更严格的要求。此外，GRADE 区别于所有已有编辑基准的核心在于：指令全部采用隐式推理形式，不显式描述所需的学科知识变换，迫使模型必须自行检索和应用领域知识，而非仅仅执行显式的编辑操作。
核心方法
GRADE 的整体方法包含三个核心组件：基准数据集构建、多维度评估协议设计和大规模模型评测。在数据构建方面，团队采用精心设计的数据收集和过滤流程：6 名具有学术背景的标注员从开放教科书、网站等参考资料中获取基于概念的图像，手动编辑创建输入-GT 配对并设计对应指令，再由两名额外专家进行交叉验证。对于部分学科，先使用自动流水线从 MMMU 数据集中粗筛合适样本，再由两名专家进行人工筛选。在评估方面，提出三维评估框架：学科推理（Discipline Reasoning）评估编辑结果是否正确反映学科知识；视觉一致性（Visual Consistency）评估编辑是否与预期视觉结构一致；逻辑可读性（Logical Readability）评估学科内容是否以清晰、逻辑一致的方式呈现。只有三个维度均获得满分的样本才被视为正确。
GRADE 的核心创新在于提出结构化的问题引导评估策略来评测学科推理能力。传统 MLLM-as-a-Judge 方法直接使用单一指令让模型评分，容易导致判断不稳定和高敏感性。GRADE 的做法是：对每个样本，使用 GPT-5 生成与学科知识对齐的加权二元问题（所有权重之和为一），两名人类专家独立检查所有评分点并由第三名专家交叉验证。评估时，使用 Gemini-3-Flash 参考这些评分点和 GT 图像对编辑结果进行评估。最终推理分数通过加权聚合评判者的回答得到归一化分数。这种将学科推理分解为显式、可验证标准的方法，实现了对模型是否正确理解和应用学科概念的精准评估。与已有方法的本质区别在于：不是简单判断编辑结果「好不好看」，而是逐点验证学科知识是否正确应用。
方法步骤详情
GRADE 评估流水线包含以下步骤：(1) **数据准备**：每个样本包含输入图像、文本编辑指令和 GT 图像，覆盖 10 个学科的二级子学科分类（如数学下分平面几何、立体几何、函数、图与统计）。(2) **学科推理评估**：使用 GPT-5 为每个样本生成加权二元评分问题（如「红色边是否连接了节点 A 和 B？」），每个问题对应一个学科知识点，权重反映其重要性。评估时 Gemini-3-Flash 参考 GT 图像和编辑结果逐一回答这些问题，加权聚合得到 0-1 之间的推理分数。(3) **视觉一致性评估**：根据任务类型（局部/风格/无关）使用对应的评估提示词，由 Gemini-3-Flash 对编辑结果进行 0/1/2 评分。(4) **逻辑可读性评估**：检查文本标注、符号一致性、元素区分度和视觉质量，同样由 Gemini-3-Flash 给出 0/1/2 评分。(5) **总分聚合**：采用严格准确率，要求三个维度均获得最高分才计为正确。
技术新颖性
GRADE 的技术新颖性体现在多个层面。首先，它是首个专门评估图像编辑中学科推理能力的基准，填补了学科知识在编辑场景中未被探索的空白。其次，问题引导的评估策略将模糊的「编辑质量」评判分解为结构化的二元问题序列，每个问题对应一个可验证的学科知识点，大幅提升了评估的可解释性和可复现性。第三，三维评估框架（推理+一致性+可读性）的设计既覆盖了推理正确性，又约束了视觉质量和表达清晰度，防止模型通过「偷懒」策略（如不做任何修改或生成模糊结果）获得高分。第四，所有指令采用隐式形式，不显式描述学科知识变换，这比已有基准的显式指令设置更能测试模型的真实推理能力。消融实验表明，将隐式指令改为显式指令后，Nano Banana 2 的推理分数从 67.9% 提升至 89.7%，Qwen-Edit-2511 从 18.9% 提升至 44.7%，证实了隐式推理设置的挑战性。
实验结果
在 20 个最先进的模型评测中，GRADE 揭示了多个关键发现。(1) **最强模型仍远未达标**：Nano Banana Pro 以 46.2% 的准确率排名第一，但意味着即使最好的模型也在超过一半的学科编辑任务上失败。Nano Banana 2 以 39.6% 紧随其后，Seedream 5.0 为 24.7%，GPT-Image-1.5 仅为 16.0%。(2) **GRADE 具有更强的区分力**：在已有基准上表现相近的模型在 GRADE 上表现出巨大差异——Nano Banana Pro（46.2%）与 GPT-Image-1.5（16.0%）相差 30 个百分点，说明 GRADE 能有效区分模型的学科推理能力。(3) **开源与闭源模型存在鸿沟**：最强开源模型 Qwen-Edit-2511（2.7%）远低于所有闭源模型，大多数开源模型（OmniGen、Bagel、FLUX.2 dev）准确率接近或等于零。(4) **学科推理是主要瓶颈**：闭源模型在推理维度的分数（Nano Banana Pro 77.5%）远高于开源模型（Qwen-Edit-2511 18.6%），而视觉一致性和逻辑可读性对许多模型来说是相对容易满足的约束。(5) **学科差异显著**：STEM 学科（物理、生物、数学）对模型的区分度最强，人文学科（历史、地理）即使对闭源模型也很困难（Nano Banana Pro 在历史上仅 29.6%）。(6) **隐式指令是核心挑战**：消融实验表明，显式化指令后性能大幅提升，开源模型的相对提升更大，说明其对显式指导的依赖更强。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 学科知识图像编辑（综合） | 严格准确率 | Nano Banana Pro: 46.2% | GPT-Image-1.5: 16.0% | 闭源模型间差距达 30 个百分点 |
| 学科推理（推理维度） | 推理分数 (0-100) | Nano Banana Pro: 77.5 | 最强开源 Qwen-Edit-2511: 18.6 | 闭源领先开源约 59 个百分点 |
| 学科知识图像编辑（开源最佳） | 严格准确率 | Qwen-Edit-2511: 2.7% | OmniGen: 0.0% | 开源模型间差异极小 |
| 隐式 vs 显式指令（Nano Banana 2） | 推理分数 | 隐式指令: 67.9 | 显式指令: 89.7 | 显式化提升 21.8 个百分点 |
| 隐式 vs 显式指令（Qwen-Edit-2511） | 严格准确率 | 隐式指令: 1.5% | 显式指令: 8.8% | 显式化提升 7.3 个百分点 |
| 自动评估与人类对齐 | MAE (推理维度) | Gemini-3-Flash: 0.1194 | GPT-5: 0.1519 | Gemini-3-Flash 与人类判断对齐最佳 |
局限与改进
GRADE 存在多方面的局限性。首先，数据规模相对有限，总共 520 个样本虽然精心策划，但对于 10 个学科的二级子学科覆盖仍可能不够充分，某些细粒度学科方向可能代表性不足。其次，评估依赖 MLLM-as-a-Judge，尽管消融实验显示 Gemini-3-Flash 与人类判断的 MAE 约为 10%，但仍存在系统性偏差，尤其是在推理维度上 MAE 达到 0.1194，这意味着约 12% 的评分可能与人类判断存在显著差异。第三，三维评估的严格准确率要求所有维度均满分，这可能过于严苛——一个在推理和一致性上完美但在可读性上稍有瑕疵的编辑会被计为失败，导致模型间差异可能被放大。第四，GRADE 主要评估静态图像编辑，未涉及多轮编辑、交互式编辑或视频编辑场景。此外，论文承认历史和地理等人文类学科即使对闭源模型也极具挑战，但未深入分析这种困难是否源于训练数据偏差而非模型能力不足。
独立分析的弱点
GRADE 存在几个值得改进的弱点。(1) **数据多样性不足**：520 个样本对于构建可靠的排行榜仍然偏少，尤其是部分子学科可能只有个位数样本，统计置信度有限。改进方向是扩大数据集规模，同时确保各子学科的样本量均衡。(2) **GT 依赖性**：评估流水线需要 GT 图像作为参考，但某些学科编辑任务可能有多种合理答案（如不同风格的力学图示），单一 GT 可能排除合理的替代方案。可以引入多 GT 参考或基于规则的验证机制。(3) **评估提示词的鲁棒性**：虽然 Gemini-3-Flash 表现最佳，但评估结果仍受提示词设计影响，不同措辞可能导致不同评分。改进方向是进行更系统的提示词敏感性分析。(4) **缺乏细粒度错误定位**：虽然论文在错误分析中将失败分为四类（识别错误、知识错误、推理过程错误、生成过程错误），但评估流水线本身不输出这些细粒度诊断信息。可以设计更精细的评估协议，自动识别失败的具体阶段。(5) **未考虑计算效率**：评估仅关注编辑质量，未考虑模型的推理速度、参数量和计算成本，这在实际应用中同样重要。
未来方向
论文和基于成果可延伸的未来方向包括：(1) **扩大评估范围**：将 GRADE 扩展到更多学科（如法学、医学、工程学）和更复杂的编辑任务（如多步编辑、条件编辑），构建更全面的学科推理评估体系。(2) **改进模型能力**：当前模型在学科推理上的瓶颈表明，需要在训练数据中引入更多学科知识，或设计专门的学科知识注入机制。论文的错误分析为改进提供了明确方向——识别错误需要更好的结构化视觉理解，知识错误需要更强的领域知识检索，推理错误需要更稳健的多步推理能力。(3) **探索显式-隐式指令的中间地带**：当前研究仅比较了完全隐式和完全显式两种设置，未来可以探索不同推理深度的梯度设置，建立更精细的推理能力评测谱。(4) **开发学科感知的编辑模型**：当前通用编辑模型在学科任务上的失败表明，可能需要专门为学科编辑设计的模型架构或微调策略。(5) **提升评估方法**：开发更精细的失败诊断评估，不仅判断编辑是否正确，还能自动定位失败的具体原因和阶段。
复现评估
GRADE 在复现性方面提供了良好的支持。评估代码已在 GitHub 开源（https://github.com/VisionXLab/GRADE），基准数据集在 HuggingFace 公开（https://huggingface.co/datasets/VisionXLab/GRADE），项目主页提供完整的文档和示例。数据构建过程有详细描述，包括标注员背景（6 名具有学术背景的标注员）、数据来源（开放教育资源、开源数据集、程序化生成）和质量控制流程（交叉验证）。评估流水线使用公开的 MLLM（Gemini-3-Flash）作为评判模型，提示词在附录中完整提供。复现的主要挑战在于：(1) 部分被评测的闭源模型（如 GPT-Image-1.5、Seedream 系列）需要 API 访问权限和相应费用；(2) 评估使用 GPT-5 生成评分问题，这需要 OpenAI API 访问；(3) 520 个样本的标注涉及人工成本，但数据集已公开可直接使用。总体而言，复现难度中等，核心基准和评估流水线均可直接使用。
论文图表
将 Nano Banana Pro 的失败案例分为四类：(a) 图像识别错误——模型误解析关键对象特征（如位置、形状、结构）导致后续推理错误；(b) 知识错误——模型缺乏必要的学科知识或未能匹配已有知识，产生语义无效的元素；(c) 推理过程错误——模型正确识别实体和方法但在多步执行中出现偏差；(d) 生成过程错误——模型正确规划了目标和约束，但在最终图像合成时未能强制执行低层控制约束。
这是理解当前模型在学科编辑中具体瓶颈的关键图，为未来改进提供了明确的失败模式分类和改进方向。