GEditBench v2：面向通用图像编辑的人类对齐基准测试 GEditBench v2: A Human-Aligned Benchmark for General Image Editing
提出综合评估基准GEditBench v2和成对评估模型PVC-Judge，解决图像编辑评估难题
前置知识
VLM-as-a-Judge
利用视觉语言模型（VLM）作为评估者的范式，通过设计提示模板让VLM对生成内容进行评分或比较。这种方法避免了传统指标（如CLIP分数）的局限性，能够进行更语义化的评估。本文发现成对比较比绝对评分更符合人类判断，平均准确率提升约10%。
理解VLM-as-a-Judge范式是理解本文评估方法论的基础，本文的核心贡献之一就是改进了这一范式在视觉一致性评估上的应用。
视觉一致性（Visual Consistency）
指图像编辑后非编辑区域的保持程度，包括身份、结构、语义连贯性等。例如将棉衬衫改为丝绸材质时，需严格保持人物身份、背景光照和空间几何不变。这是高质量图像编辑的关键指标，但现有评估方法难以准确捕捉。
本文的核心目标就是提升视觉一致性的评估准确性，PVC-Judge专门针对这一维度进行优化。
成对比较（Pairwise Comparison）
让评估模型在两个候选图像间选择更优者，而非对单个图像打绝对分数。人类研究显示成对比较的判断一致性比绝对评分高约15-20%。本文通过实验验证了这种范式在视觉一致性评估上的优势，并基于此构建了PVC-Judge。
这是本文方法论的核心创新点，PVC-Judge通过专门的成对训练实现了超越GPT-5.1的评估性能。
区域解耦（Region Decoupling）
将图像分割为编辑区域和非编辑区域，对不同区域应用不同的评估指标。例如在主体移除任务中，编辑区域在输入图像中定位；在主体添加任务中，编辑区域在输出图像中定位。这种解耦确保评估精确聚焦于一致性关键区域。
区域解耦是本文构建高质量偏好数据的核心技术，使得自动化评估能够像人类一样区分有意编辑和无意变化。
Bradley-Terry模型
一种用于从成对比较结果中推断个体能力的统计模型，广泛用于棋类评分（如Elo评分）。本文使用该模型将成对比较矩阵转换为可比较的Elo评分，从而对16个编辑模型进行综合排名。
理解这一模型有助于理解Table 3中的Elo评分是如何从成对比较结果中计算得出的。
研究动机
现有图像编辑评估框架存在三大核心问题：首先，任务覆盖狭窄，现有基准通常限制在预定义的编辑类别（如KontextBench仅5个任务，GEdit-Bench仅11个任务），无法评估模型在真实开放场景中的泛化能力；其次，评估指标碎片化，传统方法组合L1范数、CLIP分数、DINO分数等不同维度的指标，导致评估结果不一致且难以解释；第三，视觉一致性评估不准确，现有VLM-as-a-Judge方法依赖闭源API（如GPT-4o），使用绝对评分方案，与人类偏好对齐度低，且存在天花板效应——当评估分布外编辑时，点对点评分模型倾向于给出相似分数，失去区分能力。
本文的目标是本文旨在构建一个全面、人类对齐的图像编辑评估生态系统，具体目标包括：1）建立覆盖23个任务的综合基准GEditBench v2，包含22个预定义任务和100个真实世界开放集指令；2）开发开源的PVC-Judge评估模型，在视觉一致性维度上达到或超越商业模型（如GPT-5.1）的评估准确率；3）构建VCReward-Bench元基准，包含3,506个专家标注的偏好对，用于可靠评估评估模型的性能。
与已有工作不同的是，本文的独特切入角度在于三个关键洞察：第一，发现成对比较比绝对评分更符合人类判断，实验显示在四个VLM上成对方案的人类一致性平均提升约12%；第二，提出区域解耦的偏好数据构建方法，通过任务自适应的区域分割和指标集成，自动生成高质量训练数据；第三，首次系统性地将开放集指令纳入评估框架，从Reddit、X等平台收集100个无法归类到预定义任务的真实编辑需求，填补了现有基准在开放场景评估上的空白。
核心方法
本文构建了一个完整的图像编辑评估生态系统，包含基准构建、评估模型训练和元评估三个层次。整体思路可以类比为构建一个考试系统：GEditBench v2是考卷，包含23种题型覆盖从基础编辑到复杂开放指令；PVC-Judge是阅卷老师，专门评估视觉一致性这个最难评判的维度；VCReward-Bench是教师资格考试，确保阅卷老师的评分与人类专家一致。技术路线遵循数据驱动的模型优化范式：首先通过两阶段管道构建约180k候选图像，然后通过对象中心和人类中心两条管道自动构建约128k偏好对，最后用LoRA微调Qwen3-VL-8B-Instruct得到PVC-Judge。
本文最核心的创新是区域解耦的偏好数据合成方法。已有评估模型（如EditScore、EditReward）直接在整张图像上计算指标，无法区分有意编辑和无意变化。本文的关键洞察是：不同编辑任务影响图像的区域不对称——移除任务的编辑目标在输入图像中，添加任务的编辑目标在输出图像中，替换任务则需要在两张图像中都定位。基于此，本文设计了任务自适应的区域分割策略：用Qwen3-4B-Instruct从指令中提取编辑目标，用Qwen3-VL-8B-Instruct进行任务自适应定位，将图像分割为编辑区域（\Omega_{edit}）和非编辑区域（\Omega_{non}）。然后对不同区域应用不同指标：在\Omega_{non}严格要求视觉不变性（SSIM、LPIPS、EMD），在\Omega_{edit}使用任务特定指标（如颜色编辑只计算亮度通道的SSIM，材质编辑计算深度图的SSIM）。这种分而治之的策略使得自动化评估能够像人类一样精准判断视觉一致性。
方法步骤详情
方法包含四个主要步骤：第一步，候选图像生成。从Pico-Banana-400K等三个开源数据集收集（输入图像，指令）对，使用Qwen3-VL-Embedding嵌入后通过K-center贪心选择每个任务1,500个代表性样本，然后用7个编辑模型（BAGEL、Kontext、Step1X-Edit等）生成约180k输出图像。第二步，对象中心偏好数据构建。用Qwen3-4B-Instruct提取编辑目标，用Qwen3-VL-8B-Instruct进行任务自适应定位，分割\Omega_{edit}和\Omega_{non}，在\Omega_{non}计算SSIM+LPIPS+EMD，在\Omega_{edit}使用任务特定指标（如SAM-based CLIP/DINO相似度），通过z-score归一化和帕累托主导规则筛选前30%和后30%作为赢家和输家。第三步，人类中心偏好数据构建。针对涉及人物的任务，将视觉属性分解为面部身份（Face ID）、身体外观、头发外观三个正交属性，动态排除被编辑的属性，使用ArcFace等专家模型量化剩余属性。第四步，VLM-as-a-Judge标注。对全局编辑任务，使用Gemini 3 Pro进行成对一致性评估，通过消融研究确定每个输入对采样6个组内对为最优平衡点。
技术新颖性
本文的技术新颖性体现在三个层面：第一，评估范式创新。首次系统性验证成对比较在图像编辑评估中的优势，实验证明成对方案在IF、VQ、VC三个维度上的人类一致性分别比绝对评分高8.2%、11.5%、14.3%，并通过天花板效应分析解释了原因——绝对评分模型学习到僵化的分数映射，认知上限被训练分布严重限制。第二，数据构建创新。提出区域解耦的偏好数据合成管道，这是首次将编辑区域/非编辑区域的分割思想应用于奖励模型训练数据构建。与现有方法（如EditScore使用整图指标）相比，这种方法能生成更高质量的偏好信号。第三，基准设计创新。GEditBench v2首次引入开放集编辑类别，包含100个来自Reddit、X等平台的真实指令，这些指令无法归类到预定义任务，测试模型对隐式意图的理解能力。这填补了现有基准在开放场景评估上的空白。
实验结果
实验结果揭示了三个关键发现：第一，PVC-Judge在视觉一致性评估上达到开源模型最优，甚至超越GPT-5.1。在VCReward-Bench上，PVC-Judge平均准确率81.82%，比GPT-5.1的76.89%高4.93个百分点，比基座模型Qwen3-VL-8B-Instruct的73.07%高8.75个百分点。在EditReward-Bench上，PVC-Judge平均准确率82.44%，同样领先。具体任务上，PVC-Judge在颜色改变任务上准确率94.20%（比GPT-5.1高7.24%），在背景改变任务上87.00%（高4.00%），在材质修改任务上83.61%（低4.91%）。第二，GEditBench v2的综合排名与人类偏好高度一致。16个模型的Overall Elo评分与Arena排名的Spearman秩相关系数达0.929（p<2e-7），验证了自动评估生态系统的可靠性。排名显示专有模型仍占主导（Nano Banana Pro第一，Elo 1,096），但开源模型通过架构效率展现出强竞争力（FLUX.2 [klein] 9B Elo 1,039）。第三，多维评估揭示了指令执行与视觉一致性的内在权衡。GLM-Image和Bagel表现出编辑不足陷阱：它们的VC分数虚高（1,109和987），恰恰因为IF能力弱（787和820）无法有效修改图像。这验证了多维排名的必要性——孤立评估视觉一致性不足以评估真正的编辑能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视觉一致性评估（VCReward-Bench） | 平均准确率 | 81.82% | GPT-5.1: 76.89% | 提升4.93个百分点 |
| 视觉一致性评估（EditReward-Bench） | 平均准确率 | 82.44% | GPT-5.1: 78.68% | 提升3.76个百分点 |
| 颜色改变任务（VCReward-Bench） | 准确率 | 87.04% | GPT-5.1: 75.96% | 提升11.08个百分点 |
| 背景改变任务（VCReward-Bench） | 准确率 | 86.13% | GPT-5.1: 80.08% | 提升6.05个百分点 |
| 综合排名相关性（16个模型） | Spearman秩相关系数 | 0.929 | N/A | p<2e-7，高度显著 |
局限与改进
本文存在以下局限性：第一，基准规模受限。为保持实用性，当前基准限制在1,200个测试样本，可能降低单个编辑任务内的样本多样性。作者承认未来需要扩展数据集并探索更高效的评估和采样策略。第二，偏好数据构建依赖预训练模型。对象中心和人类中心管道依赖SAM、CLIP、DINOv3等基础模型提取区域特征，这些模型可能引入潜在偏差。作者指出减轻继承偏差、提高底层特征提取器的鲁棒性是未来迭代的重要方向。第三，排除了多图像输入编辑任务。由于开源VLM在多图像理解上与专有模型存在显著差距（Qwen2.5-VL-7B在四图像设置下比GPT-4o低8.41%），本文聚焦于单图像编辑任务，这限制了评估范围。第四，开放集任务的构建依赖人工筛选。100个开放集指令从Reddit、X等平台手动收集，可能存在选择偏差，且难以完全代表真实世界的编辑需求分布。
独立分析的弱点
从独立分析的角度，本文存在以下弱点：第一，区域解耦的准确性依赖基础模型。编辑区域的定位依赖Qwen3-VL-8B-Instruct的grounding能力，当指令模糊或涉及抽象概念时（如让图片更有艺术感），定位可能不准确，导致偏好数据质量下降。改进方向是引入人类验证环节或设计更鲁棒的定位策略。第二，偏好数据的阈值选择（前30%/后30%）是经验值。虽然消融研究确定了每任务1,500样本的最优规模，但30%的阈值缺乏理论支撑，可能丢弃了中等差距但仍有信息量的样本。改进方向是探索自适应阈值或软标签策略。第三，PVC-Judge仅针对视觉一致性优化。虽然这是最难评估的维度，但IF和VQ仍依赖GPT-4o，整个评估生态系统并非完全开源。改进方向是为IF和VQ也训练专用的成对评估模型。第四，开放集任务缺乏标准答案。100个开放集指令没有预定义的编辑类别，难以自动化评估，目前依赖定性分析。改进方向是为开放集任务设计更灵活的评估框架。
未来方向
作者提出将PVC-Judge集成到训练循环中作为奖励模型，用于精确图像编辑的强化学习。基于本文成果，可延伸的研究方向包括：第一，将区域解耦思想应用于视频编辑评估，视频的时间维度增加了编辑区域追踪的复杂性，但核心思想（区分有意编辑和无意变化）仍然适用；第二，开发多模态奖励模型，同时评估IF、VQ、VC三个维度，避免依赖多个独立模型；第三，探索主动学习策略，让PVC-Judge识别最具信息量的样本进行人工标注，持续提升评估能力；第四，将评估框架扩展到3D编辑、多模态编辑等新兴领域，验证方法的泛化性。
复现评估
本文的复现条件较为友好。代码和数据已开源（项目页面提供链接），包括GEditBench v2基准、PVC-Judge模型权重、VCReward-Bench数据集。算力需求方面，PVC-Judge基于Qwen3-VL-8B-Instruct微调，使用8块NVIDIA L40S GPU训练3 epochs，属于中等规模训练。偏好数据构建需要调用Gemini 3 Pro等商业API，但作者也提供了已构建好的偏好数据集。主要复现难点在于：1）候选图像生成需要7个编辑模型，部分为闭源（如Nano Banana Pro）；2）VCReward-Bench的标注需要专业人员进行成对比较；3）完整评估16个模型需要大量推理资源。总体而言，直接使用作者提供的资源较为容易，但从头复现整个流程需要中等以上的算力和人力投入。
论文图表
