CREval：复杂指令下创意图像编辑的可解释自动化评估框架 CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions

CREval方法包含三个完整阶段。第一阶段是基准构建：首先从公开资源和现有数据集（如Hq-Edit、ShareGPT-4o、LAION-5B等）中精选高质量图像，涵盖真实图像和合成图像。然后为每个创意维度提供代表性示例，引导GPT-4o生成与维度一致的编辑指令。指令需要覆盖4-5个维度属性（如风格+颜色+细节），逻辑清晰（包含操作对象和具体修改方法），基于原图视觉特征进行创意深度变换，长度不超过65词。最终得到874个图像-指令对。第二阶段是评估问题生成：对于每个图像-指令对，使用不同MLLMs（如Qwen2.5-VL-72B）采用CoT方法生成三个指标的评估问题-答案对。IF问题分解指令意图，确保结果与指令要求一致且内容完整表示；VC问题识别应保留的视觉元素并分配1-3的重要性权重（3分：核心身份或功能元素；2分：重要场景或关联元素；1分：次要细节）；VQ问题关注整体真实感、自然外观和无伪影。每个指标至少5个问题，总共不少于15个问题。第三阶段是评估执行：将原始图像、编辑图像、指令和评估问题输入MLLM评估器，判断其回答是否与参考答案匹配。最终分数使用加权平均公式计算，其中IF和VC权重为0.4，VQ权重为0.2（因为MLLM对细微视觉伪影不够敏感）。

CREval的技术新颖性体现在多个方面。首先，它创新性地将评估从整体打分分解为细粒度的问答任务，每个问题都有明确的判定标准，这是对传统MLLM评估范式的根本改变。其次，引入重要性权重机制（1-3分）来区分不同视觉元素对身份识别的贡献程度，这是对视觉一致性评估的重要创新。第三，提出4:4:2的权重配置平衡不同指标的重要性，同时考虑当前MLLM的局限性。第四，通过使用不同的MLLMs（如GPT-4o和Qwen2.5-VL-72B）分别生成问题和执行评估，减少评估偏见。第五，CREval-Bench专注于复杂创意编辑，涵盖3大类（Customization、Contextualization、Stylization）9维度，这是对现有评估基准的重要补充。相比需要手动标注或依赖COCO训练的目标检测器的方法，CREval完全自动化且适用于更灵活的自由式编辑场景。

独立分析发现CREval的几个弱点。第一，评估框架的计算成本较高：每个图像-指令对需要生成至少15个评估问题，然后用MLLM逐个回答，对于大规模数据集评估时间较长。改进方向可以包括优化问题生成策略（如使用更小的模型生成问题，更强大的模型执行评估）或开发并行的评估管道。第二，当前VQ评估对细微视觉质量差异不够敏感，MLLM评估器可能忽略扭曲的肢体、多余的手指等伪影。改进方向可以包括引入专门的视觉质量评估模型（如NIQE、LPIPS等传统指标）作为补充，或者训练专门的MLLM评估器来检测细微缺陷。第三，重要性权重分配（1-3分）当前依赖MLLM自动判断，可能存在主观性。改进方向可以包括建立更标准化的权重分配指南，或者引入人类标注者进行校准。第四，评估问题数量固定为每个指标至少5个，但对于简单或复杂指令可能不够灵活。改进方向可以包括根据指令复杂度动态调整问题数量，或者开发自动问题重要性排序机制。第五，CREval主要关注编辑结果的质量评估，但不评估编辑过程的效率或可解释性。改进方向可以扩展评估维度，包括计算成本、生成速度、中间过程可解释性等。

作者提出的未来研究方向包括：第一，扩展CREval-Bench覆盖更多创意编辑维度和更复杂的指令类型，例如多步编辑、推理密集型编辑等。第二，优化评估框架本身，包括改进权重配置策略、开发更高效的评估管道、降低对MLLM评估器的依赖。第三，探索将CREval应用于其他视觉生成任务，如文本到图像生成、视频编辑、3D内容生成等。第四，基于CREval的评估结果，指导图像编辑模型的改进，例如针对VC得分低的模型开发更好的视觉一致性保持机制。基于本文成果可以延伸的方向包括：开发端到端的可解释图像编辑模型，不仅输出编辑结果，还输出详细的编辑决策过程；创建交互式评估工具，让用户可以实时查看每个评估问题的判定过程；研究跨模态的创意编辑，例如结合文本、图像、音频等多模态指令；探索个性化创意编辑，根据用户风格偏好定制编辑策略。此外，随着开源模型快速进步（如Qwen-Image-Edit-2509已接近闭源模型），未来可能看到开源模型在复杂创意编辑任务上超越闭源模型，这将促进更开放的研究和社区发展。

复现评估显示CREval的复现难度中等。代码已开源（https://github.com/ChonghuinanWang/CREval2026），提供了详细的评估管道和提示模板。CREval-Bench包含874个编辑样本和13K评估查询，但论文未明确说明是否公开发布完整数据集。评估需要访问多个图像编辑模型的API（闭源模型）或在本地运行开源模型，这需要一定的算力资源。开源模型评估可在标准GPU环境下完成，但闭源模型评估需要付费API访问。MLLM评估器（如GPT-4o）的使用也产生API成本。论文提供了详细的提示模板（补充材料中的Figure S3-S7），包括指令生成、IF问题生成、VC问题生成、VQ问题生成和评估执行的完整提示，这有助于复现评估流程。实验使用GPT-4o作为主要评估器，同时使用Qwen3-VL验证了鲁棒性，表明评估框架对评估器的选择相对稳健。总体而言，具备基本深度学习环境配置能力的开发者可以复现主要实验，但完整复现所有模型的评估可能需要较高的计算资源和API成本。