DLEBench：评估指令驱动图像编辑模型的小尺度物体编辑能力 DLEBench: Evaluating Small-scale Object Editing Ability for Instruction-based Image Editing Model

DLEBench的构建分为三个阶段。第一阶段是元数据构建：从三个视觉推理基准（MME-Realworld、Pixel-Reasoner、V*-Bench）收集2043个原始样本，每个样本包含图像 I、问题 Q、正确答案 A 和干扰选项 O。使用GPT-4.1执行反事实合成：选择一个错误选项 A_neg 作为目标属性，生成编辑指令（如将围巾从红色改为绿色）、源描述 SC、参考描述 RC、目标物体 TO 和指令类型 Type（7种：Change Material、Change Color、Change OCR、Change Shape、Removal Object、Replace Object、Change Count）。第二阶段是参考图像生成：采用裁剪编辑策略，首先使用人工标注的边界框定位目标物体，然后应用自适应扩展策略（扩展比例 lambda(s) 根据物体大小动态调整，lambda_max=6.0，lambda_min=0.3），裁剪区域后使用Gemini-3-Pro生成参考图像。第三阶段是人工验证：检查语义一致性（边界框是否准确包含目标、元数据是否与原始逻辑一致）和视觉一致性（参考图像是否严格遵循指令），最多重试3次，仍不满意则丢弃样本。最终得到1889个高质量样本。评估方面，设计了Instruction Following（IF）和Visual Consistency（VC）两个标准，每个标准采用4级层次化评分（IF: Flawless Execution、Over Modification、Wrong Action、Localization Failure；VC: Perfect Consistency、Single Anomaly、Multiple Anomalies、Scene Collapse），避免模糊的量化描述。

本文的技术新颖性体现在多个层面。首先，在数据构建方面，反事实合成策略开创了一种新的数据转换范式。传统方法需要为每张图像人工编写编辑指令，成本高昂且难以规模化。本文巧妙地利用视觉推理数据集的内在结构，将问答对转化为编辑对，实现了半自动化的数据构建。这一思路对其他需要配对数据的任务也有启发意义。其次，在评估设计方面，双模式框架是对LMM-as-a-Judge范式的重要改进。现有评估方法要么完全依赖LMM的主观判断（易受感知偏差影响），要么依赖固定指标（缺乏语义理解）。本文的Tool-driven Mode代表了一种LMM+工具的评估新范式，让评估器能够像人类一样主动获取信息。Oracle-guided Mode则提供了一种控制变量的评估思路，通过消除定位误差来单独评估编辑质量。最后，层次化的评分标准设计（基于失败模式而非主观印象）显著提升了评估的可复现性和错误诊断能力，这一设计理念可以推广到其他细粒度评估任务。

基于对论文的深入分析，我识别出以下主要弱点。第一，指令类型分布的严重不平衡（Change Color: 699 vs Change Shape: 23）可能导致某些结论过度依赖特定类型。例如，如果某个模型恰好在Change Color上表现优异，但在其他类型上表现平庸，其整体排名可能被高估。改进方向是采用分层采样或加权评估来平衡各类型的贡献。第二，参考图像生成流程引入了对Gemini-3-Pro的依赖，形成了一种用被评估模型的同类来生成评估标准的循环问题。虽然裁剪编辑策略降低了直接编辑失败的风险，但如果Gemini-3-Pro在某些特定模式上有系统性偏差，这些偏差会被污染到整个基准中。改进方向是引入多个参考模型或人工生成部分参考图像作为对照。第三，评估标准虽然比传统方法更客观，但仍存在边界模糊的情况。例如，Single Anomaly和Multiple Anomalies的界限在某些场景下可能难以判断（一个变化导致的连锁反应算一个还是多个）。改进方向是提供更详细的案例库或训练专用的评估模型。第四，7种指令类型仅覆盖了属性修改和物体操作两大类，未涵盖空间变换（移动、旋转）和关系编辑（改变物体间的空间关系）等常见编辑类型，这限制了基准的覆盖面。

作者在结论中提出了明确的未来方向：开发自动化数据扩展流水线以提升指令分布的多样性和平衡性，同时纳入更复杂的编辑操作（移动、缩放、旋转）和多指令耦合场景。除此之外，基于本文成果还可以延伸以下方向。第一，可以探索小尺度物体编辑与图像修复（Inpainting）的交叉，研究如何利用小尺度编辑能力来精准修正生成图像中的局部缺陷。第二，可以将DLEBench扩展为多尺度编辑基准，系统性地研究模型在不同尺度下的性能退化曲线，为模型设计提供指导。第三，可以探索专门为小尺度编辑设计的训练策略，例如引入尺度感知的注意力机制或设计小目标增强的数据增强方法。第四，本文发现的保守策略优于激进策略的观察（Bagel-Think在VC上远超GPT-Image-1，尽管IF得分更低）值得深入研究，可能启发新的模型设计哲学。第五，双模式评估框架可以推广到其他细粒度评估任务，如医学图像分析、遥感图像解译等对精度要求极高的领域。

本文在可复现性方面表现良好。数据集DLEBench包含1889个样本，虽然作者未明确说明是否会开源数据集，但论文中详细描述了三阶段构建流水线的每个步骤，包括GPT-4.1的提示词（Table 15）、自适应扩展策略的参数设置（lambda_max=6.0，lambda_min=0.3，S_min=32，S_max=256）以及人工验证的标准。评估框架使用的工具（GroundingDINO、Real-ESRGAN）都是公开可用的。论文还提供了详细的标注指南（Appendix A）和评分标准（Tables 3和5），以及评估框架中使用的所有提示词（Appendix G）。所有被评估的模型都可以通过公开API或开源权重获取。算力需求方面，评估本身不需要大量计算（主要是API调用），但参考图像生成需要调用Gemini-3-Pro API，这可能产生一定成本。总体而言，按照论文描述复现基准构建和评估流程是可行的，但需要注意GPT-4.1和Gemini-3-Pro的API版本差异可能带来细微的结果变化。