VIBE：视觉指令驱动图像编辑的系统性基准测试 How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing
首个评估视觉指令（草图/箭头）驱动图像编辑能力的分层基准，揭示现有模型在因果推理上的瓶颈
前置知识
视觉指令（Visual Instructions）
指通过视觉线索（如边界框、箭头、草图、骨架图等）来传达编辑意图的交互方式，与纯文本指令相对。视觉指令能够直接锚定空间位置，消除了文本描述中固有的空间歧义。例如，用红色箭头指示光照方向，用边界框标出需要删除的对象区域，用骨架图指定目标姿态。
本文的核心研究对象就是视觉指令驱动的图像编辑，理解视觉指令的形式和优势是理解整篇论文的基础。
LMM-as-a-Judge
使用大型多模态模型（Large Multimodal Model）作为自动化评估器的范式。与传统的像素级指标（如PSNR、SSIM）或语义相似度指标（如CLIP Score）不同，LMM评估器能够理解复杂的编辑任务要求，判断生成结果是否符合指令意图。评估时向LMM提供输入图像、文本指令、视觉指令和生成结果，由LMM输出二元评分。
本文采用GPT-5.1作为评估器，并验证了其与人类专家评分的高相关性（r=0.96），这是论文评估体系的核心组件。
Deictic Grounding（指示性定位）
认知语言学概念，指通过指示性线索（如手指指向、标记框）来锚定空间位置的能力。在本文中，边界框和箭头等视觉标记充当数字化的指示线索，帮助模型识别编辑操作的目标区域。这是视觉指令交互中最基础的能力层级。
这是本文提出的三级交互层次中的第一级，理解这个概念有助于把握论文的认知科学理论基础。
世界模型（World Model）
指模型内部对物理世界运行规律的隐式表征，能够预测物理事件的因果结果。在图像编辑场景中，具备世界模型的系统能够根据力向量预测物体运动轨迹，根据光照方向推断阴影变化。这需要模型超越像素级操作，进行物理因果推理。
论文的Causal Level任务专门评估模型的世界模型能力，这是当前模型最大的瓶颈所在。
研究动机
当前图像编辑系统和评估基准存在一个根本性局限：几乎完全依赖文本指令作为编辑引导。这种纯文本范式带来了双重认知负担。对于用户而言，仅通过文字精确传达空间或结构意图往往极其繁琐，需要冗长且严格的描述才能定位编辑目标。例如，要删除桌上的口红，用户可能需要写'移除粉色梳妆台上那个棕色的小口红状物体，位于深蓝色化妆盒右侧'这样复杂的指令。对于模型而言，理解这些密集的文本指令并将其转换为精确的空间坐标同样困难重重，容易产生歧义。然而，人类交流本质上是多模态的——我们自然地结合语言与视觉线索（如草图、箭头、区域标注）来消歧义并实现精确控制。现有基准如MagicBrush、EMU-Edit、ImgEdit-Bench等均只评估文本引导的编辑能力，完全忽略了视觉指令这种更自然、更高效的交互范式。
本文的目标是本文旨在填补视觉指令驱动图像编辑领域的评估空白，建立第一个系统性的基准测试框架。具体目标包括：（1）形式化视觉指令的概念，将其定义为提供直接几何锚定约束的空间显式信号；（2）设计一个认知动机驱动的三级交互层次结构，从基础的指示性定位到高级的因果推理，覆盖不同复杂度的视觉指令跟随能力；（3）构建高质量、多样化的测试数据集，包含1,034个人工标注或验证的样本，跨越10个功能不同的子任务；（4）开发任务特定的评估指标和可靠的LMM-as-a-Judge评估框架，实现可扩展且细粒度的能力评估。
与已有工作不同的是，本文的独特切入角度在于将认知科学中的交互复杂度理论引入图像编辑评估。与现有基准仅关注编辑操作类型不同，VIBE从'模型如何理解和执行视觉指令'的认知视角出发，将任务按照交互和推理复杂度进行分层组织。这种分层设计基于一个关键观察：不同类型的视觉指令对模型的要求存在本质差异——简单的区域选择（如边界框）只需要空间定位能力，而物理因果推理（如预测球的反弹轨迹）则需要内部世界模型。这种认知驱动的分层设计不仅能够更细致地刻画模型能力，还能揭示现有模型在哪些认知层次上存在瓶颈。此外，现有工作主要探索文本与视觉指令的独立使用，而本文还探索了两种模态的协同作用，发现它们在不同场景下具有互补关系。
核心方法
VIBE的核心思想可以类比为一个'视觉指令能力阶梯'。就像儿童学习语言从简单词汇到复杂句法一样，模型理解和执行视觉指令的能力也可以分为不同层级。在最底层，模型只需要像'指物认字'一样识别边界框标出的区域；在中间层，模型需要像'照图纸施工'一样将抽象的骨架图或草图转化为完整的视觉内容；在最高层，模型需要像'物理学家预测实验结果'一样根据力向量预测物体的运动轨迹。技术路线上，VIBE采用三个核心组件：（1）三级交互层次的任务体系，包含10个子任务；（2）高质量的人工标注数据集，共1,034个样本覆盖真实图像、动画和草图三种视觉风格；（3）基于LMM-as-a-Judge的评估框架，配合任务特定的评估指标。
本文最核心的创新在于提出了一个认知动机驱动的三级交互层次结构来组织和评估视觉指令跟随能力。这个层次结构的每一级对应不同的视觉指令角色和认知复杂度。在Deictic Level（指示层），视觉指令充当'选择器'，边界框和箭头等标记作为数字化的指示线索，指定编辑操作的空间位置，主要评估空间定位和基本视觉感知能力。在Morphological Level（形态层），视觉指令充当'蓝图'，骨架图或草图等稀疏表征指定目标变换的结构约束，要求模型将抽象形式映射为连贯的、风格一致的几何形状和外观。在Causal Level（因果层），视觉指令充当'催化剂'，力向量或运动箭头不描绘最终结果而是编码底层因果动态，要求模型具备内部世界模型来预测物理事件的逻辑结果。这种分层设计的本质区别在于：它不是按照编辑操作类型（添加/删除/替换）分类，而是按照模型执行指令所需的认知能力进行分类，从而能够更精确地定位模型的能力边界和瓶颈所在。
方法步骤详情
VIBE的构建和评估流程包含以下关键步骤。首先，在数据构建阶段，三个层级共10个子任务分别构建：Deictic Level包含Addition、Removal、Replacement和Translation四个任务，共享100张源图像（34张真实图像、33张动画、33张草图），所有视觉标注均为红色以保持一致性；Morphological Level包含Pose Control、Reorientation和Draft Instantiation三个任务，各有100个样本；Causal Level包含Light Control、Flow Simulation和Billiards三个任务，分别为100、100和134个样本。其次，在评估指标设计阶段，每个任务都有针对性的评估维度：Deictic Level评估指令遵循性（IA）、上下文保持（CP）和视觉连贯性（VC），最终得分为三者几何平均；其他层级设计类似但针对各自特点定制。最后，在评估执行阶段，采用GPT-5.1作为评估器，每个样本独立评估三次取平均以减少随机方差。
技术新颖性
VIBE在技术新颖性方面有三个显著贡献。第一，它是首个专门针对视觉指令驱动图像编辑的基准，填补了现有基准仅评估文本引导编辑的空白。与MagicBrush、EMU-Edit等现有基准相比，VIBE引入了视觉指令这一全新的评估维度。第二，三级交互层次结构的设计借鉴了认知科学中的交互复杂度理论，这种认知驱动的任务组织方式在图像编辑评估领域是首创。不同于RISEBench按时间/空间/因果分类或KRISBench按知识类型分类，VIBE的认知分层能够更精确地刻画模型能力的渐进复杂度。第三，验证了LMM-as-a-Judge框架在视觉指令评估中的可靠性，证明GPT-5.1评分与人类专家评分的相关性达到r=0.96，为该评估范式的有效性提供了实证支持。此外，论文还发现了文本与视觉指令的互补协同效应，这一发现对多模态交互设计具有重要启示。
实验结果
论文对17个模型（10个开源、7个专有）进行了全面评估，得出三个核心发现。第一，前沿专有模型已展现出早期的视觉指令跟随能力。Nano Banana Pro在Deictic Level的Addition、Removal和Replacement任务上分别达到82.17、94.07和88.26分，表明在明确的区域视觉指令下能够可靠执行编辑。Seedream 4.5在Removal任务上甚至达到95.82分的最高表现。第二，专有模型与开源模型之间存在显著且持续的性能差距。专有模型总体得分在44.21到65.15之间，而开源模型除FLUX2-dev（30.95分）外均低于25分。OmniGen作为最早的统一生成模型仅得4.49分，反映了当前开源模型在视觉指令理解上的严重不足。第三，所有专有模型的性能从Deictic Level到Causal Level呈现一致的下降趋势。Nano Banana Pro从Deictic的84.83分降至Causal的45.17分，Seedream 4.5从76.95分降至33.01分。即使最强的模型在Causal Level上平均分也低于50%，Billiards任务更是低至15.92分（Nano Banana Pro）和9.08分（Wan 2.6），表明复杂因果推理仍是重大挑战。此外，多任务评估显示从单任务到三任务组合，性能从84.83分降至75.48分（Nano Banana Pro），揭示了组合指令执行的能力缺口。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Overall (所有任务平均) | 综合得分 (0-100) | Nano Banana Pro: 65.15 | OmniGen: 4.49 | Nano Banana Pro领先60.66分 |
| Deictic Level (指示层平均) | 层级平均分 | Nano Banana Pro: 84.83 | OmniGen: 4.15 | 领先80.68分 |
| Removal (移除) | 任务得分 | Seedream 4.5: 95.82 | OmniGen: 7.48 | 领先88.34分 |
| Morphological Level (形态层平均) | 层级平均分 | Nano Banana Pro: 65.46 | OmniGen: 7.87 | 领先57.59分 |
| Draft Instantiation (草图实例化) | 任务得分 | Nano Banana Pro: 88.02 | OmniGen: 3.93 | 领先84.09分 |
| Causal Level (因果层平均) | 层级平均分 | Nano Banana Pro: 45.17 | OmniGen: 1.44 | 领先43.73分 |
| Billiards (台球轨迹预测) | 任务得分 | Wan 2.6: 9.08 | OmniGen: 0.00 | 领先9.08分 |
| 多任务组合 (单→三任务) | Nano Banana Pro平均分 | Triple Tasks: 75.48 | Single Task: 84.83 | 下降9.35分 |
局限与改进
论文存在以下局限性。首先，评估框架依赖GPT-5.1作为单一评估器，尽管验证了与人类评分的高相关性，但评估器本身可能存在系统性偏差，特别是在处理边缘案例时。其次，数据集规模相对有限，每个任务仅100-134个样本，总计1,034个样本，这可能不足以全面捕捉视觉指令跟随的所有变体和边界情况。第三，Billiards任务通过程序化合成而非人工标注构建，虽然经过人工筛选，但与真实世界场景存在域差距。第四，论文主要关注静态图像编辑，未涉及视频或3D场景中的视觉指令跟随能力。第五，评估指标虽然设计了多个维度，但主要采用二元评分，可能丢失了细粒度的性能差异信息。此外，论文未深入分析不同模型架构（如扩散模型vs自回归模型）对视觉指令理解能力的影响机制，也未探讨训练数据组成与模型表现之间的具体关联。
独立分析的弱点
从独立分析的角度，本文存在以下弱点。第一，评估指标设计过度依赖二元判断，可能导致评分粒度不足。例如，Instruction Adherence的三个子指标都是0/1二元评分，无法区分'部分正确'和'完全错误'的情况。改进方向是引入连续评分或多级评分，如采用Likert量表或百分比匹配度。第二，LMM评估器的选择可能存在偏差。GPT-5.1作为OpenAI的专有模型，可能对某些专有模型（特别是OpenAI自家的GPT-image-1）存在隐性偏好。建议未来采用多个独立的LMM评估器进行交叉验证，或开发开源的评估模型。第三，Causal Level的任务设计可能过于依赖物理模拟，而忽略了其他类型的因果推理。例如，缺少社会因果推理（如人物互动）、时间因果推理（如事件序列）等场景。建议扩展因果推理任务的覆盖范围。第四，多任务评估仅限于Deictic Level的组合，未探索跨层级的组合指令，这限制了对模型组合推理能力的全面评估。
未来方向
基于本文成果，未来研究可以在以下方向展开。首先，开发专门针对视觉指令理解的模型架构，当前模型主要在文本-图像对齐上训练，缺少对视觉标注的专门处理机制。其次，探索视觉指令与文本指令的自适应融合策略，论文发现两者具有互补性，但如何根据任务特点动态调整模态权重仍是开放问题。第三，将VIBE扩展到视频编辑和3D场景编辑，当前基准仅覆盖静态图像，而视觉指令在动态场景中可能发挥更大作用。第四，研究少样本或零样本的视觉指令跟随能力，当前评估主要针对现有模型，未探索如何通过少量示例快速适应新的视觉指令类型。第五，开发可解释的视觉指令理解机制，不仅评估模型是否正确执行指令，还能解释模型如何解析和理解视觉指令。此外，探索将视觉指令跟随能力与强化学习结合，通过人类反馈优化模型的指令理解能力。
复现评估
从复现角度来看，本文提供了较好的可复现性支持。数据集方面，论文提供了1,034个样本的详细构建流程和标注指南，包括每个任务的源图像收集标准、视觉指令标注规范和质量控制流程。虽然数据集本身可能未完全开源，但详细的构建方法使得复现者可以按指南构建类似数据集。评估框架方面，论文提供了完整的评估提示词（Table 6-29），包括每个指标的详细评分规则和输出格式要求。算力需求方面，评估主要依赖GPT-5.1 API调用，每个样本评估三次，总计约3,102次API调用，成本可控。复现难度中等，主要挑战在于获取被评估的17个模型的访问权限，特别是7个专有模型。开源模型（如FLUX2-dev、BAGEL系列）可以直接复现，但专有模型（如Nano Banana Pro、Seedream系列）需要API访问权限。建议复现者先从开源模型子集开始验证评估框架的有效性。
论文图表
左图展示传统文本引导编辑的局限性——用户需要冗长的文字描述来传达空间意图，认知负担高。右图展示视觉指令的优势——用草图直接标注目标，精确且直观。底部展示Nano Banana Pro模型对视觉指令的响应示例。
这张图直观地展示了本文的核心动机：为什么需要视觉指令基准，以及视觉指令相比文本指令的优势所在。