Ref-Adv：探索多模态大语言模型在指代表达任务中的视觉推理能力 Ref-Adv: Exploring MLLM Visual Reasoning in Referring Expression Tasks
提出Ref-Adv基准测试，暴露MLLM在指代表达理解上对视觉捷径的依赖
前置知识
指代表达理解（Referring Expression Comprehension, REC）
REC是计算机视觉和自然语言处理交叉领域的核心任务，目标是给定一张图像和一个自然语言描述（如穿红衣服的正在跑步的男人），模型需要在图像中定位到该描述所指的具体区域，输出一个边界框（bounding box）。这个任务要求模型同时理解语言中的多个描述符（descriptors），并在视觉上逐一验证候选对象是否符合这些描述符。REC已成为评估多模态大语言模型（MLLM）细粒度语言-视觉对应能力的关键基准。
本文的核心贡献就是提出一个更难的REC基准测试，理解REC任务的定义和评估方式是阅读本文的前提。
RefCOCO/+/g 经典基准
RefCOCO、RefCOCO+和RefCOCOg是REC领域最广泛使用的三个基准数据集，分别基于COCO图像构建。RefCOCO允许使用位置词，RefCOCO+禁止使用位置词，RefCOCoG则要求更自然的语言描述。这三个数据集自2014-2016年发布以来一直是该领域的标准评测基准，目前主流MLLM在这些数据集上的准确率已超过90%，接近饱和。
本文通过详细分析这三个经典基准的局限性来论证为何需要新的基准测试，是论文motivation的核心参照物。
Grounding Shortcut（定位捷径）
这是本文提出的一个关键概念。当一个指代表达包含多个描述符，但图像中只有很少的干扰物（distractors，即与目标同类的不同实例）时，模型只需匹配部分描述符就能正确定位目标，而无需理解整个表达。例如表达描述了5个属性，但图像中只有1个干扰物，模型可能只需匹配2个属性就能区分目标，其余3个描述符变成了冗余信息。这导致模型表面上准确率很高，但实际上并未真正进行多步推理。
这是本文发现的现有基准最核心的问题，Ref-Adv的设计目标就是消除这种捷径。
Hard Distractor（硬干扰物）
硬干扰物是指与目标对象在部分属性上相似、但不完全满足指代表达的同类别干扰实例。例如，如果目标是戴墨镜穿红衬衫的人，那么一个戴墨镜穿蓝衬衫的人就是硬干扰物，因为它匹配了戴墨镜这个属性但不匹配穿红衬衫。硬干扰物的存在迫使模型必须完整理解并验证所有描述符，而不能仅凭单一属性就做出判断。
硬干扰物是Ref-Adv数据集质量的核心保障，论文的数据收集流程专门设计了识别和利用硬干扰物的机制。
Chain-of-Thought (CoT) 推理
链式思维推理是一种提示技术，要求大语言模型在给出最终答案之前，先输出中间推理步骤。在视觉定位任务中，CoT可以让模型显式地列出候选对象、逐一验证描述符、排除不符合的选项，最终得出目标。这种显式推理过程有助于处理需要多步推理的复杂任务，但也会增加推理时间和计算成本。
本文发现CoT在Ref-Adv上能显著提升模型表现（而在RefCOCO上效果有限），这说明Ref-Adv确实对推理能力提出了更高要求。
研究动机
现有指代表达理解（REC）基准测试——RefCOCO、RefCOCO+和RefCOCoG——存在三个严重缺陷，无法真正评估多模态大语言模型的视觉推理能力。第一，表达过于简短：RefCOCO和RefCOCO+的平均表达长度仅约3个词，如Find pizza，这样短的表达几乎不需要语言推理，也很少涉及视觉验证多个属性。第二，干扰物太少：大多数图像中只有1个同类干扰物，如Figure 2(b)所示，当干扰物数量极少时，模型只需推断目标类别然后从少量候选中选择即可，不需要复杂的推理过程。第三，存在定位捷径：当表达描述符数量远多于干扰物数量时，很多描述符变成冗余的，模型只需匹配部分描述符就能定位目标。论文通过实验发现了一个反直觉的现象——更长的表达反而可能带来更高的准确率，因为更多冗余描述符增加了模型通过子集匹配碰对的概率。例如，Qwen2.5-VL-72B在RefCOCO/+/g上已达到88.9%-92.7%的准确率，接近饱和。
本文的目标是本文的目标是构建一个现代REC基准测试（Ref-Adv），使其能够真正挑战当代多模态大语言模型的视觉推理和定位能力。具体而言，Ref-Adv需要满足以下要求：（1）保持经典REC任务设置（单张图像+自然语言表达+输出边界框），不改变任务范式；（2）使用自然的、多样化的表达，而非模板化生成的描述；（3）通过精心设计的干扰物和描述符平衡，消除定位捷径，确保模型必须理解完整表达才能正确推理；（4）包含需要否定推理（negation）的表达，增加推理复杂度；（5）提供可复现的评估流程和公开的子集（Ref-Adv-s，1,142个样本）。
与已有工作不同的是，虽然前人工作已指出RefCOCO(+/g)的表达长度问题（HC-RefLoCo提出平均长度约90词的表达）和干扰物缺失问题（Cops-Ref引入干扰物设置），但这些尝试都引入了新的问题。HC-RefLoCo的超长表达可能不自然，且由于描述符和干扰物数量严重失衡，反而更容易产生定位捷径。Cops-Ref的表达是从GQA场景图中用固定模板采样的，降低了自然性，且其多图像设置偏离了经典REC范式。本文的独特切入角度是：（1）采用两阶段LLM辅助流程，先识别硬干扰物对并提取区分性属性，再用最小子集组合生成最小充分的表达，从源头消除冗余描述符；（2）通过严格的验证协议（三人标注员一致性检查，保留率仅18.7%）确保每个表达都存在硬干扰物且无歧义；（3）首次对现代MLLM进行全面的消融实验（词序扰动、描述符删除），系统性地证明Ref-Adv的推理难度。
核心方法
Ref-Adv的构建采用了一个精心设计的四阶段数据收集流程，核心思想是最小充分表达——每个指代表达只包含恰好能够唯一标识目标的描述符，不多也不少。整体技术路线如下：首先从COCO和OpenImages v7中筛选包含至少3个同类别实例的图像；然后使用Set-of-Marks（SoM）标记法在候选实例上添加数字标签，输入GPT-4o进行相似性判断，让LLM识别出最相似的一对实例（目标+硬干扰物）并提取区分性属性；接着基于这些属性组合生成多样化的指代表达，策略包括正向描述目标属性和否定描述硬干扰物属性；最后进行三人标注员验证，确保表达正确性、无歧义性和硬干扰物的存在。这种两阶段设计（先提取属性再组合表达）是避免单步提示中LLM倾向生成冗余描述的关键创新。
本文的核心创新在于硬干扰物感知的最小充分表达生成策略。与现有方法的本质区别体现在三个方面：（1）vs 直接生成：早期尝试直接用GPT-4o一次性生成指代表达，但发现LLM倾向于生成包含大量冗余描述符的过度描述（overspecified descriptions），这会导致定位捷径。本文改为两阶段流程，先提取区分性属性再组合表达，从机制上避免冗余。（2）vs 场景图模板：Cops-Ref等方法从场景图中用固定模板提取表达，自然性差。本文用LLM直接生成自然语言表达，并通过多样化的组合策略（正向描述、否定描述、不同句式）确保表达多样性。（3）vs 无干扰物约束：HC-RefLoCo等长表达数据集不控制干扰物-描述符平衡。本文通过要求每张图像至少3个同类别实例、强制识别硬干扰物对、以及验证协议中的硬干扰物存在性检查，系统性地保证了描述符和干扰物之间的平衡。平均而言，Ref-Adv有4.01个干扰物，21.25%的表达使用否定，平均长度11.5个词。
方法步骤详情
Ref-Adv数据收集包含四个主要阶段：（1）输入准备：从COCO验证/测试集和OpenImages v7中筛选具有全景实例标注的图像，仅保留至少有3个同类别候选实例的图像。将所有边界框转换为绝对坐标格式 [x1, y1, x2, y2]，并在候选实例上添加数字标签（类似Set-of-Marks方法）。（2）相似性判断：将标注后的图像输入GPT-4o，要求识别最相似的一对实例（Group A，包含目标和硬干扰物）和其余实例（Group B）。对每对实例，提取2个组间区分性属性（区分A和B）和4个组内区分性属性（区分A中的两个实例，其中2个为可注意到的，2个为不易注意到的），每个属性提供多个替代表述。（3）表达生成：基于提取的区分性属性，采用两种策略生成表达——使用目标的正向描述符（如戴墨镜的人）和使用硬干扰物描述符的否定（如不戴项链的人）。同时输入图像以获得更准确和多样的表达。每对目标实例生成4个候选表达。要求LLM不提及数字标签相关内容。（4）人工验证：三位标注员独立验证每个图像-文本对，回答两个问题：表达是否正确且无歧义、图像中是否存在硬干扰物。标注员先尝试用表达在原始图像上定位，然后查看真实边界框进行反思，最终记录判断。仅当三位标注员全部同意时才保留该对。LLM生成表达的保留率为18.7%。
技术新颖性
Ref-Adv的技术新颖性体现在多个层面。首先，在数据集设计理念上，本文首次明确提出最小充分表达的概念，即每个描述符都必须是区分目标和干扰物所必需的，不存在冗余。这与传统数据集追求表达长度或复杂度不同，Ref-Adv追求的是描述符和干扰物之间的精确平衡。其次，在数据收集流程上，两阶段LLM辅助管线（先提取区分性属性再组合表达）是技术上的重要创新，有效解决了单步提示中LLM倾向过度描述的问题。实验表明，单步提示生成的表达保留率远低于两阶段方法。第三，在质量验证上，本文提出了三个系统性的消融实验来验证数据集质量：词序扰动（Bag-of-Words）实验验证了文本理解的必要性、描述符删除实验验证了表达的最小充分性、固定提示实验（the one）验证了模型偏差的影响。这些消融方法本身也是对REC基准测试评估方法论的贡献。第四，在评估协议上，本文首次在REC任务中系统性地引入CoT评估，发现CoT在Ref-Adv上的提升（GPT-4o从52.3%提升到63.7%）远大于在RefCOCO上的提升，证明了Ref-Adv的推理挑战性。
实验结果
本文的核心实验发现可以从多个维度来分析。首先，在整体性能对比上，Table 7显示所有被评估的13个MLLM在Ref-Adv上的准确率均大幅低于其在RefCOCO(+/g)上的表现。最强模型GPT-4o（配合SoM和CoT）在Ref-Adv上达到63.7%的Acc@0.5，而在RefCOCO/+/g上通常超过90%。开源模型表现更差，Qwen2.5-VL-72B+CoT为58.3%，InternVL-3-38B+CoT为57.2%，而Claude-3.5 Sonnet+SoM+CoT仅为45.2%。这暴露了当前MLLM视觉推理能力被严重高估的事实。其次，在干扰物数量的影响上，随着干扰物数量增加（4-6个和7个及以上），模型准确率持续下降。例如Qwen2.5-VL-72B+CoT在干扰物7个以上时Acc@0.5下降2.7个百分点（从58.3%降至55.6%），InternVL-3-78B+CoT下降3.0个百分点。第三，CoT的效果在Ref-Adv上显著。GPT-4o使用CoT后Acc@0.5提升11.4个百分点（52.3%到63.7%），Gemini 2.5-Flash提升8.8个百分点（50.6%到59.4%）。相比之下，CoT在RefCOCO(+/g)上反而可能有害，因为这些基准不需要复杂推理。第四，词序扰动实验（Table 3）表明，在Ref-Adv上打乱词序导致Qwen2.5-VL-72B准确率从58.3%骤降至41.5%（下降16.8%），而在RefCOCO上仅下降9.9%，证明Ref-Adv对文本理解的要求更高。第五，描述符删除实验（Table 4）表明Ref-Adv的每个描述符都更不可或缺，删除一个描述符在Ref-Adv上导致7.1%的下降（InternVL-3），而在RefCOCO上仅4.9%。第六，固定提示实验（Table 2）表明Ref-Adv受模型偏差影响最小，Qwen2.5-VL-72B在Ref-Adv的固定提示准确率仅21.4%，而在RefCOCO上为35.1%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 指代表达理解（Ref-Adv完整数据集） | Acc@0.5（IoU大于等于0.5） | GPT-4o+SoM+CoT: 63.7%; Qwen2.5-VL-72B+CoT: 58.3%; InternVL-3-78B+CoT: 58.4% | GPT-4o+SoM无CoT: 52.3%; Qwen2.5-VL-72B无CoT: 54.1% | CoT在Ref-Adv上带来显著提升，GPT-4o提升11.4%，Qwen2.5-VL-72B提升4.2% |
| 指代表达理解（RefCOCO/+/g对比） | Acc@0.5 | Ref-Adv上最高63.7%（GPT-4o+SoM+CoT） | 同模型在RefCOCO/+/g上通常超过90% | 准确率下降约30个百分点，暴露MLLM推理能力的高估 |
| 词序扰动消融实验 | BoW Acc@0.5 vs Original Acc@0.5的差值 | Ref-Adv: Qwen2.5-VL-72B下降16.8%, InternVL-3-14B下降13.7% | RefCOCO: Qwen2.5-VL-72B下降9.9%, InternVL-3-14B下降7.3% | Ref-Adv对词序更敏感，证明需要真正的文本理解 |
| 描述符删除消融实验 | 单描述符删除后Acc@0.5的下降幅度 | Ref-Adv: Qwen2.5-VL-72B下降6.4%, InternVL-3-14B下降7.1% | RefCOCO: Qwen2.5-VL-72B下降4.7%, InternVL-3-14B下降4.9% | Ref-Adv中每个描述符都更不可或缺，定位捷径更少 |
| 模型偏差测试（固定提示the one） | 固定提示下的Acc@0.5 | Ref-Adv: Qwen2.5-VL-72B仅21.4%, InternVL-3-14B仅22.8% | RefCOCO: Qwen2.5-VL-72B为35.1%, InternVL-3-14B为35.9% | Ref-Adv受训练数据偏差影响更小（差距13.7-15.4%） |
局限与改进
本文存在若干局限性需要指出。首先，Ref-Adv目前仅包含5,000个实例和2,833张图像，规模远小于RefCOCO/+/g（每个约7,500个实例、3,000张图像）。虽然论文公开了Ref-Adv-s子集（1,142个样本）用于可复现评估，但完整数据集的规模限制了其在大规模训练中的应用。其次，数据收集依赖GPT-4o进行表达生成和验证，这可能引入特定于GPT-4o的偏差。尽管有人工验证步骤，但LLM生成的表达可能仍然存在某些系统性的模式或偏好。第三，论文仅评估了边界框定位任务（bounding box grounding），未涉及分割任务（referring expression segmentation），这限制了结论的普适性。第四，Ref-Adv的图像来源是COCO和OpenImages，这些数据集的图像类型和场景分布可能无法完全代表真实世界场景的多样性。第五，论文发现CoT在Ref-Adv上带来显著提升，但未深入研究不同CoT策略（如思维链长度、推理步骤细化程度）对性能的影响。第六，虽然论文设计了硬干扰物识别机制，但对硬的定义和量化标准缺乏深入讨论——什么样的属性重叠程度算部分匹配？这个阈值如何影响数据集质量？第七，作者自己也承认，尽管进行了三人验证，LLM生成表达的保留率仅18.7%，这意味着大量表达因质量不达标被丢弃，数据收集效率较低。
独立分析的弱点
从独立分析的角度来看，Ref-Adv存在以下可改进的弱点。第一，数据集规模问题：5,000个实例对于全面评估MLLM的多样化能力可能不足，特别是对于细粒度的错误分析和长尾类别覆盖。改进方向是扩展到更大规模，或者设计更高效的数据收集流程以降低人工验证成本（当前每保留一个表达需生成约5.35个候选）。第二，表达多样性问题：虽然论文采用了正向描述和否定描述两种策略，但表达仍然集中在视觉属性（颜色、位置、大小）上，对更抽象的关系描述（如那个看起来很开心的人）覆盖不足。改进方向是引入更多样的描述维度和更自然的口语化表达。第三，评估指标单一：论文主要使用Acc@0.5/0.75/0.9和mAcc，未涉及更细粒度的错误类型分析。例如，模型是因为理解错了表达还是因为视觉定位不准？改进方向是设计分层的评估指标。第四，干扰物设计的局限：当前硬干扰物主要基于视觉属性的部分匹配，未考虑语义层面的干扰（如同义词、上下位词关系）。改进方向是引入语义相似度驱动的干扰物选择。第五，缺乏对模型内部机制的深入分析：论文展示了模型在Ref-Adv上的失败模式，但未深入分析失败的根本原因——是视觉编码器的特征提取问题还是语言理解模块的推理缺陷？改进方向是结合模型可解释性工具进行更深入的分析。
未来方向
论文作者和基于本文成果可以延伸的未来研究方向包括以下几个方面。首先，作者明确提出Ref-Adv旨在指导未来MLLM在视觉推理和定位方面的研究，具体方向包括：（1）开发专门针对Ref-Adv挑战的推理增强模型，例如结合强化学习训练模型进行逐步推理和验证；（2）设计新的训练范式，利用Ref-Adv的硬干扰物对作为困难负样本进行对比学习。其次，基于本文发现的CoT在Ref-Adv上的显著效果，未来可以探索更精细的推理策略，如自适应推理（根据问题难度决定推理深度）和多轮验证（让模型反复检查候选对象是否符合所有描述符）。第三，Ref-Adv的数据收集流程可以扩展到其他视觉-语言任务，如视觉问答（VQA）和图像描述生成，构建需要多步推理的困难基准。第四，本文发现的干扰物数量与准确率的负相关关系提示了一个有趣的研究方向：能否设计自适应的干扰物采样策略，根据模型能力动态调整任务难度？第五，可以将Ref-Adv的评估扩展到更多模型架构，如纯视觉定位模型（不使用LLM骨架）和多智能体系统，以更全面地理解当前视觉推理的能力边界。第六，可以探索Ref-Adv在模型训练中的应用，例如将其作为强化学习的奖励信号，或者在指令微调中引入Ref-Adv风格的训练样本。
复现评估
本文在可复现性方面做出了较好的努力。首先，论文公开了Ref-Adv-s子集（1,142个样本）和评估代码，网址为 https://ref-adv.github.io/，研究者可以直接下载使用。其次，数据收集流程在论文中有详细描述，包括四阶段管线的完整流程图（Figure 3）、GPT-4o的提示模板（Appendix C中的Listing 1和Listing 2）、以及验证协议的详细说明。第三，评估协议明确指定为Acc@0.5/0.75/0.9和mAcc，使用IoU作为定位精度的衡量标准，这是REC领域的标准评估方式。第四，论文提供了详细的API成本估算（附录D）：每个LLM生成的表达成本约0.00695美元，考虑到18.7%的保留率，每个有效表达的实际成本约0.0372美元，整个4,000个LLM生成表达的数据集成本约148.8美元。然而，完整数据集（5,000个实例）的完整复现可能面临以下挑战：（1）需要COCO和OpenImages v7的原始图像和标注数据；（2）需要GPT-4o的API访问权限（使用结构化JSON输出）；（3）需要Semantic-SAM模型用于SoM评估；（4）人工验证需要三位标注员，这是最大的人力成本。论文还承诺释放完整数据集的图像标识符、表达、目标区域和标注JSON格式，以及各模型的评估脚本和配置文件，这将大大降低复现难度。
论文图表
展示了三个典型例子说明现有REC基准的问题：（a）表达过短——用户只需找到pizza，MLLM可以直接匹配目标类别而无需推理；（b）干扰物过少——只有一个mouse，模型不需要理解dell mouse connected to the laptop的完整描述；（c）表达过度描述——表达包含多个冗余属性（in the background, jumping），但图像中干扰物很少，模型可以凭部分属性匹配。
这张图直观地展示了本文要解决的三个核心问题——表达过短、干扰物过少、定位捷径——是理解论文motivation的关键。
（a）展示了准确率与表达词数的关系，大多数样本表达很短（3-5个词），且较长表达的准确率反而更高，暗示存在定位捷径。（b）展示了准确率与干扰物数量的关系，大多数样本只有0-2个干扰物，且干扰物越多准确率越低，呈现明显的负相关。
这张图用数据量化了现有基准的局限性，特别是(b)图的负相关关系直接论证了为何需要更多干扰物。
展示了8个Ref-Adv样本，前3列为LLM生成的表达，第4列为人工撰写的表达。展示了表达的多样性和复杂性，如使用否定（not covered in more dust）、位置关系（farther to the one）、颜色区分（brown or black with a lighter tint）等。
这个表格直观展示了Ref-Adv数据集的表达质量和多样性，帮助读者理解数据集的实际样貌。
展示了Qwen2.5-VL、Qwen3-VL和Qwen3.5模型家族（2B到397B参数）在Ref-Adv-s子集上的结果，包括不同干扰物数量分组下的Acc@0.5。趋势与完整基准一致：准确率随干扰物数量增加而下降，Thinking模式变体显著优于同规模Instruct变体。例如Qwen3.5-397B-A17B达到68.0%的Acc@0.5，而干扰物7个以上时下降至56.6%。
这个表格展示了Ref-Adv-s的评估结果，验证了子集与完整基准的一致性，并展示了模型规模和推理模式的影响。
展示了13个MLLM（包括GPT-4o、Claude-3.5、Gemini 2.5、InternVL-3、Qwen2.5-VL、GLM-4.5V、CogVLM）在Ref-Adv上的Acc@0.5/0.75/0.9和mAcc，以及在不同干扰物数量分组下的表现。GPT-4o+SoM+CoT达到最高63.7%，其他模型均在50-59%区间。干扰物7个以上时所有模型准确率进一步下降。
这是论文最核心的实验结果表，展示了当前最先进MLLM在Ref-Adv上的表现，揭示了视觉推理能力的巨大差距。