诊断参考间隙：视觉脚手架对多模态推理的有效边界 Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning
提出ReGap-Bench配对干预基准，证明任务匹配的视觉参考无需训练即可显著提升多模态推理
前置知识
多模态大语言模型（MLLM）
在大型语言模型基础上接入视觉编码器的模型，可将图像编码为视觉 token 后与文本一起送入 Transformer 进行统一处理。典型代表包括 GPT、Gemini、Claude、Qwen-VL、InternVL 系列。它们在物体识别、单步感知任务上表现强劲，但注意力机制对视觉 token 的寻址是隐式的，模型无法像人一样用手指指着某个物体在多步推理中反复回看，导致需要跨步骤绑定视觉信息时容易出错。
本文研究的正是这类模型在多步视觉推理中的系统性失败，所有实验对象都是 MLLM，理解其架构中视觉信息如何被隐式寻址是理解参考间隙的前提。
视觉例程（Visual Routines）
Ullman 在 1984 年提出的认知科学理论：复杂视觉推理由一系列基本操作组合而成，包括移动处理焦点、有界激活（把某个区域保持在活跃状态）、边界追踪、索引和标记已处理项等。例如数数需要反复执行"选中一个物体→判断类别→标记为已数→移到下一个"的例程序列。人类视觉系统内建了这些例程的执行机制。
本文的核心假设完全建立在该理论之上：三种视觉参考（编号、阴影、网格）分别外部化三类基本操作，"任务匹配的参考最有效"这一假设就是从例程与参考的对应关系推导出来的。
配对干预实验设计
因果推断中的对照实验思想：保持其他一切因素不变，只操纵一个变量，观察结果差异并将其归因于该变量。本文中每个问题渲染成多个版本的图像，场景、问题、标准答案完全相同，唯一差异是是否带有视觉参考，准确率之差即为参考的因果效应，类似药物试验中的处理组与对照组。
这是本文方法学的基础。没有配对设计，就无法把"参考的作用"从"训练差异"或"提示差异"中剥离出来，而这正是论文区别于前人工作的关键。
成对准确率（Pairwise Accuracy）
排序任务的部分得分指标：一个含 $n$ 个元素的排序包含 $n(n-1)/2$ 个元素对，成对准确率是预测排序中顺序正确的元素对占比，等于 $(\tau+1)/2$，其中 $\tau$ 为 Kendall 秩相关系数。它比精确匹配宽松，能部分奖励接近正确的排序。
论文的排序任务（角度、尺寸、时钟）在无参考条件下精确匹配准确率极低，核心结论大量依赖成对准确率来揭示参考带来的改善，不懂这个指标就看不懂 Tables 1/5/6。
视觉提示（Visual Prompting）
通过在输入图像上添加标注来引导视觉语言模型的技术总称，包括红圈提示（引导 CLIP 关注指定区域）、Set-of-Mark（给分割区域编号）、Visual Sketchpad（让模型生成辅助绘图）、PIVOT（用编号标注迭代细化动作提议）等。这些工作证明了图像标注可以改变模型行为，但通常不区分收益来源。
本文是视觉提示路线的系统化诊断版本：不仅验证"加标注有用"，还通过错配、不完整、规模三个对照分析回答"为什么有用、何时有用"，了解这条技术脉络才能看清本文的增量。
研究动机
多模态大语言模型在单步感知任务上已相当可靠，但在需要多步推理的视觉任务上频繁失败：模型可能看清了场景中的每一个物体，却在计数时重复数或漏数。现有研究大多把这类失败归咎于感知能力不足，于是竞相追求更高分辨率的视觉编码器和更细粒度的视觉特征。然而真正的瓶颈可能位于感知与推理之间——模型缺乏在推理过程中稳定引用视觉实体、区域或位置的内部机制。论文开篇给出了一个具体例子：让 GPT-5.4 mini 数一张图里有几个椭圆，它用"上中部附近 2 个非圆椭圆""左侧 2 个圆"这类模糊位置描述作答，结果把同一个椭圆数了两次，答出错误的 4；而同样的场景一旦给每个形状印上编号，它就按标签逐一列举 (5)(8)(12)，答对 3。此前针对该问题的两条路线各有缺陷：Lu 等人（2026）训练模型在推理中生成坐标和边界框，但收益无法与训练数据、架构差异分离；Izadi 等人（2025）在画线的同时修改提示指令，无法判断模型能否在没有额外指令时自发利用图像结构。此外，两类工作都对所有任务套用同一种参考，忽视了不同任务可能需要不同的视觉操作。
本文的目标是本文要建立一个受控诊断框架，精确回答三个递进的问题：多模态推理失败中有多大比例来自参考间隙而非感知缺陷？不同任务分别需要哪种视觉参考？模型规模能否消除这一缺陷？具体目标是构建 ReGap-Bench：五个视觉推理任务（形状计数、角度排序、尺寸排序、时钟排序、变换预测），每个任务 200 个场景，同一场景在"无参考"与"加参考"条件下渲染成多张图像，而物体、问题与标准答案完全不变。若加入某个参考 $c$ 后准确率提升 $\Delta(c) = \mathrm{Acc}(c) - \mathrm{Acc}(c_0) > 0$，即证明存在参考间隙。在诊断之上，论文还希望把发现转化为一个无需训练的视觉技能，让 agent 在推理时自主识别任务所需的视觉例程并动态绘制对应参考，最终在真实地图数据集 CartoMapQA 上验证其有效性。
与已有工作不同的是，本文的独特之处在于把"参考间隙"从感知失败中剥离出来做因果诊断。与 Lu 等人（2026）通过大规模原语监督、强化学习训练模型生成点与框的做法不同，本文完全不训练模型，仅通过干预输入图像来测量参考本身的效应，排除了训练数据或架构差异的干扰。与 Izadi 等人（2025）同时改变图像与提示的做法不同，本文在配对条件间保持提示文本完全一致，只有图像不同，因此收益只能归因于图像上的参考。更深一层的切入角度是"任务-参考匹配"：已有工作默认任何结构化标注都同等有益，而本文基于 Ullman 的视觉例程理论假设每种参考提供的信息类型不同，只有与任务所需例程匹配时收益最大，并用错配参考分析（网格线在计数上反而有害）、不完整参考分析（表盘数字越全收益越大）和模型规模分析（2B 到 235B 收益不消失）三组对照系统验证了这一因果机制，这在多模态推理评测中是首次。
核心方法
直觉上，这篇论文像做药物对照试验一样研究视觉参考：把同一道题渲染成"处理组"（加参考）与"对照组"（无参考）两个版本，题目内容、问题与答案完全相同，唯一变量是参考，准确率差异 $\Delta(c) = \mathrm{Acc}(c) - \mathrm{Acc}(c_0)$ 就是参考的因果效应。技术上，每个问题表示为三元组 $(s, q, y)$，其中 $s$ 是场景、$q$ 是问题、$y=f(s,q)$ 是由场景和问题唯一决定的答案。参考条件集合 $C$ 中的每个条件 $c$ 渲染出图像 $x_c = R(s,c)$，且必须满足三条性质：内容保持（不移动、删除或遮挡任何原有元素）、答案不变（$y$ 与条件无关）、答案不泄漏（编号与颜色对所有元素一视同仁，不暗示类别）。三种参考分别对应 Ullman 视觉例程中的三类基本操作：编号把视觉元素变成可寻址实体，支持标记与索引；阴影把区域显式化，支持有界激活；网格线提供规则的空间刻度，支持系统性焦点移动与边界追踪。基准共 5 个任务、1000 个场景、3800 张图像。
核心创新是把参考间隙变成一个可测量的因果量。已有工作把参考增强与模型训练或提示修改混在一起，无法回答"收益到底来自参考本身还是来自额外训练或提示"。本文的配对干预设计把参考隔离为唯一变量：同一场景、同一问题、同一答案，只改变图像上的参考系统，因此准确率差异只能归因于参考，这是与 Set-of-Mark、Visual Sketchpad 等视觉提示工作最本质的区别。第二个创新是"任务-参考匹配"假设：不同脚手架提供的参考信息类型不同，只有当它与任务所需的视觉例程匹配时才能带来最大收益。该假设通过三组对照分析得到闭环验证：错配分析显示形状计数上编号平均提升 11.3% 而网格线反而降低 4.1%，说明收益不是来自"多加了一些视觉标记"；不完整参考分析显示表盘数字从 0 个增加到 12 个时平均准确率单调上升（23.9%→25.3%→31.8%→38.0%），符合"稳定地址"机制而非一般性视觉增强；规模分析显示从 2B 到 235B 参数编号收益保持 9.0%–23.5%，说明这是结构性缺陷而非小模型限制。
方法步骤详情
第一步，从 Ullman 视觉例程理论确定五个任务各自依赖的基本操作：形状计数依赖索引与标记；角度排序依赖维持正确的角域（看错射线另一侧会把角度 $\theta$ 变成共轭角 $360°-\theta$）；尺寸排序依赖保持尺寸估计并移动焦点；时钟排序依赖把指针位置映射到稳定的圆形参考系；变换预测依赖跨面板追踪边界与位置。第二步，用 Python Pillow 从固定随机种子程序化生成 1000 个场景（每任务 200 个），从同一场景规格渲染出所有参考条件，共 3800 张图像；计数任务用几何标记消除类别歧义，并按集合包含规则计分（正方形也算矩形、平行四边形、梯形等）。第三步，用统一提示模板评测五个模型：Claude-Opus-4.7、Gemini-3.1-Flash-Lite、GPT-5.4-mini、Qwen3-VL-30B-A3B-Thinking、InternVL3.5-38B；主指标为精确匹配，排序任务额外报告成对准确率 $(\tau+1)/2$。第四步做机制分析：判别回复中的参考策略（系统性 vs 模糊性）、提取时钟读数正确率、测量阴影是否减少读成共轭角的错误。第五步，把三种参考打包为含规则、示例图与叠加脚本的视觉技能，在 CartoMapQA 的 100 个任务上用 Codex GPT-5.5 agent 测试自主选择参考的效果。
技术新颖性
与相关工作相比，新颖性体现在三个层面。其一是诊断方法学：Set-of-Mark、PIVOT、Visual Sketchpad 等视觉提示工作只展示"加了标注有用"，本文用配对干预把参考效应量化为 $\Delta(c)$，并系统检验错配、不完整与规模三个维度的对照条件，把相关性证据升级为因果证据，这在多模态基准设计中是首次。其二是理论框架：首次将 Ullman 1984 年的视觉例程理论（焦点移动、有界激活、边界追踪、索引、标记）系统映射到 MLLM 的参考脚手架设计上，建立了"例程类型对应参考类型"的可检验对应关系，并证明错配的参考甚至可能有害。其三是应用形态：把参考构造从人工提示升级为 agent 可自主调用的视觉技能，技能内含选择规则（什么任务用什么参考）、示例图像对与自动叠加脚本，在真实地图数据集上验证了无训练部署的可行性，为"视觉技能"这一概念给出了可复用的工程模板。
实验结果
核心发现有五点。第一，任务匹配参考在全部五个模型、五个任务上一致提升：编号使形状计数提升 6.0%–17.5%（感知较弱的 GPT 与 Qwen 各增约 17%），时钟排序提升 8.5%–25.0%（GPT 30.0%→55.5%）；阴影使尺寸排序提升 4.0%–11.0%，角度排序成对准确率显著上升（Gemini 76.4%→85.2%，Qwen 59.7%→68.0%）；网格线使尺寸排序提升 2.0%–8.0%，变换预测提升 2.0%–5.5%。第二，错配参考无效甚至有害：形状计数上编号平均 +11.3%、阴影仅 +1.7%、网格线 −4.1%，证明收益来自例程匹配而非"多加标记"。第三，机制证据充分：编号使时钟读数正确率 Gemini 从 58.2% 升至 82.5%、Claude 从 10.6% 升至 28.6%；GPT 读数本就准确（90.3%→90.8%），但漏报时钟从 34% 降至 12%，即编号改善的是中间步骤的完整性；阴影使读错共轭角 $360°-\theta$ 的比例近乎减半（Claude 3.3%→1.7%，Gemini 18.4%→8.5%），GPT 例外无改善。第四，参考间隙不随规模消失：Qwen3-VL 从 2B 到 235B，编号收益保持 9.0%–23.5%。第五，感知与参考失败可分离：Claude 数对全部形状 96.5%、单形状识别 95.9%，目标类计数却仅 72.0%。最终视觉技能在 CartoMapQA 上按叠加类型提升：编号 63.7%→70.1%、网格 92.5%→96.7%、阴影 33.3%→66.7%（仅 3 题），agent 在 57/100 题上自主绘制叠加。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 形状计数（ReGap-Bench，200 场景） | 精确匹配准确率 | 加编号后各模型提升 6.0%–17.5%，平均 +11.3%（如 Qwen3-VL-30B 45.0%→60.5%） | 无参考 plain 图像上的同一模型 | 平均 +11.3%；错配对照：阴影仅 +1.7%，网格线 −4.1% |
| 时钟排序（ReGap-Bench，200 场景） | 精确匹配准确率 / 单钟读数正确率 | 表盘编号使精确匹配提升 8.5%–25.0%；Gemini 读数正确率 58.2%→82.5% | plain 图像 | 精确匹配最高 +25%（GPT 30.0%→55.5%） |
| 角度排序（ReGap-Bench，200 场景） | 成对准确率 | 阴影下 Gemini 76.4%→85.2%，Qwen 59.7%→68.0%；读错共轭角比例近乎减半 | plain 图像成对准确率 | 最高 +8.8 个百分点（Gemini） |
| 尺寸排序（ReGap-Bench，200 场景） | 精确匹配 / 成对准确率 | 阴影精确匹配 +4.0%–11.0%（如 Claude 49.0%→53.5%）；网格 +2.0%–8.0% | plain 图像 | 阴影最高 +11%，网格最高 +8%；收益集中于尺寸差 <0.10 的相近对 |
| 变换预测（ReGap-Bench，200 场景） | 精确匹配准确率 | 网格线下 Gemini 67.5%→72.5%（+5.5%），其余模型 +2.0%–5.5% | plain 图像 | +2.0%–5.5%；Gemini 系统性使用网格坐标（51% 回复），GPT 为 0% |
| CartoMapQA 地图理解（100 任务） | 任务准确率 | 带视觉技能的 Codex GPT-5.5 agent：编号子集 63.7%→70.1%，网格 92.5%→96.7%，阴影 33.3%→66.7% | 无技能同一 agent（无叠加子集 86.0%） | 按叠加类型 +4.2% 至 +33.3% |
局限与改进
作者承认与可观察到的局限包括：基准为程序化合成场景，物体是几何图形而非自然照片，与文档、医疗影像等真实分布的差距可能限制结论外推；"任务-参考匹配矩阵"由作者依据视觉例程理论先验设定，只测试了预期匹配的组合，未穷举全部参考-任务配对（例如角度排序是否也能受益于编号并未检验）；每个任务只有 200 题，部分子分析样本极小——CartoMapQA 上阴影叠加仅 3 题，+33.3% 的提升统计意义有限；排序任务在 plain 条件下精确匹配准确率普遍低于 20%，主要结论依赖成对准确率这类部分得分指标，绝对水平仍然偏低；参考策略标注部分依赖人工判别与 LLM judge（Claude Sonnet 5），存在主观性；CartoMapQA 实验只用单一 agent（Codex GPT-5.5），技能的跨模型泛化未验证；此外参考叠加依赖场景可被程序化重渲染，这一前提在真实应用中并不总成立。
独立分析的弱点
第一，合成场景的生态效度问题：真实图像中物体边界模糊、类别连续（如"数一数图中有多少人"），编号叠加需要先做分割与跟踪，分割误差会串入参考系统本身；改进方向是用开放词汇分割模型加噪评估参考增益对分割质量的鲁棒性。第二，"参考必须画在原图上"这一假设可能过强：对高分辨率图像反复叠加会引入遮挡与混乱，网格线在形状计数上就有 −4.1% 的负效应；改进方向是探索旁路参考（原图与参考图并列输入）或可学习的软参考 token，避免污染原始感知。第三，匹配矩阵是手工设计的：论文只验证了预设的编号↔计数、阴影↔区域、网格↔测量对应，没有系统搜索 3×5 全组合；改进方向是构建自动化的参考-任务匹配搜索，甚至让 agent 在验证集上自学习映射表。第四，技能实验缺乏组件消融：技能含规则、示例图、脚本三个组件，但只报告了整体与按叠加类型分组的准确率，无法判断哪个组件贡献最大。第五，所有参考条件共用同一提示模板，但部署时提示词与参考之间可能存在交互效应（如提示明确要求"用编号数"可能进一步放大收益），论文未探索这种联合调优空间。
未来方向
作者的隐含方向包括把视觉技能扩展到更多任务与真实数据（图表问答、文档理解、医疗影像计数、机器人场景操作），以及探索让模型内化参考机制的训练路线——例如把 Lu 等人的视觉原语训练与本文的外部参考诊断结合，验证内部化是否能达到外部脚手架的收益上界。基于本文成果可以延伸的方向：一是训练一个轻量"参考规划器"，根据任务描述与图像特征自动预测最优参考类型与参数（网格密度、编号布局、阴影强度）；二是把参考叠加嵌入多轮 agent 循环，在推理中途动态添加或更新参考，例如计数过程中给已数过的物体打叉，这直接对应 Ullman 理论中的"标记"操作；三是研究参考间隙与注意力模式、视觉 token 密度等内部机制的相关性，为架构层面的改进（如显式视觉寻址头）提供依据；四是把配对干预设计推广为通用评测协议，用于检测其他"感知与推理之间的缺口"，如视频时序跟踪中的身份绑定失败、具身任务中的空间指代失败。
复现评估
复现条件良好。论文承诺数据与代码开源于 regap-bench.github.io，基准全部由 Python Pillow 从固定随机种子程序化生成，无需采集或标注真实数据，任何场景规格都能精确重渲染，这正是配对设计可复现的天然优势；3800 张图像的规模使得数据侧完全可控。主要成本在模型推理：五个前沿 MLLM 中三个为闭源 API（Claude-Opus-4.7、Gemini-3.1-Flash-Lite、GPT-5.4-mini），按每任务 200 题、每题多条件计，单次完整评测的 API 费用估计在数百美元以内；开源模型 Qwen3-VL-30B-A3B 与 InternVL3.5-38B 单张 A100/H100 即可运行，2B–235B 的规模扫描中 235B-A2B 版本需要多卡环境。提示模板、参考策略标注规则、成对准确率与共轭角错误的分析实现均在附录 C/D 中完整给出。整体复现难度评级为中等偏低：核心实验无需训练，最大的不确定性仅在于闭源 API 的版本漂移。
论文图表
同一个椭圆计数场景对 GPT-5.4 mini 的两次提问：左侧 plain 条件下模型用"上中部附近""左侧"等模糊位置描述作答，把同一椭圆数了两次，答出错误的 4；右侧编号条件下模型按标签 (5)(8)(12) 逐一列举，答对 3。
这是全文论点的直觉起点，用一张对比图直观展示了"参考间隙"的含义：感知没有变，只是引用方式变了，答案就从错变对，适合放在动机部分。
错配分析：同一形状计数与时钟排序场景上施加三种参考的效果差 $\Delta$。形状计数上编号平均 +11.3%、阴影 +1.7%、网格线 −4.1%；时钟排序出现同样分离。
全文因果论证的关键图：证明收益不是来自"多加视觉标记"而是来自例程匹配，是区分本文与前人工作的核心证据。
角度排序的机制分析：阴影使读错共轭角 $360°-\theta$ 的比例近乎减半——Claude 3.3%→1.7%、Gemini 18.4%→8.5%、InternVL 23.9%→13.1%，而 GPT 13.3%→13.8% 无改善；随机排序对照约为 47.8%。
直接验证了"阴影通过显式化角域减少看错射线另一侧"这一因果链条，是全文机制分析中最精细的一个实验。