眼见未必为实：揭示评估型视觉-语言模型的盲区 Seeing Isn't Believing: Uncovering Blind Spots in Evaluator Vision-Language Models
用FOCUS基准诊断VLMs作为裁判的可靠性，发现成对比较最稳但仍存50%+漏检
前置知识
评估型VLM (Evaluator VLM)
把VLM本身当作"裁判"给其他VLM或文生图模型打分的范式。输入评估指令、任务输入与待评输出，输出分数或二元比较以及文字解释。常见三种范式：单答打分、参考答案打分、成对比较。
本文要测的就是这种"裁判VLM"是否可靠。如果读者不熟悉VLM-as-a-Judge的输入输出形态，就无法理解I2T/T2I两个split、四种prompt策略与三种范式的差异，更无法体会为什么"评判VLM"本身需要被系统性地元评估。
图像-文本 (I2T) 与 文-图 (T2I) 任务
I2T是模型读入图像+文本指令、输出自然语言的任务(如VQA、图像描述)。T2I则相反，模型读入文本prompt生成图像(如Stable Diffusion、Imagen)。I2T输出离散token可精确比对，T2I输出像素难以单一指标度量。
FOCUS专门拆成I2T和T2I两个split并各自定义四类扰动维度。不理解这两类任务输入输出形态的根本差异，就无法解释为什么T2I上评估VLM的失败率系统性高于I2T。
元评估 (Meta-evaluation) 与扰动基准
元评估是"对评估方法本身的评估"。常见做法是先准备带可控扰动(gold→perturbed)的输入对，看评估器能否可靠地给perturbation降分。源自Checklist(Ribeiro et al., 2020)和FBI(Doddapaneni et al., 2024)等对抗性评估框架。
FOCUS的设计哲学就是"如果扰动引入明确错误，评估器应能检测出降质"。不先理解"不依赖人打分相关性、而依赖方向性分数变化"的元评估范式，就无法理解为什么gold答案不必100%完美也能做实验。
幻觉 (Hallucination) 与组合/空间错误
幻觉指模型输出与输入在事实上不一致，如描述不存在的物体、错误的属性或空间关系。组合推理与物理合理性则是更难的高阶能力，需要多步推断"哪个物体在哪、相对什么、有没有违反物理"。
FOCUS的扰动维度几乎一一对应到这些已知失败模式：VG/VF对应实体/属性/空间错误，SI/SC对应语义/场景不一致，PP对应物理规律违反，TR对应文字渲染错误。读Table 1的扰动例子前必须先理解每一类对应的具体错误语义。
评估提示策略：Vanilla/Rubric/Axes/Axes+Rubric
对评估VLM的不同prompt设计层次：Vanilla仅给输入输出；Rubric再加一段评分规则；Axes预先定义若干评估维度(如准确性、流畅度)分别打分；Axes+Rubric同时给维度定义和每维度的具体规则。结构性越强通常越可解释但也可能过度敏感。
本文所有比较都围绕"同一范式内四种策略谁更可靠"展开。Table 2把12种组合的输入输出签名整理得清清楚楚，不理解Rubric与Axes的区别就读不懂Table 3里"Ax+R比R更好"的结论。
研究动机
近年来大型视觉-语言模型(VLM)越来越多地被当作"裁判"：在视觉问答(VQA)中给其他VLM打分、在文生图(T2I)中给图像生成模型打分(Zhang et al., 2023; Pu et al., 2025; Wen et al., 2023)。这种用模型评模型比人类评估更便宜可扩展，且可直接作为奖励信号喂给训练循环(Li et al., 2025; Yasunaga et al., 2025)。但evaluator自身的可靠性被严重低估：现有元评估多停留在evaluator与人类判断相关性(Kasaei et al., 2025; Hu et al., 2025)，没追问evaluator能否识别它本应识别的具体错误——比如I2T中区分虚构物体、属性错位、空间关系错误，T2I中识别物理违规、组合错乱、渲染错误。如果evaluator存在系统性盲区，给出的benchmark排名会误导研究，用作奖励模型则会"奖励错误的输出"，把幻觉和物理违规写进下一代模型。
本文的目标是本文的具体目标是提出FOCUS——一个面向evaluator VLM的元评估基准，专门用来"找盲区"而非"算相关性"。作者希望建立一套带可控扰动的测试集，覆盖I2T和T2I两大任务、40个扰动维度、超过4000条由人类审核过的人机协同标注样本(I2T 600 prompts、T2I 750 prompts起步)。在该基准上系统比较三种主流评估范式(single-answer scoring、pairwise comparison、reference-guided)和四种prompt策略(Vanilla/Rubric/Axes/Axes+Rubric)在四种前沿VLM(GEMINI-3.1-PRO、GPT-5.4、CLAUDE-OPUS-4.6、QWEN3.5-397B-A17B)上的可靠性，最终输出一组可操作的最佳实践：哪种范式+哪种策略+哪种模型最值得信赖。
与已有工作不同的是，与Checklist/FBI等文本领域的对抗性元评估不同，FOCUS把"perturbation-based meta-evaluation"首次系统迁移到视觉领域，覆盖I2T和T2I两端。作者的独特切入角度有三层：(1)不依赖人打分相关性，而是直接观察"perturbation后分数是否下降"，这样即使gold答案不是100%完美也能测出evaluator的方向性能力；(2)同时系统比较三种评估范式和四种prompt策略的交叉组合——之前工作只在某一范式下比较，缺乏跨范式的统一比较；(3)在扰动维度上参考了"文献中实际报告过的失败模式"(Huang et al., 2023; Meng et al., 2024; Jing et al., 2023; Bai et al., 2024)，把抽象的"可靠性"分解为四个可解释的类别(VG/SI/VR/LG或VF/SC/PP/TR)，让盲区"可定位、可命名"。
核心方法
FOCUS的整体思路是"用可控扰动检验evaluator是否敏感"。作者从7个I2T基准(MMBench, MMDocBench等)手工采600条prompt、7个T2I基准(MJ-Bench, T2I-CompBench++)采750条prompt；用GEMINI-3.1-PRO生成gold answer(I2T)、GEMINI-3-PRO-IMAGE生成gold image(T2I)。沿特定扰动维度(实体替换、属性错位、空间反转、虚构物体、物理违反、文字渲染错误)生成扰动版本：对I2T是 $f(P_{perturb}, I, T, A_{gold}) o (A_{perturb}, descr)$；对T2I先用语言模型生成编辑指令、再用图像编辑模型 $g(I_{gold}, f(P_{perturb}, T, I_{gold})) o I_{perturb}$ 把gold image改坏。所有扰动经人类三分类(valid/invalid/score-invariant)审核得4000+高质量实例，喂给4种evaluator VLM在3范式×4策略下评测，统计VP下降与SI上升。
本文核心创新有三层。第一层是"perturbation-based meta-evaluation"从文本向视觉的迁移：FOCUS不再用人类相关性做approximation，而是直接构造"应该被检测出的方向性错误"，并把盲区拆到40个扰动维度和8个扰动类别上，让"评估器哪里失灵"变得可定位、可解释。第二层是对评估范式与prompt策略的交叉系统化：Table 2和Table 3同时对比12种(3范式×4策略去重后)组合，并在四个VLM上跑，得到"结构化成对比较是最可靠的评估设置"这一清晰可推广的结论——这与text-only evaluator中"reference-based最佳"的结论相反。第三层是把"判别理由(justification)"作为额外信号源：作者让evaluator既输出分数也输出解释，再用GEMINI-2.5-FLASH去读解释判断"evaluator是否在文字中识别出了错误"，从而区分"评估器没看出来"和"评估器看出来了但分数没反映"两种不同的失败模式。
方法步骤详情
方法分五步。第一步是prompt采样与gold生成：I2T从7个公开benchmark人工抽600条(image+text prompt)、T2I抽750条；gold由GEMINI生成并经人类审核(允许非完美)。第二步是扰动维度定义：I2T四类共16维(VG: 实体替换/属性错位/空间反转/虚构物体/上位词泛化/重要细节缺失；SI: 上下文削减/文化错位/逻辑不一致；VR与LG各含若干维)，T2I四类共24维(VF/SC/PP/TR)。第三步是perturbation生成加人类审核：对I2T把 $P_{perturb}, I, T, A_{gold}$ 输入GEMINI得 $(A_{perturb}, descr)$；对T2I先让GEMINI生成编辑指令再让GEMINI-3-PRO-IMAGE实施编辑；人类审核者把每条标valid/invalid/score-invariant。第四步是evaluator评测：4种VLM在3范式×4策略下测试，pairwise与axes为消除position bias每条跑两遍顺序交换。第五步是指标计算：核心为VP下降与SI上升。
技术新颖性
技术新颖性可从四维度看。第一，跨任务跨范式的统一基准：FOCUS是第一个在I2T和T2I两端对12种评估组合做同口径比较的元评估基准，让"哪种设置最稳"的结论跨任务可推广。第二，directional score change而非human correlation的指标设计：作者明确指出perfectly accurate gold不必要，VP指标天然抵抗"gold不够完美"的批评，改进了元评估方法学。第三，扰动维度的层次化组织：从抽象类别(VG/SI/VR/LG, VF/SC/PP/TR)到具体维度再到具体例子(见表1的绿-红对照)，形成"类→维度→实例"的三层可解释结构，让evaluator失灵具备诊断价值。第四，把justification作为独立信号：图4显示single-answer下evaluator在文字里识别错误的频率显著高于分数中实际扣分的频率，揭示"理由正确、决策错误"这一被忽视的失败模式。
实验结果
实验在4个evaluator VLM × 3范式 × 4策略 × 4000+扰动实例上展开，核心发现六层。第一层(范式)：pairwise最可靠、single-answer最弱；T2I single-answer VP失败率超50%(如GPT-5.4 Vanilla 53.6、Axes 42.2)。第二层(prompt)：Axes/Axes+Rubric显著优于Rubric/Vanilla，如I2T single-answer Axes把Gemini VP从44.1降到28.2、Claude从41.6降到24.6。第三层(模型)：GEMINI-3.1-PRO在大多数组合最佳(pairwise I2T VP低至11.6%)，CLAUDE-OPUS-4.6虽通用榜单靠前却在评估任务上明显落后。第四层(类别)：I2T中VG/SI在single-answer下最难(>40%)；T2I中PP最难(>40%)，SC最易。第五层(推理预算)：high推理不总提升可靠性。第六层(理由vs分数)：single-answer下justification识别错误的频率比score-only高10-15pp。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FOCUS-I2T 单答打分 (Single-answer scoring) | VP下降 (valid perturbation漏检率，越低越好) | Gemini Axes 27.8 / Claude Axes 24.6 / GPT Axes 28.2 / Qwen Axes 33.3 | 同模型Vanilla策略(Gemini 32.3 / Claude 41.6 / GPT 44.1 / Qwen 40.6) | Axes策略相对Vanilla在I2T上平均降低VP约6-17个百分点，说明结构化prompt在I2T上稳定有效 |
| FOCUS-I2T 成对比较 (Pairwise comparison) | VP下降 (成对比较中evaluator未选出gold的比例) | Gemini Axes 11.6 / Claude Axes 14.5 / GPT Axes 15.7 / Qwen Axes 13.7 | 同模型Single-answer Axes(Gemini 27.8 / Claude 24.6 / GPT 28.2 / Qwen 33.3) | 相对single-answer Axes再降低约10-16个百分点，pairwise为I2T最稳范式 |
| FOCUS-T2I 单答打分 | VP下降 (越低越好) | Gemini Axes 33.0 / Claude Axes 42.2 / GPT Axes 34.0 / Qwen Axes 46.5 | Vanilla策略(Gemini 46.2 / Claude 53.1 / GPT 53.6 / Qwen 54.8) | Axes相对Vanilla在T2I上降低约8-15个百分点，但绝对水平仍高于pairwise，说明T2I单答打分可靠性本质上偏弱 |
| FOCUS-T2I 成对比较 | VP下降 (越低越好) | Gemini Axes 17.7 / Claude Axes 23.6 / GPT Axes 24.4 / Qwen Axes 25.9 | T2I Single-answer Axes(Gemini 33.0 / Claude 42.2 / GPT 34.0 / Qwen 46.5) | T2I成对比较相对单答打分降低约15-20个百分点，是T2I上唯一把VP压制到20%左右的范式 |
| FOCUS-T2I 参考打分 (Reference-guided) | VP下降 (evaluator给perturbed output打满分的比例) | Gemini 21.7 / Claude 27.9 / GPT 30.0 / Qwen 27.8 | T2I Single-answer Vanilla(Gemini 46.2 / Claude 53.1 / GPT 53.6 / Qwen 54.8) | reference-guided显著优于single-answer Vanilla，但整体仍略差于最佳pairwise策略 |
| FOCUS-I2T 参考变体实验 | VP下降 (orig vs 重新生成的gold reference, 越低越好) | Gemini Orig 15.08 / New 18.83 (+3.75), Qwen Orig 21.75 / New 23.10 (+1.35) | 默认gold reference下的VP | I2T上reference variation让VP略升(+1.35~+3.75)，说明文本evaluator对reference surface-level相似度敏感 |
| FOCUS-T2I 参考变体实验 | VP下降 (orig vs 重新生成的gold image, 越低越好) | Gemini Orig 21.65 / New 16.45 (-5.20), Qwen Orig 27.80 / New 17.28 (-10.53) | 默认gold reference下的VP | T2I上reference variation让VP反而下降(-5.20~-10.53)，说明图像evaluator在'语义正确但视觉多样'的reference下表现更好 |
局限与改进
作者明确承认四点局限。(1)FOCUS仅覆盖英语prompt和英文gold，对多语言评估可靠性没有结论。(2)perturbation生成严重依赖GEMINI家族，再用同家族模型评估，可能引入self-preference bias；没有用不同家族generator交叉验证。(3)4个evaluator中3个是闭源商业API，无法控制完整推理trace，"过度推理反而变差"只能speculative。(4)指标主要看directional score change，没纳入人类相关性或reward modeling下游表现。独立观察另有两点：(a)所有扰动由同一团队设计并由自家或合作者审核，标注者偏差难排除；(b)T2I perturbation受限于GEMINI-3-PRO-IMAGE编辑能力，部分"物理违反"可能因编辑失败变成score-invariant或invalid，从而低估evaluator在某些维度的真实难度。
独立分析的弱点
独立分析本文有四处可改进弱点。第一，扰动生成器和评估器同属Gemini家族，self-preference bias无交叉验证；改进方向是引入GPT/Claude/Qwen作为generator做4×4 cross-family矩阵。第二，40个扰动维度的"难度"由FOCUS自身评估，未与人类感知对齐；改进方向是收集人类难易度评分做"难度分层报告"，看evaluator是否仅在subtle扰动上失灵。第三，justification-vs-score不一致(图4)只用GEMINI-2.5-FLASH做meta-judge，又形成VLM-judging-VLM-judging-VLM循环；改进方向是用规则化或人审方式判断justification是否提到扰动关键词。第四，参考变体实验(Table 4)只跑了4种组合，改进方向是扩展到4模型×2任务全组合。
未来方向
作者第6节提出若干方向，本文结果自然延伸更多。(1)把FOCUS从benchmarking推广到reward modeling场景：既然evaluator漏检率高达50%+，用作RLHF reward很可能强化错误行为；下一步应在VLM训练循环中对比"FOCUS筛选过的evaluator"与"未筛选evaluator"的最终模型质量。(2)开发perturbation-aware evaluator或chain-of-judgement提示：受图4启发，设计prompt让evaluator先列可疑维度再统一扣分以对齐reasoning与score。(3)扩展到多模态扰动(同时改text和image)或视频模态；当前FOCUS仅覆盖image+text。(4)扰动生成器去偏：引入cross-family generator并加人类难易度标注。(5)基于FOCUS的"可解释盲区地图"开发evaluator专项微调数据集，让evaluator在最难类别(PP/VG)上专项强化。(6)研究"过度推理反而变差"的机制：open-source Qwen是天然试验台。
复现评估
FOCUS复现门槛中等偏低。代码与数据已开源(MIT License)：数据集托管在 https://huggingface.co/datasets/ai4bharat/Focus，代码在 https://github.com/AI4Bharat/focus2026。复现路径明确：(a)下载FOCUS数据集的prompt/gold/perturbation及人类审核标签；(b)调用4家evaluator API(Gemini/GPT/Claude/Qwen)在12种组合上批量运行；(c)按Table 3的VP/SI指标汇总。附录A.3列出7+7原始benchmark来源，附录C给出每种范式+策略的完整prompt模板，附录B详述标注工具与流程。主要不可复现部分是人类标注者(报酬合规但未公开名单)及商业API版本(若厂商更新结果可能漂移)。算力上不需要GPU训练(inference only)，但调用4家API × 4000+实例的token/image成本约在数百美元量级。复现瓶颈不在工程，而在API预算和标注一致性。
论文图表
