无关图像会动摇而非启发视觉语言模型评审：MIST 误导性图像压力测试 It's Not What the Image Shows: Irrelevant Context Destabilises VLM Judges Without Informing Them
无关图像的存在使VLM评审约16-20%的标注改变，但标签并不跟随图像内容
前置知识
VLM（视觉语言模型）
视觉语言模型是同时接收图像与文本并输出文本的多模态大模型，代表如 GPT-5.2、Gemini 3.5 Flash、Qwen3.6-35B 等。它通过视觉编码器把图像转成 token 序列，与文本 token 一起送入 Transformer，因此可以"看着图"做标注、回答或评审。活跃参数规模从 3B 到 32B 不等。
本文的评测对象正是 13 个此类模型：把它们当作替代人类标注者的自动评审（judge），研究无关图像是否会改变它们的标注。
alt-test（替代标注者测试）
判定 LLM 能否替代人类标注者的协议：让候选模型与一组人类标注者对同一批数据打标，若模型与该组的一致程度不低于留一法下被扣掉的成员，即通过。每评审只需一次运行就得到一个通过/不通过的替代性判决。
本文质疑的正是这种"一次运行定终身"的判决对测量条件的稳健性；作者还用 alt-test 筛出七个"值得扰动"的强评审作为主报告对象。
习语的字面与比喻读法
习语是整体意义不能由成分组合而来的多词表达，如 kick the bucket 意为"死"。同一字符串在不同句子中可分别按比喻或字面方式读：读法由句子决定，而非字符串本身，因此"是否习语"是字符串属性，"如何读"是句子属性。
这一语言学性质是 MIST 能做"标签保持的换图扰动"的基础：给句子配任一读法的图，正确标签都不变，标签变了就是评审出错。
Fleiss κ（多标注者一致性系数）
衡量多名标注者之间一致程度超过随机水平的统计量，取值约在 [-1,1]，经验上 0.4-0.6 为中等、0.6-0.8 为较好。它校正了随机同意的影响，适合三人以上无配对指定的标注一致性评估。
本文两个三人标注组的 Fleiss κ 分别为 0.65 和 0.57（p=0.22，差异不显著），作者以此证明任务本身难，而非某组被实验设计误导。
不变性测试（invariance test）
一种鲁棒性评测思路：扰动输入中不影响正确答案的部分，若模型输出随之改变即判失败。与对抗攻击不同，这里的扰动被构造为"答案保持"，因此任何输出变化都可以被明确定性为错误。
MIST 正是针对评审模型（而非任务模型）的不变性测试，且在第二种模态上、双向进行。抓住这一点才能理解"换图为何不算改变任务"。
研究动机
大语言模型正越来越多地替代人类标注者，alt-test 等协议用于判定这种替换是否成立，但这些协议通常只跑一次就给出判决：一个提示词、一种输出格式、一种数据呈现方式。然而真实数据往往附带模型本应忽略的上下文，比如一张图片或前一条消息；人类标注者可以被明确要求忽略无关信息，模型却未必做得到。已知的评审偏置包括偏好更长答案、偏好自己的输出、随评分格式和提示词漂移，但这些历来被当作可用工程手段修复的精度问题，而不是对"模型能否替代人类"这一判决本身的威胁。风险在于：一旦人类标注组被替换，其标签就会沉淀为评测集与训练数据，其中的错误会传导进下游模型比较并导致错误结论；而现有替代性判决完全不揭示其对上下文变化的稳健性。
本文的目标是本文要回答的问题是：一个替代性评测结论描述的究竟是评审模型本身，还是它被测量时的配置条件？为此作者构建 MIST（Misleading-Image Stress Test，误导性图像压力测试）：200 条英文句子，每条围绕一个潜在习语短语（target），并配以三选一的图像输入——描绘句子实际读法的对齐图、描绘相反读法的误导图，或完全没有图。标注指南要求标签只由句子本身决定，因此换图在构造上不改变正确答案，任何标签变化都是错误。在此之上量化三个问题：图像是否改变评审的标签（变化率）、改变的方向是否跟随图像所示语义（方向）、以及与人类标注的一致率是否变化（一致率），并配合 alt-test 检验替代性结论。
与已有工作不同的是，现有多模态评测的构造方向恰好相反：IRFL 和 AdMIRe 都把图像作为决策对象，换图本来就应该改变答案，因此无法测"应被忽略的上下文"；ID10M-JAM 虽保持标签不变，但扰动的是文本而非图像，且只算识别准确率；更接近的无关上下文研究度量的是任务准确率，而不是模型所要替代的人类标注者一致性。MIST 的独特切入是把它做成针对评审模型而非任务模型的不变性测试：在第二种模态上扰动、且提供两个方向（对齐与误导），从而第一次把"图像在场"与"图像内容"两种机制分离；同时设置一个只删除"忽略图像"指令段落而保留图像的提示编辑对照组，给出纯措辞改动的扰动上限作为基准线。
核心方法
MIST 建立在一个源自 AdMIRe 共享任务的公开指令微调数据上：该数据含 551 个英文潜在习语表达，每个表达有一句比喻用法和一句字面用法，各配一张对应语义的生成图像。作者抽取 200 个表达、每个保留一句（100 句比喻、100 句字面），把句子实际采用的读法称为"句子语义"；被丢弃行的现成图像恰好用作另一语义的图。每个条目有三种输入：对齐图（描绘句子语义）、误导图（描绘相反语义）、无图；句子语义与图像类型交叉得到四种条件——比喻句+字面图 T1、比喻句+比喻图 T2、字面句+字面图 T3、字面句+比喻图 T4，每类 50 个表达。评审侧评测 13 个 VLM（4 个闭源、9 个开源权重，活跃参数 3B 到 32B），关闭显式推理模式；每个评审在 4 种提示技术下、对每个条目产生 $4 \times (1 + 2 \times 2) = 20$ 个标签，总计 52,000 个，贪心解码且输出被约束为四个标签之一。
核心思想是"标签保持的图像交换"：标注指南明确要求标签只由句子决定，并告诉任何被图像干扰的标注者"当作图不存在来标注"。由于两张图都描绘目标短语的一种读法，唯一变化的变量是"展示的是哪种读法"而非"图是否与句子相关"，因此任何标签变化都可归因于评审被无关上下文扰动而非任务歧义。四个测量量构成完整证据链：变化率（图像是否动摇标签）、方向（在两图标签不同的格子里，多大比例朝图像所示语义移动，随机水平 50%）、一致率（与人类多数标签的精确匹配）、替代性（alt-test，知情组 $\varepsilon=0.20$、盲测组 $\varepsilon=0.15$）。点睛之笔是控制条件：固定图像、只删除"忽略图像"的指令段落，量出纯提示编辑的扰动上限，从而能断言"图像在场"比"指令怎么写"更能动摇评审。
方法步骤详情
① 数据构建：从 AdMIRe 衍生数据集（551 表达）抽取 200 个习语表达，每表达保留一句并定义句子语义（比喻或字面），被丢弃行的现成图像用作另一语义的图。② 标签体系：两个问题产生四个部分有序标签——Fully Literal（LL）、Figurative and Literal（FL）、Weak Figurative（WF）、Fully Figurative（FF），比喻程度从 FF 到 LL 递减。③ 人类标注：6 名流利英语者分为互斥的知情/盲测两组三人组，组内对同样 100 条独立打标，Fleiss $\kappa$ 为 0.65 与 0.57（$p=0.22$）。④ VLM 评审：13 模型 × 4 种提示（zero-shot、few-shot、CoT、few-shot+CoT）× 显式/沉默两种图像指令臂，每条目 20 标签、共 52,000 个，贪心解码。⑤ 测量：按 (条目, 提示, 评审) 格子计算变化率、方向、与人类多数的精确匹配一致率及 alt-test（知情组 $\varepsilon=0.20$、盲测组 $\varepsilon=0.15$）。
技术新颖性
技术新颖性有三点。其一，把不变性测试的对象从任务模型换成评审模型：以往扰动研究关心任务精度鲁棒性，本文关心"替代人类"这一判决对测量条件的敏感性，这在评估方法学层面是新的——扰动的是 VLM 评审，而非被评测的任务模型。其二，双方向扰动设计：同时提供语义一致与语义相反的图像，使作者能区分"图像在场"与"图像内容"两种机制，实验证明起作用的是前者——这是已有无关上下文工作（只测任务准确率）给不出的结论。其三，设置纯提示编辑对照（删指令、留图像），使"图像存在比提示措辞更能动摇评审"获得量化支撑：控制组仅改变 8.8%（七模型均值）或 11.6%（十三模型）的标签，远低于加图的 15.9%/20.5%。此外，作者发布全部人类与 VLM 标签，使实例级分析可复现、可复核。
实验结果
第一，替代性基线：知情组 52 个"评审×提示"格子无一通过 alt-test（门槛更严）；盲测组中 G3.5-F 与 Gm3-27B 在 $\varepsilon=0.15$ 下通过，7 个模型在 $\varepsilon=0.20$ 下通过，其余 6 个从未通过。第二，图像在场改变标签：7 个通过者加对齐图平均改变 15.9% 的标签、加误导图 14.7%，两者差距从不超过 5 个百分点，且逐个评审均高于控制组 8.8%；13 个评审全体为 20.5%、19.4% 对 11.6%；未通过者扰动更大（25.8%）。第三，标签不跟随图像内容：两图标签不同的格子占 17.1%，其中仅 37% 朝误导图所示语义移动、63% 反向；比喻句（683 格）38% 跟随、字面句（1,093 格）35%，均低于 50% 随机水平，通过者中最高仅 39%；71% 的变动不跨越比喻-字面分界，图像只是打乱答案而非改变读法判断。第四，一致率不动：无图 54.4%、对齐 53.7%、误导 54.7%，13 个评审中仅 5 个加图后精度下降——翻转按构造都是错误，但总量相互抵消，总体一致率看不到实例级不稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VLM 评审标签变化率（七个通过 alt-test 的模型均值，显式指令臂、四种提示合并） | 标签变化率（%） | 加对齐图 15.9%，加误导图 14.7% | 控制组：固定图像、仅删除"忽略图像"指令段落 8.8% | 加图扰动约为纯提示编辑的 1.8 倍，且对每个评审单独成立，证明是"图像在场"而非措辞在起作用 |
| VLM 评审标签变化率（全部十三个模型） | 标签变化率（%） | 对齐图 20.5%，误导图 19.4% | 提示编辑控制 11.6% | 未通过 alt-test 的六模型扰动更大（25.8% 对 15.9%），但效应普遍存在 |
| 标签移动方向（两图标签不同的格子） | 朝图像所示语义移动的比例（随机水平 50%） | 37%（比喻句 38%，字面句 35%；每个通过 alt-test 的评审都低于随机） | 若图像内容引导标签应为 50% | 显著低于随机，证明图像"在场"产生扰动但其内容不提供信息 |
| 与人类多数标签的一致率（七个通过者） | 精确匹配率（%） | 无图 54.4%，对齐图 53.7%，误导图 54.7% | 无图条件 54.4% | 基本不变，且 13 个评审中仅 5 个加图后精度下降，说明总体一致率掩盖实例级翻转 |
局限与改进
作者承认的限制：MIST 只报告一种性质，一个评审理论上可以不改标签却根本没读懂输入（不过本文评审与人类多数一致率达 54.4%，说明确实读了）；当句子真正改变读法时评审标签是否随之移动，属于 MIST 不做的互补测量（附录 B）；效应是否特定于 alt-test 与比喻标注任务尚属开放问题。我的补充观察：其一，200 条英文习语场景较窄，图像全部为单一风格的生成图，结论向数学题配无关插图、代码评审夹带无关截图等场景的迁移性存疑；其二，变化率把有害翻转与无害翻转混同计算，且每个格子只做一次贪心解码，缺少方差估计，翻转中可能混入解码噪声；其三，四个标签的部分有序结构使得朝相邻标签的小漂移与大跳转被等权计数，标签粒度可能掩盖系统性偏移方向；其四，闭源模型版本不可固定，长期复现数值会漂移；其五，知情组三人一致性更高导致无任何模型通过，说明 alt-test 判决对人类组构成高度敏感，这本身也是对替代性协议稳健性的一种佐证。
独立分析的弱点
弱点一，指标粒度：变化率只数翻转次数，不区分翻转后是否更靠近人类标签——可增加"翻转后一致率"分解，把扰动区分为伤害性与补偿性两类。弱点二，方向度量的解释不唯一：37% 低于随机既可能是评审部分忽略图像，也可能是图像被感知后系统性推向某种读法——71% 的移动不跨越比喻-字面分界提示了后者的存在，可用探针实验、注意力可视化或 logits 分析区分两种机制。弱点三，任务单一：习语标注中"答案由句子决定"非常干净，但在开放式任务（如开放问答、摘要评分）里无关上下文的作用模式可能完全不同，应在多任务上复制 MIST 式交换。弱点四，采样不足：每格一次贪心解码无法区分真实翻转与解码抖动，应对同一格子多次采样并报告翻转率随温度的变化。弱点五，标注规模：两个三人组、每条目只被一组标注，人类多数标签本身有噪声，而 alt-test 以留一成员为门槛，标注噪声会直接影响判决——可扩大标注组并交叉标注以估计标签不确定性传播。弱点六，图像来源单一（生成图、统一风格），无法排除"对生成图风格的敏感"这一混杂因素，可引入真实照片对照。
未来方向
作者提出的方向：检验该效应是否特定于 alt-test 与比喻标注，抑或所有替代性协议（如 He 等人的统计不可区分性检验）都受无关上下文影响；开展互补测量——当句子本身真正改变读法时，评审标签是否随之移动。基于本文成果可延伸的研究：把双向交换推广到其他模态的无关上下文（前一条消息、无关音频帧、图像水印）；机制层面探究图像在哪一层改变 logits（视觉 token 对文本读法表征的干扰路径）；设计去干扰干预，如上下文蒸馏、在指令微调中加入"忽略无关模态"样本、推理时对图像 token 做注意力门控；把"部署报告须注明提示词与附加上下文"制度化，纳入评测基准的元数据规范；检验通过 alt-test 与抗扰动能力之间是否存在可利用的因果联系（本文只观察到相关：通过者 15.9% 对未通过者 25.8%）；以及在标签保持约束下构造针对偏好、安全等评审维度的类似压力测试。
复现评估
复现条件很好。MIST 数据集连同全部人类标注与 52,000 个 VLM 标签已在 HuggingFace 公开（naghamo/mist-vlm-judges），底层数据来自公开的 AdMIRe 衍生指令微调集（551 表达），标注指南、提示模板与四臂实验设置分别在附录 C、I 等给出。算力门槛低：输出被约束为四个标签之一且贪心解码，总计 52,000 次推理调用；开源模型活跃参数 3B-32B，单张消费级/工作站 GPU 或少量 API 费用即可覆盖；闭源部分需 GPT-5.2 与 Gemini 系列 API。人类标注是唯一重成本环节（6 名标注者、两人力组），但全部标签已公开，纯验证与扩展实验无需重新标注。统计检验（Fleiss κ、alt-test 留一）均有标准实现。综合评估属于评测论文中易复现的一档，主要风险是闭源模型版本更替导致数值漂移，建议复现时记录模型版本号。
论文图表
