MM-JudgeBias：评估多模态大模型作为裁判时的组合性偏差基准 MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge

数据集构建的具体步骤：（1）**任务/域定义**：定义 4 类任务（感知/理解、信息抽取、知识、推理）×12 个域（通用、空间/几何、文本、图表、表格、UI、常识、领域知识、因果/逻辑、数学、代码、考试）；（2）**图像采样**：从 29 个源基准（COCO2017、SUN397、TextVQA、DocVQA、ChartQAPro、MMTab、ScienceQA、MathVision、MMMU-Pro 等）按域超采样再过滤；（3）**查询生成**：用 Gemini-2.5-Pro 在难度指南（Easy：≤15 单词单子句；Moderate：≤30 单词两子句至少两视觉线索；Hard：多子句多步推理不能用 OCR 解决）下生成 3 个候选查询；（4）**查询筛选**：用 Gemini-2.5-Pro 做批量 best-query 排序，要求双模态互补（无图像无法回答）、无图像冲突、符合域规范、可回答，再由 12 名人类标注员二次复核（Pass/Fail）；（5）**回答生成**：用 GPT-5 mini、Gemini-2.0-Flash-Lite、Qwen2.5-VL-7B 平衡生成回答；（6）**扰动施加**：按 9 种偏差定义生成 $(Q',I',R')$——Text-Dominance 把图像换成黑图、Image-Dominance 把查询清空、Response-Dominance 把两者都换成空、Instruction-Misalignment 把查询换成无关样本、Image-Misalignment 把图像换成无关样本、Detail-Description 把 GPT-5.1 生成的图像描述追加到查询、Unnecessary-Image 给纯文本查询附加无关图像、Visual-Transformation 用几何+光度+质量+空间四类操作做语义保持变换、Texture-Insertion 用关键词提取或直接查询映射把文字叠加到图像；（7）**评分**：用 10 分制 Score-wise 提示词让 MLLM 输出详细反馈+整数分数；（8）**指标计算**：按扰动类型分别计算 BD 或 BC，每类模型跑 3 次报告方差。

技术新颖性体现在四点：（1）**形式化**：首次把'组合性偏差'作为独立概念提出，并按'完整性/一致性/鲁棒性'三维分类，区别于已有扁平偏差列表；（2）**指标设计**：BD 用 $(y-\hat{y})_+/(y-1)$ 排除 $y=1$ 的样本（避免地板效应），BC 用 $1-|y-\hat{y}|/\max(y-1,S-y)$ 对称归一化（高分与低分偏差同等惩罚），这是其他基准未做的精细处理；（3）**配对设计**：让有偏与无偏回答完全相同，只扰动输入，确保观察到的分数差异只来自偏差而非回答质量差异；（4）**难度分级**：把样本分为 Easy/Moderate/Hard 三档，High 难度需要'多步推理、不能用 OCR 解决'，避免 SOTA 模型在简单题上得满分而隐藏问题。此外，作者还设计了 N/A 弃权机制、Score-Guided、Modality-Constraints、Modality-Reasoning 四种提示词变体，用于消融协议敏感性，证明主结论稳健。

独立分析发现的弱点：（1）**Image-Dominance 失败是结构性问题**：所有模型平均 BD 仅 0.317，GPT-5 mini 思考模式只有 0.211，这反映出 MLLM 对'查询-图像'的角色分工理解不深——它可能默认查询是辅助信息，图像是核心，从而在查询为空时反而判断更顺畅；改进方向是引入'强制双输入验证'的训练机制；（2）**Modality-Reasoning 提示词在 critic 模型上反而下降**：LLaVA-Critic-7B 在 Modality-Reasoning 下整体从 0.647 降到 0.653（提升）但 Robustness 从 0.872 降到 0.744（下降），表明强制'模态分解'可能让 critic 模型过度敏感，把语义保持的扰动也误判为破坏；改进方向是设计'自适应模态检查'——只在检测到高度异常时才触发分解；（3）**自增强偏差未在主指标中纳入**：图 4 展示的自增强偏差（最高 1.79 分差距）非常显著但未进入主表，'compositional bias'框架应扩展包含此偏差；改进方向是把 self-generation 加入被试者的扰动维度；（4）**方差过大但未被利用**：Inter-run variance 与 Inter-sample variance 普遍超过 0.5，Prometheus-Vision 甚至达到 2.4，但作者只作为辅助信息未深入分析；改进方向是把方差作为单独的'稳定性指标'纳入报告；（5）**特定模型弱点**：Gemini-2.5-Pro 在 RespDom 上 0.978 但 TextDom 仅 0.751，说明它对'图像缺失'和'查询缺失'的应对不对等；GPT-4.1 mini 全维度均接近下限，是最弱基线。

作者提出的方向：（1）扩展到 Any-to-Any 模态（视频、音频、interleaved sequences），验证偏差模式是否仍然成立；（2）推广到 pairwise comparison 与 batch-ranking 等替代裁判协议；（3）纳入文化、社会等更广泛的偏差类型。本人基于结果可延伸的方向：（a）**训练时干预**：把 MM-JudgeBias 的样本作为偏好数据或 RLHF 的负面信号，训练专门抗偏差的裁判模型；（b）**偏差条件化训练**：基于 9 类偏差类型设计多任务训练，让模型同时学习'完整性检验''一致性检验''鲁棒性检验'三个 head；（c）**自适应提示词**：根据模型在前 N 个样本上的偏差特征，自动选择 Modality-Constraints 或 Modality-Reasoning 中更合适的提示策略；（d）**结合因果推断**：当前扰动是黑箱替换，可以引入因果工具（如 do-calculus）量化 Q/I/R 中每个成分对最终分数的因果效应；（e）**细粒度任务分析**：当前 4 类任务被合并报告，但 Reasoning 类（537 样本）与 Perception 类（287 样本）数量不均，可能存在任务级偏差未被发掘；（f）**多轮评估**：现在只做单轮打分，多轮讨论是否能缓解组合性偏差值得探索；（g）**与下游应用闭环**：把 MM-JudgeBias 用作 RLHF 中的 reward model 评估，看偏差是否会被下游模型放大。

作者明确声明开源：项目页、代码、数据集链接均在论文首页给出。数据集 1804 个样本已公开，可直接下载。模型覆盖全面：闭源（Gemini 2.0-3 Pro、GPT-4.1-5.1、Claude Haiku/Opus/Sonnet 4.5 共 16 个配置）、开源（Qwen2.5-VL-7B/72B、Qwen3-VL-8B/30B、InternVL3.5-8B/14B/30B 共 9 个）、专用 critic（Prometheus-Vision-7B/13B、LLaVA-Critic-7B/72B 共 4 个），总共 26 个 MLLM 配置。算力方面，闭源通过 API 调用，开源模型如 72B 在单卡 A100/H100 上可运行，每个模型跑 3 次取均值。复现难度评估为'中等'：（1）需要访问多个 API（OpenAI、Google、Anthropic），成本较高；（2）需要实现 9 种扰动函数（部分用 PIL/OpenCV 即可，部分如 Texture-Insertion 需要 GPT-5.1 调用）；（3）需要 12 名人类标注员或等效质控流程；（4）评测提示词公开在 Appendix E，prompts 模板与 difficulty guidelines（Table 8、9、12）完整披露。最大的复现瓶颈是闭源模型的'思考模式'参数（reasoning_effort='high'、budget_tokens=16384）与版本更新可能让数字不完全一致，但整体结论——'MLLM 普遍存在组合性偏差、Image-Dominance 最难检测、规模与可靠性不线性相关'——应当稳健。