Tri-PvP：用知觉—命题证据冲突揭示全模态大语言模型的模态偏置 Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts
构建8000样本三模态冲突基准，分离模态偏置与证据形式偏置，发现视觉偏置主导且难以缓解
前置知识
全模态大语言模型（OLLM）
在单次前向传播中同时接收并融合视觉、音频、文本三种及以上模态输入的多模态大模型，是 MLLM 的最新形态，定位为日常个人助理。本文评测的五个代表包括 Qwen2.5-Omni（11B）、MiniCPM-o 4.5（9B）、Qwen3-Omni-30B-A3B-Thinking（32B）、Gemma 4 E4B（8B）与 Gemini 3 Flash。其架构特点是视觉与音频信号各自经专用编码器映射到统一 token 空间后，由 LLM 主干在单次前向中统一处理。
本文的全部问题、基准设计与干预实验都建立在 OLLM 三流输入这一架构之上：只有当模型真的在一次前向中同时消费三个模态时，'三方冲突下信任谁'这个问题才有意义。
模态偏置（modality bias）
多模态模型在输入模态提供不一致或冲突证据时，系统性地偏向某一输入流、忽略其他模态的倾向。它被视为 MLLM 的核心失效模式：当真实世界输入嘈杂、冗余或互相矛盾时会损害可靠性，还构成安全面——攻击者可以在模型最信任的模态中嵌入有害内容而其他模态无法纠偏。
论文定义的八类标签（BIAS_IMAGE、BIAS_AUDIO、BIAS_TEXT 及双模态、HALLUCINATION、NO_BIAS）就是对模态偏置的量化，理解这一定义才能读懂实验指标与结论。
知觉证据 vs 命题证据
源自认识论的区分：知觉证据通过直接感官经验获得、不经语言或推理中介，例如狗的照片、狗叫的真实录音；命题证据是可真可假的陈述性断言内容，例如'这只动物是狗'这句话或其语音。同一语义内容可跨形式表达：图像既可以是真实照片（知觉）也可以是写字卡（命题），音频既可以是真实录音（知觉）也可以是 TTS 合成语音（命题），而文本作为符号媒介天然只能是命题。
这是全文最核心的自变量。TRI-PvP 正是通过独立控制图像与音频通道的证据形式，把'模态偏置'从'证据形式偏置'中解耦出来。
LLM-as-a-Judge 自动评测
用强语言模型作评判器，把被测模型自由格式的回答按语义匹配规则分类到预定义标签。本文用 GPT-5.4 nano 作评判器，输入回答、问题与三个模态标签，输出八类之一；并以 800 条（10%）分层人工抽检验证，与作者标注的一致率达 97.1%。
TRI-PvP 采用开放式问答而非选择题（避免选项诱导），因此所有偏置统计都依赖这一自动评判协议，其可靠性（97.1% 一致率）直接决定结果可信度。
线性探针（linear probing）
一种表示分析方法：冻结模型，从某一层提取隐藏状态（本文取最后一个 prompt token 位置，因为它汇聚了生成前的全部模态信息），训练逻辑回归预测某个属性，用平衡准确率衡量该属性是否被线性编码。若某信息在浅层即可被线性读出，说明模型在该深度已形成相应内部表征，而非仅在输出阶段才显现。
论文用它回答'模态偏置何时产生'：发现偏置在最初两层隐藏状态中就已线性可解码，这是'表面级干预不足、需要表示层对策'这一核心结论的关键证据。
对比解码（contrastive decoding）
一种无需训练的推理期 logit 干预：同时计算完整输入与删减输入的下一 token 分布并做线性组合。本文版本为 $z_{cd}=(1+\alpha)z_{audio}-\alpha z_{full}$，其中 $z_{full}$ 来自完整三模态输入、$z_{audio}$ 只保留音频与问题，$\alpha=0.5$；并配合自适应合理性约束（每步只保留在 $p_{full}$ 下概率超过最高概率 $\beta$ 倍的 token，$\beta=0.1$），防止放大出在任何输入下都不合理的词。
论文把对比解码重新定位为诊断性干预：故意放大被系统性忽视的音频证据，观察图像偏置是消失还是转移，其效果与副作用直接支撑最终结论。
研究动机
随着 MLLM 演进为在一次前向中同时消费视觉、音频与文本的全模态大语言模型（OLLM），并被部署为日常个人助理，'模态偏置'——模型在输入流互相矛盾时系统性偏袒某一输入流——成为核心评测问题：它损害真实嘈杂输入下的可靠性，还构成安全漏洞（攻击者可在模型最信任的模态中夹带有害内容）。已有工作分别从视觉—文本（Wu et al., 2025，注意力指标显示语言会压倒明确的视觉证据）、音频—文本（Wang et al., 2025，音频与文本冲突时呈强文本偏置）和三模态（CMM 评测跨模态幻觉、MMA-BENCH 探测音视错位下的注意力）展开。但作者指出一个被忽视的混杂：这些基准在单一模态内部静默混用了两种性质不同的证据——知觉信号（狗的照片、狗叫的录音）与命题信号（'这是狗'的陈述句）。现实设计中，视觉几乎全是自然图像（知觉），音频混杂真实录音与合成语音，文本天然是命题。于是任何测到的'模态偏置'都必然与'证据形式偏置'纠缠：一个看似视觉偏置的模型，可能只是偏袒知觉证据，而视觉通道恰好不成比例地供应知觉信号。不做显式控制，现有基准无法对二者做干净归因。
本文的目标是本文的目标是构建一个能把模态偏置与证据形式偏置干净解耦的三模态冲突基准，并据此系统回答三个递进问题。第一，在严格控制每个模态所携带证据形式的条件下，OLLM 在三方冲突中到底信任哪个模态，这种信任有多强、是否跨模型普遍；第二，把某个通道从知觉形式换成命题形式，偏置会被调制还是反转——即证据形式是否是影响模型行为的系统性变量；第三，这种偏置在模型内部何时形成、处于哪一层表示，以及能否在不重训模型的前提下于推理期缓解。为此作者设计了 TRI-PvP：8,000 个跨动物、情绪、环境、音乐四个日常感知领域的三方冲突样本，图像与音频各自可取知觉或命题形式，文本恒为命题，形成四种证据类型条件；用五个代表性 OLLM 做系统评测，再辅以层级线性探针与对比解码两种分析工具，把分析从输出行为下探到表示层面。
与已有工作不同的是，本文的独特切入角度是把认识论中关于证据形式的经典区分引入多模态评测。哲学家早已区分两类获取知识的通道：对社会性积累的知识依赖证言与语言（Reid 1764、Coady 1992），对可直接观察的事物依赖直接知觉（Locke 1689、Hume 1748），并被形式化为知觉证据与命题证据（Russell 1912、Descartes 1641）。作者的关键观察是：OLLM 在人类生成的数据上训练，可能像人类一样对不同证据形式发展出系统性偏好，而现有三模态基准从未沿这条轴做控制——CMM 把失败归为无根据生成而非受控冲突下的信任归属，MMA-BENCH 只测音视错位下的注意力流向且未建立真正的三方冲突。TRI-PvP 因此是首个把'证据形式'作为受控自变量的三模态偏置基准：通过匹配的反事实设计（同一标签三元组在四种证据形式条件下实例化、复用相同资产），让跨条件比较建立在完全相同的语义内容上，从而把模态身份与证据形式两个因素正交分离，这是与所有先前基准的本质差异。
核心方法
直觉上，要知道模型'信谁'，最干净的办法是让三个模态各说各话且互不相同，再只改变'说话的方式'而保持'说了什么'不变。TRI-PvP 的每个样本是 $x=(x_I, x_A, x_T, x_Q)$：图像、音频、文本给出三个互不相同的领域标签，问题以偏中立方式提问（如'这是什么动物？'）。图像与音频各取知觉或命题形式，产生四种条件：PercI-PercA、PercI-PropA、PropI-PercA、PropI-PropA。数据构造采用匹配反事实：先由 GPT-5.4 生成标签三元组与问题，再把同一三元组在四种条件下实例化并复用相同资产；四个域各 500 个三元组，每域 2,000 样本、共 8,000，并平衡所有跨模态标签组合。模型生成自由回答后，由评判器 $J$ 依据问题与三个模态标签把回答分类到八类互斥标签 $\hat{y}=J(r, x_Q, \ell_{x_I}, \ell_{x_A}, \ell_{x_T})\in\mathcal{Y}$：三种单模态偏置、三种双模态偏置、HALLUCINATION 与 NO_BIAS（承认冲突或并列报告三个模态）。评判器用 GPT-5.4 nano，经 800 条分层人工抽检验证，一致率 97.1%。
核心创新是把'证据形式'从隐混杂因素提升为受控实验变量，并配合匹配反事实设计。与已有方法的本质区别有三。其一，先前工作只改变'哪个模态说了什么'（冲突内容），本文额外控制'每个模态以何种形式说'：图像可以是真实照片也可以是白底字卡，音频可以是真实录音也可以是 TTS 合成语音，而各形式的语义内容完全一致，因此任何跨条件的行为差异只能归因于证据形式而非内容难度。其二，设计上保证没有任何模态更可靠：三个标签互不相同、所有标签—模态组合平衡、知觉样本经人工确认无歧义且每样本只含单一域主体，因此该设置下唯一恰当行为是 NO_BIAS，任何单模态偏置都是模型的非理性偏好而非对信号质量的合理加权。其三，把对比解码从'提升生成质量'的通用技巧重新定位为诊断工具：以完整三模态分布为待降权的'偏置参考'，故意放大被系统性忽视的音频项 $z_{audio}$，通过干预后偏置是消失还是转移（结果是从图像偏置部分转移为文本偏置）来反推偏置的结构。
方法步骤详情
第一步，知觉证据构造：从既有数据集选取真实图像与录音——动物域用 ImageNet 与 ESC-50、情绪域用 KDEF 与 CREMA-D、环境域用 Open Images V7 与 ESC-50、音乐域用 ImageNet 与 Medley-solos-DB——并施加三重过滤：域内类别感知上可区分、每样本仅含单一域主体、人工确认无歧义。第二步，命题证据构造：从每域 10–20 条人工句模板实例化描述句，图像形式渲染为白底字卡，音频形式用 GPT-4o mini TTS 以四种语音合成，文本直接使用原句。第三步，偏中立问题设计：禁止'你看到/听到什么'等引导性措辞，用 GPT-5.4 生成复述变体并人工校验；采用开放式问答而非选择题，避免选项诱导。第四步，评测：五个 OLLM 按'图像→音频→文本→问题'顺序输入，vLLM 部署、贪心解码，自由回答交由评判器分为八类。第五步，深入分析：对 Gemma4 与 Qwen2.5 做六种模态顺序的位置效应实验；在每层最后 prompt token 隐藏状态 $h^{(l)}=f^{(l)}(x)$ 上，把标签分解为三个模态二值目标 $z_m$，逐层训练带类权重的逻辑回归并报告平衡准确率；最后做对比解码干预 $z_{cd}=(1+\alpha)z_{audio}-\alpha z_{full}$（$\alpha=0.5$、$\beta=0.1$），并在 OMNIBENCH 上验证通用能力。
技术新颖性
技术新颖性体现在四个层面。基准设计上，它是首个在视觉与音频两条通道同时、独立控制证据形式的三模态基准，四种条件构成 $2\times 2$ 析因设计且以匹配反事实实例化，使'证据形式'成为可精确操纵的变量；此前三模态评测要么测幻觉生成（CMM），要么测注意力流向（MMA-BENCH），均未触及该轴。指标体系上，八类互斥标签把'偏谁、幻觉、承认冲突'统一到同一分类空间，并对 NO_BIAS 沿冲突承认/多重报告/拒绝回答三个独立二值维度做二次刻画，避免把不同质的行为混为一谈。分析工具上，把逐层线性探针与输出端偏置统计对齐——探针目标 $z_m$ 直接来自评判器标签——实现'输出行为↔表示编码'的跨层对照，从而定位偏置形成于表示层级的哪一深度（Gemma4 中后层渐强、Qwen2.5 前几层即近峰值）。干预方法上，对比解码的方向设计有针对性：降权完整三模态分布、放大音频项以抬升冲突意识，并用 OMNIBENCH 通用能力验证（38.4%→37.4%，仅降 1.1 个百分点）区分'治疗'与'伤害'。
实验结果
第一，视觉偏置压倒性主导：20 个（模型×证据条件）组合中 18 个的 BIAS_IMAGE 是最大偏置类别且常超过 60%——Gemini3 在 PercI-PropA 下高达 85.1%，Qwen3 在两个 PercI 条件下分别为 73.4% 和 79.2%，Gemma4 在 PropI 条件下达 74.4%/74.9%；两个例外都出现在 Qwen2.5 的 PropI 条件（主导类别变为 BIAS_TEXT 或 NO_BIAS）。BIAS_AUDIO 则在 18/20 中是三种单模态偏置中最小的，通常低于 10%。第二，证据形式对两个非文本模态的调制方向相反：图像偏置在知觉图像下更强（Qwen2.5 的 BIAS_IMAGE 在 PercI-PropA 为 49.7%，PropI-PropA 仅 12.7%），音频偏置在命题音频下上升（Gemma4 的 BIAS_AUDIO 从 PercI-PercA 的 0.9% 升至 PercI-PropA 的 25.4%），但换形式只会削弱、从不反转视觉偏好。第三，全命题输入下 NO_BIAS 显著上升：Qwen2.5 达 60.1%、MiniCPM 13.6%、Gemini3 11.6%、Gemma4 7.2%、Qwen3 1.5%；细分显示这些'无偏'回答混合了真冲突意识（Gemini3 高冲突承认）、机械罗列（Gemma4 的多重报告主导）与拒绝回答（Qwen2.5 的 Ref. 普遍 84% 以上）。第四，顺序效应存在但不改变结论：Qwen2.5 呈近因偏置（偏爱紧邻问题的模态），Gemma4 分模态模式各异；六种排列平均后 BIAS_IMAGE 仍主导（如 Gemma4 PercI-PercA 63.1%）。第五，线性探针显示图像偏置在表示层早期即可解码：Qwen2.5 图像探针在两个 PercI 条件下峰值约 80%，Gemma4 音频探针在 PercA 条件贴近 50% 随机基线，两模型多数探针在前两层内即超随机水平。第六，对比解码把 Gemma4 的 BIAS_IMAGE 从 PropI-PropA 的 74.9% 降至 38.8%、PropI-PercA 的 74.4% 降至 39.6%，NO_BIAS 在 PropI-PropA 从 7.2% 升至 38.6%；但被削减的质量部分转移为文本偏置（各条件 +2.2% 至 +13.5%，PropI-PercA 下 BIAS_IMAGE_TEXT 从 1.4% 涨至 13.6%）；OMNIBENCH 上整体准确率从 38.4% 微降至 37.4%（655/1142 条预测不变，修正 141 个错误、新引入 153 个），说明增益并非以牺牲通用能力为代价。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 三模态冲突下的模态信任归属（Gemma4，PropI-PropA 条件） | BIAS_IMAGE 占比（%，越低越接近无偏） | 38.8%（对比解码 CD） | 74.9%（基线解码） | 绝对下降 36.1 个百分点 |
| 三模态冲突下的模态信任归属（Gemma4，PropI-PercA 条件） | BIAS_IMAGE 占比（%） | 39.6%（CD） | 74.4%（基线） | 绝对下降 34.8 个百分点 |
| 冲突意识行为（Gemma4，PropI-PropA 条件） | NO_BIAS 占比（%） | 38.6%（CD） | 7.2%（基线） | 提升 31.4 个百分点 |
| 通用三模态能力保持（OMNIBENCH，Gemma4，1142 题选择题） | 准确率（%） | 37.4%（CD） | 38.4%（基线） | 仅降 1.1 个百分点，验证干预不显著损害通用能力 |
| 表示层偏置可解码性（Qwen2.5 图像探针，PercI 条件） | 逐层线性探针平衡准确率（%） | 约 80 | 50（随机基线） | 超出随机 30 个百分点，证明偏置在浅层已线性编码 |
| 自动评测协议可靠性（评判器人工校验） | 与作者标注一致率（800 条分层抽检，10%） | 97.1% | — | — |
局限与改进
作者明确承认三点局限。其一，基准只覆盖日常感知尺度（动物、情绪、环境、音乐），模型在复杂图表、科学数据等更广认识论尺度上的冲突行为尚不清楚。其二，问题刻意设计成偏中立以引出自发偏好，而在要求列举全部来源、强令单一答案或提供来源可靠性线索等非中立提示下偏好如何变化，是留待未来的另一研究问题。其三，对比解码只是诊断性测试：它带来残余文本偏置，且需要额外一次去掉图像与文本流的前向计算、成本更高；实验仅限 Gemma4 一个模型、固定的 $\alpha=0.5$ 与 $\beta=0.1$，没有做系数敏感性分析，更广的缓解策略有待探索。我补充几点自己的观察：命题音频全部由 TTS 合成，其声学分布与真实录音天然不同，'知觉/命题'轴可能部分混入'合成度/分布外'轴；视觉通道的命题形式只能以字卡呈现，排版与字体也可能引入无关变量；三个标签互斥的三方冲突在日常场景中较人工化，与真实世界中模态部分一致的冲突不同；对不对称性的解释——视觉编码器预训练目标是知觉内容、音频编码器常继承 ASR 式语言恢复目标——只是与数据吻合的假设，未经因果验证；此外评测完全依赖单一 LLM 评判器，尽管 97.1% 一致率很高，边界案例（尤其 NO_BIAS 判定）仍可能受评判器自身偏置影响。
独立分析的弱点
独立分析后我认为有五个值得警惕的弱点。第一，音频通道的'知觉 vs 命题'同时是'真实录音 vs TTS 合成'，模型对合成语音的回避可能反映对机器嗓音或韵律不自然的分布外敏感，而非对命题形式本身的态度；改进方向是加入人类朗读命题句的对照条件，把'形式'与'合成度'正交。第二，仅评测英语，而证据形式的处理权重可能与语言文化中证言/知觉的传统有关，应在多语言设置下复测。第三，NO_BIAS 的异质性：Qwen2.5 的 NO_BIAS 有 84% 以上伴随拒绝回答，与 Gemini3 那种真冲突意识在质量上完全不同，把两者记为同一类别会高估'无偏'水平；改进方向是把细分维度作为主标签或在主指标中分层报告。第四，CD 只在 Gemma4 上以固定超参验证，其残余文本偏置提示该干预更像是把偏置在模态间搬运而非消除根源；可探索训练时的模态平衡目标或表示工程（如沿探针发现的偏置方向做导向向量消融）。第五，三方互斥冲突缺少'模态部分一致但有噪声'的中间地带，而现实中各模态往往部分重叠；未来可加入标签部分重叠的条件，刻画偏置随证据一致度变化的完整曲线。另外，命题图像依赖模型 OCR 能力，若字卡识读失败会被记为幻觉或偏置，最好按条件分层报告 OCR 正确率作为对照。
未来方向
作者提出与可延伸的方向包括六条。其一，超越对比解码的更根本缓解：既然探针证明偏置在最初两层已线性编码，可在训练时引入模态平衡的对比目标，或在推理期做基于偏置方向的表示干预（steering），比 logit 级操作更接近根源。其二，表示层因果分析：目前探针只证明'可解码'，下一步可用激活修补等因果干预确认这些方向是否真正导致输出偏置。其三，扩展到更广认识论尺度：复杂图表、科学数据、多主体场景，以及来源可靠性不均（如权威文本 vs 模糊图像）的条件——那时单模态信任未必是非理性偏置，需要新的规范性评测标准。其四，非中立提示下的偏好动态：要求列举全部来源、强令单一答案、提供来源可信度线索时偏置如何被塑形，这直接关系系统提示词与产品交互设计。其五，安全视角延伸：论文指出偏置可被攻击者利用，可在模型最信任的模态（视觉）中嵌入指令注入并测量攻击成功率，把偏置度量与安全评测打通。其六，对 $\alpha$、$\beta$ 做系统敏感性分析并把 CD 评估扩展到全部五个模型以检验迁移性，也可探索逐样本自适应的对比强度。
复现评估
复现条件相当友好。代码与数据在 GitHub（MiuLab/Tri-PvP）开源，基准整体及自生成数据（文本、合成语音、字卡图像、元数据）以 CC BY-NC 4.0 发布；知觉资产来自公开学术数据集（ImageNet、ESC-50、KDEF、CREMA-D、Open Images V7、Medley-solos-DB），但因 ImageNet 与 ESC-50 的非商业条款，整包限定非商业研究用途。算力门槛低：四个开源模型在单张 RTX 5090 上各约 1.5 小时跑完全基准，Qwen3-Omni（32B）在单张 H100 上约 40 分钟；线性探针（隐藏态抽取加三个逻辑回归）每模型约 30 分钟；对比解码最贵，约 24 小时（作者实现未用 vLLM 加速）。评判依赖 GPT-5.4 nano API（有少量 API 费用），作者已公开完整评判 prompt（附录 E）及 97.1% 的人工一致率校验细节。解码参数与随机种子全部固定并公布（贪心为主，Qwen3 用 temperature=0.6/top_p=0.95/top_k=20，Gemma4 用 temperature=1.0/top_p=0.95/top_k=64）。总体难度中等偏易：数据流水线含 TTS 合成与文本渲染步骤略有工程量，需注意 GPT 模型版本迭代可能使评判结果漂移，以及 TTS 服务的长期可复现性。
论文图表
用一个具体示例展示三方冲突范式：图像通道可以是狗的照片（知觉）或写有'The animal present is a dog'的字卡（命题），音频通道可以是狗叫录音（知觉）或 TTS 合成的陈述（命题），文本给出冲突陈述'The animal is a cat'，最后以'这是什么动物？'提问，模型必须在天互斥的信号中选择信任对象。
一图说清全文最核心的概念区分（知觉 vs 命题证据）以及实验范式（三方冲突+开放提问），是理解后续所有设计的前提。
Gemma4 在六种顺序 × 四种条件下的完整分布及置信区间，如 I→T→A 顺序下 PropI-PercA 的 BIAS_IMAGE 高达 78.2%±1.8，而 A→I→T 下 PropI-PropA 降至 17.8%±1.7，印证其分模态、分条件的顺序敏感性。
与 Table 5 对应的 Gemma4 完整底层数据，支撑顺序稳健性结论。