看见还是知晓？多模态大语言模型的视觉上下文敏感性

揭示MLLM视觉失败多为"利用"而非"感知"，并找到可控旋钮

前置知识

多模态大语言模型（MLLM）

MLLM 由预训练的语言模型主干 $p_\theta$、视觉编码器 $E$（如 SigLIP/CLIP）和轻量投影器 $P$ 拼接而成。视觉编码器把图像 $V$ 变成 patch 特征 $E(V)=(v_1,\dots,v_K)$，投影器将其映射到语言模型的嵌入空间得到视觉 token $(P(v_1),\dots,P(v_K))$，随后语言模型对「视觉 token + 文本 token」的拼接序列做自回归预测：$p_\theta(y_t \mid P(E(V)), x_{<t}) = \mathrm{softmax}(W h_t^{(L)})$。本文研究的三个模型族正是这一配方的不同实例：Qwen2.5-VL（标准 Transformer）、Qwen3.5（线性注意力混合）、Gemma-4（每层嵌入设计）。

理解本文的「视觉通道 vs 参数化先验」之争，必须清楚 MLLM 如何把图像塞进语言模型、又如何被海量文本预训练产生的先验知识主导——这正是论文要解构的故障线。

知识冲突与上下文敏感性

语言模型有两类信息来源：一是来自输入的「上下文证据」（context），二是预训练时固化的「参数化先验」（prior）。当二者冲突时，模型如何在二者间分配权重，就是「上下文敏感性」。Longpre 等人最早在纯文本问答里刻画了这一现象，后来发现它也是跨模态幻觉的根源——语言先验压过了视觉证据。Minder 等人 2025 年在纯文本场景里证明「是否使用上下文」可被残差流里的一维子空间控制（CCS 框架）。本文把它扩展到视觉场景，称为 CVCS。

本文的全部理论框架建立在这一对概念上：把「视觉上下文敏感性」当作可测量、可定位、可控制的属性，而不是模糊的「感知弱」症状。不懂它就读不懂 motivation 和方法动机。

激活修补（Activation Patching）

这是机制可解释性里的因果追踪工具：取一个「源」样本（如意图是遵循上下文的激活）和一个「目标」样本（意图是遵循先验），在某一层 $\ell$ 的某个位置（通常是最后一个 token 的多头注意力输出）把目标的激活替换成源的激活，然后看下游输出概率的变化 $\Delta(\text{answer probability}) = p_{\text{source}} - p_{\text{target}}$。哪一层替换后能让目标样本输出源答案的概率上升，那一层就是该决策被「计算」的位置。本文借此把「视觉 vs 先验」的权衡定位到网络中一段狭窄的层带。

第 4.4 节和 Figure 6 的核心方法就是激活修补，读者必须理解它的因果逻辑才能看懂「trade-off 局部化到窄层带」这一关键发现。

操控向量与秩一投影（Steering Vector）

在残差流 $h_t^\ell \in \mathbb{R}^D$ 中学习一个单位向量 $u$（$\|u\|=1$），构造秩一正交投影 $P = u u^\top$，把表示分解为「意图编码分量」$P h$ 与「正交补」$(I-P)h$。静态操控时把沿 $u$ 的分量直接钳位为标量：$\tilde{h}_t^\ell = (I-P)h_t^\ell + u\,c(w)$，其中 $c(w)$ 是每个意图 $w$ 对应的模型专属标量（一个值推向上下文，一个值推向先验）。这样无需在 prompt 里写任何意图指令就能控制模型行为。$u$ 通过最小化「源答案预测的交叉熵」学得，所有参数冻结。

第 5 节的核心创新就是这个「无需指令的操控旋钮」，理解秩一投影和静态钳位是看懂「一个向量就能替代显式指令」这一贡献的前提。

研究动机

当多模态大语言模型（MLLM）在视觉任务上出错时——尤其是图像证据与预训练知识冲突时——业界的第一反应是「怪感知」：视觉编码器会丢弃细节，模型因为「看不到」所以回退到先验。但作者指出一个用「感知退化」无法解释的反向失败：当被明确要求「忽略图像、回答西瓜外壳的通常颜色」时，模型仍然盯着那张反事实的红色外壳不放，无法抑制视觉证据（Figure 1 右）。一个仅被削弱的信号，解释不了「违背明确指令也要跟随图像」的模型。更根本的问题是：现有端到端基准（如 MMU、MMBench）把「感知」和「利用」捆在一个分数里，低分既可能是信息根本没传到主干（H1 感知失败），也可能是信息传到了但模型没用（H2 利用失败）。更糟的是，多选题基准允许语言先验直接「蒙」对答案，模型完全可以不看图就答对——这恰恰是要诊断的失败本身。Vanilla 模型的「视觉上下文敏感性」因此没有一个稳定、可控的设定点（setpoint）：它时而过度信任先验（prior-dominant），时而过度依赖图像（context-dominant），却极少在同一道题上按要求同时满足两种意图。

本文的目标是作者的核心目标是把 H1（感知失败）与 H2（利用失败）显式拆开，证明在粗粒度属性（颜色、数量、大小、空间-时间、重量）上，失败主要源于「利用」而非「感知」，然后把这一利用缺陷本身转化为一种可测、可定位、可控制的机制。具体而言：第一，用生成式探针（从冻结 MLLM 的最后一层图像 token 重建反事实图像）证明反事实内容确实存活在表示里，从而排除 H1；第二，构建 WhatIfVis 基准，用严格的「成对一致性」指标（PairAcc）逼问模型在「跟随图像」与「依赖先验」两种意图下能否同时答对同一题；第三，用激活修补把权衡定位到网络中一段狭窄的层带；第四，在该层带内学到一个一维子空间，作为一个能替代显式指令、直接操控 vanilla 模型视觉敏感性的「旋钮」。最终还要回答：视觉通道比文本通道到底难控制多少。

与已有工作不同的是，本文的独特切入角度有三。其一，不用下游任务头或多选题分数来间接判断「信息是否到达」，而是生成式地重建图像——若反事实属性能从冻结 token 重画出来，它就是「在场」的铁证，这与只看准确率的方法本质不同。其二，关注粗粒度、对象级属性（ competent 编码器本应轻松编码的那些），从而精准区分 H1/H2 的边界，避开纹理、小目标这类公认被编码器丢弃的细粒度信息。其三，提出「双向、合取」的成对指标：模型必须对同一题的两种意图都答对才算通过，暴露了传统边际准确率掩盖的脆弱性——一个模型可能在不同题上分别跟随图像或先验，却几乎从不在同一题上按需满足两种意图。最后，他们还首次把 CCS 文本框架扩展到视觉（CVCS），并系统比较图文两个通道的可控性随规模的变化。

核心方法

整体思路是「先证明在场，再证明可控，最后把它变成旋钮」。直觉上：若模型失败是因为「没看到」，那从它的内部表示应重画不出反事实图；若失败是「看到了但不会用」，反事实图能重画出来，且网络里应有一个负责「用不用它」的开关。技术路线分四步。（1）存在性测试：把冻结 MLLM 的最后一层图像 token 经一个仅在真实图像上训练的连接器+SANA 解码器重建图像，看反事实属性是否存活——连接器/解码器从未见过反事实样本，所以能重画就证明属性来自 token 本身。（2）可控性测试：用 WhatIfVis 的反事实图+匹配文本声明，配「仅看图像/忽略图像」两种意图指令，以严格成对指标衡量。（3）局部化：在 SFT 后能稳定遵循两种意图的模型上做激活修补，定位权衡的计算位置。（4）操控：在该位置学一维单位向量，用秩一投影与静态钳位 $\tilde{h}_t^\ell=(I-P)h_t^\ell+u\,c(w)$ 完全取代 prompt 里的意图指令。所有训练只用 Spatial-Temporal 训练集，其余四类属性全部留作分布外测试，以验证泛化性。

核心创新是把 MLLM 视觉失败的瓶颈从「感知」整体迁移到「感知后利用」，并证明这一利用权衡由网络中一个紧致、可定位、可操控的一维子空间主导。与已有方法的本质区别在于：解码期方法（VCD 放大视觉接地信号、DoLa 对比不同层 logits）和对象级幻觉修正（Nullu、Hullu 的子空间编辑）都把目标定在「减少幻觉」，而本文直接刻画并操控「对上下文证据的敏感性本身」；与 Minder 等人的纯文本 CCS 不同，本文面对的冲突证据是视觉 token，必须先证明它确实穿过投影器存活到主干，再扩展为 CVCS。最关键的反直觉点是：学到的旋钮加在 vanilla 模型上、且 prompt 里不写任何意图指令，就能把可控性从 14.7 提到 37.7，而一个匹配的随机秩一投影只能得到 5.9（低于基线）——这说明效果是「这个特定向量」带来的，不是秩一干预的表达力本身。

方法步骤详情

完整步骤如下。步骤一（重建探针，Section 3）：冻结 MLLM，取最后一层图像 token；用改编自 Metaquery 的不可学习 query 配可训练的 6 层双向 Transformer 连接器与 SANA 解码器，二者仅在 ImageNet-1K 真实图像上训练、从不见反事实样本；在 VLMs-are-Biased 动物子集上用人类评估（κ=0.84）与 mIoU/PSNR/SSIM/LPIPS 交叉打分。步骤二（WhatIfVis，Section 4.1–4.2）：构造最小多模态对，视觉证据与问题相同，仅意图指令不同 $w\in\{\text{ctx},\text{pri}\}$，由 $F(q,e,w)$ 格式化成 prompt；3,049 条人工核验样本覆盖 5 类冲突（空间-时间、颜色属感知；数量、大小、重量属感知+推理），每条配一句等价文本声明；PairAccEM 要求贪心解码对两意图都匹配金标（公式 5），PairAccProb 在 logits 上比较两候选似然（公式 6）。步骤三（激活修补，Section 4.4）：在 6 个 SFT 模型上 patch 最后一个 token 的多头注意力输出（vanilla 成功样本太少无法 patch），逐层扫描跟踪 $\Delta$ 概率，找窄层带（如 Qwen3.5-9B ctx→pri 在 L13–18）。步骤四（子空间操控，Section 5）：在定位层学单位向量 $u$，最小化「把 $\tilde{h}_t^\ell$ 喂给剩余层时预测源答案的交叉熵」；推理时静态钳位 $\tilde{h}_t^\ell=(I-P)h_t^\ell+u\,c(w)$，标量 $c(w)$ 仅在 Spatial-Temporal 验证集上调，prompt 只放图和问题、不加载 adapter，参考点即被旋钮取代的 vanilla 模型。

技术新颖性

新颖性体现在四个层面。第一，生成式探针：相比「挂任务头微调」或「多选题打分」这种会「让先验替模型答题」的间接评测，本文直接从冻结 MLLM 的最后一层 token 重建图像，独立于「模型是否选择使用」地测量视觉内容是否在场——这是一个真正干净的 H1 测试。第二，双向基准：WhatIfVis 的成对、合取设计（同一题必须两种意图都答对）暴露了边际准确率隐藏的脆弱性，且每条样本配等价文本声明，使图文通道可在同一机制下直接对比。第三，逐模型标量旋钮：用激活修补定位窄层带、再在该带内学一维子空间，证明单一向量就能替代显式指令并改善 vanilla 模型可控性；同时用随机向量对照排除「秩一干预天然有效」的解释。第四，跨架构与跨模态的系统性结论：在三个注意力设计截然不同的模型族（标准 Transformer、线性注意力混合、每层嵌入）里复现「权衡局部化到窄带但深度因架构而异」的现象，并定量揭示「文本远比视觉可控、且差距随规模拉大」这一令人警醒的不对称——这些是把机制可解释性方法系统化用于 MLLM 视觉决策的首次综合。

**Figure 2**: The counterfactual attribute survives to the final layer and is visible in the reconstruction.

**Figure 3**: Evaluation pipeline for controllable multimodal context sensitivity.

**Figure 4**: Illustration of the five WhatIfVis tasks across text and vision modalities.

实验结果

核心发现分五点。其一，反事实证据存活到最后一层（H1 排除）：人类评估中反事实腿数在 Qwen2.5VL-3B/Qwen3.5-4B/Gemma-4-E2B-IT 上分别以 93.4%/97.8%/97.8% 被恢复，真实图仅 6.6/2.2/2.2%（Table 1）；像素交叉参考中重建在四指标上全部更接近反事实参考——如 Gemma-4-E2B-IT 的 mIoU 由真实 0.83 升到反事实 0.94、LPIPS 由 0.33 降到 0.23（Table 2）。其二，Vanilla 几乎无法按视觉意图行动：宏 PairAcc 仅 14.7，重量/数量近乎零，颜色最强约 50；模型在空间-时间/数量/重量偏先验，在大小/颜色偏图像，极不稳定（Figure 5）。其三，SFT 大幅提升可控性：宏 PairAcc 14.7→52.7，颜色与空间-时间接近 80，且仅用 Spatial-Temporal 训练即泛化到其余四类；但数量/重量几乎不动，因需像素外的物理推理。其四，子空间操控有效且特定：单个学习向量加在 vanilla（无指令）即把宏 PairAcc 14.7→37.7，而匹配的随机秩一投影仅 5.9（低于基线）。其五，文本远比视觉可控（Figure 7）：基线图像 14.7、文本 43.4，差距随规模拉大——Qwen2.5-VL 9.1pp(3B)→20.6pp(7B)、Qwen3.5 18.0pp(4B)→55.8pp(9B)、Gemma-4 26.8pp(E2B)→41.5pp(E4B)；拆开成对指标，「忽略证据」跨模态几乎不变（图像 68.9、文本 69.5，仅差 0.6pp），「跟随证据」文本 73.9% 远高于图像 45.7%（差 28.2pp）——缺陷几乎全是「按需用图」的失败。其六，权衡在六个模型里都局部化到中上段一段狭窄层带（最宽 Qwen3.5-4B L10–21 仅 12 层），但精确深度因架构而异。

**Table 1**: Human evaluation of reconstructed images.

**Table 2**: The counterfactual evidence (count) is preserved in the final layer.

**Figure 5**: SFT lifts visual controllability across every model and task.

**Figure 6**: Activation patching localizes the vision-versus-prior trade-off to a narrow layer band.

**Figure 7**: An instruction-free steering knob recovers controllability over the vanilla model, and the visual channel stays harder to control than text.

查看结构化数据

任务	指标	本文	基线	提升
反事实图像重建保真度（动物子集）	反事实属性(count)的人类评估恢复率 CF%	93.4% / 97.8% / 97.8%（Qwen2.5VL-3B / Qwen3.5-4B / Gemma-4-E2B-IT）	真实图恢复率仅 6.6 / 2.2 / 2.2%	证明反事实内容存活于最后一层 token，H1 感知失败被排除
视觉上下文可控性（宏 PairAcc，概率打分）	PairAccProb (%)	SFT 52.7 / 操控向量 37.7（无指令加在 vanilla）	Vanilla 基线 14.7	SFT +38.0pp；仅一个向量、无指令即 +23.0pp
操控向量的特异性对照	PairAccProb (%)	学习向量 37.7	随机秩一投影 5.9（低于 vanilla 14.7）	证明提升来自「这个方向」而非秩一干预的表达力
文本 vs 视觉通道可控性	基线宏 PairAccProb (%)	文本 43.4	视觉 14.7	文本领先 28.7pp，且差距随规模继续拉大
跨模态「跟随证据」能力	context-intent 准确率 (%)	文本 73.9	视觉 45.7	差距 28.2pp，而 prior-intent 仅差 0.6pp——缺陷集中在「用图」

局限与改进

局限同样分几层。首先，论文只探查了粗粒度对象级属性（颜色、数量、大小、空间-时间、重量）；对编码器公认会丢弃的细粒度信息（纹理、小目标）而言，H1 仍然可能成立，作者并未声称「感知永远不是瓶颈」，而是划定了一条「粗粒度上是利用失败」的边界。其次，WhatIfVis 仅 3,049 条样本、5 个维度，覆盖的反事实类型有限，且都是合成反事实图，真实世界中「罕见但为真」的事件可能行为不同。再次，旋钮是「在 SFT 模型里定位、再迁移到 vanilla」的——这并不意味 vanilla 本身就已可操控；要复现旋钮仍需先做 SFT，且静态操控的标量 $c(w)$ 是逐模型、并在 Spatial-Temporal 验证集上调出来的，跨数据分布的稳健性未被充分检验。此外，操控（37.7）远未追上 SFT（52.7），说明一维子空间只捕获了部分可控性。更值得警惕的是「视觉通道更难控制、且差距随规模拉大」这一发现本身暗示了更深层的架构问题（可能是视觉 token 数量、位置或投影器瓶颈所致），而单纯的 steering 并未解决它。最后，激活修补依赖完整的注意力输出访问与可解释性工具链，工程门槛不低。

独立分析的弱点

独立分析下有几处可改进的弱点。其一，操控标量 $c(w)$ 需逐模型在 Spatial-Temporal 验证集上标定，迁移到新分布时如何自适应仍是开放问题——可探索学习一个 $c(w)$ 的自适应预测器，或寻找与数据无关的通用标定。其二，旋钮的发现依赖 SFT：必须先用 SFT 让模型「可被引导」才能定位层带与方向。一个完全免 SFT 的发现路径（如 Turner 等人基于对比 prompt 的方向提取、或 DAS 分布对齐搜索）会让方法更易落地。其三，范围限于粗粒度属性；既然细粒度信息被编码器丢弃，那么「感知受限 vs 利用受限」的真实边界在哪里、二者是否可同时被 steering 覆盖，值得系统刻画。其四，最令人不安的「文本-视觉不对称随规模拉大」未被给出机制性解释——是因为视觉 token 多但语义稀疏、还是投影器瓶颈、亦或预训练数据配比？把这一不对称的根因定位清楚（沿 Figure 7 的发现继续做因果分析）将比单纯提升 PairAcc 更有价值。其五，WhatIfVis 是合成反事实，现实冲突（罕见真值、领域偏移）的鲁棒性未验证，建议补充真实世界冲突子集。

未来方向

作者明确提出的延伸包括：把「感知与利用」的分离作为可调属性，为未来构建「该看图时看图」的多模态模型奠定更稳的立足点；以及在更广的属性谱系上复现 CVCS。基于本文成果可进一步延伸的方向有：将 steering 与解码期方法（VCD、DoLa）组合，看是否能同时提升准确率与可控性；把方向发现从「SFT 定位」推进到「无监督对比 prompt」甚至「跨架构共享方向」；系统测绘「感知受限」与「利用受限」的属性边界，并解释为何细粒度仍属感知瓶颈；针对「视觉通道更难控」的根因做干预式实验（如改变视觉 token 数量、替换投影器、调整图文配比）；最后，把 CVCS 扩展到视频与时序反事实，检验旋钮是否在时序维度同样有效。这些方向共同指向一个目标：让 MLLM 的「是否使用视觉证据」从隐含倾向变成显式、可调的受控变量。

复现评估

复现评估总体偏正面但有门槛。代码已声明开源（仓库名 visual-context-sensitivity）。所用六款模型全部开放——Qwen2.5-VL-3B/7B、Qwen3.5-4B/9B、Gemma-4-E2B/E4B（注意这些是与论文 2026 年发表时点匹配的模型族），无需私有权重。WhatIfVis 基于现有基准（如 VLMs-are-Biased 的动物子集）的反事实图+匹配文本声明构建，按理可发布；重建探针需在 ImageNet-1K 上训练连接器+SANA 解码器，属中等 GPU 成本但可接受。人类评估给出 κ=0.84 的一致性，并辅以 mIoU/PSNR/SSIM/LPIPS 四个像素指标交叉验证，结论可信度高。主要门槛在机制可解释部分：激活修补需逐层访问多头注意力输出并做大量扫描，steering 需学习向量并逐模型标定标量 $c(w)$，对工程与算力（尤其 7B–9B 量级模型）有要求；SFT（LoRA）本身规模可控。综合看，结论可复现，但完整复现四阶段流水线需要可解释性工具链与一定算力投入。

看见还是知晓？多模态大语言模型的视觉上下文敏感性 Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models