超越感知错误：大型视觉语言模型中的语义固化现象

揭示VLM在规则重映射时的语义固化偏差并提出VLM-Fix基准

前置知识

视觉语言模型（VLM）

将视觉编码器（如ViT）与语言解码器（LLM）耦合的多模态模型，能在给定图像和文本提示的条件下生成自然语言回答。代表模型包括GPT-4.1、Qwen2.5-VL、InternVL3.5等。

本文研究对象就是VLM，理解其编码-解码结构和多模态融合机制是把握'语义固化'发生位置的前提。

Chain-of-Thought（思维链）提示

一种在提示中显式要求模型先输出中间推理步骤再给最终答案的方法，可显著提升复杂任务的准确率。代价是token消耗增加，且对某些模型可能引入幻觉。

论文在Table 4中用CoT作为边界条件，验证即使加入逐步推理，standard–inverse gap依然存在，是结论稳健性的关键证据。

Einstellung效应（固化效应）

认知心理学中的经典现象：人在解决相似问题时倾向于复用熟悉的解法模板，即使新问题存在更优解。1942年由Luchins在透镜问题实验中首次系统记录。

论文将这一认知科学概念'翻译'到VLM评测中，是论文理论框架的核心类比，读者需要理解类比的两端才能看懂motivation。

SFT与RLVR后训练

SFT是用监督数据继续训练模型；RLVR（Reinforcement Learning with Verifiable Rewards）用可验证奖励（如答案是否正确）做强化学习，GRPO是常用策略优化算法。

论文用SFT和RLVR（GRPO）做训练干预实验，揭示'训练在单规则上会强化规则依赖'这一现象，是method章节的核心操作。

Activation Steering（激活干预）

在推理时用一个donor样本的中间层激活替换或叠加到target样本的对应位置，从而定向改变模型行为。属于机制可解释性方向。

论文第7节用此方法验证'语义固化错误是否在末端可编辑'，是连接现象（gap）和机制（表征）的关键桥梁。

研究动机

现有VLM评估方法在测试推理鲁棒性时，无法清晰区分感知失败与规则映射失败。当模型在多模态任务中表现不佳时，研究者无法判断是模型没有正确理解图像，还是模型在按照熟悉的语义先验进行推理——比如'井字棋3连成线即胜'。在VLMBias、POPE、C-VQA、VisMin等反事实基准中，视觉证据和语义期望往往纠缠在一起，失败归因模糊不清。已有研究表明纯文本LLM存在锚定效应和Einstellung固化效应，但这些研究未能孤立出多模态场景中'视觉固定、语义变化'这一特殊情形，使得多模态模型的'语义先验依赖'缺乏可量化诊断工具。

本文的目标是本文的核心目标是定义并系统性地研究'语义固化'（semantic fixation）这一失败模式：当提示明确指定了与先验等价但不同的规则映射时，VLM是否仍坚持默认的熟悉解释。作者构建VLM-Fix基准——一个包含四个抽象策略游戏（井字棋3×3、连四4×4、翻转棋5×5、点框6×6）的受控合成评测集，其中每个终局棋盘在标准规则和反规则（misère形式）下被成对评估，从而在固定视觉证据的同时仅改变胜利语义。目标是提供一个可量化的诊断工具，配套三层干预证据（prompt、训练、激活）系统刻画VLM的语义可重映射性。

与已有工作不同的是，本文的独特切入角度在于将认知心理学中的Einstellung效应显式引入多模态推理评估，通过严格的'视觉相同-语义不同'配对设计将感知失败与语义映射失败干净分离。此前多数VLM鲁棒性研究——无论是社交偏见测试（VLMBias）、反事实视觉扰动（C-VQA、VisMin）、空间评估（SpatialEval），还是计数与幻觉基准（POPE、HallusionBench）——都难以排除感知难度变化带来的混淆。本文的关键差异在于：每个棋盘在标准与反规则下被精确复用，使性能差异必然来源于规则重映射而非视觉识别；并进一步通过neutral alias（用POM、TOV等无意义标签替代winner/loser）和SemAlias对照设计，分别剥离'词汇熟悉性'和'显式语义关联'对固化的独立贡献。

核心方法

本文整体方法遵循'诊断-干预-机制'三阶段路线。首先构建VLM-Fix基准作为诊断工具，通过对比标准规则和反规则下的同棋盘表现量化语义固化缺口。然后设计三类干预进行交叉验证：输入端通过渲染变体（Glyph用随机字母替换X/O符号、Checkerboard改变棋盘纹理）和prompt变体（Base直接说winner/loser、Alias用中性标签POM/TOV、SemAlias在Alias基础上加favorable/unfavorable定义）观察先验解耦效果；训练端通过SFT和RLVR（GRPO算法，奖励$\mathcal{R} = \mathbb{1}[\hat{y}=y_{\text{gt}}]$）的同规则和跨规则微调观察规则依赖性；机制端通过donor-based activation steering配合轻量router，在最终12层decoder上patch query token激活，检验错误是否在末端语义读取层可编辑。三层证据的相互印证使论文结论比单一方法更稳健。

核心创新是将Einstellung固化效应从纯文本推理场景扩展到多模态VLM场景，并通过配对棋盘设计实现'控制变量'式诊断。已有方法如C-VQA、VisMin通过反事实视觉扰动研究VLM偏差但无法排除感知难度变化；He等人（2022）、Vo等人（2025）的反事实prompt学习将视觉和语义耦合在一起。VLM-Fix的关键不同在于：使用300个唯一的非平局终局棋盘在标准与反规则下成对评估，配合neutral alias和SemAlias对照，能够在保持视觉证据恒定的同时，单独测试规则重映射能力。这种'反事实语义但事实视觉'的配对设计是该基准区别于所有现有VLM评测的核心方法论贡献。

方法步骤详情

具体方法分四步。第一，生成数据集：从四个游戏中各生成300个非平局终局基础状态，平衡两个玩家的胜场分布，每状态在标准与反规则下都被询问'谁是赢家'和'谁是输家'，配合图像优先和文本优先两种模态顺序，五个配置（Base/Glyph/Checkerboard/Alias/SemAlias）下每游戏评估12000个样本。第二，进行14个VLM的基线评估（greedy decoding，温度0，最大1024 tokens），闭源模型用300状态缩减子集、开源模型用全量。第三，进行训练干预：SFT和RLVR（GRPO，奖励$\mathcal{R}=\mathbb{1}[\hat{y}=y]$）在D1（同规则监督）、D2（反规则监督）、D3（双规则+跨游戏）三个split上训练Qwen2.5-VL-3B/7B、Molmo2-4B、InternVL3.5-4B。第四，进行机制干预：在最后12层decoder中对query token做donor-based activation steering，donor由一个轻量router（预测正确规则桶的二分类器）选择匹配样本。

技术新颖性

技术新颖性体现在三个层面。数据层面：VLM-Fix是首个严格控制视觉证据的语义固化基准，每个棋盘-规则对构成一份'控制变量'实验；VLMBias等现有基准从未固定视觉输入来孤立语义映射。机制层面：三层证据（prompt、训练、激活）的交叉验证比单一方法更稳健，特别是late-layer activation steering配合donor router（预测正确规则桶的分类器）可以避免donor不匹配造成的负迁移，这一设计比naive activation patching更精细。范式层面：把认知科学中的Einstellung概念翻译成可操作的多模态评测协议，为未来类似'语义可重映射性'研究提供范式。方法局限：donor质量决定steering效果，基础模型在3-leg动物计数准确率近0%，必须先做SFT才能提供可靠donor；闭源模型只能评估300状态子集，统计可靠性低于开源模型。

**Figure 2**: Compact Reversi example from VLM-Fix: three rendering variants and three prompt variants

**Figure 3**: Representative Animals example from VLMBias with Base and Flip images and prompts

实验结果

核心发现一：VLM-Fix基线存在稳健的standard–inverse缺口。14个VLM在四个游戏平均标准规则准确率67.1%、反规则52.5%，缺口14.6点。最大缺口出现在点框（73.8% vs 50.0%，23.8点），14个模型中13个反规则更低，唯一例外是Sonnet-4.5。核心发现二：prompt干预支持固化机制。Alias（中性标签POM/TOV）将反规则提升到63.08%，缺口缩到2.29点（最小）；SemAlias（带回favorable/unfavorable定义）让缺口重新打开到12.7点（66.2/53.5），证明固化由'熟悉胜利语义'驱动。核心发现三：训练干预呈规则依赖性。D1/D2上SFT/RLVR提升同规则但伤害跨规则（负迁移），D3双规则联合训练改善跨游戏迁移。核心发现四：late-layer activation steering在17.5-27.5层decoder可部分恢复表现，Reversi和点框效果最显著。核心发现五：VLMBias外部验证显示Flip+Alias将动物腿计数从3.6%提升到22.2%，偏见从93.2降到67.5。

**Table 1**: Standard and inverse rule conditions in VLM-Fix

**Table 2**: VLM-Fix results under the baseline setting (Base; canonical rendering; direct answering)

**Table 3**: Average effect of input interventions on VLM-Fix direct results, aggregated over 14 models

**Table 4**: Boundary-condition results on VLM-Fix: CoT, Descriptive, Text-only controls

**Table 5**: Aggregate VLMBias results across four evaluation subsets, averaged over 14 models

**Figure 4**: VLM-Fix splits (D1–D3) results for Qwen2.5-VL-7B and Qwen2.5-VL-3B

**Figure 5**: Synthetic leg-count transfer for Qwen2.5-VL-7B and Qwen2.5-VL-3B on VLMBias

**Figure 6**: Layerwise activation-steering results on VLM-Fix for Qwen2.5-VL-7B across four games

**Figure 7**: Layerwise SFT→Base activation-steering results on VLMBias Animals for four models

查看结构化数据

任务	指标	本文	基线	提升
VLM-Fix基线（Base prompt，14模型平均）	宏观平均准确率（%）	标准规则67.1% / 反规则52.5%	无（缺口本身14.6点为基线测量）	+14.6点的standard–inverse gap即为主要测量结果
Alias prompt干预下的缺口缩小	宏观平均准确率（%）	标准64.8% / 反规则63.1%，gap 2.29点	Base 67.1%/52.5%，gap 14.6点	缺口缩小12.3点（-84%）
SemAlias prompt干预下的缺口恢复	宏观平均准确率（%）	标准66.2% / 反规则53.5%，gap 12.7点	Alias gap 2.29点	缺口重新打开10.4点（+453%），证明语义重载恢复固化
VLMBias Animals 子集（Base prompt）	准确率%（偏见%）	3.6%（偏见93.2）	Base即为基线	基线测量
VLMBias Animals Flip+Alias干预	准确率%（偏见%）	22.2%（偏见67.5）	Base 3.6%（偏见93.2）	准确率+18.6点（+517%），偏见-25.7点
D1 split SFT训练（Qwen2.5-VL-7B）	同规则测试准确率（%）	同规则显著提升至接近100%	Base SFT前水平	同规则大幅提升，但跨规则出现负迁移（准确率低于Base）
D3 split 联合训练（Qwen2.5-VL-7B，跨游戏迁移）	标准/反规则准确率（%）	标准/反规则均较Base提升	Base水平	跨游戏双向迁移改善，证明双规则训练可缓解固化

局限与改进

作者承认的主要局限：VLM-Fix是合成数据集，规则限定为胜利/失败翻转，可能无法完全代表自然场景下的语义固化；评估的14个VLM偏向主流已部署模型，对小模型或新架构代表性有限；late-layer activation steering的可解释性仍然有限，论文承认'发展完整的语义表征机制解释仍是重要未来方向'。具体技术局限包括：donor routing的准确率直接决定steering效果，在Connect Four等更困难设置上提升有限；闭源模型（GPT-4.1/5.2、Sonnet-4.0/4.5）只用300状态子集评估，统计可靠性低于开源模型；VLMBias外部验证虽定性一致，但本质不是'语义固化'的直接测量，而是相似现象的迁移证据；论文未做连续语义强度剂量-反应曲线分析，无法判断'半熟悉'词汇的中间态固化程度；规则翻转的覆盖范围有限（仅考虑胜负反转），未涉及更复杂语义重映射如平局处理、特殊规则子例。

独立分析的弱点

独立分析本文有三处可改进的弱点。第一，规则翻转覆盖范围有限：仅考虑胜负反转，未涉及更复杂语义重映射（如平局处理、特殊规则子例、得分型游戏），使得'语义固化'的普遍性可能仍被低估；改进方向是扩展规则空间到'赢=平局'、'赢=指定格子'等更多样化的语义重映射。第二，donor-based steering可推广性受限：基础模型在3-leg动物计数准确率近0%，必须先做SFT训练donor，这意味着steering本身依赖训练数据，论文未给出完全无监督的可编辑性证据；改进方向是开发无donor的steering方法，如ICL-based intervention、self-attention编辑或基于梯度归因的动态干预。第三，prompt变体设计粒度有限：Alias只测试'完全去语义化'和'重新加语义'两极，未测试连续语义梯度；改进方向是引入连续语义强度变量（如使用半熟悉度从0到1的合成词），通过剂量-反应曲线量化'词汇熟悉度-固化强度'的函数关系。

未来方向

作者提出的未来方向：1）发展完整的'语义表征如何形成并用于推理'的机制性解释；2）将VLM-Fix扩展到更自然的非游戏任务中。基于本文成果可延伸的方向包括：将'语义固化'概念推广到指令调优、工具使用、多轮对话等更复杂场景；探索激活干预与self-debiasing、causal intervention等去偏方法的结合；开发端到端的'语义解耦训练'目标函数，在损失函数中显式惩罚对先验语义的依赖项，例如设计$\mathcal{L}_{\text{decouple}} = \mathcal{L}_{\text{task}} + \lambda \cdot \mathbb{1}[\hat{r}=r_{\text{prior}}]$；研究多模态模型中'语言先验权重'和'视觉证据权重'的动态调整机制；把'semantic fixation gap'作为新的鲁棒性维度加入VLM leaderboard；将激活干预结论扩展到非视觉模态的固化研究如纯文本推理任务。

复现评估

复现评估较为友好：作者明确公开了项目主页、代码和数据集（https://maveryn.github.io/vlm-fix/），数据生成协议和prompt模板在论文正文中给出，4个游戏的渲染脚本应可复用。训练干预（SFT和RLVR with GRPO）的超参数在Appendix C.1中详述。计算成本方面，14个VLM评测中闭源模型用300状态缩减子集以控制API费用；开源模型（Qwen2.5-VL系列）在全量扩展上评估，4块GPU级别硬件应可重做SFT实验。复现难度中等，主要挑战在于：1）闭源模型API接口和模型版本可能变化，影响结果可比性；2）donor-based steering的router训练需要SFT donor先准备好，形成循环依赖，必须先训练donor再做steering；3）evaluation pipeline较长（每游戏12000样本×5配置×2回答方式=24000样本/游戏），总样本数较大，评估时间显著；4）附录图表（如Figure 11/12）的具体训练细节需进一步阅读才能完整复现。整体而言，数据和代码的开放程度高于该领域平均水平。

超越感知错误：大型视觉语言模型中的语义固化现象 Beyond Perception Errors: Semantic Fixation in Large Vision-Language Models