语义丰富度还是几何推理?视觉语言模型视觉不变性的脆弱性

系统揭示SOTA VLM在旋转/缩放/恒等变换下高度依赖数据熟悉度,缺乏真正几何推理能力。

前置知识

变换等变性 (Transformation Equivariance) 与不变性 (Invariance)

等变性指 $f(T(x))=T(f(x))$,不变性指 $f(T(x))=f(x)$。CNN 天然平移等变,ViT 默认不具备。本文用三种变换 $\{t_{rotation}, t_{scale}, t_{identity}\}$ 压力测试 VLM 是否能识别'同一物体变换后仍是同一物体'。

这是论文研究的核心问题域。读者必须先理解CNN/ViT架构层面的差异,才能看懂为什么作者选择旋转、缩放、恒等三种几何变换去'压力测试'VLM,并理解为什么视觉编码器单独评估时表现出旋转不变性、而接上语言解码器后这种能力会消失。

视觉编码器与多模态大语言模型 (MLLM) 的解耦

现代 VLM 由视觉编码器(把图编码为 token)与语言解码器(自回归生成文本)两段组成。CLIP、DINOv2、SigLIP、Qwen2.5-VL-7B 的视觉部分都是这类前置编码器,本文独立分析其特征相似度,以剥离'视觉编码器是否有不变性'与'VLM 整体是否不变'两个问题。

论文最关键的实验发现是:视觉编码器确实保留了相当程度的旋转不变性(cosine similarity 下降缓慢),但当这些特征流入语言解码器后,等变性信号丢失,模型无法正确判断'两张图是否是同一物体的旋转版本'。不理解这个解耦结构,就读不懂 Figure 2 与后续 Table 1-5 之间的因果链。

TPR / TNR / Accuracy 三类指标的诊断意义

TPR(召回率)=$TP/(TP+FN)$ 衡量正样本命中能力;TNR(特异性)=$TN/(TN+FP)$ 衡量负样本拒绝能力;Accuracy 是整体正确率。论文反复强调'TNR≈100%, TPR 很低'的系统性偏差,意味着模型倾向于回答 No,这是诊断 fragility 的关键信号。

如果只看Accuracy,很多模型在50%附近,会被误以为是'随机猜测';但同时看TNR与TPR就会发现:TNR高而TPR低,说明模型是'过度拒绝',即把旋转后的正样本错判为'不同物体'。这一现象在 Table 1、Table 2、Table 5 中反复出现,是论文定性'fragility'(脆弱性)的核心证据。

语义丰富度梯度 (Semantic Richness Gradient)

指图像中可被语义识别的内容密度,从稀疏(线条字符)到丰富(自然照片)。本文用 PACS 四域与 Omniglot 50 种文字构造梯度,刻意把语义信息逐步剥离以暴露纯粹形状感知能力,区别于 Domain Generalization 的分布偏移评测。

论文的核心论证建立在'语义丰富度'这一概念上:模型在Photo(语义丰富)上接近完美,在Symbolic Sketches(语义稀疏)上崩溃,这条单调下降的曲线才是'VLM 依赖语义而非几何'的关键证据。不理解这一梯度的设计意图,就读不懂为什么 Gemini-2.5-Pro 在 Photo 上 92.67% 而在 Sketch 上掉到 86.50% 这一现象。

研究动机

当前 SOTA VLM(Gemini-2.5-Pro、GPT-5.2、Qwen2.5-VL/Qwen3-VL 系列)在自然图像的物体识别任务上接近人类水平,业界普遍认为它们已具备'视觉推理'能力。然而这一假设掩盖了一个更基础的问题:这些模型是否真正理解几何变换——能否判断'两张图是否是同一物体经过旋转/缩放/恒等变换而来'。而这些 VLM 已被部署到机器人、自动驾驶等安全关键领域,空间推理偏差将直接威胁现实交互可靠性。实验现象尤其令人警惕:Gemini-2.5-Pro 在 Photo 域旋转任务 TPR 达 85.33%,Omniglot 符号字符上 TPR 仅 55.10%;Qwen2.5-VL-7B 在 Times New Roman 旋转上 TPR 仅为 2.14%,几乎完全'拒绝'正样本。TNR≈100%、TPR 极低的'过度拒绝'模式说明模型无法可靠识别变换后的同一物体。

本文的目标是本文的具体目标是:(1) 系统性地评测当前 6 个 SOTA VLM 在三种基本几何变换(旋转、缩放、恒等)下的不变性能力;(2) 跨越 4 个语义丰富度梯度(Photo / Art / Cartoon / Sketch / Symbolic Scripts / Handwritten English),在控制变量前提下解耦'几何推理能力'与'语义识别能力';(3) 通过三种提示策略(旋转识别 RR、物体识别 OR、物体身份判断 OI)和两种能力注入(少样本 ICL、旋转网格提示),验证失败是否可被 prompt 工程或简单干预修复;(4) 通过独立分析视觉编码器的特征相似度,定位失败的真正来源是视觉编码器还是语言解码器。

与已有工作不同的是，已有工作(Yiu et al., 2024;Zhang et al., 2024;Hemmat et al., 2024;Feng et al., 2025;Niu et al., 2026)虽然在 VLM 视觉推理失败模式上做了大量探索,但普遍局限在'自然图像'评测,没有系统地控制语义丰富度这一变量——也就是说,既有benchmark无法回答'模型到底是因为没有几何推理能力才失败,还是因为没见过这种分布才失败'。本文的独特切入点是构造一个'语义丰富度梯度',用 Omniglot 的 50 种文字(含罕见 Grantha、Glagolitic、Tengwar 等)+ PACS 的 4 个域,形成从高到低语义稀疏度的连续谱系;并把'识别同一物体'(OR)与'识别旋转后的同一物体'(RR)放在同一benchmark中,用同一对图像做正负例对比,从而在控制输入的同时只改变提问方式,精确隔离'语义识别能力'与'几何变换能力'的贡献。这是当前 VLM 评测文献中少有的、可显式区分'几何推理缺失'与'分布外泛化缺失'的工作。

核心方法

论文的整体思路是'压力测试 + 变量隔离'。首先构造一个语义丰富度梯度,涵盖从稀疏符号到丰富自然图像的多种数据集;然后在每一档语义密度上,让 VLM 完成三类任务:恒等变换(两张图是否完全相同)、缩放变换(忽略尺寸判断是否同一物体)、旋转变换(第一张图旋转后能否得到第二张)。每一对图像都被同时送入'物体识别'(OR)、'物体身份判断'(OI)、'旋转识别'(RR)三种提示,以控制变量地观察同一输入在不同提问方式下的表现差异。最后独立分析视觉编码器(CLIP、DINOv2、SigLIP、Qwen2.5-VL-7B encoder)对旋转后图像对的 cosine similarity,把'视觉编码器是否保留了几何信息'与'语言解码器是否用上了这些信息'分开讨论。最后还设计了 ICL(2 个带标注的示例对)和 Rotational Grid(同一字符四角度拼接)两种干预手段,检验能否修复失败。

本文的核心创新点是'语义丰富度梯度 × 同对输入 × 多提示'三元交叉设计。已有工作往往只测一种语义密度(如只看自然图像),或只问一种问题(如只看旋转),但本文在每一对图像上同时用三种变换、三种提示、四种语义域,把同一对样本在多个变量维度上交叉评测,从而精准定位'失败是几何推理缺失还是语义泛化缺失'。配套地,论文提出了'视觉编码器-语言解码器'的解耦诊断法——通过比较视觉编码器的特征余弦相似度(Figure 2)与下游 VLM 的 TPR/TNR(Figure 3、Table 1-5),证明'视觉编码器其实保留了旋转信息,但语言解码器接收到这些特征后无法完成空间推理',把失败根源锁定在模态融合环节,这是单纯测 VLM 整体性能的工作无法给出的诊断深度。

方法步骤详情

方法分四步。第一步数据准备:Omniglot 取 50 种文字 1623 字符,Times New Roman 52 个字母,Handwritten English 52 字符,PACS 从 4 域、7 类别各采 200 张共 800 张。第二步配对与变换:对样本 $I$ 构造正例 $(I, t(I))$ 与负例 $(I, t(J))$,$t \in \{t_{rotation}, t_{scale}, t_{identity}\}$,旋转 $10°$–$90°$ 或 $90°/180°/270°$(避开 padding 伪影),缩放 $s \in \{0.1, 0.3, 0.5, 0.9\}$。第三步三组提示:RR、Identity、Scale,另设 OR、OI 作对照;ICL 设置前置 2 个示例对。第四步解析 \{Yes\}/\{No\},按 $TP/TN/FP/FN$ 计算 Accuracy、TPR、TNR 并按域、变换聚合。

技术新颖性

技术新颖性体现在三方面。第一,把视觉编码器独立评估(Figure 2 cosine similarity)与端到端 VLM 评测(Table 1-6)在同一论文里联合分析,这种解耦诊断让读者一眼看出'几何信号丢失发生在哪一段'——Figure 2 显示 SigLIP 与 Qwen2.5-VL-7B 视觉编码器在 $90°$ 旋转后余弦相似度仍较高,但 Table 1-2 显示下游 VLM 在同样输入上 TPR 跌至个位数,矛头明确指向模态融合。第二,'同对输入 × 多提示'控制变量精度少见:同一对 $(I, I')$ 在 OR 任务上接近满分、RR 任务上接近随机,这种'Task 翻转'的戏剧性证据比一般 benchmark 更具说服力。第三,ICL 与 Rotational Grid 实验(Table 6)把 TPR 与 TNR 此消彼长单独列出,揭示高能力模型在干预下更易形成 confirmation bias,这是单纯 accuracy 看不到的细微失败模式。

**Figure 2**: Cosine similarity between features extracted from different vision encoders on pairs of images under rotation.

实验结果

核心发现分五层。第一层视觉编码器保留旋转信息:Figure 2 显示 CLIP/DINOv2/SigLIP/Qwen2.5-VL-7B 在 $0°$–$30°$ 范围 cosine similarity 接近 1.0,$90°$ 时仍约 0.7。第二层 VLM 端信号丢失:Table 1 显示 6 个 VLM TNR 普遍 $94\%$-$100\%$,TPR 显著低于 $80\%$,Qwen2.5-VL-7B 在 Times New Roman 上 TPR 仅 $2.14\%$。第三层语义丰富度决定性能:Table 2 显示 PACS 上 TPR 按 Photo > Cartoon > Art > Sketch 下降,GPT-5.2 从 99.00% 跌至 84.83%。第四层任务切换揭示语义捷径:Table 3 同一对图像 OR/OI 几乎满分,RR 显著掉到 50-77%。第五层干预只能部分缓解:Table 6 显示 ICL 与 Grid 显著提升 TPR 但代价是 TNR 大幅下降,形成对偶偏差。

**Table 1**: Rotation recognition performance across character datasets.

**Table 2**: Rotation recognition performance across PACS domains.

**Table 3**: Performance across task formulations on PACS.

**Table 4**: Model performance for the identity transformation on printed and handwritten scripts.

**Table 5**: Model performance on the scale-invariance task aggregated across all scales.

**Table 6**: Model performance with in-context learning and structured visual prompting across scripts.

**Figure 3**: Failure cases on the identity task for Qwen2.5-VL-7B.

**Figure 4**: Thinking trace comparison for Gemini-2.5-Pro (Times New Roman 'C' vs Gujarati character).

查看结构化数据

任务	指标	本文	基线	提升
PACS 域旋转识别 (90°/180°/270°)	Accuracy / TPR (Gemini-2.5-Pro)	Photo 92.67%/85.33%, Art Painting 94.17%/88.33%, Cartoon 90.33%/80.67%, Sketch 86.50%/73.17%	随机猜测 50.00%/50.00%,Qwen2.5-VL-7B Sketch 52.25%/4.50%,GPT-5.2 Sketch 92.25%/84.83%	Photo→Sketch 准确率下降 6.17pp,TPR 下降 12.16pp;与Qwen2.5-VL-7B相比,Gemini-2.5-Pro在Sketch上的提升来自闭源模型的语义先验,但TPR仍只有73.17%
Omniglot 多脚本旋转识别 (10°–90°)	Accuracy / TPR (Gemini-2.5-Pro)	Omniglot 76.90%/55.10%,Times New Roman 89.32%/78.63%,Handwritten English 68.27%/36.97%	Qwen2.5-VL-7B: Times New Roman 51.07%/2.14%, Omniglot 50.72%/1.98%;随机猜测 50.00%/50.00%	闭源Gemini-2.5-Pro在Times New Roman比Qwen2.5-VL-7B高+38.25pp,但在Handwritten English上TPR骤降到36.97%,显示模型对'手写变体'的脆弱性
Omniglot 恒等匹配 (Identity)	Accuracy / TPR (6 模型聚合)	Times New Roman 100.00%/100.00%, Handwritten English 99.04%/100.00%, Omniglot 81.33%-99.72%/62.78%-100.00%	Qwen2.5-VL-7B 在Omniglot上仅 81.33%/62.78%;其余5模型在Omniglot上均超过 96.67%	即使是最简单的'两张图是否完全相同'任务,Qwen2.5-VL-7B 在Omniglot上仍有近38%的identical pair被错判为'不同字符',提示其缺乏对未知脚本字符的最基础识别能力
Omniglot 缩放不变性 (s ∈ {0.1, 0.3, 0.5, 0.9})	Accuracy / TPR (Gemini-2.5-Pro)	Times New Roman 99.51%/99.03%, Handwritten English 96.63%/95.19%, Omniglot 82.56%/75.01%	Qwen2.5-VL-7B Omniglot 77.40%/61.81%,Qwen2.5-VL-32B 74.21%/80.55%,Qwen3-VL-8B 76.05%/54.99%	Times New Roman 接近完美,但Omniglot下降约17pp,Gemini内部报告熟悉脚本(如Greek)TPR=70.83% vs 不熟悉Braille TPR=3.85%, 差异达67pp
PACS 多提示对比 (OR vs RR vs OI)	Accuracy (Gemini-2.5-Pro, Photo)	OR 100.00%, OI 98.25%, RR 92.67%	Qwen2.5-VL-7B: OR 100.00%, OI 98.75%, RR 59.42%;Qwen3-VL-8B: RR 50.25% (近似随机)	同一对图像,从OR切换到RR,Gemini-2.5-Pro仅下降7.33pp,但Qwen2.5-VL-7B下降40.58pp,Qwen3-VL-8B下降49.75pp,说明'语义识别能力'与'几何推理能力'在开源VLM中存在巨大断层
ICL + Rotational Grid 干预 (Omniglot Malayalam / Tengwar / Braille)	TPR提升 vs TNR下降	GPT-5.2 Malayalam: TPR 34.04%→85.11% (ICL),→97.87% (Grid);但TNR从93.62%→78.72%→72.34%	Qwen2.5-VL-7B TPR始终0.00%(无干预);Qwen2.5-VL-32B Tengwar: TPR 16%→76% (ICL), 但TNR从88%→68%	干预确实能让高能力模型学到'旋转即正样本'的模式,但代价是把TNR拉到随机水平附近,形成对偶偏差而非真正的几何理解

局限与改进

作者未设专门 Limitations 小节,但从文末与附录可推断三点限制:(1)样本规模受限于闭源 API 成本:Omniglot 每脚本 1 样本,PACS 每域 200 张,对细分脚本(Grantha、Glagolitic)的细粒度分析仍偏粗;(2)评测对象局限于 6 个 VLM 与 4 个视觉编码器,未覆盖 LLaVA、InternVL、Claude Opus 等其他系列,且闭源版本随时间变化可能让结果不可复现;(3)分析停留在现象描述,虽提供 Gemini thinking trace 对比,但未定位语言解码器在哪一层/哪个 attention head 丢掉了视觉编码器传入的几何信号,也未做表征 probing 分析。我额外观察到:论文把'几何推理失败'等同于'TPR 低',但 TPR 低也可能由 temperament bias 导致,不一定完全是几何能力缺失;另外旋转只在 $10°$–$90°$ 区间测试,非正交角度在 PACS 上的 padding 伪影被回避,鲁棒性测试并不完整。

独立分析的弱点

独立分析后,以下弱点值得改进。第一,任务设置偏向'识别同一性',没有显式建模变换类型:只让模型判断 Yes/No,没有要求回答'旋转了多少度',回避了更细粒度的几何评测,改进方向是引入角度回归任务。第二,ICL 只用 2 个示例对(Angelic+Gujarati),可能与被测脚本形成关联,改进方向是用 5-shot/10-shot 并交叉验证不同示例集。第三,视觉编码器 cosine similarity 是单一全局向量相似度,忽略 patch-level 局部结构,改进方向是加入 patch-level attention map 或 keypoint matching。第四,数据集偏字符类,没有覆盖人脸、建筑、Logo 等几何结构丰富的物体,改进方向是引入更广的几何 benchmark(如 3D rendered objects)。第五,缺少纯 ViT 加线性分类头做旋转预测的基线,无法严格对比'端到端训练'与'视觉编码器+语言解码器'的差距。

未来方向

作者在 Conclusion 提出两个未来方向:(a) 探索'架构创新'让模型具备零样本几何推理能力;(b) 设计'针对性的数据增强'在预训练阶段注入几何信号。基于本文成果,可延伸出五条方向。第一,模态融合层面的可解释性研究:既然 Figure 2 证明视觉编码器保留了几何信号,下一步应定位语言解码器在哪一层/哪个 attention head '丢失'了这些信号,并尝试在 fusion 层加正则项或 cross-attention bias 强制模型使用这些信号。第二,拓展到视频与 3D:构造动态旋转短视频或多视角 3D 物体旋转,验证 VLM 在时序与多视角融合下的几何推理能力。第三,建立几何推理导向的预训练数据流水线:在预训练阶段注入合成几何图形(线条、形状、拓扑变换),让模型从源头学到几何先验。第四,与 embodied agent 结合:在机器人抓取、navigation 中把'物体身份不变性'作为 planning 硬约束。第五,扩展到更长 chain-of-thought,显式调用几何推理工具(参考点、角度估计)。

复现评估

复现评估分四方面。开源情况:论文未声明代码与权重开源,只给出项目主页,目前没有公开仓库,完全复现需自行实现 prompt 模板、评估脚本与配对逻辑。数据可获得性:Omniglot、PACS、Times New Roman、Handwritten English 等所有数据集均公开可下载。算力需求:本研究不训练模型,主要是 API 调用成本——闭源 Gemini-2.5-Pro、GPT-5.2 完整跑一遍(1623 字符 × 多种旋转 × 多模型 × 正负样本)费用估计在几千美元级;开源模型 7B/8B 单卡 H100/A100 即可,32B/30B 需要 2-4 张 A100。最大不可控因素是闭源模型版本可能随时间变化,导致 Table 数字无法严格复现。

语义丰富度还是几何推理?视觉语言模型视觉不变性的脆弱性 Semantic Richness or Geometric Reasoning? The Fragility of VLM's Visual Invariance