数到四仍是 VLM 的苦差事：计数失败源于语言层对视觉证据的稀释

诊断 VLM 计数的视觉注意力塌陷，并提出 MAS 注意力预算正则。

前置知识

Vision-Language Model (VLM) 与模态投影器

VLM 由视觉编码器（CLIP/SigLIP）+ 模态投影器（Projector，将视觉 token 投射到 LLM 词空间）+ LLM 主干三段式组成。视觉特征经投影后再与文本 token 拼接送入 LLM，是本文诊断视觉信号丢失位置的物理基础。

论文的核心论断——视觉证据在投影阶段最强、在 LLM 层显著衰减——只有在理解了 VLM 三段式结构后才能读懂。读者必须知道 Projector 输出和 LLM 输入是同一空间、而 LLM 中段才是真正发生多模态融合的位置。

Patchification（视觉分块）与网格对齐

视觉编码器把图像切成 N×N patch 网格（如 14×14），每个 patch 映射为一个 token。物体若跨在两 patch 边界或中心落在四 patch 交点，特征会被切碎或量化，引发计数歧义。1-4 数字前缀代表的就是物体中心相对 patch 网格的四种典型位置。

如果不知道 patch 化是 VLM 视觉前端必经的离散化操作，就无法理解为什么同样形状、同样数量的物体在 case 1A（cell-centered，准确率 39.08%）和 case 4A（grid intersection，45.49%）上会有系统性差异。这是论文 patchification noise 一词的物理含义。

注意力可视化与 Attention-IoU

把 LLM 某一层某一头对所有 token 的注意力权重 back-project 到原图网格上得到 attention map，再二值化后与 ground-truth 物体 mask 计算 IoU。Attn-IoU 越高说明模型看的位置与该看的物体越一致，可作为模型是否真在用视觉证据的代理指标。

论文的 Figure 3b 和图 8（融合 token 热力图）都是基于这一指标。本文最反直觉的发现——模型即使答对数字，其注意力也常常不落在物体上——就是通过 Attn-IoU 而非简单 accuracy 暴露出来的。

线性探针（Linear / YOLO Probe）与组件级诊断

在冻结的大模型某一层表征之上，训练一个轻量级的监督头（本文用 1×1 bottleneck + YOLO 检测头，总参数量仅约 1.7M-2.2M），用其下游任务表现反推该层表征的信息质量。如果不同层用同一探针表现差异显著，说明信号质量在层间确实发生了变化而非探针能力差异。

这是论文定位瓶颈到底在 Encoder / Projector / LLM 哪一段的方法论支柱。读者需要理解：(1) 探针参数量相比 VLM 的数 B 参数可忽略，因此表现差异反映的是表征本身的信息量；(2) 探针要用同一架构跨层比较才能保证苹果对苹果。

Hinge 损失（合页损失）与可微正则

Hinge loss 形如 $\mathcal{L} = \max(0, \tau - x)$，当 $x \geq \tau$ 时损失为 0，否则线性增长。它常用于 SVM 间隔最大化，近年也被用于惩罚低于阈值的回归量。其优点是分段光滑、可导、且不干扰已经满足约束的样本。

论文把 MAS 设计成 $\mathcal{L}_\text{mas} = \max(0, \tau - \text{MAS})$ 的 hinge 形式，含义是只要视觉注意力占比低于阈值 τ 就开始惩罚。理解 hinge 函数的超过阈值不惩罚、低于则线性增大这一行为，是看懂 MAS 设计哲学的前提。

研究动机

近两年 VLM 在复杂推理上成绩飙升，但作者指出一个被掩盖的基础能力塌陷：在最朴素的物体计数上系统性失败。用 COUNTINGTRICKS 套件（32 类对照场景）对 10 个 3B-11B 开源 VLM 评测，平均准确率从 11.82%（LLaVA-1.5-7B）到 50.52%（Qwen2.5-VL-7B），意味着最强模型也只能答对一半。失败呈三重规律：(1) Dilation Robustness——把圆直径从 1× 扩到 2.5-4× patch，case 5A-8A 平均准确率从 39.08% 跃升到 52.98%，说明小物体切碎是首要失效源；(2) Adjacency Collapse——紧贴物体的 case 9-15 所有模型几乎归零（InternVL3-8B 在 9B 仅 8.9%）；(3) Number Avoidance——count 与 accuracy 强负相关（$r \approx -0.78$），LLaVA-1.5-7B 对 7、8、9、11 取得 0.0%，暗示失败由语言先验直接驱动而非视觉难度连续上升。

本文的目标是本文核心目标不是再设计新 SOTA 计数模型，而是回答一个机制问题：VLM 的计数失败究竟发生在管线的哪一段？是视觉编码器根本没看见物体（感知失败），还是看见了但在语言推理阶段被语言先验覆盖（融合失败）？为此设定三个具体目标：(1) 构建 COUNTINGTRICKS——18k 样本、32 种 patch 几何构型（grid-aligned、intersection、dilated、adjacent 四大类）的可控评测套件，在保持物体数量相同的前提下只改变位置 vs. patch 网格这一个变量，分离 patchification 噪声和语言先验两个独立失效源；(2) 训练 YOLO 探针到 Encoder / Projector / LLM 三个 tap，用同一探针架构和 AP@50 量化每一段表征的定位能力，画出计数信号衰减曲线；(3) 基于诊断结果提出 Modality Attention Share（MAS）——在微调阶段对生成回答时分配给视觉 token 的注意力比例做下限约束的可微 hinge 正则，验证强制模型重看图能否在不动架构的前提下提升计数准确率。

与已有工作不同的是，现有 VLM 计数研究（PairTally、VLMCount Bench、LVLM-Count）几乎都停留在最终答案对不对的表层评测，且大多使用自然图像，让 patchification 噪声与语言先验两个变量耦合在一起无法定位根因。可解释性研究（VAR、What's in the Image?）虽观察到视觉注意力塌缩，但提出的是训练后再分配干预，并未在训练目标中直接约束视觉份额。本文角度差异有三：(1) 用 Toy-32 这种程序生成、单一变量可控的合成基准做归因，把视觉前端的离散化噪声和语言层的语义偏置解耦；(2) 在 VLM 的三个物理 tap（Encoder/Projector/LLM）上挂同一探针做 AP@50 量化比较，给出瓶颈位置的硬证据；(3) 把视觉份额 $\text{MAS}_\ell$ 直接做成可微 hinge 正则，让注意力的多少本身成为训练信号，区别于 VAR 这类只在推理时改 attention 的训练后方法。

核心方法

方法分两条主线：诊断与干预。诊断线用 COUNTINGTRICKS + 三层 YOLO 探针定位信号丢失点。程序化生成 32 种构型几何图像（圆/方/三角，N∈[3,12]），用数字前缀 1-4 编码物体中心与 patch 网格相对位置，用字母后缀 A-D 编码尺寸/抖动变体，cases 5-15 测试 dilation 与 adjacency。评测记录 Accuracy、Attention-IoU、AP@50 三指标；在 Projector、LLM 上挂同一 1×1 bottleneck + YOLO 头，参数 1.7M-2.2M。干预线提出 MAS：把生成答案时分配给视觉 token 的注意力份额定义为 $\text{MAS}_\ell$，以 hinge 损失 $\mathcal{L}_\text{mas} = \max(0, \tau - \text{MAS})$ 叠到 SFT 交叉熵上 $\mathcal{L}_\text{total} = \mathcal{L}_\text{CE} + \lambda \mathcal{L}_\text{mas}$。

本文核心创新是把视觉注意力份额从可观察量提升为可训练量，三个本质区别于既有工作：(1) 三层 YOLO 探针的苹果对苹果对比——Encoder 1024ch、Projector 2048ch、LLM 2048ch 三种 tap 都用同一 1×1 + GroupNorm + SiLU bottleneck + 共享 YOLO 头，参数差异仅 0.5M 远小于 VLM 主干的数 B 参数，保证 AP 差异反映表征本身而非探针容量；(2) MAS 的可微 hinge 形式——区别于 VAR（Visual Attention Redistribution）这类训练后改 attention map 的硬干预，MAS 把视觉占比纳入训练目标，依赖 query/key 投影的梯度自然回传，让 minimum visual attention budget 成为可学习的归纳偏置；(3) 训练目标只对 assistant response 的 token 施加约束（target set T 限定为回答步骤），避免对系统提示、用户提问等不需要看图的位置做无意义惩罚。

方法步骤详情

实验流程分四步：(1) 构建 COUNTINGTRICKS，程序化生成 32 case × 1000 样本共 32k 张图（论文标注 18k 是剔除冗余后的有效量），物体为圆/方/三角，N∈[3,12]，配 Pstd（询问 'How many are there in the image? Respond concisely with shape counts using the following format: : {number}'）与 Digit-in-Conflict（插入 N±1 或 N±2 虚假数字）两种 prompt；(2) 基线评测，对 10 VLM 用 accuracy 度量并做 32 case 分解；(3) 探针训练，3 个 tap 上用相同超参训练 YOLO 探针并报告 AP@50；(4) MAS 微调，选 Ovis 2.5、Qwen3-VL、Intern3.5-VL 三个主干，在 FSC-147 SFT 数据上以 $\mathcal{L}_\text{total}$（$\tau=0.4$, $\lambda_\text{mas}=0.1$, 10 epoch）微调。

技术新颖性

技术新颖性三点。第一，双层 + 字母 patchification 编码：1-4 数字前缀把物体相对 patch 网格拓扑位置离散化，A-D 字母后缀再叠加尺寸/抖动维度，得到 4×4 = 16 基础 + 16 特殊 = 32 个构型，每构型固定 1000 样本，从而能稳定分离视觉离散化与语言先验的贡献。第二，三 tap 探针的跨架构 AP 衰减观察：Qwen2.5-VL Projector tap AP=0.554、LLM tap AP=0.282；Qwen3-VL Projector 0.705、LLM 0.372，呈现跨架构一致的 projector 高、LLM 低模式——一个可证伪的新经验规律，提示 LLM 中段融合是比 Projector 更主要的瓶颈。第三，把视觉份额做成可微 hinge 正则：MAS 通过 $A^{(h,\ell)}_{t\to j}$ 反向传播到 query/key 投影，$\partial \mathcal{L}_\text{mas}/\partial \theta_\text{attn}$ well-defined，比 VAR 更接近端到端可学习。

实验结果

实验分四组。第一组（Table 2/5）：10 VLM 在 32 case 上平均准确率 11.82%-50.52%，架构代差比参数规模更关键——Qwen2.5-VL-3B（36.01%）超过更大的 Llama-3.2-11B（24.00%）；case 5A-8A（dilation）平均 49.36%-53.72%，case 9-15（adjacency）骤降至 10.87%-28.20%。第二组（Figure 7）：count 与 accuracy 强负相关 $r \approx -0.78$，LLaVA-1.5-7B 对 7、8、9、11 取 0.0%。第三组（Figure 3-8 + Table 3）：10 VLM 平均视觉 token 注意力仅 10.7% vs. 文本 89.3%，答对样本 Visual Region Attention 仅 42.5%；YOLO 探针 Projector tap AP 显著高于 LLM tap（Qwen2.5-VL：0.554→0.282）。第四组（Table 4）：MAS 在 Ovis 2.5 上 Circles 84.9%→85.2%，在 Qwen3-VL 上 Circles 从 18.2% 跃升到 30.4% 但 FSC 反向退化。

**Table 1**: Key Details of the Evaluated Vision-Language Models

**Table 2**: Baseline Evaluation on Counting-Tricks

**Table 3**: Probe Architecture Parameters

**Table 4**: Impact of MAS Regularization

**Table 5**: Complete accuracies over all 32 test cases

**Figure 3**: Evidence of Text-Prior Dominance

**Figure 4**: Spatial evidence is strong in the vision stack but fades in the language layers

**Figure 5**: Training Dynamics (YOLO Probing Head)

**Figure 7**: Accuracy vs. Ground Truth Count

查看结构化数据

任务	指标	本文	基线	提升
COUNTINGTRICKS 32-case 平均计数（合成几何图）	Accuracy (%, 1000 样本/case)	Qwen2.5-VL-7B 50.52%（最强）, Ovis-8B 47.90%, LLaVA-OneVision-Qwen2-7B 44.44%, Phi-4-MM 39.83%	LLaVA-1.5-7B 11.82%, LLaVA-1.6-Vicuna-7B 14.20%, InternVL3-8B 21.72%, Llama-3.2-11B 24.00%, Gemma-3-4B 27.37%, Qwen2.5-VL-3B 36.01%	Qwen2.5-VL-7B 相对 LLaVA-1.5-7B 提升 +38.7 绝对百分点（4.3×），但即便最强模型仍只答对约一半，揭示 VLM 计数整体水平远低于其复杂推理宣称的能力
Dilation Robustness（case 1A → 5A，物体直径 1× → 2.5× patch）	Accuracy (%)	case 1A 平均 39.08% → case 5A 平均 52.98%，Qwen2.5-VL-7B 单独从 56.3% → 73.3%	同表同列	Qwen2.5-VL-7B +17.0 pp，10 个 VLM 集体平均 +13.9 pp，验证 patchification 噪声是可分离的视觉失效源
Adjacency Collapse（case 9-15，物体紧贴）	Accuracy (%)	case 9B 平均 15.87%，case 11A 平均 16.86%（Ovis-8B 与 Qwen2.5-VL-7B 在 11A 上能达到 42.4% / 42.2%）	同列其它 VLM：InternVL3-8B 在 9B 仅 8.9%、Qwen2.5-VL-3B 在 9B 8.2%、11B 0.3%	最强模型 9B 也仅 26.3%（Qwen2.5-VL-7B），11B 仅 14.8%，揭示 Nyquist 极限附近的实例分离是 VLM 计数最难子任务，且未通过架构代差解决
Modality Attention Share 量化（Figure 3a）	MAS 视觉 token 注意力占比（%）	10 模型平均视觉 token 注意力 ~10.7%，文本 token ~89.3%；Visual Region Attention ~42.5%，Attention Reward Score = -0.15	理想 grounded 模型应在纯视觉任务上接近 100% 视觉 token 注意力	虽无直接 SOTA 数字可比，但 -0.15 的 Attention Reward 与仅 42.5% 视觉区域注意力证明答对也常是 ungrounded——这是相对此前 accuracy-only 评测的关键新发现
YOLO Probe 跨层 AP@50（图 4）	AP@50（越高代表该层表征空间信息越完整）	Qwen2.5-VL：Projector 0.554 → LLM 0.282；Qwen3-VL：Projector 0.705 → LLM 0.372	同图同主干不同 tap	Qwen2.5-VL LLM tap 较 Projector 衰减 49%，Qwen3-VL 衰减 47%，跨架构一致的 projector 高、LLM 低模式即信号在 LLM 中段被稀释的硬证据
MAS 微调（Ovis 2.5 / Qwen3-VL / Intern3.5-VL）	Exact-match Accuracy (%) on Circles (Syn) / FSC-Val (Real) / FSC-Test (Real)	Ovis 2.5：Circles 85.2 / FSC-Val 17.7 / FSC-Test 16.1；Qwen3-VL：30.4 / 18.2 / 13.4；Intern3.5-VL：53.7 / 17.7 / 14.9	Ovis 2.5 SFT：84.9 / 17.5 / 16.6；Qwen3-VL SFT：18.2 / 20.3 / 14.0；Intern3.5-VL SFT：63.1 / 16.9 / 14.4	Ovis 2.5 in-dist Circles +0.3、Val +0.2、Test -0.5；Qwen3-VL Circles +12.2、Val -2.1、Test -0.6；Intern3.5-VL Circles -9.4、Val +0.8、Test +0.5。结论是 split 依赖、主干依赖的混合效果，验证 attention share 是有效控制旋钮但非通用解

局限与改进

作者承认三重局限：(1) MAS 的多少约束不足以替代哪里约束——只强制视觉 token 拿够份额而不强制其 attention 落在正确物体上，Figure 3b 显示 Attention Reward Score = $-0.15$ 说明 hinge 损失阻止了完全不看图但没能阻止看错位置；(2) MAS 阈值 $\tau$ 固定为 0.4 未做 per-layer 自适应，对长回答不友好；(3) Table 4 训练-测试差距显示 MAS 帮 in-distribution 但未见 out-of-distribution 收益。我读出的额外局限：(a) COUNTINGTRICKS 全是程序生成几何图，缺少自然图像与真实遮挡；(b) YOLO 探针 AP 衰减只在 Qwen2.5-VL、Qwen3-VL 两个 VLM 上做了 cross-tap 对比；(c) 论文未把 MAS 与 prompt 加 'please look at the image carefully' 做 ablation；(d) Number Avoidance 只做相关性分析，未控制训练语料中数字真实频率。

独立分析的弱点

独立看本文仍有四点可改进。第一，COUNTINGTRICKS 完全是合成几何图（圆/方/三角、单色背景、单一物体类型），缺乏真实世界的视觉复杂度（遮挡、纹理、类别混淆），建议扩展到 GQA 风格多类别、含背景杂物的设定，或在自然图像中通过 object mask 抠出计数子区域做受控实验。第二，YOLO 探针的跨层比较在 Qwen2.5-VL 与 Qwen3-VL 上呈现一致 Projector > LLM 模式，但样本只有 2 个 VLM 且都是 Qwen 系，建议在 LLaVA、InternVL、Phi-4、Ovis 上重复以排除架构同质性偏差。第三，MAS 的 hinge 损失是 token-level 聚合后的标量，无法区分视觉 token 拿够份额但落到背景与视觉 token 没拿够份额两种本质不同的失败模式，建议改为逐 token 的空间对齐损失（如 Saliency-IoU 的可微近似）以同时约束看多少和看哪里。第四，Table 4 显示 MAS 在 FSC-Test 普遍退化或持平，提示正则缺乏分布外泛化力，建议改用 per-layer 自适应阈值或课程式 τ 退火。

未来方向

作者在 Sec. 5.4 与 Sec. 6 提出三个明确方向：(1) 把多少约束升级为哪里约束——grounding-aware step selection，例如只在生成数字 token 时激活视觉约束；(2) 长度归一化——目前 MAS 随生成长度增大被稀释，需按 token 数量归一化或按层加权；(3) 探索 attention 之外的 grounding 机制——鼓励 spatial structure 在更深层被保留，例如在 LLM 中间层显式注入 encoder 表征做 residual read-out。我补充三个延伸方向：(a) 把 Number Avoidance 做成可量化指标（统计训练语料中 1-20 的相对频率，与各数字准确率做偏相关分析），把语言先验从定性观察变成可回归特征；(b) 联合训练 Projector 端探针作为辅助损失，强制中间表征空间信息不退化——与本文 LLM tap AP 衰减互补；(c) 把 MAS 推广到其它 grounding 任务（视觉关系推理、空间问答、引用表达式理解），验证视觉份额约束的普适性。

复现评估

复现难度中等。论文承诺开源代码与数据集（GitHub: https://github.com/leduy99/-CVPRW26-Modality-Attention-Share）。COUNTINGTRICKS 的 32k 样本是程序化生成（图形+位置+颜色），给出了完整命名规则（数字前缀 1-4、字母后缀 A-D、cases 5-15 的 dilation 与 adjacency），基于 Python+PIL/NumPy 可完全重现。MAS 训练用 FSC-147（公开数据集）转换 SFT 数据，10 VLM 全部开源（Qwen2.5-VL-3B/7B、LLaVA-1.5/1.6、InternVL3-8B、Llama-3.2-11B、Gemma-3-4B、Phi-4-MM、Ovis-8B、LLaVA-OneVision），HuggingFace 可直接下载。YOLO 探针训练未给超参表（只给了 1×1 bottleneck + GroupNorm + SiLU + YOLO 头架构），但参数量 1.7M-2.2M、跨 tap 共享描述足以复现。算力：MAS 微调 3 VLM 各 10 epoch 单卡 A100/H100 即可；10 模型全量评测约需 1-2 张 80GB GPU 推理数小时。

数到四仍是 VLM 的苦差事：计数失败源于语言层对视觉证据的稀释 Counting to Four is still a Chore for VLMs