Grid2Matrix：揭示视觉语言模型中的“数字失认症” Grid2Matrix: Revealing Digital Agnosia in Vision-Language Models
用彩色网格转录任务暴露 VLM 从视觉编码到语言输出间的表征-表达鸿沟。
前置知识
Vision-Language Model (VLM)
由预训练视觉编码器 (VE) + 大语言模型 (LLM) + 多模态对齐模块三部分组成的端到端模型。视觉特征经过投影层（如 Qwen 的 Vision-Language Merger、InternVL 的 Pixel Shuffle）压缩成 token，再由 LLM 自回归生成文本。
本文诊断 VLM 内部信息流必须先理解 VE→Projector→LLM→token 的管线架构，才能定位“数字失认症”具体发生在哪一段。
Patch Tokenization (ViT 切块编码)
标准 ViT 把图像切成固定大小的方形 patch（如 $16 \times 16$ 像素），每块经线性投影得到一个 token。$512 \times 512$ 图像经 $16 \times 16$ 切分产生 $32 \times 32 = 1024$ 个 patch token。
G2M 的核心实验变量是网格大小 $N$ 与 patch 大小 $16$ 的对齐关系。当 $N=32$ 时一格一 patch、$N=64$ 时一 patch 含 $2 \times 2$ 格，patch-grid 对齐直接决定细胞可恢复性。
空间探针 (Spatial Probe)
一种把模型中间表征当作固定特征、只训练一个轻量读出层（本文为浅层卷积）来评估该层是否含有目标信息的诊断方法。准确率高说明信息在该层可恢复，低说明已被破坏或下游无法读取。
论文用 Spatial Probe 量化 VE 内部保留多少网格信息，并以此与端到端 VLM 输出对比，定位失败究竟发生在 VE 还是投影/语言生成阶段。
Exact Match 与 Cell Accuracy
G2M 的两个评估指标：Exact Match 要求整张 $N \times N$ 矩阵与真值完全一致（二元），Cell Accuracy 是逐格正确率（连续）。前者测序列化无错能力，后者支持细粒度失败分析。3 色任务随机猜测 Cell Accuracy 约 33%。
理解随机基线 33% 才能判断 VLM 在 32×32 网格上 0% Exact Match 究竟是“完全崩溃”还是“略好于随机”，并正确解读论文中所有对比表的数字差距。
视觉失认症 (Visual Agnosia) 的神经科学类比
神经病学中视觉失认症指视觉通路与初级皮层完好无损（sensation intact），但关联皮层无法把视觉信号合成为有意义的知觉（perception impaired）。本文借这一二分法命名“数字失认症”。
术语 Digital Agnosia 直接来自这个类比：不理解原始失认症的“感觉得到但认不出”框架，就无法理解作者为何把失败归因于表征-表达 gap 而非编码能力不足。
研究动机
当前 VLM 在 MathVista、MMMU、ChartQA、MMVet 等高难度多模态基准上已能与人类专家比肩，但这些评测几乎都允许模型“走捷径”——通过稀疏显著区域、语义先验或语言知识完成任务，而不必逐字逐格读出整张图。例如表格解析、图表阅读、表单理解、GUI 交互等真实落地场景恰恰依赖密集空间保真度，而现有基准无法惩罚“漏看小细节”这种失败。论文用一句话概括：how well do current VLMs handle tasks that require faithful dense spatial readout?——这正是被忽视的盲区。
本文的目标是作者提出 Grid2Matrix (G2M) 诊断基准，用程序生成的 $N \times N$ 彩色网格 + 颜色到整数字典，强制 VLM 完整转录矩阵；通过控制 $N \in [3, 64]$ 与颜色数 $C \in [3, 10]$ 实现连续难度梯度。任务不依赖世界知识，剥离语义混淆，使评测严格反映“密集空间感知 + 序列化输出”能力。配套引入浅层空间探针，在冻结 VE 输出上训练，从而把“VE 内部保留多少”与“端到端最终表达多少”分离诊断。
与已有工作不同的是，现有 VLM 失败分析多停留在 benchmark 整体分数层面，把模型当黑箱；既没有诊断工具能区分“视觉编码失败”和“下游表达失败”，也没有合成可控的密度梯度让失败模式可复现。Fu et al. (2025) 已指出 VLM 经常用不到 VE 已捕获的高层视觉特征，但局限于深度估计/视觉对应等语义属性，没有触及“逐格转录”这种纯空间保真度任务。本文在合成数据 + 探针 + 端到端三层交叉验证，定位出“VE 内部 100% 可恢复但端到端 0%”的尖锐数字失认症证据，并揭示 patch-grid 对齐、模型缩放、多模态对齐三个独立变量对此失败的影响。
核心方法
方法分三层。第一层是 G2M 基准本身：固定 $512 \times 512$ 输入分辨率与 $16 \times 16$ patch 切分，通过 $N \in \{3,6,9,12,20,32,48,64\}$ 和 $C \in [3,10]$ 形成难度谱，配套 Exact Match 与 Cell Accuracy 两个互补指标。第二层是端到端零样本评测，对 GPT-5-mini/5.2、Gemini-3-Flash/Pro、InternVL3.5 (1B-38B)、Qwen3-VL (2B-32B) 共两大类 8 个模型做转录，并使用确定性解码 + 鲁棒后处理解析器减少格式噪声。第三层是 VE 隔离探针：冻结开源模型的 VE（Qwen3-VL 在 Vision-Language Merger 之前、InternVL3.5 在 Pixel Shuffle 之前），在其最终隐藏态上训练浅层卷积空间探针，预测 $N \times N$ 网格。
核心创新是把“密集空间任务失败”分解为两个可独立测量的子问题：VE 保留了多少结构（探针 Cell Accuracy）、端到端表达了多少（生成 Exact Match / Cell Accuracy）。两者差距即“数字失认症”的量化度量。这一框架克服了过往研究只能给黑箱分数的局限，让失败来源可定位——是编码器、投影层还是 LLM 序列化阶段出问题。G2M 任务被设计为“剥光语义”（procedural color grids，无世界知识可走捷径），同时通过 $N$ 与 $C$ 提供连续可调的难度轴，使失败何时发生、如何发生都可被精确刻画。
方法步骤详情
输入为 $512 \times 512$ 的 $N \times N$ 彩色网格图 + 颜色到整数字典 prompt，输出 $N \times N$ 文本矩阵。具体四步：(1) 数据生成：对每组 $(N, C)$ 程序化生成多组网格配预设字典；(2) 端到端评测：图+字典送入 VLM，用确定性解码 + 后处理解析器提取矩阵，与真值比较算 Exact Match 与 Cell Accuracy；(3) 探针训练：取开源 VLM 的 VE（InternViT-300M/6B、SigLIP2-300M/SO-400M）冻结权重，提取 patch 表示 $h \in \mathbb{R}^{1024 \times d}$，用浅层卷积预测 $N \times N$ 网格，仅训练探针权重；(4) 对比分析：把探针 CA 与端到端 CA 画在同一 $N$ 轴上得到 gap 曲线，再做热图、patch 对齐消融、缩放实验、vanilla vs extracted VE 对比。所有探针训练只更新浅层卷积，单卡可跑。
技术新颖性
技术新颖性体现在三处。其一，任务设计的“语义剥离”思想：与 ChartQA、DocVQA 等“看似测空间”实则依赖语义先验的基准不同，G2M 强制模型逐格输出，绕开所有 shortcut；连续密度梯度让失败阈值可被精确读出。其二，诊断方法学：用 frozen VE + 浅层探针把“内部可恢复性”与“端到端表达”分离开来，这种“信息可恢复性 probe”在 NLP 解释性研究中常见，但用于 VLM 空间感知是新的。其三，failure morphology 的精细刻画：错误不是均匀随机噪声，而是高度结构化的热图模式，并与 patch 边界严格耦合；进一步发现“对齐悖论”——多模态对齐能提升探针准确率但不能根治端到端失败，这把对齐的角色从“性能提升器”重新定位为“瓶颈放大器”。
实验结果
核心发现四块。(1) 端到端早期崩溃：GPT-5-mini 3 色 9×9 EM 归零；Gemini-3-Flash 9×9 仍 97.3%，20×20 归零，32×32 CA 38.5%（逼近 33% 随机基线）。开源 8B 模型 9×9 全部 EM 归零。(2) VE 探针大幅领先：32×32 探针双双 100% CA，48×48 InternVL 98.75%/Qwen 72.31%，64×64 仍 69.27%/54.81%，远超 33% 基线。(3) 错误结构化：GPT-5-mini 12×12 强烈左上偏好；Gemini-3-Flash 20×20 顶/底行塌陷；开源 8B 普遍右下方退化（自回归跟踪失败）；VE 自身存在位置固定的盲区（InternVL 沿垂直中线衰减，Qwen 角点偏好）。(4) 缩放与对齐悖论：InternVL 缩 VE 提升探针 48×48 98.75%→100%，但 38B 零样本 12×12 CA 从 14B 的 46.15% 跌至 39.56%；对齐提升探针 5-13 pp 但盲区残留。Grid-patch 对齐消融：32×32、48×48 是局部峰，64×64 反低于相邻非对齐尺寸。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| G2M 端到端 3-color 网格转录 | Exact Match / Cell Accuracy (%) | GPT-5-mini 9×9 EM 0.0% / CA 65.6%；Gemini-3-Flash 9×9 EM 97.3% / CA 100.0%；InternVL3.5-8B / Qwen3-VL-8B 在 9×9 全部 EM 归零 | 随机猜测 CA ≈ 33.3%；人类接近 100% | 揭示出 VLM 在 9×9 即出现尖锐早期崩溃，远早于物理上图像分辨率能支撑的极限 |
| VE 空间探针 Cell Accuracy | Cell Accuracy (%) on frozen VE features | 32×32 网格：InternVL3.5 与 Qwen3-VL 探针双双 100.00%；48×48：InternVL 98.75%、Qwen 72.31%；64×64：InternVL 69.27%、Qwen 54.81% | 端到端 VLM 在同尺寸已接近或低于 33% 随机基线 | 探针相对端到端在 32×32 上提升 100% - 0% ≈ 100 pp（exact match 维度），在 48×48 Cell Accuracy 上提升 65-65 pp（vs 同尺寸端到端） |
| Qwen3-VL 缩放对比 (2B/4B/8B/32B) | VE 探针 CA @ 48×48 / 64×64 | 2B/4B 用 SigLIP2-Large 300M: 81.59% / 57.47%；8B/32B 用 SigLIP2-SO 400M: 72.31% / 54.81% | 更小的 300M VE 反而保留更多结构 | 大模型缩放（SO 400M）相比小模型（300M）反而在 48×48 上损失 9.28 pp、64×64 上损失 2.66 pp |
| InternVL3.5 VE 缩放 (300M → 6B) | VE 探针 CA @ 48×48 / 64×64 | 300M: 98.75% / 69.27%；6B (38B 模型): 100.00% / 73.34% | 300M 蒸馏学生模型 | 6B 教师在 48×48 提升 1.25 pp，64×64 提升 4.07 pp；但 InternVL3.5-38B 零样本 12×12 CA 从 14B 的 46.15% 反而跌至 39.56% |
| Vanilla vs Extracted VE 对齐增益 | VE 探针 CA @ 64×64 | Qwen3-VL-8B: 47.22% → 54.81% (+7.59 pp)；InternVL3.5-8B: 56.20% → 69.27% (+13.07 pp)；InternVL3.5-38B: 67.99% → 73.34% (+5.35 pp) | Vanilla 预训练 VE（未做多模态对齐） | 多模态对齐在 64×64 探针上提升 5-13 pp，但同一架构的零样本仍崩溃 → 对齐悖论 |
局限与改进
作者明确指出的局限包括：G2M 是合成任务，不直接代表自然图像分布；评测用了确定性解码 + 后处理解析以排除格式噪声，但实际部署中格式失败本身也是失败；3-10 颜色和 3-64 网格范围虽覆盖了崩溃阈值，但并未延伸到 128×128 等更极端密度。论文未做提示工程、思维链 (CoT) 或工具调用 (tool use) 的消融，未必能反映 VLM 在加 prompt 后的真实能力上限。我的额外观察：(1) 仅对比两个 VLM 家族，未涵盖 LLaVA-OneVision、Kimi-VL、Grok-VL 等其它设计哲学；(2) Spatial Probe 训练在合成网格上，可能与 VLM 真实预训练数据分布不同，探针绝对数值未必能直接外推；(3) 评测只测了 2D 矩形网格，未覆盖非规则、曲线或层叠结构，对真实 GUI / 表格场景的代表性有限；(4) 错误热图的分析是描述性的，未给出可量化的偏差方向度量（如熵、空间频谱）；(5) 对齐悖论的因果链仅是假设（LLM 跟不上 6B VE 的高维特征），缺乏消融实验直接验证。
独立分析的弱点
独立分析四点弱点。其一，任务单一性：G2M 只覆盖均匀矩形彩色网格，没有字符、符号、灰度渐变等更丰富的视觉元素，因此探针结果与端到端差距是否在“含语义内容”的密集任务（如电子表格、电路图）上同样成立尚不可知；改进方向是引入混合语义+空间保真度的任务，如“网格中嵌入数字”的双重挑战。其二，开源样本有限：探针在开源 VLM 上跑，但只覆盖 InternVL3.5 与 Qwen3-VL 两个家族；改进方向是补充 LLaVA-OneVision、Kimi-VL、DeepSeek-VL 等多样化架构，验证数字失认症是否 VLM 通病。其三，“对齐悖论”的因果归因偏弱：作者假设 LLM 跟不上 6B VE 的高维特征空间，但未做“冻结 LLM 训练新投影层”等反事实实验；改进方向是设计 ablation：固定 LLM 只微调 Projector，观察失败是否随 Projector 容量变化。其四，错误热图分析偏定性：作者描述了“左上偏好”“右下退化”等模式，但未给出可比较的标量度量；改进方向是定义“位置偏差熵”或“频谱不均匀度”指标，让跨模型对比可量化。
未来方向
作者在结论与正文中明确提到几条未来方向：(1) 把 G2M 扩展为自然图像版本，保留“密集空间转录”特性同时引入真实视觉复杂度；(2) 探索 CoT、tool use、迭代细化等推理策略对端到端崩溃的修复能力；(3) 进一步研究 vanilla 与 extracted VE 的盲区差异，定位多模态对齐中具体哪一阶段引入了新误差。基于结果可延伸的方向还包括：(a) 把数字失认症从“转录任务”推广到“密集预测”全谱，如深度估计、分割、关键点定位；(b) 设计训练目标直接惩罚表征-表达 gap，例如让 LLM 在自回归时显式访问全部 patch token，而非压缩后再展开；(c) 探索 patch 大小可调 VE（如 8×8、32×32）对齐不同任务粒度的方案，避免固定 16 带来的硬编码对齐问题；(d) 把空间探针变成在线训练诊断工具，纳入 VLM 训练 pipeline 监控表征-表达 gap 演化。
复现评估
作者在脚注 1 明确开源代码：https://github.com/zhykoties/Grid2Matrix DigitalAgnosia。复现难度分项评估：(1) 数据：G2M 是程序化生成的合成网格，无需人工标注，复现零成本；(2) 探针训练：浅层卷积 + 冻结 VE，单张 A100 级别 GPU 即可，单次训练几小时量级；(3) 端到端评测：需要调用 GPT-5、Gemini-3 等闭源 API，InternVL3.5 / Qwen3-VL 需本地部署 8B-38B 模型，38B 单机 A100 80G 即可推理；总体算力门槛中等，论文未报告 wall-clock 时间。(4) 难度：开源仓库与正文都给出网格生成脚本和探针代码，但闭源模型的 deterministic decoding 配置、post-parser 细节只在 Appendix D 提到，复现者需仔细阅读附录。总体而言复现性良好，但对想精确复现 Gemini-3 / GPT-5 数字的研究者，闭源 API 仍可能因模型版本迭代产生偏差。
论文图表
