视觉-语言模型的结构化图探针：从神经拓扑看跨模态计算组织 Structural Graph Probing of Vision-Language Models
用层内神经元共激活相关图作中层表征，证明VLM跨模态组织具有可预测、可结构化与可因果干预的行为意义。
前置知识
Vision-Language Model (VLM)
结合视觉编码器（ViT、CLIP、EVA）与大语言模型的端到端多模态系统，典型代表有 LLaVA-1.5、Qwen2.5-VL、InternVL3 等。模型把图像编码为视觉 token 与文本 token 拼接后交给多层 transformer 联合推理。
本文要把 VLM 的每一层当成可分析的分布式计算单元，因此必须了解 VLM 的层级结构、token 拼接方式以及隐藏激活的可访问性，否则无法解释为何神经元相关性图能刻画跨模态组织。
Graph Convolutional Network (GCN)
Kipf & Welling 提出的图上卷积网络，通过对称归一化邻接矩阵 $\hat A=\tilde D^{-1/2}\tilde A\tilde D^{-1/2}$ 与节点特征相乘实现邻域聚合。本文用 GCN 在相关性图上传播，让节点仅依赖图结构与节点身份生成结构化表示。
GCN 是本文图探针的数学核心，也是把稀疏相关性图映射为可训练探针特征的桥梁；不了解归一化与感受野机制就无法理解为何 GCN 输出对图结构而非单个节点幅值敏感。
Pearson 相关性图（神经拓扑）
对同一前向传播中每对神经元的 token 维激活向量计算 Pearson 相关系数得到的加权完全图；本文为可扩展性按 top-k 百分位稀疏化，仅保留 1%-20% 的最强边，得到一个反映"哪些神经元在同一上下文中同步激活"的关联网络。
神经拓扑是本文作为中层表征的核心对象，必须理解其与字面线路图（wiring diagram）的区别——它度量的是功能性共激活，而非真实电路连接，否则容易误读相关性上升为因果证据。
Probing Classifier（探针分类器）
用简单监督模型（线性层、MLP、GCN 等）在冻结的内部表征上拟合任务标签，以检测该表征是否编码任务相关信息。探针性能高，说明表征含任务信号；性能低，不能直接断言表征无用，只能说该探针没抓到。
本文在三个 VLM、七个基准上同时跑线性与图探针，比较二者差距来证明"群体结构"比"线性可读"携带更多任务信号；不了解探针的局限性会高估这些数字的因果含义。
机制可解释性 / 因果干预
通过 ablation、activation patching、counterfactual 等手段直接修改模型内部特定组件（神经元、注意力头、隐藏维度）并观察下游行为变化，从而把"哪些组件对输出有因果作用"与"哪些只是相关"区分开。
本文最后一节通过按度置零、按度替换、对称缩放等干预手段验证拓扑 Hub 神经元的因果性，这是把"探针信号"升级为"因果结构"的关键步骤。
InfoNCE 对比损失 / GAUC
InfoNCE 是以温度 $\tau$ 缩放的 softmax 交叉熵，把同一样本的正样本对拉近、把同 batch 内其它样本推远；GAUC（Graph AUC）衡量匹配对是否能被可靠排在不匹配对之上，是图匹配网络常用的对齐指标。
本文用对称 InfoNCE 训练跨模态图嵌入的共享空间，并用 GAUC 评估 LLaVA-1.5 的多模态/视觉/文本子图自对齐与跨模型对齐程度；不理解这一套就无法解释 Table 4 中 0.96 与 0.68 的差距。
研究动机
现有 VLM 可解释性主要依赖注意力流 [Abnar & Zuidema 2020]、saliency 与梯度类归因 [Grad-CAM 类]、patch attribution 和组件级 inspect 等局部方法。这些方法擅长定位影响力大的输入或局部机制，却难以刻画"多模态计算是如何在大规模相互作用单元群体中组织起来的"。在基于 transformer 的 VLM 中，计算分布在大量互动单元群体中，而非集中在少量孤立通路上，因此局部归因不足以解释多模态推理的内部组织——这种"中间尺度"的描述在视觉问答、幻觉检测等任务上几乎是空白的。
本文的目标是本文目标是把每一层 transformer 看作一个分布式计算状态，通过层内神经元共激活的 Pearson 相关性图（神经拓扑）作为中层表征，研究 VLM 的三层可解释证据：①网络拓扑能否预测模型行为（predictability）；②跨模态结构如何随深度演化（multimodal organization）；③按拓扑挑选的神经元/边是否具有可干预的因果行为意义（causal intervention）。
与已有工作不同的是，本文的独特切入角度是把"神经元之间的相关性结构本身"独立出来作为分析对象，建立一个统一表征空间同时承载三类分析——介于"局部归因"与"完整电路恢复"之间的中间地带。与 Abnar & Zuidema 2020 的注意力流、Selvaraju 等的 saliency 等局部归因不同，本文不关心单个 token 或 patch 的影响力，而是把 Hub 稳定性、Hub 因果性这些原本属于神经科学连接组学的视角引入 VLM 解释；同时区别于 Olah 等人的 circuit 级恢复，本文用稀疏图逼近，避免对整个网络的逐神经元建模。
核心方法
给定图像-文本对 $(I,T)$，冻结 VLM 前向传播并在每一层 $\ell$ 提取隐藏激活 $H^{(\ell)}\in\mathbb{R}^{d\times N}$，其中 $d$ 为隐藏维度、$N$ 为多模态 token 数。把每一层表示为带权完全图 $G^{(\ell)}=(V,E,W^{(\ell)})$，节点是神经元，边权 $W_{ij}^{(\ell)}=\mathrm{corr}(H^{(\ell)}_{i,:},\,H^{(\ell)}_{j,:})$ 即两神经元在同次推理中跨 token 的 Pearson 相关性。按 top-k 百分位稀疏化保留密度 0.01-0.20 的最强边后，给每个神经元分配 one-hot 节点身份并经可学习嵌入层映射到低维特征空间，再由 GCN 在 $\hat W^{(\ell)}=D^{-1/2}W^{(\ell)}D^{-1/2}$ 上传播得到结构化节点表示 $Z^{(\ell)}$，最后 mean+max 池化为该层图级签名 $h^{(\ell)}$——它不暴露隐藏激活幅值或语义，仅依赖图结构与节点身份。
核心创新在于把 GCN 探针嫁接到"层内神经元共激活图"上：传统探针读 hidden state 本身，本文则构造一层独立的"结构视图"，并通过 GCN 让探针只看见 graph structure。这样一来：(a) 把激活幅值与相关性结构解耦，能单独度量"群体组织"的信号；(b) 把同一表征 $h^{(\ell)}$ 复用于分类/回归、Hub 稳定性度量和因果干预；(c) 把原本属于神经科学的神经拓扑视角（Honey 等 "small-world"、Bassett & Sporns）引入到 VLM 解释中。
方法步骤详情
完整流程：①冻结 VLM 前向传播，按图像/文本/多模态 token 切分每层隐藏激活 $H^{(\ell)}$；②对每层按 Pearson 相关构造三类图——多模态 $G^{(\ell)}$、视觉 $G^{(\ell)}_{vis}$、文本 $G^{(\ell)}_{text}$；③按 1%-20% 密度稀疏化保留最强边；④one-hot 节点身份经嵌入层映射为 $X$；⑤GCN 在 $\hat W^{(\ell)}$ 上传播得到 $Z^{(\ell)}=\sigma(\hat W^{(\ell)}X W_g)$；⑥mean+max 池化得图级签名 $h^{(\ell)}$；⑦$h^{(\ell)}$ 进入三类下游用途——探针训练（Adam、80/20 划分）、Hub 稳定性（$\pi_i^{(\ell)}$ 度量跨样本复发率）、因果干预（按度置零 / 按度替换 / 对 Hub 对称缩放）。跨模态对齐阶段用对称 InfoNCE 训练共享嵌入空间，以 GAUC 评估匹配质量。
技术新颖性
技术新颖性体现在三个层面：(1) 首次把 VLM 内部表示建模为带可学习节点身份的层内 Pearson 相关性图，并通过 GCN 把"图结构"暴露给探针——避免直接读激活值或注意力权重；(2) 同时给出多模态 / 视觉 / 文本三套子图及其随深度演化的统计证据，使跨模态整合有了可度量轨迹；(3) 把 Hub 神经元的"稳定性"与"因果性"绑定在同一套实验协议下——稳定性用跨样本复发率，因果性用对称缩放 + 边缘级 intervention 的反事实验证，从而把预测性证据升级为可干预证据。
实验结果
在 3 个 VLM、7 个基准上图探针多数配对优于线性探针（Table 1），CLEVR 计数 GCN 较 Linear 在三个模型上分别提升 7.7/4.3/1.3 pp。回归（Table 2）GCN 把 InternVL3 MSE 由 0.020 降至 0.007、$R^2$ 升至 0.999。MHaluBench（Table 3）GCN 为 0.789/0.910/0.908，超过 word2vec 基线 0.66-0.65。Figure 2a 显示稀疏度 1%-20% 间精度几乎不变；Figure 2b 显示 Qwen2.5-VL 在约第 27 层达峰。Figure 3 证实跨模态整合发生在后期层。Figure 4-5 表明图派生 Hub 跨样本复发率最高、中间层最稳定。Figure 6 表明按度置零 top-1% 神经元跌幅显著超过按激活置零；Figure 7 边缘干预呈 Original<Random<Identical<Opposite 稳定顺序；Figure 8 显示 Hub 对称缩放具近似对称的敏感性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CLEVR 物体计数回归 | MSE | InternVL3-1B GCN 0.007 / Qwen2.5-VL-3B GCN 0.038 / LLaVA-1.5-7B GCN 0.379 | InternVL3 Linear 0.020 / Qwen2.5-VL Linear 0.081 / LLaVA Linear 0.605 | MSE 分别下降约 65% / 53% / 37%，同时 $R^2$ 与 Pearson 系数均提升 |
| TDIUC 多类识别 | Accuracy | InternVL3-1B GCN 0.965 / Qwen2.5-VL-3B GCN 0.976 / LLaVA-1.5-7B GCN 0.954 | InternVL3 Linear 0.884 / Qwen2.5-VL Linear 0.943 / LLaVA Linear 0.971 | InternVL3 +8.1pp、Qwen2.5-VL +3.3pp；LLaVA 上 GCN 仅略低 1.7pp，整体仍接近线性 |
| MHaluBench 幻觉分类 | Accuracy | GCN: 0.789 / 0.910 / 0.908（三个模型） | word2vec 平均嵌入基线 0.664 / 0.654 / 0.649，文本长度基线 0.500 / 0.633 / 0.642 | 相对 word2vec 基线 +12.5pp / +25.6pp / +25.9pp，证明拓扑结构携带超越浅层语义的信号 |
| 跨模态图对齐 | GAUC | LLaVA 多模态自匹配 0.960 | LLaVA Text vs Image 0.819；LLaMA Text vs LLaVA Text 0.680 | 0.960 vs 0.819（+14pp） vs 0.680（+28pp），说明多模态训练并未抹平模态间结构差异 |
| Top-1% 神经元置零（TDIUC 计数） | 相对原模型精度下降幅度 | InternVL3 按度置零触发最大跌幅（Figure 6a） | 随机置零与按激活幅值置零 | 度排名置零造成 ~31.4pp 跌幅，显著超过按激活置零 ~16pp 和随机置零约几个百分点 |
局限与改进
作者明确指出本文发现"描述性而非机制性"——跨模态相关随深度上升不等于因果中介；稀疏化只取最强 1%-20% 边，可能掩盖弱但语义重要的依赖；图探针完全丢弃激活幅值与语义，对细粒度行为信号存在结构盲点；干预实验里 InternVL3 的最敏感层在第 11 层、Qwen2.5-VL 在第 0 层，作者强调这不构成对"VLM 融合位置"的确定性定位。除此之外，仅在 1B-7B（Hub 稳定性扩展到 13B）的较小模型上验证，未覆盖 70B+ 级别；任务以 VQA 与幻觉为主，缺少对长链推理或多轮对话的解释力证据；边缘级干预只对数据集级最强一条边动手，缺统计显著性检验。
独立分析的弱点
独立观察到的可改进之处：①稀疏阈值 hard-code 在 1%-20% 区间，最强 1% 已能解释几乎所有信号，但未消融次强边是否带来互补信息；②节点身份 one-hot + 可学习投影初始无先验，可能对数据规模敏感，建议引入结构或语义先验；③边缘级干预只对数据集级排名第一的边做反事实，缺乏对不同强度档位边的扫描和显著性检验；④Hub 选择固定 top-1%，未给出 top-0.1%、top-5% 等其它分位的灵敏度消融；⑤跨模态对齐仅在 $\tau=1$ 上报告 GAUC，未给出温度 batch size 敏感性；⑥Figure 7 中 Same 模型 / 不同模型之间的 Opposite 跌幅差异巨大但未做配对统计检验。
未来方向
作者提出可向更长上下文、更多模态（视频、音频）以及把神经拓扑作为电路恢复中间表征的方向延伸。基于结果还可：①用 GAT / GIN 替代无权 GCN，让探针利用边权连续性；②结合稀疏自编码器（SAE）特征，把群体结构与单神经元语义耦合分析；③把 Hub 神经元用于 VLM 知识编辑、推理加速或模型压缩；④在 70B+ 指令微调变体上验证神经拓扑是否仍成立；⑤用 motif 发现等结构稀疏性方法寻找可解释的子图模板；⑥把神经拓扑与 circuit-level 探针结合，从 Hub 到 circuit 自动追溯因果链。
复现评估
作者公开了代码 https://github.com/he-h/vlm-graph-probing；模型均为开源（InternVL3-1B、Qwen2.5-VL-3B-Instruct、LLaVA-1.5-7B，附录对 InternVL3-2B / Qwen2.5-VL-7B / LLaVA-1.5-13B 也做了 hub 稳定性实验）；数据集均为公开（CLEVR、TDIUC、MHaluBench、MMMU、MMMU-Pro、BLINK、EMMA）；硬件使用单卡 NVIDIA L40S，优化器 Adam，80/20 train/test 划分；附录 Table 5 补充 Precision/Recall。复现门槛总体较低，但仍有难点：①逐层 hook 提取隐藏激活对显存 / 时间开销较大；②稀疏阈值与 GCN 嵌入维度、卷积层数需要仔细调参；③边缘级"相同 / 相反 / 随机"干预需要稳定的 forward hook 实现，否则替换向量数值稳定性会影响结论。
论文图表