LatentLens：揭示LLM中高度可解释的视觉Token LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs
提出LATENTLENS方法，证明LLM中视觉token在各层均具有高度可解释性
前置知识
Vision-Language Model (VLM)
视觉语言模型是将视觉编码器（如CLIP、DINOv2）与大语言模型结合的架构。典型做法是通过一个投影层（MLP或注意力模块）将视觉编码器产生的图像嵌入映射到LLM的嵌入空间，然后将视觉token和文本token拼接后送入LLM处理。这种架构使得LLM能够同时理解和生成关于图像的文本描述。
本文研究的核心就是VLM中视觉token在LLM内部的可解释性，理解VLM的基本架构是前提
LogitLens
LogitLens是一种用于解释LLM中间层表示的方法。它将某一层的隐藏表示乘以模型的输出嵌入矩阵（unembedding matrix），得到一个词汇表上的概率分布，从而将潜在表示解码为具体的词汇。这种方法假设LLM在各层的表示都朝着最终输出预测的方向演进。
LogitLens是本文的主要基线方法之一，论文证明它严重低估了视觉token的可解释性
上下文化表示 (Contextualized Representations)
与静态的词嵌入不同，上下文化表示是token在特定句子语境中经过LLM处理后得到的表示。同一个词在不同句子中的上下文化表示是不同的，因为它编码了周围语境的信息。例如，'clock'在'stone tower with gold clocks'和'clock is ticking'中的上下文化表示会有显著差异。
LATENTLENS的核心创新就是使用上下文化表示而非静态嵌入来解释视觉token
视觉编码器 (Vision Encoder)
将原始图像转换为一系列向量表示的预训练模型。本文研究了三种视觉编码器：CLIP-ViT-L/14（通过对比学习与文本对齐）、SigLIP-so400M（使用sigmoid损失的CLIP变体）、DINOv2-L（纯视觉自监督学习，无文本监督）。它们产生不同数量的图像patch嵌入，每个嵌入维度为d_v。
不同视觉编码器的预训练方式（有无语言监督）对视觉token的可解释性有重要影响
最近邻搜索 (Nearest Neighbor Search)
在向量空间中找到与查询向量最相似的k个参考向量的技术。本文使用余弦相似度作为度量，在大量预计算的上下文化token表示中搜索与视觉token最相似的表示。返回的最近邻对应的原始文本作为视觉token的描述。
这是LATENTLENS方法的技术基础，理解最近邻搜索才能理解方法如何工作
研究动机
将LLM转换为VLM只需训练一个简单的线性变换或浅层MLP，将视觉表示映射到LLM的嵌入空间即可取得令人惊讶的成功。然而，一个基本问题始终悬而未决：为什么LLM能够如此容易地处理来自其他模态的数据？视觉token在LLM的各层处理过程中是否具有语义可解释性？现有方法如EmbeddingLens（将视觉token与LLM输入嵌入矩阵比较）和LogitLens（将视觉token映射到输出嵌入空间）得出了不一致的结论。EmbeddingLens在某些OLMo模型上显示34-62%的视觉token可解释，但在Qwen2上不到20%。LogitLens在早期层仅25%以下可解释，只在后期层才有所提升。这些方法都存在两个根本局限：1）描述集合仅限于模型词汇表中的子词token；2）不同层的潜在表示总是与相同的参考向量（输入或输出嵌入）比较。
本文的目标是本文的目标是开发一种新的可解释性方法，能够准确揭示视觉token在LLM各层处理过程中真正编码的信息。具体而言，研究者希望系统性地回答：视觉token在多大程度上是可解释的？它们是否对应于语义上有意义的语言表示？不同模型、不同层、不同视觉编码器之间有何异同？
与已有工作不同的是，本文的独特视角在于一个关键洞察：视觉token表示最自然的比较对象不是LLM的输入或输出嵌入矩阵，而是来自大量文本语料库的上下文化token表示。现有的EmbeddingLens和LogitLens都使用静态嵌入作为参考，但LLM中的表示是高度上下文依赖的。一个视觉token可能不会直接映射到'building'这个孤立的嵌入，但它可能与'building with many stories'中'building'的上下文化表示高度相似。通过使用语义丰富的句子级描述而非孤立的子词token，LATENTLENS能够提供更细粒度、更准确的解释。
核心方法
LATENTLENS的核心思路可以用一个类比来理解：假设你有一个外国人说了个词你听不懂，你有两种方式理解它——要么查字典找最接近的词条（类似EmbeddingLens/LogitLens），要么在一段对话的语境中理解这个词的含义（类似LATENTLENS）。显然，语境中的理解更准确。技术上，LATENTLENS分为三步：1）离线预计算——用一个大型文本语料库（299万条Visual Genome描述）通过目标LLM生成上下文化token表示，存储在各个中间层；2）在线查询——对于待解释的视觉token，计算它与所有预存上下文化表示的余弦相似度；3）返回描述——选择相似度最高的k个表示，返回它们对应的原始句子作为描述。
LATENTLENS与已有方法最本质的区别有两点：第一，比较对象不同。EmbeddingLens和LogitLens分别使用LLM的输入嵌入矩阵E_emb和输出嵌入矩阵W_unemb作为参考，这些都是静态的、与上下文无关的向量。而LATENTLENS使用的是经过LLM处理的上下文化表示r_{j,t}^{ℓ}，这些表示编码了丰富的语境信息。第二，描述粒度不同。已有方法返回的是单个子词token（如'b'、'##elfry'），而LATENTLENS返回完整的句子描述（如'stone tower with gold clocks'）。这意味着视觉token可以与描述中任意位置、任意层的token进行比较，ℓ和ℓ'不必相等，大大增加了解释的灵活性。
方法步骤详情
LATENTLENS的完整流程如下：首先，预计算阶段。给定语料库C（299万条Visual Genome描述），用目标LLM M编码每条描述d_j，存储各层ℓ的上下文化token表示r_{j,t}^{ℓ}，每个词汇token最多存储20个上下文。这是一次性成本，约需2小时GPU计算和26GB存储。其次，在线查询阶段。对于待分析的视觉token表示h_i^{ℓ'}，计算它与所有r_{j,t}^{ℓ}的余弦相似度，选择得分最高的top-k个参考向量。最后，返回这k个参考向量对应的原始描述作为视觉token的解释。整个查询过程约需29毫秒/图像。
技术新颖性
LATENTLENS的技术新颖性体现在多个方面。首先，它是第一个系统性使用上下文化嵌入来解释视觉token的方法，而此前的工作要么使用静态嵌入（EmbeddingLens），要么使用输出层投影（LogitLens）。其次，它实现了跨层比较——视觉token在层ℓ'的表示可以与任何层ℓ的上下文化表示比较，这使得'跳跃对齐'（Mid-Layer Leap）现象得以被发现。第三，它提供了句子级而非子词级的解释，更符合人类的理解习惯。第四，方法完全免训练（training-free），只需一次性的语料库编码。最后，通过LLM judge（GPT-5）与人类标注者的验证（Cohen's κ = 0.68），建立了可靠的自动评估框架。
实验结果
本文在15个VLM配置上进行了全面评估，得出了一系列重要发现。首先，使用LATENTLENS，平均68%的视觉token被判定为可解释，远高于EmbeddingLens的32%和LogitLens的24%。这意味着之前的方法严重低估了视觉token的可解释性。其次，在所有9个受控模型组合（3个LLM × 3个视觉编码器）中，LATENTLENS在各层都保持了60-85%的高可解释性，且不同模型间的差异很小。相比之下，EmbeddingLens在Qwen2上不到20%，LogitLens在早期层仅25%以下。第三，发现了'Mid-Layer Leap'现象：即使是输入层的视觉token，其最近邻也来自LLM的中间层（如层8或16），而非同层的文本表示。例如，OLMo-7B + SigLIP的输入层视觉token主要与层8的上下文化表示对齐。这表明视觉token在进入LLM时就已经是'预上下文化'的，其表示状态类似于文本token经过多层处理后的状态。第四，DINOv2（无语言监督的视觉编码器）在所有三种解释方法下都表现出一致的高可解释性，这是一个令人惊讶的发现。第五，语料库大小的敏感性分析显示，即使只使用1%的语料库（约3万个描述），可解释性仍能达到67%，与完整语料库的72%相差不大。最后，在6个现成VLM上的验证表明结果具有良好的泛化性：Molmo模型表现最好（7B-D: 86%, 72B: 78%），Qwen2-VL和LLaVA-1.5达到55-62%，较大的Qwen2.5-VL和LLaVA-NeXT为33-35%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视觉token可解释性（跨所有模型平均） | 可解释token百分比 | 68% | EmbeddingLens 32%, LogitLens 24% | +36pp vs EmbeddingLens, +44pp vs LogitLens |
| OLMo-7B + CLIP各层平均可解释性 | 可解释token百分比 | 72.3% | EmbeddingLens 48%, LogitLens 34.3% | +24.3pp vs EmbeddingLens, +38pp vs LogitLens |
| Molmo-7B-D现成模型可解释性 | 平均可解释token百分比 | 86% | EmbeddingLens 38%, LogitLens 28% | +48pp vs EmbeddingLens, +58pp vs LogitLens |
| Captioning质量（Qwen2-7B + SigLIP） | DCScore (1-10) | 6.77 | Qwen2-VL-7B-Instruct 8.5 | 受控设置，冻结LLM |
| 语料库大小敏感性（1%语料库） | 可解释token百分比 | 67.3% | 完整语料库 71.6% | 仅降低4.3pp |
局限与改进
论文承认了多个局限性。首先，LATENTLENS需要预计算和存储大量上下文化嵌入，当前设置需要约26GB存储空间（float8压缩后），虽然比float32的75%有所降低，但仍比LogitLens等仅依赖模型权重的方法开销大。其次，可解释性判断受限于Visual Genome语料库的内容覆盖——对于该语料库未充分覆盖的领域（如专业科学图像、非西方文化背景），解释可能不够准确。第三，最近邻结果中名词占比约45-50%，这可能部分反映了Visual Genome语料库的偏差，而非视觉token表示的固有特性。第四，虽然研究了15个VLM配置，但都基于Transformer架构，对于使用不同连接器设计（如Q-Former、Perceiver）或训练范式的模型，结论可能不成立。最后，尽管LLM judge与人类标注者达到了Cohen's κ = 0.68的一致性，可解释性判断仍具有主观性，二元的可解释/不可解释分类可能遗漏了解释质量的细微差异。从我的观察来看，论文尚未研究LATENTLENS解释是否与模型的实际下游行为存在因果关系，这是一个重要的开放问题。
独立分析的弱点
基于对论文的深入分析，我识别出几个值得改进的方向。首先，语料库依赖问题：当前方法依赖固定的Visual Genome语料库，其覆盖范围有限且存在名词偏差。改进方向是设计动态语料库生成机制，可以根据具体任务或领域自动生成更有针对性的描述。论文附录L中的进化搜索实验（85%的案例中余弦相似度得到改进，平均+0.017）已经展示了这一方向的潜力。其次，计算效率问题：尽管单次查询仅需29毫秒，但预计算阶段需要约2小时GPU计算。可以探索更高效的索引结构或近似最近邻算法来加速。第三，缺乏因果验证：论文只展示了相关性（视觉token与文本表示的相似性），但未验证这种可解释性是否真正影响模型行为。一个直接的改进是进行因果消融实验——将可解释性高的视觉token替换为可解释性低的token，观察下游任务性能变化。第四，评估框架的局限：当前的二元可解释/不可解释分类过于粗糙，可以设计更细粒度的评分机制，考虑描述的精确度、相关性和信息量。
未来方向
论文和作者提出了多个值得探索的未来方向。首先，LATENTLENS可以扩展到其他非语言token类型，如软提示（soft prompts）、潜在思维token（latent thinking tokens，如Hao等人2025年的工作）、语音表示等。其次，可以将方法应用于原生多模态模型（如Chameleon、Gemini），这些模型从一开始就同时处理多种模态。第三，因果性研究是最重要的开放问题之一：视觉token的可解释性是否与下游任务性能相关？可解释性高的视觉token是否对减少幻觉更重要？第四，可以探索动态语料库——根据输入图像的内容自动生成更有针对性的描述语料库，而不是使用固定的Visual Genome。最后，'Mid-Layer Leap'现象值得深入研究：为什么视觉token在输入层就与中间层的文本表示对齐？这对理解LLM如何处理多模态信息有什么启示？
复现评估
论文在复现性方面做得较好。作者提供了完整的代码库、预计算的上下文化嵌入数据库（可通过pip包访问），以及交互式demo。实验设置明确：9个受控模型组合使用3个公开可用的LLM（OLMo-7B、Qwen2-7B、LLaMA3-8B）和3个视觉编码器（CLIP-ViT-L/14、DINOv2-L-336、SigLIP-so400M），训练数据集PixMo-Cap也是公开的。预计算的嵌入以float8格式存储，约26GB，可通过GitHub仓库获取。然而，完整复现仍需一定算力：单个模型的预计算约需2小时GPU时间，评估24.3K次LLM judge调用会产生API费用。此外，论文的自动评估依赖GPT-5作为judge，这引入了对闭源模型的依赖。总体而言，复现难度中等，有经验的研究者应该能够在几天内完成核心实验。
论文图表
