AgilePruner：基于注意力与多样性分析的大视觉语言模型自适应视觉 token 剪枝实证研究 AgilePruner: An Empirical Study of Attention and Diversity for Adaptive Visual Token Pruning in Large Vision-Language Models
用 erank 分析图像复杂度，自适应切换注意力/多样性剪枝策略。
前置知识
视觉 token 剪枝（Visual Token Pruning）
大视觉语言模型（LVLMs）的视觉编码器会将输入图像编码为数百个视觉 token，这些 token 与文本 token 一起被送入大语言模型进行推理。由于视觉 token 数量众多且高度冗余，直接传入 LLM 会导致注意力机制的二次计算复杂度（$O(n^2)$），严重影响推理速度和效率。视觉 token 剪枝的目标是在不显著降低任务性能的前提下，从原始的 $N$ 个视觉 token 中只保留 $K \ll N$ 个最有价值的 token，从而大幅降低计算开销。现有方法主要分为两大类：基于注意力的剪枝（利用 CLS token 的注意力分数选出重要 token）和基于多样性的剪枝（通过减少 token 间的冗余来保留多样化的特征表示）。
本文的核心研究对象就是这两种剪枝范式的行为特征及其与图像复杂度的关系，理解剪枝的基本概念是读懂全文的前提。
有效秩（Effective Rank, erank）
有效秩是一种基于信息熵的矩阵维度度量指标，最早由 Roy & Vetterli (2007) 提出。不同于传统矩阵秩的二值性（矩阵要么满秩要么降秩），erank 能够衡量特征矩阵在连续维度上的实际有效利用程度。具体来说，给定 token 嵌入矩阵 $A \in \mathbb{R}^{N \times d_l}$，首先通过奇异值分解（SVD）获取奇异值 $\{\sigma_i\}$，然后计算归一化谱分布 $q_i = \sigma_i / \sum_{j=1}^{L} \sigma_j$，最终得到 $\text{erank}(A) = \exp\left(-\sum_{i=1}^{L} q_i \log q_i\right)$。erank 的取值范围为 1 到 $L$（$L = \min(N, d_l)$），低 erank 表示嵌入表示集中在少数几个主维度上（信息集中），高 erank 表示嵌入空间更均匀地分布在多个维度上（信息分散）。本文使用 erank 作为衡量 token 嵌入多样性的核心定量指标。
erank 是本文实证分析的两大核心工具之一，作者用它来定量比较不同剪枝方法保留的特征多样性，以及分析图像复杂度与剪枝策略偏好之间的关系。
注意力熵（Attention Entropy）
注意力熵是对视觉编码器中注意力分布集中程度的度量。具体做法是从视觉编码器倒数第二层获取 CLS token 的 head-averaged 注意力分数 $\alpha \in \mathbb{R}^N$，排除 CLS token 自身的注意力分数后，将其重归一化为有效的概率分布 $p_i = \alpha_i / \sum_{j \neq \text{CLS}} \alpha_j$，然后计算 Shannon 熵 $H(p) = -\sum_i p_i \log p_i$。低熵值表示 CLS token 强烈关注少数区域（注意力集中，信息集中在少数 token 上），高熵值表示注意力更均匀地分布在多个视觉 token 上（信息分散到更广泛的区域）。
注意力熵与 erank 共同构成本文分析框架的双视角，用于量化图像复杂度——简单图像的注意力熵和 erank 都较低，复杂图像则较高。
对象幻觉（Object Hallucination）
对象幻觉是大视觉语言模型中一种关键的可靠性问题，指模型在图像描述或问答中提及了图像中实际不存在的对象。本文使用 CHAIR（Caption Hallucination Assessment with Image Relevance）数据集来量化幻觉程度，它包含两个子指标：CHAIR_I（$C_I$，实例级别，计算生成描述中所有被提及对象中幻觉对象的比例）和 CHAIR_S（$C_S$，句子级别，计算包含幻觉对象的句子比例）。两者都是越低越好。此外还报告 recall（生成描述中覆盖了真实对象的比例）和 len（生成描述的平均词数）作为辅助指标。作者发现多样性导向的剪枝方法（如 DivPrune）倾向于产生更高的幻觉率，而注意力导向的方法则更保守，幻觉率更低。
幻觉分析是本文的核心发现之一——作者首次系统性地揭示了剪枝方法的特征多样性保留程度与幻觉倾向之间的关联。
混合剪枝（Hybrid Pruning）
混合剪枝是近年来尝试将注意力策略和多样性策略相结合的剪枝方法。例如 VisPruner 先移除特征冗余的 token 再进行注意力过滤，BAT 将基于注意力的选择与远端 token 采样相结合。然而，这些混合方法通常使用固定的混合比例，在所有图像上采用相同的策略，没有根据每张图像的实际特征来自适应地调整注意力和多样性的权重。
本文的核心贡献之一就是证明了自适应调整混合比例（根据图像的 erank 动态决定）比固定比例的混合策略更优，这直接指导了本文的自适应剪枝方法设计。
研究动机
大视觉语言模型在处理图像时会产生数百个视觉 token，这些 token 的数量直接导致注意力计算复杂度呈二次增长，严重影响推理效率。现有视觉 token 剪枝方法主要分为基于注意力和基于多样性两大范式，但它们各自存在明显缺陷。基于注意力的方法（如 FasterVLM、VisionZip）倾向于选择注意力分数高的 token，但这些 token 往往集中在图像的特定区域，导致选择的 token 集合多样性不足，无法充分代表整幅图像的信息。基于多样性的方法（如 DivPrune）虽然鼓励更广泛的特征覆盖，但存在两个关键问题：第一，它们会引入额外的计算开销；第二，也是更重要的，根据本文的 erank 分析，许多标榜多样性保留的方法实际上保留的多样性远低于预期——DivPrune 在保留 64 个 token 时的 erank 为 21.84，而 PruMerge+ 仅为 10.91，差异显著。更严重的是，本文发现更高的多样性保留与更高的幻觉率强相关：DivPrune 的 CHAIR_S 达到 57.4，而 FasterVLM 仅为 45.4。
本文的目标是本文的具体目标有三个层次：第一，通过系统性的实证分析（使用 erank 和注意力熵两个定量指标），首次对现有剪枝范式的行为特征进行完整的刻画，量化不同方法实际保留的特征多样性，以及这种多样性与幻觉行为的关联；第二，揭示图像复杂度对剪枝策略偏好的系统性影响——证明简单图像适合注意力方法、复杂图像适合多样性方法这一规律；第三，基于这些实证发现，验证它们的可操作性——通过将图像感知的自适应调整引入现有剪枝方法来一致地提升性能，并提供一个最小化但有效的自适应剪枝实例。
与已有工作不同的是，与已有工作相比，本文的独特切入点在于它不是提出一个新的剪枝方法然后在基准上跑分，而是首先进行深入的实证分析来回答三个未被系统性研究过的关键问题：（i）现有剪枝方法到底保留了多少特征空间多样性？（ii）保留的 token 特性如何影响幻觉倾向？（iii）不同类型的图像是否天然偏好某种剪枝策略？已有工作只关注「哪种方法在某个基准上得分更高」，而本文追问「为什么高？什么时候高？什么条件下会翻转？」这种根本性的分析视角使得作者不仅能够解释已有方法的行为差异，还能将这些发现转化为实用的改进——通过自适应地调整注意力与多样性的混合比例来一致地提升现有剪枝方法的性能。
核心方法
本文的方法可以类比为一个经验丰富的摄影师在不同场景下选择拍摄策略的过程。面对光线集中、主体突出的简单场景（如证件照），摄影师会聚焦于主体——这对应注意力导向的剪枝，保留少量高注意力 token 即可。面对光线分散、元素复杂的场景（如街景全景），摄影师需要确保画面覆盖的广度——这对应多样性导向的剪枝，需要保留更多样化的 token。而一个优秀的摄影师会根据场景的复杂度自动切换策略——这正是本文的自适应方法。技术路线分为三步：首先，用 erank 和注意力熵作为双重视角来定量刻画现有剪枝方法的行为模式；其次，通过实证分析发现两类核心规律（多样性-幻觉关联、图像复杂度-策略偏好关联）；最后，基于这些发现设计两种验证性方案：（1）对已有混合方法引入 erank 自适应调整，（2）提出一个基于自适应相似度阈值的最小化剪枝实例。
本文最核心的创新点是一个简单但深刻的实证发现：没有一种剪枝策略在所有图像上都是最优的，最优策略取决于图像本身的复杂度。更具体地说，作者通过 erank 量化分析揭示了两个此前未被系统性揭示的规律：第一，许多多样性导向的剪枝方法保留的特征多样性远低于其设计意图，而且保留的多样性与幻觉率呈正相关——这意味着盲目追求 token 多样性并不总是好事，因为高多样性的 token 可能引入不相关的视觉线索，诱导模型产生幻觉。第二，注意力剪枝和多样性剪枝的偏好是图像复杂度的函数：简单图像（低 erank、低注意力熵）中信息集中在少数高注意力 token 上，注意力方法更有效；复杂图像（高 erank、高注意力熵）中信息分散在整个图像上，多样性方法更有效。基于这个发现，本文的关键创新是将图像复杂度（以 erank 为代理）直接映射为剪枝策略的自适应调整权重，而不是使用所有图像共享的固定混合比例。
方法步骤详情
本文的自适应剪枝方法包含以下具体步骤：首先，在视觉编码器的倒数第二层获取所有 576 个视觉 token 的 head-averaged 注意力分数，并按降序排列。然后，对所有 token 的嵌入矩阵计算 erank，得到当前图像的有效秩 $\text{erank}_{\text{input}}$。接下来，按注意力分数从高到低遍历每个 token：对于当前最高注意力的 token，将其选入保留集合，然后计算该 token 与所有剩余候选 token 的余弦距离，将距离小于自适应阈值 $\tau_i$ 的 token 全部剪掉。然后移动到下一个未被剪掉的最高注意力 token，重复上述过程，直到选够目标数量的 token。关键在于阈值 $\tau_i$ 的计算公式：$\tau_i = \text{order}_i \times \frac{\text{erank}_{\text{input}}}{\text{erank}_{\text{avg}}} \times 0.01$，其中 $\text{order}_i$ 是当前 token 的排名（1-based），$\text{erank}_{\text{avg}}$ 是 LLaVA 训练集上的平均有效秩。对于复杂图像（$\text{erank}_{\text{input}} > \text{erank}_{\text{avg}}$），缩放因子更大，$\tau_i$ 增大，执行更强的相似性剪枝以促进 token 多样性；对于简单图像（$\text{erank}_{\text{input}} < \text{erank}_{\text{avg}}$），缩放因子更小，$\tau_i$ 降低，保守地保留高注意力 token 以保留细粒度细节。最终阈值还有统计上限 $\tau_{\text{max}}$ 来确保稳定性。
技术新颖性
本文的技术新颖性体现在三个层面。首先在分析方法上，作者首次将 erank（一种信号处理领域的经典指标）引入视觉 token 剪枝分析，与注意力熵形成双重视角，系统性地量化了不同剪枝方法保留的特征多样性——此前的文献没有做过这种定量比较。其次在发现上，作者首次揭示了多样性保留与幻觉倾向之间的正相关关系，以及图像复杂度对剪枝策略偏好的系统性影响——这两个发现此前都未被报道过。最后在方法上，不同于已有混合方法使用固定比例（如 VisPruner 的注意力优先 + 远端 token 采样），本文将 erank 直接映射为阈值调整的缩放因子，使剪枝策略根据每张图像的实际特征自适应地调整。虽然本文的方法在设计上刻意保持了最小化（minimal），但正是这种简洁性证明了实证发现本身的解释力和实用价值。
实验结果
本文在多个维度上展示了丰富的实验结果。首先在特征多样性分析方面，在 POPE 数据集上保留 64 个 token 的设定下，DivPrune 的 erank 为 21.84（最高），PruMerge+ 为 10.91（最低），VisionZip 为 14.02，VisPruner 为 14.35。这表明即使在相同的 token 预算下，不同剪枝策略保留的语义多样性差异巨大。在幻觉分析方面，以 LLaVA-1.5-7B 保留 64 token 为设定，DivPrune 的 CHAIR_S 为 57.4、CHAIR_I 为 18.0、Recall 为 76.4；而注意力方法 FasterVLM 的 CHAIR_S 为 45.4、CHAIR_I 为 13.5、Recall 为 69.3。多样性方法在 Recall 上更高（捕捉到更多对象），但幻觉率也显著更高。通过控制实验（Table 3）逐步增加注意力选择比例 $R$，当 $R$ 从 0 增加到 0.75 时，CHAIR_S 从 57.4 降至 45.2，CHAIR_I 从 18.0 降至 14.1，证明注意力 token 在抑制幻觉方面的关键作用。在图像复杂度影响方面，简单图像（如 OCR 任务）的注意力熵为 4.61、erank 为 78，复杂图像（如 POPE）的注意力熵为 4.87、erank 为 106。在简单任务上注意力方法优于多样性方法（MME OCR: 140 vs 130），在复杂任务上多样性方法优于注意力方法（POPE: 86.0 vs 77.4）。在 9 个基准的综合评估中，LLaVA-1.5-7B 保留 128 token 时，本文方法达到 98.04% 的相对性能（归一化为全 token 的 100%），优于 VisPruner（98.01%）、DivPrune（97.25%）和 VisionZip（97.19%）。在更激进的 64 token 设定下，优势更明显：本文方法达到 96.76%，大幅领先于 DivPrune（95.02%）和 VisPruner（95.07%）。在 32 token 的极端设定下，本文方法仍保持 94.02%，而 DivPrune 为 92.16%、VisPruner 为 90.75%。此外，作者还验证了方法的模型泛化性：在 LLaVA-1.5-13B、LLaVA-NeXT-7B 和 Qwen2.5-VL-7B 上均观察到一致的改进趋势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态基准综合（9个数据集平均，128 token） | 相对性能（%） | 98.04% | VisPruner 98.01% / DivPrune 97.25% | +0.03% ~ +0.79% |
| 多模态基准综合（9个数据集平均，64 token） | 相对性能（%） | 96.76% | DivPrune 95.02% / VisPruner 95.07% | +1.69% ~ +1.74% |
| 多模态基准综合（9个数据集平均，32 token） | 相对性能（%） | 94.02% | DivPrune 92.16% / VisPruner 90.75% | +1.86% ~ +3.27% |
| POPE（复杂图像基准，64 token） | Accuracy（%） | 84.1 | DivPrune 85.5 / FasterVLM 77.4 | 优于注意力基线，接近多样性基线 |
| CHAIR 幻觉评估（64 token） | CS↓ / CI↓ | 52.2 / 15.9 | DivPrune 57.4 / 18.0 | CS降低5.2, CI降低2.1 |
| 效率对比（64 token，TextVQA） | FLOPs / 延迟 | 0.48T / 115ms | SparseVLM 0.52T / 129ms | FLOPs降低89%，延迟节省12% |
| 自适应组合（DivPrune+FasterVLM，64 token） | 相对性能（%） | 94.87%（自适应） | 固定组合 94.08% | +0.79% |
局限与改进
作者在论文中坦诚地讨论了方法的局限性。首先，该方法依赖于视觉编码器倒数第二层的注意力分数来确定 token 重要性，这意味着它受限于视觉编码器本身的注意力质量——如果编码器的注意力分布不准确，剪枝决策也会受到影响。其次，虽然 erank 计算的开销很小（仅占总推理时间的约 3.2%，在 RTX 4090 上约 3.4ms），但它确实引入了额外的计算步骤，在极端低延迟要求的场景下仍需考虑。第三，作者在附录中承认了自适应方法在细粒度推理任务中的失败模式：对于低 erank 但对象众多的简单图像（如大量分散的小物体），自适应方法会过于偏向注意力集中，遗漏分散的对象；对于高 erank 但关键证据高度集中的复杂图像（如杂乱场景中的局部细节），自适应方法会过于偏向多样性分散，稀释对关键区域的关注。此外，论文的实验主要在 LLaVA 系列和 Qwen2.5-VL 上验证，虽然结果一致，但对于其他架构（如基于不同视觉编码器的模型）的泛化性仍需更多验证。
独立分析的弱点
从独立分析的角度看，本文存在以下几个值得关注的弱点。第一，阈值公式 $\tau_i = \text{order}_i \times \frac{\text{erank}_{\text{input}}}{\text{erank}_{\text{avg}}} \times 0.01$ 中的 0.01 是一个经验常数，缺乏理论推导的支撑。虽然作者展示了它在多个基准上的有效性，但对于不同的模型架构或视觉编码器（如 SigLIP vs CLIP），这个常数可能需要重新调优，这限制了方法的即插即用性。改进方向是探索自适应确定这个缩放因子的方法，例如通过在验证集上学习一个轻量级的映射函数。第二，作者承认的失败模式——在复杂图像中关键证据高度局部化时性能下降——本质上是因为 erank 只衡量了全局的特征多样性，没有捕捉空间分布的信息。改进方向是引入空间感知的复杂度指标，例如将图像划分为若干区域并分别计算 erank，然后根据局部 erank 的方差来判断信息是集中还是分散。第三，论文中 erank 是在整个 576 个 token 上计算的，然后用于指导剪枝。但如果视觉编码器本身的特征表示存在系统性偏差（例如某些区域被过度编码），erank 作为代理指标的有效性可能会受到影响。改进方向是结合多个层次的特征（而非仅倒数第二层）来计算更鲁棒的复杂度估计。
未来方向
本文的发现打开了多个有前景的研究方向。首先，作者在附录 B.5 中初步探索了自适应 token 数量（而不仅仅是自适应阈值），结果显示根据图像复杂度动态调整保留 token 数量（简单图像保留更少、复杂图像保留更多）可以进一步提升性能（在 ATP-LLaVA 的设定下从 95.1% 提升到 96.0%）。这是一个值得深入探索的方向——将自适应阈值和自适应 token 数量结合。其次，本文的实证分析框架（erank + 注意力熵）可以扩展到视频理解领域，视频中的时间维度引入了额外的冗余和复杂度，自适应剪枝策略可能带来更大的效率提升。第三，作者发现多样性与幻觉之间的正相关关系暗示了一个更深层的问题：在设计多模态模型时，「信息量最大化」和「可靠性最大化」之间可能存在根本性的张力，这值得从理论层面进一步探索。第四，将本文的自适应策略与动态 token 合并（而非简单剪枝）相结合，可能会在极端压缩比下（如保留 16 或更少 token）获得更好的性能。
复现评估
本文的复现条件相当友好。首先，作者明确使用了完全开源的模型（LLaVA-1.5-7B）并在所有实验中固定了预训练权重，温度设为 0 以确保确定性输出，这保证了结果的可重复性。其次，所有评估使用的 9 个基准数据集（VQAv2、GQA、VizWiz、ScienceQA、TextVQA、POPE、MME、MMBench、MMBench-CN）和 CHAIR 幻觉评估数据集都是公开可用的。第三，方法本身不涉及额外训练——完全基于推理时的 token 选择，这大大降低了复现的算力门槛。在单张 RTX 4090 上，方法的推理延迟仅为 115ms/样本（相比原始 LLaVA-1.5-7B 的 172ms），erank 计算仅需 3.4ms。作者还提供了项目页面（https://cvsp-lab.github.io/AgilePruner）。不过，论文中没有明确提到是否开源了代码，这可能需要联系作者确认。此外，方法中的 $\text{erank}_{\text{avg}}$ 需要在 LLaVA 训练集上预计算一次，这是一个轻量级的离线步骤，但需要访问训练集。
论文图表
