少即是多——直到崩溃：大型视觉语言模型中视觉token压缩的安全隐患

揭示视觉token压缩如何使LVLM变得脆弱，并提出针对性攻击方法CAA

前置知识

视觉token压缩

大型视觉语言模型（LVLMs）将图像编码为一系列视觉token（visual tokens），这些token与文本token一起输入语言模型。由于图像通常产生大量token（如数千个），导致计算成本随token数量呈二次方增长。视觉token压缩是一种推理时优化技术，通过重要性评分对token排序，保留最相关的token子集（如保留20%），丢弃冗余token，从而降低计算成本。

本文的核心研究对象就是视觉token压缩机制，理解其工作原理是理解论文发现的安全漏洞的基础。

注意力机制与token重要性

在LVLM中，token的重要性通常通过注意力权重来估计。具体来说，视觉token的重要性由文本token对它的注意力权重决定：$s_j = \frac{1}{|I_{ref}|} \sum_{i \in I_{ref}} a_{n_V+i, j}$，其中$I_{ref}$是参考文本token的索引集合，$a_{n_V+i, j}$是第$i$个文本token到第$j$个视觉token的注意力权重。这个分数反映了视觉token对当前文本查询的贡献程度。

论文发现基于注意力的重要性排序存在不稳定性，这是导致压缩后模型脆弱的根本原因。

对抗攻击与对抗样本

对抗攻击通过向输入添加精心设计的微小扰动（如$\ell_\infty$范数约束下的噪声$\delta$，通常$\|\delta\|_\infty \leq \epsilon$，$\epsilon$常取32/255），使模型产生错误输出，同时扰动对人眼几乎不可察觉。传统对抗攻击针对固定推理设置，不考虑token压缩机制。

本文提出了专门针对压缩机制的新型对抗攻击CAA，与传统攻击有本质区别。

黑盒攻击与迁移攻击

黑盒攻击假设攻击者无法访问目标模型的参数和梯度信息。迁移攻击是一种黑盒攻击方法：攻击者在替代模型（surrogate model）上生成对抗样本，然后将这些样本迁移到目标模型上。迁移攻击的关键挑战在于不同模型对同一输入可能有不同的内部表示。

论文提出的T-CAA方法就是在黑盒设置下的迁移攻击，证明了压缩诱导的安全风险在实际场景中依然存在。

压缩敏感性差距（CSG）

CSG（Compression Sensitivity Gap）是本文提出的评估指标，定义为$CSG = \frac{M(adv, nc)}{M(cl, nc)} - \frac{M(adv, c)}{M(cl, c)}$，其中$M(input, state)$表示模型在给定输入和压缩状态下的性能。CSG量化了压缩引入的额外性能下降：攻击样本在无压缩时保持正常，但在有压缩时性能崩溃。

CSG是本文衡量压缩特定漏洞的核心指标，较大的CSG值表明攻击专门利用了压缩机制。

研究动机

视觉token压缩已被广泛用于加速LVLM推理，但其对模型鲁棒性的影响尚未被充分探索。现有研究主要关注效率和性能，而忽视了压缩带来的安全隐患。本文发现了一个令人担忧的现象：在未压缩推理下鲁棒的模型，一旦启用压缩就变得高度脆弱。这种脆弱性是状态特定的（state-specific）：失败模式仅在压缩设置下出现，当压缩禁用时完全消失，使其特别隐蔽且难以诊断。在动态系统中，压缩会根据系统负载自动调整token保留率，在高负载和低保留率设置下，压缩推理可能表现出在全token推理下不会发生的严重性能失败。这种差异使调试和鲁棒性评估变得复杂，因为对抗输入在标准（未压缩）离线测试中可能看起来正常，但在系统资源受限运行时却能可靠地诱导失败。

本文的目标是本文的目标是系统性地研究视觉token压缩引入的安全风险，具体包括：（1）揭示压缩如何从根本上改变LVLM的鲁棒行为；（2）识别压缩过程中导致鲁棒性下降的关键机制；（3）提出一种专门针对压缩机制的对抗攻击框架CAA，能够在压缩推理下诱导失败同时保持未压缩推理行为；（4）将攻击扩展到更现实的黑盒设置，证明压缩诱导的漏洞在实际约束下依然存在；（5）评估潜在防御策略的有效性。

与已有工作不同的是，本文的独特切入角度在于：现有对抗攻击是为固定的、标准的推理设置设计的，没有考虑token压缩的存在。因此，它们无法捕获仅在压缩推理下出现的失败。此外，压缩引入的非可微分token选择决策进一步限制了经典端到端梯度攻击的适用性。本文抓住了被忽视的效率-安全权衡：压缩机制依赖于基于重要性的token选择，而token重要性的相对排序本质上是脆弱的。微小的、不可察觉的扰动可以改变这种排序，导致压缩错误地丢弃任务关键信息。这种漏洞是压缩特定的，传统鲁棒性评估无法发现它。

核心方法

本文的方法可以用一个比喻来理解：想象一个图书管理员（压缩机制）根据书籍的重要性评分来决定保留哪些书。攻击者不是去破坏书的内容（这会影响所有人），而是悄悄调整评分标签，让管理员把重要的书丢掉，留下不重要的书。对于正常访问（未压缩）的读者来说，他们可以自己找书，所以不受影响；但对于依赖管理员筛选的读者（压缩推理），他们只能看到不重要的书，导致任务失败。技术路线是：首先通过实验确认压缩会降低模型鲁棒性；然后分析压缩流程，发现token重要性排序的不稳定性是根本原因；基于此洞察，提出CAA攻击框架，包含三个紧密耦合的组件：选择性扰动、分层排序目标和语义擦除；最后将方法扩展到黑盒设置（T-CAA），使用通用扰动模板实现跨模型迁移。

本文的核心创新点在于发现了压缩机制的脆弱性根源：token重要性排序的不稳定性。与已有方法最本质的区别是，CAA不是简单地降低模型性能（传统对抗攻击的目标），而是专门操纵token排序，使压缩机制做出错误的保留决策。具体来说，CAA通过三个关键设计实现这一目标：（1）选择性扰动——只扰动原本重要性最低的图像区域，这样在未压缩推理下，模型仍能从高重要性区域获取正确信息；但在压缩推理下，被扰动的低重要性token被提升到高排序位置，挤占了真正重要的token。（2）分层排序目标——不仅要让低重要性token超过高重要性token（组间约束），还要反转低重要性token内部的排序（组内约束），确保压缩保留的都是最不具信息量的token。（3）语义擦除——进一步破坏被保留token的语义内容，消除残余信息。这种设计使得攻击专门针对压缩机制，在未压缩时几乎无效，但在压缩时造成灾难性失败。

方法步骤详情

CAA方法包含以下步骤：首先，输入图像$I$和文本提示$T$，计算视觉token的重要性分数$s_j$（公式4）。然后，将token分为高重要性集合$\Omega_{most}$和低重要性集合$\Omega_{least}$，并将$\Omega_{least}$进一步分为$n_g$个子组。选择性扰动阶段：只对$\Omega_{least}$对应的图像区域施加扰动$\delta_j$，保持其他区域不变。分层排序目标阶段：通过BPR（贝叶斯个性化排序）损失$L_{rank}$强制执行两个约束——组间约束使所有$\Omega_{least}$中的token排序高于$\Omega_{most}$，组内约束反转$\Omega_{least}$内部的排序。查询引导对齐阶段：通过$L_{key}$损失鼓励扰动后的视觉token的key向量与参考文本token的query向量对齐，稳定排序优化。语义擦除阶段：通过$L_{erase}$损失最大化被保留token的表示与原始表示之间的距离。最终目标函数为：$\min_\delta L_{rank}(\delta) + \lambda_e L_{erase}(\delta) + \lambda_k L_{key}(\delta)$，使用PGD求解。对于黑盒设置的T-CAA，在图像边界上应用raise模板$\delta_R$提升边界token重要性，在原始图像上应用down模板$\delta_D$抑制内容token重要性，两个模板联合优化实现跨模型迁移。

技术新颖性

本文的技术新颖性体现在以下几个方面：（1）首次系统性地研究视觉token压缩对模型鲁棒性的影响，揭示了被忽视的效率-安全权衡。（2）提出了一种全新的攻击范式——压缩感知攻击（CAA），与传统对抗攻击有本质区别：传统攻击针对固定推理设置，而CAA专门利用压缩机制的漏洞。（3）发现了token重要性排序不稳定性的关键机制，并基于此设计了针对性的攻击策略。（4）将BPR损失从推荐系统领域扩展到token排序操纵任务，实现了精细的排序控制。（5）提出了T-CAA的通用扰动模板设计，通过边界扰动和双模板策略解决了跨模型迁移中region-specific不一致性问题。（6）引入了CSG等评估指标，为压缩特定漏洞的量化评估提供了标准。

实验结果

实验结果表明，视觉token压缩确实会严重损害模型鲁棒性。在POPE数据集上，当token保留率为0.2时，CAA在LLaVA上实现了52.99%的CSG，远高于vanilla攻击的-2.03%和随机攻击的8.24%。具体来说，CAA在压缩模型上造成平均56.60%的性能下降，同时保持未压缩模型91.99%的准确率（UPR）。跨模型和数据集的平均CSG达到47.61%，而基线攻击仅为2.36%。压缩特定漏洞与token保留率密切相关：保留率从0.5降至0.1时，CSG从28.55%增加到77.14%（LLaVA-POPE）。token重要性排序分析显示，随着扰动幅度增加（从4/255到64/255），Kendall's $\tau$和Spearman's $\rho$显著下降，Top-100保留率降低，Bottom-100渗透率升高。极端实验表明，保留最不重要的token（Bottom-$k$）会导致性能完全崩溃，证明模型高度依赖正确的token选择。消融实验验证了各组件的必要性：移除分层排序约束使CSG从52.99%降至49.65%，移除语义擦除使CSG降至52.40%，移除查询引导使CSG降至44.93%。在黑盒设置下，T-CAA在跨模型迁移中实现了平均29.97%的CSG，而传统黑盒攻击HSJA和RayS的CSG分别仅为5.25%和5.30%。防御实验表明，基于重要性区域移除的防御效果有限：移除高重要性区域会严重损害正常性能，而移除低重要性区域无法拦截攻击。

**Figure 9**: 逐层Top-100保留率和Bottom-100渗透率

查看结构化数据

任务	指标	本文	基线	提升
POPE (FastV压缩)	CSG (%)	47.61 (跨模型平均)	2.36 (随机攻击)	+45.25
POPE (LLaVA, 保留率0.2)	CSG (%)	52.99	-2.03 (Vanilla攻击)	+55.02
POPE (Qwen-VL, 保留率0.2)	CSG (%)	84.13	-7.82 (Vanilla攻击)	+91.95
TextVQA (FastV)	CSG (%)	52.14 (跨模型平均)	-8.85 (Vanilla攻击)	+60.99
MME (FastV)	CSG (%)	44.16 (跨模型平均)	-22.01 (Vanilla攻击)	+66.17
黑盒迁移 (POPE)	CSG (%)	29.97 (T-CAA平均)	5.25 (HSJA)	+24.72
压缩鲁棒性 (SparseVLM)	CSG (%)	47.86 (跨模型平均)	-12.73 (Vanilla攻击)	+60.59

局限与改进

本文存在以下局限性：（1）攻击假设攻击者知道或可以估计压缩配置（如保留率范围），在完全未知的设置下，攻击效果可能下降。（2）实验主要在单层和少量多层压缩上进行，对于更复杂的压缩策略（如自适应压缩、基于内容的压缩）的有效性需要进一步验证。（3）评估的防御方法相对简单，更先进的防御机制（如对抗训练、压缩感知的鲁棒性增强）可能提供更好的保护。（4）扰动预算$\epsilon=32/255$虽然在视觉上接近不可察觉，但在某些高安全性场景下可能仍可被检测到。（5）实验主要关注分类和VQA任务，在生成任务（如图像描述）上的效果需要进一步研究。（6）T-CAA的迁移攻击需要对目标模型的压缩配置有粗略估计，这在某些黑盒设置下可能不可行。（7）论文主要评估开源模型，对商业API模型的效果需要进一步验证。

独立分析的弱点

从独立分析的角度，本文存在以下弱点：（1）攻击区域选择依赖于替代模型的重要性评估，在目标模型架构差异较大时可能不是最优的。改进方向：可以引入自适应区域选择，根据迁移过程中的反馈动态调整扰动区域。（2）分层排序目标使用固定的$n_g$个子组，可能不是最优的分组策略。改进方向：可以探索自适应分组，根据token重要性分布动态确定组数和组内token数量。（3）语义擦除目标简单地最大化表示距离，可能导致生成不自然的扰动。改进方向：可以引入感知约束，确保扰动后的图像在视觉上仍然自然。（4）T-CAA的边界扰动策略虽然实现了跨模型迁移，但边界区域占图像面积的比例有限（约30%），可能限制了攻击的上界。改进方向：可以探索更有效的共享低重要性区域构造方法。（5）实验评估主要关注准确率下降，对安全关键应用中的实际风险（如自动驾驶中的错误决策）缺乏量化分析。

未来方向

基于本文的发现，未来研究方向包括：（1）开发安全感知的压缩机制，在效率和鲁棒性之间取得更好的平衡，例如通过在压缩过程中引入鲁棒性约束或对抗训练。（2）研究压缩特定的防御方法，如检测压缩前的异常token排序、使用集成压缩策略（多个压缩配置投票）等。（3）将研究扩展到其他模态的压缩（如视频token压缩、音频token压缩），探索类似的效率-安全权衡是否普遍存在。（4）探索压缩诱导的漏洞是否可以被用于构建隐蔽后门（stealthy backdoors），这对LVLM的供应链安全构成潜在威胁。（5）研究动态压缩策略的安全性，即根据输入内容自适应调整保留率的系统。（6）开发压缩感知的对抗训练方法，使模型在训练时就适应压缩带来的分布偏移。（7）探索本文发现的排序不稳定性是否存在于其他基于重要性的稀疏化方法中（如稀疏注意力、KV-cache压缩）。

复现评估

论文承诺在发表后开源代码（https://anonymous.4open.science/r/Compression_Aware_Attack-368D），包含CAA和T-CAA的实现、评估脚本和复现工具。复现所需资源：（1）三个LVLM模型（LLaVA、LLaVA-Next、Qwen2.5-VL），均为开源模型，可从HuggingFace下载；（2）三个数据集（POPE、MME、TextVQA），均为公开数据集；（3）三种压缩方法（FastV、PDrop、SparseVLM），论文提供了详细配置。算力需求：白盒攻击需要GPU访问模型梯度，单次攻击迭代需要前向+反向传播；黑盒迁移攻击只需在替代模型上优化，然后迁移到目标模型。复现难度中等：算法实现相对直接，但需要正确理解压缩机制的实现细节和多层压缩的配置。论文提供了详细的超参数设置（如$\epsilon=32/255$、优化步数等）和实验配置，降低了复现难度。

少即是多——直到崩溃：大型视觉语言模型中视觉token压缩的安全隐患 Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models