少量token至关重要：基于熵引导的视觉-语言模型攻击 Few Tokens Matter: Entropy Guided Attacks on Vision-Language Models
通过靶向约20%高熵token实现高效视觉-语言模型对抗攻击
前置知识
熵
熵是信息论中衡量不确定性的核心指标，在深度学习中常用于量化模型输出的预测不确定性。对于概率分布p(w)，熵定义为H(p) = -sum_w p(w) log p(w)。在语言模型的自回归解码过程中，每个位置的熵值反映了模型在该位置对不同候选token的确定性程度。高熵意味着模型对下一个token的预测存在较大不确定性，通常出现在逻辑连接词（如and、or、however）或需要推理的决策点附近。低熵则表示模型高度确定，通常对应事实性知识或高频词。研究表明，高熵token与模型幻觉和错误行为高度相关，是模型鲁棒性的薄弱环节。
本文的核心创新就是基于熵来识别视觉-语言模型的脆弱点，理解熵的含义和计算方式是理解攻击方法设计的基础。
自回归生成
自回归生成是当前主流大语言模型采用的语言生成范式，指模型按照从左到右的顺序逐个预测token的过程。在第t个解码步骤，模型基于前t-1个已生成的token序列y_hat_<t和输入图像I，计算下一个token的概率分布p_t(w) = p(w | I, y_hat_<t)，然后从中采样或选择概率最高的token作为输出。这种生成方式使得每个位置的预测都依赖于之前生成的所有token，形成一个链式的依赖关系。关键洞察是序列中的某些token起到了分叉点的作用，它们的选择会显著影响后续的生成轨迹，而其他token则更多承载已学习的事实知识。
本文攻击正是利用自回归生成的这一特性，通过扰动高熵决策点来改变整个生成轨迹，而非均匀攻击所有token。
对抗攻击
对抗攻击是指通过在输入中添加人类难以察觉的微小扰动，使得机器学习模型产生错误预测的技术。在图像领域，经典方法如PGD（Projected Gradient Descent）通过在l_inf约束下（通常epsilon ≤ 8/255）迭代优化像素扰动，最大化模型的损失函数。对于视觉-语言模型，攻击目标可以是降低输出质量（如CIDEr分数下降）、诱导语义漂移（描述内容偏离真实场景），甚至直接触发有害输出（如暴力、仇恨言论）。与传统的图像分类攻击不同，VLM攻击需要在语义空间而非类别标签上评估效果，且自回归生成使得攻击可以在多个解码步骤中累积效应。
本文提出的EGA是针对VLM的新型对抗攻击，与现有攻击（如MIE的全局熵最大化）的关键区别在于稀疏高熵靶向。
CIDEr分数
CIDEr（Consensus-based Image Description Evaluation）是专门用于评估图像描述质量的指标，基于TF-IDF加权计算生成描述与参考描述之间的余弦相似度。CIDEr分数越高，说明生成描述与参考描述在语义上越一致。在对抗攻击评估中，通常计算delta_CIDEr = CIDEr(clean) - CIDEr(adv)，即干净样本与对抗样本的CIDEr分数之差。delta_CIDEr越大，说明攻击导致的语义退化越严重。与传统的精确匹配或BLEU指标相比，CIDEr更能捕捉描述与图像内容之间的语义一致性，因此被广泛用于图像描述任务的标准评估。
本文使用CIDEr下降作为主要攻击效果指标之一，用于衡量EGA导致的语义漂移程度。
研究动机
现有的基于熵的视觉-语言模型攻击方法（如MIE）隐含地假设所有解码步骤对模型不稳定性具有同等贡献，因此在所有token位置上最大化熵。然而，这种全局攻击方法存在两个核心问题：首先，它忽视了自回归生成的结构特性，并非所有token对推理轨迹的影响程度相同。其次，均匀分配扰动预算在效率上不够优化。初步实验表明，在Qwen2.5-VL-7B上攻击所有token时，虽然能获得约94%的攻击成功率，但有害内容仅占10-20%，说明攻击资源浪费在低敏感位置。更关键的是，这种全局攻击没有揭示VLM的脆弱性分布规律，即是否所有位置都同等脆弱，还是存在少数关键决策点。
本文的目标是本文的核心目标是揭示视觉-语言模型在自回归生成过程中的脆弱性分布规律，并基于此设计更高效的对抗攻击。具体而言，作者希望回答三个问题：在解码序列中，高熵token是否承载了不成比例的对抗影响；如果存在关键token，它们的占比是多少；这些高熵脆弱点在不同架构的VLM间是否重复出现，从而实现跨模型迁移。基于这些发现，作者希望设计一个稀疏攻击方法，只攻击约20%的高熵token，达到与全局攻击相当的语义退化效果，同时显著提升有害内容的比例。
与已有工作不同的是，本文的独特切入角度在于将视角从全局攻击转向稀疏靶向，基于自回归生成的结构特性假设：少数高熵token起到分叉点的作用，控制推理轨迹的方向。这一视角与现有工作形成鲜明对比，MIE均匀最大化所有token的熵，而本文只靶向约20%的高熵决策点。更深层的创新在于发现高熵token在不同架构的VLM（Qwen、InternVL、LLaVA）间具有高度可迁移性，这意味着可以构建一个可重用的token bank来实现跨模型攻击，无需为每个目标模型单独计算熵。这一发现揭示了自回归VLM的共性脆弱性，为攻击和防御都提供了新的分析维度。
核心方法
本文的方法分为两个阶段：发现阶段和攻击阶段。在发现阶段，作者先进行预实验：对干净图像进行教师强制解码，计算每个位置的token熵，选择熵最高的20%位置作为候选集合S_0.2，然后在这些位置上应用l_inf约束的PGD攻击，最大化该位置的熵。实验结果显示，这种稀疏攻击不仅能在CIDEr下降上与全局攻击持平，还能将有害率提升至20-31%，验证了少量高熵token承载不成比例对抗影响的假设。在攻击阶段，作者基于发现设计了两种攻击变体：HiEnt-PGD是白盒攻击，实时计算熵并靶向高熵位置；HiEnt-Bank（即EGA）是黑盒可迁移攻击，预先在源模型上构建一个翻转率token bank，测试时直接使用该bank识别脆弱位置，无需计算熵。
核心创新点在于识别并利用自回归VLM中高熵token作为失败点。具体而言，高熵token（约占序列20%）在推理过程中起到决策点的作用，它们的选择会显著影响后续的生成轨迹。与低熵token（承载已学习知识，对扰动不敏感）不同，高熵token对像素级扰动高度敏感，在这些位置增加熵会使模型的top-1预测发生频繁翻转。更关键的是，作者发现这些高熵决策点在不同架构的VLM间重复出现（如and、or、however等逻辑连接词），因此可以构建可重用的token bank实现跨模型迁移攻击。这一发现揭示了自回归生成的结构性脆弱性：鲁棒性由局部token控制，而非均匀分布在整个序列中。
方法步骤详情
方法包含以下完整步骤：第一步是熵计算，给定输入图像I和文本前缀x_tilde，对干净图像进行贪婪解码生成序列y_hat_1:T，计算每个位置t的token熵H_t(p_t(w))。第二步是高熵位置选择，根据熵值对所有位置排序，选择前20%作为高熵位置集合S_q（q=0.2）。第三步是扰动优化，在l_inf约束下（epsilon ≤ 8/255），使用带动量的PGD优化图像v，目标函数为L(v) = (1/|S|) * sum_{t in S} H_t(f_theta(v, x_tilde))，其中S是选定的位置集合。更新公式为g_k = gradient_v L(v_k)，m_{k+1} = mu * m_k + sign(g_k)，v_{k+1} = Pi(v_k + alpha_v * sign(m_{k+1}))，其中Pi(.)是投影操作确保||v_{k+1} - v_0||_inf ≤ epsilon_v。第四步是可迁移攻击，对于HiEnt-Bank，先在源模型上构建翻转率bank B = TopK_{w in V} FlipRate(w)，其中FlipRate(w)是token w在攻击后top-1预测翻转的比例。测试时，若y_hat_t ∈ B，则将该位置加入攻击集合，最终使用S_tr = S_q ∪ S_bank。第五步是掩码更新，每50步重新计算熵并更新S_q，以跟踪新出现的高熵位置。
技术新颖性
技术新颖性体现在三个方面：首先，这是首次系统性地揭示自回归VLM中高熵token作为失败点的分布规律，发现约20%的高熵token承载了不成比例的对抗影响，且这一规律在不同架构的VLM间一致（Qwen、InternVL、LLaVA都呈现U形曲线，最优攻击比例在20%左右）。其次，提出翻转率bank的概念，通过统计每个token在攻击后的top-1预测翻转概率，构建可重用的脆弱token集合，实现跨模型迁移攻击。最后，发现有害内容传播现象：在高熵位置注入的有害概率质量会持续传播到后续的生成步骤，即使移除对抗图像后仍然存在部分效应，这揭示了自回归生成的累积脆弱性。与MIE的全局熵最大化相比，EGA在相同扰动预算下将有害率从10-20%提升至30-39%，且具有良好的跨模型迁移性（有害率10-22%）。
实验结果
在三个代表性VLM（Qwen2.5-VL-7B、InternVL3.5-4B、LLaVA-1.5-7B）上的图像描述任务中，EGA在攻击成功率上达到93-95%，与MIE（94-95%）持平，但有害率显著提升至30.2-38.6%（MIE为11.4-18.9%）。CIDEr下降值也相当（EGA：0.846-0.883，MIE：0.893-0.905），说明语义退化程度相似。在VQA任务上，EGA的有害率达到18.4-22.6%，仍然显著高于MIE的9.1-10.7%。消融实验显示，攻击最高熵的0-10% token即可获得最强的有害效果（Qwen≈19%，InternVL≈23%，LLaVA≈24%），攻击30%以下的token即可达到峰值有害率，攻击更多token反而会降低效果（U形曲线）。bank大小消融显示K=100为最优设置（delta_CIDEr=0.8694，有害率=34.6%），更小的bank覆盖不足，更大的bank会引入低效用token。掩码模式消融显示S_tr > S_bank > S_q，说明高熵线索和可迁移token先验互补而非冗余。防御实验表明，RTPT和SafeDecoding虽然能降低攻击效果，但EGA仍然保持比MIE更高的有害率（RTPT下：EGA 19.53% vs MIE 6.43%；SafeDecoding下：EGA 11.46% vs MIE 2.51%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像描述 | 攻击成功率 | 94.81% | 94.18% (MIE) | +0.63% (持平) |
| 图像描述 | 有害率 | 34.87% | 11.44% (MIE) | +204.7% |
| 图像描述 | CIDEr下降 | 0.883 | 0.892 (MIE) | 相似 |
| VQA | 有害率 | 19.30% | 10.21% (MIE) | +89.0% |
| 跨模型迁移 | 有害率 | 14.23-21.47% | 6.16-11.03% (MIE) | +95-131% |
局限与改进
作者承认的局限性包括：安全评估器的可靠性，虽然人工验证显示LLM评估器与人类标注者的准确率为83.6%，F1为69.7%，与人类间的一致性（83.5%准确率，74.0 F1）相近，但仍存在约16%的误差。数据集范围限制，实验仅在MSCOCO和TextVQA的1000张子集上进行，可能无法泛化到其他领域（如医疗、自动驾驶）。攻击设置限制，仅考虑了l_inf约束下的无目标攻击，未探索其他约束（如l_2）或有目标攻击（如强制生成特定有害内容）。作者的观察包括：VQA上的有害率提升（22.6%）低于图像描述（38.6%），可能因为VQA答案通常较短，有害内容传播空间有限。RTPT和SafeDecoding能部分防御，但不能完全消除有害输出，说明高熵靶向攻击难以通过标准防御方法完全缓解。有害内容呈现自回归传播特性，即使移除对抗图像，高熵位置注入的有害概率质量仍会影响后续10步生成，这为防御提供了新的思路，即在解码早期阶段检测并阻断有害传播。
独立分析的弱点
安全评估器的可靠性问题，作者使用基于HarmBench校准的GPT-5评估有害内容，虽然人工验证显示与人类标注者一致性较高（83.6%准确率），但仍存在约16%的误判率。这意味着报告的有害率可能存在系统性偏差。改进方向是构建更大规模的人工标注数据集，训练专门的VLM安全评估器，或采用多评估器集成投票机制。VQA任务效果受限，EGA在VQA上的有害率（18-23%）显著低于图像描述（30-39%），这是因为VQA答案通常较短（仅几个token），有害内容传播空间有限。改进方向是设计针对短文本的攻击策略，例如在答案前后扩展生成空间，或在问题-答案对的多个位置进行协同攻击。防御方法的有效性，RTPT和SafeDecoding能将有害率从37%降低至12-19%，但不能完全消除有害输出。改进方向是结合高熵检测和有害内容阻断，在解码过程中实时监测熵值，当检测到异常高熵时触发防御机制（如回退解码、采样温度调整）。黑盒迁移的泛化性，虽然EGA在Qwen、InternVL、LLaVA间实现了较好的迁移性（有害率10-22%），但在参数规模更大或安全对齐更强的模型上的效果可能下降。改进方向是扩大bank规模，或构建层次化的token bank（按模型架构分类）。
未来方向
从无目标攻击扩展到有目标攻击，当前EGA是无目标攻击，目标是最大化熵和有害率。未来可以设计有目标版本，强制模型生成特定的有害内容（如针对特定群体的仇恨言论）或实现特定的语义控制（如改变图像的情感倾向）。这需要修改优化目标，引入对特定token的强化引导。扩展到其他模态和任务，当前工作专注于图像描述和VQA，未来可以扩展到视频描述、多模态对话、图像编辑等任务。视频模态会引入时序维度的熵分布，可能需要设计时空联合攻击策略。防御机制设计，基于高熵脆弱性的发现，可以设计针对性的防御方法，如高熵位置检测与干预、解码路径约束、或训练时对高熵token进行鲁棒性增强。特别有前景的是在推理过程中实时监测熵值，当检测到异常高熵时触发防御机制。更大规模的跨模型迁移研究，当前研究仅在三个开源VLM上进行，未来可以扩展到闭源模型（如GPT-4V、Gemini）和更多样化的架构（如Mamba、RWKV），探究高熵脆弱点的普遍性。还可以研究不同训练策略（预训练 vs. 微调 vs. 对齐）对脆弱点分布的影响。有害内容传播机制的深入分析，当前发现有害内容会自回归传播10步，但传播机制和阻断方法尚不清楚。未来可以研究有害概率质量的演化轨迹，设计早期干预策略在传播初期阻断有害内容。
复现评估
论文未明确声明代码开源计划，但提供了详细的实验设置和超参数配置。模型方面使用三个开源VLM：Qwen2.5-VL-7B-Instruct、InternVL3.5-4B、LLaVA-1.5-7B，均可从Hugging Face公开获取。数据集使用MSCOCO和TextVQA的1000张子集，遵循常见攻击评估实践。计算资源方面，每个攻击需要运行300步PGD，步长2/255，预计单个GPU（如A100）需要数分钟到数十分钟不等，具体取决于模型大小。实现难度中等，需要实现熵计算和位置选择、实现PGD优化和掩码更新、构建翻转率bank、集成HarmBench校准的安全评估器。主要挑战在于安全评估器的构建和校准，需要使用GPT-5 API或实现本地替代方案。论文提供了详细的超参数设置（epsilon=8/255，p=0.2，K=100，掩码刷新频率50步），这些设置可以直接复用。总体而言，复现难度中等偏高，主要难点在于计算资源和安全评估器的获取。
论文图表
