多轮对话中的视觉记忆注入攻击 Visual Memory Injection Attacks for Multi-Turn Conversations
通过微小图像扰动，在多轮对话中隐蔽地注入针对特定话题的恶意输出
前置知识
大型视觉语言模型 (LVLM)
LVLM 是一类能够同时处理图像和文本输入、生成自然语言输出的生成式模型，典型代表包括 Qwen-VL 系列、LLaVA 系列等。这类模型通常由一个视觉编码器（如 SigLIP、ViT）将图像编码为视觉 token，再与文本 token 拼接后送入大型语言模型进行自回归生成。在多轮对话场景中，用户首次提供的图像会在后续所有轮次中持续保留在上下文中，模型每次生成回复时都会重新处理该图像。
本文的攻击核心依赖于 LVLM 多轮对话中图像持久存在于上下文这一特性，理解 LVLM 的工作方式是理解攻击机制的前提。
对抗扰动与 ℓ∞ 约束
对抗扰动是对输入图像施加的微小、人眼几乎无法察觉的修改，目的是使模型产生特定的错误输出。在 ℓ∞ 范数约束下，每个像素的最大偏移量被限制在 ε 以内，常用值如 8/255 意味着每个通道最多变化 8 个灰度级。形式化地，约束为 ∥x̃ − x∥∞ ≤ ε，其中 x̃ 为扰动后的图像，x 为原始图像。攻击者通过优化算法（如 APGD）在该约束下搜索能使模型输出目标内容的扰动。ε = 8/255 这一标准在视觉上几乎无法察觉。
理解扰动的约束方式有助于评估攻击的隐蔽性和实际威胁——ℓ∞ = 8/255 的扰动人眼几乎无法察觉，这使得攻击在实际场景中高度可行。
单轮 vs 多轮攻击
此前的对抗攻击研究主要集中在单轮设置：攻击者提供一张对抗图像和一个目标 prompt，优化图像使模型输出指定内容。但在实际使用中，用户通常会与 LVLM 进行多轮对话，图像在首次上传后会持续保留在上下文中。多轮攻击面临两个额外挑战：一是攻击必须在对话进行了多轮无关交互后仍然有效；二是攻击不能在非触发话题的轮次中泄露目标内容，否则用户会察觉异常。
本文的核心贡献就是将攻击从单轮扩展到多轮场景，理解这一区别有助于把握本文的创新点和实际意义。
APGD（自适应投影梯度下降）
APGD 是由 Croce & Hein (2020) 提出的对抗攻击优化算法，是标准 PGD（投影梯度下降）的改进版本。它使用自动步长调度策略，能够在优化过程中自适应调整步长大小，避免手动调参。在每一步迭代中，APGD 计算目标函数关于输入图像的梯度，沿梯度方向更新图像，然后投影回 ℓ∞ 约束的可行域内。该算法在对抗攻击领域被广泛使用并证明优于标准 PGD。
本文使用 APGD 作为核心优化器来生成对抗扰动，理解其工作原理有助于复现本文的攻击方法。
迁移性 (Transferability)
在对抗攻击中，迁移性指在一个模型上生成的对抗样本在另一个未经优化的模型上仍然有效的程度。本文测试了两种迁移场景：一是对 prompt 措辞变化的迁移（用户不会用与优化时完全相同的措辞提问）；二是对模型变体的迁移（在基础模型上优化的扰动对基于该模型微调得到的私有模型仍然有效）。
迁移性决定了攻击的实际威胁范围——如果攻击只能在特定模型和特定 prompt 上有效，其危害有限；但如果攻击可以迁移到不同的措辞和不同的模型变体，威胁将大大扩展。
研究动机
当前大型视觉语言模型（LVLMs）已被广泛部署为在线聊天助手，每天有数百万用户与其交互。此前的研究（如 Schlarmann & Hein, 2023; Bailey et al., 2024）已经证明，攻击者可以通过向输入图像添加微小的对抗扰动来迫使 LVLM 输出指定的恶意内容。然而，这些攻击仅在单轮设置下有效——即用户上传图像后立即提问触发话题。在实际使用中，这一假设并不现实：用户上传一张视觉上吸引人的图片后，通常会先进行多轮与图片无关的对话，然后才可能问到触发话题。更严重的是，单轮攻击存在两个致命缺陷：一是模型可能在所有 prompt 上都输出目标内容（而非仅在触发话题上），这会立即引起用户警觉；二是攻击无法跨越多轮对话持续有效，因为优化时并未考虑长上下文的影响。这意味着现有攻击在真实多轮对话场景中的威胁非常有限。
本文的目标是本文的目标是设计一种在多轮对话场景下仍然有效的隐蔽对抗攻击。具体而言，攻击需要满足三个条件：第一，在非触发话题的对话轮次中，模型必须表现正常，输出有帮助的、与上下文相关的回复，不能泄露任何目标内容；第二，当用户发出与触发话题相关的查询时，模型必须输出预设的目标内容（如推荐特定股票、产品或政治立场）；第三，上述行为必须在对话进行了 25 轮以上无关交互后仍然有效，且对话上下文长度超过 10,000 个 token。
与已有工作不同的是，本文的独特切入角度在于利用了 LVLM 多轮对话中一个被忽视的特性：图像在首次上传后会持久存在于整个对话的上下文中。这意味着对抗扰动的影响不仅限于第一轮对话，而是持续影响后续所有轮次的模型输出。此前的工作要么只关注单轮设置，要么聚焦于越狱攻击（jailbreaking），即用户自己试图绕过模型安全机制。而本文关注的是第三方恶意攻击者通过看似正常的图片来操控无辜用户的行为。此外，本文提出了两项关键技术来解决多轮攻击的独特挑战：良性锚定（benign anchoring）确保模型在非触发话题上表现正常；上下文循环（context-cycling）使攻击在不同长度的对话中都能持续有效。
核心方法
VMI 的核心思想可以用一个比喻来理解：想象有人在一本杂志的某一页贴了一张隐形贴纸，平时翻到这页时一切正常，但当你问到某个特定话题时，那张贴纸就会突然显现并给出预设的信息。在技术层面，VMI 通过向输入图像添加微小的对抗扰动（ℓ∞ 半径 8/255），使得模型在多轮对话中表现出双面行为：对于一般的、与触发话题无关的 prompt，模型输出正常的、有帮助的回复；但当用户问到特定的触发话题（如「哪支股票值得买？」）时，模型会输出攻击者预设的目标内容（如「你应该立即购买 GameStop 股票」）。技术路线包含两个核心机制：良性锚定通过联合优化第一轮的正常输出和触发轮的目标输出，防止模型退化为在所有 prompt 上都输出目标内容；上下文循环通过在优化过程中周期性地切换不同长度的对话上下文，使攻击能够泛化到各种对话长度。
VMI 最本质的创新在于同时解决了多轮攻击中的两个看似矛盾的目标：隐蔽性和有效性。此前的单轮攻击方法要么在所有 prompt 上都输出目标内容（高有效性但低隐蔽性），要么仅在非常特定的 prompt 上有效（高隐蔽性但低有效性）。VMI 通过良性锚定技术首次将这两个目标统一到一个优化框架中。具体来说，优化目标包含两项：第一项 log p(ŷ | t_anchor, x̃) 确保模型在锚定 prompt 上输出正常的、与图像内容相关的回复（如识别图片中的地标）；第二项 log p(ŷ_target | c^(k) ⊕ t_target, x̃) 确保模型在触发 prompt 加上对话上下文时输出目标内容。这两项的联合优化使得扰动编码了一种「条件触发」行为，而非简单的「总是输出目标」。此外，上下文循环通过在优化过程中周期性地切换不同的上下文长度 k（从 2 到 n），迫使扰动对各种对话长度都保持鲁棒性。
方法步骤详情
VMI 的完整流程如下。首先，攻击者选择目标模型 f、输入图像 x、锚定 prompt t_anchor 及其正常响应 y_anchor（如「这是挪威桑内斯的 Kjeragbolten」），以及触发 prompt t̂ 和目标响应 ŷ（如「你应该立即购买 GameStop 股票」）。然后，准备一组上下文对话 {t^(2), y^(2), ..., t^(n-1), y^(n-1)}，其中 y^(i) 是模型在正常图像上的输出。接着，初始化扰动 x̃ = 0，并为每个上下文长度 l ∈ {2, ..., n} 预计算对应的上下文序列 c^(l)。在优化循环中（共 M 次迭代，本文默认 M = 2000），每隔 τ = 5 步切换当前使用的上下文长度 k（从 2 循环到 n）。每次迭代使用 APGD 算法优化目标函数 log p(ŷ | t_anchor, x̃) + log p(ŷ_target | c^(k) ⊕ t̂, x̃)，同时约束 ∥x̃ − x∥∞ ≤ ε。最终返回优化后的扰动图像 x̃。整个过程在 Algorithm 1 中给出伪代码。
技术新颖性
VMI 的技术新颖性体现在三个层面。第一，它首次提出了多轮对话场景下的隐蔽定向攻击问题设定——此前的工作要么只考虑单轮攻击，要么只关注越狱攻击而非定向操控。第二，良性锚定技术在对抗攻击领域是全新的：此前的对抗攻击优化通常只最大化目标输出的概率，而 VMI 同时约束模型在非触发 prompt 上的输出质量，这需要在优化中平衡两个可能冲突的目标。第三，上下文循环策略解决了对抗扰动在不同上下文长度下泛化的问题：通过在优化过程中周期性地切换上下文长度，扰动被强制编码为对对话长度不敏感的触发行为，而非过拟合到特定长度的上下文。此外，本文的评估框架也具有创新性——使用组合成功率 SR∧ = S_target ∧ S_context 同时衡量目标触发的成功率和非触发轮次的隐蔽性。
实验结果
本文在三个开源 LVLM（Qwen2.5-VL-7B、Qwen3-VL-8B、LLaVA-OneVision-1.5-8B）上评估了四种攻击目标（股票推荐、政治投票、汽车推荐、手机推荐），使用三组上下文 prompt（Diverse⋆、Diverse、Holiday）。实验结果表明 VMI 在所有模型和所有目标上都取得了显著的成功率，即使对话进行了超过 25 轮无关交互、上下文超过 10,000 个 token 后攻击仍然有效。具体而言，在股票推荐目标上，VMI 在 Qwen2.5-VL 上的成功率最高可达约 80%，在 Qwen3-VL 上约 60-70%。一个令人不安的发现是，即使攻击目标包含不存在的实体（如「Apple iCar」），模型不仅会输出目标推荐，还会编造看似合理的理由来支持其推荐（如用户体验、安全特性、技术集成等），这进一步增强了攻击的隐蔽性和说服力。在迁移性方面，当锚定 prompt 和触发 prompt 都被改写（paraphrase）后，VMI 的成功率仅有轻微下降，证明扰动编码的是语义层面的触发行为而非特定措辞的匹配。更关键的是，在 Qwen3-VL 上优化的对抗图像可以直接迁移到其微调变体 Qwen-SEA-LION-v4-8B-VL 和 QoQ-Med3-VL-8B 上，成功率与源模型相当。消融实验表明，仅使用单轮目标（single target）的攻击在超过一轮对话后几乎完全失效；加入良性锚定后短对话的表现改善；加入固定上下文后跨长度表现显著提升；完整 VMI（包含上下文循环）在所有场景下都达到最优，特别是在多轮对话后。具体数字方面，single target 在 Holiday 上下文中几乎为 0%，而完整 VMI 达到 60-70%。优化迭代次数的消融显示 500 次即可获得中等成功率，2000 次获得显著提升，但 8000 次并未带来一致的收益且在 Holiday 上下文中表现下降（过拟合）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 股票推荐（Stock） | SR∧（组合成功率） | VMI 在 Qwen3-VL 上约 60-70%（Holiday 上下文） | Single target 几乎为 0%（Holiday 上下文） | 从接近 0% 提升至 60-70% |
| 政治投票（Political） | SR∧（组合成功率） | VMI 在 Qwen2.5-VL 上约 50-70% | 单轮攻击在多轮对话后失效 | 在 25+ 轮对话后仍保持 50%+ 成功率 |
| Prompt 改写迁移 | SR∧（组合成功率） | VMI 在改写 prompt 下保持有效（轻微下降） | 优化时使用的原始 prompt | 成功率下降幅度很小，证明语义层面迁移 |
| 模型迁移（Qwen3-VL → SEA-LION/Med3） | SR∧（组合成功率） | 在 SEA-LION 和 Med3 上成功率与源模型相当 | 源模型 Qwen3-VL 上的结果 | 无需额外优化即可迁移，成功率保持高水平 |
局限与改进
作者明确指出了两个局限性。第一，攻击需要对基础模型的白盒访问权限来生成对抗扰动，虽然本文展示了到微调变体的迁移性，但对于完全仅通过 API 提供的闭源模型（如 GPT-4V、Claude），攻击的可行性仍然是一个开放问题。第二，本文仅考虑了单张图像输入的场景，未探索多图像对话设置。此外，从独立观察来看，本文的评估存在几个值得关注的点：组合成功率 SR∧ 的定义非常严格（要求目标触发成功且所有非触发轮次都不泄露），这虽然保证了评估的严谨性，但也可能导致对攻击有效性的低估——在实际场景中，即使目标偶尔在非触发轮次中泄露，只要不频繁到引起用户警觉，攻击仍然可能成功。另外，本文的评估使用了固定的关键词匹配来判断成功与否，虽然通过用户研究验证了 100% 的一致性，但这种评估方式无法捕捉部分成功（如模型推荐了目标产品但措辞不完全匹配）的情况。最后，本文的上下文 prompt 主要是英文的，未评估跨语言场景下的攻击效果。
独立分析的弱点
尽管 VMI 在实验中表现出色，但仍有几个值得关注的弱点。首先，上下文循环的周期 τ = 5 和最大上下文长度 n = 8 是固定的超参数，而在实际对话中，触发话题可能出现的轮次范围非常广（从第 3 轮到第 50 轮），固定参数可能无法覆盖所有情况。改进方向可以是自适应调整循环策略，例如根据优化过程中不同长度下的成功率动态调整循环频率。其次，良性锚定仅约束了第一轮的输出质量，而未对中间轮次的输出施加显式约束——虽然实验表明中间轮次的输出质量在 95.2% 的情况下是令人满意的，但仍有约 5% 的情况可能出现质量下降。可以考虑在优化目标中加入对所有上下文轮次输出质量的正则化项。第三，当前方法仅支持单一触发话题，如果攻击者希望在多个不同话题上注入不同的目标行为，需要为每个话题分别优化扰动，这些扰动可能会相互干扰。探索多触发话题的联合优化是一个有意义的改进方向。第四，攻击在 LLaVA-OneVision-1.5 上的一致性不如 Qwen 系列模型，特别是在 Holiday 上下文上表现波动较大，这可能与不同模型架构对视觉输入的处理方式有关，值得进一步分析。
未来方向
作者提出的未来研究方向包括：开发针对仅通过 API 访问的闭源模型的攻击方法，以及扩展到多图像输入场景。基于本文的成果，还有几个值得延伸的研究方向。第一，探索 VMI 的防御方法——既然攻击利用的是图像在上下文中的持久性，一种直觉上的防御是在每轮对话中对图像进行随机化或压缩，但这可能影响正常的多模态交互质量，如何在安全性和可用性之间取得平衡是一个开放问题。第二，将 VMI 扩展到更复杂的操控场景，如多步操控（在多轮对话中逐步引导用户走向目标）或跨模态操控（同时利用文本和图像的持久性）。第三，研究对抗训练是否能有效防御 VMI——考虑到攻击的迁移性已经在微调变体上得到验证，对抗训练的防御效果可能有限，这一假设值得系统验证。第四，探索 VMI 在 agent 场景中的威胁——当 LVLM 被用作工具调用 agent 时，持久的对抗图像可能导致 agent 执行恶意操作，其危害远大于文本输出。
复现评估
本文的复现条件相对友好。作者承诺在 GitHub 上开源代码。实验使用的所有三个模型均为公开可下载的开源模型（Qwen2.5-VL-7B、Qwen3-VL-8B、LLaVA-OneVision-1.5-8B），参数量均在 8B 左右，单张 A100 或 4090 即可运行。对抗图像的优化使用 2000 次 APGD 迭代，在现代 GPU 上大约需要几分钟到十几分钟，算力门槛不高。数据集方面，COCO 是公开的标准数据集，LMARKS 是作者收集的地标图片集，可能需要额外获取。评估使用的关键词列表在论文附录中完整列出，用户研究数据也可复现。总体而言，复现难度为中等偏易——主要挑战在于正确实现上下文循环和良性锚定的优化逻辑，以及构建多轮对话的评估流程。
论文图表
该图展示了 VMI 攻击的完整流程：攻击者向一张风景图片添加微小扰动后上传到互联网，不知情的用户下载该图片并在 LVLM 中使用。在正常的多轮对话（如询问度假地点）中，模型输出正常的回复；但当用户在第 24 轮问到触发话题（「哪支股票值得买？」）时，模型输出了被注入的目标内容（「你应该立即购买 GameStop 股票」）。
这是全文最重要的一张图，它直观地展示了攻击的威胁模型、攻击流程和效果，帮助读者在阅读技术细节之前就理解攻击的实际场景和危害。