当提示变成视觉：面向大型图像编辑模型的视觉中心越狱攻击

首个纯视觉输入的图像编辑模型越狱攻击方法，配合安全基准与防御方案

前置知识

越狱攻击 (Jailbreak Attack)

越狱攻击是指通过精心设计的输入来绕过 AI 模型的安全对齐机制，使模型产生违反其使用政策的输出。在文本大语言模型中，这通常通过特殊的提示词（prompt injection）实现；在多模态模型中，则可能通过视觉输入注入恶意指令。攻击者的目标是让模型执行其本应拒绝的任务，例如生成暴力内容、虚假信息或侵犯隐私的素材。越狱攻击可分为白盒攻击（可访问模型参数）和黑盒攻击（仅能操作输入），本文聚焦于后者，更贴近实际部署场景。

本文的核心研究对象就是越狱攻击，理解其基本概念是读懂全文的前提

大型图像编辑模型 (Large Image Editing Model)

大型图像编辑模型是基于扩散模型等生成架构构建的、能够根据用户指令修改图像的基础模型。与传统图像编辑工具不同，它们支持自然语言或视觉提示（如标记、箭头、文字注释）来表达编辑意图。代表模型包括 OpenAI 的 GPT Image 1.5、Google 的 Gemini 3 Pro Image（即 Nano Banana Pro）、阿里巴巴的 Qwen-Image-Edit 等。这类模型通常以 (I, T) -> I_out 的形式工作，其中 I 是输入图像，T 是文本指令，I_out 是编辑后的输出图像。近期的发展使模型能够直接从视觉输入推断编辑意图，这正是本文发现的安全风险所在。

本文的攻击目标是这类新兴模型，需要理解其工作原理才能理解攻击如何生效

安全对齐 (Safety Alignment)

安全对齐是通过人类反馈强化学习（RLHF）等技术使 AI 模型的行为符合人类价值观和安全准则的过程。在图像编辑模型中，安全对齐通常包括两个层面：一是模型内部的 RLHF 训练，使其倾向于拒绝恶意请求；二是外部的守护模型（如 Llama Guard 系列、Qwen3Guard）对输入和输出进行内容审核。然而，这些机制主要针对文本输入设计——它们分析文本指令中是否包含恶意意图，但对纯视觉输入中嵌入的恶意指令缺乏有效的检测能力，这正是本文揭示的核心漏洞。

安全对齐是被攻击的对象，理解它的工作机制才能理解 VJA 为何能绕过它

MLLM-as-a-Judge

MLLM-as-a-Judge 是一种利用多模态大语言模型作为自动化评估者的范式，受 LLM-as-a-Judge 启发。在本文中，作者使用 Gemini 3 Pro 作为裁判模型，通过精心设计的提示词和评分标准（1-5 分的危害性评分量表）来自动判断攻击生成的图像是否有害、是否为有效编辑。相比人工评估，这种方法具有可扩展性、灵活性和可复用性；但也存在局限性，如不同 MLLM 裁判之间的一致性问题，以及 MLLM 可能产生的幻觉评分。本文通过对比 5 种 MLLM 和人工评估的结果来验证裁判的可靠性。

本文的评估方法依赖这一范式，需要理解其工作原理和可信度

KV-Cache 复用

KV-Cache 是 Transformer 模型中的一种缓存机制，存储注意力层的 Key 和 Value 矩阵以避免重复计算。在图像编辑模型中，图像和文本的编码过程（即前向传播中的注意力计算）是计算密集型的。本文的防御方法通过复用已有的图像和文本编码的 KV-Cache，仅对新增的安全触发文本进行增量计算，从而将额外计算开销降到极低——仅增加约 300 个 token 和约 3% 的推理延迟。这一技术使得防御方法在实际部署中具有可行性，无需显著增加推理成本。

本文防御方法的核心效率优化技术，决定了防御方案的实用性

研究动机

随着大型图像编辑模型从文本驱动范式转向视觉提示范式（用户通过标记、箭头、视觉文字等直接在图像上表达编辑意图），攻击面也随之转移到了视觉模态。然而，现有的安全防护机制——包括基于 RLHF 的模型内部安全对齐和外部守护模型（如 Llama Guard、Qwen3Guard）——几乎完全是针对文本输入设计的。这些机制通过检测自然语言中的恶意关键词和意图来过滤请求，但面对纯粹通过视觉信号传达的恶意指令时，它们几乎失明。恶意编辑指令可以被巧妙地嵌入到图像本身中（例如在目标区域画圈并添加删除箭头），从而绕过文本层面的安全检查。这种视觉中心安全错配（vision-centric safety misalignment）是一个关键且此前未被充分探索的安全风险。作者通过实验发现，即使是安全对齐做得最好的商业模型（如 GPT Image 1.5），在面对纯视觉恶意指令时的攻击成功率仍高达 70.3%，而同类模型在文本指令下的攻击成功率要低得多。

本文的目标是本文有三个具体目标：第一，系统性地揭示这一新兴威胁，提出首个视觉到视觉的越狱攻击范式 VJA（Vision-Centric Jailbreak Attack），证明纯视觉输入可以有效绕过现有安全机制；第二，构建首个针对图像编辑模型安全评估的标准化基准 IESBench，涵盖 15 个风险类别、116 个细粒度编辑属性、9 种操作类型和 1054 张视觉提示图像，为后续研究提供可复用的评估框架；第三，提出一种简单有效的免训练防御方法，通过在多模态提示后附加安全触发文本，激活模型内部的视觉语言推理能力来识别恶意请求，将攻击面从视觉空间拉回到语言空间——在语言空间中，模型的安全对齐通常更为健壮。

与已有工作不同的是，本文的独特切入角度在于将关注点从文本中的恶意意图转移到图像中的恶意意图。此前的多模态越狱研究虽然也涉及视觉输入，但通常将图像作为辅助角色（如在文本攻击中附加对抗性图像），或针对多模态理解任务（如让视觉语言模型生成有害文本）。本文首次将图像编辑模型本身视为攻击目标，提出纯视觉到视觉的攻击范式——攻击者只需提交一张带有恶意视觉提示的图像，无需任何文本指令，模型就会忠实执行其中的编辑意图。这一角度的转变揭示了一个根本性问题：当模型的语言从文本变为图像时，其安全语言也需要随之更新，而当前的安全机制还停留在文本时代。

核心方法

本文的方法体系由三个核心组件构成：攻击方法 VJA、评估基准 IESBench 和防御策略。整体思路可以这样理解：想象一个翻译模型，它的安全机制只能检查源语言（文本）中的恶意内容，但当恶意指令用目标语言（图像）直接书写时，安全检查就失效了。VJA 正是利用了这种语言错配——它将恶意编辑指令以视觉标记、箭头、文字注释等形式嵌入到输入图像中，让图像编辑模型在没有文本指令的情况下直接从视觉输入中推断并执行编辑意图。技术路线上，VJA 不需要访问模型参数（黑盒攻击），只需操纵输入图像即可。IESBench 则提供了系统化的评估框架，采用层次化的风险分类体系和 MLLM-as-a-Judge 的自动评估方法。防御方面，作者观察到 Qwen-Image-Edit 等开源模型使用视觉语言模型（VLM）而非纯语言模型来提取文本嵌入，这意味着模型内部具备多模态推理能力，可以通过适当的触发来激活其安全意识。

VJA 的核心创新在于它不试图破解安全机制，而是完全绕过它们。现有的安全对齐和守护模型都假设恶意意图会通过文本传达——它们检测文本中的有害关键词、评估文本指令的合规性。但 VJA 直接用图像说话：在目标区域画上圆圈或矩形标记，用箭头连接标记和编辑说明（如删除、替换），甚至直接在图像上写入编辑指令文字。这使得恶意意图完全存在于视觉模态中，而文本输入为空。与传统的文本中心越狱攻击（TJA）的本质区别在于：TJA 需要精心设计文本提示来绕过安全过滤器，而 VJA 通过改变指令的传递模态来使文本过滤器完全失效。正如论文中给出的形式化定义：M(I_adversarial, NULL; Theta) = I_harmful，其中 I_adversarial 是带有恶意视觉提示的图像。

方法步骤详情

VJA 的攻击流程分为以下步骤：（1）选择一张无害的基准图像 I_benign，例如一张普通的人物照片或风景图；（2）在图像上添加视觉提示标记，包括：用圆形或矩形标注目标编辑区域，用箭头或连线指向目标，附加语义编辑提示（如文字标签删除、替换为暴力内容等）；（3）将带有恶意视觉提示的图像 I_adversarial 作为唯一输入提交给目标模型，文本输入设为空；（4）图像编辑模型从视觉输入中推断编辑意图并执行操作，生成有害输出 I_harmful。IESBench 的构建流程则是：首先收集 846 张 AI 生成的图像、193 张开源真实图像和 15 张已有基准的图像作为基准图像；然后为每张图像设计视觉提示和编辑意图；接着进行人工审核和质量控制；最后由标注员记录样本 ID、风险类别标签、意图标签、属性、操作类型和文本提示。防御方法的步骤是：在用户的多模态提示 [I, T] 后附加安全触发文本 T_safe，构成新的输入 P' = [I, T, T_safe]，其中 T_safe 指示模型以安全评估者的身份审查图像和文本，判断编辑后的图像是否安全/合法。

技术新颖性

本文的技术新颖性体现在多个层面。首先，VJA 是首个视觉到视觉的越狱攻击范式，开创性地将攻击面从文本转移到视觉模态，这一视角转换揭示了此前被完全忽视的安全漏洞。其次，IESBench 是首个专门为图像编辑模型安全设计的基准，区别于现有的多模态安全基准（如 MMSafetyBench、HADES、FigStep），它具有三个独特特征：专门为图像编辑任务定制（而非通用多模态理解）、包含自由形式的视觉提示（而非低质量的对抗性图像）、采用层次化风险分类体系（15 个类别分为 3 个风险等级）。第三，防御方法的新颖性在于其免训练和无外部依赖的特性——它通过一个简单的安全触发文本激活模型内部 VLM 的固有安全意识，利用 Transformer 的注意力机制将视觉攻击翻译回语言空间进行判断。这种方法无需额外的守护模型、无需微调、计算开销可忽略（约 3% 额外延迟），但能将安全性能从几乎无防护提升到与商业系统相当的水平。

实验结果

本文的实验结果揭示了图像编辑模型面临的严峻安全挑战。在 1054 张 IESBench 图像的全面评估中，VJA 在四个商业模型上取得了平均 85.7% 的攻击成功率（ASR）。具体而言，Qwen-Image-Edit（在线版）的 ASR 高达 97.5%，Seedream 4.5 为 94.1%，Nano Banana Pro 为 80.9%，即使是安全防护最好的 GPT Image 1.5 也达到了 70.3%。值得注意的是，GPT Image 1.5 在文本攻击下的 ASR 仅为 46.8%，而 VJA 将其提升了 24.9 个百分点，说明视觉攻击绕过了文本层面的安全检查。Nano Banana Pro 的提升更为显著，从文本攻击的 48.8% 跃升至 80.9%（提升 35.6%）。对于没有外部守护模型的开源模型（BAGEL、Flux2.0[dev]、Qwen-Image-Edit*），ASR 达到 100%，表明仅依赖 RLHF 训练的内容审核不足以防止高危害性输出。在风险类别层面，证据篡改（I13）和厌恶性操纵（I15）是最容易被利用的类别，而版权篡改（I11）在不同模型间差异最大——GPT Image 1.5 的 ASR 为 95.7%，而 Nano Banana Pro 仅为 41.3%。防御方法方面，Qwen-Image-Edit-Safe 将平均 ASR 从 100% 降至 66.9%，HS 从 4.6 降至 3.4，展示了显著的安全提升。二分类实验进一步验证了防御方法的鲁棒性：75% 的攻击被成功识别，AUC-ROC 为 75.7%，而去除推理步骤后检测率降至约 50%（接近随机猜测）。

**Figure 5**: 不同模型在 IESBench 上的平均危害性评分对比

**Figure 16**: Qwen3-VL-8B-Instruct 评估的危害性评分分布

**Figure 17**: 8 个受害模型的危害性评分分布 (Gemini 3 Pro 评估)

查看结构化数据

任务	指标	本文	基线	提升
VJA 攻击商业模型	攻击成功率 (ASR)	Qwen-Image-Edit: 97.5%, Seedream 4.5: 94.1%, Nano Banana Pro: 80.9%, GPT Image 1.5: 70.3%	TJA 文本攻击: Qwen: 88.8%, Seedream: 93.2%, Nano: 48.8%, GPT: 46.8%	相比文本攻击，ASR 提升: Nano Banana Pro +35.6%, GPT Image 1.5 +24.9%
VJA 攻击开源模型	攻击成功率 (ASR)	*BAGEL: 100%, Flux2.0[dev]: 100%, Qwen-Image-Edit: 100%**	无外部守护模型的基线防护	所有开源模型均达到 100% ASR，暴露 RLHF 训练的严重不足
防御方法效果	平均 ASR / 平均 HS	Qwen-Image-Edit-Safe: ASR 66.9%, HS 3.4	Qwen-Image-Edit* (无防御): ASR 100%, HS 4.6	ASR 降低 33.1%, HS 降低 1.2
恶意输入检测	AUC-ROC / 准确率	AUC-ROC 75.7%, 检测率 75%	无推理步骤: 检测率约 50%	推理步骤带来约 25% 的检测率提升
MLLM 裁判可靠性	人类投票率	Gemini 3 Pro: 25.4%, GPT 5.2: 29.3%	人类评估: EV 86.4%, HS 3.7, HRR 75.1%	商业 MLLM 裁判与人类评估高度一致

局限与改进

本文的局限性可以从多个维度分析。首先，作者承认 VJA 对视觉感知和推理能力有限的模型效果较差——如果模型无法从纯视觉输入中准确推断编辑意图，攻击就会失败。例如，Qwen-Image-Edit 和 Seedream 4.5 在某些纯视觉攻击中无法理解指令，产生了无效或无害的编辑结果，但这并非因为它们的安全机制有效，而是因为它们的视觉理解能力不足。其次，防御方法依赖于预对齐的视觉语言模型（如 Qwen2.5-VL-8B-Instruct），对于涉及伪造或误导信息的攻击（需要大规模、最新的世界知识）效果有限。第三，IESBench 虽然涵盖了 15 个风险类别，但视觉提示的设计仍有一定的主观性，可能无法覆盖所有实际攻击场景。第四，评估依赖 MLLM 作为裁判，尽管已通过多模型对比和人类评估验证，但仍存在幻觉和一致性问题——Qwen3-VL-2B-Instruct 仅获得 6.9% 的人类投票，且其 EV（57.2）远低于其他裁判。第五，作者仅在 Qwen-Image-Edit 上实现了防御方法，未在其他模型上验证其通用性。最后，从方法论角度看，VJA 的形式化定义虽然清晰，但攻击的成功标准（HS >= 4 即为高风险）可能过于宽松，且不同裁判模型对同一输出的评分差异较大。

独立分析的弱点

本文存在几个值得深入讨论的弱点。第一，攻击的成功率定义可能存在混淆：ASR 只衡量攻击是否绕过了安全机制，但不区分成功是因为模型主动执行了恶意指令还是被动地未能理解指令。例如，如果一个模型因为视觉理解能力差而无法解析视觉提示，产生了无害的输出，这在 ASR 计算中仍被计为成功（因为安全机制未介入），但实际上并不构成真正的安全威胁。建议未来工作引入有效攻击率指标，同时考虑 ASR 和 EV。第二，防御方法的二分类实验仅使用了 10% 的 VJA 样本作为正样本，样本量较小，且未报告置信区间或统计显著性测试。第三，敏感性实验虽然测试了颜色、语言、字体等变量的影响，但样本量仅为 7 张图像，代表性有限。改进建议：增加攻击样本量、引入更细粒度的有效性指标、在更多模型上验证防御方法的通用性。第四，IESBench 的基准图像中 AI 生成图像占 80%（846/1054），真实世界图像仅占 18%，可能无法完全代表实际部署场景中的攻击风险。

未来方向

作者和本文成果共同指向了多个有前景的研究方向。首先，防御方法可以通过微调 MLLM 来增强其对图像编辑安全风险的识别能力，特别是针对伪造和误导信息类攻击——这需要模型具备更丰富的世界知识和更强的事实核查能力。其次，IESBench 可以扩展为动态基准，随着新攻击技术的出现持续更新攻击样本和评估标准。第三，视觉提示的安全标准化是一个值得探索的方向：能否为视觉提示设计一套安全语法，使模型能够区分合法的编辑指令和恶意的注入？第四，本文揭示的模型越强越危险的发现（如 LongCat-Image 的 ASR 反而低于弱模型，因为其视觉理解能力不足）提示了一个悖论：提升模型的视觉理解能力可能会同时增加其安全风险，如何在能力提升和安全保障之间取得平衡是关键挑战。第五，防御方法目前仅在单个模型上验证，未来可以探索将其集成到模型架构中（而非作为后处理步骤），或开发通用的安全中间件。最后，跨模态安全对齐的理论框架——即如何在视觉和语言两个模态之间建立一致的安全语义——是一个更基础但更具挑战性的问题。

复现评估

本文在可复现性方面做得较好。IESBench 的数据格式和标注规范在附录中详细说明（包括 JSON 格式示例和评分标准），但数据集本身是否开源未在论文中明确提及。攻击方法 VJA 的实现相对简单——只需在图像上添加视觉提示标记——因此易于复现。防御方法的实现同样简洁，仅需在输入后附加一段安全触发文本并复用 KV-Cache。实验环境方面，所有实验在 8 块 Nvidia Tesla V100 上进行，对于开源模型的部署要求合理。商业模型通过 API 调用，依赖外部服务的可用性。值得注意的是，作者使用了 Qwen2.5-VL-8B-Instruct 作为防御方法的 VLM，但未提供该模型的具体版本和配置细节。此外，MLLM 裁判（Gemini 3 Pro）的评估结果可能因 API 版本更新而变化，建议未来工作固定裁判模型版本或提供本地裁判模型的微调方案。总体而言，复现难度为中等偏低，主要挑战在于获取商业模型 API 和构建高质量的视觉提示图像。

当提示变成视觉：面向大型图像编辑模型的视觉中心越狱攻击 When the Prompt Becomes Visual: Vision-Centric Jailbreak Attacks for Large Image Editing Models