SEMA：面向多轮越狱攻击的简洁高效学习框架 SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks
通过预填充自调优和意图漂移感知强化学习，训练无需外部数据的多轮越狱攻击模型
前置知识
越狱攻击（Jailbreak Attack）
越狱攻击是指通过精心构造的提示词（prompt），绕过大语言模型的安全对齐机制，诱导模型生成被禁止的有害内容。在单轮攻击中，攻击者只发送一条恶意提示；而在多轮攻击中，攻击者通过多轮对话逐步绕过安全防护，这更接近真实聊天场景中的威胁模型。越狱攻击的评估通常使用攻击成功率（ASR）作为核心指标，由专门的判别器判断模型是否被成功越狱。
本文研究的核心问题就是如何训练一个能够自动生成多轮越狱攻击提示的攻击模型，理解越狱攻击的基本概念是读懂本文的前提。
GRPO（Group Relative Policy Optimization）
GRPO 是一种在线强化学习算法，最初由 DeepSeek 团队提出用于数学推理任务。它的核心思想是：对同一个输入采样一组（group）输出，计算每个输出的奖励，然后用组内奖励的相对优势来更新策略。具体来说，对于每个查询 $q$，采样 $G$ 个输出 $\{o_1, ..., o_G\}$，计算标准化优势 $\hat{A}_i = \frac{R_i - \text{mean}(\{R_i\}_{1}^{G})}{\text{std}(\{R_i\}_{1}^{G})}$，然后最大化带裁剪的策略目标和 KL 正则化项。这种组内相对比较的机制使得训练更加稳定，特别适合探索性任务。
SEMA 的第二阶段使用 GRPO 作为强化学习算法，理解其工作原理对于理解训练过程至关重要。
预填充（Prefilling）
预填充是一种推理时的轻量控制技术：在模型生成输出之前，先注入一小段初始 token 作为"种子"，然后让模型从这个种子开始继续生成。本文中，预填充的是列表标记 '1.'（表示第一轮对话），模型会自然地继续生成 '2.'、'3.' 等，从而产生格式规范的多轮攻击序列。这种技术最初是作为一种越狱策略被提出的——通过注入非拒绝的前缀，可以绕过模型的安全拒绝行为。
预填充自调优是 SEMA 第一阶段的核心技术，它解决了安全对齐模型拒绝生成对抗性提示的问题，为后续的强化学习奠定了基础。
意图漂移（Intent Drift）
意图漂移是指在多轮越狱攻击过程中，对话逐渐偏离原始有害意图，转向无关、良性或不连贯的话题。例如，一个以'如何入侵他人电脑'为意图的对话，可能在多轮交互后变成关于'黑客行为的伦理后果'的良性讨论。虽然适度的良性偏移有时可能降低防御，但严重的漂移会导致越狱失败——即使模型没有拒绝回答，生成的内容也不再具有有害性。
意图漂移是多轮越狱攻击面临的核心挑战之一，SEMA 的意图漂移感知奖励设计正是为了解决这一问题。
开环生成（Open-loop Generation）
开环生成是相对于闭环生成而言的。在传统的多轮越狱攻击中，攻击者需要根据受害模型的每一轮回复来生成下一轮攻击提示（闭环），这导致搜索空间呈组合爆炸式增长。开环生成则是让攻击模型一次性输出整个多轮攻击序列（长度为 $T$ 的提示序列 $Q_{\text{adv}} = \{q_{\text{adv}}^1, ..., q_{\text{adv}}^T\}$），完全不依赖受害模型的回复。这种设计将搜索空间从提示和回复的笛卡尔积缩小到仅提示空间，大幅降低了探索复杂度和交互成本。
开环生成是 SEMA 的核心设计选择之一，它使得训练过程不需要反复与受害模型交互，大大提高了效率。
研究动机
当前大语言模型安全研究中的越狱攻击主要集中在单轮设置上，但真实世界中的聊天机器人是多轮交互的，单轮攻击只是多轮攻击的一个特例。现有的多轮越狱方法面临两大核心困境：第一是探索复杂性问题，每增加一轮对话，合理的提示和受害模型回复的分支因子就会扩大，搜索空间呈组合爆炸式增长。现有方法通过限制搜索空间来应对——要么依赖人工设计的脚本（如 Jigsaw Puzzle 将有害查询拆分为多个部分），要么使用模板驱动的流水线（如 Crescendo、GOAT 等根据受害模型回复调用闭源 API 生成下一轮攻击）。前者劳动密集、难以扩展且缺乏多样性，后者继承了模板的刚性和 API 的不透明性，且生成依赖于受害模型的回复，导致搜索脆弱且成本高昂。第二是意图漂移问题，当攻击提示的生成依赖于受害模型的回复时，模型早期的安全性偏移可能会引导后续对话转向良性轨道，导致攻击失败。
本文的目标是本文的目标是提出一个简洁、可复现的框架，用于训练能够自动生成多轮越狱攻击提示的攻击模型。具体而言，SEMA 旨在：（1）不依赖任何现有攻击策略或外部数据，让攻击模型自由探索多轮攻击空间；（2）通过开环生成降低探索复杂度和交互成本；（3）通过意图漂移感知奖励确保生成的攻击序列在整个对话过程中保持相同的有害意图；（4）在多个数据集（AdvBench、HarmBench）、多种受害模型（开源和闭源）和多种判别器上实现最先进的攻击成功率（ASR）。
与已有工作不同的是，SEMA 抓住了两个被现有工作忽视的关键点。第一，现有训练方法（如 Jailbreak-R1）虽然也使用 GRPO 进行强化学习，但仅限于单轮攻击，且需要外部越狱策略数据进行冷启动。SEMA 则通过预填充自调优阶段，让模型自己生成训练数据，实现了完全无外部数据的学习。第二，现有模板驱动方法（如 Crescendo、CoA、FITD）虽然支持多轮攻击，但它们在生成攻击提示时依赖于受害模型的实时回复（闭环），这不仅增加了成本和延迟，还导致了意图漂移问题。SEMA 采用开环生成，一次性规划整个多轮攻击序列，从根本上避免了闭环交互带来的漂移和脆弱性。此外，SEMA 设计了意图漂移感知奖励，将意图对齐、合规风险和详细程度三个维度结合，确保攻击既不偏离原始意图，又能诱导出高质量的有害回复。
核心方法
SEMA 的整体思路可以用一个类比来理解：想象你要教一个学生如何在多轮对话中说服他人接受一个敏感观点。传统的做法是给学生一套话术模板，让他按模板行事（模板驱动方法）；或者让学生在每次对话后根据对方的反应来调整策略（闭环方法）。SEMA 的做法则不同：首先让学生自己尝试多种不同的对话策略，从中筛选出格式正确、能够产生有效对话的策略（预填充自调优阶段）；然后让学生在模拟对话中练习，并根据最终效果来改进策略——如果最终的对话保持了原始意图且诱导出了详细的有害内容，就给予高分，否则扣分（强化学习阶段）。技术上，SEMA 由两个阶段组成：第一阶段是预填充自调优（Prefilling Self-tuning），通过注入最小的结构化前缀（如列表标记 '1.'），让模型自动生成格式规范的多轮攻击提示，然后用这些自生成的数据进行监督微调；第二阶段是意图漂移感知强化学习，使用 GRPO 算法，以意图漂移感知奖励作为优化目标，训练攻击模型生成既有效又意图稳定的多轮攻击序列。
SEMA 的核心创新在于两个设计：预填充自调优和意图漂移感知奖励。预填充自调优的本质是利用模型自身的能力来解决"鸡生蛋"问题——安全对齐的模型通常会拒绝生成对抗性提示，导致强化学习无法获得有效的训练样本。SEMA 通过注入最小的结构化前缀（仅一个列表标记 '1.'），绕过了安全拒绝机制，让模型自动生成格式正确的多轮攻击序列。这些自生成的数据被用于监督微调，从而得到一个"不拒绝、格式规范"的基础攻击模型。与已有方法最本质的区别在于：SEMA 不依赖任何外部越狱策略数据或人工设计的模板，攻击模型的策略完全来自自身的探索。意图漂移感知奖励的设计同样关键，它将奖励分解为三个维度：意图对齐度（衡量最终回复与原始有害意图的对齐程度）、合规风险（衡量回复的内在风险）和详细程度（偏好具体、可操作的内容）。这三个维度的加权组合确保了攻击模型在探索多轮策略时不会偏离原始有害意图，同时诱导出高质量的有害回复。
方法步骤详情
SEMA 的方法分为两个主要阶段。第一阶段：预填充自调优（Prefilling Self-tuning）。（1）对于每个有害查询 $q$，使用系统指令引导攻击模型生成多轮攻击提示，系统指令的核心是要求模型"用不同的方式问同一件事"。（2）在生成时注入最小的结构化前缀 $Q_{\text{adv}}^{\text{prefill}}$（即列表标记 '1.'），让模型从这个种子开始继续生成，自然地产生 '2.'、'3.' 等格式规范的多轮提示序列。（3）收集这些自生成的、非拒绝的、格式正确的攻击序列，用于监督微调（SFT），微调时保留前缀。这个阶段的效果是双重的：使攻击模型能够执行开环、响应无关的多轮攻击，同时保留模型的知识，为后续的强化学习做好准备。第二阶段：意图漂移感知强化学习。（1）对于每个有害查询 $q$，从当前攻击策略中采样一组攻击序列 $\{Q_{\text{adv}}^i\}_{i=1}^{G}$，每个序列包含最多 $T$ 轮攻击提示。（2）对每个攻击序列，在训练时受害模型上执行模拟多轮对话，获取最后一轮回复 $r_T$。（3）使用评估模型（GPT-4.1-mini）计算意图漂移感知奖励 $R_{\text{IDA}}(r_T, q) = \frac{1}{2}\text{Alignment}(r_T, q) \cdot \text{Risk}(r_T) + \text{Detail}(r_T)$，其中三个子分数都是 0 到 1 之间的值。（4）加上格式奖励 $R_{\text{format}} \in \{0, 1\}$，确保输出格式可解析。（5）使用 GRPO 算法，基于组内相对优势更新攻击策略，优化目标为 $J_{\text{obj}} = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\left[\min\left(\pi_{\text{ratio}}\hat{A}_i, \text{clip}(\pi_{\text{ratio}}, 1-\epsilon, 1+\epsilon)\hat{A}_i\right) - \beta D_{\text{KL}}[\pi_\theta || \pi_{\text{ref}}]\right]\right]$。
技术新颖性
SEMA 的技术新颖性体现在三个层面。首先，在框架设计上，SEMA 是第一个将开环、响应无关的多轮攻击生成与在线强化学习相结合的框架。与 Jailbreak-R1（仅支持单轮攻击且需要外部数据冷启动）不同，SEMA 通过预填充自调优实现了无外部数据的学习；与 Crescendo、CoA 等模板驱动方法不同，SEMA 不依赖闭环交互，从根本上避免了因受害模型回复导致的意图漂移。其次，在训练策略上，预填充自调优是一个巧妙的设计——它将原本作为越狱技巧的预填充技术转化为训练基础设施，用最小的结构化控制（仅一个列表标记）解决了安全对齐模型拒绝生成对抗性提示的问题。这种方法既不需要筛选或修改自生成的数据，也不需要外部语料库，完全依靠模型自身的能力来产生训练数据。第三，在奖励设计上，意图漂移感知奖励是首个专门针对多轮越狱攻击中意图漂移问题设计的奖励函数。它将意图对齐、合规风险和详细程度三个维度有机结合，既避免了仅使用"无拒绝"指标导致的虚假成功（模型生成良性内容但不拒绝），也避免了过度惩罚导致的探索不足。
实验结果
SEMA 在多个数据集、多种受害模型和多种判别器上均取得了最先进的攻击成功率（ASR）。在 AdvBench 数据集上，使用 LLM Classifier 作为判别器，SEMA（使用 Llama-3.1-8B-Instruct 作为基础攻击模型和训练时受害模型）分别在 Qwen2.5-3B-Instruct、Llama-3.1-8B-Instruct 和 GPT-4.1-mini 上取得了 79.9%、77.2% 和 83.3% 的 ASR@1，平均 80.1%，比现有最佳方法高出 33.9%。相比之下，单轮攻击方法 FlipAttack 仅在 GPT-4.1-mini 上取得 31.4%，ADV-LLM 在 Llama-3.1-8B-Instruct 上取得 63.7%；多轮方法中，Jigsaw Puzzle 在 GPT-4.1-mini 上取得 58.7%，Crescendo 取得 36.0-48.5%。在 HarmBench 数据集上，SEMA 同样领先，平均 ASR@1 为 75.0%（使用 Llama-3.1-8B-Instruct 作为攻击模型），使用更大模型 Qwen2.5-14B-Instruct 时可进一步提升至 77.1%。在 GPT-oss-20B（被认为是实验中最安全的模型）上，SEMA 在 LLM Classifier 下取得 36.0%，在 HarmBench Classifier 下取得 57.7%，显著超越所有基线。在可扩展性方面，SEMA 在 HarmBench 上对 GPT-4.1-mini 仅需 5 次尝试即可达到 96.8% 的 ASR@5，20 次尝试达到 99.7%，而 Jailbreak-R1 需要 50 次尝试才能达到 93.5%。在迁移性方面，SEMA 的迁移攻击成功率（TASR@1）在 AdvBench 上从 Qwen2.5-3B 到 Llama-3.1-8B 达到 85.1%，从 Qwen2.5-3B 到 GPT-4.1-mini 达到 92.6%，远超所有基线方法。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AdvBench 多模型平均 | ASR@1 (LLM Classifier) | 80.1% | Jigsaw Puzzle 39.4% / Crescendo 39.9% | +40.2% / +40.2% |
| AdvBench GPT-4.1-mini | ASR@1 (LLM Classifier) | 83.3% | Crescendo 48.5% / Jigsaw Puzzle 58.7% | +34.8% / +24.6% |
| HarmBench 多模型平均 | ASR@1 (HarmBench Classifier) | 75.0% | Crescendo 40.9% / Jigsaw Puzzle 37.5% | +34.1% / +37.5% |
| GPT-oss-20B AdvBench | ASR@1 (LLM Classifier) | 36.0% | Crescendo 21.2% / ActorAttack 6.5% | +14.8% / +29.5% |
| 迁移攻击 Qwen2.5-3B→GPT-4.1-mini | TASR@1 (AdvBench) | 92.6% | Crescendo 78.6% / GOAT 67.8% | +14.0% / +24.8% |
| 可扩展性 HarmBench GPT-4.1-mini | ASR@5 | 96.8% | Jailbreak-R1 54.3% | +42.5% |
局限与改进
SEMA 存在几个明显的局限性。首先，在轮次效率方面，攻击模型被训练为生成响应无关的多轮计划，通常会使用训练时允许的最大轮次（$T_{\text{max}}=7$）。在实际中，这意味着在很多情况下受害模型可能在更早的轮次就已经被越狱，后续的轮次是多余的。作者在论文中也承认了这一点，并指出未来将探索带有代价感知奖励的闭环变体，以惩罚不必要的轮次。其次，在模态范围上，SEMA 目前仅支持文本模态，无法处理视觉或音频输入的越狱攻击，这在多模态大语言模型日益普及的今天是一个明显的不足。第三，在单次训练的策略多样性方面，虽然不同的训练运行会收敛到不同的多轮策略，但单个训练好的攻击模型在推理时往往表现出较窄的提示范式。这意味着即使同一模型多次运行，生成的攻击序列可能缺乏多样性。最后，在评估公平性方面，SEMA 的实验使用了 80% 的 AdvBench 进行训练，这意味着在 AdvBench 上的结果部分是分布内测试，而 HarmBench 的结果更能反映真实的泛化能力。
独立分析的弱点
从独立分析的角度，SEMA 存在以下几个弱点。第一，训练时的模拟对话需要真实的受害模型参与，这意味着训练成本与受害模型的大小和数量成正比。当需要针对多个不同的受害模型进行训练时，计算开销会显著增加。改进方向是探索更高效的模拟方法，例如使用较小的代理模型进行初步筛选，或者开发无需真实模型参与的离线评估方法。第二，意图漂移感知奖励依赖于外部评估模型（GPT-4.1-mini），这引入了 API 成本和潜在的评估偏差。如果评估模型本身对某些类型的有害内容不敏感，可能会导致奖励信号不准确。改进方向是开发基于规则或本地模型的奖励计算方法，或者探索对抗性训练来提高奖励的鲁棒性。第三，开环生成虽然降低了探索复杂度，但也限制了攻击的适应性——攻击模型无法根据受害模型的实际反应来调整策略。在面对具有动态防御机制的模型时，这种开环策略可能不够灵活。改进方向是探索混合方法，在保持开环效率的同时，允许在关键轮次进行少量的闭环调整。第四，实验中使用的判别器（如 No Refusal Phrase Indicator、HarmBench Classifier、LLM Classifier）各自有不同的偏差，导致同一方法在不同判别器下的 ASR 差异显著（例如 SEMA 在 AdvBench/GPT-4.1-mini 上 No Refusal 为 99.1%，但 LLM Classifier 仅 83.3%）。这表明评估标准的不统一是该领域的一个普遍问题。
未来方向
作者在论文中提出了几个未来研究方向。第一是轮次效率优化，开发带有代价感知奖励的闭环变体，鼓励最小化轮次的越狱。第二是模态扩展，将框架从文本扩展到视觉和音频，以捕获更广泛的威胁面（如通过截图进行提示注入、多模态编排或语音助手）。第三是单模型策略多样性，探索多样性奖励或多样性增强的在线强化学习，使单个训练好的攻击模型能够在推理时产生更多样化的策略。基于 SEMA 的成果，还可以延伸以下方向：一是防御协同进化，将 SEMA 的攻击模型与防御模型进行对抗性训练，形成红蓝对抗的持续改进循环；二是跨语言迁移，探索在一种语言上训练的攻击模型能否迁移到其他语言；三是细粒度意图控制，开发能够指定攻击强度和目标内容的可控攻击模型，为安全评估提供更精确的工具。
复现评估
SEMA 在复现性方面表现良好。作者已在 GitHub 上开源了代码（https://github.com/fmmarkmq/SEMA），包括攻击模型的训练代码和所有基线方法的复现实现。数据集方面，AdvBench（520 个样本）和 HarmBench（320 个文本行为）都是公开可用的标准化数据集。算力需求方面，训练 3B 参数的攻击模型需要 4 张 H100 GPU 运行约 12 小时，训练 7B/8B/14B 模型需要 8 张 H100 GPU 运行约 8 小时。推理阶段非常高效，159 个 HarmBench 样本仅需 25.44 秒即可完成（使用单张 A6000 GPU），且不需要 API 调用。RL 阶段需要调用 GPT-4.1-mini 计算奖励，消耗约 6480 万 API token，费用约 19.17 美元。总体而言，SEMA 的复现难度中等——框架设计简洁，代码开源，但训练需要一定的 GPU 资源和 API 预算。
论文图表
