OpenRT：面向多模态大语言模型的开源红队测试框架 OpenRT: An Open-Source Red Teaming Framework for Multimodal LLMs
模块化红队测试框架，集成37种攻击方法，在20个MLLM上揭示平均49.14%的攻击成功率
前置知识
红队测试
红队测试是一种模拟真实对手攻击的安全评估方法，通过设计恶意输入来发现AI系统的安全漏洞。在MLLM场景中，红队测试者尝试通过精心设计的提示词、图像或多轮对话来绕过模型的安全机制，使其产生有害内容。这个过程通常包括攻击策略设计、执行和结果评估三个阶段，其中评估需要独立的判断模型来确定攻击是否成功。
本文核心就是构建一个系统化的红队测试框架，理解这个概念对于认识论文的研究动机和方法价值至关重要。
越狱攻击
越狱攻击是指通过特定技术手段绕过大语言模型的安全限制，使其输出违反安全策略的内容。攻击方法包括模板化攻击（如角色扮演）、编码隐藏（如Base64加密）、多轮逐步诱导、对抗性扰动（如梯度优化）、多模态攻击（如图像注入）等。攻击成功与否通常由判断模型根据输出的有害程度打分确定，分数越高表示攻击越成功。
本文集成了37种越狱攻击方法，理解不同攻击范式对于掌握论文的技术贡献和实验设计的深度非常关键。
攻击成功率(ASR)
攻击成功率是衡量越狱攻击有效性的核心指标，计算公式为 ASR = (1/N) * sum(1[si >= theta])，其中N是总攻击次数，si是第i次攻击的危害性分数（1-5分），theta是成功阈值。判断模型对模型响应进行打分，1分表示模型主动拒绝（最佳安全响应），5分表示完全遵从有害指令。ASR越高表示模型的安全防御越薄弱。
论文的主要实验结果都基于ASR指标，理解其计算方式和含义对于准确解读实验数据和结论至关重要。
困惑度(PPL)
困惑度是衡量文本自然程度的指标，计算公式为 PPL(et1:n) = exp(-(1/n) * sum(log p(etj|et<j)))，其中et1:n是对抗性提示词，p是参考语言模型的概率分布。PPL越低表示文本越接近自然语言，攻击越难被基于语言模型的防御系统检测。在攻击评估中，PPL用于衡量攻击的隐蔽性或不可检测性。
论文使用PPL评估攻击的隐蔽性，理解这个概念有助于全面认识攻击效果的多维度评估。
多代理攻击
多代理攻击是指使用多个AI代理协作进行越狱攻击的策略，每个代理承担不同角色，如攻击者、评估者、优化器等。这些代理通过协作和迭代来生成更加多样化和有效的攻击提示词。例如，X-Teaming使用多个代理合作探索攻击空间，EvoSynth使用代码级进化合成来自动生成攻击代码。多代理方法通常具有更高的攻击多样性和成功率。
多代理攻击是论文中最有效的攻击类别之一，理解这个概念对于把握当前攻击范式的发展趋势和论文的核心发现至关重要。
研究动机
多模态大语言模型在关键应用中的快速集成正受到持续安全漏洞的阻碍。现有的红队测试基准通常是分散的，仅限于单轮文本交互，缺乏系统评估所需的可扩展性。具体来说，大多数现有框架如EasyJailbreak、JailbreakBench、HarmBench等只支持有限数量的攻击方法，仅支持单轮对话，不支持多模态输入，缺乏异步执行能力，配置复杂度较高，扩展性不足。这种分散性破坏了可重现的基准测试，限制了跨模型的系统化漏洞评估。
本文的目标是本文的具体目标是引入OpenRT，一个统一、模块化和高吞吐量的红队测试框架，专为全面的MLLM安全评估而设计。该框架通过引入对抗性内核，在五个关键维度实现模块化分离：模型集成、数据集管理、攻击策略、判断方法和评估指标。通过标准化攻击接口，它将对抗性逻辑与高吞吐量异步运行时解耦，实现跨不同模型的系统化扩展。框架集成了37种多样化的攻击方法，包括白盒梯度方法、多模态扰动和复杂的多代理进化策略。
与已有工作不同的是，本文的独特切入角度在于构建一个统一的、模块化的、可扩展的框架，而不是开发新的攻击方法。与现有工具箱通常局限于经典攻击的狭窄子集不同，OpenRT专注于大规模并行越狱，专门为高吞吐量评估而设计。它原生支持文本和图像模态、单轮和多轮以及多代理协调，采用YAML配置驱动，提供了高可配置性和高扩展性。这使得研究人员能够公平比较不同的攻击方法，复现实验，并快速原型化新的攻击场景。
核心方法
OpenRT的整体思路是将红队测试流水线分解为六个模块化组件：模型、数据集、攻击、判断、评估器和中央协调器。这种设计实现了高度解耦，使得任何组件都可以独立替换而不需要修改其他组件。架构上，OpenRT作为一个可组合的工具箱，显式地解耦了核心组件。框架集成了37种攻击实现，涵盖了广泛的威胁模型。在黑盒设置中，框架支持从直接单轮提示到复杂的多轮对话越狱等多种方法论。在白盒设置中，框架促进了梯度攻击。通过异步引擎，它统一了API和本地模型接口以实现可扩展性。
OpenRT的核心创新点在于对抗性内核和模块化注册系统。对抗性内核实现了在五个关键维度的模块化分离，通过标准化攻击接口将对抗性逻辑与高并发异步运行时解耦。模块化注册系统采用基于装饰器的方法实现自动组件发现和运行时实例化，每个组件类型维护自己的注册表，新实现可以通过简单装饰器注册。这种机制自动编目所有可用组件，使得框架能够基于配置文件动态实例化和组装它们，而无需修改核心代码库。这提供了三个关键优势：可扩展性、可发现性和灵活性。
方法步骤详情
OpenRT的执行流水线遵循四个阶段的工作流程。第一阶段是初始化，创建结果容器和线程池，从配置文件加载目标模型、数据集、攻击方法和评估器。第二阶段是并行攻击执行，为数据集中的每个查询提交攻击任务，使用ThreadPoolExecutor并行执行，捕获单个攻击失败而不中断其他执行。第三阶段是聚合评估，评估器聚合收集的结果来计算实验级指标，包括攻击成功率、攻击效率、攻击隐蔽性和攻击多样性。第四阶段是结果报告，输出最终指标和详细的攻击结果，包括完整的攻击轨迹、中间提示词、模型响应和执行时间。
技术新颖性
OpenRT的技术新颖性体现在多个方面。首先，它集成了37种攻击算法，这是现有框架中最全面的集合，涵盖了白盒和黑盒威胁模型，包括多轮对话策略、多模态越狱和多代理协调。其次，它提供了统一的异步执行引擎，支持高吞吐量并行评估，能够使用25个并行工作线程进行大规模评估。第三，它采用了配置驱动的实验设计，通过YAML文件实现动态组件组装、可重现基准测试和便捷的并行化。最后，它提供了双重判断架构，结合基于关键字的启发式方法和基于LLM的语义分析，确保了大规模基准测试的可扩展性和评估前沿MLLM所需的细粒度准确性。
实验结果
论文的主要发现包括五个方面。第一，即使是最先进的模型也无法抵御复杂的对手。顶级模型如Claude Haiku 4.5、GPT-5.2和Qwen3-Max表现出强大的基准鲁棒性，通常将ASR保持在20%以下，而其他模型如Llama-4、Mistral Large 3仍然更容易受到这些简单模式的影响。攻击格局发生了转变，自适应、多轮和多代理策略占主导地位，而静态、单轮和基于模板的方法越来越无效。第二，对抗鲁棒性表现出不一致和两极分化的脆弱性模式。模型对特定攻击家族表现出高抵抗力（如基于文本的密码），但对其他攻击完全无防备（如逻辑嵌套）。例如，Grok 4.1 Fast对RedQueen表现出1.5%的ASR，但对X-Teaming表现出90.5%的ASR。第三，增强的推理和多模态能力是新的利用向量。推理增强模型不表现出优越的鲁棒性，它们冗长的推理过程可以被操纵以绕过安全过滤器。多模态大语言模型表现出关键的模式差距，视觉输入经常绕过基于文本的安全机制。第四，专有模型在某些攻击下可能和开源模型一样脆弱。在20个评估模型中，只有GPT-5.2和Claude Haiku 4.5保持了低于30%的平均ASR，而所有其他模型都始终超过这个阈值。第五，扩展MLLM鲁棒性需要深度防御和持续红队测试。有效的缓解需要范式转变，将内在架构安全性与运行时风险估计和多模态、多轮交互的对抗训练结合起来。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态模型安全评估 | 平均攻击成功率(ASR) | 49.14%（GPT-5.2: 22.94%, Claude Haiku 4.5: 13.44%, Gemini 3 Pro: 33.34%） | 静态单轮模板攻击通常ASR < 20% | 多代理攻击如EvoSynth达到近乎100% ASR，显著超过传统方法 |
| 攻击方法效果比较 | 攻击成功率(ASR) | EvoSynth: 100%, X-Teaming: 86.5-95.5%, Mousetrap: 71.0-100% | RedQueen: 0-21.5%, CoA: 0-19% | 多代理方法相比传统方法提升4-100倍 |
| 攻击隐蔽性评估 | 困惑度(PPL) | SeqAR: 4.18, ICA: 5.18, CodeAttack: 5.43（高隐蔽性） | FlipAttack: 412.15（低隐蔽性） | 最佳方法达到接近自然语言的隐蔽性 |
| 攻击多样性分析 | 平均余弦距离 | EvoSynth: 0.820, X-Teaming: 0.795, PAIR: 0.787 | CipherChat: 0.055, CodeAttack: 0.108 | 多代理方法探索的攻击策略多样性提升7-15倍 |
| 攻击资源消耗 | 总Token数（log10） | FlipAttack: < 5.3, Prefix: < 5.3, JailBroken: < 5.3 | GPTFuzzer: 6.97, DrAttack: 6.83 | 轻量级方法资源消耗降低100-1000倍 |
局限与改进
论文的局限性包括几个方面。首先，实验主要在黑盒设置中进行，虽然框架支持白盒攻击，但主要评估集中在基于API的交互上，可能低估白盒攻击的实际威胁。其次，判断模型本身的偏差可能影响攻击成功率的评估，论文使用GPT-4o-mini作为判断模型，但不同判断模型可能产生不同的结果。第三，攻击方法的评估主要基于HarmBench数据集，这个数据集虽然平衡了6个风险类别，但可能无法覆盖所有可能的攻击场景。第四，框架虽然支持多模态攻击，但视觉攻击的实现相对有限，主要集中于基于图像的攻击。第五，框架的可扩展性虽然很高，但添加新的攻击方法仍需要实现特定的接口和注册逻辑，对于不熟悉框架的开发者可能有一定的学习曲线。最后，论文主要关注攻击方法的评估，对防御机制的研究相对较少，没有提供具体的防御策略或缓解措施。
独立分析的弱点
论文的主要弱点在于对防御机制的研究不足。论文主要专注于攻击方法的评估和框架的构建，但对如何防御这些攻击缺乏深入的讨论。具体来说，论文没有提出具体的防御策略来应对高成功率的攻击方法如EvoSynth和X-Teaming，也没有研究如何在模型训练阶段 incorporate 这些攻击方法来提高鲁棒性。此外，论文的评估主要基于静态数据集，缺乏在实际部署环境中的动态评估，这可能低估了实际攻击的复杂性。另一个弱点是对跨模态攻击的防御研究不足，论文揭示了多模态模型存在模式差距，但没有提出如何弥合这个差距的具体方法。改进方向包括：开发跨模态综合防御机制，研究运行时风险检测和响应系统，设计基于对抗性训练的防御策略，以及构建多维度的安全评估体系。
未来方向
未来的研究方向包括几个方面。作者计划扩展OpenRT的能力，整合新兴的攻击范式，增强对额外模态的支持，并促进社区驱动的演进。具体来说，未来工作包括：集成更多的攻击方法，特别是针对新兴威胁的攻击策略；扩展对更多模态的支持，如音频、视频等多模态输入；改进判断机制，开发更加准确和鲁棒的安全评估方法；研究防御机制，开发对抗性训练策略来提高模型鲁棒性；构建更加全面的评估基准，包括更多样化的攻击场景和评估指标；建立社区贡献机制，促进攻击方法的共享和标准化；开发实时监控和预警系统，帮助发现和响应新的安全威胁。此外，基于论文的成果，可以延伸研究方向包括：研究攻击方法之间的相互关系和组合策略，开发自适应攻击方法，以及研究人类红队测试和自动化红队测试的结合。
复现评估
OpenRT作为开源框架提供了完整的攻击实现代码、模型集成接口和详细的文档，这大大降低了复现的难度。论文提供了详细的实验设置，包括使用的模型、数据集、攻击配置和实现细节。具体来说，实验使用HarmBench数据集，评估了20个不同的MLLM，包括GPT-5.2、Claude Haiku 4.5、Gemini 3 Pro等前沿模型。攻击方法使用DeepSeek-V3.2作为辅助模型，温度设置为1.0以鼓励多样化和创造性的对抗性提示生成。判断模型使用GPT-4o-mini，温度设置为0.0以确保确定性和一致的安全评估。实验使用25个并行工作线程来最大化吞吐量，同时遵守API速率限制。评估模块使用32个并行工作线程来高效地批量评估攻击结果。论文还提供了配置文件的示例，使得研究人员可以轻松复现实验。然而，复现这些实验需要大量的计算资源和API调用，特别是对于高成本的攻击方法如GPTFuzzer，这可能对一些研究人员造成经济负担。总体来说，OpenRT的开源性质和详细的文档使得复现论文的实验结果是可行的，但需要一定的资源投入。
论文图表
图表展示了通过Qwen3-32B基础模型的困惑度衡量的GPT-5.2上攻击的隐蔽性。低PPL表示更隐蔽的提示词。观察到三个类别：高隐蔽性攻击包括SeqAR（4.18）、ICA（5.18）、CodeAttack（5.43）和DrAttack（7.09）；中等隐蔽性攻击包括迭代方法如RainbowTeaming（11.88）、GPTFuzzer（14.35）、X-Teaming（14.89）和多轮方法如Crescendo（22.48）和PAIR（23.63）；低隐蔽性攻击包括FlipAttack（412.15），由于字符级扰动产生最不自然的提示词。
这个图表对理解论文的重要性在于它评估了攻击方法的隐蔽性维度，这是实际攻击场景中的关键考虑因素。图表显示攻击效果与隐蔽性不相关：Mousetrap达到97.5%的ASR但只有中等PPL（17.01），而SeqAR保持优异的隐蔽性（4.18）但只有25%的ASR。这支持了论文关于防御者应结合语义分析和基于困惑度的过滤的多层检测策略的论点。