MUSE：面向大语言模型的多模态统一安全评估运行中心平台 MUSE: A Run-Centric Platform for Multimodal Unified Safety Evaluation of Large Language Models
首个集成跨模态payload生成、多轮攻击和LLM裁判的多模态安全评估平台
前置知识
红队测试（Red-Teaming）
红队测试是一种主动安全评估方法，通过模拟恶意攻击者的行为来发现模型的安全漏洞。在大语言模型领域，红队测试通常包括构造对抗性提示（adversarial prompts），试图让模型产生有害输出。传统红队测试主要关注文本输入，但随着多模态模型的出现，攻击面扩展到了音频、图像和视频等非文本模态。红队测试的核心目标是评估模型在面对精心设计的攻击时，能否保持安全对齐（safety alignment）。
本文提出的MUSE平台正是一个红队测试工具，理解红队测试的概念是理解本文研究动机和方法论的基础。
攻击成功率（Attack Success Rate, ASR）
ASR是衡量模型安全性的关键指标，表示在红队测试中成功绕过模型安全防护的比例。传统二元指标将模型响应简单分为成功或失败，但这会掩盖部分信息泄露的灰色地带。本文提出了两种ASR指标：Hard ASR仅统计完全合规（Compliance）的响应，Soft ASR额外包含部分合规（Partial Compliance）的响应。两者之间的差距（灰色地带宽度，Gray Zone Width）量化了模型的部分抵抗程度。
理解ASR的定义和本文的双指标框架是理解实验结果和贡献的关键。
多轮攻击策略
多轮攻击策略通过多轮对话逐步施加压力，比单轮攻击更有效地绕过模型安全防护。本文研究了三种主要策略：Crescendo从良性问题开始逐渐升级到有害内容，遇到拒绝时回退并从不同角度重试；PAIR每轮生成新的单轮提示，由裁判评分后重写；Violent Durian从第一轮就施加高压力修辞策略，包括权威冒充和紧迫性框架。这些策略的核心思想是利用对话上下文的积累来逐步瓦解模型的安全防线。
多轮攻击策略是本文研究的核心对象，理解这些策略的工作原理对于理解ITMS创新和实验设计至关重要。
模态转换（Modality Conversion）
模态转换是将攻击者的文本提示转换为非文本表示的技术。MUSE实现了三种转换：通过TTS合成将文本转为音频，通过PIL文本渲染将文本渲染到画布上生成图像，通过FFmpeg合成将音频和图像轨道组合成视频。生成的资源按（项目、提示、模态）键缓存，避免重复生成。这使得研究者能够测试模型在不同输入模态下的安全表现。
模态转换是MUSE平台的核心功能之一，使得跨模态安全测试成为可能。
LLM-as-Judge
LLM-as-Judge是一种使用大语言模型自动评估其他模型输出质量的方法。本文中，GPT-4o作为自动裁判（温度0），采用五级安全分类法对模型响应进行分类：合规（Compliance）表示有害能力被直接转移，部分合规（Partial Compliance）表示不完整但仍可操作的有害信息，间接拒绝（Indirect Refusal）表示避免协助但未明确拒绝，直接拒绝（Direct Refusal）表示明确拒绝，无响应（Non-Responsive）表示输出不相关。这种方法比人工标注更高效，且能保持较高的准确率（93%一致率）。
LLM裁判是MUSE评估框架的核心组件，理解其工作原理和分类标准对于理解实验结果至关重要。
研究动机
当前大语言模型的安全评估存在三个核心问题。首先，安全评估和红队测试仍然以文本为中心，缺乏系统性测试对齐是否能够泛化到音频、图像和视频输入的基础设施。商业系统如GPT-4o、Gemini、Claude Sonnet 4以及开源模型如Qwen-Omni系列现在支持在单次对话中处理多模态输入，这带来了强大的新能力，但也扩大了攻击面。其次，多模态安全研究（如Qi et al. 2024、FigStep、MM-SafetyBench）和多轮攻击策略（如Crescendo、PAIR、Violent Durian）这两条研究线路相互独立，没有现有工具能够在一个可重现的流水线中联合支持多轮自动化攻击与跨模态payload投递和自动化安全判断。第三，现有评估通常只报告二元ASR，将丰富的行为频谱压缩为单一数字，无法区分完全安全绕过和部分信息泄露。StrongREJECT研究表明，二元指标会夸大越狱成功率。
本文的目标是本文的具体目标是构建MUSE（Multimodal Unified Safety Evaluation），一个以运行（run）为中心的开源平台，将多模态payload生成、多轮攻击编排和自动化安全判断集成到单一架构中。MUSE旨在：（1）支持跨模态红队测试，测试对齐是否能够泛化到不同模态边界；（2）提供精细的五级安全分类，区分硬ASR（仅合规）和软ASR（包含部分合规），量化部分信息泄露的灰色地带；（3）实现可重现的跨模态红队测试，记录每次攻击的完整配置、对话状态和评估结果；（4）支持provider感知的跨模态安全测试，因为实验表明模态效应的方向是模型家族特定的。
与已有工作不同的是，本文的独特切入角度在于运行中心（run-centric）的设计理念。与现有工具相比，MUSE的创新不在于单个组件的技术突破，而在于将分散的能力整合到一个统一的、可重现的工作流中。具体来说，PyRIT和Garak支持程序化红队测试但缺乏原生多模态payload生成，HarmBench和JailbreakBench提供标准化基准但没有交互式运行管理。MUSE通过将工作流围绕攻击运行这一持久实体来组织，记录攻击配置、每轮对话的完整状态（包括攻击者提示、目标响应、裁判标签、投递模态和生成的媒体），以及最终结果。这种设计使得运行成为所有下游分析的自然聚合单元，支持从单次攻击到批量活动的多层次分析。
核心方法
MUSE采用客户端-服务器架构，包含基于浏览器的前端用于交互式探索，以及管理计算、持久化和实时流式传输的后端。设计遵循两个原则：可扩展性（新模型、攻击算法和评估标准可以在不修改现有组件的情况下添加）和可重现性（每个配置选择、对话轮次和判断都被记录和可检索）。后端围绕五个子系统组织：运行中心数据模型、可插拔攻击策略引擎、provider无关的模型路由层、跨模态payload生成流水线，以及带有五级安全分类法的LLM裁判。整个工作流围绕攻击运行这一持久实体组织，运行记录了完整的攻击配置、每轮对话状态和评估结果。
本文的核心创新是运行中心架构和跨轮模态切换（Inter-Turn Modality Switching, ITMS）方法论。运行中心架构将所有工作流围绕攻击运行这一持久实体组织，使得每次攻击都是自包含的、可重现的分析单元。ITMS则是一种受控方法论，用于探测安全对齐是否能够泛化到模态边界。ITMS通过在多轮攻击中引入逐轮模态轮换来增强攻击：在每轮之前，系统通过循环遍历用户请求和模型支持的模态交集来选择下一种投递模态，攻击者生成的文本随后通过模态流水线转换并作为多模态消息投递。这种方法与现有方法的本质区别在于：现有方法在孤立的模态中评估安全性，而ITMS研究跨模态转换本身是否能够 destabilize 对齐。
方法步骤详情
MUSE的工作流程包括以下步骤：（1）攻击配置：用户选择攻击策略（Crescendo、PAIR、Violent Durian或ITMS变体）、目标模型和模态配置；（2）批量编排：系统管理并发活动，支持目标级别的停止和恢复，从最后一个完成的目标重新启动中断的活动；（3）攻击执行：对于每轮对话，攻击策略引擎生成提示，如果启用ITMS则选择投递模态，通过模态转换流水线（TTS、PIL文本渲染、FFmpeg合成）将文本转换为非文本表示；（4）模型路由：provider无关的路由层根据运行配置将请求分发到适当的provider客户端；（5）裁判评估：GPT-4o作为自动裁判，采用五级安全分类法对响应进行分类；（6）结果记录：每轮的攻击者提示、目标响应、裁判标签、投递模态和生成的媒体都被记录在运行中；（7）实时流式传输：通过SSE（Server-Sent Events）实时向前端推送更新。
技术新颖性
MUSE的技术新颖性体现在三个方面。首先，运行中心架构是首次将多模态payload生成、多轮攻击编排和自动化安全判断集成到单一可重现工作流中的设计。这种设计使得约3700次红队测试运行能够在单一系统中执行和分析。其次，双指标精细评估框架采用五级安全分类法，区分硬ASR和软ASR，量化部分信息泄露的灰色地带。这比二元指标更能捕捉模型行为的丰富频谱。第三，ITMS方法论是首个受控探测跨模态转换对安全对齐影响的方法。通过在六个配置（仅文本、仅音频、仅图像、文本+音频、文本+图像、三方轮换）之间进行消融，ITMS能够隔离模态切换的效果与任何单个模态的效果。
实验结果
本文通过约3700次红队测试运行，跨越6个多模态LLM、5种攻击策略和6种模态配置，得出了三个核心发现。首先，多轮策略能够打破单轮防御：Crescendo在所有6个模型上实现了90-98%的硬ASR，PAIR在6个模型中的5个上达到96-100%。这与单轮基线形成鲜明对比——单轮基线的拒绝率在90-100%之间，表明任何观察到的攻击成功都不能归因于弱基线安全性，而必须源于多轮交互的质性不同压力。其次，ITMS加速收敛：虽然ITMS-Crescendo对已经饱和的基线产生混合的ASR增量（例如Gemini 2.5 Flash +4，但Qwen2.5-Omni -8），但更有揭示性的信号是收敛速度——ITMS-Crescendo在6个模型中的4个上用更少的轮次达到成功（例如Claude从3.0降至2.6，Qwen2.5从4.2降至3.6）。第三，模态效应的方向是模型家族特定的：对于Gemini模型，非文本模态将硬ASR提高2-6个百分点；对于Qwen模型，方向相反，非文本模态一致降低ASR，最显著的下降出现在Qwen2.5-Omni的仅图像投递（Δ=-14）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多轮攻击成功率评估 | 硬ASR（Hard ASR） | Crescendo 90-98%，PAIR 96-100%（5/6模型），Violent Durian 2-86% | 单轮基线拒绝率 90-100% | 多轮策略将ASR从接近0%提升至90-100% |
| ITMS收敛速度 | 平均成功轮次 | ITMS-Crescendo: Claude 2.6轮，Qwen2.5 3.6轮 | Crescendo: Claude 3.0轮，Qwen2.5 4.2轮 | Claude减少0.4轮，Qwen2.5减少0.6轮 |
| ITMS-VD对Qwen2.5-Omni的效果 | 硬ASR | ITMS-VD: 100% | VD: 86% | +14个百分点，平均轮次从3.0降至2.1 |
| LLM裁判准确率 | 人工验证一致率 | 93% | 二元指标 | 五级分类法比二元指标更精细 |
局限与改进
本文存在几个局限性。首先，作者承认ITMS对最终ASR的影响取决于基线策略留下的空间：当Crescendo文本基线已经饱和在94-98%时，ITMS几乎没有ASR移动的空间，无论哪个方向。这意味着ITMS的价值主要在于加速收敛而非提高最终成功率。其次，实验仅覆盖了6个模型和4个提供商，可能无法代表所有多模态LLM的安全特性。第三，视频被排除在ITMS消融研究之外以避免合成延迟，这限制了对视频模态安全性的理解。第四，虽然人工验证显示93%的一致率，但大多数分歧发生在合规和部分合规之间，这表明边界情况的分类仍然具有挑战性。此外，我的观察是：（1）攻击策略的超参数（如回退限制3、攻击者温度0.9）可能需要针对不同模型进行调整；（2）50个有害目标的样本量相对较小，可能无法覆盖所有攻击向量；（3）使用GPT-4o作为裁判可能存在自我偏好偏差。
独立分析的弱点
本文存在几个可改进的弱点。首先，攻击策略的泛化能力有限：Violent Durian在Claude上仅2% ASR，但在Qwen2.5-Omni上高达86%，表明模板驱动的高压力策略利用的是模型特定弱点而非通用漏洞。改进方向是开发自适应攻击策略，根据模型的实时响应动态调整攻击强度和风格。其次，模态转换流水线相对简单：TTS合成、PIL文本渲染和FFmpeg合成可能无法代表真实的多模态攻击场景。改进方向是支持更自然的跨模态转换，如将有害概念嵌入到看似无害的图像或音频中。第三，五级安全分类法的边界情况仍然模糊：人工验证中大多数分歧发生在合规和部分合规之间。改进方向是开发更明确的分类标准，或使用多裁判集成来提高边界情况的判断一致性。第四，批量编排虽然支持停止和恢复，但缺乏细粒度的优先级调度和资源分配机制。改进方向是引入智能调度器，根据模型提供商的速率限制和成本动态分配资源。
未来方向
作者提出了几个未来研究方向。首先，支持本地部署的开源模型，这将使得MUSE能够评估没有API限制的模型。其次，将ITMS扩展到原生视频轮换，目前视频被排除在消融研究之外。第三，验证五级裁判与人工标注的一致性，虽然已有93%的一致率，但边界情况仍需改进。基于本文成果，我认为还有几个有前景的研究方向：（1）开发对抗性训练方法，利用MUSE生成的攻击数据来增强模型的跨模态安全对齐；（2）研究ITMS在防御中的应用，通过主动在不同模态间切换来测试和加固模型的安全边界；（3）扩展到更多模态，如3D模型、触觉反馈等新兴输入形式；（4）开发实时安全监控系统，利用MUSE的评估框架在生产环境中检测和阻止多模态攻击；（5）研究攻击策略的自动化生成，使用强化学习或进化算法来发现新的攻击模式。
复现评估
本文的可重现性较好。MUSE以MIT许可证开源，提供了完整的代码库和详细的系统接口说明。平台支持浏览器访问，降低了使用门槛。实验设置清晰：50个有害目标从AdvBench采样，均匀分布在5个类别中；6个模型来自4个提供商；所有策略共享10轮最大预算等关键超参数。约3700次运行的完整数据（包括攻击配置、对话状态和评估结果）都被记录和可检索。然而，复现需要注意：（1）需要访问多个模型提供商的API，涉及成本；（2）GPT-4o作为裁判需要OpenAI API访问；（3）模态转换流水线依赖TTS和FFmpeg等外部工具；（4）批量执行约3700次运行需要相当的计算资源和时间。总体而言，只要具备必要的API访问和计算资源，复现难度中等。
论文图表