RedBench：面向大语言模型全面红队测试的通用数据集 RedBench: A Universal Dataset for Comprehensive Red Teaming of Large Language Models
整合37个红队数据集构建统一评测基准，揭示开源与闭源LLM安全差距
前置知识
红队测试（Red Teaming）
红队测试源自军事和网络安全领域，指通过模拟攻击方（红队）的行为来检验防御方（蓝队）的能力。在LLM安全中，红队测试是指设计对抗性提示（adversarial prompts）来探测模型的安全漏洞，例如诱导模型生成有害内容、泄露敏感信息或执行危险操作。红队测试分为人工红队和自动化红队两种，后者利用算法自动生成攻击提示，可扩展性更强。
本文的核心目标就是构建一个统一的红队评测数据集，理解红队测试的概念是理解整篇论文的基础。
越狱攻击（Jailbreak Attack）
越狱攻击是指通过精心设计的提示词绕过LLM的安全对齐机制，使模型产生本应被拒绝的有害输出。常见的越狱技术包括DAN（Do Anything Now）提示、角色扮演攻击、编码混淆等。攻击成功率（Attack Success Rate, ASR）是衡量越狱效果的核心指标，计算公式为 $ASR = ?rac{成功攻击次数}{总攻击次数} imes 100\%$。
论文中使用了多种越狱方法（Direct、ZeroShot、HumanJailbreak、RainbowPlus）进行基准测试，理解越狱攻击才能理解实验结果的意义。
过度拒绝（Over-Refusal）
过度拒绝是指LLM在安全对齐训练后变得过于保守，将合法、无害的请求也误判为有害而拒绝回答。这种现象会严重影响模型的可用性，例如用户询问医疗急救知识时被拒绝、讨论历史事件时触发安全机制等。拒绝率（Rejection Rate, RR）是衡量过度拒绝的指标，$RR = ?rac{被拒绝的合法请求数}{总请求数} imes 100\%$。
论文同时评估了攻击和过度拒绝两个维度，过度拒绝是理解论文双焦点评估框架的关键概念。
安全对齐（Safety Alignment）
安全对齐是指通过RLHF（基于人类反馈的强化学习）、DPO（直接偏好优化）等技术，使LLM的输出符合人类的安全价值观和伦理标准。对齐过程通常包括：收集安全相关的偏好数据、训练奖励模型、通过强化学习微调基座模型。不同模型的安全对齐策略和强度差异很大，这直接影响了它们在红队测试中的表现。
论文的核心发现之一就是开源模型和闭源模型在安全对齐水平上的显著差距，理解安全对齐才能解释这一差距的根源。
质量多样性搜索（Quality-Diversity Search）
质量多样性（Quality-Diversity, QD）搜索是一类进化算法，旨在同时优化解的质量和多样性。在红队测试中，QD搜索用于生成多样且有效的攻击提示，避免攻击方式单一化。RainbowPlus是该论文作者团队之前提出的增强版QD方法，通过进化式质量多样性搜索生成更强、更多样的对抗性提示。
RainbowPlus是本文实验中攻击效果最强的方法，在所有测试模型上都取得了最高的攻击成功率，理解其原理对理解实验结论至关重要。
研究动机
当前LLM红队测试领域面临严重的碎片化问题。现有的红队数据集如AdvBench、HarmBench、Do-Not-Answer等各自采用不同的风险分类体系，导致标签重叠、定义模糊、跨数据集比较困难。具体来说，有些数据集只关注毒性或偏见，有些专注于越狱技术，还有一些评估过度拒绝行为，但没有任何一个框架能将这些维度统一起来。这种碎片化使得研究者无法系统性地评估LLM的安全性——就好比用不同的尺子量不同的东西，结果根本无法放在一起比较。此外，现有数据集的领域覆盖也严重不均衡，某些关键领域（如选举干预、环境危害）的测试样本极其稀少。另一个重要问题是，之前的研究主要在较旧的LLM架构上进行评估，缺乏对Qwen2.5、Llama 3.1、Gemma 2等最新模型的系统性测试。
本文的目标是本文的目标是构建一个统一的、标准化的红队评测数据集RedBench，具体包括三个可量化的目标：第一，整合至少30个现有数据集，覆盖20个以上的风险类别和15个以上的应用领域，形成一个包含数万样本的综合数据集；第二，为6个主流LLM（包括开源和闭源模型）建立基准性能数据，量化它们在攻击成功率和过度拒绝率两个维度上的表现；第三，开源数据集和评测代码，使研究社区能够在此基础上进行扩展和比较研究。
与已有工作不同的是，本文的独特切入角度在于它不提出新的攻击方法，而是聚焦于「基础设施建设」——为整个红队测试领域提供一个标准化的评测框架。这抓住了一个被大多数研究忽视的关键问题：在缺乏统一基准的情况下，不同攻击方法之间无法进行公平比较，不同模型的安全性评估也缺乏一致性。RedBench的创新在于同时覆盖攻击和拒绝两个方向、提供22个风险类别和19个应用领域的标准化分类体系，并通过半自动标注流程确保标签质量。这种「先搭台、再唱戏」的研究范式，对于推动整个领域的系统性发展具有基础性意义。
核心方法
RedBench的方法可以类比为一个「标准化考试」的构建过程。想象一下，如果每个学校都用自己出的考卷，学生的成绩就无法横向比较；RedBench要做的就是设计一套统一的标准化考试，让所有LLM都在同一把尺子下接受检验。技术路线上，RedBench分为四个阶段：数据收集（从37个来源收集29,362个样本）、分类体系设计（定义22个风险类别和19个应用领域）、半自动标注（用Qwen2.5-72B-Instruct进行初始标注+人工验证）、基准评估（在6个LLM上运行四种攻击方法并收集结果）。整个流程的核心设计原则是：统一性（所有样本使用同一套标签体系）、全面性（覆盖攻击和过度拒绝两个方向）、可复现性（开源全部代码和数据）。
RedBench的核心创新不是技术上的花哨算法，而是一个简单但极其重要的洞察：红队测试领域缺乏一个公认的「通用语言」。现有的每个数据集都在用自己的分类标准，这就像Babel塔一样阻碍了研究者之间的有效交流。RedBench的本质贡献是建立了一套标准化的分类体系——22个风险类别（从性内容到环境危害，涵盖几乎所有LLM可能造成的伤害类型）和19个应用领域（从医疗到旅游，覆盖LLM的主要部署场景）。每个样本都被同时标注一个风险类别和一个领域标签，形成二维分类矩阵。这个双标签体系使得研究者可以回答诸如「哪个模型在医疗领域的自残内容防护最差？」这类精细化问题，而不是只能给出一个笼统的「安全分数」。与之前的工作相比，这种双维度、细粒度的标准化分类体系是RedBench最本质的区别。
方法步骤详情
RedBench的构建流程包含以下关键步骤。第一步，数据收集：从NeurIPS、ACL、ICML、ICLR、arXiv等顶级会议和预印本库中筛选37个与红队测试相关的数据集，筛选标准包括同行评审状态、与红队目标的相关性、风险场景覆盖度。这37个数据集最终包含29,362个样本，其中33个数据集聚焦攻击方向（27,261个样本），4个聚焦拒绝方向（2,101个样本）。第二步，分类体系设计：通过系统性审查现有红队框架（Zou et al., 2023; Xie et al., 2024）、NIST和OWASP的安全指南，定义了22个互不重叠的风险类别和19个应用领域。第三步，半自动标注：使用Qwen2.5-72B-Instruct作为标注模型，设计详细的标注提示（包含类别定义和示例），对全部29,362个样本进行批量标注，然后由人工对特定领域样本进行验证和修正。第四步，基准评估：选取4种攻击方法（Direct、ZeroShot、HumanJailbreak、RainbowPlus）和4个拒绝数据集（CoCoNot、ORBench、SGXSTest、XSTest），在6个目标LLM上运行评估，使用GPT-4o作为拒绝判断器、Llama-Guard-3-8B作为攻击成功判断器。
技术新颖性
RedBench的技术新颖性主要体现在三个方面。第一，统一的双维度分类体系：这是首次将22个风险类别和19个应用领域系统性地整合到一个数据集中，之前的工作要么只关注少数风险类别（如AdvBench只关注有害指令），要么分类体系过于粗粒度。第二，攻击与拒绝的双向评估框架：大多数现有数据集只评估一个方向——要么测试模型能否被诱导产生有害输出，要么测试模型是否过度拒绝合法请求；RedBench同时覆盖两个方向，提供了更全面的安全画像。第三，半自动标注的质量保证机制：通过Qwen2.5-72B-Instruct进行初始标注，再由人工验证，在保证可扩展性的同时维持了标注质量。标注可靠性评估显示，自动标注与人工标注在风险类别上的平均一致率为84.68%，在领域分类上高达97.73%。
实验结果
论文的核心发现可以从拒绝和攻击两个维度来分析。在拒绝维度，6个LLM在4个拒绝数据集上的表现差异显著。Llama-3.1-8B-Instruct表现出最强的过度拒绝倾向，平均拒绝率高达28.53%（在XSTest上达到32.60%），这意味着它将近三分之一的合法请求错误地拒绝了。相比之下，Gemma-2-9B-It的平均拒绝率仅为13.46%，在CoCoNot上甚至低至9.93%，表现出更平衡的安全-可用性策略。闭源模型中，GPT-4.1-Nano在ORBench上的拒绝率高达35.18%，这是所有模型在所有数据集上的最高值，暗示其在某些特定场景下存在严重的过度敏感问题。GPT-4o-Mini则保持了相对均衡的17.47%平均拒绝率。在攻击维度，开源模型和闭源模型之间存在巨大鸿沟。在HarmBench数据集上，Ministral-8B-Instruct-2410在RainbowPlus攻击下的ASR高达97.81%，几乎被完全攻破；HumanJailbreak也达到了90.63%。Llama-3.1-8B-Instruct同样脆弱，RainbowPlus的ASR为96.25%。而闭源模型表现出强大的抵抗力：GPT-4.1-Nano在HumanJailbreak下的ASR为0.00%（完全防御），RainbowPlus也仅为6.88%。GPT-4o-Mini的最大ASR为28.75%（RainbowPlus），虽然高于GPT-4.1-Nano但仍远低于开源模型。此外，RainbowPlus在所有模型上都是最有效的攻击方法，表明质量多样性搜索是一种通用且强大的攻击策略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 拒绝行为评估（CoCoNot） | 拒绝率 (RR) | Gemma-2-9B-It: 9.93% | Llama-3.1-8B-Instruct: 26.52% | 低拒绝率模型比高拒绝率模型低16.59个百分点 |
| 拒绝行为评估（平均） | 平均拒绝率 (Avg RR) | Gemma-2-9B-It: 13.46% | Llama-3.1-8B-Instruct: 28.53% | 低拒绝率模型比高拒绝率模型低15.07个百分点 |
| 攻击评估（HarmBench + RainbowPlus） | 攻击成功率 (ASR) | GPT-4.1-Nano: 6.88% | Ministral-8B-Instruct-2410: 97.81% | 闭源模型比最脆弱的开源模型低90.93个百分点 |
| 攻击评估（HarmBench + HumanJailbreak） | 攻击成功率 (ASR) | GPT-4.1-Nano: 0.00% | Gemma-2-9B-It: 93.91% | 闭源模型实现完全防御 |
| 攻击评估（HarmBench + Direct） | 攻击成功率 (ASR) | GPT-4.1-Nano: 3.44% | Ministral-8B-Instruct-2410: 65.00% | 闭源模型比最脆弱的开源模型低61.56个百分点 |
局限与改进
论文作者坦诚地指出了多项局限性。首先，RedBench完全依赖现有数据集的整合，这意味着它继承了这些数据集原有的偏见和局限——例如，风险类别和领域分布严重不均衡，Abusive Content有3,523个样本，而Confabulation仅有71个，Election Interference仅有158个。其次，半自动标注流程虽然经过人工验证，但在边缘案例上仍可能存在不一致，风险类别的标注一致率（84.68%）低于领域分类（97.73%），说明某些风险类别的边界确实模糊。第三，由于API访问限制，评估仅覆盖6个LLM，Google Gemini和Anthropic Claude等重要模型未被纳入，限制了结论的普适性。第四，攻击实验仅在HarmBench上进行详细测试，未覆盖全部33个攻击数据集，可能遗漏了某些数据集特有的发现。从我的观察来看，论文的评估仅使用了8B级别的开源模型，未测试70B或更大规模的开源模型，这可能导致对开源模型安全能力的低估；此外，评估指标相对简单，缺乏对攻击「质量」的深入分析（如诱导生成的有害内容的危害程度）。
独立分析的弱点
RedBench存在几个值得深入分析的弱点。第一，数据分布严重失衡是最大的结构性问题：General Knowledge领域占了8,581个攻击样本（占比约32%），而Travel仅102个、Religion仅122个，这种失衡会导致评估结果偏向常见场景，对长尾场景的安全性评估不够充分。改进方向是通过主动学习或定向数据生成来补充弱势类别和领域。第二，攻击实验仅在HarmBench上进行，而HarmBench只有320个样本，可能无法代表RedBench全集29,362个样本的多样性。应该在更多子数据集上进行攻击实验，至少覆盖每个风险类别和领域。第三，使用GPT-4o作为拒绝行为的判断器和Llama-Guard-3-8B作为攻击成功判断器，引入了对这些判断模型自身偏见的依赖。如果判断模型本身存在系统性偏差（例如对某些文化背景的内容更敏感），那么评估结果也会被扭曲。改进方向是引入多个独立判断器并报告一致性指标。第四，论文未对不同模型的推理成本进行分析，8B模型和GPT-4o Mini的计算开销差异巨大，实际部署中的安全-成本权衡也是一个重要考量。
未来方向
基于RedBench的成果，未来研究可以从多个方向展开。首先，数据集本身的扩展是最直接的方向：补充Confabulation（71个样本）、Election Interference（158个样本）等严重不足的风险类别，以及Travel、Religion等覆盖薄弱的领域，目标是实现更均衡的风险-领域覆盖。其次，将RedBench的评估扩展到更大规模的模型（如Llama-3.1-70B、Qwen2.5-72B）和更多闭源模型（如Gemini、Claude），以建立更全面的安全基准线。第三，开发基于RedBench分类体系的自动安全评估工具，使模型开发者能够在训练过程中持续监控安全性，而不是仅在部署后进行红队测试。第四，探索多轮对话场景下的安全性评估——目前RedBench的样本主要是单轮提示，但实际使用中很多安全问题出现在多轮交互中。第五，研究攻击方法的可迁移性——在RedBench上表现优异的RainbowPlus方法是否在其他场景下同样有效，以及如何开发更具针对性的防御策略。
复现评估
RedBench的可复现性评估如下。开源方面，论文提供了完整的代码库（https://github.com/knoveleng/redeval），包括数据集、评估脚本和依赖列表，这是非常积极的信号。数据集方面，RedBench整合的37个原始数据集大多采用MIT、Apache 2.0或CC-BY等宽松许可证（详见Table 7），使得RedBench本身也可以被广泛使用。算力需求方面，标注过程使用了2块NVIDIA A40 GPU运行一周，评估过程使用1块A40 GPU运行一周，对于学术实验室来说这是完全可承受的；推理框架基于vLLM，支持高效的批量推理。复现难度评估为中等：数据处理和评估脚本应该可以直接运行，但如果要扩展到新的模型或数据集，需要修改评估流程并处理API访问等实际问题。总体而言，RedBench在开源社区的贡献值得肯定，为后续研究提供了坚实的基础。
论文图表
