SafePyramid：一种用于上下文策略护栏的层次化基准测试 SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing
提出三层级基准测试评估LLM执行上下文安全策略的能力
前置知识
Guardrail（护栏）
护栏是一种监控用户与模型交互并标记潜在不安全内容的安全机制。它通常接收对话文本作为输入，输出安全或不安全的二元判断或更详细的违规信息。在传统设置中，护栏基于预定义的风险分类体系进行训练，如仇恨言论、暴力内容等固定类别。现代护栏系统开始支持运行时配置，允许用户提供自定义安全策略来指导评估过程。给定一个用户模型对话C和安全策略P包含K条规则，护栏需要预测违反的规则子集V。
本文研究的核心对象是护栏，特别是能够根据上下文提供的策略规范进行评估的新型护栏。理解传统护栏的局限性是理解本文创新点的基础。
In-context Learning（上下文学习）
上下文学习是指模型从提示中提供的示例或说明中学习任务，而无需更新其参数的能力。在本文中，上下文学习指的是模型必须在推理时从提供的策略规范中理解安全规则和决策标准，而不是依赖于预训练时学习到的安全先验知识。这要求模型能够快速适应新的概念、术语和规则体系。形式化地，给定上下文策略P，模型需要学习从对话C到违规规则集V的映射。
SafePyramid的L2级别专门评估模型适应全新策略框架的能力，这正是上下文学习的核心挑战。模型不能依赖预训练知识解决任务，必须真正理解并应用上下文提供的策略框架。
Rule Dependency（规则依赖）
规则依赖指的是策略中的规则之间存在相互影响的关系，而非完全独立。例外规则可以豁免或重新解释基础规则，条件规则可以在特定条件下使原本合规的规则变为违规。这种依赖性使得最终违规判断变得上下文相关：一个规则在独立判断时可能被认定为违规，但在考虑相关规则后可能被豁免。例如，例外规则可以豁免基础规则，使得当特定条件满足时，原本被基础规则标记为违规的行为变得合规。
现实世界的安全策略很少是平坦的独立规则集合，规则间复杂的依赖关系是SafePyramid L1级别评估的核心能力。理解规则依赖对于实现可靠的策略执行至关重要。
研究动机
现有的护栏系统主要基于预定义的风险分类体系构建，如Llama Guard、ShieldGemma、AEGIS等。这些系统在特定安全任务上表现良好，但其安全边界受到预定义分类的限制，难以适应不同应用场景的特定需求。例如，短视频平台可能需要制定青少年安全策略，而游戏讨论论坛可能需要分类处理游戏作弊相关帖子。虽然近期工作开始探索可配置策略的护栏，但这一领域仍缺乏统一的评估标准，不同方法在策略处理方式、输出格式和评估能力上存在显著差异。现有的评估方法通常只关注二元安全判断，无法评估护栏执行复杂策略规则的能力。
本文的目标是本文的目标是建立一个系统化的基准测试SafePyramid，用于评估护栏根据上下文提供的策略规范识别安全违规的能力。SafePyramid将上下文策略护栏分解为三个核心能力：理解单个安全规则、解决规则间的依赖关系、适应全新的策略框架。通过分层评估这些能力，SafePyramid旨在揭示当前模型在策略执行方面的局限性，并为未来的研究提供清晰的改进方向。具体而言，给定对话C和策略P，基准要求模型预测精确的违规规则集V，而非简单的二元标签。
与已有工作不同的是，现有工作在评估上下文策略护栏方面存在重要空白。DynaBench虽然评估用户模型交互是否违反策略，但其规则主要描述一般性响应约束，任务更接近通用指令遵循而非安全策略执行。SafetyBench、HarmBench等安全基准主要基于固定任务标签或伤害类别。CL-Bench评估上下文学习，但并非专注于安全场景。SafePyramid的独特之处在于它是首个将违规规则集预测作为评估任务的安全基准，并能够独立评估个体规则理解、规则依赖解决和策略框架适应这三个核心能力。这种分解使得研究者能够诊断模型在哪个具体能力上失败。
核心方法
SafePyramid采用三层级层次化设计，从简单到复杂逐步评估上下文策略护栏的核心能力。L0评估个体规则理解，使用决断性规则和干扰性规则。L1评估规则依赖解决，引入例外规则和条件规则。L2评估策略框架适应，使用完全虚构的概念重写策略。基准包含1000个多轮对话、10个安全领域、3000个应用特定策略和61699个不同的自然语言规则。构建过程采用多阶段质量控制管道，包括跨模型验证和两轮人类专家审查。每个对话平均包含12.8轮用户模型交互，每个策略平均包含16.1到33.0条规则，违反的规则数量平均为5.5到6.8条。
SafePyramid的核心创新点在于将上下文策略护栏分解为三个可独立评估的核心能力，并通过层次化设计系统地测量每个能力。这与现有基准形成鲜明对比：安全基准关注固定风险分类，指令遵循基准评估一般性约束满足，上下文学习基准评估新信息获取。SafePyramid是首个安全中心的基准，将违规规则集预测作为评估任务，并能够分离评估理解个体规则、解决规则依赖和适应策略框架这三个能力。这种设计使得研究者能够精确地识别模型在哪个层次上遇到困难，从而有针对性地改进。
方法步骤详情
SafePyramid的构建和评估流程包括四个主要步骤。首先是对话生成：使用Grok-4.1为每个场景生成包含足够上下文和行为变化的多轮用户模型对话，平均12.8轮。其次是策略生成：使用GPT-5.4、Gemini-3.1-Pro和Claude-Opus-4.6分别为L0、L1和L2生成级别特定的策略规范，生成前设计并审查规则模式。第三是质量控制：采用跨模型验证和清单引导验证，验证器为每个规则回答精心设计的是非问题，通过多数投票确定最终规则标签，随后进行两轮人类专家审查。最后是评估协议：支持按策略评估和按规则评估两种协议。按策略评估要求模型读取完整策略并直接预测违规规则集，而按规则评估要求模型逐个评估目标规则并聚合二元决策。
技术新颖性
SafePyramid的技术新颖性体现在多个方面。在任务设计上，它将安全评估从二元分类提升到违规规则集预测，要求模型返回完整的违规规则子集而非简单的安全或不安全标签。在层次化设计上，L0到L2的递进式复杂度设计使得研究者可以诊断模型在哪个具体能力上失败。在基准构建上，采用虚构策略框架防止模型依赖预训练知识，确保评估真正的上下文学习能力。在评估协议上，同时支持按策略和按规则评估，适配不同类型的模型。在质量控制上，使用多个前沿LLM作为生成器和验证器，配合两轮人类专家审查，确保基准质量。评价指标方面，引入规则匹配率RMR和规则分歧率RDR，其中RMR在阈值tau下定义为满足最大假阳性和假阴性数小于等于(1-tau)乘以真实违规规则数的案例比例。
实验结果
SafePyramid的评估结果显示上下文策略护栏仍然极具挑战性。即使是表现最佳的前沿LLM GPT-5.5，在L0、L1和L2级别上也仅能分别在54.0%、35.3%和12.9%的案例中精确识别完整的违规规则集。从L0到L2的单调性能下降表明当前模型仍然难以可靠地执行上下文中提供的安全策略。按规则评估的改进表明策略组织是一个重要瓶颈：GPT-OSS-Safeguard-120B在从按策略评估转向按规则评估后，平均RMR从23.6%提升到52.4%。代理工具的改进表明推理时策略分解和规则级验证有前景：Claude-Opus-4.7配合Claude Code达到60.4%的平均RMR。错误归因分析表明L0错误主要由决断性规则主导，L1错误主要来源转移到例外规则，L2错误越来越多地涉及条件规则。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 上下文策略护栏评估 | 平均规则匹配率（RMR） | GPT-5.5: 54.2% (L0: 70.7%, L1: 56.8%, L2: 32.9%) | 最佳基线模型 Claude-Opus-4.7: 52.9% (L0: 73.8%, L1: 51.1%, L2: 31.0%) | 在L2级别上，GPT-5.5比Claude-Opus-4.7提升1.9个百分点，但整体性能差距不大 |
| 精确匹配（RMR@1.0） | 完全精确匹配违规规则集的比例 | GPT-5.5: 34.9% (L0: 54.0%, L1: 35.3%, L2: 12.9%) | Claude-Opus-4.7: 35.0% (L0: 58.1%, L1: 30.4%, L2: 13.7%) | 精确匹配率从L0到L2急剧下降，表明复杂策略执行仍然困难 |
| 按规则评估 vs 按策略评估 | 平均RMR提升 | GPT-OSS-Safeguard-120B: 52.4% (按规则) vs 23.6% (按策略) | GPT-5.5: 55.5% (按规则) vs 54.2% (按策略) | 护栏模型从按策略评估转向按规则评估后平均RMR提升28.8个百分点，而前沿LLM仅提升1.3个百分点 |
| 代理工具改进 | 平均RMR提升 | Claude-Opus-4.7 + Claude Code: 60.4% vs 55.2% (无工具) | GPT-5.4 + Codex: 58.0% vs 56.0% (无工具) | 代理工具在L1和L2级别上带来最显著改进，表明策略分解和规则验证有帮助 |
| 推理努力效果 | 平均RMR差异（xhigh - low） | GPT-5.5在L1和L2上分别提升5.5和14.5个百分点 | GPT-5.5在L0上仅变化-1.8个百分点 | 额外推理预算主要帮助解决规则依赖和策略框架适应，而非独立规则理解 |
局限与改进
SafePyramid存在几个局限性。首先，基准不包含人类性能基线，虽然标签通过跨模型验证和人类审查验证，但没有评估训练有素的人类策略审计员在同一规则匹配任务上的表现。其次，基准专注于基于文本的用户模型对话，而真实护栏用例可能涉及多模态输入，包括图像、音频、视频或文档，策略违规可能依赖于跨模态分布的证据。第三，虽然SafePyramid覆盖10个安全领域和大量策略规则，但其范围仍然是有限的，真实组织可能维护包含额外领域特定定义、区域法律要求、运营约束和不断演进的内部标准的策略。此外，基准构建依赖于前沿LLM生成对话和策略，可能反映这些模型中存在的偏见或假设。
独立分析的弱点
从独立分析角度，SafePyramid存在几个可以改进的弱点。首先，基准仅评估静态策略执行，没有考虑策略随时间演进的场景，这在实际应用中很常见。改进方向是引入时间维度的策略更新测试。其次，基准的虚构策略框架虽然有效防止了预训练知识依赖，但可能不够贴近真实世界的策略表达方式。改进方向是同时包含真实世界策略的变体和虚构框架，以更好地平衡诊断价值和实用价值。第三，错误归因分析提供了定性的失败模式洞察，但缺乏细粒度的错误类型分类和量化。改进方向是建立更系统的错误类型分类体系并统计各类错误的频率分布。第四，基准的成本性能分析相对简单，没有考虑实际部署中的延迟、吞吐量等约束。改进方向是引入更全面的效率评估指标。
未来方向
基于SafePyramid的研究成果，未来有多个有前景的方向。首先，建立专家人类基线，测量相同违规规则集预测协议下的人工审计员间一致性，研究人类审计员如何使用显式策略解决规则依赖。其次，扩展基准到多模态设置，研究策略违规如何依赖跨模态证据。第三，扩展基准覆盖更多领域、语言、司法管辖区和真实世界策略变体。第四，设计更先进的代理工具和策略分解方法，结合SafePyramid的层次化设计来构建更强的上下文策略护栏。第五，研究更好的策略上下文组织方法，例如结构化表示、层次化规则组织或规则相关性预计算，以减轻处理完整策略的负担。第六，探索规则依赖的显式建模方法，例如将例外和条件规则作为程序化操作或图结构，而非纯自然语言。
复现评估
SafePyramid具有较好的复现性。项目页面和HuggingFace数据集提供了公开访问，GitHub仓库提供了代码和完整文档。基准包含1000个多轮对话、3000个策略和61699个规则，数据规模适中。构建过程虽然使用了多个前沿LLM，但这些模型的使用主要是数据生成和验证，而非训练过程。评估可以在标准GPU或云API上完成，难度主要在于处理多个模型的API调用和成本控制。论文附录提供了详细的协议、提示词和统计分析，使得复现主要实验结果相对直接。然而，完整复现基准构建过程（包括两轮人类专家审查）可能需要较多资源和时间。
论文图表
Figure 1展示了固定分类护栏与上下文策略护栏的视觉对比。两者都源自风险分类体系，但固定分类护栏将用户模型交互映射到粗粒度的风险类别，而上下文策略护栏将每个风险类别扩展为推理时上下文中提供的显式且可审计的安全策略。图中显示，在固定分类护栏中，交互被映射到风险类别（如隐私、欺诈、歧视、诽谤），而在上下文策略护栏中，风险类别被展开为详细的具体规则，护栏需要预测交互违反了哪些具体规则。形式化地，固定分类护栏输出风险类别，而上下文策略护栏输出违规规则集V。
这张图对理解论文至关重要，因为它清晰地界定了本文研究的核心范式——上下文策略护栏——与传统固定分类护栏的区别。它帮助读者理解为什么需要新的基准测试，以及上下文策略护栏的独特挑战是什么。