COMPASS：评估大语言模型组织特定政策对齐的框架 COMPASS: A Framework for Evaluating Organization-Specific Policy Alignment in LLMs
首个系统性评估框架，测试LLM对企业允许/拒绝列表政策的合规性，揭示模型在允许请求上准确率超95%但对违规请求拒绝率仅13-40%的不对称问题。
前置知识
允许列表与拒绝列表政策
组织通过两类政策定义行为边界。允许列表明确允许的操作，如医疗机构提供诊所位置和预约服务；拒绝列表明确禁止的行为，如禁止基于症状的诊断或处方建议。这些政策以自然语言表述，为AI助手设定了清晰的行为规范。企业通过这种二元分类方式管理AI系统的操作边界，确保其在授权范围内提供服务而不跨越红线。
理解这两类政策是理解COMPASS框架的基础，因为整个评估方法都基于测试模型能否正确响应允许列表请求并拒绝拒绝列表请求，这种二元结构构成了组织特定政策合规性的核心评估维度。
政策对齐评估
政策对齐评估关注LLM输出是否遵守组织特定的约束条件，包括拒绝机制rho(r)和依从性alpha(r, P)两个关键属性。拒绝机制判断模型是否在应拒绝时产生拒绝，政策依从性评估响应是否满足所有允许列表政策且不违反任何拒绝列表政策。使用Policy Alignment Score（PAS）指标量化对齐程度，定义为接收适当响应的查询比例，使组织能够定量衡量其AI系统的政策对齐程度。
这是本文的核心评估任务，区别于现有通用安全评估（如毒性、暴力检测），聚焦于企业场景下的政策合规性。通过形式化的指标和自动化的评估流程，使组织能够定量衡量其AI系统的政策对齐程度。
对抗性边界测试
通过系统变换策略构造挑战性查询来测试政策边界，包括六种对抗变换策略：法规解释引用法律要求披露信息，类比推理通过与其他行业比较来间接获取信息，统计推断请求计算揭示比较信息，上下文溢出在长叙事中间隐藏核心问题，假设情景创建详细理论情况使信息似乎必要，间接引用使用详细描述而非名称来识别主题。每种策略生成短形式和长形式变体，旨在暴露模型在检测隐蔽违规意图时的弱点。
这是COMPASS框架的创新点之一，能够评估模型在面对复杂对抗性查询时的鲁棒性，这对实际部署至关重要，因为恶意用户可能使用这些技术绕过AI系统的政策限制。
研究动机
LLM在高风险企业应用中，从医疗到金融，遵守组织特定政策变得至关重要，但现有安全评估仅关注通用危害如毒性、暴力和仇恨言论，无法直接衡量组织定义政策的违规。实践中评估仍依赖手工制作测试提示和手工检查输出，限制可复现性和跨版本比较。更根本的是，组织政策因领域而异且随时间演变，使任何单一固定基准难以覆盖真实组织场景的多样性。2025年的案例显示，某医疗聊天机器人因提供诊断建议导致监管违规，某金融AI助手因提供投资建议面临法律风险，某汽车客服因批评公司产品造成声誉损害。这些问题凸显了组织特定政策合规性评估的紧迫性。
本文的目标是本文提出COMPASS框架，旨在为评估LLM是否遵守组织特定的允许列表和拒绝列表政策提供系统性方法，使组织能够仅使用其政策集和组织上下文描述C，定量评估其聊天机器人的政策对齐情况。框架支持从任何组织的政策自动生成定制的测试查询，提供跨八个行业领域的全面评估。
与已有工作不同的是，与现有工作不同，COMPASS不仅提供固定评估集，而且提供可扩展框架，能从任何组织的政策生成定制的测试查询。与CoPriva揭示模型面临用户定义策略的直接和间接攻击时的持续漏洞不同，COMPASS专注于组织定义的策略而非用户自定义策略。与Policy-as-Prompt方法将组织规则直接嵌入提示不同，COMPASS评估而非实施策略对齐。与可训练护栏方法通过场景特定配置实现推理时控制不同，COMPASS提供统一的评估协议而非改进安全机制。与U-SafeBench评估基于个体用户配置的对齐而非组织执行的单一统一策略边界不同，COMPASS专注于组织级的政策合规性。
核心方法
COMPASS框架首先将组织特定的允许列表和拒绝列表政策转化为结构化查询集，然后收集聊天机器人响应，使用LLM评估器评估拒绝行为和政策依从性，将每个响应标记为与政策对齐或不对齐。框架包括两个主要模块：用户查询生成和评估。查询生成模块产生基础查询直接探测政策边界和边界查询压力测试边界情况，评估模块通过自动评估两个关键属性来衡量聊天机器人响应是否与组织政策对齐：拒绝机制rho(r)指示聊天机器人是否拒绝提供实质性答案，政策依从性alpha(r, P)指示响应是否满足所有允许列表政策且不违反任何拒绝列表政策。
COMPASS的核心创新在于系统化地生成和组织特定政策相关的多样化查询集，包括标准合规性检查和对抗性鲁棒性测试。通过四种查询类型（允许/拒绝乘以基础/边界）全面评估政策对齐，区分模型在能做什么和绝不能做什么上的表现差异。框架利用LLM的能力自动化查询生成和响应评估，实现了大规模、可扩展的组织特定政策合规性评估。这种设计使组织能够快速评估其AI系统的政策对齐程度，并在策略变更或模型更新时重新评估。
方法步骤详情
COMPASS的查询生成阶段包含四个步骤：（1）基础查询合成，利用LLM为每个允许列表策略合成10个允许的基础查询请求允许行为，测试聊天机器人是否在授权服务边界内提供合规响应；为每个拒绝列表策略生成10个拒绝的基础查询请求禁止信息，测试聊天机器人是否拒绝提供。（2）基础查询验证，过滤掉不对齐的查询，使用单独的LLM验证器识别查询匹配的所有策略，对允许基础查询要求必须匹配其原始允许列表策略且不触发任何拒绝列表策略，对拒绝基础查询要求必须正确匹配其原始拒绝列表类别。（3）边界案例查询合成，创建挑战性边界测试查询，通过系统变换验证过的拒绝基础查询生成测试假阳性拒绝的查询，对测试假阴性合规的查询应用六种对抗变换策略：法规解释、类比推理、统计推断、上下文溢出、假设情景和间接引用，从每个拒绝基础查询随机采样两个短形式和四个长形式变体，产生六个拒绝边界查询。（4）边界案例查询验证，使用单独的LLM验证器识别匹配策略，对允许边界查询验证查询在具有欺骗性或误导性外观的情况下仍符合策略，对拒绝边界查询确保查询确实构成策略违规。评估阶段使用GPT-5-mini作为判断模型评估每个响应的对齐状态。
技术新颖性
COMPASS的技术新颖性体现在多个方面：首先，它是首个专注于组织特定政策合规性的系统性评估框架，填补了通用安全评估和企业级政策对齐之间的空白；其次，通过四步查询生成管道实现了高质量、大规模测试查询的自动化生成，从八个组织场景生成5920个验证查询；第三，系统化地定义了六种对抗变换策略来生成边界案例，覆盖了从法规解释到间接引用的多样化对抗场景，每个策略生成短形式和长形式变体以测试不同程度的复杂性；第四，通过Policy Alignment Score（PAS）指标形式化地衡量政策对齐，区分了四种查询类型的评估维度；第五，跨八个行业领域（汽车、政府、金融、医疗、旅行、电信、教育、招聘）构建了全面的评估基准；第六，通过Leave-One-Domain-Out（LODO）评估展示跨领域泛化能力，证明政策对齐可能作为可学习的技能。
实验结果
实验在八个行业领域使用十五个LLM揭示了根本性不对称性：模型在允许列表查询上实现超过95%的PAS，但在拒绝列表请求上仅正确拒绝13-40%。在对抗性条件下差距进一步扩大，某些模型拒绝少于10%的策略违规边界案例，如GPT-5拒绝率仅3.27%，Llama-3.3-70B拒绝率仅4.16%。模型在允许基础查询上达到97.5-99.8%平均PAS，可靠处理straightforward的政策内请求。在允许边界查询上表现仍然强劲但有变化。然而在拒绝基础查询上仅达到13.01-39.64% PAS，在拒绝边界查询上表现更差。跨域一致性显示允许查询上的PAS无论领域都保持持续高水平，而拒绝查询上的PAS在行业间显示实质性变化，某些领域对拒绝边界查询特别具挑战性（教育领域平均5.2%，招聘领域平均6.7%）。规模分析显示，在Gemma-3和Qwen2.5家族中，较大模型一致改善允许查询上的PAS，但拒绝查询上的PAS显示仅温和收益，即使72B规模拒绝边界查询仍接近零。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Allowlist Base Compliance | Policy Alignment Score (%) | 97.5-99.8 | N/A (首次系统评估) | 建立基准 |
| Allowlist Edge Compliance | Policy Alignment Score (%) | 79.7-96.6 | N/A | 揭示假阳性拒绝问题 |
| Denylist Base Enforcement | Policy Alignment Score (%) | 13.0-40.0 | N/A | 暴露严重拒不到位问题 |
| Denylist Edge Enforcement | Policy Alignment Score (%) | 3.3-21.2 | N/A | 揭示对抗条件下脆弱性 |
| Pre-filtering Denylist Base | Policy Alignment Score (%) | >96.0 | 13.0-40.0 | 超过140%相对提升 |
| Policy-aware Fine-tuning | Policy Alignment Score on Denied Edge (%) | 60-62 | 0 | 60-62个百分点 |
局限与改进
作者承认测试数据集覆盖八个组织场景，虽然涵盖主要行业垂直领域，但不能详尽代表所有企业背景，某些领域（如法律服务、制药研究、国防承包）可能展示未反映在场景中的独特政策结构。边界案例生成策略虽然系统化，但基于六种预定义对抗变换，可能无法捕获真实用户或对抗者使用的所有混淆技术。使用GPT-5-mini作为判断模型的自动评估可能引入偏见和不透明性，尽管人类注释确认了95.4%的一致性。研究专注于遵守明确的组织政策，而非定义或认可AI安全的任何规范性标准。合成组织场景的设计选择保护了专有和personal information，同时避免生成可执行的harmful内容，虽然这限制了生态现实性。评估主要依赖系统提示将政策编码到目标聊天机器人中，这可能不能完全代表真实企业部署的复杂性。
独立分析的弱点
论文独立分析的弱点包括：第一，评估主要依赖系统提示将政策编码到目标聊天机器人中，这种方法在复杂政策场景下可能不够鲁棒，如多层嵌套政策或条件性规则，更复杂的政策表示方法可能需要更精细的编码机制；第二，当前COMPASS框架主要关注文本输入，对多模态输入（如图像、音频）的政策合规性评估尚未探索，这对实际企业应用（如医疗影像分析、金融文档OCR）是一个重要限制；第三，框架假设政策可以明确表示为自然语言语句，但现实组织政策可能包含隐含规则或上下文依赖的约束，这些隐性规则难以显式编码和评估；第四，虽然六种对抗变换策略覆盖了主要对抗场景，但可能遗漏某些特定领域的对抗技术，如医疗领域的技术性绕过或金融领域的合规性规避，需要持续收集和更新领域特定对抗策略；第五，评估的自动化程度虽然高，但仍需要人工验证关键步骤，限制了大规模部署的可行性，需要开发更完全自动化的验证流程；第六，框架目前主要评估单轮对话的政策对齐，对多轮对话中政策依从性的评估尚未充分探索。
未来方向
作者提出的未来研究方向包括：扩展测试数据集以涵盖更多企业垂直领域和更复杂的政策结构，如法律服务、制药研究、国防承包等具有独特政策结构的领域；研究更细致的政策推理能力评估，如条件性政策或多层嵌套政策，开发能够处理复杂政策逻辑的评估框架；探索多模态输入（如图像、音频）的政策合规性评估，扩展COMPASS框架以支持多模态AI系统的评估；开发可训练的护栏模型专门针对组织特定政策对齐，结合COMPASS的评估能力实现端到端的政策合规解决方案；研究跨领域策略学习的泛化能力以减少领域特定训练需求，通过Leave-One-Domain-Out实验展示跨领域转移策略可能作为可学习的技能。基于成果可延伸的方向包括：将COMPASS框架与持续集成/持续部署（CI/CD）管道集成实现自动化政策合规性测试，在模型更新或策略变更时自动触发重新评估；开发实时政策监控和警报系统检测模型政策偏移，实现对生产环境的持续监控；探索用户自定义政策的动态调整和个性化适配，为不同用户提供个性化的政策边界；研究政策冲突时的自动决策机制，处理多个策略相互冲突的情况；开发政策依从性的可解释性工具帮助组织理解和调试模型行为，提供失败案例的详细分析和改进建议。
复现评估
论文提供了详细的实验设置信息，包括超参数和提示规范，促进了复现性。作者已提供GitHub和HuggingFace资源链接。评估使用的模型包括专有模型（Claude-Sonnet-4、GPT-5、Gemini-2.5-Pro）通过API访问，开放权重模型（Llama、Qwen、Gemma、Kimi）通过OpenRouter或使用vLLM进行本地推断。所有实验使用NVIDIA A100 80GB GPU或公开可用的API端点进行。查询生成和验证过程的完整提示模板在附录中提供，为所有八个组织场景的完整政策定义使完全复现和从业者采用成为可能。框架使用Claude-Sonnet-4和Qwen3-235B进行查询合成，使用GPT-5-mini进行验证和判断，所有LLM操作使用temperature=0.7和top_p=1.0（GPT-5使用temperature=0.7由于API约束，预过滤模型使用temperature=0.1以进行确定性分类）。然而，某些专有模型（GPT-5）的API访问限制和成本可能完全复现构成挑战，依赖外部API服务也引入了潜在的不一致性。合成组织场景而非使用真实企业数据的设计选择虽然保护了专有信息，但也可能限制评估结果的生态有效性。
论文图表
图1展示了通用聊天机器人与组织对齐聊天机器人在相同请求下的不同响应行为。左侧显示通用聊天机器人请求对公司A说一些负面评论，中心显示两个可能的响应：允许列表响应（批评产品...）和拒绝列表响应（抱歉，但我不能提供...），右侧显示公司/组织政策对齐评估，包括允许列表和拒绝列表。该图直观说明了组织特定政策如何影响聊天机器人的响应行为，以及COMPASS框架如何评估这种对齐，建立了论文中反复讨论的允许列表和拒绝列表政策的直观概念。
这张图对理解论文至关重要，因为它清楚地定义了COMPASS框架要解决的核心问题：通用聊天机器人可能符合提供公司批评的请求，而组织对齐聊天机器人应该基于其拒绝列表政策拒绝。这建立了论文中反复讨论的允许列表和拒绝列表政策的直观概念，并解释了为什么组织特定的政策对齐评估不同于通用安全评估。
图3展示了在系统提示实例化下，Gemma-3家族（1B、4B、12B、27B）和Qwen2.5家族（7B、14B、32B、72B）的政策对齐作为模型大小的函数。每条线显示一种查询类型（允许/拒绝、基础/边界）。Gemma-3家族显示：允许基础从97.4%（1B）到98.3%（27B），允许边界从82.6%（1B）到83.0%（27B），拒绝基础从18.6%（1B）到39.6%（27B），拒绝边界从4.2%（1B）到18.6%（27B）。Qwen2.5家族显示：允许基础从96.0%（7B）到98.6%（72B），允许边界从79.7%（7B）到92.4%（72B），拒绝基础从10.2%（7B）到37.2%（72B），拒绝边界从8.3%（7B）到17.7%（72B）。图显示规模增强允许列表合规，但对拒绝列表鲁棒性影响很小，拒绝边界查询在所有规模下仍接近零，即使72B规模。
这张图对理解论文至关重要，因为它展示了模型规模对政策对齐的影响，支持论文的结论：单独扩展模型规模不足以实现可靠的企业政策对齐。该图清楚地显示，虽然较大模型一致改善允许查询上的PAS，但拒绝查询上的PAS显示仅温和收益，拒绝边界查询在所有规模下仍接近零，即使72B规模。这意味着简单地使用更大的模型无法解决政策执行方面的结构性弱点。
图5展示了四个模型（Qwen-2.5-32B、Llama-3.3-70B、Claude-Sonnet-4、GPT-5）在不对齐的拒绝边界响应上的失败模式分布，使用条形图显示三种失败模式的百分比：直接违规（模型直接服从而不拒绝）、拒绝-回答混合（模型生成拒绝语句但随后提供禁止内容）、间接违规（模型避免直接回答但提供促成信息或元知识）。开放权重模型（Qwen-2.5-32B：80%直接违规、12%混合、6%间接；Llama-3.3-70B：83%直接违规、4%混合、11%间接）主要显示直接违规，而专有模型（Claude-Sonnet-4：28%直接违规、65%混合、4%间接；GPT-5：33%直接违规、62%混合、4%间接）主要显示拒绝-回答混合。
这张图对理解论文至关重要，它揭示了不同模型家族在策略违规方面的不同失败模式，支持论文的结论：专有模型生成拒绝语句但随后自相矛盾地提供禁止内容——一种说不然后合规模式，可能源于安全训练和有用性目标之间的冲突压力；开放权重模型，相比之下，完全缺乏鲁棒的拒绝机制，默认为无条件合规。这表明不同模型架构和训练过程导致不同的政策对齐挑战，需要针对不同失败模式设计不同的缓解策略。