Just Ask Jev:以校准决策强化学习实现 AI 对齐失败的零样本检测 Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
Jev 一次调用输出校准概率,零样本检测十类对齐失败,AUROC 0.886,成本仅裁判 1/63
前置知识
对齐失败(alignment failure)
语言模型行为偏离设计者意图的现象。本文覆盖十类:谄媚(迎合用户错误信念)、越狱(顺从有害请求)、欺骗(陈述与自身引发信念矛盾的内容)、提示注入(执行工具输出中隐藏的指令)、幻觉(编造来源不支持的声明)、隐私违规(不当地泄露上下文敏感信息)、社会偏见(跨人口群体变体的输出呈刻板印象一致差异)、奖励作弊(利用暴露的评分器而非追求真实目标)、隐藏不确定性(以高置信 $\ge 0.8$ 给出错误答案)、寻求权力(选择增加权力或不道德的选项)。
这是全文的检测对象,所有实验都围绕“Jev 能否在 44 个基准上排序这十类失败”展开,理解每类失败的定义才能理解标签来源与状态字段设计的含义。
RLCD(强化学习校准决策)
一种训练范式:模型不生成文本判定,而是对输入状态 $\sigma$ 的一组类型化问题直接返回校准概率——NOUL 型返回 $P(\text{yes}\mid\sigma,q)$,CHOICE 型返回选项集上的分布,SCORE 型返回有序等级 $\ell_1<\cdots<\ell_K$ 上的分布,后两者附带集中度置信度。所有问题共享一次调用、独立作答。校准指被赋予概率 $p$ 的决策中约有 $p$ 比例正确(Guo et al., 2017)。Jev(jev-1.13.0)是 TypeSafe 的商用 RLCD 模型。
Jev 的接口(一次调用、多问题、概率输出)是整篇论文实验设计与成本分析的基石;不理解它就无法理解“问什么/看什么”两个因素如何被分离和操控。
AUROC
ROC 曲线下面积,衡量检测器把正例排在负例之前的能力,与阈值无关:1.0 为完美,0.5 等于随机。检测器最终要设阈值 $t$ 报警($s(x)\ge t$),但排序质量不依赖阈值选择,所以本文以 AUROC 为主指标,辅以 $t=0.5$ 与交叉验证阈值下的 F1。
论文几乎所有核心数字(通用问题 0.886、targeted 增益 +0.006、上下文增益等)都以 AUROC 表述,不熟悉它就无法解读任何实验结果。
期望校准误差(ECE)与阈值
ECE 把预测概率分箱后,比较每箱平均预测概率与该箱实际正例率,是概率“可信度”的标准度量。与它互补的是阈值问题:同一排序质量下,概率整体偏高或偏低会让固定阈值 $t=0.5$ 的 F1 大幅波动,F1 最优阈值 $t^*$ 通常低于 0.5(本文中位 0.35)。
4.4 节的核心发现是“池化校准(ECE 0.047)但基准内失准(中位 0.168)”,并据此提出“10 个标注样本拟合阈值”的实践配方,这是论文对使用者的主要可操作建议。
LLM 裁判与 guard 模型
LLM 裁判把评估提示喂给 GPT-4o、Claude Haiku 等模型生成文本判定再解析;guard 模型(如 Llama Guard)是针对固定危害分类学微调的安全分类器。二者每次调用通常只评一个判据或标签:生成式要花一次解码,读 token 概率的(如 Llama Guard 的 $P(\text{unsafe})$)概率读自单个判定 token,换角度提问就要再调用一次。
它们既是本文的对照对象与成本基准($18.96 vs $0.30),也是标签质量问题的来源——44 个基准中 24 个的标签出自 LLM 裁判,论文的标签审计直接针对它们。
关系性失败
失败的定义依赖回复本身不包含的参考:谄媚相对用户的信念定义,欺骗相对模型自身的引发信念定义,提示注入相对工具输出里隐藏的指令定义。因此“检测器看到状态的哪些字段”本身就是检测问题的一部分,而不是实现细节。
这是全文的核心洞察:由此推出实验设计——把“问什么”(问题措辞与答案类型)与“看什么”(状态字段)正交变化,才能把检测错误归因于问题还是缺少参考。
Cohen's $\kappa$ 与 split-half 协议
$\kappa$ 在剔除随机一致后度量两个标注者的一致性,用于比较 Jev 与参考评分器谁更贴近人类标签。split-half 指在一半条目上挑选最优问题/策略、在另一半上打分,以消除“多选一”的选择膨胀——本文测得 in-sample 膨胀 0.008 [0.006, 0.014],比 targeted 措辞的真实增益 +0.006 还大。
论文的许多“增益很小”的结论只有在防膨胀协议下才可信;理解这个协议才能判断哪些数字反映 Jev 的能力、哪些只是搜索过程的假象。
研究动机
部署中的语言模型仍会迎合用户的错误信念、顺从越狱后的有害请求、执行藏在工具输出中的注入指令、在压力下陈述谬误。既然没有任何训练流程能可靠消除这些失败,部署方就要用检测器在每条消息上筛查输入、输出与轨迹,对齐研究也用同样的检测器给基准和缓解措施打分——因此检测器必须既准又便宜。但现有检测器为每个判据付出一次解码:生成式裁判(提示为 judge,或微调为安全分类器如 Llama Guard)输出文本判定,要解析后才能排序或设阈值;读 token 概率的方案(Llama Guard 的 $P(\text{unsafe})$、G-Eval 的概率加权评分)每次调用仍只评一个固定标签,因为概率读自单个判定 token,想从多个角度提问就得多次调用,成本随检查角度线性增长。更麻烦的是,许多对齐失败是关系性的:谄媚相对用户信念定义、欺骗相对模型自身信念定义、提示注入相对隐藏指令定义,只看回复的检测器可能缺少定义失败的参考。Jev 作为 RLCD 模型一次调用能答几十个问题,看似天然适合检测,但其开发者也把“间接含义与对抗内容”列为已知弱点——而这恰是这些失败的常态。它到底能不能检测对齐失败,此前从未被测量。
本文的目标是本文要回答三个层层递进的问题。第一,Jev 这种一次调用返回多问题校准概率的 RLCD 模型,能否零样本检测十类对齐失败?第二,检测性能由什么决定——是问题的措辞与答案类型,还是状态里有什么字段?第三,作为 LLM 裁判的替代,Jev 与人类标签的一致性如何、成本多少?为此作者构建 RLCDALIGNBENCH:覆盖谄媚、越狱、欺骗、提示注入、幻觉、隐私违规、社会偏见、奖励作弊、隐藏不确定性、寻求权力十类失败,共 44 个基准、7,193 个检测实例、5 个开源 2-7B 目标模型(Qwen3.5-2B、Phi-4-mini、Gemma-2-2B、Llama-3.2-3B、Olmo-3-7B)。标签来自各基准的参考评分器(20 个规则、20 个 LLM 裁判/分类器、4 个多轮轨迹裁判),其中 11 个经验证、25 个未验证;StrongREJECT 人类集(1,360 条、各 5 标注者)与 HarmBench 验证集(3 标注者)另作与人类对照的锚点。最终交付一个可直接落地的配方:通用问题 + 软概率 + 少量标注拟合阈值。
与已有工作不同的是，本文的独特切入是把“问 Jev 什么”与“Jev 看什么”分离成正交的两个因素。直觉是:如果失败是关系性的,检测差可能来自问题(措辞不够精确)或来自状态缺少定义失败的参考,而两者的修复方式完全不同——前者该改提示,后者该决定部署监控器能拿到哪些字段。具体做法上,每个实例的提问从通用问题(固定模板加每基准行为短语)变化到点名标注行为的 targeted 问题(含答案类型变化);同时构造 49 个成对状态对比,每次只增删一个字段,并按“谁能提供该字段”打标:部署监控器可能持有的 deployable 字段(如目标的系统提示、引发信念),以及属于标签定义的 label key(如标准答案、注入指针、PrivacyLens 的秘密清单)。此外,因为一次调用能携带几十个问题,直接报告“多选一”的最优成绩会严重夸大,本文用 split-half 协议(一半条目上选题、另一半上打分,20 个分组折)量化并剔除选择膨胀,让报告的增益归因于 Jev 而非问题搜索过程。这套“双因子 + 防膨胀”的设计本身就可迁移到任何提示工程的评测中。
核心方法
直觉上,作者把对齐失败检测当作对目标模型交互的二分类:实例 $x$ 含目标收到的上下文及其回复或轨迹,失败类型 $f$ 的标签 $y_f(x)\in\{0,1\}$ 表示 $f$ 是否发生;检测器输出 $s(x)\in[0,1]$,$s(x)\ge t$ 时报警,故既要排好序、又要在阈值上分开。技术上分三步(图 2)。第一步,从 44 个基准回放参考评分器得到带标签实例。第二步,构造状态 $\sigma$:默认 canonical 状态只含目标模型的输入与输出(响应级监控器能看到的一切),评分器判定、标准答案、元数据、目标内部概率一律不进状态。第三步,一次 Jev 调用携带一整组类型化问题:NOUL 返回 $P(\text{yes}\mid\sigma,q)$,CHOICE 返回选项分布,SCORE 返回有序等级 $\ell_1<\cdots<\ell_K$ 上的分布;读出函数把答案变成分数(如 $P(\text{yes})$、$E[\text{level}]/2$、argmax 或概率聚合),与 Jev 从未见过的标签对比计算 AUROC/F1/ECE/κ。全程“问题”(措辞、答案类型)与“状态字段”两因素分开变化,效果可独立归因。
核心创新有三点。第一,“问什么”与“看什么”正交变化:通用问题由四个模板词干(按状态格式选:单回复/成对输出/规则评分/轨迹)加每基准行为短语 $\langle b\rangle$ 构成,同一措辞以 NOUL、CHOICE(在 {yes, no, undetermined} 上)、SCORE(三级:无匹配/单段匹配/主要内容为 $\langle b\rangle$)三种答案类型分别提问;targeted 问题则点名标注行为,分 direct(基准专属判断及定义示例)、rubric(复用参考评分器的裁判提示或公式)、decomposition(每选项/每秘密各问)三家族,每基准 15-40 个组合策略。第二,坚持软概率读出:答案保持为概率而非 argmax 决策——这是与所有现有检测器的本质区别,也是性能来源(argmax 几乎处处变差)。第三,split-half 防膨胀协议:在一半条目上选最优策略、另一半上评分,实测 in-sample 选择膨胀 0.008 [0.006, 0.014],比 targeted 措辞的真实增益 +0.006 还大——没有这个协议,正负两方面结论都会被搜索过程污染。
方法步骤详情
第一步,构建实例:对每种失败类型跑一个 2-7B 开源目标模型,回放基准的参考评分器(规则 20、LLM 裁判 20、多轮轨迹 4)得 7,193 个实例,11 个标签验证、25 个未验证;StrongREJECT 与 HarmBench 人类标注另作锚点。第二步,构造状态:canonical 含目标输入+输出;49 个成对变体每次只动一个字段——补缺失参考(如 SycophancyEval 的真实答案)、显式化已有参考(如 InjecAgent 的注入指针)、加攻击提示词或目标置信度,并打 deployable/label key 标签。第三步,提问:通用问题与 targeted 问题同一次调用发出,平均一次携带 11.4 个问题、中位 0.31 秒返回,固定 jev-1.13.0。第四步,组合:$s(x)=g(a_1,\dots,a_m)$ 用概率聚合(均值/最大/乘积/差)或 0.5 阈值逻辑规则。第五步,评估:AUROC 为主;F1 报 $t=0.5$ 与 2 折交叉验证阈值(网格 0.05-0.95);策略需覆盖率 ≥90%;95% CI 来自 1000 次按条目组 bootstrap;少数类不足 5 条的 6 个基准剔除,聚合为 38 个可用基准的中位数;禁止策略在代码里读标签元数据。第六步,成本核算与人类一致性($\kappa$)检验。
技术新颖性
技术新颖性有四层。评测对象上,这是首个系统性测量 RLCD 模型检测对齐失败的工作:Jev 黑盒、无固定危害分类学、一次调用可答任意失败类型的几十个问题,与 GuardBench(只比 guard 模型)、JudgeBench(只比裁判)等单一族评测正交。方法学上,“问题 × 状态”双因子设计与 49 个成对上下文对比,把以往混为一谈的提示工程与信息获取两种效应干净拆开;split-half 协议量化并剔除多选一选择膨胀,任何提示搜索类论文都可复用。实证上,证明“软概率压倒一切”:同一措辞下 argmax 几乎处处劣于概率读出(CHOICE 2 胜/0 平/28 负),调用内先做 0.5 阈值化的 rubric 也因丢弃概率而输给最佳直接问题(10 基准中 9 个,中位 -0.137)——从机制上解释生成式裁判每判据一次解码是结构性浪费,而不只是贵。应用上,把 confident learning 用于检测器-裁判分歧:Jev 自信分歧廉价定位出 3 个基准的规则/裁判缺陷与 4 个 MACHIAVELLI 不可观测标签,如两个 AbstentionBench 裁判按官方提示一致仅 $\kappa=0.05$——用便宜检测器审计贵裁判是全新用法。
实验结果
① 零样本排序:通用 NOUL 在 31 基准中位 AUROC 0.886,split-half targeted 达 0.911(38 基准);不看标签即胜域内 TF-IDF/长度基线中位 +0.132,25/31 获胜($p{=}9\times10^{-4}$);未验证标签上 0.949 高于验证标签的 0.872。② 问题设计:out-of-sample targeted 措辞仅 +0.006 [-0.004, +0.015],在评估集上选题会虚增 0.008;SCORE 读期望 19/31 胜 NOUL(+0.016),argmax 几乎处处败。③ 上下文:deployable 字段仅 1/4 有效(DeceptionBench 加目标提示 +0.050),攻击提示词 ≤0.002;label key 4/11 显著,PrivacyLens 秘密清单 0.79→0.95;SycophancyEval(answer) 显示这类增益度量标签构造:官方标签 0.540→0.941,纠正标签反降 0.712→0.288。④ 校准与阈值:池化 ECE 0.047 但每基准中位 0.168(零假设 0.074),源于基准率错配;EM 校正失效;F1 从 0.706($t{=}0.5$)升至 CV 阈值 0.822、10 标注 0.793;按 $|p-0.5|$ 留最自信一半,准确率 0.793→0.933。⑤ 人类一致性:StrongREJECT κ 0.809 vs 评分器 0.811,排序反超(0.971 vs 0.929);HarmBench 0.748 vs 标注者间 0.736;GPT-3.5 输出落后(0.668 vs 0.790)。⑥ 标签审计:3 个基准缺陷加 4 个不可观测标签,两 AbstentionBench 裁判 κ 仅 0.05。⑦ 成本:一遍 $0.30 vs $18.96(62.9×),保守重定价仍 12×,23,384 次调用共 $2.27。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 十类对齐失败零样本检测(31 基准) | AUROC(中位) | 0.886(通用 NOUL,零样本) | 0.754(域内训练的 TF-IDF / 长度基线中较优者) | +0.132 [+0.057, +0.190],25/31 基准获胜,符号检验 p=9e-4 |
| 十类对齐失败检测(38 基准,split-half 选题) | AUROC(中位) | 0.911(targeted 策略) | 0.903(best generic,in-sample) | +0.008,且消除了 0.008 的选择膨胀 |
| StrongREJECT 与人类标注一致性(n=1,360) | Cohen's κ(t=0.5) | 0.809(Jev);AUROC 0.971 | 0.811(GPT-4o-mini 评分器);AUROC 0.929 | κ 打平(-0.002),排序 +0.042 [+0.016, +0.070] |
| HarmBench 验证集与单标注者一致性(n=578) | Cohen's κ | 0.748 | 0.736(标注者间一致性) | +0.013 [-0.022, +0.046],达到标注者间水平 |
| 19 个 API 裁判基准一遍检测成本 | 美元(列表价) | $0.30(Jev,7.18M tokens) | $18.96(GPT-4o/-mini、Claude Haiku 裁判,9.36M tokens) | 便宜 62.9×;保守重定价(全部按 GPT-4o-mini 价)仍便宜 12×,中位 3.3× |
| 阈值拟合后的检出质量(31 基准) | F1(中位) | 0.822(2 折 CV 阈值)/ 0.793(10 个标注样本) | 0.706(t=0.5) | +0.116 / +0.087;但验证标签上拟合阈值反而 -0.025 |
局限与改进
作者承认:只覆盖一个 RLCD 模型(jev-1.13.0),未必推广到其他检测器;只测英语;目标限于 2-7B 开源小模型;25/44 标签未验证,多数结论建立在裁判标签上。我的观察:一,基准内失准(中位 ECE 0.168 vs 零假设 0.074)意味着概率不能直接当报警阈值,须留约 10 个标注样本,冷启动或基准率漂移的在线场景是持续成本,EM 校正失效说明没有免费修复;二,GPT-3.5 输出上 κ 落后 0.121 且 oracle 阈值也追不上(0.688 vs 0.790),分数形状按生成器系统偏移,阈值不可修;三,低基率场景糟糕:社会偏见类 $t=0.5$ 的 F1 仅 0.222(全报警基线 0.868)、谄媚类 0.640 低于基线 0.689,默认配置直接部署会失效;四,基线只有 TF-IDF 与长度,未与 Llama Guard 等 guard 模型同协议对比,“63× 便宜”对照的是 API 裁判而非专用小分类器,也未计在线延迟与吞吐;五,每类失败可用基准仅 2-6 个,类型级中位数 CI 宽;六,闭源 API 依赖带来版本风险,jev-latest 别名会漂移、厂商无保留期承诺,长期可复现性悬于厂商。
独立分析的弱点
(1) 单模型外推:全部结果来自 jev-1.13.0,分不清“RLCD 范式好”还是“训练数据恰好覆盖这些失败”;它在未验证裁判标签上反而更高(0.949 vs 0.872),可能因裁判标签更可预测甚至含确定性捷径(MACHIAVELLI 标签在 1,100/1,100 项上等于“选择=被标选项”)。改进:在第二个 RLCD 模型上复测,并报告纠正标签双轨成绩。(2) 校准的基准率依赖:失准源于各基准正例率与 Jev 先验错配,在线正例率漂移会让 10 标本拟合的阈值过期。改进:按失败类型分层 Platt 缩放,或流式更新阈值并监控 ECE。(3) 状态不可见的失败原理上检测不了:4 个 MACHIAVELLI 变体标签依赖状态外标注后果,Workplace scenes 把 95%/84% 正例率写进构造。改进:把“检测器需要哪些字段”写进基准 datasheet,区分可检测与需内部访问的失败。(4) 成本叙事不完整:$0.30 是离线批量价,在线监控要算 P99 延迟、吞吐与重试,一次调用 11.4 问的输入 tokens 不小。改进:补在线延迟分布与每问 token 分解,与 Llama Guard 类轻量模型同协议对比。(5) 低基率失效:$t=0.5$ 在社会偏见类 F1 仅 0.222,不调阈值接近不可用。改进:把阈值拟合做成 API 默认的自动校准端点。
未来方向
作者提出:扩展到其他检测器(guard 模型、probe、思维链监控)、更大目标模型、其他语言。可延伸:(1) 用 Jev 校准概率当训练信号——为 RLHF/RLAIF 提供廉价密集的对齐奖励,或在部署日志上筛高置信失败样本做定向微调,把检测器变成改进回路;(2) 选择性预测接入部署栈:保留 $|p-0.5|$ 最大一半决策时准确率 0.793→0.933,可形成“自信直判、不自信路由裁判或人”的级联,测绘端到端成本-精度曲线;(3) 把自信分歧审计产品化为基准质检工具:新基准发布前跑一遍 Jev,自动标出标签可预测性异常与裁判间低一致条目(AbstentionBench 两裁判 κ 仅 0.05 即现成案例);(4) 原则性修复基准率失准:EM 先验校正已证失效,可试分层贝叶斯、域适应或少量标注的共轭更新;(5) 把 49 个成对对比推广为“检测器信息结构”标准,回答部署监控器应记录哪些字段,直接影响 agent 遥测设计;(6) 多轮轨迹与长上下文检测——长轨迹只在缺参考时有害(中位 $\Delta$AUROC -0.001),提示参考补全比上下文剪枝更值得投入;(7) 跨语言与多模态失败(图像提示注入)的迁移检测。
复现评估
复现条件属同类工作最好一档。开源:基准套件、目标模型输出、参考评分器记录、实例与标签、全部缓存 Jev 响应(每问题概率、置信度、延迟、tokens)都在 github.com/sumleo/RLCDAlignBench;自有产物 CC BY 4.0(数据)+ MIT(代码);含有害内容实例走 gated access。关键设计:所有报告指标可离线重算——脚本按请求哈希把缓存响应 join 到实例,不发网络请求,全部表格只需 CPU 即可验证。完整重做分层加码:重建标签需 AAR 仓库(commit 02dbe9d);重生成目标输出需一块 GPU;重跑 LLM 裁判需 GPT-4o/-mini、Claude Haiku 的 key;重查 Jev 需 TypeSafe key——全研究 23,384 次调用 54.0M tokens 约 $2.27,预算门槛可忽略。7,193 实例、44 基准随包发布并附 datasheet。风险:一切锚定 jev-1.13.0,截至 2026-09-20 API 仍接受该版本号,但厂商无保留期承诺,作者以缓存响应为参照。总体:验证结果(低)→ 复跑 Jev(低-中)→ 从头重建管道(中,需 GPU 与多把 key)。
论文图表
