AI 红队评估的证明力边界

用闭式公式精确界定红队基准能证明安全到何种程度

前置知识

零事件界（zero-numerator bound，Hanley-Lippman-Hand 的三分法则）

这是 1983 年由 Hanley 和 Lippman-Hand 形式化的统计结论：当某事件在 $n$ 次独立试验中从未发生（零次观察）时，我们无法断言其真实发生率为零。其“三分法则”指出，$n$ 次零事件给出的真实发生率 95% 单侧上界约为 $3/n$（精确为 $1-\alpha^{1/n}$）。本文的整套推导实际上是这条古老界在 AI 安全评估设计上的特例应用。

本文两个核心定理都建基于这条界——它精确刻画了“基准零有害输出”这条证据到底能承载多少关于模型是否安全的信息，理解它才能看懂为什么论文说边界是“可计算而非靠判断”。

似然比与后验赔率（likelihood ratio / posterior odds）

贝叶斯框架中，先验赔率 $O_0 = P(H_1)/P(H_0)$ 经过证据更新为后验赔率 $O_1 = O_0 \cdot \Lambda$，其中 $\Lambda(r) = P(r|H_1)/P(r|H_0)$ 是似然比。$\Lambda<1$ 的结果倾向于无罪（可接受风险），$\Lambda>1$ 倾向于有罪（风险升高）。以 2 为底取对数即得到以比特计的证据量 $\log_2 \Lambda$。

本文把“证据能证明什么”量化为后验赔率最多能被移动多少倍，似然比是整个框架的度量衡；掌握它才能理解什么是“开脱性天花板”以及“证据值多少比特”。

统计功效（statistical power）与假认证概率（false certification）

功效 $1-\beta$ 是在差异真实存在时检验能检出它的概率；它与“假认证概率”——真实有害率 $p$ 下观察到零有害输出的概率 $P(k=0)=(1-p)^n$——是两种不同的标准。功效关心能否比较两个模型，认证关心能否约束单一模型的危害率上限。一个基准可能功效不足却仍足以认证，反之亦然。

论文第 5 节对八个评估套件的审计同时报告了这两种标准，理解二者的区别才能看懂为什么“功效低”并不自动等于“基准无用”。

Clopper-Pearson 精确置信区间

基于 Beta 分布的二项参数精确区间，零事件情形下单侧 95% 上界简化为 $1-\alpha^{1/n}$，双侧为 $1-(\alpha/2)^{1/n}$。例如 $n=520$ 零事件给出 95% 单侧上界 0.57%（约 1/174）。它只能用于整数次独立伯努利试验，不能直接套在分数化的有效样本量 $n_{eff}$ 上。

论文要求实验室把这类校准上界与原始观测并列报告，这是“即便认证失败，零事件结果也仍建立了一个有用上界”这一主张的形式化工具。

设计效应与簇内相关（design effect / intra-cluster correlation）

基准中的提示并非真正独立，而是由少量模板/改写簇生成，簇内响应正相关。设计效应 $\text{DEFF}=1+(m-1)\rho$，有效样本量 $n_{eff}=n/\text{DEFF}$，其中 $m$ 为平均簇大小、$\rho$ 为簇内相关系数。例如 $m=10,\rho=0.1$ 时 $\text{DEFF}=1.9$，$n_{eff}\approx 0.29n$。聚类严格抬高 $P(k=0)$，从而把定理 1 的边界上推、放大定理 2 的适用区。

论文用 Anthropic Claude 2 模型卡的例子说明真实披露中“分析单位”与聚类结构几乎从不报告，这是模板驱动基准对结论影响最大的实操细节。

研究动机

如今每个主要 AI 实验室在部署新模型前都会发布安全评估：汇集一组对抗提示、对响应打分、与历史版本或既定阈值比较，再把结果写进安全报告、系统卡和新闻稿作为“模型足够安全”的证据，监管机构也已开始把这些评估当作监管决策的主要经验依据。但近年的批判浪潮指出：Chouldechova 等人质疑红队的定量输出（主要是攻击成功率）是否支持跨系统比较；Broomfield 等人指出安全性无法在语义等价提示间泛化；另有工作把标准统计推断引入语言模型评估，警告小规模评估会给出过宽的置信区间和不可靠的比较。这些批判都是正确的，但由此推导出的“安全基准近乎一文不值”却并不成立。真正的麻烦在于：没有人在定量上回答过——给定某个危害率、某个样本量、某个证据标准，一次红队评估到底能确立哪些命题、不能确立哪些命题，这个分界究竟在哪里。

本文的目标是本文的目标是把上述分界从“凭专家判断”变成“可闭式计算”的量。具体而言，对一个证据生成过程定义其“开脱性天花板”作为单一结果在固定测试预算下最多能把后验赔率向“可接受风险”移动的倍数；针对基准零结果（一次干净跑分）实例化该构造，推导出在给定证据阈值 $\tau$、改进比 $r$ 与可行上界 $N_{max}$ 下，危害率高于哪个阈值（$p_{min}$）时可行基准足以认证、低于哪个阈值时无论如何都不可能认证；并据此把一次评估“做了什么”映射成它“授权实验室说什么”，最终给出一张从“2 倍信念更新”到“100 倍信念更新”的认证阶梯和一份最小化报告模板。

与已有工作不同的是，已有批判工作的独特之处与本文的切入点对比鲜明：前人都是定性的——既没有量化由此产生的“证据缺口”究竟有多大，也没有指出缺口在何处会随数据增加而闭合、在何处永不闭合。本文下探到“单一证据源能承载多少权重”这一层（安全案例程序做的是证据聚合，本文给出聚合所需的“每源”数量）；用 1983 年的零事件界做闭式推导，第一次在两个方向（充分性与不可能性）同时给出闭式，并定位一条独立的第二条分界——干净跑分与单次复现失败“证据相等”的交叉率 $p_\times$；再把分析从被动基准推广到任意引导程序，指出真正决定证据价值的是“区分度 $\kappa$”而非“攻击成功率 $q_1$”，并对八个主流评估套件做了实测审计。

核心方法

整体思路是先有直觉、再走技术路线。直觉是：一次安全评估本质是从“测试集上的观测性能”推断“部署条件下未含于测试的行为”，任何此类推断都需要满足三条——统计充分性（样本够大、能从噪声中分辨信号）、分布有效性（测试输入分布代表部署分布）、结构泛化（鲁棒性可外推）。本文先用零事件界把第一条做成精确的闭式量，再经验性处理后两条。技术路线上，作者把证据生成过程抽象为元组 $E=(H,B,C,\Lambda)$：竞争假设 $H_0$（可接受风险，$p_s=r p_u$）与 $H_1$（风险升高，$p_u$），资源预算 $B$（基准的可行上界 $N_{max}$），把安全状态映射到可观测量 $r$ 的观测通道 $C$，以及似然比 $\Lambda(r)=P(r|H_1)/P(r|H_0)$。开脱性天花板 $\text{Ceil}^-(E)=\sup_{r:\Lambda(r)\le 1}\log\Lambda(r)$，由通道与预算共同决定，且据数据处理不等式，任何下游重打分或聚合都无法抬高它。

核心创新是把“基准能证明什么与不能证明什么”的边界变成一个可闭式计算的量，而非判断或口味问题。具体地，零结果似然比为 $\Lambda_0=[(1-p_u)/(1-p_s)]^n=[(1-p_u)/(1-rp_u)]^n$，要求 $\Lambda_0\le\tau$ 即得样本量判据 $n\ge -\ln\tau/[p_u(1-r)]$（一阶近似）。两条定理共享同一边界 $p_{min}\approx -\ln\tau/[N_{max}(1-r)]$：高于它则存在有限可行 $n$ 使一次零结果把后验赔率向安全移动至少 $\tau$ 倍，低于它则任何满足 $n\le N_{max}$ 的近似独立伯努利评估都不可能在阈值 $\tau$ 下提供安全证据——无论提示多样性如何。本质区别于已有方法的是：本文指出证据价值取决于假设之间的区分度 $\kappa=\log_2[(1-q_1)/(1-q_0)]$，而非攻击成功率 $q_1$；攻击成功率是把错误的对象当作度量（$q_1=0.9$ 但 $q_0$ 同样高时 $\kappa=0$，证据为零）。

方法步骤详情

方法分九步：(1) 设假设对 $H_0$ 为 $p=rp_u$、$H_1$ 为 $p_u$，$r\in(0,1)$（安全报告最常声称 $r=0.5$）。(2) 写零结果似然比 $\Lambda_0=[(1-p_u)/(1-rp_u)]^n$，$n=520$、$(p_u,p_s)=(0.001,0.0005)$ 时仅 0.77。(3) 解 $\Lambda_0\le\tau$ 得样本量判据 $n\ge-\ln\tau/[p_u(1-r)]$。(4) 定理 1（充分性）：$p>p_{min}$ 时存在 $n\le N_{max}$ 满足判据，$n$ 以 $O(1/p)$ 标度。(5) 定理 2（不可能性）：$p\tau$，任何提示多样性均无效。(6) 推论 1：交叉率 $p_\times=\tfrac12 p_{min}$。(7) 推广到任意引导程序：以 $q_1,q_0$ 替代 $p_u,p_s$，$\Lambda_0=[(1-q_1)/(1-q_0)]^n$，每试次 $\kappa$ 比特。(8) 决策论固定 $\tau=1/(L\cdot O_0)$，$L=C_{FN}/C_{FP}$。(9) 对八套件做功效、假认证、聚类、分布（对比 LMSYS-Chat-1M 的 9,089 条查询）与结构泛化审计。

技术新颖性

技术新颖性体现在五点。其一，把零事件界专门化到罕见事件区、在充分性与不可能性两个方向同时给出闭式，并据此做实测审计——前人批判只给定性结论。其二，发现并推导“交叉率”：在可计算的 $p_\times$ 处干净跑分与单次复现失败承载等量证据，其上干净跑分反超（$n=520,r=0.5$ 时 $p_\times=1.33\times10^{-3}$，$p=10^{-2}$ 处干净跑分比单次危害强 1.4 倍）——这一结论与“基准无用论”直接相反。其三，把分析从被动基准推广到任意引导程序，并指出区分度 $\kappa$（而非攻击成功率）才是正确的度量，一次区分性强的自适应战役（$q_1=0.9,q_0=0.1$）单次贡献 3.17 比特，抵得上被动基准约 4,400 条提示。其四，明确区分“干净的被动基准”与“单次复现的有害输出”回答的是两个不同问题（后者证明能力存在，前者证明能力缺失）。其五，给出从风险容忍度决策论推导阈值 $\tau$ 的整套链条，并据此把任意声称的容差直接换算成样本量下限。

**Figure 1**: The evidential ceiling and the two evidence regimes.

实验结果

核心发现四组。功效：$p=0.01$、改进 50% 下从 14.9%（XSTest，$n=250$）到 59.3%（SafetyBench，$n=2{,}100$），AdvBench（$n=520$）22.6%、HarmBench（$n=400$）18.7%，无一达 80%；80% 需约每臂 3,679 条。假认证：$p=0.001$ 时 StrongREJECT（$n=313$）73.1%、AdvBench 59.4%，5% 需 $n>2{,}995$、1% 需 $n>4{,}603$；$p=10^{-2}$ 时仅 299 条达 5%。证据比特：$n=520,r=0.5$ 时干净跑分在 $p=10^{-2}$ 处 3.779、$p=10^{-4}$ 处 0.038；$p_\times=1.33\times10^{-3}$，其上干净占优（强 1.4 倍），其下单次危害占优（$p=10^{-5}$ 达 265.6 倍）。区分度：$q_1=0.9,q_0=0.1$ 单次 3.17 比特、5 次 15.85；$q_1=q_0=0.9$ 则零证据。分布：基准到部署相似度仅 0.057 vs 内部 0.18，过量 3.1–3.5 倍。审计：九份披露仅一份给精确分子分母。

**Table 1**: Two regimes, one hypothesis pair. Evidence in bits carried by a clean benchmark and by one observed harmful output.

**Table 2**: Discrimination, not attack success, determines evidential worth.

**Table 3**: False-certification probability across the operating surface.

**Table 4**: The claims ladder. Required sample size for each level of claim at four harm rates.

**Table 5**: Minimum reporting template for a red-team null result.

**Figure 2**: Statistical power across eight evaluation suites.

**Figure 3**: False certification and the boundary.

查看结构化数据

任务	指标	本文	基线	提升
在边界工况 $p=0.01$、50% 改进下的统计功效（检出能力）	功效 $1-\beta$（单侧 $\alpha=0.05$）	AdvBench 22.6%、HarmBench 18.7%；范围 14.9%–59.3%	80% 功效需约每臂 3,679 条	明确量化“当前主流对抗基准功效普遍不足但若干套件在认证而非比较标准下仍充分”
$p=0.001$ 下零结果的假认证概率	$P(k=0)=(1-p)^n$	StrongREJECT 73.1%、AdvBench 59.4%	压到 5% 需 $n>2{,}995$，1% 需 $n>4{,}603$	首次把“基准干净跑分在罕见危害区几乎等于零证据”量化为具体概率
干净跑分 vs 单次复现失败的证据比特对比	$\|\log_2\Lambda\|$（比特）	$p=10^{-2}$：干净 3.779、单次危害 2.772；$p=10^{-5}$：干净 0.004、单次危害 0.996	交叉率 $p_\times=1.33\times10^{-3}$	推翻“单次失败总是更强证据”的直觉，给出二者交叉的可计算率
区分性自适应战役 vs 被动基准的证据效率	每试次比特 $\kappa=\log_2[(1-q_1)/(1-q_0)]$	$q_1=0.9,q_0=0.1$ 单次 3.17 比特，5 次 15.85	被动基准 $q_1=10^{-3}$ 需约 4,400 条提示匹配单次战役	证明“提升区分度而非扩大语料”是跨过不可能边界的有效路径

局限与改进

作者明确集中陈述的局限包括：其一，数学是初等的，零事件界可追溯到 1983 年，本文不主张数学新颖性，贡献只在评估设计的推论。其二，功效数字严重依赖假定的工况点，前沿模型危害率估计稀疏且“可辩护而非权威”，定性结论（$10^{-2}$ 充分、$10^{-4}$ 不足）稳健而具体百分比不然。其三，各套件估测量异质（XSTest 测过度拒绝、SafetyBench 是多选），强行共轴只是因为都被援引于同类部署主张。其四，分布差距只覆盖部署混合的一个成分（LMSYS-Chat-1M 采样普通使用），不约束对抗成分的距离。其五，第 4.5 节的推广依赖 $q_1,q_0$ 两个需估计的输入：$q_1$ 需阳性对照（其作为代理的有效性本身是假设），$q_0$ 更难估计（需知程序对“真正安全”模型的触发率）；表 2 的值只是展示结构而非任何已发表程序的实证估计。其六，两条定理都有明示的证伪器——若自适应引导在罕见危害区取得优于 $O(1/p)$ 的标度，边界就会移动，作者认为瓶颈论证倾向收紧而非放宽但并未给出紧性证明。

独立分析的弱点

独立分析下有几处弱点值得改进。第一，核心假设是“近似独立伯努利试验”，而真实基准提示严重聚类（论文自承 $m=10,\rho=0.1$ 即 $n_{eff}\approx0.29n$），把 $n_{eff}$ 代入二项似然仅一阶启发，改进方向是直接建模 beta-二项并给出 $p_{min}$ 的闭式修正。第二，估计 $q_1$ 需阳性对照，但模型若在受测时“藏拙”会高估区分度——这是框架对藏拙最锋利的暴露点，可改进为引入“受测状态转移”隐变量模型。第三，论文未形式化多源证据天花板如何聚合，仅点出“超过聚合天花板的安全案例在精确意义上不成立”为开放问题，改进方向是借鉴贝叶斯网络或逻辑门聚合。第四，部署混合的对抗成分距离未被约束，而灾难性风险声明恰关切该成分，改进方向是构建受控访问的真实对抗流量语料。第五，阈值 $\tau=1/(L\cdot O_0)$ 依赖主观性强的 $L$ 与 $O_0$，可改进为做敏感性曲面分析而非取点值。

未来方向

作者明确提出的方向是把天花板抽象定义实例化到其它证据类型——可解释性发现、人类能力提升试验（其统计结构很可能改变闭式而非仅改参数）、结构化专家引导——每类都需要自己的证据生成模型，这是自然的下一步；并探讨当每个被引证据源都带有可计算天花板时，安全案例若断言后验信心超过证据聚合天花板将“在精确意义上不成立”，但作者坦言这能否经受真实安全案例（定性+定量混合）的检验尚未确定，列为开放课题。基于本成果可延伸的方向还包括：在 beta-二项模型下重新推导 $p_{min}$ 的紧界；构建受控访问的真实对抗流量语料以约束部署分布对抗成分的距离；把区分度 $\kappa$ 作为引导程序设计的目标函数，主动搜索能在 $H_0,H_1$ 间最大化分离的程序族；以及把“最小化报告模板”（表 5）开发为可机读的透明度工具并据此对公开前沿披露做系统审计。

复现评估

复现性良好。代码开源于 https://github.com/hackwither/ai-redteam-evidential-limits ，所用数据集全部公开：AdvBench、HarmBench 公开仓库，LMSYS-Chat-1M 为门控数据集。软件栈明确（Python 3.12，numpy 2.4.4、scipy 1.17.1、scikit-learn 1.8.0、statsmodels 0.14.6）。核心数学是初等的零事件界与一阶近似，闭式可直接在电子表格复现；功效来自 8,000 次参数化蒙特卡洛（每工况点），二项抽样后做单侧两样本比例 z 检验，标度适中、单机可跑。分布分析需要训练/加载 all-MiniLM-L6-v2 嵌入与 UMAP，略有算力但可负担。主要不确定性来自工况点假设（危害率估计稀疏），而非代码或数据可得性——方法部分给出全部公式与超参（TF-IDF 大词 20,000 截 SVD 到 100 维、UMAP cosine、$n_{neighbors}=15$ 等），整体属于高度可复现的方法论/统计分析论文。

AI 红队评估的证明力边界 What AI Red-Team Evaluations Can and Cannot Prove