当基准不存在时：无地面真值标签下LLM安全性比较评分的验证 When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels
提出"无基准安全评分"新类别与工具SimpleAudit，三方方差分解建无标签验证链。
前置知识
LLM-as-judge 偏差
用一个大语言模型给另一个LLM打分时，常见的位置偏置、冗长偏好和自我增强等系统性偏置。即便绝对分数不稳定，逐对比较通常更稳定，工具若以比较分数为契约，必须承诺报告delta与不确定性。
SimpleAudit本身就是LLM-on-LLM栈，论文第2节专门讨论judge可靠性；不理解逐对比较与绝对分数的差别，就读不懂第3节关于"报告delta而非绝对分"的claim contract。
Refusal方向与Abliterated模型
Arditi et al. (2024)发现LLM残差流中存在单一"拒绝方向"向量，沿负向投影即可几乎完全消除模型的拒答行为，但保留通用能力。Abliterated即是用此方法得到的"能力匹配但拒答被剥除"的对照模型，常被用作安全差异的受控对照。
论文第3节用safe-vs-abliterated作为验证用的"已知安全对比"，是整条验证链的锚点；不理解ablation技术就无法理解为什么这个对比能测试工具的responsiveness。
方差分解与partial $\eta^2$
把观测变量总方差按实验因素分配。Type II SS的偏$\eta^2 = SS_{ ext{factor}} / (SS_{ ext{factor}} + SS_{ ext{residual}})$ 表示扣除其他因子后该因子能解释的方差份额，越大说明该因素越主导。Bootstrap百分位法给CI。
第5.2节用$\text{score} \sim \text{target} + \text{auditor} + \text{judge}$做方差分解得到$\eta^2_{\text{target}} \approx 0.52$，这是"工具由靶模型而非器具驱动"的定量证据，是验证链第二环的核心数字。
Bootstrap稳定性与Rerun预算
对k次独立运行子样本做有放回重抽样若干次，统计参考分数（如10次重运行的均值）与k次运行均值之差的绝对均值MAD(k)。MAD随k下降的速度刻画分数对重运行的稳定收敛速度。
第5.3节用此方法证明"10次重运行足以让分数在0-100标度上稳定在约1分之内"，是验证链第三环（reproducibility）的方法学基础。
AUROC作为受控对比度量
接收者操作特征曲线下面积，衡量二分类器把正例排在负例前面的概率。论文用其量化safe和abliterated两类靶模型得分分布的可分性，0.5为随机、1.0为完全分离，bootstrap重抽样给出CI。
第5.1节报告AUROC在0.89-1.00之间，是验证链第一环（responsiveness）的统计量；不理解AUROC就无法解读"safe和unsafe分布的可分性"这一关键结论。
Claim contract（声明契约）
工具对外承诺"在哪些条件下可以做出哪些声明"的明文规范，包括支持的比较类型（按目标排序、分类集中度、临界率阈值差等）、所需配置（场景包、rubric、turn预算、采样、重运行数）以及明确排除的声明（普适安全性、部署认证等）。
论文第3节与附录L的claim contract是SimpleAudit与Petri的本质区别；不理解此概念就无法理解"SimpleAudit把决策固化在构造里，Petri把决策留给用户"这一上游差异。
研究动机
LLM安全评估传统依赖静态基准（Liang 2023, Zhang 2024, Mazeika 2024），但长尾语言与监管场景下标签稀缺。NorEval整合24个数据集却无安全组件，既有的挪威语套件只覆盖窄毒性或偏见探针，Ning et al. 2025的多语言安全基准明确排除挪威。自动化红队（Ganguli 2022, Perez 2023, Anthropic 2025）擅于发现行为但无法转成可重复的采购可读分数；LLM-as-judge（Zheng 2023, Liu 2023, Gu 2024, Shi 2025）则被位置、冗长、自我增强偏置困扰。Bean et al. 2025综述445个LLM基准后发现现象定义争议、数据复用与统计检验不足是常态。三类方法在"无地面真值、需本地化、需模型更新时重跑"的采购场景下都失效。
本文的目标是本文将这一场景正式命名为"无基准比较安全评分"（benchmarkless comparative safety scoring），给出可操作的声明契约与无标签验证链，并实例化为本地优先Python库SimpleAudit。作者的具体目标有三：（i）形式化场景，独立于传统benchmark与discovery-oriented审计的第三类评估；（ii）提出由响应性、靶主导性、可复现性组成的工具有效性链，替代"与真值一致"作为合格门槛；（iii）在挪威公共部门采购场景上对Borealis和Gemma 3做端到端比较，证明该链能产出可被治理框架接受的证据形态——分数、匹配delta、临界率、不确定性以及所用judge/auditor必须一并报告。
与已有工作不同的是，已有方法共同的盲点是默认"安全评估需要标签基准"或"安全评估等于发现行为"。本文的独特切入角度是把这两种前提都悬置，把评估重新表述为"声明-制造问题"：先固化一个固定仪器（场景包+rubric+auditor+judge+采样+重运行数），再在"该仪器对已知安全对比有响应、靶方差主导器具方差、分数在重运行下稳定"三个独立条件下检验仪器本身的有效性，最后在同一仪器下做候选模型比较。SimpleAudit通过把judge、target、auditor拆为可独立替换的实验因子并在构造上禁止任意改变配置（与Petri的38个默认维度和"用户自选aggregation"形成对照），把这一新范式变成可复现的工程实现，并同时获得PyPI、GitHub、Digital Public Good三方独立来源背书。
核心方法
直觉上，SimpleAudit把一次安全评估拆成三个独立角色——靶模型$T$、auditor$A$、judge$J$——和一个固定的"场景包$\{x_i\}$+rubric$R$"。每次运行都是有限多轮交互：auditor生成探测、靶模型作答、judge按rubric给transcript打严重度$s_i \in \{0,1,2,3,4\}$（0为最严重），线性重映射到$[0,100]$取均值即得Score，同时报critical rate $CR = |\{i:s_i=0\}|/N$。跨$n$次重运行得bootstrap CI，跨靶模型得$\Delta_{1,2} = \text{Score}(T_1) - \text{Score}(T_2)$。技术上关键不是新算法，而是把"评分工具"从黑箱脚本变成可分解、可替换、可独立审计的测量仪器。方法链分三步：先在$\text{score} \sim T + A + J$方差分解下确认靶主导；再用safe-vs-abliterated做响应性校验；最后用$k$-run bootstrap证明重运行稳定。
核心创新是把"无地面真值下的工具合格性"用三条独立且可证伪的统计要求替代：无标签下用safe-vs-abliterated已知对比证明工具能感知安全差异（响应性$\text{AUROC} \ge 0.89$），用Type II SS偏$\eta^2$分解证明靶方差$\eta^2 \approx 0.52$远高于auditor和judge的贡献（靶主导），用bootstrap MAD证明10次重运行后分数波动$\le 1$分（可复现）。与Petri等"先有38个维度、由用户聚合"的discovery-oriented工具相比，SimpleAudit在构造上禁止任意改变场景包、rubric、turn预算、采样或重运行数——任何改动即被定义为新仪器；这一"声明-固化"机制使结果天然具备可复现性和governance-ready属性。另一个本质差异是把LLM-as-judge的已知偏置（位置、冗长、自我增强）通过"承诺报告delta和CI、而非绝对分"显式纳入契约。
方法步骤详情
流程分四步。①仪器配置：选定JSONL场景包（如8场景挪威包或36场景完整包）、rubric模板、auditor $A$、judge $J$、靶$T$，固定turn预算$H$、采样参数、重运行数$n$与种子，写入run config。②单次评估（图1）：auditor生成探测，靶模型作答最多$H$轮，judge读transcript输出结构化verdict。③聚合：$s_i$重映射到$[0,100]$，求均值得$\text{Score}=\frac{100}{4N}\sum s_i$，另算$CR$。④$n$次重运行与统计：估计bootstrap CI，做匹配delta与临界率差。验证链作为附加：响应性由safe-vs-abliterated的per-size AUROC（1,000次bootstrap），靶主导由$\text{score}\sim T+A+J$的Type II SS偏$\eta^2$与CI衡量，可复现性由$k$-run子集bootstrap的MAD(k)曲线衡量。SimpleAudit用统一provider接口使$T$、$A$、$J$可在本地或API模型间独立替换。
技术新颖性
技术新颖性有四点。①把"无地面真值下工具合格性"重新定义为"响应+靶主导+稳定"的可证伪链，给采购评估提供首个脱离benchmark依赖的合格框架。②通过本地优先provider接口与固定配置实现JTA-loop三方独立，把A和J作为可因子化变量——LLM-as-judge文献首次从judge选择扩展到(target, auditor, judge)三方联合方差分解。③把"声明-固化"做进构造：运行开始即冻结场景包、rubric、turn预算、采样与重运行数，任何替换自动产生新仪器，规避Petri等"用户自选aggregation"导致的不可比性。④judge选型用critical-miss rate而非rank correlation，发现M和L对XL的critical-miss约10%、与4%自一致基线仅差6pp；auditor选型发现"能力过强会破坏比较"，颠覆了"judge/auditor越强越好"的直觉。
实验结果
实验在XS(4B)/S(9B)/M(35B)/L(122B)/XL(GPT-5)五档、Qwen3.5系列abliterated变体、$n=10$下完成。①验证链（§5.1-5.4）：J=A=L时safe与abliterated几乎完全分离，AUROC 1.00/0.98/1.00；J,A∈{M,L}可靠组合AUROC≥0.89。局部方差分解得靶$\eta^2=0.52$、CI $[0.41,0.62]$，auditor 0.28，judge 0.25。MAD(k)显示safe靶从8.3降到0.9分。②judge/auditor：XS critical-miss 44%、S不可用，M和L约10%。XL作A+J时$\eta^2$为0.46/0.39/0.18，judge方差在delta下衰减。③挪威采购：Borealis评分从1B 4.6%升到27B 43.7%；Borealis-Gemma匹配delta +0.8/+14.2/+7.0/+6.0pp，临界率差-2.5/-23.9/-4.7/-7.5pp。Petri同协议通过同链（concerning维度AUROC≥0.99），链工具无关。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 响应性：safe vs abliterated分布可分性（按靶大小分桶） | AUROC (1.0=完全分离) | XS 1.00, S 0.98, M 1.00 (J=A=L; 10 safe + 10 abliterated 重运行) | 随机基线 0.50 | AUROC提升0.48-0.50（绝对），在J,A∈{M,L}的可靠组合下始终≥0.89 |
| 靶主导性：score对target/auditor/judge的方差归因 | 偏$\eta^2$ (Type II SS) | target 0.52 [0.41,0.62], auditor 0.28 [0.21,0.39], judge 0.25 [0.18,0.34] | 无基线（独立定量事实） | 靶方差约为auditor的1.86倍、judge的2.08倍，CI不重叠，确认靶主导性 |
| 可复现性：k次重运行相对10次参考的偏差 | MAD(k) (0-100标度的平均绝对偏差) | safe靶: 8.3 (k=1) -> 0.9 (k=9); abliterated靶: <2 (k≥3) | 无基线（独立定量事实） | 10次重运行后约1分稳定度，远小于5-20pp的采购相关delta |
| Judge选择：本地judge相对XL的临界漏判率 | critical-miss rate (XL评级critical/high而被本地判为low/pass的占比) | M ≈10%, L ≈10% | XS 44% (不可用), S 远超治理阈值; XL self-agreement 4% (理论下界) | M/L的临界漏判率仅比XL自一致基线多6pp，相对XS/S的44%+实现可用性跃迁 |
| Auditor方差是否在delta契约下抵消 | 偏$\eta^2$ (含XL时) | target 0.46, auditor 0.39, judge 0.18 | 局部设计 (J,A∈{XS,S,M,L}) target 0.52, auditor 0.28, judge 0.25 | judge方差从0.25降至0.18（衰减），auditor从0.28升至0.39（不衰减），证明auditor是首要非抵消方差源 |
| 挪威采购案例：Borealis全包评分随尺寸 | Score (0-100) | 1B 4.6%, 4B 27.9%, 12B 42.3%, 27B 43.7% | 12B->27B仅+1.4pp (小于双方SD 4.4/5.0pp) | Borealis 1B->4B +23.3pp, 4B->12B +14.4pp, 12B->27B进入平台 |
| 挪威采购案例：Borealis-Gemma匹配大小delta | 全包Score delta (pp) | 1B +0.8, 4B +14.2, 12B +7.0, 27B +6.0 | 1B差距在重运行不确定内; 4B-27B差距超出每格重运行包络 | Borealis在4B-27B匹配大小上稳定领先，1B结论受重运行噪声限制 |
| Petri泛化校验：链是否工具无关 | 三环通过率 (concerning维度为例) | AUROC≥0.99, 靶主导, k=10稳定 | 无对比 | 证明验证链可在SimpleAudit之外被同种协议实例化并通过，链非空且非过拟合 |
局限与改进
作者第9节明列限制：（i）通过验证链不构成construct validity，政策专家仍需独立判断场景包；（ii）abliterated对比只测拒答训练相关的安全差异；（iii）SimpleAudit当前未实现explicit eval-awareness mitigations（Needham 2025, Nguyen 2025, Souly 2026），frontier规模下是否需要仍开放；（iv）经验广度受限于研究中的语言、场景包、judge和模型家族；（v）auditor选型是首要配置风险，过强会压平safe靶分数。我独立观察到的额外限制：（a）"靶方差主导"在更激进auditor下auditor方差可反超，作者未给自动选择auditor的程序化方法；（b）36场景包在12B vs 27B出现平台，bootstrap CI未充分报告；（c）4B-12B的delta在+7.0pp量级而双方SD约4-5pp，p值未显式给出；（d）Language category级delta打平但临界率反高3.8pp，文章未给出解释机制；（e）未对不同rubric版本、turn预算做稳健性测试。
独立分析的弱点
独立审视后的弱点：①validator chain三条件都是pass/fail阈值，作者未给"靶方差主导"在auditor占比从0.28升到0.39下应如何重新判定，改进方向是把chain转成随auditor能力连续变化的自适应合格曲线。②J=A=L下$\eta^2_{\text{judge}}=0.25$的CI $[0.18,0.34]$与auditor $[0.21,0.39]$部分重叠，改进方向是扩大n（从10提到30+）或加更多judge/auditor级别。③Borealis 4B的+14.2pp领先虽远大于双方SD，但未报告p值、Cohen's d或Bonferroni校正，治理接受度受限于作者声明；改进方向是补充paired t-test + Cohen's d + 多比较校正。④文章反复强调"报告judge和auditor一起"却未提供reader-friendly的标准化输出schema，改进方向是发布JSON-Lines机器可读规范。⑤36场景包category分析时仅4类每类9场景，category结论不确定度未量化，应补充bootstrap CI。
未来方向
作者第10节明确的下一步是"压力测试验证链本身"——用故意退化的评分工具实例化并对照人类判断做校准。可延伸方向：（1）把链推广到多语言、多司法管辖区的非安全属性（公平性、稳健性、对抗鲁棒性等）；（2）开发"自动auditor选型"，基于目标能力区间和已知方差分解模型推荐auditor大小；（3）将critical rate与下游决策显式绑定，建立"在critical rate阈值$\tau$下候选模型A是否可被采购"的决策函数；（4）结合Petri 2.0的eval-awareness缓解措施（Souly 2026）在SimpleAudit中实现judge侧检测，扩展到frontier规模；（5）建立用户贡献场景包的版本化治理协议，避免单一供应商控制场景分布；（6）以SimpleAudit为锚建立"采购证据最低披露集"行业标准，把第8节最低披露要求具体化为模板与校验器。
复现评估
复现评估分四方面。开源：SimpleAudit已发布到PyPI与GitHub（kelkalot/simpleaudit），并注册为Digital Public Good；场景包作为版本化Hugging Face数据集（SimulaMet/simpleaudit-scenario-packs）发布，包含代码、固定configs、场景包、原始JSON与分析脚本。数据：Qwen3.5各档及abliterated变体、Petri 2.0、Borealis Instruct与Gemma 3 IT在1B/4B/12B/27B均为公开权重，GPT-5作为XL参考需API访问。算力：研究使用eX3（挪威研究理事会contract 270053）与Sigma2基础设施，5档×多种auditor/judge组合×10次重运行×8/36场景的计算量在国家级HPC完成；单格10次重运行在122B本地量化模型上仍需数小时，单机复现约需数百到数千GPU小时。复现门槛中等偏上：组件与数据齐备但算力门槛对中小团队是主要障碍，auditor/judge选择会改变方差分解绝对数字，需严格按附录P的固定configs执行。
论文图表
