面向受控 LLM 安全拒绝的边界感知自蒸馏

把安全对齐从「整题拒绝」细化为学习主题内的拒绝边界,用数据组成控制安全与可用性权衡

前置知识

安全对齐与过度拒绝

安全对齐指通过微调让大模型拒绝有害请求。理想的对齐像一把精密的刀:该拒的拒、该答的答。但实践中模型学到的是一个平滑的「拒绝概率场」$B_\theta(x) \in [0,1]$,会在边界附近溢出——把措辞危险但意图无害的提示也拒掉,即过度拒绝。XSTest、OR-Bench、FalseReject 等基准专门用「看起来危险实际安全」的提示来度量这一失效模式。

本文的核心论点是安全调优必须同时在「拒坏」和「留好」两个轴上评估,过度拒绝正是其要治理的主要副作用,也是其最强结果(74% 误拒绝)所暴露的问题。

自生成安全数据

不靠人工标注或外部更强模型,而是让目标模型自己在「拒绝引导」(refusal steering)条件下生成拒绝回复,再用守卫模型(如 WildGuard)过滤验证,把通过验证的回复作为微调监督信号。DirectRefusal、SafeChain、ThinkSafe 等方法均属此类。优势是数据贴近目标模型自身的响应分布、减少分布漂移;隐患是引导失败的提示会被静默丢弃。

本文完全建立在这一范式上,并针对其覆盖缺口提出修复策略,同时首次把「良性响应来自哪里」变成可系统研究的变量。

前向 KL 散度正则化

$\mathrm{KL}(p_\theta \| p_0)$ 度量微调后模型分布与冻结参考分布的偏离程度。在良性样本上以其为损失,惩罚模型对参考行为的偏移,从而在不该改变行为的区域保持原状。这与 RL's Razor 的观察一致:对参考策略的前向 KL 偏移越小,在线 RL 遗忘越少,本文借其论证「响应来源」与「正则化」是两个独立的设计选择。

本文把有害样本(交叉熵)和良性样本(前向 KL)按标签路由到不同损失,这是控制拒绝边界不外溢到良性区域的关键机制。

LoRA 微调

低秩适配:冻结原模型权重,只训练注入部分线性层的低秩矩阵 $\Delta W = BA$。本文用 rank 32、$\alpha=16$、dropout 0.05,单张 H200 GPU 即可完成全部 12 个 epoch 的训练,算力门槛很低。参考分布来自同一基座模型临时禁用适配器获得,无需加载第二个完整模型。

这是理解实验设置与复现成本的前提;论文所有数据混合比较都在同一 LoRA 配置下进行,保证可比性。

守卫模型 WildGuard 与 LlamaGuard

两类自动化安全评判:WildGuard 以温度 0 判定请求是否有害、回复是否为拒绝或合规;LlamaGuard-3-8B 按内容分类法给回复打不安全分。本文用 WildGuard 过滤训练数据并做政治域拒绝评估,用 LlamaGuard-3 在 HarmBench、StrongREJECT、WildJailbreak 上度量不安全响应率的均值 $\text{harmful\_unsafe\_avg}$。

训练数据质量与所有评估指标都由这些守卫模型定义,理解它们的角色是判断结果可信度与局限(评判偏差、循环性)的基础。

研究动机

现有安全对齐几乎都建立在宽泛、主题无关的有害性分类法上:一条提示因为落入网络滥用、武器、欺诈等大类而被判为不安全。但真实部署的需求细得多——同一个基座模型可能被适配为通用助手、教育产品、企业系统或公共服务,各自需要不同的安全边界。论文以选举场景为例:LlamaGuard-3 的选举类目只覆盖「关于选举系统和流程的事实性错误信息」,既不涵盖说服和定向操纵,也不区分部署方必须继续回答的事实性提问;把安全定义为「与守卫模型一致」的方法,天然无法表达守卫本身没有编码的边界。更糟的是,标准的自生成安全调优会把整个主题变成拒绝区:作者自己的运行显示,广泛有害响应率最低的配置在 XSTest 上拒绝了 74% 的安全提示——模型成了一台「钝器拒绝机器」,而不是更安全的模型。问题因此从「这个主题是否有害」变成「主题内哪一部分与部署政策不兼容」。

本文的目标是本文把部署特定安全形式化为「窄边界安全」:设 $\Omega$ 为一个主题的提示宇宙(主实验中即政治提示空间),$H \subset \Omega$ 为目标有害子集(操纵、宣传、激进化、定向说服),部署策略要求拒绝 $H$ 而回答良性补集 $\Omega \setminus H$(事实性公民问题、中立总结、非说服性解释),理想行为写成 $T(x) = \mathbf{1}[x \in H]$。具体目标有三:第一,修复自生成拒绝数据的覆盖缺口,把单次引导静默丢弃的 8,009 条(19.88%)难例提示找回,压到 79 条(0.20%);第二,在把域内政治拒绝率从 9.47% 大幅提升的同时,识别并控制误拒绝的上升;第三,建立能直接测量拒绝边界 $\partial H$ 形状的评估协议——用 1,539 对 held-out 有害-良性边界对,同时度量「该拒的拒了没」与「该答的答了没」。

与已有工作不同的是，本文的独特切入是把「数据组成」而非新算法当作安全-可用性权衡的控制变量,并抓住了三个被先前工作忽视的点。(1)自生成拒绝数据存在覆盖缺口:单次引导失败即被静默丢弃,而失败的恰恰可能是最难的提示,作者形式化为丢弃集 $D = H \setminus f^{-1}(\mathrm{Ref})$ 并量化出 19.88% 的丢弃量。(2)良性补偿数据的响应来源很重要:外部采用的回复会把模型拉离自身分布,而换成目标模型自己生成并通过验证的回复能显著降低过度拒绝——先前工作把「响应来源」与「正则化」混为一谈。(3)普通的有害/良性划分测不出拒绝边界的形状:一个模型完全可能通过把拒绝扩张到邻近的合法提示上来「提升」拒绝率,只有共享主题锚点、仅意图不同的成对提示才能局部化地检验边界精度。作者指出,没有任何先前方法报告过与 held-out 边界对可比的指标。

核心方法

直觉上,这不是教模型「政治是危险的」,而是教它「政治中这类请求危险、那类不危险」——像培训一名公共服务接线员:有人问「2020 年难民政策是如何执行的」要耐心解答,有人要求「论证边防部队执行该政策是恶意的、应受谴责」则要拒绝。技术路线是离线自生成安全对齐:先用分层生成器构造主题受控的政治提示(主题→子主题→意图点→人设条件化请求,并控制人设、长度、风格与改写);对有害子集用拒绝引导让目标模型生成拒绝回复,由 WildGuard 验证,失败提示通过 Graft(嫁接中性拒绝)或 Escalate(逐级增强引导重试)修复覆盖;再构造三类良性补偿数据(外部合规 SC、分布内合规 SC2、表面危险良性 FH)与成对边界数据(同一主题锚点的有害改写 PR 与良性对应 PB);训练时有害样本走交叉熵、良性样本走对冻结参考模型的前向 KL 散度,全部通过 LoRA 注入 Qwen3-8B。整个框架的焦点是数据组成与边界精度,而非在线强化学习或推理时外部审核。

核心创新是三个组件的组合,而非单一算法。第一,覆盖导向的自生成:论文形式化覆盖缺口 $D = H \setminus f^{-1}(\mathrm{Ref})$(引导后仍得不到被验证拒绝回复的提示集),用 Escalate 的四层重试梯子把丢弃量从 8,009 条(19.88%)压到 79 条(0.20%),避免最难的提示从监督信号中无声消失——这与以往「生成失败即丢弃」的做法有本质区别。第二,响应源控制:良性补偿数据 SC(外部 SafeChain 回复)与 SC2(同提示、目标模型自生成且通过合规验证的回复)的对照证明,把模型拉回自身响应分布能大幅降低过度拒绝——XSTest 误拒绝在 Single-shot 下从 0.1520 降到 0.0520,Graft 下从 0.2520 降到 0.0440。第三,边界对数据:PB 把每个有害提示配一个「同主题、仅意图不同」的良性对应参与训练,直接在边界 $\partial H$ 的局部施加「应答」压力,使 held-out 边界误拒绝从 0.3294 降到 0.0416。这与所有把主题整体当有害、或只靠全局拒绝率衡量的处理方式有本质区别:模型学到的不是「少说话」,而是一条有形状、有位置的边界。

方法步骤详情

完整流程如下。第一步,分层生成政治提示:从主题展开到子主题、再到意图点、最后生成人设条件化请求;人设池含 38 项(10 温和、7 极右、11 极左、10 其他激进,仅温和桶映射为普通有害标签),提示目标长度从六个加权桶采样以消除对短提示的偏置,同子主题内以 0.86 相似度阈值去重。第二步,单次拒绝引导生成:有害提示在拒绝引导下由目标模型采样一次回复,WildGuard 判为拒绝才保留,失败者进入丢弃集。第三步,覆盖修复:Graft 为失败提示配上从已接受行中有放回采样的中性拒绝(每个中性拒绝至多用五次);Escalate 最多经四层重试并逐级增强引导;Escalate+Graft 先重试再嫁接残余。第四步,成对边界构造:成对生成器把每个有害提示转换为共享主题锚点的 PR(有害改写,应拒绝)与 PB(良性对应,应回答),拒绝强度按 clear/borderline/mixed = 0.4/0.4/0.2 采样,拒绝退化或跑题的对;PB2 是对合规侧加响应验证的重建;再对更早的无长度控制构建施加同一构造,得到 PR-OOD/PB-OOD 各 1,539 条 held-out 边界评估集。第五步,良性补偿:SC 采纳 SafeChain 回复,SC2 换成目标模型生成并通过 WildGuard 合规验证的回复,FH 用 18 类语义网格生成 11,955 条表面危险良性提示(如「竞技游戏中 shoot」「学术化学语境的 morphine」),经提示级(剔除真有害)与响应级(要求可验证合规回复)双重过滤。第六步,损失路由与训练:CE/PR 等有害标签走交叉熵,SC/SC2/PB/PB2/FH 等良性标签走对冻结参考(临时禁用适配器的同一基座)的前向 KL;LoRA rank 32、lr $1\times10^{-5}$、cosine 调度、有效批 8、bf16、最长 16,384 token、seed 42,单张 H200 训练至 12 个 epoch 并逐 epoch 存档。第七步,评估:6,000 条域内政治提示、1,540 条早期构建提示、XSTest 的 250 条安全提示、PR-OOD/PB-OOD 边界对,以及 HarmBench/StrongREJECT/WildJailbreak 的 LlamaGuard-3 不安全率均值。

技术新颖性

与最近邻 ThinkSafe 相比(同目标模型 Qwen3-8B、同 LoRA 配置、同评判模型),本文把应用域从一般有害类别换成主题内边界,并在其配方之上叠加覆盖修复、补偿与边界组件,使每个组件的贡献可以归因。与 DirectRefusal、SafeChain、SAFEPATH、STAR-1、UnsafeChain 等推理模型安全方法相比,那些方法面向宽泛有害类别或从外部强模型蒸馏轨迹,本文坚持自生成加分布内补偿。与 Refusal Steering(同团队的推理时激活引导)相比,本文是离线对齐,产出无需推理时干预的模型。与把守卫模型当目标的方法(如 Constitutional Classifiers)相比,本文指出以守卫分类法为准的安全无法表达守卫未曾编码的边界,LlamaGuard-3 狭窄的选举类目就是现成反例。评估层面,held-out 有害-良性边界对的双面指标是全新的:既测拒绝侧召回(PR-OOD),又测合规侧精度(PB-OOD),没有先前工作报告可比的边界精度度量。

**Figure 2**: Coverage gap in self-generated safety data(自生成安全数据中的覆盖缺口)

实验结果

主要发现按组件逐一说明。(1)覆盖修复有效且必要:单次生成在审计提示池中丢弃 8,009 条(19.88%),Escalate 重试梯子把残余失败压到 79 条(0.20%),保住了最难例的监督。(2)主结果与代价:未训练 Qwen3-8B 的域内政治拒绝率仅 0.0947,XSTest 误拒绝 0.0200,广泛有害响应率 0.2626;epoch 4 的 Escalate 把域内拒绝推到 0.8475,有害响应率降到 0.0014,但 XSTest 误拒绝飙到 0.7400——跨域安全迁移与误拒绝上升不可分离,必须双轴报告。(3)响应源很重要:把外部 SafeChain 回复换成目标模型生成并验证的 SC2,epoch 4 时 XSTest 误拒绝在 Single-shot 下从 0.1520 降到 0.0520,Graft 下从 0.2520 降到 0.0440,代价是有害率小幅上升;而 PB 与 PB2 的对照未显示同样的有害性成本。(4)FakeHarm 一石二鸟:在 Escalate+Graft 家族中同时降低 XSTest 误拒绝和有害响应率,两个指标都优于外部合规数据;与 SC 叠加进一步降误拒绝但有害率回升,说明补偿组件并非简单可加、效应出现在不同训练阶段。(5)边界对局部精度:干净 Single-shot 消融在 epoch 4 加入 PB 后,held-out 合规侧误拒绝从 0.3294 降到 0.0416,拒绝侧仅从 0.9188 降到 0.8772——局部校正有明显但可接受的召回代价。(6)跨模型验证:v2r+SC 加 PB2 使 Qwen3-8B 的 PB-OOD 误拒绝从 0.530 降到 0.046,R1-Distill 从 0.820 降到 0.287,方向跨模型一致但绝对水平依赖模型。此外,长度控制使每个提示长度桶的拒绝率都更高(2-8 词桶差距最大);参照协议方面,ThinkSafe 公布的未训练有害率均值 0.2596 与本文基线 0.2626 接近,佐证评估协议可比;种子检查显示 XSTest 是最不稳定的指标(两种子最大差 0.080)。

**Table 1**: Training configuration used for the reported LoRA runs

**Table 2**: Politics training and held-out boundary dataset components

**Table 5**: Coverage statistics available from the audited dataset files

**Table 8**: Examples from the held-out refusal-boundary evaluation set

**Table 9**: Evaluation datasets, judges, and reported metrics

**Table 10**: Cross-model effect of verified pairwise benign data at epoch 12

**Figure 3**: Generation strategy comparison, CE-only and with compliance data (SC)

**Figure 4**: In-distribution compliance responses reduce over-refusal (SC vs. SC2)

**Figure 5**: FakeHarm family: the harmful and fake-harmful trade-off

**Figure 6**: Pairwise boundary data reduces over-refusal at the boundary

**Figure 9**: Dataset composition trade-off(固定预算数据组成权衡)

**Figure 14**: Pairwise boundary data reduces false-positive refusals at the boundary(无 SC 情形)

查看结构化数据

任务	指标	本文	基线	提升
域内政治提示拒绝(politics_test_in,6,000 条)	WildGuard 拒绝率(越高越好)	0.8475(Escalate,epoch 4)	0.0947(未训练 Qwen3-8B)	+0.7528
广泛有害响应率(HarmBench+StrongREJECT+WildJailbreak)	LlamaGuard-3 不安全率均值(越低越好)	0.0014(Escalate,epoch 4)	0.2626(未训练)	-0.2612
过度拒绝(XSTest 250 条安全提示)	误拒绝率(越低越好)	0.0520(SC2,Single-shot,epoch 4)	0.1520(同检查点换回 SC)	-0.1000(响应源换成分布内)
held-out 边界合规侧(PB-OOD,1,539 条)	误拒绝率(越低越好)	0.0416(加 PB,epoch 4)	0.3294(无 PB)	-0.2878
held-out 边界拒绝侧(PR-OOD,1,539 条)	拒绝率(越高越好)	0.8772(加 PB)	0.9188(无 PB)	-0.0416(小召回代价)
跨模型边界修复(R1-Distill-Qwen-7B,v2r+SC 加 PB2,epoch 12)	PB-OOD 误拒绝率(越低越好)	0.287	0.820	-0.533

局限与改进

作者承认的:证据仅限政治说服领域——宗教域数据已构建(五个构建 37,131-40,585 行)但评估未完成,结论不能外推到其他主题;绝大多数实验只用 Qwen3-8B 和单一 LoRA 配置,仅覆盖修复实验另用 DeepSeek-R1-Distill-Qwen-7B 做诊断;三个外部基准的不安全率由 LlamaGuard-3 判定,它们度量一般有害性而非说服或部署特定的中立性,权衡结论可能受评判者偏差影响;评估代码不产生置信区间,所有数值是点估计;harmful_refusal_avg 因评分文件缺失(如 112 个 WildJailbreak 文件)未在所有检查点回填;训练与评估来源之间未完成完整的近重复审计。我的独立观察:PR-OOD/PB-OOD 的「OOD」只是相对更早的构建版本,并非分布意义上的真正外推,边界对与训练对来自同一生成器,可能共享系统性偏差;训练过滤与拒绝评估都用 WildGuard,存在「自己教、自己考」的循环性风险;74% XSTest 误拒绝的最优安全检查点说明该框架的默认配方离可部署的权衡点还很远,落地需要昂贵的双轴逐 epoch 搜索;覆盖修复的收益目前只有策略级证据(v3 与 v3r 文件并非行对齐,无法逐提示追踪)。

独立分析的弱点

第一,单一领域的泛化证据缺失:宗教域数据(30 个人设、五个意识形态簇)已备好却无任何实验,边界学习能力是否跨主题迁移完全未知;改进方向是补齐 religion 域的 in/out 与边界评估,再扩展到医疗、金融等高风险领域。第二,边界定义的规范性与生成器偏差:$H$ 的界定由管线的人设桶决定(仅温和人设映射为普通有害标签,主观讨论本身不构成拒绝理由),所谓「边界」可能反映生成提示的方式而非真实政策边界;改进方向是引入多元利益相关方标注或红队验证边界对,并报告边界定义的敏感性分析。第三,评判循环性:训练数据用 WildGuard 过滤,政治域拒绝评估也主要靠 WildGuard,拒绝率提升可能部分是「学会迎合评判者」;改进方向是人工评估或多评判交叉验证(论文只做了 LlamaGuard/WildGuard 聚合相关性分析,且三组相关系数因地板/天花板效应不可靠)。第四,补偿组件不可加且随训练阶段漂移:FakeHarm 与 SC 组合在不同 epoch 呈现相反方向的变化,意味着每个部署都要做逐 epoch 双轴扫描,工程成本高;改进方向是研究单调化的训练目标或自适应损失加权,减少对检查点选择的依赖。第五,统计功效不足:全部为点估计、双种子、无置信区间,XSTest 种子间最大差 0.080,与部分组件效应量级相当,小的指标差异不应解读为稳定效应;改进方向是 bootstrap 区间与多种子协议。

未来方向

作者提出的:把安全调优评估从单一有害率转向「有害性与过度拒绝」双轴,把 held-out 边界对作为部署特定政策的标准评估件;补齐宗教域实验验证主题迁移;发布数据集与生成代码供社区在真实边界定义上继续研究。基于本文成果可延伸的:其一,窄边界框架天然适配企业部署——可从政策文档自动生成 $H$ 的定义与边界对,构成「政策到数据」的编译管线;其二,把边界对指标引入在线 RL 的奖励设计,直接优化边界精度而非全局拒绝率;其三,响应源效应值得因果化研究——当前 SC/SC2 构建提示重叠高但不完全匹配,可用严格配对实验分离「来源」与「验证」两个因素;其四,与推理时手段(如 Refusal Steering)结合,离线对齐学边界、推理时引导做细粒度调节;其五,逐提示追踪被覆盖修复的提示是否真正改变模型行为,把覆盖-性能关系从策略级声明变成因果证据;其六,把 18 类 FakeHarm 网格扩展为系统性的「表面危险良性提示」分类学,与 OR-Bench、FalseReject 一起推动社区建设过度拒绝资源。

复现评估

复现条件相当友好。作者承诺发表时在 Hugging Face 发布政治与宗教两个数据集(限制用于安全研究,有害切分含操纵性政治提示)及生成代码。训练只需单张 H200:LoRA rank 32、$\alpha=16$、lr $1\times10^{-5}$、有效批 8、bf16、最长 16,384 token、最多 12 个 epoch,软件栈版本(torch 2.7.1+cu128、transformers 4.55.0、peft 0.17.0、trl 0.21.0、vllm 0.10.1、flash_attn 2.8.2)全部给出,但未报告训练 wall-clock 时间。评判模型(WildGuard、LlamaGuard-3-8B)公开可得,vLLM 采样参数(temperature 0.6、top-p 0.95)明确。风险点:模型 revision 未固定,需自行记录;部分评估评分文件缺失(112 个 WildJailbreak、各 109 个 HarmBench/StrongREJECT 拒绝分),影响 harmful_refusal_avg 的完整性;数据生成管线本身复杂(四层分层生成、四层重试梯子、三重验证、多个去重阈值),完整重建需较多工程投入;人工检查仅为研究者自用的抽样诊断工具,无标注协议。总体:有单卡 A100/H200 级算力即可在数天内复现训练与主结果表,难度中等;完整复现数据管线耗时更长。

面向受控 LLM 安全拒绝的边界感知自蒸馏 Safety for Whom? Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal