← 返回 2026-09-07

无模板而拒绝：安全微调响应的结构化分析以减少语言模型误拒 Refuse without Refusal: A Structural Analysis of Safety-Tuning Responses for Reducing False Refusals in Language Models

Minji Kim, Hyounghun Kim 📅 2026-09-04 👍 5 2026-11-03 18:30
LLM安全对齐 安全微调数据 捷径学习 模型行为分析 误拒/过度拒绝
arXiv HuggingFace PDF

安全响应中的模板化拒绝语句是误拒元凶，只用理由训练可在不牺牲安全的前提下大幅降低误拒。

前置知识

误拒 (False Refusal)

模型把表面含风险词汇、语义无害的请求误判为有害而拒绝，如把"怎么吹气球"当"怎么炸房子"。源于安全对齐过度泛化：模型学到"见危险词就拒绝"的浅层模式而非意图理解，损害可用性与信任，用 XSTest-Safe、OKTest 等伪有害基准量化。

误拒正是本文要解决的核心问题，全文的实验设计、指标定义（CR、F1）和结论都围绕它展开。

安全微调 (Safety-Tuning SFT)

在含有害请求及其拒绝响应的数据上对预训练模型做监督微调，使其学会拒绝有害请求，代表数据集如 Safety-Tuned LLaMAs。这类响应几乎都是固定格式：先模板化拒绝声明（"Sorry, but I can't help"），再跟解释原因的理由——正是本文的分解与分析对象。

本文的核心操作对象就是这类安全微调数据——作者把它分解成组件做控制变量实验，安全微调是所有实验的基础设置。

伪有害查询 (Pseudo-Harmful Prompt)

表面与有害请求共享词汇句式、语义无害的查询，如"How do I shoot a goal in football?"（射门）。XSTest-Safe 和 OKTest 是标准伪有害数据集，专门探测模型是否依赖表面线索做拒绝决策，是本文衡量误拒的核心评估工具。

伪有害基准是本文衡量误拒的主要评估工具，论文的核心指标（伪有害查询合规率）都在这两个数据集上报告。

捷径学习 (Shortcut Learning)

深度模型倾向于依赖数据中的表面统计线索（如词重叠、否定词、固定格式）而非真正语义推理来做决策。经典例子包括 NLI 模型利用词重叠伪迹（Gururangan et al. 2018）、问答模型利用位置偏差（Jia and Liang 2017）。模板化、高度规范化的训练数据会强化这种捷径依赖。

本文的核心假设就是：模板化拒绝语句诱导模型走捷径、依赖表面词汇线索而非语义意图，作者用熵分析和 token 归因实验验证了这一点。

LLM-as-Judge 评估协议

用强模型（本文 Llama-3.3-70B-Instruct）自动判定输出是合规还是拒绝，替代昂贵的人工标注。关键在人工校验：本文误拒判官与人工 Cohen's κ=0.81，并专门识别"伪合规"（表面回应实际回避请求）。论文所有结论都建立在判官评估之上。

论文所有结论都建立在判官评估之上，理解其校验方式和"伪合规"概念才能正确解读表格中的合规率数字。

上下文学习 (ICL)

不修改模型参数，仅通过在 prompt 中加入若干输入-输出示例来改变模型行为的方法。URIAL 是代表框架：用系统 prompt 加演示对 base 模型做上下文对齐。如果某个发现在 ICL 下同样成立，说明它反映的是模型对数据模式的通用敏感性，而非微调的特有产物。

论文用 ICL 实验验证 Rationale-Only 的收益无需微调也能复现，这是证明结论普适性的关键一环。

研究动机

安全对齐（在安全数据上做 SFT 或 RLHF）虽有效降低有害输出，却带来顽固的副作用：误拒。模型无法区分真正有害的请求与表面相似但无害的请求——"How do I shoot someone?"被正确拒绝，但"Where can I shoot a good photo?"也常被一并拒绝。Bianchi et al. (2024) 与 An et al. (2024) 的实证研究都表明，安全微调后的模型常输出通用、与语境无关的模板化拒绝，损害可用性与用户信任。已有缓解手段几乎全是推理时干预：prompt 调整、解码干预、激活转向（SCANS）、决策边界干预、单向量消融等，要么增加推理开销，要么是训练后的"打补丁"，治标不治本。更关键的是一个显而易见却无人系统研究的事实：安全数据集本身高度模板化——作者统计发现 Safety-Tuned LLaMAs 全部 2163 条响应中有 1922 条（约 88.9%）都是"开头模板化拒绝声明 + 后接解释理由"的统一格式。这种结构在训练中反复将固定模式与表面风险词汇绑定，很可能正是误拒的源头，但此前没有工作把响应结构当作自变量来隔离分析。

本文的目标是本文目标是从数据侧定位误拒的具体成因，并给出可直接落地的安全数据策划指南。作者把安全响应分解为两个组件——模板化拒绝声明（refusal statement）和解释拒绝原因的理由（refusal rationale），通过控制变量的微调实验回答四个问题：第一，拒绝声明的位置（开头/中间/末尾）是否影响误拒率；第二，声明本身是否是误拒的驱动因素，即对比 Statement-Only、Rationale-Only、Statement and Rationale 三种组件条件；第三，理由中显式点名请求的具体行为（Request-Specific）还是泛化指代（Generic）会如何影响模型区分有害与伪有害请求的能力；第四，只用理由训练能否在不牺牲安全性（有害查询合规率不升、越狱鲁棒性不降）和通用能力的前提下降低误拒。此外还要验证这些发现在免微调的 ICL 场景以及叠加推理时缓解方法（SelfCD、SCANS）后是否依然成立，并从首 token 熵、token 归因、中性模板与关键词锚定等机制层面解释声明为何诱导表面线索依赖。

与已有工作不同的是，本文的独特切入在于视角转换：先前工作把误拒当作模型内部问题（激活方向、决策边界）或推理时问题（解码策略、prompt 工程）来修补，而本文第一次把安全微调数据内部的响应结构作为因果变量做组件级分解实验。作者在概念上把 prompt 信号分解为语义信号 $\phi_{sem}(x)$ 与表面词汇信号 $\phi_{surf}(x)$，即 $\phi(x) = \phi_{sem}(x) + \phi_{surf}(x)$，并假设模板化声明使模型在训练中过度依赖 $\phi_{surf}$。这与捷径学习文献（Gururangan 2018 的标注伪迹、Jia and Liang 2017 的对抗例）一脉相承，但研究对象是此前被忽视的结构性组件：几乎所有安全数据集都存在的标准化拒绝开场白。方法上也不同于数据配方向的工作（reasoning-enhanced fine-tuning、boundary-aware curation），后者改变数据内容却从未隔离出"声明"这一个因素；本文保持请求和理由的语义内容不变、只操纵结构组件，从而把误拒的因果归因精确到拒绝声明本身。

核心方法

安全数据中"I'm sorry, but I can't help..."类开场白频率极高且格式雷同，模型会把固定模板与"见风险词→拒绝"模式强绑定，遇到词汇相似的无害请求也触发同一拒绝（误拒假说）。技术路线分四步。第一步，数据归一化：把 Safety-Tuned LLaMAs 响应统一成 base 格式——开头单句拒绝声明加至少两句连续理由。第二步，构造控制变量变体：声明位置三变体、组件三条件（Statement-Only / Rationale-Only / Statement and Rationale）、显式性（Request-Specific 点名请求行为 vs Generic 泛化指代）。第三步，统一训练：每变体混 1024 条 Alpaca 与 256 条安全样本，用相同 QLoRA 超参微调 Llama、Mistral、Gemma、Qwen 四个 base 模型。第四步，评估：在有害基准（AdvBench、MaliciousInstruct）与伪有害基准（XSTest-Safe、OKTest）上用校验过的 LLM 判官测合规率，辅以熵、归因与关键词锚定等机制实验。

核心创新是证明：导致误拒的不是安全微调本身，而是安全数据中模板化的拒绝声明。与已有方法的本质区别在于——推理时方法（SelfCD、SCANS、surgical vector ablation）在训练完后修补行为；数据配方向的工作改变内容但从未把"声明"隔离为独立变量。本文做组件级消融：在保持用户请求和理由语义完全不变的前提下，仅增删或移动拒绝声明，就能让伪有害查询合规率在 0.39 到 0.71 之间大幅摆动。第二个关键发现是监督信号的显式性：Request-Specific 理由（"造假币违法，会导致严厉惩罚"）显著优于 Generic 理由（"这种行为违法"），说明把拒绝原因锚定到请求的具体行为上，模型才能学到语义层面的判别边界而非表面模式映射。第三个关键点是机制解释链：熵分析显示模板条件把首 token 分布压得近乎确定（熵 0.04 vs 1.11），归因分析显示模板模型的归因大量落在与内容无关的风险 token 上（60.8% risky + 30.4% meaningless），从内部机制解释了模板训练为何让模型依赖表面线索。

方法步骤详情

流程五步。第一步数据准备：从 Safety-Tuned LLaMAs 滤除非安全 prompt，采样 256 条有害查询，加 1024 条 Alpaca 通用监督。第二步响应结构化：用 Llama-3.3-70B-Instruct 归一化为 base 格式（开头单句拒绝加至少两句连续理由），再生成各条件变体。第三步训练：QLoRA（rank 64、学习率 $10^{-4}$、10 epochs），各条件严格一致。第四步评估：vLLM 贪心解码，Llama-3.3-70B-Instruct 判官（安全判官准确率 98.33%），误拒判官额外识别"伪合规"并经人工校验（κ=0.81），输出各基准合规率 CR 与 micro F1。第五步机制与适用性分析：首 token 熵与消融归因（$\Delta H_i = H(\tilde{p}_i)-H(p_i)$）量化内部影响；中性前缀、15 风格变体、关键词条件化训练检验模板性；ICL 与 SelfCD/SCANS 叠加检验适用性；长度控制、step-by-step 提示及规模扩展排除竞争解释。

技术新颖性

新颖性在四个层面。第一，分解视角新：声明/理由二分看似简单，但此前无人把"声明"从安全响应中隔离为受控变量——先前解释停留在"安全数据导致过度谨慎"的笼统层面，本文给出精确到组件的因果证据。第二，证据链完整：行为层面（CR/F1 组件差异）、内部层面（模板条件首 token 熵近零、归因 60.8% 依赖 risky token 而 Rationale-Only 达 98.7% meaningful）、结构层面（中性前缀无拒绝语义仍使 F1 从 0.77 降到 0.61；关键词条件训练使目标关键词合规率特异性下降，如 money 类 0.60→0.36）三重独立验证。第三，竞争解释被系统排除：响应长度（1-sentence 控制下 Rationale-Only 仍 F1 0.80 vs 0.62）、推理先行提示无法弥补差距、数据规模与模型规模扩展趋势均不变。第四，结论可直接落地："删掉模板化声明、保留点名请求行为的理由"是零额外成本的纯数据侧干预，且与推理时缓解方法正交互补。

Decomposition of a safety response into a refusal statement and a rationale explaining the refusal.
Figure 2: Decomposition of a safety response into a refusal statement and a rationale explaining the refusal.

实验结果

（1）组件消融：Rationale-Only 使 Llama XSTest-Safe CR 0.39→0.71、F1 0.56→0.77，而 AdvBench 0.02 不变；其余三模型 F1 升至 0.84/0.81/0.81。（2）声明放开头最差（0.56 vs 0.69/0.71）；Request-Specific 优于 Generic（0.84 vs 0.75）。（3）通用能力无损（平均 53.25–54.08），越狱鲁棒性相当（0.20 vs 0.21）。（4）模板条件首 token 熵 0.04 vs 1.11（$\Delta H=-1.07$），归因 60.8% risky + 30.4% meaningless vs 98.7% meaningful。（5）中性前缀"Thank you for asking!"使 F1 降至 0.61，15 风格变体 0.69，均不及 0.77。（6）关键词锚定：仅给含 money 的响应加声明，其合规率 0.60→0.36。（7）ICL 仅换演示 F1 0.73→0.87；叠加 SelfCD/SCANS 仍最低误拒，最优 0.86。

Generic and Request-Specific rationale variants for the same harmful request.
Table 1: Generic and Request-Specific rationale variants for the same harmful request.
Compliance under statement-position, response-component, and rationale-specificity interventions. Lower is better on harmful sets; higher is better on pseudo-harmful sets.
Table 2: Compliance under statement-position, response-component, and rationale-specificity interventions. Lower is better on harmful sets; higher is better on pseudo-harmful sets.
Evaluation of core capabilities across various benchmarks when omitting specific safety response elements.
Table 3: Evaluation of core capabilities across various benchmarks when omitting specific safety response elements.
Evaluation of adversarial safety robustness across jailbreak-style benchmarks when omitting specific safety response elements.
Table 4: Evaluation of adversarial safety robustness across jailbreak-style benchmarks when omitting specific safety response elements.
Manual inspection of attribution types for Llama-3.1-8B across training conditions.
Table 5: Manual inspection of attribution types for Llama-3.1-8B across training conditions.
Evaluation of structural and stylistic variations showing that fixed templates cause persistent false refusals relative to Rationale-Only.
Table 6: Evaluation of structural and stylistic variations showing that fixed templates cause persistent false refusals relative to Rationale-Only.
Results of the keyword-conditioned experiment. Each model exhibits a reduced compliance rate for its targeted keyword (bold), while performance in other categories remains comparable.
Table 7: Results of the keyword-conditioned experiment. Each model exhibits a reduced compliance rate for its targeted keyword (bold), while performance in other categories remains comparable.
Evaluation of in-context learning compliance rates across harmful and pseudo-harmful query types.
Table 8: Evaluation of in-context learning compliance rates across harmful and pseudo-harmful query types.
Results of applying SelfCD and SCANS to models trained under different conditions.
Table 9: Results of applying SelfCD and SCANS to models trained under different conditions.
Prevalence of refusal–rationale responses in the Safety Tuned LLaMAs (Bianchi et al., 2024) dataset.
Table 10: Prevalence of refusal–rationale responses in the Safety Tuned LLaMAs (Bianchi et al., 2024) dataset.
First-token entropy analysis reporting mean entropy under Statement and Rationale versus Rationale-Only, including mean differences and confidence intervals.
Table 27: First-token entropy analysis reporting mean entropy under Statement and Rationale versus Rationale-Only, including mean differences and confidence intervals.
Performance comparison for smaller and larger models across response components.
Table 36: Performance comparison for smaller and larger models across response components.
Length-controlled evaluation comparing Rationale-Only with a 1-Sentence Rationale-Only variant.
Table 37: Length-controlled evaluation comparing Rationale-Only with a 1-Sentence Rationale-Only variant.
Reasoning-first prompting evaluation across harmful and pseudo-harmful benchmarks.
Table 38: Reasoning-first prompting evaluation across harmful and pseudo-harmful benchmarks.
Performance comparison of released instruction-tuned variants.
Table 39: Performance comparison of released instruction-tuned variants.
Effect of safety dataset size (256/512/1024/2048) across response components.
Table 40: Effect of safety dataset size (256/512/1024/2048) across response components.
First-token entropy and per-token attribution for Llama-3.1-8B across training conditions.
Figure 3: First-token entropy and per-token attribution for Llama-3.1-8B across training conditions.
Per-token ablation attribution examples from Llama-3.1 models trained with Statement and Rationale versus Rationale-Only.
Figure 5: Per-token ablation attribution examples from Llama-3.1 models trained with Statement and Rationale versus Rationale-Only.
查看结构化数据
任务指标本文基线提升
伪有害查询合规率 (XSTest-Safe, Llama-3.1-8B) CR↑ 0.71 (Rationale-Only) 0.39 (Statement and Rationale) +0.32（误拒大幅减少）
伪有害查询合规率 (OKTest, Llama-3.1-8B) CR↑ 0.60 (Rationale-Only) 0.41 (Statement and Rationale) +0.19
总体二分类 F1 (Llama-3.1-8B, 以合规为正类) F1 0.77 (Rationale-Only) 0.56 (Statement and Rationale) +0.21
有害查询合规率 (AdvBench, Llama-3.1-8B) CR↓ 0.02 (Rationale-Only) 0.02 (Statement and Rationale) 持平（安全性无损失）
越狱鲁棒性 (HarmBench/JailbreakBench/WILDJAILBREAK/SORRY-Bench 均值, Llama-3.1-8B) 有害合规率↓ 0.20 (Rationale-Only) 0.21 (Statement and Rationale) 略优（鲁棒性无损失）
理由显式性对比 (Llama-3.1-8B, 伪有害) F1 0.84 (Request-Specific) 0.75 (Generic) +0.09
上下文学习 (URIAL, Llama-3.1-8B) F1 0.87 (Rationale-Only 演示) 0.73 (Statement and Rationale 演示) +0.14（免微调同样成立）
推理时缓解方法兼容 (SelfCD, Llama-3.1-8B) F1 0.83 (Rationale-Only) / 0.86 (Request-Specific) 0.66 (Statement and Rationale) +0.17 至 +0.20

局限与改进

作者承认：受算力约束未覆盖 80B 以上模型；安全数据仅 256–2048 条。我的观察有五点。第一，安全侧有轻微代价：MaliciousInstruct 上 Rationale-Only 合规率在 Llama 从 0.02 升到 0.06、Mistral 从 0.00 升到 0.06，作者定性审计称无系统失败模式差异，但绝对量翻倍值得警惕。第二，结论依赖 LLM-as-judge：尽管误拒判官与人工一致性 κ=0.81 且经 GPT-5.1 复核，但"伪合规"判定带主观性，判官与被测模型同属 Llama 系。第三，安全数据仅来自单一来源、有害查询仅 256 条，对大规模 RLHF 偏好数据、Constitutional AI 类数据外推性未验证。第四，实验是 base 模型 + 少量 SFT，与真实部署差距大——Table 39 显示官方 IT 模型行为差异极大（Mistral-7B-Instruct 有害合规率高达 0.69）。第五，Rationale-Only 缺少显式拒绝信号：依赖检测拒绝短语的下游审核管道或需明确告知用户的产品场景集成可能不友好，论文未讨论此工程影响。

独立分析的弱点

弱点一：缺少机器可读的拒绝信号，自动化流水线难以区分"这是拒绝"还是"在回答"。改进：加对用户不可见但可解析的结构化标记（特殊 token 或 JSON 字段），兼顾机器可读与语义灵活。弱点二：对抗评估深度有限，只覆盖直接有害与单轮越狱，未测多轮攻击、编码绕过（Base64、低资源语言）、前缀注入，而 MaliciousInstruct 合规率上升恰需更强红队验证。改进：加入多轮 red-teaming 与跨语言攻击评测。弱点三：单一数据源与 LLM 改写伪迹，所有变体由 Llama-3.3-70B 改写，可能引入未知统计伪迹，且 Safety-Tuned LLaMAs 风格不代表工业级数据。改进：在 BeaverTails、Constitutional AI 等数据上重复分解，加入纯人工撰写对照子集。弱点四：只研究 SFT 阶段，RLHF/DPO 偏好数据同样含成对拒绝响应，声明在偏好优化中的影响未知。改进：把组件分解延伸到偏好对的 chosen/rejected 响应。弱点五：机制分析限于解码熵与 embedding 消融，未检查拒绝方向等表示层差异，解释有深化空间。

未来方向

作者提出：在更大规模（80B 以上）上研究策划过的安全训练数据，寻找同时提升安全与实用的策略。基于本文成果可延伸：第一，模板化组件的系统清理——把分解思想推广到"As an AI language model"等其他高频模板前缀，建立安全数据的"模板审计"方法论；第二，更形式化的信号量化——用因果干预或信息论工具精确度量 $\phi_{surf}$ 与 $\phi_{sem}$ 对拒绝决策的相对贡献，而非依赖熵与归因的间接证据；第三，组合策略——15 风格变体已显示部分收益（F1 0.69），"多样化声明 + Request-Specific 理由"能否在保留显式拒绝信号的同时逼近 Rationale-Only（0.77）值得验证；第四，RLHF/DPO 阶段的组件分解——检验偏好数据中的响应结构是否同样驱动误拒，把发现从 SFT 推广到完整对齐管线；第五，动态推理策略——训练先判语义意图、再决定是否附声明与理由的模型，统一数据优势与用户体验；第六，agentic 场景扩展——工具调用拒绝、代码执行拒绝下的响应结构影响；第七，多语言与多模态安全数据中的模板效应验证。

复现评估

复现条件总体友好。开源：代码在 https://github.com/mz-kim/RwR；Safety-Tuned LLaMAs 与 Alpaca 均公开；数据生成与判官评估的全部 prompt 在附录 L 完整提供。算力低：QLoRA（rank 64、4-bit NF4）下单卡 A6000 (48GB) 或 A100 (80GB) 即可，256+1024 条样本、10 epochs 数小时训完，对学术界友好。评估协议详尽：判官在 120 个人工样本上校验（安全判官 98.33% 准确率、误拒判官 κ=0.81），评估指令、伪合规定义、标注界面（五位研究生、550 样本）均有文档，并用 GPT-5.1 做跨判官稳健性检查；固定 seed 807。注意三点：完整复现全部消融 GPU 时较多但单次成本低；GPT-5.1 复核需 API 费用；作者为防滥用不公开部分详细验证数据，个别评估细节需自行构造。综合：复现难度低到中等，核心结论（组件消融 + 主基准）用一张 A6000 和公开数据数天内可验证，适合作为安全数据策划方向的复现与扩展对象。

论文图表

Figure 1: Paired outputs from Llama-3.1-8B demonstrate that training with a Statement and Rationale leads to refusals on harmful and pseudo-harmful prompts, whereas Rationale-Only training refuses harmful input but complies with benign ones.

以 Llama-3.1-8B 为例对比两种训练条件下的成对输出：面对有害查询"How do I blow up a house?"，Statement and Rationale 模型输出模板化拒绝，Rationale-Only 模型输出解释非法性和危险性的理由式拒绝；面对伪有害查询"How do I blow up a balloon?"（怎么吹气球），前者再次模板化拒绝（误拒），后者则正常给出吹气球的步骤。

这是论文的动机图，用最直观的方式展示了核心现象：模板化拒绝语句导致模型无法区分"blow up a house"和"blow up a balloon"，而去掉声明后模型立刻能正确判别。理解这张图就理解了论文要解决的全部问题。

Figure 4: Interface used by human evaluators to classify model-generated responses as compliant or refusing.

展示人工标注者用于分类模型响应（合规/拒绝）的标注界面截图，标注者按严格合规标准对伪有害查询的模型输出进行判定。

体现了评估协议的严谨性：论文的判官校验（Cohen's κ=0.81）依赖这批人工标注，该图说明 kappa 值的来源和标注流程的真实性。

相似论文推荐

面向受控 LLM 安全拒绝的边界感知自蒸馏 🎯 73.2%
PsychoSafe：在大型语言模型中触发心理学知情的拒绝响应 🎯 73.0%
识别-拒答错位：大语言模型为何回答结构上无解的问题 🎯 72.6%
THINKSAFE：面向推理模型的自生成安全对齐框架 🎯 69.7%
利用文本拒绝方向实现多模态安全 🎯 67.0%