← 返回 2026-04-23

Abstain-R1: 通过可验证强化学习实现校准弃答与拒答后澄清 Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL

Skylar Zhai, Jingcheng Liang, Dongyeop Kang 📅 2026-04-18 👍 9 2026-07-13 08:36
GRPO 可验证奖励 大语言模型对齐 幻觉抑制 强化学习 校准弃答
arXiv HuggingFace PDF

用 GRPO 强化学习联合优化显式弃答与拒答后澄清质量，3B 模型对不可答题表现匹敌 671B DeepSeek-R1。

前置知识

可验证奖励的强化学习（RLVR）

一种使用自动可校验奖励信号（如答案对错、格式是否合规）进行策略优化的强化学习方法，区别于依赖人类反馈的 RLHF。DeepSeek-R1 的 GRPO 是其典型代表：在每个 prompt 下采样一组候选输出，按组内相对优势估计进行策略梯度更新。

本文核心方法就是在 RLVR 框架下设计可验证奖励，以同时校准弃答行为与拒答后澄清质量。

GRPO（Group Relative Policy Optimization）

DeepSeek-R1 系列提出的 PPO 变体，对同一问题采样 G 个候选输出，按组内奖励归一化得到相对优势 $A_i$，目标函数 $J_{\text{GRPO}}(\theta) = \mathbb{E}_q\frac{1}{G}\sum_i\min(r_i A_i,\mathrm{clip}(r_i,1-\epsilon,1+\epsilon)A_i)-\beta\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})$。无需独立价值网络，内存占用低，适合推理类训练。

Abstain-R1 全部 RL 阶段都基于 GRPO，奖励项叠加在它的相对优势估计上。

幻觉税（Hallucination Tax）

Song 等人 2025 年提出的概念：基于结果的 SFT/RL 目标对'产出答案'本身给予奖励，导致模型在问题不可解时倾向于编造缺失前提或强行作答，催生系统性幻觉与过度自信。

本文的研究动机直接来自此现象，并试图通过显式弃答奖励来消除这种隐性惩罚。

校准弃答与拒答后澄清（Calibrated Abstention + Post-refusal Clarification）

当问题在语义清晰但信息不足、含错误前提或主观不可解时，模型应主动声明'我不知道'并指出缺失信息或不可解原因，而非强行作答。澄清需具体指出关键缺失点，而非泛泛的'能否补充上下文'。

这是本文的核心目标：把'拒答后澄清'提升为一阶训练目标并加以可验证奖励。

研究动机

现有大语言模型在强化学习后训练（如 RLHF、GRPO）后，推理能力得到显著提升，但'奖励产出答案'这一训练目标本身在用户提问本就不可解时反而助长幻觉。Song 等人 2025 年的'幻觉税'研究指出，模型在缺失条件、错误前提等不可答场景下会自信地编造前提或假设完成作答；Kalai 等 2025 年的理论分析进一步从奖励结构解释了这一现象。AbstentionBench 评估也表明主流模型在不可答问题上校准失败严重：例如 Qwen2.5-3B-Instruct 在 Abstain-Test 的 U-Ref（不可答问题拒答率）仅 9.4%，Qwen2.5-7B-Instruct 仅 47.2%，而更大的 DeepSeek-R1 671B 也只到 52.2%。更关键的是，模型即使拒答，给出的'澄清'往往浮于表面（'能否补充更多信息'），并未识别出真正阻止问题可解的缺失信息，造成弃答价值大打折扣。这类问题在高风险领域（医疗、法律、事实核查）尤其危险——一个流畅但虚构的答案比显式'我不知道'更易被信任。

本文的目标是本文目标是把'拒答后澄清质量'提升为一阶训练目标，让 3B 小模型在语义清晰但不可解的查询上学会两件事：（1）显式弃答（boxed 'I don't know'），（2）给出与参考澄清语义对齐的、真正识别关键缺失信息的解释。为实现这一目标，作者提出一个 clarification-aware RLVR 奖励，在可答问题上奖励正确作答，在不可答问题上联合优化严格弃答 + 澄清语义匹配，并通过 GRPO 训练 3B 模型 Abstain-R1。

与已有工作不同的是，现有弃答方法分两支：一支用 SFT 教拒绝（如 CoCoNot），在分布内有效但面对分布偏移或改写时表现脆性，且行为模板化；另一支用 RL 鼓励拒答或反问，但奖励信号粗糙（奖励泛化'我不知道'或单纯奖励反问动作），未对反问内容质量提供可学习的、细粒度的反馈。本文切入点是把澄清质量与拒答动作绑定为可验证信号——用 LLM 验证器判断模型澄清是否与参考澄清语义一致，并据此发放 0.7 的额外奖励，从而在 RL 中同时优化'何时拒'与'如何澄清'。

核心方法

方法直觉：先用一个 4.6K 的 SFT 冷启动集 Abstain-CoT 让 Qwen2.5-3B 学会规范的 `......` 输出格式并初步模仿弃答 + 澄清结构；再用 SUM 50K 不可答/可答混合数据（约 3:7）配合 GRPO 进行 RL 训练，奖励函数由格式分 $r_{\text{fmt}}$、答案分 $r_{\text{ans}}$、拒答澄清分 $r_{\text{ref}}$ 三部分组成。不可答样本必须先 boxed 'I don't know'（得 0.3），且澄清被 xVerify-3B-Ia 验证为正确才再得 0.7，总计 1.0；可答样本答对得 1、答错得 0、若错答 'I don't know' 扣 1。这样模型在保留可答正确率的同时，被强信号推向'精确识别缺失信息'的拒答行为。

核心创新点是把'澄清质量'纳入可验证奖励，用一个轻量 LLM 验证器（xVerify-3B-Ia）作为判官：判断模型生成的澄清是否与参考澄清在语义上指向同一个不可解原因（重写原问题为元层级'为什么不可答'问题后做等价比较）。这与已有工作（仅奖励 'I don't know' 文本、或单纯奖励'反问动作'）有本质区别——它让 RL 信号能区分'敷衍式反问'与'精准点出关键缺失信息'，从而把拒答从'安全话术'变成'有用的协作行为'。

方法步骤详情

完整训练流水线分三步。步骤 1：构造训练数据。Abstain-CoT 取自 AbstentionBench 多个子集（Alcuna、BBQ、FalseQA、GSM8K-Abstain、Known-Unknowns、MediQ、MoralChoice、Musique、QAQA、SQuAD2、UMWP、World-Sense），用 DeepSeek-V3 在通用规则 + 领域 prompt 下生成结构化（reasoning trace + 答案）样本共 4.6K，不可答样本遵循'先弃答后澄清'模板，最终约 1:1 平衡。RL 阶段额外用 SUM 训练集 50K，按相同澄清生成流程处理。步骤 2：SFT 冷启动。在 4×A100 上 FSDP2 全参数微调 Qwen2.5-3B-Instruct，bf16、全局批大小 128、学习率 $5\times10^{-6}$、AdamW，训练 10 个 epoch 后按 Abstain-Test 性能选 Epoch 3。步骤 3：RLVR via GRPO。在 4×A100 上、KL 系数 $\beta=0.001$、clip 比率 0.2、组大小 N=5、actor 学习率 $1\times10^{-6}$，对每个 query 采样 5 个候选，按四分量奖励组内归一化得到优势 $A_i$。奖励具体为：$r_{\text{fmt}}$ 在结构合法且 boxed 合法时为 1；可答样本 $r_{\text{ans}}$ 答对 1、答错 0、误答 'I don't know' 罚 -1；不可答样本 $r_{\text{ref}}$ 仅当 boxed 'I don't know' 时为 0.3，再在澄清被验证器判为 Correct 时追加 0.7 得 1.0，否则仍为 0.3。训练 100 步约 20 A100 GPU 小时。

技术新颖性

技术新颖性体现在三个方面。其一，奖励设计把'拒答动作'与'澄清质量'解耦为 0.3 + 0.7 的两段式信号，避免了 0/1 稀疏奖励下模型学到'模板化拒答 + 无关反问'的捷径；其二，澄清验证采用'问题重写为元层查询'的语义等价框架，比字面匹配更鲁棒，且训练时使用保守的 xVerify-3B-Ia、评估时换更强的 o4-mini 以减少验证器自身偏差；其三，整体流水线是 SFT 冷启动 + GRPO 的极简范式，但显式把不可答样本纳入 RL 训练（约 30%），与现有'RL 只奖励可答正确率'的范式形成对比。

Overview of the proposed RLVR training pipeline via GRPO.
Figure 3: Overview of the proposed RLVR training pipeline via GRPO.
Domain distributions of our constructed SFT dataset ABSTAIN-COT and evaluation set ABSTAIN-TEST.
Figure 7: Domain distributions of our constructed SFT dataset ABSTAIN-COT and evaluation set ABSTAIN-TEST.

实验结果

在 Abstain-Test 上，Abstain-R1 3B 把 Qwen2.5-3B 基线的 U-Ref 从 9.4% 拉到 68.1%（+58.7）、U-Clar 从 0.6% 拉到 55.1%（+54.5）、U-Clarc 从 6.4% 拉到 80.9%（+74.5），A-Acc 也从 48.8 升到 57.2（+8.4），A-FU 仅微涨 1.6。值得注意的对比是：U-Ref 68.1 超过了 Qwen2.5-32B（56.9）、DeepSeek-V3 671B（58.4）、DeepSeek-R1 671B（52.2）；U-Clar 55.1 与 DeepSeek-V3（50.1）、DeepSeek-R1（46.5）相当甚至更高，但模型只有 3B 参数。在 Abstain-QA 上（移除 IDK 选项后），A-Acc 53.3（+0.4）几乎持平，U-Ref 30.0→40.1（+10.1）。在 SelfAware 上，U-Ref 82.3→91.4（+9.1），取得所有评测模型最佳。消融（Table 2）显示：去掉 SFT（w/o SFT）U-Clar 仅 8.5，证明 SFT 冷启动至关重要；去掉 RL（w/o RL）U-Ref 51.9、U-Clar 37.0，说明 RL 进一步把澄清质量从 37 提到 55.1；去掉不可答数据（w/o Unans）模型几乎不拒答（U-Ref 4.4）；去掉澄清奖励（w/o clari reward）U-Clar 跌到 50.2，说明澄清奖励直接提升澄清语义对齐。奖励权衡研究（Table 3）显示：对可答误弃的惩罚从 0 → -0.5 → -1 时，A-Acc 回升 46.1→57.1→57.2、A-FU 36.2→22.8→20.4，U-Ref 略降到 68.1 但仍保持强澄清，验证了 -1 是合理选择。图 5 训练曲线显示 abstention、clar_ok、acc 三指标在 100 步内同时上升而非互相 trade-off，且响应长度先升后降，模型走向更简洁、更精准的拒答。图 6 进一步揭示了 unanswerable 侧澄清奖励权重存在中间最优，过强的澄清权重反而压低拒答强度。ICL/SFT 对照（Table 4）证明 RLVR 优于 5-shot ICL 与 SFT-ALL（用 DeepSeek-V3 CoT 蒸馏）：后两者拒答更强但 A-Acc 显著下降，Abstain-R1 取得最佳帕累托前沿。

Overall results across ABSTAIN-TEST, ABSTAIN-QA, and SELFAWARE.
Table 1: Overall results across ABSTAIN-TEST, ABSTAIN-QA, and SELFAWARE.
Ablation on ABSTAIN-TEST, isolating the effects of SFT, RL, unanswerable supervision, and clarification rewards.
Table 2: Ablation on ABSTAIN-TEST, isolating the effects of SFT, RL, unanswerable supervision, and clarification rewards.
Effect of answerable-side reward design on ABSTAIN-TEST.
Table 3: Effect of answerable-side reward design on ABSTAIN-TEST.
Comparison of default prompting, in-context learning (ICL), and SFT variants on ABSTAIN-TEST.
Table 4: Comparison of default prompting, in-context learning (ICL), and SFT variants on ABSTAIN-TEST.
Key SFT hyperparameters for full-parameter finetuning of the Qwen2.5-3B-Instruct model.
Table 5: Key SFT hyperparameters for full-parameter finetuning of the Qwen2.5-3B-Instruct model.
Key GRPO hyperparameters for the Qwen2.5-3B-Instruct model reinforcement finetuning.
Table 6: Key GRPO hyperparameters for the Qwen2.5-3B-Instruct model reinforcement finetuning.
Agreement between the training-time verifier and o4-mini on ABSTAIN-TEST.
Table 7: Agreement between the training-time verifier and o4-mini on ABSTAIN-TEST.
Per-domain agreement between the training-time verifier and o4-mini on ABSTAIN-TEST.
Table 8: Per-domain agreement between the training-time verifier and o4-mini on ABSTAIN-TEST.
Agreement between the training-time verifier and o4-mini on clarification judgments over SUM.
Table 9: Agreement between the training-time verifier and o4-mini on clarification judgments over SUM.
Results on three subsets of ABSTAIN-QA (CQA, MMLU, PopQA).
Table 10: Results on three subsets of ABSTAIN-QA (CQA, MMLU, PopQA).
U-Clar (left) and U-Ref (right) on ABSTAIN-TEST across model sizes, showing that explicit abstention training is more effective than scaling alone.
Figure 1: U-Clar (left) and U-Ref (right) on ABSTAIN-TEST across model sizes, showing that explicit abstention training is more effective than scaling alone.
Mean response length (in tokens) across training steps.
Figure 4: Mean response length (in tokens) across training steps.
Per-step abstention rate and clarification correctness (clar_ok) computed on unanswerable questions, together with answer accuracy (acc) computed on answerable questions, across training steps.
Figure 5: Per-step abstention rate and clarification correctness (clar_ok) computed on unanswerable questions, together with answer accuracy (acc) computed on answerable questions, across training steps.
Effect of unanswerable-side clarification reward on ABSTAIN-TEST.
Figure 6: Effect of unanswerable-side clarification reward on ABSTAIN-TEST.
查看结构化数据
任务指标本文基线提升
Abstain-Test（不可答题澄清评估） U-Ref（不可答拒答率） 68.1（Abstain-R1 3B） 9.4（Qwen2.5-3B Instruct）；52.2（DeepSeek-R1 671B） 相对 3B 基线 +58.7；超过 671B DeepSeek-R1 +15.9
Abstain-Test U-Clar（拒答且澄清正确率） 55.1 0.6（Qwen2.5-3B）；46.5（DeepSeek-R1 671B）；50.1（DeepSeek-V3 671B） +54.5 / 超过 671B DeepSeek-R1 +8.6、DeepSeek-V3 +5.0
Abstain-Test U-Clarc（条件澄清正确率） 80.9 6.4（Qwen2.5-3B）；89.1（DeepSeek-R1 671B） +74.5；接近 671B 水平（差距 8.2）
Abstain-Test A-Acc（可答准确率） 57.2 48.8（Qwen2.5-3B）；78.6（DeepSeek-R1 671B） +8.4；3B 模型内大幅提升但仍小于 671B
Abstain-Test A-FU（可答误弃率，越低越好） 20.4 18.8（Qwen2.5-3B）；8.5（DeepSeek-R1 671B） 略增 1.6；仍小于 ICL+SFT 等替代方案
Abstain-QA U-Ref 40.1 30.0（Qwen2.5-3B）；9.1（DeepSeek-R1 671B） +10.1；显著超过 671B DeepSeek-R1
SelfAware U-Ref 91.4 82.3（Qwen2.5-3B）；63.8（DeepSeek-R1 671B） +9.1；所有模型最高

局限与改进

作者承认四点局限：（1）评测集中在英文 QA 风格基准，对多语、开放生成、工具增强场景的迁移性未知；（2）奖励信号和澄清评估都依赖 LLM-as-Judge，可能引入偏差且无法覆盖所有合理的澄清表达；（3）只针对'语义清晰但不可解'的弃答，其他幻觉形式（事实性捏造、推理链内部矛盾）不在本文范围；（4）RLVR 训练增加算力开销且需仔细调验证器与奖励尺度，限制生产部署。我额外观察到：（a）A-FU 从 18.8 涨到 20.4，意味着仍有约 1/5 的可答题被错误弃答，对部署在低风险场景的代价不能忽视；（b）SUM 训练数据中数学题占比高，导致 RL 后模型在 Math 域改进最大、Medical/Ethics 虽提升但仍与领域专用系统有差距；（c）xVerify-3B-Ia 在 SUM 上与 o4-mini 一致率仅约 45%（94 例 o4-mini 接受但验证器拒绝、59 例同时接受），验证器的保守性可能让模型只能学到'较窄'的合格澄清模式，对真正多样化的有效澄清覆盖不足。

独立分析的弱点

独立分析的弱点有三。其一，奖励设计虽区分弃答与澄清，但 base 0.3 + bonus 0.7 的固定比例限制了不同任务对'安全拒答'与'协作澄清'的差异化需求，例如医学场景或许需要更高 base 拒答分（鼓励保守），而开放域对话或许需要更高澄清 bonus，可考虑按域自适应权重。其二，澄清验证器 xVerify-3B-Ia 训练在固定数据分布上，对'非数学/非事实核查'领域的拒答信号较弱，附录 C.1 显示其在 Biology/Medical 上与 o4-mini 一致率较高（87%-92.9%）但 Ethics 仅 67.7%，意味着 RL 信号在伦理子集上较稀疏、易被奖励黑客（重复训练样本中的高频反问模板）。其三，30% 不可答/70% 可答的混合比例是经验选取，但不同比例下'澄清质量 vs 拒答强度'的帕累托前沿未被充分探索，Figure 6 只扫了不可答侧权重，未来工作可对总配比做更细扫描。改进方向：可引入拒答-澄清解耦的双头策略（一个分类头决定是否拒答、一个生成头负责澄清），并让验证器在不同领域用不同阈值。

未来方向

作者明确把'多语、开放生成、工具增强环境'列为下一步方向。基于本文成果可延伸出几条线索：（1）把'校准弃答 + 澄清'目标推广到多模态场景，例如视觉问答中图像信息不足时主动要求补充；（2）将澄清与外部检索/工具结合——拒答后自动调用工具补充信息而非仅询问用户；（3）研究 RL 训练中验证器自身的对抗鲁棒性，防止模型学会'骗过验证器'的高频短语；（4）把 Abstain-Test 推广为更通用基准并加入'多轮澄清对话'评测；（5）探索'人类+LLM'协同的奖励信号，用人类标注少量高质量澄清-可解对照样本引导 LLM 验证器迭代。

复现评估

复现评估：作者承诺发布数据集 Abstain-Test 与模型 Abstain-R1（论文多处声明 'Dataset: Abstain-Test'、'Model: Abstain-R1'）。SFT 与 RL 训练均使用 4×A100 GPU（FSDP2 + bf16），其中 RL 100 步约 20 A100 GPU 小时，单次完整训练成本适中，学术实验室可承担。SFT 用 4.6K 样本 + 10 epoch、AdamW、$5\times10^{-6}$ 学习率、批大小 128；GRPO 用 50K SUM 训练样本、$\beta=0.001$、clip 0.2、N=5、actor 学习率 $1\times10^{-6}$。代码与超参在附录 Table 5/6 详细列出，复现难度中等。潜在风险点：澄清验证器 xVerify-3B-Ia 与离线评估用的 o4-mini 都为闭源/受限 API，可能阻碍完整复现；DeepSeek-V3 生成的 SFT 数据意味着数据生成侧也需调用昂贵 API。整体可复现性较好，主要挑战在外部模型依赖与 LLM-as-Judge 的稳定性。

论文图表

Comparison of model behaviors on an unanswerable query caused by a missing definition of the variable y. From left to right: answering without abstention (hallucination); abstention with an incorrect clarification that targets a non-essential information; abstention with a correct clarification that precisely identifies the missing information.
Figure 2: Comparison of model behaviors on an unanswerable query caused by a missing definition of the variable y. From left to right: answering without abstention (hallucination); abstention with an incorrect clarification that targets a non-essential information; abstention with a correct clarification that precisely identifies the missing information.

三组对比示例：问题是 'There exists a positive real number x such that cos(arctan(x)) = x. Find the value of x^2 + y'（其中 y 未定义）。左侧模型不解 y 缺失、直接假设 y=x² 并算出 -1+√5（幻觉）；中间模型拒答但澄清指向'方程是否有唯一解'，未触及真正缺失信息；右侧 Abstain-R1 拒答并精准指出 'y 在题面中从未被定义'，澄清命中根本原因。

用具体数学题呈现'何时拒答 + 如何澄清'的差异，是理解本文拒答 + 澄清双重目标最直观的例子。