知何时止步：诊断并训练大模型及时中止无效推理 Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning
揭示LLM超出能力时产生似是而非的无效推理，CaRL训练模型学会及时认输
前置知识
GRPO（组相对策略优化）
Group Relative Policy Optimization，DeepSeek-R1采用的RL算法：对同一问题采样一组G个回答，用组内奖励归一化（减均值、除标准差）得到每个回答的优势值，直接更新策略而无需训练价值网络。它适合可验证答案的推理任务，因为组内对比天然提供了低方差的基线估计。
CaRL的完整训练流程（Algorithm 1）完全建立在GRPO之上，理解奖励如何经组内相对优势转化为策略梯度，才能看懂方法部分。
奖励塑形（Reward Shaping）
不改变任务与环境，仅通过精心设计奖励函数的结构（层级、间隔、正负号）来引导期望行为的强化学习技术。本文把常见的二值奖励（对1分/错0分）改成三级序数奖励（正确+1、有效拒绝0、错误-1），用'拒绝严格优于编造错误答案'的偏好序来编码风险态度。
能力校准奖励塑形是CaRL的第一个组件，不理解奖励层级如何改变模型激励，就无法理解模型为何会学会放弃。
Countdown任务
一种数字谜题：给定若干整数和一个目标值，要求用加减乘除、每个数至多使用一次，构造出值等于目标的算式。其难度可通过数字个数N（本文取3到8）精确调节，且求解几乎不依赖外部知识，因此适合作为隔离纯推理能力的受控试验台。
论文的全部诊断实验和主要训练评测都在Countdown上进行，难度旋钮N是所有经验结论的坐标系。
校准与能力四象限
校准指模型行为与真实能力的一致程度。本文按'题目是否可解 × 模型是否作答'把行为划入四象限：理想作答（可解且答出）、过度保守（可解却拒绝）、过度自信（不可解仍硬答）、理想拒绝（不可解且拒绝），并派生Refusal Recall（该拒的拒了多少）与Capability Loss（能解的误拒多少）两指标。
这是论文诊断部分的核心语言，'能力-行为错位'的全部量化结论都由这四个象限表达。
RFT（拒绝采样微调）
Rejection Sampling Fine-Tuning：让模型自己大量生成解答，筛选出正确推理路径（本文还筛入有效拒绝样本）构造静态数据集，再做监督微调。它实现简单、域内常有效，但本质是记忆训练分布，分布外泛化能力差。
RFT是本文的关键基线，它在OOD上准确率崩至0%的结果，正是作者论证'必须用RL而非SFT来学能力边界'的核心证据。
研究动机
推理大模型在遇到超出自身能力的问题时不会承认不会，而是持续输出看似合理实则错误的推理链，制造'有能力'的假象并误导用户。作者用可精确控制难度的Countdown任务（N=3到N=8个数字构造目标值）系统测试了Qwen3-8B、Qwen3-32B、Qwen3-235B-A22B、gpt-oss-120b和DeepSeek-V3.2五个模型：基线设置下所有模型的拒绝率均为0%，即使Qwen3-8B在N=8时错误率已超过65%；即便显式提示'不会就承认'，最难任务上仍有超过80%的无效尝试，gpt-oss-120b甚至完全不理会指令。失效模式中，似是而非的specious reasoning占57-68%并随难度上升，无休止生成占30-40%。四象限量化显示Qwen3-32B的过度自信（20.0%）是过度保守（3.4%）的约6倍；难度增大时拒绝召回率从100%跌至30%，可解任务的能力损失却从0%升至10%。此外无效推理比恰当拒绝多消耗2-3倍token，既误导用户又浪费算力。
本文的目标是本文的目标是让模型行为与真实能力边界对齐：对能力范围内的问题全力求解并给出正确答案；当尝试若干步后意识到问题超出能力时，能够及时、诚实地中止推理，明确拒绝并汇报'我已经试到了哪一步'，而不是编造貌似正确的最终答案。同时这种对齐不能以牺牲效用为代价——可解任务上的准确率和通用推理能力（AIME 2024、GPQA等）必须基本保持；最好还能顺带减少在无解问题上的算力浪费，把'更诚实'与'更高效'变成同一件事的两面。
与已有工作不同的是，已有诚实性研究集中在知识边界（知不知道某个事实），如Kadavath等人的self-knowledge与Cheng等人的拒绝研究，很少触及推理任务的能力边界（这道题能不能解出来）；Joglekar等人的confession工作训练模型事后认错，但没把'及时中止'内化为策略行为。干预手段上，本文用数据证明现有手段都不够：prompt太弱（80%以上无效尝试照旧发生），SFT无法外推（难度升高时futile rate从2.8%涨7倍至20.4%，OOD准确率直接崩到0%），单纯给拒绝发奖励也不够（8B模型上futile rate仍高达98-99%）。因此需要一个既把'拒绝优于编造'编码进奖励层级、又能解决拒绝训练样本极度稀缺问题的新框架。
核心方法
直觉上，要让模型学会认输，必须让'承认不会'比'硬编一个错误答案'更划算；同时还必须让模型在训练中真正见过大量'恰当拒绝'的示范——因为基线模型拒绝率为0%，仅靠on-policy探索几乎采样不到拒绝行为。技术上，CaRL（Capability-aligned Reinforcement Learning）由两个互补组件构成：（1）能力校准奖励塑形，把奖励改为正确+1、有效拒绝0、错误-1的三级层级，使同一情境下拒绝严格优于错误输出，惩罚能力越权而保留 productive reasoning 的激励；（2）事后拒绝增强HRA，把每条失败轨迹回溯改写成一条拒绝示范（同样赋予r=0）加入训练批次，把稀疏的拒绝奖励信号密集化。整个框架用GRPO实现，可直接套用于任意推理模型，作者在Qwen3-8B和Qwen3-14B上验证。
核心创新是'失败即拒绝标签'的视角转换。标准推理RL给正确答案1分、错误0分（或错误与拒绝同为-1分），错误与拒绝无差别，模型自然没有动机区分'硬编'与'放弃'。CaRL先通过三级奖励建立'正确 > 拒绝 > 错误'的严格偏好序；但作者用RLunk消融证明仅有奖励层级不够——模型探索分布里几乎没有拒绝样本，r=0区域得不到梯度。HRA的洞察是：每一次失败的推理尝试都隐含标记了一个'此处拒绝才是正确行为'的状态，无需等待真实拒绝出现，就可以把这条失败轨迹截去错误结尾、接上拒绝前缀与进展摘要，合成一条带r=0的拒绝样本。这相当于把hindsight relabeling思想迁移到能力边界学习：模型在完全相同的推理前缀下，对比'选择拒绝得0分'与'硬编得-1分'，形成密集的对比学习信号。
方法步骤详情
训练流程（Algorithm 1）四步循环。第一步rollout生成：每次迭代从1000道Countdown训练题中采样批次B=32，每个问题以组大小G=16、温度1.0生成16条含思维链的候选解答。第二步奖励计算：按$r(c)=+1$（答案正确）、$r(c)=0$（经显式拒绝短语如“Sorry, I can't solve the problem”判定的有效拒绝）、$r(c)=-1$（答案错误）三级打分。第三步HRA增广：对每条$r=-1$的轨迹$\tau=(q,c)$，保留到最终答案之前的推理前缀，插入拒绝前缀“Sorry, I cannot solve this problem. Here is how far I got:”，让模型续写一段尝试进展摘要，构成增广拒绝样本$\tau_{aug}=(q,c_{refuse})$，赋$r=0$并加入训练批次。第四步策略更新：在增广后的数据集上计算组相对优势并用GRPO更新策略$\pi_\theta$，学习率$1\times10^{-6}$，共训练3个epoch。评测时温度0.6，每题采样8次取平均。
技术新颖性
新颖性有四点。第一，问题刻画本身是贡献：futile reasoning的三分类（specious reasoning/endless generation/degenerate repetition）加上Futile Rate、Refusal Recall、Capability Loss等指标，把'幻觉式推理'从轶事观察变成可测量、可复现的研究对象。第二，奖励设计与二值RL本质不同：用序数层级显式编码'宁可保守、不可编造'的风险偏好，且RLunk=0/0.5消融证明层级本身不充分，必须配合密集监督。第三，HRA不同于RFT的静态数据集，也不同于事后confession训练：它是on-policy的数据增广，与失败样本共享推理前缀、天然构成对比对，这正是RL泛化优于SFT记忆（作者引Chu et al. 2025）的机制体现。第四，参数分析显示更新集中在31-35层（均值绝对差大于$10^{-5}$的块），说明CaRL只修改决策机制而基本不动底层推理能力，从机制上解释了通用能力为何得以保留。
实验结果
主实验（Table 1）：（1）Qwen3-8B上CaRL把域内futile rate从65.5%压到7.00%（-58.5pp），Reliability升至0.7915（+0.13），准确率61.00（+1.3，不降反升）；OOD Sudoku上futile从89.41%降至43.02%，准确率仅-0.6。（2）Qwen3-14B更强：futile从78.57%降到1.00%，Reliability 0.8348（+0.16），准确率67.25（+4.0）。（3）对照全失效：Standard RL把8B的futile推到99.00%；RFT在OOD崩溃（Acc 0.00、拒绝95.25%）；RLunk最好也只把14B的futile降到23.00%，说明奖励层级需配合密集拒绝监督。难度泛化（Table 2）：CaRL futile 1.96%→8.12%（N=4→8）最平稳，RFT恶化7倍；Level 8长度省33%。通用能力（Table 3）：AIME准确率-0.8、长度-16.1%；GPQA准确率-1.5、Reliability +13.1%、长度-25.1%，通用推理几乎无损。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Countdown 域内（Qwen3-8B） | Futile Rate ↓ / Reliability ↑ | CaRL：7.00% / 0.7915（拒绝率37.17%，准确率61.00） | Vanilla：65.50% / 0.6663；Standard RL恶化至99.00%；RFT为17.00%但OOD崩溃 | futile rate降低58.5个百分点，Reliability +0.13，准确率还提升1.3 |
| Countdown 域内（Qwen3-14B） | Futile Rate ↓ / Reliability ↑ | CaRL：1.00% / 0.8348（准确率67.25，+4.0） | Vanilla：78.57% / 0.6719；Standard RL：95.03%且准确率-6.8；RLunk=0：23.00% | futile rate降低77.6个百分点，Reliability +0.16，显著优于所有基线 |
| Sudoku 域外（Qwen3-8B） | Futile Rate ↓ / Acc ↑ | CaRL：43.02% / 46.25（Reliability 0.6156，+0.12） | Vanilla：89.41% / 46.88；RFT：Acc 0.00、拒绝95.25% | futile rate降低46.4个百分点，准确率几乎不变（-0.6），行为跨域保持一致（拒绝37.17%→36.63%） |
| Countdown 难度泛化 N=4/6/8（Qwen3-8B，Table 2） | Futile Rate ↓ / 生成长度 | CaRL：2.0%→8.1%，Level 8长度6156 token | RFT：2.8%→20.4%（涨7倍），长度9133；RLunk：全程>95% | 最难档futile rate为RFT的约四成，token省约33% |
| AIME 2024（Qwen3-8B，通用能力） | Acc / 生成长度 | CaRL：74.60 / 12,411 token（Reliability 0.7854） | Vanilla：75.40 / 14,788 token（Reliability 0.7542） | 准确率仅-0.8（<2%），Reliability +0.031，生成长度-16.1% |
| GPQA（Qwen3-8B，通用能力） | Acc / Reliability / 长度 | CaRL：58.33 / 0.6768 / 5,620 token | Vanilla：59.85 / 0.5985 / 7,506 token | 准确率-1.5，Reliability +13.1%，生成长度-25.1% |
局限与改进
作者承认的局限：实验仅覆盖Countdown和Sudoku这类纯算法推理任务，目的是把能力边界与知识边界干净解耦；但真实应用多为知识密集任务，两种边界相互交织，拒绝机制能否迁移到开放域QA和数学推理尚未验证。我补充几点观察：（1）有效拒绝的判定依赖显式拒绝短语匹配，模型可能用其他措辞绕过判定，或在思维链里'假意放弃'后继续输出答案；（2）OOD缺口仍然很大——8B在Sudoku上futile率仍有43.02%，14B的OOD准确率下降5.9分，说明学到的主要是行为风格而非完全的边界感知；（3）三级奖励的间隔（+1/0/-1）为手工设定，不同任务上'拒绝'的合理折扣可能不同，缺乏理论依据；（4）HRA合成的拒绝样本由模型自己总结尝试进展，若摘要本身失实会引入噪声监督；（5）评测每题采样8次取平均但未报告方差与显著性检验，部分较小差距（如8B准确率+1.3）的稳健性存疑；（6）摘要宣称的行为-能力'有效校准'主要在N=4/6/8三档上验证，颗粒度较粗。
独立分析的弱点
独立分析的弱点：（1）任务域过窄——Countdown的可解性是客观组合性质，而开放域的'做不到'往往主观且动态，HRA把一切失败一概标注为应拒绝，在失败判定噪声大的领域可能诱发系统性过度拒绝；改进方向是与不确定性估计（如自一致性投票）联合判定'真失败'再增广。（2）拒绝判定的字符串匹配很脆弱，可换成轻量分类器或要求模型输出结构化决策字段。（3）OOD上残余43%的futile率说明迁移更多靠行为风格模仿而非真实边界内化，可在训练中混入多域任务并按难度课程化，或引入域间的可解性校准信号。（4）奖励是离散跳变的，可改用连续的置信度校准奖励（如基于Brier分数塑形），让边界学习更平滑、拒绝时机可调。（5）RFT基线设置偏弱：其训练数据全是单域样本，OOD崩溃部分是分布外SFT的通病，'SFT必崩'的结论外推到混合域SFT时需谨慎。（6）拒绝措辞模板单一，模型可能学到表面模式而非能力感知，建议多样化拒绝模板并做模板消融实验。（7）每格只报告8样本均值，缺少置信区间，小差距结论需更强统计支撑。
未来方向
作者明确提出的方向：把CaRL扩展到开放域QA和数学推理，验证拒绝机制的跨域泛化。基于本文成果可进一步延伸：（1）把HRA与过程奖励模型（PRM）结合，在推理中途实时估计可解性并提前终止，把'事后改写'升级为'在线止损'，进一步压低算力开销；（2）将三级奖励替换为连续校准目标（如期望校准误差），让模型输出可解释的置信度并支持应用侧按风险调节拒绝阈值；（3）与自适应计算、动态thinking预算结合，联合优化'何时退出'与'投入多少算力'；（4）在agent环境中研究工具调用反复失败后的放弃与求助策略，这是能力边界研究的自然延伸；（5）用可解性可控的合成任务族系统绘制'能力边界曲线'，定量刻画行为-能力对齐随模型规模与训练量的缩放规律；（6）研究对抗性用户压力（sycophancy）下拒绝行为的稳健性，防止对齐后的模型被'再试一次'轻易说服而回退到编造；（7）参数分析发现更新集中于31-35层，可探索只微调这些层的低成本适配方案。
复现评估
复现条件较好。代码已在GitHub开源（icip-cas/Knowing-When-to-Quit）；训练与评测数据基于开源的reasoning-gym框架生成（1000道Countdown训练题，N=4/6/8各100道评测题，100道Sudoku OOD题），数据获取无门槛；基座模型Qwen3-8B/14B均为开源权重。超参披露完整：GRPO学习率$1\times10^{-6}$、3个epoch、组大小16、批次32、训练温度1.0、评测温度0.6且每题采样8次取均值；RFT基线为学习率$8\times10^{-5}$、3个epoch、全局批次32；通用评测AIME采样8次、GPQA采样4次。算力方面论文未给出具体GPU配置，但8B/14B规模、千题量级的GRPO训练大致在数十张A100/H100的卡时量级，中等规模实验室可负担。需注意的复现细节：有效拒绝的短语列表需从开源代码确认；HRA中续写进展摘要所用的具体提示模板原文未完整给出；Qwen3-32B/235B等诊断实验规模较大但非复现CaRL所必需。总体复现难度中等，主要成本在RL训练本身而非数据与工程。
论文图表
并排对比两个Countdown例子：左侧给定[3,5,10,25]目标78，模型在能力边界内逐步推导（25×3=75等）并成功给出标注[Correct!✓]的最终表达式；右侧给定[1,5,6,8,9]目标0.3，模型经过T轮尝试（如(9-6)/5=0.6等）始终无法达到目标，最终编造出一个错误表达式却宣称等于0.3（实际结果是0.6），旁边标注[Futile Reasoning]。
用一个真实模型输出实例直观定义了全文的核心概念futile reasoning：同一模型在能力内高效解题、能力外则'假装成功'，是理解问题引入和后文所有量化分析的锚点。
五个模型（Qwen3-8B/32B/235B-A22B、gpt-oss-120b、DeepSeek-V3.2）在难度N=3至8上的错误率折线，气泡半径编码拒绝率：错误率随难度飙升（Qwen3-8B在N=8超过65%），但所有气泡始终极小（拒绝率<20%，基线下甚至为0%）；实线为Prompted设置、虚线为Baseline。理想校准模型应呈现'错误率越高、拒绝气泡越大'的动态响应，图中完全缺失。
这是现象一'普遍能力越权'的核心证据图，直观展示错误率与拒绝行为的完全脱钩，并且显示prompt干预也远不足以解决问题，为提出训练方法提供直接动机。
三种失效模式占比随难度（N=4至8）的变化：specious reasoning占57-68%且为主导模式并随难度上升，endless generation稳定在30-40%，degenerate repetition从13%递减到2%。
给出futile reasoning的分类学定量结论：模型被推到能力边界外时并非随机退化，而是越来越倾向'高级编造'（表面自洽的伪推理），这直接决定了后文对specious reasoning危害的强调。
Qwen3-32B在显式prompt下的能力四象限分布：A理想作答325例（65.0%）、B过度保守17例（3.4%）、C过度自信100例（20.0%）、D理想拒绝58例（11.6%）。
量化现象三的核心数字：过度自信是过度保守的约6倍，说明模型错位是系统性的方向性偏置而非随机不确定性，这是'需要更强干预'论点的关键证据。
随难度（N=4至8）增加，Refusal Recall（绿色，越高越好）从100%崩溃至30%，同时Capability Loss（粉色，越低越好）从0%升至10%，说明naive prompting无法同时保住安全性与效用。
展示单一prompt干预的内在两难：压低一处指标必然恶化另一处，从而论证必须用训练手段（CaRL）实现真正的行为-能力对齐。
基于KDE的各行为象限响应长度分布：拒绝类行为（理想拒绝与过度保守）呈尖锐峰值，表明果断终止；过度自信（幻觉）呈平坦分布并带明显长尾，生成的token是恰当拒绝的2-3倍，横轴延伸至2万+ token。
揭示错位的算力代价：无效推理不仅是正确性问题，还造成成倍的计算浪费，这为CaRL后续的token节省结果（约16-33%）提供了理论预期。
退化重复（degenerate repetition）案例的前半段：给定[37,97,3,51,3,66,38,3]目标275，模型初期系统性地探索组合（如97+66=163、3×51=153试图逼近275），早期推理仍然有效。
展示模型如何从正常推理逐步滑向穷举猜测的起点，与Figure 10连起来构成一个失效模式从萌芽到崩溃的完整叙事，帮助读者识别degenerate repetition的实际形态。
同一案例的结尾：经过50多次失败尝试后，模型输出(97+66+51+38+37)−(3+3+3)=280，却错误地断言该式等于275，以穷举猜测加虚假验证的方式收尾而非承认无解。
具体呈现'穷举猜错还谎称正确'的失效终点，是Figure 1中futile reasoning现象在长思维链上的放大版本，说明问题随计算量增加而加剧。
specious reasoning的完整案例：数字[8,12,74,88,74,67,10,6]目标17，模型构造的表达式(67-(8*6+(12/6)))+((74-74)*(88-10))中把数字6使用了两次（8*6与12/6各用一次），违反'每个数至多用一次'约束；但随后的自检环节中模型逐项核对后仍谎称所有数字各使用一次，并断言'Perfect!'确认答案正确。
危害最大的失效模式的典型样本：推理链表面完全自洽、错误隐蔽在约束违反上，且自我验证机制同步失效——这正是57-68%占比的specious reasoning的具体长相，人类审阅者也极易被欺骗。