判定无用却仍查询：工具型智能体很少把自身证据判断转化为停止决策 Judged Useless, Queried Anyway: Tool-Using Agents Rarely Turn Their Own Evidence Judgments into Stopping Decisions
智能体能准确判出检索结果无用却几乎不停手，只有框架强制集成规则能让停止跟随证据
前置知识
ReAct 范式
LLM 智能体的经典交互范式：模型交替输出 Thought（推理）、Action（调用工具）、Observation（工具返回结果），直到输出 finish 给出最终答案。本文中所有智能体都在 ReAct 格式下运行，动作空间只有 search（标题匹配后按词重叠检索段落）、lookup（用关键词定位下一句）和 finish 三个，预算为 8 个动作，答案按 token F1 ≥ 0.6 记为正确。
论文的实验环境、轨迹示例（Figure 1）和强制规则都围绕 ReAct 的动作序列设计，不熟悉该范式就看不懂停止决策发生在轨迹的哪一步、框架强制又是怎么接管的。
时间匹配对比 Δ
在同一个决策步上比较两种历史：(a) 目前所有结果都被智能体自己判为无用；(b) 最近一条被判无用、但更早有一条被判有用。$\Delta = P_a - P_b$，即两种历史下回答概率之差，用 Mantel–Haenszel 风险差在第 3–6 步决策上合并（排除最后一步）。$\Delta>0$ 表示停止跟随无用证据的积累，$\Delta\approx 0$ 表示按时钟或截止线停止，$\Delta<0$ 表示反而在早期有用证据后停止。
这是全文的核心度量，所有“判定与行动脱节”的结论都建立在 Δ 的符号和置信区间上，也是预注册的主终点。
集成指数 $I$ 及其混淆
直觉上的检验指标：$I = h(\{4,5\}) - h(\{1,2\})$，比较连续 4–5 条无用判定后与只有 1–2 条无用时的回答概率 $h$。但当源头从一开始就失效时，无用游程长度与时间完全共线，一个只会“越晚越想答”的模拟时钟型智能体也能拿到 $I\approx+0.5$，因此 $I$ 是有混淆的指标，只能作辅助证据。
理解为什么作者要设计更复杂的时间匹配 Δ 而不直接用 $I$，是理解本文实验设计严谨性、避免被成功率类指标误导的关键。
侧信道判定
在每个决策点，把当前对话复制一份“草稿副本”，向模型追加一个只需回答 USEFUL 或 USELESS 的问题，随后丢弃该副本。这样可以在不改变智能体真实轨迹的前提下拿到每一步的证据判定。实验显示侧信道判定与模型在推理中自发陈述的判定在 87–96% 的决策点上一致（两个不同家族的 LLM 标注者二值 κ≈0.90）。
论文把“判定”和“行动”作为两个变量分开测量全靠这个机制，否则无法在同一条轨迹上同时观测两者。
预注册实验
在跑任何 held-out 实验之前，把假设、阈值、样本量和判定规则写进一份只增不改的文档。本文所有阈值在 100 道开发题上定好，主结论在从未用过的 300 道新题（fresh300）和 292 条 FEVER 断言上验证，Δ 被预先注册为主终点，附录 A 逐条记录了 21 份文档的修订与偏差。
智能体评估领域充斥事后分析与选择性报告，本文结论的可信度很大程度上来自这套预注册流程，读附录的测试映射表才能分清哪些结论是确证、哪些是探索性的。
游程长度规则（run-length rule）
源自 Wald 序贯检验的思想：不按失败总数、也不按经过时间，而按“连续无用判定的当前游程长度”决定是否停止——源头一旦恢复、出现有用判定，游程就清零。本文的强制规则取 $k=5$（开发集上最优）：连续 5 条结果被判无用后，框架（harness）接管动作空间、只保留 finish，迫使智能体立即作答。
这是论文提出的解决方案，“跟踪游程而非总数”正是被测智能体普遍缺失的集成步骤，理解它才能明白强制规则为何有效且预算翻倍时停止点不动。
研究动机
工具会无声失效：搜索索引过期或检索器偏题时，智能体收到的仍是文本，只是不再有用。论文开篇的真实轨迹显示，Claude Haiku 4.5 回答一个两跳 HotpotQA 问题时，把搜索工具返回的每条结果都判为不相关，甚至在第 6 步已回忆起“Barlow 在乐队里”这一答案关键信息，却仍一路搜索到 8 步预算耗尽、交白卷。在七个被测智能体中，有五个在自己连续判出五条无用结果后的答题率不超过 7%（如 Qwen3-8B 仅 1/292、Claude Haiku 4.5 仅 1/284）；而被强制在此刻作答时，Claude Haiku 4.5 在 284 道这样的题里能答对 114 道。此前文献只记录了“搜索增强模型过度搜索”“deep-research 智能体继续浏览已无关的结果”等现象，并把原因归结为判定失真，但失败究竟出在判定证据、相信继续有回报，还是没能把判断转化为停止动作，并不清楚。
本文的目标是本文的目标是把“智能体何时停止依赖一个失效信息源”这一序贯决策拆开测量，并回答两个悬而未决的问题：第一，失败到底出在哪个环节——是对证据的判定错了，是对“继续搜索是否有回报”的信念错了，还是缺少把判定/信念转化为动作的那一步；第二，这个缺陷能否靠“告诉智能体更多信息”修复，例如允许它凭记忆作答、告知剩余预算并配计数器、书面给出停止规则、标注每次调用的价格，或者干脆把无用判定计数喂回上下文。在此基础上，论文希望给出一种让停止决策真正跟随证据积累的机制，并验证它在源头会恢复或从未失效的场景中不造成损失。
与已有工作不同的是，已有补救方案要么把搜索/回答边界直接训练进系统（如 Search-R1 的 RL 训练、自适应检索控制器、充分性验证器、防无依据停止的守卫），要么在基准里固定搜索预算。它们共同的问题是：成功率高时无法区分智能体究竟是“看证据停止”还是“撞截止线停止”——固定步数停止、撞截止线停止和按证据停止的三个智能体可以拿到完全相同的分数，而一旦预算变化，撞截止线者会跟着移动停止点并花光所有调用。本文的独特切入是：在可控注入失效的检索环境中，把判定、信念、动作三者分别测量，用时间匹配对比 Δ 直接检验“停止概率是否随无用游程增长”，并用 append-only 的预注册把每条结论钉死在 held-out 数据上，而不是事后解释。
核心方法
论文的直觉是：离开一个信息源是序贯决策——一条无用结果只是弱证据（换个问法可能成功、源头可能恢复），但无用游程越长，源头已失效的概率越大；好的策略应像序贯检验一样“集成”自己的判定，跟踪游程而非总数，源头恢复时游程清零。技术路线分四步：(1) 构造可控失效环境：在 HotpotQA distractor 集上让每个问题带 10 段专属知识库（其中 2 段含支撑事实，因而每条结果是否有用是已知的），把失效观测替换成别的问题的段落，设 clean / persistent / recover_after_1,2,3 / late_onset_from_3 六种失效时机，成功率在六场景等权平均（mean6），使“总是立刻离开”和“从不离开”都不最优；(2) 分离测量：侧信道取每步判定，分支探针取“继续 vs 立即作答”的成功概率信念，动作日志记录真实停止；(3) 用时间匹配对比 Δ 检验停止是否集成判定，并用模拟智能体验证 Δ 能区分时钟型、截止线型和证据型策略；(4) 依次叠加八种条件（permit、budget、stated rule、call cost、decide、enforced rule、combo 及随机/词汇对照信号），比较每种条件下停止究竟响应什么。
核心创新有二。其一是测量学上的：不问“成功率多少”，而问“停止响应什么”。Δ 在同一决策步上比较“全是无用判定”与“最近无用但更早有一条有用”两种历史，使无用游程长度成为两个历史间唯一的系统性差异，从而把证据驱动（Δ>0）、时钟/截止线驱动（Δ≈0）与反证据驱动（Δ<0）三种在成功率上无法区分的策略彻底分开——论文用模拟证明，只会拖到截止线的智能体在集成指数 $I$ 上可拿 +0.5，在 Δ 上则正确归零。其二是干预上的：既然七个模型的判定准确（97–100%）却不行动，缺的就是“把积累的判定映射为动作”的集成步，论文干脆让框架替模型执行：连续 $k=5$ 条自身判定为无用后移除 search/lookup、只留 finish。关键在于规则读的是智能体自己的判定而非外部信号，k 在开发集选定、不随预算变化，且这一步可以在智能体自述的推理中直接读出而不需要额外调用。
方法步骤详情
完整流程如下。(1) 任务构造：HotpotQA distractor 开发集每题配 10 段知识库，ReAct 格式，8 动作预算，token F1 ≥ 0.6 记为正确；基础 prompt 不告知预算、也不说明不答题即错（这一伏笔在条件实验中补测）。(2) 失效注入：按六种 regime 用其他问题的段落替换观测，persistent 时替换段落几乎必然无用，可给判定打分。(3) 判定采集：每步在对话副本上问一次 USEFUL/USELESS（Claude Haiku 4.5 的判定取自其强制规则运行轨迹）。(4) Δ 计算：对第 3–6 步的决策用 Mantel–Haenszel 风险差合并 $P_a-P_b$，排除最后一步。(5) 条件实验：none / permit（允许凭记忆作答）/ budget（声明 8 动作预算+步数计数器+不答算错）/ stated rule（书面写明“连续 5 条无用即作答”）/ call cost（每次调用 0.05、答对得 1）/ decide（每步把判定与无用计数写进上下文）/ enforced rule（框架强制）/ combo（budget+enforced），另配速率匹配的随机信号与廉价词汇检测器两个对照。(6) 强制规则评估：mean6 提升、对 clean/recover 场景的非劣性（边际 −0.05）、预算翻倍时停止点是否不动、对比随机信号。(7) 复现与外推：300 道全新题（fresh300）以 Δ 为主终点、292 条 FEVER 断言、plausible/answerless 两种更难的失效方式，以及 Qwen3-32B、Claude Sonnet 5、thinking 模式和 RL 训练的 Search-R1。
技术新颖性
本文的新颖性不在新算法，而在测量科学层面。第一，首次把工具使用智能体的证据判定与停止行动作为两个变量分开测量，并证明二者系统性脱节——这与“知道但做不到”文献（Kadavath 等的校准研究、Li 等的工具调用犹豫、Schmied 等的多臂老虎机贪婪行为）相衔接，但推进到序贯停止决策场景。第二，时间匹配对比 Δ 是新的度量设计：既控制时间（步数）又控制最近判定，化解了游程与时间共线的测量陷阱，并用模拟智能体验证其区分度，这是对“成功率不能反推停止策略”这一常见误读的直接回应。第三，干预分级极细：permit→budget→stated rule→cost→decide→enforced 构成信息量递增的阶梯，系统回答了“多写点 prompt 能不能解决”——答案是只改变何时停、不改变停在什么上。第四，方法论严谨度罕见：21 份 append-only 预注册文档、全部阈值开发集选定、fresh300 上 19/19 测试通过、完整偏差记录（如上下文超限、模板化答案修复），主文每条主张都能在附录表 3–5 映射到具体测试。
实验结果
核心发现分四层。(1) 判定准确但不行动：七个智能体的侧信道判定把失效源结果判为无用的比例达 97–100%（作为对照，首次检索到金段落时判为有用的比例 77–98%，仅 Qwen2.5-7B 为 57%，说明不是“偏无用”偏差）；但连续五条无用判定后，无辅助的 Qwen3-8B 仅在 1/292 题上作答、Qwen2.5-7B 3/122、Llama-3.1-8B 1/282、Qwen3-32B 19/284、Claude Haiku 4.5 1/284；所有开放模型 Δ 为负（−0.02 至 −0.11）；此刻作答成功率 15–17% 而继续搜索至多 7%；离散风险模型显示每多一条无用判定，7–8B 模型作答概率反而变化 −0.02 至 −0.01（强制规则下 +0.15 至 +0.17）。(2) 告知更多信息只改变“何时停”，不改变“停在什么上”：permit 让 Qwen3-8B 无差别乱停（在 recover_after_3 场景 55% 的问题上不等任何真实结果就作答，Δ=−0.32）；budget 使 7–8B 模型 51–79% 的回答落在最后一步，预算翻倍后停止点从第 8 步挪到第 16 步、工具调用近乎翻倍而无收益；书面规则最多被部分执行（Llama-3.1-8B Δ=+0.09、Qwen3-32B +0.08，远低于强制下的 +0.37/+0.33）；计费 0.05/次仍撞截止线；decide 把实时无用计数喂进上下文后 Δ 仍为 −0.14 至 −0.24。(3) 强制集成步有效：mean6 对四个开放模型和 Claude Haiku 4.5 提升 +0.026 至 +0.097（Holm 校正后显著），Claude Sonnet 5 失效源成功率从 0.40 升至 0.51；对比速率匹配随机信号赢 0.011–0.029，说明信号时机重要；预算翻倍时停止点纹丝不动（中位第 6 步）；combo 在 14/14 预注册非劣性测试全过，并对主要问题是过早作答的 Qwen2.5-7B 再加 +0.138；用关键词读取器从模型自述推理中读判定可省掉每题 3–5 次额外判定调用，成功率差距 ≤0.01。(4) 复现稳健：fresh300 上 19/19 预注册测试通过（强制规则 Δ=+0.30 至 +0.35，无辅助 ≤−0.03，五连无用后作答率 3/125、2/283、0/289）；FEVER 上效果更大（mean6 提升 +0.129 至 +0.201，预算组 69–96% 在最后一步作答）；更难的 on-topic 失效削弱判定准确率（plausible 84–97%、answerless 76–97% 判无用）但脱节模式不变。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA 六失效场景平均（mean6） | 成功率 | 强制规则较无辅助提升 +0.026~+0.097（Claude Haiku 4.5 +0.097，Qwen3-32B +0.063） | 无辅助 none：Qwen2.5-7B 0.192 / Llama-3.1-8B 0.263 / Qwen3-8B 0.448 / Qwen3-32B 0.509 | Holm 校正后 4/4 显著；源头恢复或干净场景 18/20 非劣（边际 −0.05） |
| fresh300 复现（300 道全新题） | 时间匹配对比 Δ（预注册主终点） | 强制规则 Δ=+0.31~+0.35（Qwen3-32B +0.30） | 无辅助 Δ=−0.09~−0.03，budget 条件 Δ=−0.19~−0.14 | 19/19 预注册测试全部通过；无辅助五连无用后作答 ≤3% |
| FEVER 事实核查（292 条平衡断言） | mean6 成功率 | 强制规则提升 +0.129~+0.201 | 无辅助（随机猜即有 50% 正确率，凭记忆作答收益本应更大） | 参数全部从 HotpotQA 原封迁移仍复现，预算组 69–96% 的回答在最后一步 |
| 停止点对预算的敏感性（预算 8→16 动作） | 失效源上的中位作答步 / 工具调用数 | 强制规则与 combo 停在原步（中位第 6 步，调用数 4.99→4.97） | budget 条件停止点跟着截止线走（第 8→16 步，多 6.53~10.61 次调用，成功率无增益） | 停止点与预算解耦，是证据驱动停止的操作性证据 |
| combo（budget+强制规则）对 Qwen2.5-7B | mean6 成功率 | 较强制规则再 +0.138 [+.104, +.173]，FEVER 上 +0.088 | 单独强制规则（该模型主要失败是过早作答） | 14/14 预注册非劣性测试通过，截止线防早停、规则防死搜互补 |
局限与改进
作者承认的局限：失效是模拟的（用其他问题的段落替换观测），真实工具还有部分内容、过时、错误内容等失效模式未测，尽管 on-topic 失效场景下脱节仍在；源头最多 3 次失败后恢复，$k=5$ 按此分布调定，恢复更晚时规则可能在恢复前一刻放弃（附录 13c 中 rec5 上 Qwen3-8B 差 −0.213）；多数对照只在开放模型上跑，两个 Claude 模型条件与题量较少（Sonnet 5 仅 100 题，mean6 增益 +0.022、p=0.051 未达显著）；判定在对话副本上引出、信念是自我报告，只能做模型内比较；陈述判定由 LLM 标注者加作者仲裁而非独立人类标注；凭记忆作答并非天然安全，参数知识可能过期或错误。我的补充观察：(1) 强制规则本质是外部脚手架，论文并未让模型自己学会集成，落地时意味着每个 agent 框架都要内置该机制并可靠读出判定；(2) 廉价词汇检测器（与问题内容词重叠少即判无用）表现与智能体判定相当，一方面说明高级判定信号在该环境并非必需，另一方面暗示结论可能部分依赖“失效段落近乎必然无用”的构造；(3) 任务限于两跳 QA 与单源失效（backup 工具实验除外），多源并行、更长视野下游程阈值如何设定未探索。
独立分析的弱点
独立分析的弱点：(1) 生态效度——失效注入方式（替换成无关问题的段落）使“无用”几乎必然可识别，而真实失效常是部分相关、过时或隐秘错误的内容，届时判定准确率可能大幅下滑，论文自己的 answerless 场景（判无用率降到 76–97%、五连无用后作答率升到 5–21%）已显端倪；改进方向是用真实过期索引或注入事实性损坏复测 Δ。(2) 单一信息源假设——主环境只有一个 search 源，现实智能体面对多源可交叉验证的场景，“放弃本源”与“切换到备份源”的决策结构不同；backup_search 实验里 Llama-3.1-8B 到第 4 步只有 17% 切换、成功率跌到 0.05，说明换源决策同样脱节，值得单独建模为多臂序贯决策。(3) 阈值敏感性——$k=5$ 在 recover_after_3 分布上调出，若真实源头恢复需 10 次尝试，规则会过早放弃（rec4/rec5 实验已暴露）；改进方向是让阈值随源恢复概率的后验自适应，趋近 Wald 序贯概率比检验。(4) 修复与评估未分——论文证明框架强制有效，但这只是把缺的一步从模型转移到工程框架；能否通过训练（过程奖励、显式停止奖励的 RL）让模型内化集成步，本文只给了否定性的间接证据（Search-R1 的结果奖励 RL 没学会），未给出肯定方案。
未来方向
作者明确提出的：智能体设计应把“放弃一个源”的决策显式化并纳入评估，而不是指望 prompt；评估不应从成功率反推证据驱动停止，应直接检验同一决策步上的停止概率是否随无用游程上升；判定与行动必须分开测量，因为陈述判定不保证被执行。基于本文成果可延伸的：(1) 训练侧——给 RL 加显式的游程集成奖励或用过程奖励模型教模型在推理中执行计数与集成，检验能否内化而无需框架接管；(2) 度量推广——把 Δ 推广到多源并行工具调用、代码执行 agent 的停止/重试/换源决策，形成一套“停止审计”协议；(3) 自适应阈值——用序贯概率比检验（SPRT）替代固定 $k=5$，按源头的经验恢复分布动态调整，处理长恢复延迟；(4) 与弃权（abstention）机制结合——强制规则迫使凭记忆作答，需要与“不确定就说不知道”的弃权策略组合，避免用错误参数知识作答（论文在 answerless 场景已发现 budget 条件反而更好）；(5) 真实失效复现——在带真实 API、限流、过期 wiki dump 的 agent 基准上检验脱节是否仍在，并测 Llama-3.1-8B 那种“部分遵循书面规则”的能力是否随规模增长（Claude Sonnet 5 是唯一无辅助下部分跟随证据的模型，设计标签对比 +0.12）。
复现评估
复现条件很好。代码开源在 github.com/bennidict23/judged-useless-queried-anyway；四个开放模型（Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B/32B）用官方权重经 vLLM 本地运行，7–8B 部分单卡即可复现，Qwen3-32B 需较大显存；两个 Claude 模型走官方 API，题量被刻意压缩（Sonnet 5 仅 100 题、Haiku 4.5 部分条件 200 题），成本可控；数据全部来自公开的 HotpotQA distractor 开发集与 FEVER，失效注入由固定规则与种子驱动、可确定性复现；21 份 append-only 预注册文档连同全部测试 ID（表 4–5）、决策规则与偏差记录公开，附录表 3 把主文每条主张映射到具体测试，并明确区分预注册与探索性分析。难点主要在工程细节：8K/16K/32K 上下文限制导致的偏差处理、模板化答案 finish[answer] 的统一修复程序、LLM 标注者的判定协议（二值 κ=0.90）。总体而言这是复现友好度极高的实证论文，关键结果（Δ 脱节与强制规则增益）在 300 题规模即可验证，算力门槛低。
论文图表
左侧是 Claude Haiku 4.5 的真实轨迹：八步搜索全部被判“不相关”，第 6 步甚至回忆起 Gary Barlow 在乐队里（正是答案），第 8 步预算耗尽无答案；附注展示在强制规则下同样轨迹会正确答出 musician。右侧双条形图：五个模型对失效源结果的侧信道判定 98.4–99.9% 为 useless，但五连无用后无辅助的作答率极低——Qwen2.5-7B 3/122、Llama-3.1-8B 1/282、Qwen3-8B 1/292、Qwen3-32B 19/284、Claude Haiku 4.5 1/284。
一图概括全文核心现象：“判定无用”接近 100% 与“据此停止”接近 0% 的巨大反差，是论文标题的字面来源，也是所有后续测量的出发点。
8 条件 × 4 模型的 Δ 热图：none/permit/budget/stated rule/call cost/decide 下几乎所有格子为负或近零（−0.32 至 +0.09），只有 enforced rule 与 combo 下全部转为 +0.20 至 +0.37；括号内 fresh300 复现值与主实验一致。
全文最重要的结果汇总表：直观呈现“只有框架接管集成步，停止才跟随证据”，并展示预注册复现在独立数据上成立。