HiL-Bench：智能体知道何时求助吗

提出HIL-BENCH基准与ASK-F1指标，量化智能体在信息缺失时主动求助的判断力

前置知识

选择性升级(Selective Escalation)

智能体在执行任务过程中识别到当前无法通过自主探索或推理解决的认知缺口时，主动将问题上报给人类或其他信息源以获取关键上下文的能力。它不同于简单的"不确定就停手"，而是要求智能体在发现不可解决的模糊性时精准触发升级机制，例如调用 ask human() 工具。

本文的核心研究对象就是选择性升级能力，ASK-F1 指标、训练目标和失败分析都围绕这一概念展开，是理解整篇论文的认知基础

ASK-F1 调和平均指标

ASK-F1 是问题精度与阻塞器召回率的调和平均：$F_1 = 2 \cdot \frac{Prec \cdot Rec}{Prec + Rec}$。调和平均在数学上架构性封堵了"刷问题提升召回"的漏洞，是本文核心评估指标。

ASK-F1 是本文提出的核心评估指标，也是 RLVR 训练的奖励设计基础，理解其数学结构对把握论文方法至关重要

SWE-Agent 工具框架

SWE-Agent 是一个用于软件工程任务的智能体框架，提供文件读写、代码搜索、测试执行等标准工具调用能力，本文所有实验都基于该框架外加自定义的 ask human() 工具。SQL 任务额外配置业务逻辑检索、模式探索和 SQL 执行工具。

理解实验运行的智能体基础设施是评估结果可推广性的前提，论文报告的所有 Pass@3 和 ASK-F1 数字均在此框架下测得

可验证奖励强化学习(RLVR)

RLVR 是用可机器验证的奖励训练语言模型的方法。本文奖励由分步项 $r_{step}(q) = +0.3/\!-\!0.1$ 与终局项 $r_{terminal} = |B_{discovered}|/|B|$ 组成，结合 LoRA 在 Qwen3-32B 上微调，无需人类偏好标注。

RLVR 是论文证明"判断力可被训练"这一核心结论所使用的训练方法，掌握其奖励设计逻辑是理解 Sec. 4.4 实验的前提

渐进发现(Progressive Discovery)设计

渐进发现指任务的模糊性必须在执行和探索过程中逐步浮现，而非在初始提示中可一次性读取。这种设计避免了"任务开始前刷一遍问题清单"的退化策略。论文通过 spec-only 消融实验验证：移除环境工具后 Claude Opus 4.6 的阻塞器召回率从 61% 跌至 11%。

渐进发现是 HIL-BENCH 区别于既有澄清型基准的关键设计决策，是论文强调的方法论贡献之一

阻塞器(Blocker)类型学

阻塞器是任务中被故意植入的信息缺口，本文中分为三类：缺失信息(42%)指规格中缺少必要值，模糊请求(36%)指存在多个合理解释，矛盾信息(22%)指规格中存在不可同时满足的冲突。每一类都对应真实工程场景中的一类失败模式。

阻塞器是 HIL-BENCH 任务的核心元素，其类型分布和定义直接决定基准的覆盖面和有效性，是理解任务构造的基础

研究动机

当前主流的智能体评估基准（如 SWE-Bench、HumanEval、BIRD-SQL）存在系统性盲区：它们提供完全明确、详细的任务规格，仅奖励执行正确性，而不奖励识别歧义和主动求助的行为。这一设计导致一个危险现象——一个在缺失需求上"幸运猜对"的智能体与一个本来会主动询问的智能体得分完全相同，形成"高分→部署→企业试点失败率超 90%"的反馈循环。论文以 SWE-Bench Verified 为例指出：前沿模型已经"记住"了大量题目，因此只能借助未受污染的 SWE-Bench Pro 构造新评估。具体数据显示：在 SQL 任务上 GPT-5.4 在完整信息下取得 86.0% Pass@3，但当必须主动求助时仅 17.3%；Claude Opus 4.6 在 SWE 上从 69.1% 跌至 9.4%，呈现高达 60-81 个百分点的"判断力鸿沟"。

本文的目标是本文的具体目标是构建一个能精确测量智能体"求助判断力"的基准 HIL-BENCH，并提出对应的训练方法。基准应满足三个核心要求：(1) 通过渐进发现机制隔离"求助判断"与"解题能力"——即任务必须在充分信息下可解，缺失信息时无法绕过；(2) 通过 ASK-F1 指标同时惩罚"不求助"和"乱问"两种失败模式；(3) 通过 RLVR 训练证明求助判断力是可以被优化的目标。基准覆盖 SWE 和 SQL 两个真实工程领域，部署 3-5 个独立阻塞器，确保智能体无法靠单一问题投机取巧。

与已有工作不同的是，本文的独特切入角度是"评估与失败模式错位"的批判性视角以及 ASK-F1 指标的结构性创新。既有澄清型基准（如 Aliannejadi 2020、Min 2020、Huang 2025b）有三个共性局限：模糊性在任务开头就完整可见、任务通常只含一个信息缺口、没有任何指标惩罚过度提问。HIL-BENCH 通过渐进发现、多阻塞器独立设计、调和平均指标三个机制同时填补这三个空白。技术路线上区别于 Andukuri 等人的"训练 LM 生成澄清问题"：本文不依赖人工标注偏好，用机器可验证的奖励直接优化判断力，并通过跨域迁移实验证明学习到的是通用不确定性检测能力而非领域特定启发式。

核心方法

HIL-BENCH 的整体思路是"把好规格的成熟任务改造成'坏规格的判断力挑战'"。作者从 SWE-Bench Pro 和 BIRD 两个成熟基准中各选 150 个任务（完整信息下顶尖模型 Pass@3 约 85%），由训练有素的人类标注员注入 3-5 个真实合理的阻塞器，并让智能体在保留 ask human() 工具的环境下完成。每个任务都通过"必要性"（无工具时 Pass@3 ≤ 5%）和"充分性"（提供所有答案后接近 90%）两道自动筛选关卡。评估维度上，论文首次系统刻画了"判断力鸿沟"——完整信息下与必须求助时性能崩塌 60-81 个百分点，并通过 3,600+ 失败轨迹的归因分析揭示不同模型家族的稳定"指纹"。

本文的核心创新是 ASK-F1 指标与渐进发现机制的结合。ASK-F1 作为精度与召回的调和平均，$F_1 = 2 \cdot \frac{Prec \cdot Rec}{Prec + Rec}$，在数学结构上架构性地封堵了"刷问问题来提升召回"的漏洞——例如 5 个阻塞器下用 50 个问题拿到 80% 召回（8% 精度）只能得 14.5% F1。渐进发现机制确保阻塞器只能在执行过程中浮现，spec-only 消融实验证明召回率从 61% 跌至 11%，证实了"必须探索才能识别缺口"的设计意图。与既有方法本质区别在于：HIL-Bench 把"求助"建模为可被结构化评估和训练的离散行为，而非自由形式对话。ask human() 工具由冻结的 Llama-3.3-70B-Instruct 作为语义裁判，对 97% 精度、91% 召回的人标对验证集提供稳定信号。

方法步骤详情

基准构建分四阶段：阶段 1 从 SWE-Bench Pro 与 BIRD 各挑 150 任务，确保完整信息下顶尖模型可达约 85% Pass@3；阶段 2 由领域专家标注员植入 3-5 个符合七项质量准则的阻塞器，每类阻塞器对应不同失败模式；阶段 3 通过 5-6 轮独立人类审计 + 自动管道检查环境搭建、答案正确性、结构性不变量；阶段 4 形成 200 公开 + 100 私有、1131 个阻塞器的最终数据集。评估时智能体获 ask human(question: str) -> str 工具，由冻结的 Llama-3.3-70B-Instruct 充当语义裁判，命中阻塞器则返回解决方案，否则返回 "irrelevant question"，人标验证 97% 精度、91% 召回。RLVR 阶段对 Qwen3-32B 用 LoRA 在 SkyRL 上微调，奖励由分步项 $r_{step}(q) = +0.3/\!-\!0.1$ 与终局项 $r_{terminal} = |B_{discovered}|/|B|$（前提发现至少一个阻塞器）组成。

技术新颖性

本文的技术新颖性体现在五个层面。第一，ASK-F1 是首个针对"求助行为"的过程指标，调和平均结构在数学上架构性地防止问题刷屏。第二，渐进发现机制解决了既有澄清基准"任务开头可见歧义"的根本局限。第三，7 条阻塞器质量准则 + 5-6 轮人类审计 + 双自动不变量检查的三重验证管道，确保每个阻塞器都符合"逼真 + 关键 + 客观 + 不可猜 + 独立 + 不污染 + 不刻意"的严苛标准。第四，"判断力矩阵"框架（Confident Failure / Lucky Guess / Over-Asks / Good Agent）首次形式化区分了"成功未求助"和"失败但求助"等关键行为象限。第五，shaped ASK-F1 奖励将稀疏的 F1 信号分解为密集分步信号，使得纯机器可验证的 RL 训练首次成为可能，跨域迁移实验证明学到的是通用不确定性检测能力。失败分析中 GPT/Claude/Gemini 三个家族的稳定指纹（准确率主导、不确定性识别但未行动、域敏感且外部可校正）也是论文的独特贡献。

**Figure 2**: Example agent evaluation workflow: progressive discovery through exploration; Ask-F1 scores both detection (recall) and targeting (precision)

实验结果

Table 1 显示完整信息下模型 SQL 达 86-90.7%、SWE 达 64-88% Pass@3，但必须求助时最佳仅 38% (SQL) 和 12% (SWE)，平均 ASK-F1 仅 40.5% 和 37.4%。Claude Opus 4.6 SQL ASK-F1 最高 57.5%，SWE 骤降至 29.9%；GPT-5.3-Codex 召回仅 14-27% 从不主动求助。Figure 3 失败指纹：GPT 家族 73-93% 工具失败源于"工具正确但参数错"（accuracy 主导）；Claude 45% 对齐失败显式承认卡住却仍提交（self-assessment 主导）；Gemini 引入 ask human() 后 SQL 工具完成率从 56% 跌至 17.6%、准确率从 38% 飙至 82.4%。Figure 4 RLVR 把 Qwen3-32B SQL ASK-F1 从 18% 提到 46%（+28pp）、Pass@3 从 11% 到 24%（+13pp）；跨域迁移：仅 SQL 训练就在 SWE 上获对应提升，反之亦然，证明学到的是通用判断力。

**Table 1**: The Judgment Gap: SQL vs. SWE. While models easily solve fully specified tasks, their performance collapses when they must actively seek help

**Table 2**: Blocker taxonomy: three types of information gaps with definitions and representative examples drawn from the dataset

**Table 3**: Dataset statistics for HIL-BENCH

**Table 8**: Full leaderboard: Pass@3 with ask human() tool, combined across SWE and SQL

**Figure 3**: SQL failure fingerprints reveal distinct judgment signatures across model families. (A) Baseline failure modes; (B) Failure distribution shifts with ask human()

**Figure 4**: RLVR closes the judgment gap and transfers across domains. (A) Precision-recall space; (B) Ask-F1 and Pass@3 improve in lockstep

查看结构化数据

任务	指标	本文	基线	提升
SQL 任务完整信息 Pass@3	Pass@3	86.0-90.7%	同模型无工具时: 0%（NEAR ZERO）	提供完整信息后基线从几乎 0 恢复至 86-91%
SQL 任务带 ask_human() 工具 Pass@3	Pass@3	最佳 Claude Opus 4.6: 39.3%	GPT-5.3-Codex: 5.3%, GPT-5.4: 17.3%	判断力鸿沟达 51-81pp
SWE 任务带 ask_human() 工具 Pass@3	Pass@3	最佳 Claude Opus 4.6: 9.4%	GPT-5.3-Codex: 2.0%, GPT-5.4: 1.3%	判断力鸿沟达 60-66pp
SQL 任务选择性升级 ASK-F1	ASK-F1	最佳 Claude Opus 4.6: 57.5%	GPT-5.3-Codex: 22.3%, Gemini 3.1 Pro: 44.5%	前沿模型间差距 35pp，无一进入"良好判断"象限
SWE 任务选择性升级 ASK-F1	ASK-F1	最佳 Gemini 3.1 Pro: 41.1%	Claude Opus 4.6: 29.9%, GPT-5.3-Codex: 33.2%	所有模型 SWE 上召回率均低于 50%
RLVR 训练后 SQL 域 ASK-F1	ASK-F1 (held-out 30 tasks)	46%	Qwen3-32B base: 18%	+28pp，过程指标与结果指标同步提升
RLVR 训练后 SQL 域 Pass@3	Pass@3	24%	Qwen3-32B base: 11%	+13pp
RLVR 训练后 SWE 域 ASK-F1	ASK-F1 (held-out 30 tasks)	21%	Qwen3-32B base: 4%	+17pp
RLVR 跨域迁移(SQL→SWE)	Pass@3	7%	Base: 1%	+6pp，证明学到的是通用判断力
渐进发现机制验证 (spec-only 消融)	Blocker Recall	完整环境: 61%	无环境工具仅 spec: 11%	-50pp，证明阻塞器需探索才能浮现

局限与改进

论文坦诚地承认若干局限：基准仅覆盖 SWE 和 SQL 两个领域，跨域泛化到开放式网页任务、GUI 交互、多模态规划等其他智能体场景尚未验证。私有测试集仅 100 个任务，统计功效有限，排行榜 Table 8 揭示即便是 GPT-5.5 这样的新模型在 SWE 上 Pass@3 也仅 32%，ASK-F1 也只有 48%，仍有大量提升空间。阻塞器注入主要依赖人类标注员，可扩展性受限，且标注员本身可能引入主观偏差，尽管有 5-6 轮独立审计也难以完全消除。RLVR 实验仅在 Qwen3-32B 上完成，LoRA 适配可能限制了潜在性能提升，完整微调是否带来不同结论尚不清楚。ask human() 的裁判模型 Llama-3.3-70B-Instruct 虽冻结开源，但裁判 91% 的召回率意味着仍有约 9% 的有效问题被错误拒绝，这部分系统性低估了智能体的真实能力。此外，论文承认 ASK-F1 是过程指标而非结果指标，虽然设计上两者高度耦合，但仍可能存在"提升 F1 但 Pass@3 不动"的潜在脱钩场景。

独立分析的弱点

独立分析论文有以下弱点及改进方向：(1) 任务规模偏小——训练仅 120 任务/域，评估仅 30 个 held-out，可能不足以覆盖阻塞器多样性，建议扩展至 1000+ 任务并加入难度分级。(2) 阻塞器依赖人类标注员，可扩展性受限，可考虑用强模型自动生成候选 + 人类审计把关的混合流水线。(3) ask human() 裁判 91% 召回率天花板意味着 9% 有效问题被错误拒绝，建议改用 GPT-4 级强模型或多裁判投票。(4) 渐进发现机制缺对"探索深度"的精确控制，建议引入阻塞器"浮现时间"标注做时机分析。(5) 奖励 +0.3/-0.1 系数是手调缺消融，建议系统扫描不同组合。(6) SWE 域所有模型召回率都低于 50% 现象说明该域判断比 SQL 难得多，但论文未深挖代码语境下"显式承认卡住"信号弱这一特定瓶颈。

未来方向

论文明确指出了多个值得探索的方向，作者建议：(1) 将 HIL-BENCH 范式扩展到 GUI 导航、网页操作、多模态规划等更多智能体场景，验证判断力问题是否普遍存在；(2) 探索 ASK-F1 与人类偏好的对齐——用 ASK-F1 训练的模型是否真的更受人类协作者欢迎，需要用户研究验证；(3) 把判断力信号融入预训练阶段而非仅靠后训练 RL，从根本上改善模型对不确定性的元认知能力。基于成果可延伸的方向包括：(a) 多智能体协作中的"分布式求助"——智能体不仅可向人类求助还可向同伴智能体求助，需要新的指标刻画；(b) 主动式阻塞器检测——让模型不仅被动识别缺口，还能主动报告"我发现这里可能有问题"的元层信号；(c) 把 ASK-F1 与工具使用效率、token 成本结合形成 Pareto 前沿分析，权衡"问得多答得准"与"问得少做不完整"；(d) 在真实企业部署环境中长期追踪 HIL-BENCH 分数与实际任务成功率的相关性，建立生态效度证据。

复现评估

复现性整体良好但有门槛。基准本身已开源（论文明确"Harness & Data are here"），含 200 公开任务、阻塞器注册表和评估管道。阻塞器构造（5-6 轮审计 + 自动检查）有 Appendix C 详述，ASK-F1 公式、奖励设计、超参在 Sec. 3.5、4.4、Appendix G 完整说明。ask human() 工具基于开源 Llama-3.3-70B-Instruct，裁判 97% 精度、91% 召回便于独立验证。但复现隐性成本不低：(1) RLVR 训练 32B 模型需多卡 H100/A100，卡数未披露；(2) 前沿模型评估（GPT-5.4、Claude Opus 4.6、Gemini 3.1 Pro）需商业 API 访问且成本高；(3) 阻塞器注入依赖训练有素的人类标注员，标注员招聘培训流程未公开；(4) 渐进发现 spec-only 消融需在严格隔离环境（无 schema/无 SQL 执行）下重跑。基准和数据完全可复现，但完整重做 RLVR 与前沿模型对比需相当算力与商业 API 投入。

HiL-Bench：智能体知道何时求助吗 HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help?