HALO：以人为本的主动智能体细粒度评测 HALO: Human-Grounded Granular Evaluation of Proactive Agents
HALO基准用专家逐条人工诊断揭示：主动智能体的主导失败模式是过度主动，占被拒响应61.2%。
前置知识
主动智能体（Proactive Agent）
不等用户显式下达指令，而是从观察到的用户活动（邮件、日历、聊天等事件流）中推断潜在需求，并主动发起帮助的智能体。它必须自己决定三件事：是否干预（识别正当克制）、何时干预（时机）、干预到多大程度（力度/范围），例如发现会议设备故障时是只提醒、准备方案还是直接下单报修。
本文的整个评测对象就是这类智能体的“是否/何时/多大力度”三维决策，读懂所有实验表格都需要先理解这三个维度。
行动层级 L0–L3
HALO 按承诺程度把代理响应分为四级：L0 观察只检索信息不干预；L1 提请注意（如创建提醒、notify_user）把需求告知用户但不执行底层任务；L2 准备（如建草稿、建日历草案）为后续行动做组织但不产生外部承诺；L3 执行（如发邮件、付款）改变用户的活跃承诺或产生外部效果。19 个行动命令按 6/6/7 映射到 L1/L2/L3。
所有标注（行动层级、强度诊断）和结果分析（L1 占 69.2% 等）都建立在这个层级体系上，是论文的基本度量单位。
检查点评估（Checkpoint Evaluation）
在每个检查点 $t$，runner 把环境重置到初始状态 $S_0$，只回放该场景的事件前缀 $(e_1,\dots,e_t)$，让代理基于这一前缀多轮检索证据后给出一个行动或不动。各检查点相互独立，早期干预不会影响其他检查点，同一检查点上不同模型的响应可由同一位标注者判定，形成配对比较。
理解这个协议才能看懂 HALO-8K 数据怎么来的（2,160 个检查点、每模型 800 条），以及配对分析为何能排除场景难度和标注者偏好两个混杂因素。
时机与强度的细粒度诊断
对被拒的 L1–L3 响应，标注者在两个独立问题上分别作答：时机为过早（Premature，早于有用窗口）、过晚（Belated，错过有用窗口）或恰当；强度为不足（Insufficient，帮助不够）、过度（Excessive，超出证据支持的范围或权限）或恰当。被拒的 L0 则记为 Inaction（错失了本应提供的帮助），与“正当克制”（被接受的 L0）区分开。
论文的核心结论“过度主动占被拒响应 61.20%”正是由 Premature 与 Excessive 两类标签合并统计得出，不懂数值体系就无法理解主结果。
资源消耗指标：推理 token 与检索轮次
HALO 为每条被标注的响应累加各次调用保留的推理 token（reasoning tokens），并统计完成的检索轮次（retrieval rounds），作为代理“努力程度”的代理变量。开源模型平均 4.77k token、1.21 轮，专有模型平均 5.53k token、2.55 轮。
论文用它回答“更努力是否等于更好”：检索轮次与可接受性在模型层面高度相关（$r=0.885$），但 Claude-Opus5.5 用榜首约 23% 的推理 token 却排名第二，说明质量与消耗要并置比较。
LoRA 微调
低秩适配（LoRA）冻结原模型权重、只训练注入的小矩阵，用极小算力把基座模型改造成特定任务的模型。论文附录 H 用非思考模式的 LoRA 把 Qwen3.5-9B/4B 微调成“自动判官”，在 7,600 条训练响应上学习预测人类判定与诊断标签（1 epoch，有效 batch 16）。
Judge 实验是论文对“可扩展自动评测”路线的警示：微调后判定准确率 +7.50 pp 但联合诊断准确率 -11.00 pp，说明细粒度人工诊断难以被小判官替代。
研究动机
主动智能体要从观察到的用户活动中推断需求，并在没有显式请求时决定是否、何时、以多大力度提供帮助。现有评测主要依赖可扩展的自动化指标或二元判定：ProAgentBench 只比较干预预测和响应相似度，ProactiveBench 用人类接受标签训练奖励模型打分，Lu 等人（2024）对主动辅助任务提案报告 66.47% 的 F1。这些分数既无法诊断单个响应为什么被接受或拒绝，也无法区分时机、力度、相关性与证据支持等不同失败维度。而“检测到需求”并不等于“干预可接受”：一次提醒可能时机过早或过晚、力度不足或过度、内容不相关、或缺乏证据支撑。已有的少量人工研究只考察用户对主动辅助的整体感知，缺少对个体响应的逐条诊断；结果是，即便最好的模型也有超过四分之一的响应不可接受，但现有基准说不清这些失败究竟错在哪里。
本文的目标是本文要回答两个问题：给定一个包含证据但无显式请求的环境，主动智能体能否在恰当的时机以恰当的力度提供有据可依的帮助；当它失败时，究竟败在哪个维度。为此作者构建 HALO，含两个组件。其一是 HALO-Arena：可执行评测环境，覆盖 Dependency（缺失前置条件）、Blockage（进行中活动被卡）、Risk（未发生的潜在损失）、Opportunity（可选收益）4 种主动需求类型、10 个日常领域和 50 个个人环境，共 400 个场景；环境由邮件、日历、聊天、通讯录、钱包五个应用加 SQLite 数据库与文本文件组成，代理需通过 29 个交互命令检索证据，再用 19 个行动命令决定观察、提请注意、准备或执行。其二是 HALO-8K：8,000 条来自 10 个模型、横跨 400 个场景（2,160 个检查点）的响应，由 20 位专家标注行动层级、可接受性判定，并对被拒响应给出时机、强度与其他问题的人工诊断，同时记录推理 token 与检索轮次。
与已有工作不同的是，本文的独特切入是把“逐条人工诊断”作为评测的一等公民，而不是最终打一个分。对比论文 Table 3 的能力矩阵：PROBE 支持数据库与文档检索但没有可改变状态的应用，也无人工判定与诊断；ProAgentBench 有消耗记录却无人工判定；PARE-Bench 与 π-Bench 有功能应用但既无人工判定也无诊断；Proactivity-Gym 有人工研究但不提供逐响应诊断。HALO 是唯一同时具备功能应用、SQL 数据库、文档检索、人工判定、人工诊断与消耗记录六项能力的基准。其次，HALO 把被拒响应的失败归因拆成时机（过早/过晚）与强度（不足/过度）两个独立维度，并把“错误的不作为”（Inaction）与“正当的克制”（被接受的 L0）区分开；第三，它逐响应记录推理 token 与检索轮次，使“努力”与“结果”可以并置比较——这个组合是以往任何主动智能体基准都没有的。
核心方法
直觉上，判断一次主动帮助是否得当需要三样东西：一个存在真实需求但没有显式请求的环境、可检索的局部证据、以及知道“为什么不行”的人。HALO-Arena 用五种个人应用加 SQLite 数据库与文本文件构造 50 个互不相同的个人环境；每个环境按 4 种需求类型各 2 个场景共 8 个场景，总计 400 个场景，每个场景是一条 4–6 个时间戳事件的因果轨迹，其中刻意包含“此时行动过早”和“再不行动就晚了”的设计检查点，且最佳干预必须依赖至少一条仅存在于数据库或文本文件中的事实。评估时，runner 在每个检查点把环境重置到初始状态 $S_0$、只回放该场景的事件前缀 $(e_1,\dots,e_t)$，以最新事件时间为模拟时刻，代理可多轮检索后返回一个可执行行动或不行动。HALO-8K 用随机最大流采样为每个模型在每个场景抽 2 个不同检查点，得到每模型 800 条、共 8,000 条响应（每类需求 200 条、每领域 80 条），事件位置在各模型间均衡（Cramér's V = 0.029），由 20 位专家分两期完成标注。
核心创新是把每一条被拒响应变成结构化的诊断对象，而不是一个笼统的“错”。标注者先给出可接受性判定；被拒的 L1–L3 响应分别在时机（过早 Premature / 过晚 Belated / 恰当）与强度（不足 Insufficient / 过度 Excessive / 恰当）两个独立问题上作答；被拒的 L0 记为 Inaction，表示错失了本应提供的帮助；任何响应还可附加 Other Issues（证据不支持、行动不相关、事实矛盾等，需书面说明）。这与奖励模型把质量压缩成标量有本质区别：失败的结构被完整保留，能直接回答“是太早了还是做多了”。第二个关键设计是配对协议——每个场景的标注者在所有模型间固定，同一检查点上不同模型的响应由同一个人基于相同事件前缀判定，使跨模型的行动/克制比较能同时排除场景难度与标注者偏好两个混杂因素。第三个设计是逐响应记录推理 token 与检索轮次，让“更努力”与“更好”可以被分开衡量。
方法步骤详情
构建与评估分四步。（1）场景生成流水线（Figure 2）：Instance Creator 为 10 个领域各定义 5 个人物实例，规定其职责、权限与应用/存储结构；Scenario Creator 生成初始状态 $S_0$ 和 4–6 个时间戳事件，要求事件序列至少跨 3 个非检索应用、包含过早与过晚干预的隐式设计检查点、最佳干预依赖至少一条仅存在于数据库或文件中的事实；随后确定性 Validator 检查 JSON 结构、命令签名与状态一致性，LLM Reviewer 审查因果支持、需求同一性、时机边界、检索必要性与力度是否成比例；Noise Creator 追加 12–20 条因果无关的背景记录扩大检索空间；最后 2 名人工审核，恰 1 票通过时由第三人仲裁——568 个候选总体通过率 70.42%。（2）评估协议：每模型每场景采 2 个不同检查点（随机最大流采样，不用判定信息），runner 重置环境回放事件前缀，代理以 JSON 返回 inspect（一组检索命令，runner 执行后返回下一轮）或 final（一个行动命令或 null 不行动）。（3）标注协议：接口按命令签名预填行动层级（L0 观察/L1 提请注意/L2 准备/L3 执行），标注者确认或修正后先给可接受性判定，被拒的 L1–L3 再分别回答时机与强度，可附加 Other Issues；8,000 条响应分 2 期各 4,000 条完成，每响应 1 个判定。（4）消耗记录：按响应累加各次调用的推理 token 并统计完成的检索轮次。
技术新颖性
技术新颖性体现在四个层面。评测对象上，HALO 不是给模型排名就结束，而是产出可复用的失败结构数据：61.20% 的被拒响应属于过早或过度，这种细分在奖励模型范式中根本不可见。协议上，“检查点重置 + 同标注者跨模型”的配对设计是方法学贡献——论文据此发现两组模型 L3 执行份额几乎相同（约 16.1%）而可接受性相差 15.53 pp，并把 Gemini 配对中 -14.77 pp 的变化精确分解为行动收益 +5.94 与克制损失 -20.71，这种归因在非配对设计下无法做到。证据链接上，检索轮次与本地内容访问被记录为响应级变量，从而能做带检查点固定效应与模型指示变量的线性概率回归：在 5,232 条 L1 响应、1,730 个检查点上，内容访问对应 +9.25 pp 可接受率与 -5.86 pp 不足率。最后，附录 H 的 Judge-LoRA 实验表明微调判官判定准确率 +7.50 pp 但联合诊断准确率 -11.00 pp，直接论证了细粒度人工诊断难以被自动化判定替代，这本身是对“可扩展评测”路线的重要警示。
实验结果
核心结果有六条。（1）可接受性（Table 1）：专有最佳 Gemini3.8-Flash 达 72.88%，开源最佳 DeepSeekV4-Pro 56.63%，最差 GPT-OSS-20B 仅 30.38%，极差 42.50 pp；专有平均 63.08% 对开源 47.55%（差 15.53 pp）；即便最强模型也有超过 25% 的响应被拒；组内不均，开源前三名相差仅 2.50 pp 而全组跨 26.25 pp，DeepSeekV4-Pro 甚至超过 Gemini3.1-Pro 和 GPT5.6-Luna。（2）行动分布：L1 提醒占全部响应的 69.20%，L2 准备仅 4.18%，L3 执行 16.09%；专有模型选 L0 的频率约为开源两倍，但两组 L3 份额几乎相同——执行频率解释不了可接受性差距。（3）过度主动是主导失败模式（Figure 3）：2,188/3,575 条被拒响应（61.20%）被诊断为过早或过度，模型间为 44.23%–79.66%，10 个模型中 6 个超过 50%；过早约为过晚的 3 倍，过度约为不足的 2 倍，该模式在全部 4 类需求与 10 个领域成立。（4）配对分析（Figure 4）：Qwen3.5-9B 相对 27B 在 201 个共享检查点上干预份额 +27.36 pp、可接受性 +14.43 pp；Gemini3.8-Flash 相对 3.1-Pro 在 623 个检查点上干预 +28.89 pp、可接受性 -14.77 pp（行动 +5.94、失去被接受的克制 -20.71）——更多行动可能更差。（5）证据获取（Figure 6）：5,536 条 L1 中有本地内容访问者可接受率 59.0% 对 40.8%，不足率 5.2% 对 15.5%；模型级检索轮次与可接受性 $r=0.885$、$\rho=0.830$。（6）强度错配（Figure 7）：991 条时机恰当但被拒的干预中，L1 的 52.81%（329/623）不足，L3 的 76.28%（238/312）过度；69.60% 的不足 L1 与 74.79% 的过度 L3 在同一检查点存在被接受的对应响应。另：开源模型消耗更少（4.77k token、1.21 轮对 5.53k、2.55 轮）；Other Issues 占被拒的 27.97%，其中证据不支持（50.30%）与不相关行动（29.10%）合计 79.40%；需求间可接受性仅差 54.35%–56.00%，领域间 50.88%–58.88%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 主动辅助可接受性（专有模型最佳） | 人工判定可接受率 (%) | Gemini3.8-Flash 72.88 | 专有模型平均 63.08；第二名 Claude-Opus5.5 69.75 | +9.80 pp（对平均）；最强模型仍有 >25% 响应被拒 |
| 主动辅助可接受性（开源模型最佳） | 人工判定可接受率 (%) | DeepSeekV4-Pro 56.63 | 开源模型平均 47.55；专有最佳 72.88 | +9.08 pp（对组内平均），但仍落后专有最佳 16.25 pp |
| 被拒响应的过度主动占比 | Premature 或 Excessive 占被拒响应 (%) | 61.20（2,188/3,575） | 模型间 44.23–79.66；过早约为过晚的 3 倍，过度约为不足的 2 倍 | 确立过度主动为主动智能体的主导可观察失败模式 |
| L1 提醒中的证据获取 | 可接受率 / Insufficient 率 (%) | 有本地内容访问：59.0 / 5.2 | 无内容访问：40.8 / 15.5（5,536 条 L1） | +18.2 pp 可接受率；检查点固定效应回归 +9.25 pp / -5.86 pp |
| 时机恰当但被拒的干预强度 | 诊断率 (%) | L1 不足 52.81（329/623）；L3 过度 76.28（238/312） | 同一检查点 69.60% 的不足 L1、74.79% 的过度 L3 存在被接受对应响应 | 揭示提醒与执行的强度错配方向相反，需分别校准 |
| 配对检查点上的干预频率与质量 | Δ 干预份额 / Δ 可接受率 (pp) | Qwen3.5-9B: +27.36 / +14.43；Gemini3.8-Flash: +28.89 / -14.77 | 同检查点同标注者的低干预版本 | 更多干预不必然更好：Gemini 行动收益 +5.94 被克制损失 -20.71 抵消 |
| 检索轮次与可接受性关联 | Pearson / Spearman 相关系数 | $r=0.885$ / $\rho=0.830$（10 个模型） | — | 证据获取与帮助质量强正相关（聚合层面，非因果） |
| LoRA 自动判官（附录 H） | 判定 / 联合诊断准确率 (%) | Qwen3.5-9B：48.50→56.00 / 33.75→22.75 | 未微调的原始模型 | 判定 +7.50 pp 掩盖联合诊断 -11.00 pp 的退化 |
局限与改进
作者承认三点局限。生态效度：HALO 用构造场景与模拟应用研究受控条件下的主动决策，设计出的需求分布不能估计这些需求或失败模式在日常使用中的真实频率。部署差距：检查点评估忽略用户的实时反应与重复干预的累积效应，性能未必能直接迁移到持续部署。个性化：人工判定依赖于对主动性、有用细节与承诺程度的偏好，边界响应对某些用户有用、对另一些人是打扰，且 20 位标注者背景相近，聚合可接受率不应被当作普遍用户偏好。此外行动层级按承诺分组，但同级动作的可逆性与用户负担可能差别很大，判定也不对可替代方案按有用性排序，因此聚合可接受率无法完整刻画收益、负担与干预风险的权衡。我的补充观察：每条响应仅 1 个判定，主文未报告标注者间一致性系数（如 Kappa）；环境全部由 GPT5.6-Sol 构造、首轮整体通过率仅 70.42%，提示生成分布可能有系统性偏斜；检索轮次与可接受性的 $r=0.885$ 是跨模型聚合相关，不能作因果解读；消耗数字依赖各提供商的记账口径与推理设置，跨模型比较需谨慎。
独立分析的弱点
独立分析出六个弱点。（1）检查点独立设计无法度量打扰疲劳：真实产品中一天内连续多条提醒的累积代价才是用户流失主因；改进方向是多日连续模拟并让用户对每次干预作出反应，度量累积接受率与信任衰减。（2）判定为二元且每响应仅一名标注者：没有偏好强度，也没有对同一检查点多个候选响应的排序；改进是引入 2–3 名标注者并报告一致性，对同检查点候选做成对偏好比较。（3）场景由单一强模型生成，事件密度低（每场景 4–6 个事件）、风格可能同质；改进是从真实日历/邮件日志蒸馏场景或引入对抗性生成。（4）行动层级过粗：同为 L3，“改日历”与“付款”的不可逆性天差地别，Table 1 的 L3 份额掩盖了风险差异；改进是加入可逆性与授权范围两个正交维度。（5）判官实验说明小模型学不会联合诊断，但论文未尝试更大判官或把诊断标签用作过程奖励；改进是把时机/强度拆成独立分类头训练，并用诊断标签做过程监督来校准策略。（6）61.20% 的过度主动占比以被拒响应为分母，缺少按全部响应计的错误率与置信校准曲线，难以换算成产品级误打扰率；改进是同时报告全响应错误率并做校准分析（如按模型输出置信度分桶统计过早率）。
未来方向
作者指出的方向：结果指向更好的证据收集与响应校准——及时的提醒需要足够的落地细节才有用，执行则必须尊重可用授权的范围；系统应当在可接受行动、正当克制、残余强度错误与检查努力四个量上被联合比较，而不是只看一个聚合分。基于成果可延伸的研究包括：把 Premature/Excessive/Insufficient 诊断标签转化为强化学习的奖励 shaping 或过程监督信号，专门训练时机-力度校准策略；研究个性化的判定函数，让接受阈值随用户画像（如对打扰的容忍度）变化；把 arena 扩展到多用户与家庭共享状态，研究权限归属与代际协助；把检索轮次与可接受性的关联做成因果研究（强制最少检索轮次对比自由检索、对比检索内容质量）；用 HALO-8K 训练带诊断分解的自动判官并以联合准确率而非单标签准确率报告；探索被几乎所有模型忽略的 L2“准备”（仅占全部响应 4.18%）在何种情形下才是最优行动；以及把检查点协议扩展到包含用户反馈的闭环长程部署，检验过校准（过度克制）是否成为新的主导失败模式。
复现评估
代码开源：github.com/CedricPei/HALO。论文提供了罕见高完整度的复现材料：附录 B 给出全部 48 个命令（29 交互 + 19 行动）的签名与自动强度标注，附录 C–D 给出流水线通过率（Validator 89.61%、Reviewer 78.59%、总体 70.42%）、审计票数与检查点采样诊断（Cramér's V = 0.029、最大 Wasserstein 距离 0.0288、中心化分数调整最大 1.69 pp、模型排名不变），附录 I 逐字给出代理提示词与 Instance/Scenario Creator、Reviewer、Noise Creator 四个构造角色的完整模板，附录 H 给出判官微调超参（非思考 LoRA、1 epoch、有效 batch 16、9B 用 microbatch 8/梯度累积 2）。算力上，评估 10 个模型各 800 条多轮检索响应：专有模型走 API，开源模型 9B–27B 单卡可跑；场景构造依赖 GPT5.6-Sol 级别强模型；判官微调单卡即可完成。总体难度中等偏高：跑通评测环境与人工抽查不难，但完整复现 20 人、两期共 8,000 条的标注与双人审核流水线需要真实标注团队、统一培训（shared briefing + dry run）与持续的质量管理。
论文图表