从证据到行动：工具型智能体的失败剖析 From Evidence to Action: How Tool-Using Agents Fail
构建656例SafeActBench基准，定位智能体从证据建立到行动执行的链条断裂点
前置知识
工具使用型智能体
以LLM为核心、通过调用外部工具（API、数据库查询、文件操作等）完成任务的系统。智能体接收任务指令和工具接口描述，自行决定调用哪些工具、以什么参数调用、何时停止。与单轮问答不同，它与环境多轮交互，行为轨迹由一连串工具调用与返回观察组成，最终状态由这些调用共同决定。
本文的研究对象就是这类智能体，评估核心是它们在交互轨迹中的行为质量，而非最终答案对不对。
有后果行动
指会改变外部状态或产生外部效果的工具调用，如退款、发送通知、更新配置、禁用传感器等，与只读取信息的信息查询相对。这类行动往往不可轻易撤销，其正确性不仅取决于动作本身是否成功，更取决于行动之前是否已经通过交互建立了必要的事实依据。
这是全文的基本评估单位：SafeActBench检查的正是每个有后果行动是否有事先建立的证据支撑。
证据溯源绑定
要求支撑行动的证据必须绑定到行动所针对的实体和状态：查询单据C1得到的金额不能用来支撑对C2的退款，即使数值恰好相同。论文的Evidence Ledger把每个已确立的事实与其来源交互、所描述的实体/状态关联起来，评估时只有带正确溯源的证据才被计入满足条件。
这是基准的核心评判标准，把'调用过查询工具'与'获得了支撑该行动的事实'严格区分开，是与以往评估的本质区别。
确定性轨迹评估器
一个不依赖LLM裁判的确定性程序：重放智能体的完整交互轨迹，对照每个案例的私有规格（所需证据、期望动作、依赖关系、期望终态），逐项检查调查是否完成、工具/目标/参数是否正确、执行回执是否产生、依赖是否满足。任一必需组件失败则整个案例判为失败。
它保证了评分可复现且无裁判偏差，是论文所有结论可信度的技术基础，也是其区别于用LLM判分的评估的关键。
ECS与失败诊断指标
ECS（精确案例成功）是案例级二值指标：只有满足该协议全部成功条件才记1分。配套诊断指标包括：BSR（调查未完成即停止）、PAR（证据未齐就行动）、CAS（证据齐后行动的条件成功率）、Gap（行动检查点处需求未解决）、Part.（已执行动作但工作流不完整），均以episode为计数单位。
论文的主结果表和失败定位分析全部建立在这些指标上，不理解它们的定义就无法读懂Table 2和Table 3。
Harness（智能体运行框架）
包裹模型的执行框架，负责规划格式、工具调用、上下文管理、重试等工程逻辑，同一模型配不同harness行为会不同。本文给每个模型配两套：家族专属harness（如Claude Code、Codex）和统一的Inspect AI ReAct框架，以分离模型效应与harness效应。
论文的重要发现是harness影响显著且方向随模型而变（DeepSeek +4.4点、GLM -6.8点），这是理解实验设计和结果解释的前提。
研究动机
现有智能体评估主要看'任务是否完成、终态是否正确'：AgentBench、WorkArena、OSWorld、AppWorld等把工具调用预测扩展到有状态交互环境，τ-bench、ToolSandbox等加入领域策略、模拟用户和中间里程碑。但正确的终点并不保证过程正确。论文开篇给出典型案例：客服智能体被要求'对重复扣款C2退款并通知客户'，它实际查询的是C1却退款C2——工具对、目标对、金额49.99美元对、退款还成功了，但它从未在可观察轨迹中确认过'C2是重复扣款、符合退款条件'这些前提。终态全对，证据链却是断的。当后续动作依赖前面的工具返回结果（如需用退款返回的ID R42去通知客户）时，这种断裂还会向下游传播。此外智能体还可能在该先调查时草率停止（未完成调查就拒绝），或在证据未建立时就贸然行动。现有评估把任务失败当作单一结果，无法定位这些'观察环境与改变外部状态之间'的失败。
本文的目标是本文要回答两个问题：智能体的'证据到行动'链条究竟在哪里断裂？随着行动结构要求提高（从静态判断到单动作、再到依赖约束的多动作工作流），失败模式如何变化？为此需要把'行动前证据是否已建立'变成可精确测量的对象。具体目标有三：一是把有后果的工具使用形式化为可观察的证据-行动链，连接调查、执行与下游依赖；二是构建SafeActBench基准，含656个案例、六大运营领域、五个递进协议（静态判断Legacy、调查后不行动V0、单动作V1、线性多动作V2、DAG依赖多动作V3），用溯源绑定的Evidence Ledger和确定性评估器逐案打分；三是跨10个'模型-harness'配置系统刻画失败分布，覆盖调查完整性、行动时机、证据绑定、结果传递和依赖满足等环节。
与已有工作不同的是，与既有工作的独特区别在于评估视角。以往基准要么只看终态（τ-bench、AppWorld无轨迹检查），要么只部分覆盖某些性质——ToolSandbox用里程碑DAG给中间状态打分但不显式检查实体绑定；Near-Miss检查变更调用前是否有满足策略的只读观察，但不追踪结果传递；EnvTrustBench研究对被篡改或过期观察的过度信任；AgentAbstain评估何时该弃权。SafeActBench则同时显式评分五件事：行动前证据是否建立、证据是否绑定到正确实体和状态、调查后不行动是否成立、前序动作的真实返回结果是否被正确传递给下游动作、依赖顺序是否遵守——且全部从可观察轨迹出发用确定性评估器完成，不窥探模型内部推理、不依赖LLM裁判。这种'终点正确也不给过'的严格溯源标准，加上按行动结构分层的五个协议，是本文最独特的切入角度。
核心方法
直觉上，一个可靠的行动者应该：先查清该查的事实，把事实绑定到正确的对象上，条件满足才动手，动作结果要如实传给下游，不该行动时要查清原因后干净地停下。SafeActBench把这一直觉形式化为五个递进协议。每个案例隐藏地定义了每个有后果行动$a$的证据需求集合$R(a)$，评判标准为 $\text{Supported}(a) \iff \forall r \in R(a),\ r\ \text{在}\ a\ \text{执行前已确立}$。智能体只能看到任务描述和工具接口，证据需求与期望动作仅用于评估。技术路线上，Evidence Ledger记录每个已确立事实的来源交互及其绑定的实体/状态；确定性评估器重放完整轨迹，检查所需调查、工具/目标/参数、执行回执、动作依赖与终态。主指标是二值的ECS，另报协议宏平均P-M和领域宏平均D-M，每对案例-配置跑3次rollout后等权平均。
核心创新是'证据溯源绑定'：证据必须绑定到行动针对的实体和状态才算数。从C1读出49.99美元不能确立C2的金额，即使数值相同；另一用户的授权不能支撑对目标用户的操作；另一资源的状态不能因为值恰好匹配就支撑目标动作。这把'调用过查询工具'与'获得了支撑该行动的事实'严格区分开。第二个关键概念是'调查后不行动'（investigated non-action）：当不应执行任何动作时，智能体不能简单拒绝，而必须先完成相关调查、确立为什么不该行动，然后不带任何副作用地停止——过早停止留下未确立的理由，证据未齐就行动则属过早行动。第三是结果传递：若退款返回ID为R42，后续通知必须使用这个真实返回值，别的操作返回的标识符不满足依赖；当工具语义要求确认状态变更时，还必须先观察到更新后的状态。三点合起来定义了完整的可观察证据-行动链。
方法步骤详情
基准分五个协议（共656例）：Legacy（86例）对固定候选动作做结构化ALLOW/BLOCK/DEFER判断；V0（175例）要求完成必要调查且不产生任何有后果动作；V1（131例）要求在恰好一次正确动作前建立全部必要证据；V2（132例）是线性多动作链，后续动作须使用前序动作真实返回的结果；V3（132例）是DAG依赖工作流，独立动作可按任意拓扑序执行。六大领域为客服与政策、工程与基础设施、法律与金融、科研助理、智能家居、医疗运营（97–144例不等）。V0–V3平均每例需5.59–7.14次规定读取（最多17次）；V3含501个动作节点、439条依赖边、103例带分叉、96例带汇合。实验评估五个模型家族（Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Flash、Qwen3.8-Flash、GLM-5.2）×两套harness（家族专属与Inspect ReAct）共10个配置，每例600秒预算、3次rollout。评估器经人审验证：行动支撑判断原始一致率95.83%（$\kappa=0.87$），300条轨迹审计误接受2.0%、误拒绝1.3%。
技术新颖性
技术新颖性有四点。其一，评分对象从终态转向轨迹中的'行动检查点'：每个有后果行动在提交那一刻，其前置证据是否已在可观察轨迹中确立，这使失败可以定位到调查、绑定、时机、依赖等具体环节，而不是笼统的任务失败。其二，评估完全确定性：656个作者参考解全部通过评估器，277个共享世界案例可重建，2468个冻结证据增量通过模式校验，132个V3工作流DAG通过结构检查，无需LLM裁判，避免了评估本身的随机性与偏差。其三，通过Legacy与V0–V3的刻意分层，把'静态判断能力'与'交互执行能力'解耦，并配套同案例静态/交互匹配实验直接量化落差。其四，评估器对合法变体的鲁棒性经过系统审计：额外读取（395/395）、V3独立动作交换（132/132）、等价数值表示（24/24）、替代检索路径（32/32）等八类合法变体全部接受，而错误实体（0/20）和过期证据（0/30）的负对照全部拒绝，期间还发现并修复了动态日期处理缺陷后重跑了全部评估。
实验结果
十个配置的总体ECS为37.7–67.2%。发现一：静态判断强不等于交互执行强。GLM-ZCode的Legacy达97.7%而V1–V3仅32.1%/12.1%/34.1%；DeepSeek-DSH同为96.5%的Legacy，V1–V3却保持59.1–65.2%。同100个V1案例的匹配实验更直接：静态准确率95.0–99.0%而交互ECS仅28.0–52.0%，落差43.0–69.0个百分点。发现二：失败常发生在行动之前。V0的BSR（调查未完即停）为21.7–62.9%，V1的PAR（证据未齐先行动）为37.0–66.9%；而证据齐后的条件成功率CAS在9/10配置达93.2–100%，说明单动作执行基本可靠。V2/V3还暴露未解决前提（Gap）与不完整工作流（Part.），如GLM-ZCode在V2上Gap达80.3%、Part.为33.3%。发现三：证据敏感度不足且易被口头声明左右：撤证据使行动概率降37.2–45.2个百分点但仍有46.5–53.5%继续行动；矛盾证据降54.5–70.0个百分点；而'请求者声称已核查'能把行动压到6/43–10/43。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 总体评估（10个模型-harness配置，656案例×3次rollout） | ECS（精确案例成功率） | 最佳配置 Claude-5–Claude Code：67.2% | 最弱配置 GLM-5.2–ZCode：37.7% | 配置间跨度29.5个百分点，头部还有Qwen-Qwen Code 66.0%、GPT-Codex 65.4% |
| 静态动作判断（Legacy，86例）vs 交互执行 | ECS | GLM-5.2–ZCode Legacy 97.7% | 同配置 V1/V2/V3 仅 32.1%/12.1%/34.1% | 静态与交互落差最高达65.6个百分点；DeepSeek-DSH同Legacy下V1–V3保持59.1–65.2% |
| 同案例静态判断 vs 交互执行（每配置100个V1案例） | 静态准确率 / 交互ECS | 静态准确率 95.0–99.0% | 交互ECS 28.0–52.0% | 配对差距 +43.0 至 +69.0 个百分点（DeepSeek-Inspect +43.0、GLM-Inspect +69.0、GLM-ZCode +66.0） |
| 调查后不行动（V0，175例） | ECS；BSR（调查未完成即停止率） | 最佳 Qwen3.8–Qwen Code 72.6% | GLM-5.2–ZCode 34.3% | BSR跨配置21.7–62.9%，表明调查不完整是普遍上游失败源 |
| 单动作执行（V1，131例） | ECS；PAR（过早行动率）；CAS（证据齐后条件成功率） | ECS最佳 DeepSeek-DSH 61.1%；CAS 83.3–100% | PAR 37.0–66.9%（配置间） | 证明主要瓶颈在证据建立与时机而非执行本身 |
| 多动作工作流（V2线性/V3 DAG，各132例） | ECS；Gap（前提未解决率）；Part.（工作流不完整率） | V2最佳 DeepSeek-DSH 65.2%；V3最佳 Claude-Claude Code 65.9% | GLM-5.2–ZCode V2仅12.1%（Gap 80.3%、Part. 33.3%） | 揭示Gap与Part.两种可共存的失败签名，比例随配置变化 |
| 证据干预实验（43个V1案例×3配置） | 行动概率的配对降幅 | Withheld降37.2–45.2个百分点；Contradicted降54.5–70.0个百分点 | Original条件下行动概率0.53–0.98 | 即便如此仍有46.5–53.5%在无证据时行动；请求者口头声明可再压至6/43–10/43 |
| SCGR-EG结构化证据收集（补充研究，全570个V0–V3案例） | ECS | GLM-5.2–ZCode 37.7%→53.9%（+16.2） | 十配置原始基线 | 全部10配置提升0.3–16.2个百分点；GLM-ZCode的V2从12.1%升至58.0%、V3从34.1%升至68.0% |
局限与改进
作者承认的局限：分析只捕捉可观察支撑而非模型内部依赖，无法断言模型'内部依赖了什么'；证据干预仅限43个V1案例和三个配置，尚未扩展到多动作协议；BSR/Gap/Part.等诊断是重叠指标而非互斥的失败分解；ECS是严格的二值指标，无部分得分；V0的ECS衡量的是证据支撑的不行动是否完成，不能解读为不安全行动率。我自己的观察：第一，全部环境由虚构实体、记录与策略构成，作者也声明结果不能外推为真实领域（医疗、金融）的安全认证，而真实系统的策略歧义与脏数据会进一步加剧溯源绑定难度；第二，V2/V3的工作流依赖对智能体完全隐藏，代理必须从交互中推断，这与许多生产场景中工作流已知的前提不同；第三，干预实验规模小（Contradicted仅22例），部分配对置信区间含0，机制结论的统计功效有限；第四，'请求者声称已核查'比缺失证据更能阻止行动这一发现被当作敏感度证据报告，但它同时暴露了对社交工程话术的顺从性风险，作者未展开讨论；第五，论文未提出经过验证的训练层改进，SCGR这类运行时结构调整效果因配置而异甚至为负（SCGR-Select使Claude-Claude Code下降9.1个百分点）。
独立分析的弱点
独立分析的弱点：一是调查预算与失败判定的耦合——必需读取平均5.6–7.1次、最多17次，规定路径可能惩罚合理的高效行为，'碰巧蒙对'与系统性冗余调查之间的界限值得细化；二是递进协议间案例组成不同（Legacy 86例与V1 131例并非同一批），主表跨协议比较有混淆，同案例匹配实验只覆盖三个配置；三是GPT和Claude用厂商默认采样参数并开高推理档，Qwen/DeepSeek/GLM用temperature 0.6、top-p 0.95，跨模型比较有轻微协议混淆；四是匹配静态-交互实验同时改变证据可用性与动作构建责任，无法分离二者贡献（作者已承认）；五是SCGR-Select的负结果提示结构化模板并非普适良方——对已有强调查策略的Claude反而是约束（-9.1个百分点），运行时脚手架需按模型能力自适应；六是每配置仅3次rollout，V2/V3协议级差异（如GLM的12.1%）基于132个案例，极端值敏感。改进方向：部分得分评估、预算感知的调查建模、统一采样协议、扩大干预队列、自适应运行时结构。
未来方向
作者提出的方向：把证据干预扩展到多动作协议，在每个行动检查点操纵证据，从而把可观察支撑与内部依赖连接起来。基于成果可延伸的方向：其一，把Evidence Ledger与确定性检查点内置到生产级智能体运行时作为行动前硬门槛——SCGR-EG在最弱配置上带来+16.2个百分点，说明这条工程路线有实际收益；其二，在训练层面引入证据支撑奖励或过程监督，直接优化$\text{Supported}(a)$判据而非只优化终态；其三，系统研究'请求者声明'与'工具观察'冲突时的校准问题——论文显示口头声明比缺失证据更能阻止行动，这既是可利用的干预手段也是攻击面；其四，把BSR/PAR/Gap/Part.等诊断指标改造成训练时的过程奖励信号；其五，harness层面的协同设计：论文表明harness能改变失败类型分布（GLM从早行动失败换成不行动失败）却不一定改变总分，值得研究按模型选择/混合harness的方法；其六，向真实生产数据与不可逆动作（支付、删除、医疗医嘱）场景拓展，验证生态效度；其七，把证据敏感性与不确定性量化、主动澄清文献结合，构建'查—证—行—停'一体化的智能体决策框架。
复现评估
复现条件较好。资源公开在https://safeact.github.io；评估完全确定性、无LLM裁判，656个作者参考解全部通过，并经人审（300条轨迹审计：误接受2.0%、误拒绝1.3%）与八类合法变体加50个负对照的系统验证，审计中发现的动态日期处理缺陷已在正式评估前修复并重跑。附录完整给出案例构成、复杂度统计、智能体配置（开源侧模型temperature 0.6、top-p 0.95、最大输出32768 token；GPT/Claude用厂商默认开高推理）、失败处理与全部指标定义。算力方面主要是API成本：主评估10配置×656案例×3次rollout约19,680个episode，另有约2,073个干预episode，每例600秒预算——按旗舰模型定价是不小的API开销，但无需训练算力。Inspect AI为开源框架，家族专属harness部分公开可得。主要门槛：五大模型家族的API访问权限、合成环境的完整搭建（环境代码开源程度论文未完全说明）、以及配对bootstrap统计流水线。综合评级：中高可复现性，指标定义与验证透明度是最强项。
论文图表
同一批V1案例的静态版（给完整证据包判断候选动作）与交互版（自己取证据并构建执行）对比：DeepSeek-Inspect静态95.0%对交互52.0%（差+43.0[32.0,54.0]），GLM-Inspect 97.0%对28.0%（+69.0），GLM-ZCode 99.0%对33.0%（+66.0），置信区间均不含0。
静态-交互落差的最干净证据：同案例、同模型下落差高达43–69个百分点，排除案例组成差异的解释。
证据干预的完成覆盖与配对样本量：三配置Original完成85–86/86，Withheld与Contradicted几乎全部完成，Original-Withheld配对42–43对，Original-Contradicted配对20–22对。
干预实验的样本量与覆盖率透明化，是评估其统计功效（尤其Contradicted仅20–22对）的依据。
自动证据收集版SCGR-EG对比基线：全部十个配置的ECS提升0.3–16.2个百分点，GLM-ZCode提升最大（37.7→53.9，V2 12.1→58.0，V3 34.1→68.0），GLM-Inspect +5.1、DeepSeek-Inspect +3.4；但提升不均匀，DeepSeek-DSH在V3 +4.9的同时V1 -1.3、V2 -1.4。
补充研究的核心结果：在'证据到行动'边界做结构性工程确实能改善任务完成，尤其对多动作执行弱的配置。