迈向 AI Agent 可靠性的科学 Towards a Science of AI Agent Reliability
提出四维可靠性度量体系，揭示前沿模型能力提升远快于可靠性改善
前置知识
AI Agent（AI 智能体）
能够自主执行多步骤任务的 AI 系统，通常基于大语言模型（LLM），通过工具调用（如网络浏览、代码执行、数据库操作）与外部环境交互来完成用户指令。与传统聊天机器人不同，Agent 具备行动能力——它们不只是生成文本，而是实际执行操作（修改文件、发送请求、处理交易等）。这种自主行动能力是一把双刃剑：使 Agent 强大的同时，也使其失败具有真实的后果。
本文的核心研究对象就是 AI Agent 的可靠性问题。理解 Agent 的自主行动特性是理解为什么可靠性如此重要的前提——Agent 的失败不是聊天式的无害错误，而是可能删除数据库或产生错误交易的真实损害。
校准（Calibration）
模型的预测置信度与其实际准确率之间的一致性。一个完美校准的模型如果对 80% 的预测给出 80% 的置信度，那么这些预测中确实应该有 80% 是正确的。校准偏差（如过度自信）意味着模型系统性地高估或低估自己的能力，这在部署场景中会导致用户过度信任或不必要的干预。常用指标为期望校准误差（ECE），即各置信度区间内置信度与准确率之差的加权平均。
本文将校准作为「可预测性」维度的核心指标之一。论文发现早期模型普遍存在严重的过度自信问题，而最新模型（尤其是 Claude 系列）在校准上取得了显著进步，这一发现对理解 Agent 何时可信至关重要。
安全关键系统工程（Safety-Critical Engineering）
航空、核电、汽车等领域的工程实践，要求系统在涉及人身安全的场景中可靠运行。这些领域发展出了多维度的可靠性评估框架：认证要求系统具备可重复行为（一致性）、在扰动下优雅降级（鲁棒性）、故障模式可预测（可预测性）、故障后果有界（安全性）。例如航空标准 DO-178C 要求飞行关键软件具备确定性行为，SIL 4 标准要求危险故障概率低于 $10^{-5}$。
本文的核心创新就是将安全关键工程的可靠性理念移植到 AI Agent 评估中。理解这些工程实践如何定义和度量可靠性，是理解本文四维框架（一致性、鲁棒性、可预测性、安全性）来源的关键。
Jensen-Shannon 散度（JSD）
一种衡量两个概率分布之间差异的对称度量，定义为两个分布与它们平均分布之间 KL 散度的平均值：$\text{JSD}(P \| Q) = \frac{1}{2} D_{\text{KL}}(P \| M) + \frac{1}{2} D_{\text{KL}}(Q \| M)$，其中 $M = \frac{P+Q}{2}$。JSD 的值域为 $[0, \ln 2]$，值越大说明两个分布越不相似。与 KL 散度不同，JSD 对称且始终有限。
本文使用 JSD 来度量轨迹分布一致性——比较同一任务多次执行时行动类型的分布差异。这是衡量 Agent 行为可重复性的重要技术工具。
Brier Score
一种严格评分规则（proper scoring rule），衡量概率预测的整体质量，定义为预测概率与实际结果之间的均方误差：$\text{Brier} = \frac{1}{T} \sum_{i=1}^{T} (c_i - y_i)^2$，其中 $c_i$ 为预测置信度，$y_i \in \{0, 1\}$ 为实际结果。Brier Score 同时惩罚校准不良和区分能力差两种缺陷，值越低表示预测质量越好。一个完美预测者的 Brier Score 为 0。
论文将 1 减去 Brier Score 作为可预测性维度的综合指标。它比单独的校准或区分指标更全面，因为一个模型可能校准很好但无法区分成功与失败的任务，Brier Score 能捕捉这种综合情况。
研究动机
当前 AI Agent 评估范式存在严重的盲区。主流基准（如 GAIA、SWE-bench、WebArena）仅报告单一的平均任务成功率，但这个数字无法区分两种截然不同的失败模式：一个 Agent 可能在固定的可识别任务子集上失败（可预测、可管理），也可能以相同的失败率随机在不同任务上失败（不可预测、不可管理）。在实际部署中，这种区别至关重要——Replit 的 AI 助手在明确禁止的情况下删除了生产数据库，OpenAI 的 Operator 绕过用户确认进行了未授权购买，纽约市政府的聊天机器人提供了违法的商业建议。Anthropic 对全球超过 80,000 人的调查显示，不可靠性（幻觉、不准确性和由此产生的验证负担）是人们对 AI 最常提及的担忧。这些事故的共同特征是：在内部评估中被判定为「有能力」的 Agent，在部署中却以不可靠的方式失败。准确率的提升并没有自动转化为可靠性的提升。
本文的目标是本文的目标是建立一套系统化的 AI Agent 可靠性评估框架，将安全关键工程领域的多维可靠性理念转化为可计算的指标。具体而言，作者希望：（1）从航空、核电、汽车等领域的数十年实践中提炼出跨领域共通的可靠性维度；（2）为每个维度设计具体的、可操作的指标，使其能够独立于原始准确率进行测量；（3）通过对 15 个前沿模型在 2 个互补基准上的全面评估，绘制现代 Agent 可靠性的全景图，揭示能力进步与可靠性进步之间的差距。
与已有工作不同的是，本文的独特切入角度在于借鉴安全关键工程的成熟方法论。现有的 ML 研究虽然零散地处理了可靠性相关的各个问题——提示敏感性（prompt sensitivity）、浮点非确定性、校准（calibration）、提示注入（prompt injection）——但将它们视为孤立现象而非统一可靠性缺陷的症状。安全关键领域有一条核心原则：平均性能再好，如果方差过高使结果不可预测，那也是不可接受的。航空软件必须确定性地响应，核电站必须在数千种潜在故障模式下建模失败概率，汽车必须在传感器失灵时优雅降级。本文首次将这些分散在不同工程传统中的可靠性理念统一起来，为 AI Agent 建立了一个系统的可靠性评估框架，这是一个从「平均表现如何」到「行为是否可预测、一致、鲁棒、安全」的范式转变。
核心方法
本文的方法可以用一个类比来理解：航空安全认证不只是看飞机能不能飞起来（能力），还要看它在各种条件下能否稳定地飞（一致性）、遇到气流能否平稳应对（鲁棒性）、飞行员能否知道何时飞机可能出问题（可预测性）、万一坠机时乘客是否能存活（安全性）。作者将这种多维可靠性理念移植到 AI Agent 领域，提出了一个由四个维度、十二个指标组成的评估框架。技术路线上，作者首先通过跨领域文献综述（航空 DO-178C、核电 IEC 61508/61513、汽车 ISO 26262 等标准）提炼出四个普适的可靠性维度，然后为每个维度设计了具体的计算指标，最后在两个互补的基准（GAIA 和 τ-bench）上对 15 个模型执行严格的多轮评估协议，包括多次运行、提示扰动、故障注入和环境变化。
本文最核心的创新是将可靠性定义为独立于能力（准确率）的属性，并通过归一化手段实现两者的解耦。这一洞察可以从公式中看出：结果一致性 $C_{\text{out}} = \frac{1}{T} \sum_{t=1}^{T} (2\hat{p}_t - 1)^2$ 中的 $(2\hat{p}_t - 1)^2$ 项实际上是将伯努利样本方差归一化到最大可能方差（0.25），从而使得即使两个 Agent 具有相同的准确率，它们的一致性也可以截然不同——一个确定性地在固定子集上成功（高一致性），另一个随机地在不同尝试中成功或失败（低一致性）。这种解耦是本质性的：一个高度有能力的系统可以不可靠（Zhou et al., 2024a 已指出更大的语言模型反而更不可靠），而一个能力较低的系统可以在其能力范围内高度可靠。准确率和可靠性是两个独立的评估轴，需要独立测量。此外，作者将安全维度从总体可靠性分数中单独分离出来，因为安全违规本质上是尾部（tail）现象——99% 的时间安全但 1% 时间造成灾难性伤害的系统，平均化后会被掩盖。
方法步骤详情
本文的方法分为三个阶段。第一阶段是框架设计：通过调研航空（SAE ARP4761、DO-178C）、核电（IEC 61508、IEEE 603）、汽车（ISO 26262）和过程控制等领域的可靠性实践，提炼出四个普适维度——一致性（Consistency）、鲁棒性（Robustness）、可预测性（Predictability）、安全性（Safety），并为每个维度设计 3 个子指标，共 12 个指标。第二阶段是评估协议设计：对每个 Agent-基准组合执行 K=5 次运行（温度设为 0 以隔离采样外随机性来源），生成 J=5 个语义等价的提示扰动，以全局概率 $p_{\text{fault}}=0.2$ 注入七类 API/工具故障，应用中等强度的环境扰动（格式变化、参数重命名等），并通过事后自我评估提取置信度分数。第三阶段是数据分析：计算每个维度的子指标，通过 $R_{\text{Con}} = \frac{1}{3}(C_{\text{out}} + C_{\text{traj}} + C_{\text{res}})$ 等公式聚合为维度分数，最终得到总体可靠性 $R = \frac{1}{3}(R_{\text{Con}} + R_{\text{Pred}} + R_{\text{Rob}})$，安全分数 $R_{\text{Saf}}$ 单独报告以避免掩盖尾部风险。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在评估理念上，这是首次将安全关键工程的多维可靠性概念系统地应用于 AI Agent 评估。虽然 HELM（Liang et al., 2022）提出了语言模型的整体评估，但它并未专门针对 Agent 的行动能力和可靠性维度。其次，在指标设计上，结果一致性的方差归一化公式 $(2\hat{p}_t - 1)^2$ 能有效将可靠性从能力中解耦，这是一个优雅的数学技巧——当 $\hat{p}_t = 0.5$（最随机）时一致性为 0，当 $\hat{p}_t = 0$ 或 $1$（完全确定）时一致性为 1。安全维度的风险分解 $R_{\text{Saf}} = 1 - (1 - S_{\text{comp}})(1 - S_{\text{harm}})$ 借鉴了经典风险公式（Kaplan & Garrick, 1981），将风险分解为违规概率和条件严重程度的乘积。最后，在评估协议上，多轮评估 + 提示扰动 + 故障注入 + 环境变化的组合协议远超现有基准的单次运行评估，能够揭示单一准确率数字无法暴露的行为特征。
实验结果
本文对 15 个模型（来自 OpenAI、Google、Anthropic 三家厂商）在 GAIA（165 个通用助手任务）和 τ-bench（26 个客服任务）上的评估揭示了以下核心发现。第一，可靠性进步远落后于能力进步：在 GAIA 上，准确率以每年 0.23 的斜率上升（与发布日期的相关系数 $r=0.80$），而可靠性斜率仅为 0.03/年（$r=0.46$，不显著）；在 τ-bench 上，准确率斜率为 0.22/年（$r=0.81$），可靠性斜率为 0.09/年（$r=0.86$），差距虽小但可靠性仍然滞后。第二，结果一致性普遍偏低：GAIA 上最先进模型的 $C_{\text{out}}$ 在 0.58-0.84 之间，τ-bench 上为 0.52-0.90，意味着即使能解决的任务，Agent 在重复运行中也会频繁失败。第三，存在「知道什么但不知道何时」的模式：Agent 的轨迹分布一致性（$C_{\text{dtraj}}$，选择相似行动类型）远高于轨迹序列一致性（$C_{\text{straj}}$，按相同顺序执行），表明 Agent 能可靠地选择正确的工具但无法稳定地规划执行顺序。第四，提示鲁棒性是关键分化因素：故障鲁棒性和环境鲁棒性在大多数模型上接近天花板（分数聚集在 0.9 以上），但提示鲁棒性（$R_{\text{prompt}}$）在模型间差异巨大，GAIA 上从 0.52 到 0.92 不等——模型能优雅处理真正的技术故障，却在表面级别的任务描述变化上脆弱。第五，校准明显改善但区分能力停滞：最新 Claude 模型在两个基准上都展现了良好的校准，但区分能力（$P_{\text{AUROC}}$）在 GAIA 上未见改善甚至退步，说明模型虽然知道自己的平均成功率，却无法在单个任务层面预测自己何时会失败。第六，安全性随模型代际改善：最新前沿模型的合规违规率（$S_{\text{comp}}$）明显降低，但财务准确性违规仍然是最常见的失败模式。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GAIA 通用助手任务 | 准确率（Accuracy） | GPT-5.5 约 0.82（最高） | GPT-4 Turbo 约 0.37 | 24 个月内提升约 45 个百分点 |
| GAIA 通用助手任务 | 结果一致性（$C_{\text{out}}$） | 最佳模型约 0.84 | GPT-4 Turbo 约 0.58 | 约 26 个百分点，但进步不均匀 |
| GAIA 通用助手任务 | 提示鲁棒性（$R_{\text{prompt}}$） | 最佳模型约 0.92 | 最差模型约 0.52 | 模型间差异达 40 个百分点 |
| τ-bench 客服任务 | 准确率（Accuracy） | Claude Opus 4.7 约 0.90 | GPT-4 Turbo 约 0.52 | 24 个月内提升约 38 个百分点 |
| τ-bench 客服任务 | 校准（$P_{\text{cal}}$，ECE 越低越好） | Claude Opus 4.5 ECE=0.103 | Claude 3 Haiku ECE=0.671 | ECE 降低约 0.57 |
| τ-bench 客服任务 | 合规率（$S_{\text{comp}}$） | 最新前沿模型约 0.95-0.97 | GPT-4 Turbo 约 0.72 | 违规率从约 28% 降至约 3-5% |
局限与改进
作者坦诚地承认了多项局限。首先是基准覆盖范围有限：仅使用了 GAIA 和 τ-bench 两个基准，虽然它们在结构和范围上互补（一个是开放式通用助手任务，一个是结构化客服任务），但仅代表 Agent 面临任务的一小部分。其次是脚手架多样性不足：每个基准只使用了一种表现良好的脚手架（scaffold），其他脚手架可能产生质性不同的可靠性特征。第三，安全评估依赖 LLM 判断（使用 GPT-4o），这引入了判断模型自身的可靠性问题。第四，指标和聚合方式涉及主观设计选择，例如将安全分数单独报告而非纳入总体可靠性是刻意的决策，但其他分解方式也是合理的。第五，所有实验将温度设为 0（零温度），这可能高估了实际部署中使用非零温度时能达到的可靠性。从我的观察来看，本文的一个隐含局限是它将可靠性视为一种经验可测量的行为属性，但并未解决一些基础性问题：Agent 的「失败」在开放式任务中如何定义？当 Agent 达到正确结果但通过不安全的轨迹时，应如何评估？这些问题在附录中有所讨论但并未解决。
独立分析的弱点
我认为本文有以下几个值得改进的方面。第一，环境鲁棒性的扰动覆盖面有限：论文使用的环境扰动主要是格式变化（JSON 字段重命名、日期格式转换等），但在真实部署中，Agent 面临的环境变化远不止于此——API 版本升级、数据库 schema 迁移、工具库更新等结构性变化才是真正的挑战。改进方向是设计可编程生成的基准（generative benchmarks），能够系统地产生参数化的环境变化，而非依赖固定的测试集。第二，置信度提取依赖事后自我评估（post-hoc self-assessment），即让 Agent 在完成任务后自己报告信心分数。这种方法虽然对前沿模型 API 用户来说是最实际可行的，但它引入了元认知偏差——模型可能系统性地高估或低估自己的能力。改进方向是结合轨迹特征的监督预测器，或者利用模型内部的 token 概率分布（当 API 支持时）。第三，安全评估的约束集是基准特定的手工设计，缺乏标准化。不同评估者可能定义不同的约束集，导致安全分数不可比。改进方向是建立跨基准的标准化安全约束框架，类似于航空领域的分级风险分类。第四，多代理（multi-agent）系统的可靠性完全未被探讨。随着多 Agent 协作系统的兴起，单个 Agent 的可靠性指标如何组合、错误如何在 Agent 间传播和放大，都是亟需研究的问题。
未来方向
论文在附录中提出了一个相当全面的研究议程，涵盖八个方向。我认为最紧迫和最有影响力的三个方向是：（1）长时间跨度（long-horizon）可靠性评估——当前基准评估的都是持续数分钟的短任务，但真实部署中的 Agent 可能运行数小时甚至数天，错误如何在长时间交互中积累、Agent 维护的内部状态如何漂移，都需要新的评估基础设施；（2）在线监控和干预——开发能在运行时预测可靠性失败的实时信号（如行动熵变化、工具调用频率异常），实现主动干预而非事后分析；（3）将可靠性指标融入部署治理——类似于航空系统必须满足认证要求才能投入使用，组织应在 Agent 从沙箱试点升级到生产环境前设置最低一致性和安全阈值。此外，基于本文的框架，一个自然的延伸是研究四个可靠性维度之间是否存在根本性的权衡——例如，通过保守行为提高鲁棒性是否会因引入更多决策分支而降低一致性。
复现评估
本文的可复现性较好。代码已在 GitHub 上开源（HAL harness: https://github.com/princeton-pli/hal-harness），并提供了交互式结果仪表盘（https://hal.cs.princeton.edu/reliability/）。数据集方面，GAIA 使用公开的验证集（165 个任务），τ-bench 使用经验证的 26 个任务子集（因为原始 50 个航空任务中有 24 个被发现存在标注错误）。算力方面，评估需要对 15 个模型 × 2 个基准 × 每任务 5 次运行 × 5 个提示扰动 × 故障注入和环境扰动进行推理，总推理量相当大，但主要成本来自 API 调用而非本地计算。复现难度中等：框架本身概念清晰、实现直接，但完整复现需要访问多个商业模型 API（OpenAI、Google、Anthropic），以及 GPT-4o 用于生成提示扰动和安全评估。对于资源有限的研究者，可以先在单一基准上用少数模型验证核心发现。值得注意的是，作者明确指出推理模型不暴露可配置的温度参数，因此这些模型使用了各提供商的默认 API 设置，这可能影响一致性的公平比较。
论文图表
