智能体最终考试 Agents' Last Exam
评估AI智能体在真实专业工作流程中的长周期任务能力
前置知识
Generalist Computer-Use Agent (GCUA)
通用计算机使用智能体，这是一种能够在单一行动循环中结合视觉感知、代码执行、工具使用和长周期规划的AI智能体。它需要具备五个功能层：大脑（LLM推理和规划）、眼睛（通过截图的GUI感知）、身体（编排和控制流）、手（结构化工具调用）和脚（操作生效的运行时基底）。
这是ALE基准测试的评估对象，理解GCUA架构对于理解为什么现有智能体在ALE上表现糟糕至关重要，因为当前大多数智能体只覆盖部分功能层。
SOC 2018 / O*NET
SOC（Standard Occupational Classification）2018是美国联邦职业分类系统，O*NET是基于该系统的职业信息数据库。ALE使用这些官方分类作为行业覆盖的基础，将具有相似软件中介工作流程的职业聚类到ALE行业中。
这是ALE基准的行业覆盖基础，理解它有助于理解为什么ALE能覆盖55个子领域和13个行业集群，以及其与GDP相关影响的关系。
MCP (Model Context Protocol)
模型上下文协议，这是一种标准化协议，允许AI智能体通过统一的接口与各种工具和服务交互。在ALE中，MCP桥接将14种桌面操作工具暴露给智能体的工具系统。
这是ALE实现GUI-as-Tool模式的关键技术，理解它有助于理解ALE如何将CLI原生智能体扩展到GCUA配置。
长horizon任务
需要跨越多个步骤、持续数小时甚至数天才能完成的复杂任务，通常涉及多种工具的协调使用、多阶段规划和中间状态的维护。与短周期的问答或单步操作任务形成对比。
这是ALE基准的核心特征，理解它有助于理解为什么现有基准无法有效评估AI的经济价值，以及为什么ALE任务如此具有挑战性。
研究动机
当前AI系统在各种基准测试上取得了强结果，但这些收益尚未转化为许多专业领域中有经济意义的部署。这个差距在很大程度上是一个评估问题：广泛使用的基准缺乏对真实且有经济价值的工作流程的持续性能测量。现有的基准测试通常采用更容易收集的任务单元，如较短的计算机使用任务、合成环境构建或纯问答设置。例如，MMLU测试知识而非能力，SWE-bench仅覆盖软件工程领域，OSWorld和WebArena只关注GUI操作，GDPval和RLI虽然针对经济价值，但分别只覆盖16和14个行业，且依赖昂贵的人工评估。
本文的目标是本文的目标是引入Agents' Last Exam（ALE），一个旨在评估AI智能体在长周期、有经济价值、具有可验证结果的真实世界任务上的基准测试。ALE的目标不仅仅是创建另一个排行榜，而是作为弥合基准成功与GDP相关影响之间差距的仪器。
与已有工作不同的是，本文的独特切入角度是：第一，将基准的行业覆盖扎根于官方职业分类系统SOC 2018和O*NET，而非随意选择；第二，所有任务都来自专业人士实际完成的项目，经过多轮质量控制；第三，通过基于结构化交付物或里程碑的标准化评估，避免依赖人类评委；第四，设计为活基准，任务池随着新工作流程和行业的加入而持续增长。这使得ALE成为首个覆盖所有55个SOC/O*NET行业、每个任务都来自300+从业者实际完成的项目、并用确定性检查和结构化评分替代开放式LLM评判的基准。
核心方法
ALE的整体思路是构建一个覆盖广泛专业领域的长周期任务基准，通过专家协作收集真实工作流程，在虚拟机环境中评估智能体的综合能力，并使用确定性方法验证结果。技术路线包括：基于SOC/O*NET构建行业分类体系，通过五阶段质量控制管道收集任务，实现三组件解耦的评估架构，定义通用计算机使用智能体的能力层次，并提供多种评估模式以处理异构的真实世界输出。
ALE的核心创新点在于将评估建立在真实的、专家验证的专业工作流程之上，而不是合成或简化的任务。与现有基准的本质区别在于：ALE的任务来自专业人士实际完成的项目（耗时数天到数周），覆盖所有55个SOC/O*NET行业，使用确定性检查而非人工或LLM评判，并设计为活基准以防止数据污染。另一个关键创新是提出了通用计算机使用智能体的五层能力架构（大脑、眼睛、身体、手、脚），明确指出了现有智能体的能力缺口。
方法步骤详情
ALE的方法步骤包括：第一步，基准设计，定义代表性、复杂性和可验证性三个高层要求，并将任务覆盖扎根于SOC 2018/O*NET职业分类系统，最终得到13个顶级领域和55个子领域的分类体系；第二步，任务构建管道，通过五阶段协议收集任务：专家外联（通过顾问委员会招募领域专家）、任务提交（通过门户网站上传项目）、初审审查（会议风格决策）、任务实施（转换为可运行资产）和最终质量控制（专家委员会同行评审）；第三步，评估管道实现，通过三个解耦组件交互：任务规范（main.py暴露load()、start()、evaluate()函数）、智能体（harness + LLM）和环境（具有规范四目录布局的远程虚拟机）；第四步，智能体架构扩展，将CLI原生智能体扩展到GCUA配置，通过GUI-as-Tool模式将桌面操作工具暴露给智能体的工具系统；第五步，评估模式设计，支持多种异构交付物的评分，包括精确/哈希值、结构化数字或表格字段、几何表面或点云距离、视觉外观、行为世界状态和自由文本评分。
技术新颖性
ALE的技术新颖性体现在多个方面：在任务收集方面，首创了五阶段专家协作管道，确保每个任务都经过实际验证和专业审查；在行业覆盖方面，首次实现了对所有55个SOC/O*NET行业的完整覆盖；在评估方法方面，创新性地使用确定性检查和结构化评分替代昂贵的人类评判；在架构设计方面，提出了通用计算机使用智能体的五层能力模型，清晰区分了CLI智能体、GUI智能体和GCUA的能力边界；在发布策略方面，采用公共/私人混合发布和轮换评估机制，防止基准污染；在评估基础设施方面，实现了三组件解耦架构，使得任何智能体都可以在任何任务上评估，单个规范可以在云VM或本地容器中部署而无需修改。
实验结果
核心实验发现显示，即使在最有利的配置下，ALE的最难层级仍然远未饱和：在主流harness和backbone配置中，平均完全通过率低于1%。具体而言，在三个难度层级中表现最佳的是Codex (GPT-5.5)，在Near-Term（67个任务）上达到38.1%的通过率和64.7%的平均分数，在Full-Spectrum（55个任务）上达到22.7%的通过率和36.0%的平均分数，但在Last-Exam（38个任务）上通过率为0%，平均分数仅为11.2%。其他主流配置如Cursor (GPT-5.5)、Claude Code (Fable 5)等在Last-Exam层级上也几乎全部失败。模型比较发现，GPT-5.5在三个层级上的综合通过率为21.1%，GPT-5.4为20.5%，Claude Opus 4.7为15.1%，Gemini 3.1 Pro为14.1%。领域分析显示，计算数学和农业/环境领域得分最高（约55-85%），其次是商业和法律（约50-55%），而教育领域最低（低于25%）。工具使用分析发现，34%的公共任务实例将图形软件指定为主要工具，但GUI使用量在大多数配置中仍然很小，智能体通过Bash/CLI替代品执行GUI任务。失败分类显示，理解和Approach失败共同占约四分之三的情况，表明主要瓶颈是领域知识而非执行能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Near-Term层级 | 完全通过率 (%) | Codex (GPT-5.5) 38.1% | SWE-bench (约2K任务) | 难以直接比较，ALE任务更长更复杂 |
| Full-Spectrum层级 | 完全通过率 (%) | Codex (GPT-5.5) 22.7% | Terminal-Bench (约100任务) | ALE-CLI (105个任务) 上Codex仅23.3% |
| Last-Exam层级 | 完全通过率 (%) | 大多数配置0% | OSWorld (约400任务) | ALE覆盖55/55行业，OSWorld仅5/55 |
| 行业覆盖 | 覆盖行业数 | 55/55个SOC/O*NET行业 | GDPval 16/55，RLI 14/55 | ALE是首个全覆盖的基准 |
局限与改进
作者承认的局限性包括：任务收集和验证过程极其耗时且昂贵，需要持续维护专家网络；虚拟机环境可能无法完全复现某些专业工作站；当前任务主要针对非物理行业，物理操作领域的覆盖有限；评估成本高昂，单次前沿智能体在一个ALE任务上的运行成本平均为3-10美元，耗时数十分钟到数小时。我的观察还包括：虽然ALE声称使用确定性检查，但少数任务仍需要LLM评判（如视频片段、游戏截图、渲染场景），这可能引入不一致性；公共任务集仅占总数的约10%，可能导致社区评估的代表性问题；当前智能体在Last-Exam层级上的几乎完全失败表明该层级可能过于困难，无法提供有意义的区分度。
独立分析的弱点
ALE存在几个关键弱点，每个都有改进方向。首先是评估成本问题：单次评估耗时数小时、成本数美元，使得全面评估变得昂贵。改进方向可以是开发更高效的评估代理或分层评估策略，先快速筛选再深入评估。其次是领域知识瓶颈：失败分析显示约75%的失败是由于理解和Approach问题，而非执行问题。改进方向可以是在任务描述中提供更多领域上下文，或者开发领域特定的知识增强机制。第三是GUI使用不足：虽然34%的任务需要GUI，但智能体倾向于通过CLI替代。改进方向可以是改进GUI-as-Tool的实现，或者强制要求某些任务必须使用GUI完成。第四是物理领域覆盖有限：ALE专注于非物理行业。改进方向可以是扩展到需要物理操作的领域，如机器人装配、实验室操作等。第五是公共任务集规模小：仅150个公共任务可能不足以进行可靠的社区评估。改进方向可以是增加公共任务的比例，或者开发更好的任务轮换机制。
未来方向
作者提出的未来工作方向包括：持续扩展任务池，将新工作流程和行业纳入基准；改进评估基础设施，降低评估成本和时间；开发更精细的评估模式，更好地处理异构输出；扩展到更多物理操作领域。基于ALE的成果，可延伸的研究方向包括：开发领域特定的智能体架构，针对不同行业的工具和工作流程进行优化；研究如何更有效地向智能体传递领域知识；探索自适应评估策略，根据智能体能力动态调整任务难度；研究多智能体协作在ALE任务上的表现；开发更好的上下文压缩和长期记忆管理机制，支持更长周期的任务；研究如何将ALE的评估方法扩展到需要人类参与的领域。
复现评估
ALE的复现性评估如下：论文提供了详细的架构设计和评估流程描述，任务构建和评估管道都有明确的规范。然而，完整的复现面临挑战：公共任务集仅150个（占总数10%），私人任务池需要申请访问；评估需要虚拟机环境和预安装的专业软件，设置复杂；单次评估成本高昂，完整评估152个公共任务需要数千美元和数百小时；论文提供了ALE-Claw作为参考实现，但其实现细节在附录中。数据方面，ALE提供了960个专家编写的任务工作流程（1490个任务实例），每个任务都有自然语言描述、输入文件、目标软件、预期交付物和评估规范。算力方面，评估需要云计算资源，论文中报告的运行时间从20小时到289小时不等。总体而言，虽然ALE提供了良好的文档和部分开源，但完整复现仍然具有挑战性，更适合作为研究方向而非开发基准。
论文图表
Figure 3是基准定位图，将ALE与现有基准进行对比。图的x轴表示覆盖的ALE域数量（1到55），y轴表示评估类型从静态答案评估到交互式智能体环境再到验证的技术任务完成和真实专业工作。ALE位于图的右上角（55个领域，真实专业工作），表明其在行业覆盖和真实性方面都领先。其他基准包括SWE-Lancer（16/55）、GDP-VAL（14/55）、RLI、TheAgentCompany、SWE-bench、RE-Bench、MLE-bench、OSWorld、WebArena、GAIA、WorkArena++、AgentBench、PinchBench、Terminal-Bench、MATH、MMLU、GPQA和HLE等。
这张图对理解论文至关重要，因为它直观地展示了ALE相对于现有基准的定位，有助于读者理解ALE的独特性和创新性，以及为什么ALE声称填补了现有基准的覆盖空白。