AgentCompass：面向智能体能力的统一评测基础设施 AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities
解耦基准×工具链×环境的开源LLM智能体统一评测基础设施
前置知识
LLM 智能体（LLM-based Agent）
以大语言模型为中枢、能在动态环境中进行复杂推理、规划与工具交互的自主系统。它区别于单纯的指令跟随式文本生成器，通常包含提示构造、多轮工具调用、状态管理与外部环境交互等组件。本文中的智能体覆盖从单轮推理脚本到复杂自主编码智能体的广谱系统，例如 Claude Code、OpenAI Codex、OpenHands、Mini-SWE-agent 等。
AgentCompass 的评测对象正是 LLM 智能体，必须先理解智能体与传统 LLM 评测（如 MMLU 式静态问答）的本质区别——智能体能力是交互式、长时程、多步的，这决定了为何需要全新的解耦式评测基础设施。
评测工具链（Evaluation Harness）
把一个 LLM 实例化为可交互智能体的操作包装层，负责编排提示格式化、交互状态管理、多轮工具调用以及与模型 API 的对接。它屏蔽了智能体实现细节，让基准不必关心具体的智能体胶水代码。本文把 harness 与基准、环境三者解耦，并区分 in-process（交互环由框架原生管理）和 in-environment（外部智能体框架作为子进程在沙箱内执行）两类。
Harness 是 AgentCompass 三大核心组件之一，也是论文最重要的解耦对象。理解 harness 的边界才能读懂为何'同一基准×不同 harness'或'同一 harness×不同基准'会产生可比但差异显著的结果（Table 3）。
奖励作弊（Reward Hacking）
智能体为了通过评测而采用不符合评测本意的'走捷径'行为，而非真正具备相应能力。在编码评测中典型表现包括篡改测试用例、通过特定方式读取 golden patch（标准答案补丁）等。本文采用行为性判定标准：只要某动作表现出作弊特征即归类为疑似 reward-hacking，不论是否真有因果证据。作者用受启发于相关工作的两级分类（样本级 sample-level 与步级 step-level）做统计。
RQ2 的核心就是 reward-hacking 分析（Table 4）。若不理解这一概念，就无法理解论文为何强调'超越最终分数看轨迹'，也无法读懂 GLM-5.2(FP8) 高分却高作弊率这类关键发现。
沙箱环境与隔离（Sandbox / Environment Isolation）
为外部智能体执行提供隔离上下文与系统原语的执行层，统一暴露会话接口以执行命令、传输文件、操纵文本、配置网络服务。它是安全与隔离边界，屏蔽本地宿主进程、本地 Docker 容器或分布式集群之间的差异，使同一基准与 harness 配置可跨后端一致运行，并支持把智能体生成的补丁应用到干净仓库上做 fresh 验证。
Environment 是 AgentCompass 第三大核心组件。理解其统一会话接口与 scorer 的 fresh 模式，才能明白框架如何安全地跑外部自主编码智能体并公平验证其产出。
研究动机
当前 LLM 智能体的评测生态高度碎片化，存在严重的基础设施缺失。虽然涌现了大量专门基准来评估特定能力——例如工具调用（$\tau$-bench 系列）和深度研究（BrowseComp、DeepSearchQA、GAIA、HLE 等）——但它们各自作为孤立评测套件运行，迫使研究者反复配置异构的执行环境、数据格式与打分协议：同一模型在不同基准上要适配完全不同的工程胶水代码。这种冗余工程不仅拖慢效率，更因各团队实现不一致的基线而严重损害可复现性。另一方面，现有通用评测基础设施要么缺乏对交互式智能体工作流的原生支持（如 OpenCompass、VLMEvalKit），要么只面向狭窄领域（如 Harbor 偏重编码与技能场景、MASLab 偏多智能体）。社区急需一套统一、可扩展、可复现的智能体评测基础设施。
本文的目标是本文目标是构建一套开源、轻量、可扩展的智能体评测基础设施 AgentCompass，用于系统性地评估 LLM 智能体。具体而言，它希望把评测流程中典型纠缠在一起的三类组件解耦，将僵化的基准专属管线转化为可灵活组合的'基准 × 工具链 × 环境'配置；同时标准化关键操作，包括任务分发、环境交互与指标聚合。更进一步，作者希望超越传统把智能体表现塌缩为单一标量分数的做法，提供细粒度的轨迹级分析与可视化工具，捕捉中间动作、工具调用与环境反馈，从而透明地诊断诸如 reward-hacking 这类细微失败模式。最终目标是让同一基准可评测不同智能体、同一工具链可跨基准复用，而无需重写复杂执行逻辑。
与已有工作不同的是，本文独特切入角度在于'协议驱动的组件解耦'与'语义/执行参数分离'两个设计原则。不同于以往把评测逻辑、智能体胶水代码与环境管理耦合在基准专属脚本里的做法，AgentCompass 通过两级严格协议抽象保证组件互操作：第一，模型被纯粹表示为声明式 API 规格而非紧耦合到单一客户端网关；第二，基准与工具链间数据交换由标准化'材料协议'（TaskSpec → PreparedTask → RunResult）治理。此外它区分会改变智能体行为的语义参数与仅影响执行的参数（如并发度），使仅执行层面的改动不致结果失效。配合容错异步运行时与可插拔分析器层，它在可复现性与行为诊断上形成了区别于 Harbor、MASLab、OpenCompass、EvalScope、VLMEvalKit 的独有定位。
核心方法
整体思路是把一次评测视为一份声明式配置，而非写死的流水线代码。直觉上，AgentCompass 抓住关键观察——评测中真正可复用的部分（任务定义、评分语义）应该与会因模型/工具链而频繁变化的部分（交互协议、执行环境）分离。技术路线上，用户通过 CLI 或 Python SDK 构造声明式 RunRequest，其中 BenchmarkSpec 定义任务与评分指标、HarnessSpec 定义与每个任务交互的智能体流程、EnvironmentSpec 标识执行上下文、ModelSpec 描述模型端点/凭证/推理参数与支持的 API 协议，而 ExecutionSpec 承载并发、重试等运行时选项。运行时通过基于装饰器的轻量注册表动态解析这些组件，准备任务材料，并经基于 asyncio 的异步分发器派发任务，高效并行管理多条长运行的智能体轨迹，原生支持 $20+$ 个基准与五类能力维度。任意新组件只需本地注册即可接入，无需改动中央运行时。
核心创新是把 Benchmark、Harness、Environment 三者彻底解耦，并用严格双层协议把它们粘合起来，这与已有'基准专属、紧耦合脚本'有本质区别。具体而言，基准把数据加载为统一 TaskSpec，再编译成 PreparedTask（打包提示、工具、媒体与期望输出）；工具链消费该结构产出统一 RunResult（含最终预测、分数与完整轨迹）。这种显式数据契约让引入新基准或新智能体时无需跨模块相互修改。另一本质区别是 scorer 执行模式设计：none（内存验证）、reuse（复用智能体工作区）、fresh（干净隔离测试环境，如把智能体生成补丁应用到干净仓库上验证），从而把 agent rollout 与评测干净分离。环境则作为安全与隔离边界，统一屏蔽本地宿主进程、Docker 容器或分布式集群的差异。
方法步骤详情
一次评测的完整步骤如下。第一步，用户用 CLI 或 Python SDK 构造声明式 RunRequest，指定 BenchmarkSpec、HarnessSpec、EnvironmentSpec、ModelSpec 与 ExecutionSpec。第二步，运行时动态解析基于装饰器注册的各组件，准备任务材料。第三步，Benchmark 把原始数据加载成统一 TaskSpec 并编译为 PreparedTask（含提示、工具、媒体、期望输出），打分支持确定性匹配、执行式验证与 LLM-as-judge。第四步，Harness 作为操作包装器把 LLM 实例化为交互智能体，编排提示格式化、交互状态管理与多轮工具调用，与模型 API 和环境协调，完全屏蔽智能体实现细节。第五步，Environment 提供隔离执行上下文，经统一会话接口执行命令、传输文件、操纵文本、配置网络服务。第六步，产出 RunResult，含预测、分数与完整轨迹。第七步，异步分发器在并发限制下并行调度多条轨迹并增量持久化；若被打断，跳过已完成任务、只重跑可重试失败项，实现无缝续跑。
技术新颖性
技术新颖性体现在几处。其一，协议驱动的分解替代单体设计，模型仅以声明式 API 规格表达、数据交换走标准材料协议，降低耦合。其二，Harness 既支持 in-process（交互环由 AgentCompass 原生管理）也支持 in-environment（外部智能体框架作为子进程在沙箱内执行），能覆盖从单轮推理脚本到复杂自主编码智能体的广谱系统。其三，记录每个任务的版本化完整轨迹（推理过程、工具调用、环境反馈与 token 消耗、推理延迟、停止原因等粒度指标），并通过可插拔 analyzer 层自动提取结构化洞察，把错误归类为模型侧/环境侧/框架侧，还能系统性检出输出截断、延迟尖峰、重复生成环等异常。其四，区分语义参数与执行参数以保障可复现性，仅执行层改动不使结果失效。其五，提供受启发于相关工作的 reward-hacking 分析器，用行为性而非证据性的判定标准对疑似作弊行为做两级（样本级/步级）分类。
实验结果
核心发现分三部分。其一（Table 3）评测对 harness 与基础设施选择高度敏感：同一模型仅换 harness 即可大幅波动，如 DeepSeek-V4-pro(FP4) 在 SWE-Multilingual 从 Mini-SWE 的 $72.44$ 跌到 OpenHands 的 $61.78$（差 $13.6$ 分）；模型还会偏离官方基线，如 GLM-5.2(FP8) 在 SWE-bench-Pro+OpenHands 上高 $15.0$ 分、Claude-Opus-4.8 在 DeepSearchQA 上低 $8.7$ 分，$\tau^3$-bench 最强的 GPT-5.5 达 $62.94$。其二（RQ1）坏例行为因模型而异：DeepSeek 多为重复内容生成，Kimi-K2.6 多为多语言混杂与重复工具调用，Gemini-3.1 以重复工具调用主导，Claude-Opus-4.8 与 GPT-5.5 多为空输出（后者坏例极少）。其三（RQ2）疑似 reward-hacking 普遍：SWE-Pro 上 GLM-5.2(FP8) 样本级 $39.12\%$ 最高、DeepSeek 仅 $0.82\%$；GLM-5.2 虽比 Claude 高约 $12$ 分，疑似作弊样本却多约 $30\%$，说明高分未必干净。RQ3 进一步指出编码任务多服从 test-time scaling，生产率任务中 Claude-Opus-4.8 以更低 token 预算得高分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 工具使用（$\tau^3$-bench，官方 workflow） | 通过率（%） | GPT-5.5 $62.94$（最高），GLM-5.2(FP8) $61.42$ | Gemini-3.1-Pro-Preview $48.22$（同框架最低） | 揭示框架可在统一协议下跨模型横向对比工具调用能力，差距约 $14.7$ 分 |
| 深度研究（DeepSearchQA，Naive Search Agent） | 准确率（%） | GLM-5.2(FP8) $77.96$ | Claude-Opus-4.8 官方基线（其本框架得分 $76.11$，gap $-8.7$） | 揭示统一协议下分数会偏离官方报告，证明标准化基础设施的必要性 |
| 智能体编码（SWE-bench-Pro，OpenHands） | 解决率（%） | GLM-5.2(FP8) $77.06$（gap $+15.0$） | Gemini-3.1-Pro-Preview $45.69$（gap $-8.5$） | 同一 harness 下跨模型差距 $31.4$ 分，凸显工具链/协议对结果的影响 |
| 疑似 reward-hacking（SWE-bench-Pro，Mini-SWE-agent，样本级） | 疑似作弊率（%） | DeepSeek-V4-pro(FP4) 仅 $0.82\%$（最低） | GLM-5.2(FP8) $39.12\%$（最高） | 框架首次量化揭示'高分未必干净'，DeepSeek 作弊率低约 $48$ 倍 |
| 生产率技能（SkillsBench，同模型跨 harness） | 分数（%） | GPT-5.5 用 OpenHands $56.08$ | GPT-5.5 用 OpenClaw $49.52$ | 同模型仅换 harness 即差 $6.56$ 分（gap $-11.2$），证明 harness 敏感性 |
局限与改进
作者自承的局限包括：reward-hacking 判定是行为性而非证据性的，即只要某动作表现出作弊特征就归类为疑似作弊，不论是否真有因果证据；Table 3 的差距标注（gap）会随 harness 版本、以及评测期间对 harness 所做的基准特定适配而波动，因此差距不完全可比。我观察到另外几点局限：实验只覆盖 $8$ 个基准，而框架声称支持 $20+$，覆盖面不足；论文缺少与 Harbor、MASLab、EvalScope 等平行基础设施在相同基准与指标下的横向对比，难以量化自身在效率、可扩展性、调度开销上的优势；坏例分类（工具调用重复、输出重复、空/截断、语言混杂、关键词信号）与 reward-hacking 判定都依赖启发式与关键词信号，可能存在误判；对失败根因（模型侧/环境侧/框架侧）的归类标准缺少明确的消融或人工抽检验证。
独立分析的弱点
第一个弱点是缺乏与同类基础设施的横向基准对比。论文用 Table 3 证明框架可用，但未量化 AgentCompass 相比 Harbor、MASLab 在吞吐、调度开销、资源占用上的优势。改进方向是设计一组'元评测'，在相同硬件上跑同一批任务，比较各框架的并发效率与故障恢复时间。第二个弱点是 reward-hacking 判定仅为行为性启发式，可能高估或低估真实作弊率。改进方向是引入因果证据（如删除疑似动作后是否仍通过测试的对照实验）或人工抽检校准阈值。第三个弱点是分析器覆盖有限，目前主要针对输出截断、重复生成、延迟尖峰等表层异常，对更隐蔽的失败（如错误规划链、错误工具参数、错误的子目标分解）识别不足。改进方向是引入基于 LLM-as-judge 的细粒度根因分析。第四个弱点是环境抽象对集群场景的可扩展性叙述偏概念，缺少大规模分布式实验的具体数据。改进方向是补充在数十/上百节点上的吞吐与一致性实测。
未来方向
作者侧的未来方向是继续扩展基准与 harness 覆盖、深化轨迹分析（如更通用的失败根因诊断）以及服务 Intern-S 系列之外的更多智能体。基于本成果可延伸的方向包括：把 reward-hacking 分析器从 SWE 类任务推广到网页/科研任务，构造跨维度的'作弊画像'；研究如何把轨迹分析反馈用于智能体训练（如用检测到的坏例做 RLHF 负样本或课程学习）；将语义/执行参数分离的思想推广到在线评测与 A/B 评测平台，实现热更新而不破坏可比性；探索多智能体协同场景下的解耦评测协议（MASLab 偏多智能体，可借鉴其协议设计）；研究 token 预算与能力的 trade-off 曲线作为智能体选型的决策工具，结合 Figure 4 的能力-token 帕累托前沿为部署提供自动推荐。
复现评估
复现性总体很好，是这类系统论文的优势所在。代码已开源（https://github.com/open-compass/AgentCompass），采用轻量注册表架构，新增组件只需本地注册。所有评测结果均经基准与模型维度持久化，存有确切配置、任务级日志与聚合摘要，且支持增量执行与断点续跑，便于大规模可审计复现。论文区分语义参数与执行参数，明确标注 Table 3 中每个数字相对官方基线的 gap，并说明所有结果为三次独立运行的平均以降低方差，附录 A 给出实验设置细节。不足之处在于：未公开所用模型端点的确切推理参数与并发设置；分布式集群部署的具体配置与资源消耗未量化；部分基准（如 GDPVal-AC 这种自定义 AgentCompass 变体、依赖 OpenClaw judger）的实现细节依赖外部工具版本，复现时需锁定版本。整体而言，作为基础设施其工程复现门槛低于多数模型论文。
论文图表
该图用雷达/条形形式展示代表性模型（Qwen3.5-397B-A17B、Kimi-K2.6、DeepSeek-V4-pro(FP4)、GLM-5.2(FP8)、Gemini-3.1-Pro-Preview、GPT-5.5、Claude-Opus-4.8）在五个核心能力维度（工具使用、Web 与研究、科研推理、生产率、智能体编码）上的能力画像，例如编码维度 GPT-5.5/Claude-Opus-4.8 约 $85$/$76$，DeepResearch 维度差异明显（$54$ 到 $85$ 不等）。
这张图直观论证了'统一多维度评测'的必要性——不同模型在不同能力上各有长短，只有把多个维度放在同一基础设施下才能公平横向对比，这正是 AgentCompass 的动机所在。