基于大语言模型的智能体评估需要统一框架 The Necessity of a Unified Framework for LLM-Based Agent Evaluation
LLM智能体评估存在混杂变量，需统一框架实现公平比较
前置知识
LLM智能体（LLM-based Agent）
基于大语言模型构建的自主智能系统，通过规划（planning）、记忆（memory）和工具调用（tool use）与外部环境交互来完成复杂任务。与传统LLM的静态输入输出不同，智能体通过多轮决策轨迹（trajectory）展现能力，包括环境状态变化、错误恢复和任务分解等过程。典型代表包括Claude Code、Codex等产品。智能体的核心特征是其系统性质——能力不仅取决于LLM本身，还取决于围绕它的所有非LLM组件的实现方式。
本文的核心研究对象就是LLM智能体的评估问题，理解智能体的系统性质（非单一模型性质）是理解本文论证的基础。
评估框架中的混杂变量（Confounding Variables）
在智能体评估中，观察到的分数不仅取决于被测LLM，还受到周围非LLM组件（harness层、执行环境等）的影响。例如相同的模型在不同的prompt scaffold下可能产生截然不同的分数——BFCL的约200字prompt与smolagents的约2000字scaffold在同一任务上可导致显著的分数差异。这些变量使得跨LLM的公平比较变得不可能，因为分数反映的是LLM能力和周围组件的联合属性。
这是本文要解决的核心问题：现有评估无法将LLM自身能力与周围组件的影响分离。
Agent Harness（智能体执行框架）
包裹LLM的非模型组件层，包括prompting策略、记忆格式化和检索机制、工具调用接口和解析器等。例如smolagents框架提供标准化的prompt构建、内存处理、工具调用以及FC/JSON回退路径。不同的harness实现（如BFCL vs τ-bench vs smolagents）在同一模型上可产生不同的评估分数，因为它们在每个决策点向模型呈现不同的输入。
本文主张将harness层标准化，作为统一框架的核心组件之一。
控制变量原则（Control-of-Variables Principle）
科学探究的基本原则：只有当所有其他因素保持恒定时，才能将观察到的结果归因于特定因素。本文通过风洞测试、GPU基准测试（MLPerf、3DMark）和赛车运动规则（F1、NASCAR）三个类比来论证这一原则在LLM智能体评估中的应用。例如在风洞中，固定空气密度、温度和流速，使得唯一的变量是翼型本身。
这是本文方法论的理论基础，支撑了标准化周围层、保留LLM本身的核心主张。
版本化治理（Versioning-based Governance）
借鉴MLPerf等成熟基准测试社区的做法，将评估规范作为编号版本发布，分数需标注产生时的规范版本，不同版本的分数不能直接比较。这使得快速发展的技术领域能够拥有稳定的规范——替代方案不是稳定，而是根本没有规范。版本化是让快速移动的技术领域拥有稳定规范的关键机制。
解决了标准化会僵化评估的反对意见，为统一框架的可持续演进提供了具体机制。
研究动机
当前LLM智能体评估面临一个根本性的识别问题：当两个LLM在智能体基准测试中获得不同分数时，这个差异可能反映了真实的智能体能力差异，但也可能仅仅是由于评估框架兼容性、环境漂移或评估者特定惯例导致的。Holistic Agent Leaderboard（HAL）的实证研究表明，同一个LLM在相同基准测试下使用不同的harness，可以产生显著不同的分数。例如，BFCL使用约200字的prompt仅定义输出格式，而smolagents使用约2000字的scaffold额外编码了Action/Observation循环、上下文示例、事实调查和规划程序以及重规划步骤——将两者的分数都报告为模型的工具使用分数，实际上是将scaffold的质量归因于模型。在外部环境方面，BrowseComp通过实时网络搜索API评估浏览智能体，但缺乏固定参考源使得任务解析不可追踪——BrowseComp-Plus在快照化实时内容后重新评估发现，相当一部分原始任务答案已经漂移或不可访问。此外，不同推理提供商的内容审核策略差异（如OpenAI API与Google GenAI接口）可能导致相同prompt在一端成功执行而在另一端被过滤或拒绝，这种失败与智能体能力无关。
本文的目标是本文的核心目标是为LLM智能体能力的跨模型评估建立一个统一框架，该框架标准化非LLM组件（harness和执行环境），同时保留基准测试特定的任务内容。具体而言，该框架需要提供两个组件：一是受控执行底层（controlled execution substrate），将周围的技术栈固定为跨模型和基准测试的稳定接口，包括单一的推理调用约定、单一的内存表示、单一的工具调用和解析约定，以及明确定义和版本固定的环境；二是有原则的评估方法（principled evaluation methodology），固定智能体行为的测量和报告方式，包括规范指标、多维度报告和共享的失败分类法。
与已有工作不同的是，本文的独特切入角度在于明确区分了两个不同的问题：哪个LLM在固定harness下贡献更大与哪个智能体产品端到端表现最佳——本文关注前者。已有工作虽朝着兼容方向发展但未能达到本文所倡导的立场：Holistic Agent Leaderboard展示了harness变异性的重要但未提出社区级标准化立场；τ-bench在特定领域开创了轨迹感知评估；Terminal-Bench和Harbor在共享环境中集成多个智能体但保留了智能体侧的异质性；MCP标准化了工具调用但仅解决了harness的一个切片。本文通过工程社区的成熟类比（风洞、GPU基准测试、赛车运动规则），系统性地论证了标准化的边界：什么应该标准化、什么应该保留自由变化，以及如何通过版本化治理实现规范的演进。
核心方法
本文的方法论可以概括为一个分层论证结构。首先，通过系统分析现有LLM智能体评估中的非LLM方差来源，识别出五大类混杂因素：推理配置、提示与规划策略、记忆机制、工具调用和外部环境。然后，借鉴成熟工程社区的类比（风洞测试、GPU基准测试MLPerf/3DMark、赛车运动规则F1/NASCAR），论证控制变量原则的必要性。在此基础上，提出统一框架必须提供的两个核心组件：受控执行底层（标准化harness和环境）和有原则的评估方法（标准化指标和报告）。最后，详细规范框架应具体指定的内容，包括标准化数据集组成（I, T, E三元组）、harness层、评估方法和版本化治理模型。整个论证的核心直觉是：评估LLM智能体能力就像评估发动机——必须固定底盘和测试环境，才能将性能差异归因于发动机本身。
本文的核心创新点在于提出了一个精确的边界划分：统一框架标准化的是机制（mechanism）而非内容（content）。具体而言，基准测试作者提供的三个组件——指令集I、工具集T和环境集E——是内容定义性的，合法地因基准测试而异；但框架的harness层（prompt构建、内存表示、工具调用约定）和执行环境的确定性特性应被固定。这一区分使得同一LLM可以在不同基准测试上被公平比较，因为周围层是相同的。与已有工作的本质区别在于：HAL是一个单一的实证研究而非社区实践；Harbor是集成框架而非统一框架（每个智能体保留自己的内部harness）；MCP仅标准化工具调用接口。本文将HAL的实证发现推广为规范性主张，并超越集成风格的努力：跨LLM比较应要求统一机制层作为评估的默认底层，而非作为一项研究或一个选项。
方法步骤详情
本文的方法可分为四个详细步骤。第一步：标准化数据集组成。每个指令必须配对一个可自动化的成功标准——规则检查（如字符串匹配）、真值轨迹（如期望的工具调用序列）或最终状态谓词（如执行后期望的数据库状态）。工具必须以统一协议声明，包含显式签名、类型注解和副作用声明。环境必须可解、版本固定且可确定性重置。第二步：建立受控执行底层。以smolagents作为参考实现，它已提供标准化的prompt构建、内存处理、工具调用和FC/JSON回退路径。所有评估在统一的harness机制层下运行，而非保留各基准测试的原生harness。第三步：实施有原则的评估方法。定义少量规范指标及其操作定义，要求多维度报告（轨迹正确性、环境状态、资源使用），提供共享的失败分类法。采用帕累托前沿报告（正确性、轨迹长度、token成本、延迟），仅当一个LLM在所有维度上占优时才被认为严格优于另一个。第四步：建立版本化治理。规范作为编号版本发布，分数标注版本号，跨版本分数不直接比较。修订通过公开讨论进行，由记录的评估病理而非美学偏好驱动。
技术新颖性
本文的技术新颖性体现在三个层面。第一，问题定位的新颖性：首次系统性地将LLM智能体评估中的混杂变量问题从边际麻烦提升为结构性障碍的定位，通过五大类方差来源的详尽分类（推理配置的接口协议差异和引擎变异性；提示的scaffold规模差异从200字到2000字；内存的格式化和长度约束差异；工具调用的schema、类型支持和解析严格性差异；环境的信息漂移），建立了完整的问题图谱。第二，论证框架的新颖性：引入三个工程类比（风洞、GPU基准、赛车规则）为LLM评估社区提供了成熟工程社区验证过的范式，特别是赛车运动的类比精确定义了标准化非核心组件、保留核心创新空间的边界。第三，规范设计的新颖性：提出数据集三元组 (I, T, E) 的结构化分解，使基准测试可以即插即用地适配统一底层；帕累托前沿报告策略将资源效率纳入能力评估而非作为独立考量；版本化治理模型解决了标准化会僵化的反对意见。
实验结果
本文作为立场论文（Position Paper），其核心贡献在于论证而非实验。主要发现基于对现有评估生态的系统分析和对已有实证工作的综合。首先，非LLM方差来源的全面分析揭示了五大类混杂因素的具体机制：推理配置层面，OpenAI API与Google GenAI接口的内容审核差异、Azure OpenAI的内容策略执行失败可导致与智能体能力无关的硬执行失败；vLLM、SGLang、HuggingFace Transformers等开源引擎对同一模型权重可产生分歧行为。提示层面，BFCL的约200字prompt与smolagents的约2000字scaffold在同一工具使用任务上代表了数量级的差异。工具调用层面，OpenAI限制函数名匹配特定正则表达式，Gemini禁止additionalProperties关键字，dict[str, Any]类型注解被OpenAI API拒绝而被Gemini SDK接受。环境层面，BrowseComp-Plus重新评估发现相当部分原始答案已漂移。其次，通过三个工程类比的论证表明，控制变量原则在成熟社区中已是基本共识——MLPerf和3DMark将GPU数字视为GPU的测量值，因为每个GPU都在相同平台、驱动版本和工作负载下运行；F1和NASCAR通过技术规则约束非引擎组件使发动机性能可测量。最后，Holistic Agent Leaderboard已使用统一的smolagents scaffold在多个智能体基准测试上评估多个模型，展示了系统性差异，证明单一共享scaffold在操作上可行。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨基准测试的LLM智能体能力比较 | 任务完成分数一致性 | 提出统一框架：受控执行底层加有原则评估方法 | 各基准测试使用原生harness，HAL实证显示分数显著不同 | 消除harness层面的混杂变量，使分数可归因于LLM能力 |
| 工具调用评估的公平性 | 跨提供商的分数可比性 | 统一工具schema约定、参数类型支持和解析严格性 | OpenAI、Gemini、自托管各有不同的schema约束和类型支持 | 消除provider特定的接口约束对分数的影响 |
| 长期任务评估的环境稳定性 | 评估结果的时间一致性 | 版本固定、确定性重置的环境E | BrowseComp使用实时网络API，BrowseComp-Plus发现答案漂移 | 确保不同时间运行同一评估得到一致结果 |
局限与改进
本文的局限性可从作者承认的和独立观察两个角度分析。作者明确承认的局限包括：第一，统一框架不可避免地降低生态有效性（ecological validity），因为确定性环境无法完全模拟真实世界的动态性——但作者认为评估不是部署，更接近笔试而非在职表现，受控考察虽无法测试所有实际情况，但能产生可比较、可复现的信号。第二，标准化可能僵化当前概念——但作者通过版本化治理模型回应，认为替代方案不是稳定而是没有规范。第三，本文定位为立场论文，提出的是规范性主张而非最终设计方案，具体规范的细节需要社区讨论和实证锚定。独立观察的局限：第一，论文缺乏自身的实证验证——虽然引用了HAL的实证工作，但未展示统一框架在大规模多基准测试上的实际效果；第二，smolagents作为参考实现可能存在自身的偏差，论文未讨论如何评估参考实现本身的质量；第三，版本化治理模型假设存在有效的社区协调机制，但LLM社区目前缺乏类似W3C、IETF或MLPerf联盟的权威机构；第四，论文对多智能体设置的讨论较为简略，仅提到需要报告智能体间通信，未深入分析多智能体场景下的标准化挑战。
独立分析的弱点
本文的第一个弱点是论证主要依赖类比而非直接实证。虽然风洞、GPU基准和赛车运动的类比具有说服力，但LLM智能体评估有其独特性质——评估对象是软件系统而非物理实体，其能力边界远不如发动机或GPU明确。改进方向是设计对照实验，系统性地量化不同harness配置对同一模型分数的影响程度，建立方差分解的实证基础。第二个弱点是对内容与机制的边界划分可能在实践中难以操作。例如，ReAct规划模式既是机制（通用的思考-行动-观察循环）也是内容（特定任务的规划策略），将其完全归入标准化范围可能限制了合理的基准测试设计灵活性。改进方向是建立更精细的分类体系，区分通用机制和任务特定机制。第三个弱点是缺少对计算成本和可行性的分析。统一框架意味着所有基准测试都需要适配到统一底层，这对社区的工程投入提出了很高要求。改进方向是评估迁移成本，设计渐进式迁移路径。
未来方向
本文作者和基于本文成果可延伸的未来研究方向包括：第一，建立具体的统一规范——本文提出的是立场和框架，下一步是社区协作制定可操作的规范文档，包括具体的API接口定义、数据格式标准和评估流程。第二，开发参考实现和迁移工具——以smolagents为基础，构建标准化评估平台，提供将现有基准测试迁移到统一底层的工具链。第三，开展大规模实证研究——使用统一框架重新评估主流LLM在多个智能体基准测试上的表现，量化统一化前后的分数差异，建立基准测试间可比性的实证证据。第四，扩展到多智能体设置——本文主要关注单智能体评估，多智能体场景下智能体间的通信协议、协作策略引入了额外的标准化维度。第五，建立社区治理结构——借鉴MLPerf联盟的模式，建立LLM智能体评估的社区组织，负责规范的制定、维护和演进。第六，探索与MCP等协议标准的整合——将工具调用协议标准化纳入统一框架的一个组件，而非替代整个框架。
复现评估
本文作为立场论文，其可复现性主要体现在论证的可验证性而非实验的可复现性。论文本身不涉及代码实现或数据集，但其引用的关键实证工作大多可复现：Holistic Agent Leaderboard提供了smolagents scaffold的开源实现；τ-bench的模拟数据库和BrowseComp-Plus的快照检索语料库满足确定性和版本固定的要求。论文的论证过程完全透明——所有引用的方差来源都附有具体的文档引用和代码示例。对于未来基于本文立场的实证工作，smolagents框架是开源的（huggingface/smolagents），可作为统一harness的参考实现。论文建议的标准化数据集组成（I, T, E）需要基准测试作者的合作来实现，目前大多数主流基准测试（BFCL、τ-bench、AgentBench等）尚未适配到统一底层，这限制了短期内的可复现性。总体而言，论文的理论贡献高度可复现（论证逻辑和类比可独立验证），但实际应用需要社区的广泛参与。
论文图表
图中展示了LLM智能体评估的分层架构，从内到外依次为：LLM（核心）、推理配置、提示与规划、记忆、工具调用、执行环境。每一层都标注了独立于被测LLM的方差来源。图中用箭头和标注说明了周围技术栈的每一层如何将独立于LLM的方差传播到最终分数中。
这是理解本文核心问题的关键图——清晰地展示了为什么现有评估无法将分数归因于LLM本身，因为每一层都引入了混杂变量。