Counsel：用于智能体任务的元评估数据集 Counsel: A Meta-Evaluation Dataset for Agentic Tasks
首个用于评估LLM-as-a-judge评判质量的数据集，含人类元评估
前置知识
LLM-as-a-judge (LLMJ)
使用大语言模型作为评判者来评估其他AI系统输出的方法。评判者接收任务输入和待评估的输出，生成判断结果和推理文本。LLMJ广泛应用于评估对话质量、答案正确性、代码质量等场景，因为比人工标注更高效。评判可以是过程级的（评估每一步）或结果级的（评估最终输出）。
本文的核心研究对象，论文中所有评判都由LLMJ生成，并用人类评估其质量
智能体轨迹
智能体执行任务时的一系列有序步骤的记录。每个步骤包括用户的输入、智能体的输出、工具调用和工具返回结果。轨迹以OpenAI兼容的聊天完成格式存储，完整记录了智能体与环境交互的全过程。在 τ-bench 中，轨迹是多轮工具-智能体-用户的对话；在 DA-Code 中，轨迹是数据科学分析的多步骤过程。
本文评估的对象，评判者逐一步骤评估轨迹，判断每一步是否包含错误
过程级评判
对智能体轨迹的每个步骤独立进行评估，而不是只看最终结果。评判者看到步骤前的完整上下文（但不包括未来的信息），判断该步骤是否包含错误并解释原因。这种方法可以定位错误发生的位置，为调试和改进提供诊断信息。相比之下，结果级评判只根据最终输出评分。
Counsel数据集的独特性，现有基准主要评估最终结果，本文聚焦于过程级的评判质量
元评估
评估评估者的评估。在AI领域，元评估是用人类判断来衡量自动评判系统的质量。例如，LLMJ评判一个智能体的步骤是错误的，元评估就是由人类评估这个评判是否正确。元评估可以发现评判系统的偏差、盲点和不一致性，为改进评判提供监督信号。
本文的核心贡献，Counsel是第一个包含人类元评估的智能体任务数据集
Krippendorff's α
衡量多个标注者之间一致性的统计指标，取值范围是 -1 到 1，值越接近 1 表示一致性越高。α = 0.78 表示标注者之间有实质一致性（substantial agreement）。这个指标不要求所有标注者都标注相同的数据，可以处理缺失值，适用于不同类型的标注任务（分类、序数、数值等）。
论文中达到 α = 0.78 表明人工元评估的质量可靠，数据标注有良好的一致性
研究动机
随着智能体系统处理越来越复杂的多步骤任务，评估其轨迹成为主要瓶颈。人工标注单个轨迹在流行的智能体基准测试上可能需要数小时，难以扩展评估来衡量性能或策展训练数据。例如，SWE-bench 中的任务，经验丰富的软件工程师预计需要约 1 小时完成，而智能体轨迹的人工标注需要约 2 小时。虽然许多智能体基准测试使用程序化或可验证标准来评估轨迹结果，但在步骤层面这类标准要少得多，且严重的标注负担使得在模糊、定性或不可验证维度上扩展人工反馈极具挑战性。这导致广泛依赖自动化方法如 LLM-as-a-judge (LLMJ) 来大规模批判智能体，然而 LLMJ 批判的合理性往往未被测量。大多数元评估尝试只比较最终判断与人类的一致性，这意味着测量或改进 LLMJ 质量的尝试只能间接针对批判，希望提高判断准确性会导致更高的批判质量。
本文的目标是本文介绍 Counsel，第一个用于智能体任务的公共元评估数据集。Counsel 包含来自开放权重 LLMJ 在两个智能体基准测试（τ-bench 客户支持智能体和 DA-Code 编程智能体）上的过程级批判，以及对这些批判的人类元评估。人类标注者将每个标记错误的批判标记为完全正确、正确位置但推理差或不应标记，达到可靠的标注间一致性（Krippendorff's α 为 0.78）。产生的数据集按照人类对轨迹内错误位置和推理质量的对齐性对 LLMJ 批判进行分层，可作为校准、改进或训练用于智能体的 LLMJ 的宝贵数据。
与已有工作不同的是，本文的独特切入角度是首次提供对过程级 LLMJ 批判的人类元评估，而不仅仅是最终判断。现有工作如 JudgeBench、RewardBench 主要关注元评估最终判断（分数/偏好），而 Counsel 聚焦于批判本身的两个维度：错误定位的准确性和推理解释的质量。这种三维标注方案（完全正确、正确位置但推理差、不应标记）使得可以测量和改进评判的精确性和诊断价值。此外，Counsel 使用开放权重模型生成，并采用宽松许可供广泛社区使用，这与许多使用专有模型的数据集形成对比。
核心方法
方法整体思路是构建一个完整的数据集生成和评估流程，包含四个阶段：智能体轨迹生成、评判生成、人类元评估和质量分析。直觉上是让不同的智能体在真实的任务环境中失败，然后用不同的评判模型评估这些失败，最后由人类专家评估评判是否正确。技术路线是选择两个具有代表性的智能体环境（客户支持和数据科学），使用开放权重的智能体模型生成轨迹，用多个开放权重的评判模型进行步骤级评判，然后由经验丰富的标注者进行元评估。这种方法确保了数据的多样性、可重复性和社区可用性。
核心创新点在于首次对过程级 LLMJ 批判进行系统的人类元评估，将评判质量分解为两个独立维度：错误定位准确性和推理解释质量。这与以往只关注最终判断正确性的元评估方法有本质区别。另一个关键创新是使用开放权重模型进行轨迹生成和评判，并采用宽松许可证发布，使得数据集可以广泛用于研究和训练。此外，数据集设计上只评估至少被一个评判模型标记错误的轨迹，这优先考虑了评判的精确性而非召回率，减少了标注负担并提高了元评估的针对性。
方法步骤详情
方法步骤包括：1）智能体轨迹生成，在 τ-bench 和 DA-Code 环境中使用 GPT-OSS-20B 和 Qwen3-235B 智能体模型执行任务，记录完整轨迹。对于 τ-bench，使用标准的 ToolCallingAgent 和 Qwen3-235B-A22B-Instruct-2507 作为模拟用户模型。2）评判生成，每个模型调用步骤由 LLM-as-a-judge 独立评估，评判者接收与智能体相同的轨迹信息（包括可用的工具）和智能体在该步骤的输出，但无法访问未来信息。评判者提供推理、批判和二进制错误指示器。3）人类标注，三名专业数据科学标注者使用专有界面评估评判者输出，标注者可以看到完整轨迹（包括过去和未来的评判步骤输出）并标记每个标记的步骤为完全正确、正确位置但推理差或不应标记，可选择添加评论。4）质量保证，初始 15 条轨迹进行三重标注以计算标注间一致性，剩余轨迹随机分配给标注者，通过定期审查确保一致性。
技术新颖性
技术新颖性体现在多个方面：首先，首次提供对过程级 LLMJ 批判的大规模人类元评估，包含 1,131 个人工标注的评判质量标签。其次，设计了一个统一的三维标注方案，联合评估错误定位和批判正确性，这在实践中有意义因为错误位置但推理好不是一个有意义的类别。第三，系统性地改变了评判者行为，沿模型家族和推理努力两个中心轴引入变化，包括相同家族和跨家族评判-智能体配对以分析自我偏好偏差。第四，数据集使用开放权重模型并采用宽松许可证发布，包括使用 Together AI 的推理端点进行所有评判查询和结构化输出以获得更大的模式一致性。
实验结果
核心发现包括：评判准确性因智能体领域而异。在 DA-Code 上，Qwen3 的批判精确性为 43%，在 τ-bench 零售上为 63%（智能体模型的微观平均）。另一方面，GPT-OSS-120B:high 在 DA-Code 上达到 60% 的批判精确性，在 τ-bench 零售上为 58%，表明不同模型的批判精确性根据环境提出的具体挑战而变化。更高的推理努力提高批判质量。GPT-OSS-120B:high 在两个基准上生成的推理差或不应标记评估都少于其低推理对应版本，表明批判质量确实受益于增加的推理计算。在 τ-bench 上，GPT-OSS-120B 作为评判者比 Qwen3 更严格。对于自我偏好偏差，通过将评判输出分类为相同模型家族或不同模型家族进行分析，图 7 的结果没有显示任何评判者的显著自我偏好偏差（p 值均大于显著性阈值）。标注者达到高标注间一致性（α ≈ 0.78），表明元评估任务的高可靠性。最强的评判在位置上达到约 88% 的一致性，在推理上约 65%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| τ-bench 零售任务评判精确性 | 批判精确性（完全正确比例） | GPT-OSS-120B:high 58%, GPT-OSS-120B:low 58%, Qwen3 63% | 无直接基线，首次提供过程级评判质量评估 | Qwen3 在 τ-bench 上表现最好，达到 63% 精确性 |
| DA-Code 评判精确性 | 批判精确性（完全正确比例） | GPT-OSS-120B:high 60%, GPT-OSS-120B:low 53%, Qwen3 43% | 无直接基线 | GPT-OSS-120B:high 在 DA-Code 上表现最好，达到 60% 精确性 |
| 推理努力对批判质量的影响 | 错误标记率（不应标记比例） | GPT-OSS-120B:low 更高，GPT-OSS-120B:high 更低 | 无直接基线 | 高推理设置减少不应标记和推理差的评判 |
| 人类标注者一致性 | Krippendorff's α | 0.78 | 通常 α > 0.67 表示可接受一致性 | 达到实质一致性水平 |
局限与改进
作者承认的局限性包括：Counsel 专注于评判者识别错误时的批判质量，但未关注评判者在何处未提出问题。因此，数据集支持测量和改进评判的精确性及其标记内容时的批判质量，但不支持错误定位的召回率。只测试了两个智能体环境和模型家族，这限制了数据集可能泛化到其他不同智能体领域的程度。论文主要专注于构建和表征数据集并概述其预期用途，没有系统研究下游应用。自己的观察包括：数据集设计优先考虑精确性而非召回率，因为只评估至少被一个评判模型标记错误的轨迹，这意味着无法直接比较不同评判模型的召回率。此外，虽然标注者达到高一致性，但标注时间较长（τ-bench 约 20 分钟/轨迹，DA-Code 约 30 分钟/轨迹），这限制了数据集的可扩展性。最后，虽然使用开放权重模型和宽松许可证，但具体的提示工程细节和推理参数可能不完全公开，这可能影响完全复现。
独立分析的弱点
独立分析的弱点包括：召回率测量困难。由于只评估至少被一个评判模型标记错误的轨迹，无法直接测量不同评判模型的召回率（即实际错误的检测率）。建议未来工作可以包含人工标注的所有错误（包括评判模型未标记的），以同时评估精确性和召回率。任务和模型多样性有限。只覆盖了两个智能体环境（客户支持和数据科学）和两个模型家族（GPT 和 Qwen），可能无法泛化到其他领域（如医疗、法律、教育）或其他模型架构。建议扩展到更多领域和模型类型。标注成本高。每个轨迹的标注时间长达 20-30 分钟，限制了数据集规模。建议开发半自动化标注工具或主动学习方法来减少标注负担。评判者提示设计影响泛化。论文中使用的特定提示可能偏向某些错误类型或风格，建议研究提示设计对评判质量的影响。
未来方向
作者提出的未来研究方向包括：系统研究下游应用，探索如何使用元判断作为学习信号来改进评判者行为。开发自动元评判模型，可以评分、排序或过滤评判批判——选择更高质量的评估，过滤虚假标记，并校准严格性。探索 Counsel 数据集用于训练和改进评判者、训练元评判者、以及作为 few-shot 示例来塑造评判者输出。附录中的初步实验表明，使用完全正确的反馈作为 in-context 示例可以显著提高评判质量（p = 0.0078）。基于成果可延伸的方向包括：研究其他智能体环境（如多智能体系统、长期规划任务）中的评判质量。探索评判质量如何影响智能体训练和部署，例如使用质量更高的评判作为奖励信号。研究评判者偏差的来源和缓解方法，除了自我偏好偏差外，还可能包括长度偏差、位置偏差等。开发自动化的质量指标来近似人工元评估，以替代或补充人工标注。
复现评估
复现评估：Counsel 数据集使用开放权重模型生成，并采用宽松许可证发布，可在 HuggingFace 上获取（huggingface.co/datasets/AtlaAI/counsel）。论文详细描述了环境配置、模型选择、提示设计和标注流程，但部分细节可能需要联系作者获取。智能体轨迹和评判生成使用 Together AI 的推理端点，这需要相应的 API 访问权限。人类标注界面和流程是专有的，可能无法直接复现标注过程。数据集规模包括 225 条唯一轨迹和 1,131 个人工标注的评判质量标签，这是一个中等规模的数据集。算力需求取决于使用的模型，原始实验可能需要大量计算资源，但研究者可以使用较小的模型或有限的轨迹进行部分复现。总体而言，数据集本身是开源的，但完全复现生成过程可能需要一些专有资源或联系作者。
论文图表