Agent-as-a-Judge 综述：从 LLM-as-a-Judge 到智能体评估的演进 Agent-as-a-Judge
本文首次系统综述 Agent-as-a-Judge 范式，通过规划、工具验证、多智能体协作和记忆机制提升 AI 评估的鲁棒性和可验证性。
前置知识
LLM-as-a-Judge
LLM-as-a-Judge 是一种利用大语言模型作为评估器的范式，通过 LLM 的理解能力对 AI 生成内容进行评估。它通过直接的单次推理（single-pass inference）生成评分或判断，常用于模型对齐评估、强化学习的奖励信号生成和合成数据的质量筛选。典型方法包括 MT-Bench、G-Eval、Prometheus 等，它们主要依赖模型内部知识，不涉及外部工具或验证机制。
LLM-as-a-Judge 是当前 AI 评估的主流方法，但它的局限性（固有偏见、单次推理浅层、无法验证）正是 Agent-as-a-Judge 要解决的问题。理解 LLM-as-a-Judge 的局限有助于理解 Agent-as-a-Judge 的设计动机和核心改进。
多智能体协作（Multi-Agent Collaboration）
多智能体协作指多个具有不同角色或能力的智能体通过交互来共同完成任务。在 Agent-as-a-Judge 语境中，通常包括两种拓扑：Collective Consensus（集体共识）通过辩论或协商达成一致判断，Task Decomposition（任务分解）将评估任务分配给不同专家智能体分别处理。例如 ChatEval 采用法庭辩论机制，HiMATE 采用树状层次结构组织智能体。
多智能体协作是 Agent-as-a-Judge 的核心方法论之一，它通过分工协作减轻单个 LLM 的认知负荷，通过观点多样性中和固有偏见。理解这个概念有助于掌握 Agent-as-a-Judge 如何实现比单一 LLM judge 更鲁棒的评估。
工具增强推理（Tool-Augmented Reasoning）
工具增强推理是指 LLM 通过调用外部工具（如搜索引擎、代码解释器、定理证明器等）来扩展其推理能力。在 Agent-as-a-Judge 中，工具用于两个目的：Evidence Collection（证据收集）获取额外信息支持评估，Correctness Verification（正确性验证）通过显式检查验证评估对象输出的正确性。例如 HERMES 使用定理证明器验证数学推理，VerifiAgent 使用 Python 解释器验证计算结果。
工具使用是将评估从"直觉判断"转向"可执行验证"的关键技术。理解工具增强推理有助于理解 Agent-as-a-Judge 如何实现可验证、客观的评估，而不是仅依赖模型内部的语言模式。
Reinforcement Learning from AI Feedback (RLAIF)
RLAIF 是一种模型训练范式，使用 AI 模型生成的反馈替代人工反馈来训练强化学习策略。在评估语境中，Agent-as-a-Judge 可以作为 AI 反馈的来源，通过工具验证增强反馈的可靠性。例如 Agentic Reward Modeling 将偏好信号与可验证的正确性信号结合，提供更可靠的奖励信号。
RLAIF 是 Agent-as-a-Judge 的重要应用场景之一。理解这个概念有助于认识 Agent-as-a-Judge 不仅用于静态评估，还可以作为动态优化循环中的反馈源。
研究动机
传统的 LLM-as-a-Judge 范式在应对日益复杂、专业化、多步骤的评估对象时暴露出三个关键问题。首先，单次推理的 LLM judge 容易受到固有参数偏见的干扰，如倾向于偏好冗长输出或与自己输出模式相似的内容，导致在评估偏离训练分布的高复杂度响应时失去中立性。例如，研究发现 LLM 评估器存在位置偏见和长度偏见，会不自觉地给靠后或更长的答案更高分数。其次，朴素 LLM judge 是被动观察者，无法对真实世界观察做出反应，仅基于语言模式判断答案"看起来是否正确"，而不进行验证或证据收集，导致在专业领域出现"幻觉式正确判断"——即把错误的但语言上看似合理的答案判断为正确。最后，在需要多维度评估标准的任务中，传统 LLM judge 在单次推理中试图全面评估所有维度时会出现认知过载，只能给出粗粒度的分数而无法反映具体的细微差别。
本文的目标是本文的核心目标是系统梳理 Agent-as-a-Judge 范式的发展脉络，建立统一的分类框架来指导该领域的理解和研究。具体而言，本文试图回答三个问题：Agent-as-a-Judge 相比 LLM-as-a-Judge 的关键演进维度是什么？核心方法论可以如何组织？这些方法在通用领域和专业领域中有哪些典型应用？通过回答这些问题，本文希望为研究人员提供清晰的路线图，帮助他们理解如何利用规划、工具增强验证、多智能体协作和持久记忆等能力构建更鲁棒、可验证、细致的评估系统。
与已有工作不同的是，本文的独特切入角度在于"演进视角"而非静态分类。作者没有简单罗列 Agent-as-a-Judge 的方法，而是从演进轨迹出发，提出了三个发展阶段：Procedural Agent-as-a-Judge（程序化）将单体推理分解为预定义的工作流或固定子智能体的结构化讨论；Reactive Agent-as-a-Judge（反应式）通过基于中间反馈的路由执行路径、调用外部工具或子智能体实现自适应决策；Self-Evolving Agent-as-a-Judge（自演进）具有高度自主性，能够在运行过程中完善内部组件，如动态合成评估标准、更新记忆中的学习经验。这种演进视角揭示了 Agent-as-a-Judge 从"更复杂的提示工程"向"真正自主智能体"的渐进式转变，为理解该领域的范式迁移提供了更深刻的理论框架。
核心方法
Agent-as-a-Judge 的整体思路是通过增强 LLM 的自主能力，从被动单次推理转向主动多步评估。具体技术路线包括：1）通过多智能体协作分散认知负荷，不同角色智能体分别关注评估的不同维度或扮演不同观点，通过辩论或协商形成最终判断；2）通过规划能力将高层评估目标分解为可执行的子任务，并基于中间分析动态调整评估轨迹；3）通过工具集成将评估锚定在外部可观察和可验证的信号上，如执行代码检查逻辑正确性、搜索实时文档验证事实主张；4）通过记忆机制在评估步骤之间保留信息，支持多步推理、一致判断和历史结果的复用。这些能力共同使 Agent-as-a-Judge 能够应对复杂、多步骤、专业化的评估场景，提供比传统 LLM judge 更鲁棒、更可验证、更细致的判断。
Agent-as-a-Judge 的核心创新在于从"直觉判断"到"可执行验证"的转变。传统 LLM-as-a-Judge 依赖模型内部的语言模式判断答案，本质上是基于"这个答案看起来是否正确"的直觉；而 Agent-as-a-Judge 通过工具调用、多步规划和外部观察，将判断转化为"我能验证这个答案是否正确"的可执行过程。这种转变体现为三个演进维度：从单体推理到分布式协作的鲁棒性演进，通过多智能体分散偏见和认知负荷；从静态直觉到动态执行的验证性演进，通过工具调用将评估锚定在客观可验证的信号上；从全局评分到细粒度推理的细致性演进，通过规划和记忆实现对评估对象各组件的独立检查。这三个演进维度共同定义了 Agent-as-a-Judge 与已有方法的本质区别。
方法步骤详情
Agent-as-a-Judge 的评估流程通常包含以下步骤。第一步，输入分析：评估 agent 接收评估对象（待评估的响应、代码、多模态内容等）和评估上下文（任务描述、评估标准等），通过初步分析确定评估的复杂度和所需资源。第二步，评估规划：对于复杂任务，agent 可能使用规划能力将高层评估目标分解为子任务，例如对于代码生成任务，规划为语法检查、执行测试、逻辑分析三个子任务；对于事实核查任务，规划为识别可验证声明、搜索证据、验证一致性三个步骤。第三步，工具调用与证据收集：根据规划结果，agent 调用相应的外部工具收集证据，如使用代码解释器执行代码、使用搜索引擎检索事实来源、使用视觉模型检查图像质量。工具调用的输出通常包括执行结果、文档片段、错误信息等，这些证据被保存在记忆中用于后续推理。第四步，多步推理与判断：agent 基于收集的证据进行多步推理，可能涉及多个子 agent 之间的协作。例如在多智能体协作场景中，不同角色的 agent 分别评估不同维度，然后通过辩论或协商形成共识。在多智能体辩论场景中，agent 之间可能进行多轮交互，每一轮基于前一轮的论点进行反驳或补充，最终由协调者 agent 综合各方观点形成最终判断。第五步，输出与反馈：agent 输出结构化的评估结果，可能包括总体分数、维度分数、推理链路、证据引用等。在部分系统中，评估结果还会被用于更新记忆或调整后续的评估策略，形成持续优化的闭环。
技术新颖性
Agent-as-a-Judge 的技术新颖性体现在三个层面。在方法论层面，它将评估从"模式匹配"任务转化为"推理验证"任务。传统 LLM-as-a-Judge 本质上是在学习人类评估的语言模式，而 Agent-as-a-Judge 通过工具调用和规划实现了真实的推理验证，这是范式层面的创新。在架构层面，它提出了评估智能体的自主能力体系，包括规划（分解目标、动态调整）、工具使用（证据收集、正确性验证）、记忆（状态跟踪、个性化上下文）和多智能体协作（集体共识、任务分解）。这套能力体系为设计评估智能体提供了系统性的框架。在应用层面，它将 AI 评估从通用领域扩展到专业领域，如医学、法律、金融、教育等。这些领域对评估的可靠性、可解释性和合规性有更高要求，Agent-as-a-Judge 通过工具验证和多智能体模拟（如模拟法庭辩论、医疗会诊）满足了这些要求，这是应用层面的突破。
实验结果
本文作为综述性论文，没有提出具体的实验结果，但通过对现有研究的系统梳理，得出了一系列核心发现。首先，Agent-as-a-Judge 的发展呈现出明显的演进轨迹：从 Procedural 到 Reactive 再到 Self-Evolving。早期工作（如 ChatEval、CAFES）主要遵循预定义的工作流程，属于 Procedural 阶段；近期工作（如 Evaluation Agent、ARM-Thinker）开始根据中间反馈动态调整策略，进入 Reactive 阶段；最前沿的工作（如 EvalAgents）已经开始动态发现评估标准，标志着 Self-Evolving 阶段的到来。其次，Agent-as-a-Judge 在多个领域展现出优于传统 LLM-as-a-Judge 的表现：在数学推理领域，HERMES 通过形式化定理证明将推理锚定在可验证的步骤上，显著减少了长推理链中的漂移；在代码生成领域，CodeVisionary 和 Agent-as-a-Judge 通过检查执行痕迹和运行测试，评估比仅依赖静态分析的 judge 更准确；在事实核查领域，FACT-AUDIT 和 VerifiAgent 通过证据收集和程序化验证，在证据稀缺或细微不一致的案例中表现更好。最后，本文识别了 Agent-as-a-Judge 的四个关键挑战：计算成本高（训练和推理都需要更多资源）、延迟大（多步推理和工具调用增加延迟）、安全风险（工具调用扩大攻击面）、隐私问题（记忆机制可能泄露敏感信息）。这些发现为该领域的未来发展指明了方向。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 代码生成评估 | 评估准确率（与人类评估一致性） | Agent-as-a-Judge 通过执行痕迹检查和单元测试 | 传统 LLM-as-a-Judge 通过静态代码分析 | 在需要运行时验证的代码任务中显著提升一致性（论文引用 CodeVisionary 的实证结果） |
| 数学推理评估 | 长推理链中的漂移程度 | HERMES 通过形式化定理证明锚定中间步骤 | 传统 LLM-as-a-Judge 直接评估最终答案 | 显著减少长推导过程中的累积错误 |
| 事实核查 | 在低资源语言上的表现 | UrduFactCheck 通过多语言检索和证据增强 | 标准事实核查方法 | 在乌尔都语等低资源场景下更鲁棒 |
局限与改进
本文作为综述，其局限性主要体现在两个方面。一是领域共识尚处于早期阶段。作者坦诚指出，Agent-as-a-Judge 作为一个新兴范式，学术界尚未对其定义形成长期共识，很多工作虽然名为"agent"但主要依赖提示工程而非真正的自主性。这种不成熟的共识状态可能导致本文提出的分类框架随着领域发展而需要调整。二是包含的早期方法可能不符合严格的"智能体"标准。作者有意将一些基于固定角色扮演的提示工程框架纳入讨论，因为它们代表了从单体推理向动态分解和自演进系统的过渡。但这些方法在自主性、动态规划、工具使用等方面可能不符合当前社区对智能体的严格标准，这可能模糊了 LLM-as-a-Judge 和 Agent-as-a-Judge 的边界。
独立分析的弱点
独立来看，Agent-as-a-Judge 存在以下具体弱点，每个弱点都有改进方向。一是计算成本高，尤其是在需要长轨迹推理或复杂工具调用序列的场景。训练一个具有工具调用、长范围规划和自适应决策能力的评估 agent 成本高昂，监督微调往往不足以支持这些行为，而强化学习虽然能自然获取这些能力但成本更高。改进方向可以是开发更高效的训练算法或学习何时使用工具的策略以减少不必要的调用。二是推理延迟大，对实时或交互式应用（如在线评估、用户面向内容审核、强化学习循环）构成挑战。改进方向可以是并行化工具调用、开发早期终止机制以在收集足够证据时主动停止推理。三是安全风险扩大，工具增强的 judge 可能访问外部系统（搜索引擎、代码执行器、数据库），这扩大了提示注入、工具滥用或意外副作用的攻击面。改进方向可以是加强工具调用的安全约束、开发工具使用的行为审计机制。四是隐私风险，记忆机制可能存储中间状态、用户信息或历史交互数据，在涉及敏感数据的场景（医学、法律、教育）可能导致数据泄露或未经授权的用户属性推断。改进方向可以是设计隐私保护的记忆机制，如差分隐私或联邦学习框架下的个性化评估。
未来方向
作者提出了四个未来研究方向，同时也讨论了基于现有成果的可延伸方向。一是个性化：当前系统使用静态、一刀切的评估标准，未来应增强评估 agent 的自主性和适应性，特别是通过主动记忆管理而非被动检索历史，自主决定何时注册新偏好、更新演进标准或修剪过时反馈，将记忆转化为动态信念系统。二是泛化：当前系统依赖离线构建的预定义标准，限制了跨多样化或开放任务的能力。未来的 judge agent 应利用规划能力动态发现和调整评估标准，包括上下文感知的标准生成（通过分析响应的具体意图和复杂性合成评估标准）和自适应多粒度评分（根据任务难度动态调整标准颗粒度）。三是交互性：当前系统是被动的、单向的观察者，未来应演变为主动与环境、人类利益相关者交互的评估器，包括交互式环境反馈（动态调整评估轨迹）和人类协作校准（通过人机循环机制解决主观或模糊场景）。四是优化：当前方法主要依赖推理时工程，受限于冻结骨干网络的固定能力。未来应转向基于训练的优化，包括个体能力（通过强化学习内化复杂的智能体行为）和学习协调（在多智能体设置中训练联合目标以内在学习有效的通信和共识策略）。基于现有成果的可延伸方向包括将 Self-Evolving 阶段的方法论扩展到更多专业领域（如法律、金融的复杂评估任务），以及开发更高效的智能体训练算法以降低部署成本。
复现评估
本文作为综述论文本身不涉及实验复现，但讨论了该领域复现性相关的几个因素。开源情况：许多 Agent-as-a-Judge 方法已经开源，如 ChatEval、Evaluation Agent、HERMES 等，部分提供了代码和预训练模型。数据：通用领域的评估任务（如代码生成、事实核查）通常使用公开基准数据集，而专业领域的评估任务（如医学影像报告评估、法律判决预测）可能依赖专业数据集，这些数据集的获取和使用受到隐私和合规限制。算力：训练具有工具调用和规划能力的评估 agent 需要较大算力，尤其是使用强化学习时。推理成本也高于传统 LLM-as-a-Judge，因为涉及多步推理和工具调用。难度：复现 Agent-as-a-Judge 系统的难度取决于具体方法。基于提示工程的方法相对容易复现，而基于训练的方法（尤其是强化学习）可能需要大量算力和调参经验。工具集成部分可能需要访问外部 API（如搜索引擎、代码执行器），这可能引入依赖性和成本。总体而言，该领域的复现难度正在降低，随着更多开源工具和框架的出现，研究人员可以更容易地构建和实验 Agent-as-a-Judge 系统。
论文图表