← 返回 2026-06-05

全场景自动基准测试构建智能体 Benchmark Everything Everywhere All at Once

Shiyun Xiong, Dongming Wu, Peiwen Sun, Yuang Ai, Bokang Yang, Wencheng Han, Xiao-Hui Li, Xiangyu Yue 📅 2026-06-04 👍 4 2026-07-13 08:36
基准测试构建 多智能体系统 多模态理解 大语言模型评估 自动化测试生成
arXiv HuggingFace PDF

首个全自动化的基准测试构建系统，可根据用户需求生成高质量、多模态的评估基准

前置知识

LLM-as-a-Judge

使用大语言模型作为评估者来评判其他模型输出的方法。这种评估方式通过精心设计的提示词，让LLM根据预定义的标准（如正确性、相关性、格式规范等）对模型回答进行打分或排名。在本文中，LLM-as-a-Judge被用于评估生成基准测试的质量，包括用户意图对齐、问题-答案一致性、上下文-问题对应性等多个维度。

论文使用LLM-as-a-Judge作为主要评估方法之一来验证Benchmark Agent生成基准测试的质量，理解这个概念对于评估方法的可信度和局限性至关重要。

多智能体协作系统

将复杂任务分解为多个子任务，由具有不同职责的专门智能体协同完成的系统架构。每个智能体专注于特定的能力或任务阶段，通过标准化的接口和协议进行通信和协作。在Benchmark Agent中，Design Agent负责任务分解，Grounding Agent验证数据可行性，Allocation Agent进行资源分配，它们共同完成基准测试规划。

这是本文提出的Benchmark Agent的核心技术架构，理解多智能体协作机制对于把握整个系统的工作原理和技术创新至关重要。

基准测试饱和度

指评估基准测试在发布后不久，最先进的模型性能迅速达到或接近上限，导致该基准测试失去区分不同模型能力差异的能力。这种现象通常由模型快速进步和测试集规模有限导致。论文通过Qwen和Qwen-VL模型系列的统计分析显示，多个基准测试的准确率在短时间内就超过了80%，验证了这一问题的普遍存在。

这是论文试图解决的核心问题之一，理解基准测试饱和度现象有助于认识到为什么需要快速、灵活的基准测试更新机制。

编排-执行机制

一种将高层计划分解为可执行动作序列的模式。编排阶段根据当前状态和全局计划确定下一步操作，包括选择执行器、操作对象和输入输出参数；执行阶段则实际运行选定的操作。这种机制允许系统在执行过程中根据中间结果动态调整后续操作，提高了灵活性和鲁棒性。论文的Benchmark Executor正是使用这种机制来实现样本级的基准测试生成。

这是Benchmark Executor的核心工作方式，理解编排-执行机制有助于把握系统如何将抽象的基准测试规范转化为具体的评估样本。

研究动机

现有的基准测试构建流程主要依赖人工，这种模式在任务设计、数据收集和清理、手动标注以及人类偏好对齐方面需要大量投入。更严重的是，这些流程通常是针对特定基准测试定制的，每个新基准测试几乎都需要从头构建，导致重复的手工工作和缓慢的迭代周期。这种对人工劳动的严重依赖以及基准测试特定的流程引发了人们对当前评估实践长期可持续性的担忧。同时，现有基准测试在发布后很快达到性能饱和，论文通过对开源Qwen和Qwen-VL模型系列的统计分析显示，模型性能在短时间内迅速提升，准确率超过80%，这给最先进方法之间的有意义的区分只留下了有限的空间。

本文的目标是本文的核心目标是创建一个全自动化的智能体系统，能够根据用户指定的评估需求自动设计、调整和管理基准测试。该系统需要将基准测试构成长期任务转化为可控的、标准化的流程，从用户需求分析和子任务设计到数据标注和质量控制，实现端到端的自动化。更重要的是，系统需要能够快速响应新兴模型、新领域和变化的用户需求，使基准测试构建过程不再是一次性的，而是一个持续和适应性的评估循环。

与已有工作不同的是，以往的研究主要集中在使用LLM智能体在固定和预定义的基准测试上执行评估，或者探索智能体为基础的数据合成用于大规模训练数据生成。本文的独特切入点在于探索如何使用智能体动态地构建和调整基准测试本身，而不仅仅是在静态基准测试设置上执行评估。这是第一个完全自主的基于智能体的框架，专门针对基准测试构建和定制化设计，克服了现有基准测试构建模式迭代缓慢和劳动密集的局限性。

核心方法

Benchmark Agent采用受大脑-小脑层级架构启发的双组件设计。第一部分是Benchmark Planner，作为高级决策模块，将人类评估需求转化为具体的、可行的基准测试规范，涵盖子任务划分、数据配置和整体转换方案。第二部分是Benchmark Executor，作为操作模块，将制定的规范转化为标准化的、可运行的基准测试。这两个模块紧密耦合，使Benchmark Agent能够建立一个迭代的、自一致的工作流程，始终连接高级评估查询与实际数据条件和实际执行约束。整体流程从用户需求开始，通过Design Agent分解子任务，Grounding Agent验证数据可行性，Allocation Agent确定配额分配，最后由Benchmark Executor执行工具转换和质量控制，生成最终的评估基准测试。

Benchmark Agent的核心创新在于将基准测试构建这个长期且复杂的任务分解为由专门智能体负责的阶段，每个阶段都有明确的输入输出和质量控制标准。与直接使用LLM生成基准测试的方法相比，这种多智能体协作系统能够更好地保留用户意图并控制预期的评估信号。特别重要的是引入了Transformability验证和Plan评分机制，通过评估转换计划与子任务评估意图的对齐度、转换过程的鲁棒性以及底层评估信号的保持性，确保每个子任务至少有一个可行的数据-转换基础。这种设计-落地-分配的闭环反馈机制是Benchmark Agent区别于现有方法的本质特征。

方法步骤详情

整个方法分为两个主要阶段。第一阶段是Benchmark Planner，包含三个智能体的协作：Design Agent接收用户需求R，使用Proposer工具头脑风暴候选子任务集S，通过Revising工具细化子任务表述，通过Discarding操作消除边际贡献不明确的子任务；Grounding Agent为每个子任务si验证可行性，首先通过Preference工具生成候选数据集偏好，使用Searching工具进行数据集搜索，然后通过Transformability工具构建候选转换计划，最后通过Score-and-Filter模块评估并修剪计划，仅保留满足所有准则的方案；Allocation Agent通过Allocation工具提出初始分配方案，当可行性被违反时使用Diagnose工具识别结构性原因，通过Adjustment工具在已落地候选空间内修订分配，直到找到可行分配或无可行的调整。第二阶段是Benchmark Executor，采用编排-执行机制：编排阶段，每个步骤由LLM确定下一个转换动作，通过专门化数据集级计划到当前样本状态来指导执行；执行阶段，LLM基于工具直接应用，非LLM工具使用规划期间产生的显式实例化参数执行。整个过程通过质量和配额控制持续验证生成的样本，确保语义有效性和结构符合性。

技术新颖性

Benchmark Agent的技术新颖性体现在多个方面。首先，它是第一个完全自主的基于智能体的基准测试构建框架，将整个构成长期任务转化为可控的自动化流程。其次，引入了Transformability验证和Plan评分的多维度评估机制，通过评估转换计划的意图对齐度、过程鲁棒性和信号保持性来确保质量。第三，采用了编排-执行机制实现样本级的灵活规划，允许根据具体样本状态进行局部调整。第四，设计了严格的验证机制和质量配额控制，包括语义有效性验证、结构符合性检查和验证指导的补充过程。最后，系统支持多模态基准测试的构建，涵盖文本、音频、图像和它们的组合，这是现有方法难以实现的。这些技术创新共同使Benchmark Agent能够在最小人工参与的情况下生成高质量的基准测试样本。

Our Benchmark Agent, as the first fully autonomous benchmark building system, can efficiently produce high-quality benchmarks across diverse modalities, tasks, and domains to meet user-specific requirements. It will offer rapidly evolving benchmarks to contribute to the community.
Figure 1: Our Benchmark Agent, as the first fully autonomous benchmark building system, can efficiently produce high-quality benchmarks across diverse modalities, tasks, and domains to meet user-specific requirements. It will offer rapidly evolving benchmarks to contribute to the community.
The overall pipeline of Benchmark Agent. It consists of two main components.
Figure 3: The overall pipeline of Benchmark Agent. It consists of two main components.

实验结果

实验结果表明Benchmark Agent在多个维度上表现出色。人工评估显示生成的基准测试接受率约为96-98%，其中Multi-Perspective (T)达到97.65%，Multilingual (A)达到98.47%，Omni-Understanding (O)达到96.09%，Art-Reasoning (I)达到98.65%，Math-Reasoning (I)达到96.62%。LLM-as-Judge评估显示User-Intention Alignment (UIA)分数在68.54到81.48之间，Multi-Perspective (T)为76.77，Omni-Understanding (O)为68.54，Art-Reasoning (I)为74.06。模型一致性检查显示Qwen3.5模型在Multi-Perspective (T)上从2B到27B表现一致的扩展趋势，准确率从71.06到87.23；在Art-Reasoning (I)上从40.96到56.38；在Math-Reasoning (I)上从45.26到54.49。成本分析显示，人工标注需要每样本5-6分钟，而Benchmark Agent仅需每样本0.2-0.3分钟，大幅降低了标注成本。消融实验显示不同组件对不同质量维度的贡献不同，Design Agent对具有多个评估方面的广泛需求最重要，TC+Scoring对复杂多模态转换至关重要，SLP有助于适应全局计划到特定样本证据，Verification通过过滤模糊或弱落地样本控制可靠性。

Quality evaluation of different benchmarks generated by our Benchmark Agent. We report human acceptance rates and LLM-as-Judge scores across multiple quality dimensions. We also report the consistency performance of Qwen3.5-series models on each benchmark.
Table 1: Quality evaluation of different benchmarks generated by our Benchmark Agent. We report human acceptance rates and LLM-as-Judge scores across multiple quality dimensions. We also report the consistency performance of Qwen3.5-series models on each benchmark.
Quality evaluation of benchmarks generated by direct LLMs. We directly prompt different LLMs to construct benchmarks for each evaluation domain, and report LLM-as-Judge scores.
Table 2: Quality evaluation of benchmarks generated by direct LLMs. We directly prompt different LLMs to construct benchmarks for each evaluation domain, and report LLM-as-Judge scores.
Effect of different base models in Benchmark Agent. We replace the base model used by Benchmark Agent with different open-source and closed-source LLMs, and evaluate them using LLM-as-Judge scores.
Table 3: Effect of different base models in Benchmark Agent. We replace the base model used by Benchmark Agent with different open-source and closed-source LLMs, and evaluate them using LLM-as-Judge scores.
Ablation study on different components of Benchmark Agent. We remove each key component from Benchmark Agent and evaluate the resulting benchmarks.
Table 4: Ablation study on different components of Benchmark Agent. We remove each key component from Benchmark Agent and evaluate the resulting benchmarks.
Cost analysis comparison between human and Benchmark Agent.
Table 5: Cost analysis comparison between human and Benchmark Agent.
Performance comparison of different MLLMs on image–text benchmarks generated by our Benchmark Agent.
Table 6: Performance comparison of different MLLMs on image–text benchmarks generated by our Benchmark Agent.
Failure cases observed during model evaluation. Human verification confirms that the annotations for these samples are correct, and the errors arise from model predictions.
Figure 4: Failure cases observed during model evaluation. Human verification confirms that the annotations for these samples are correct, and the errors arise from model predictions.
查看结构化数据
任务指标本文基线提升
Multi-Perspective (T) - 多视角文本理解 Human Acceptance Rate / LLM-as-Judge Overall 97.65% / 72.55 Direct GPT-5.4: 54.31; Direct Claude-Sonnet-4-6: 59.78 相比直接LLM生成方法提升约13-18个百分点
Omni-Understanding (O) - 全模态理解 Human Acceptance Rate / LLM-as-Judge Overall 96.09% / 67.98 Direct GPT-5.4: 未报告 在UIA维度相比直接生成方法显著提升
Art-Reasoning (I) - 艺术推理 Human Acceptance Rate / LLM-as-Judge Overall 98.65% / 72.19 Direct GPT-5.4: 41.86; Direct Claude-Sonnet-4-6: 49.49 相比直接LLM生成方法提升约22-30个百分点
模型区分能力 Qwen3.5模型扩展一致性 Multi-Perspective: 71.06%→87.23%; Art-Reasoning: 40.96%→56.38% 人工构建基准通常保持一致的扩展趋势 生成的基准测试保持了良好的模型区分能力
成本效率 每样本标注时间 0.2-0.3分钟/样本 人工标注: 5-6分钟/样本 效率提升约20倍

局限与改进

作者承认了一些局限性。首先，CQC（Context-Question Correspondence）的变化较大，TSD（Target Signal Dependency）和SSC（Skill-Specific Challenge）分数相对较低，表明证据落地、目标信号依赖性和难度控制仍然具有挑战性。其次，论文主要使用GPT-5.1作为Benchmark Agent的骨干模型，虽然实验显示其他模型也能作为骨干，但不同模型的能力差异可能影响生成基准测试的质量。第三，系统目前依赖于预定义的工具集和数据集池，这可能限制其在某些新兴领域或数据稀缺场景下的适用性。此外，我观察到论文主要关注生成的基准测试质量，但对于实际使用这些基准测试评估大量模型的长期稳定性和可靠性分析相对较少。最后，虽然系统支持多模态基准测试构建，但对于需要复杂跨模态推理的任务，生成的基准测试质量可能仍有提升空间。

独立分析的弱点

Benchmark Agent在几个方面存在可改进的弱点。首先，在证据落地方面表现不稳定，CQC指标变化较大，这可能导致某些基准测试样本的上下文和问题之间的对应关系不够准确。改进方向可以包括引入更严格的多模态对齐验证机制，或者增加专门负责跨模态一致性的验证智能体。其次，目标信号依赖性和技能特异性挑战相对较弱，TSD和SSC分数较低，这可能意味着生成的基准测试在某些情况下不够具有挑战性，或者没有充分测试预期的核心能力。改进方向可以包括引入难度自适应机制，根据模型表现动态调整基准测试的难度，或者增加专门负责难度设计的智能体。第三，系统目前主要使用LLM作为核心驱动，对于需要确定性和可重复性的任务可能不够稳定。改进方向可以包括增强非LLM工具的功能和覆盖范围，减少对LLM的过度依赖。第四，成本分析虽然显示了效率提升，但没有考虑API调用成本，在实际大规模部署时这可能成为重要因素。改进方向可以包括优化LLM调用策略，使用缓存机制减少重复调用，或者探索更高效的本地模型替代方案。

未来方向

作者提出了几个有前景的未来研究方向。首先，可以进一步扩展工具池和数据集池，特别是在新兴领域和数据稀缺场景下的支持，这将使Benchmark Agent能够构建更广泛类型的基准测试。其次，可以探索更精细的质量控制机制，特别是针对证据落地、目标信号依赖性和难度控制这些挑战性维度。第三，可以研究基准测试的动态更新机制，使系统能够根据模型性能的变化自动调整基准测试的内容和难度，实现真正的持续评估。基于论文成果，还可以延伸出多个研究方向：一是探索基准测试生成的个性化机制，根据不同用户或应用场景的需求自动调整评估策略；二是研究基准测试的可解释性，让用户能够理解为什么系统选择了特定的子任务、数据集和转换计划；三是开发基准测试生成的协同机制，允许多个用户共同参与和定制基准测试构建过程；四是探索跨语言和跨文化的基准测试生成，支持多语言和多文化场景的评估需求；五是研究基准测试生成的安全性，防止生成有偏见、有害或不合适的评估内容。

复现评估

论文的复现评估情况相对良好。作者承诺代码和演示页面将公开发布，这为复现提供了基础。实验使用General-Bench作为数据集池，这是一个公开可用的数据集，使得数据获取相对容易。骨干模型主要使用GPT-5.1，虽然这是一个闭源模型，但论文的消融实验显示其他模型包括开源的Qwen3.5-397B-A17B也能作为骨干，这意味着研究者可以使用开源模型进行复现。算力需求方面，由于系统主要依赖LLM API调用，本地计算需求相对较低，但API调用成本可能较高。复现难度中等，主要挑战在于需要配置适当的API访问权限、设置数据集池以及理解复杂的多智能体协作机制。论文提供了详细的实验设置和评估指标，包括Human Evaluation、LLM-as-Judge和Consistency Checks三种评估方法，这为复现提供了清晰的评估标准。总的来说，只要具备API访问权限和基本的Python编程能力，研究者应该能够复现论文的主要结果。

论文图表

Benchmark performance saturation on Qwen.
Figure 2: Benchmark performance saturation on Qwen.

这张折线图展示了多个基准测试在Qwen和Qwen-VL模型系列上的性能饱和趋势。横轴是时间，从2023年9月到2026年4月；纵轴是分数（Score）。图中包含10个基准测试的性能曲线：MMLU、AI2D、MMLU-Pro、MMMU、GSM8K、MMMU-Pro、MATH、MathVision、Arena-Hard和OSWorld。所有曲线都显示出类似的趋势：模型性能在短时间内迅速提升，准确率很快超过80%，之后增长放缓，趋于饱和。例如，某些基准测试在2024年初的准确率还在40-60%左右，但到2024年底就达到了80%以上，到2026年增长已经非常缓慢。

这张图对理解论文的动机至关重要，它用具体的统计数据量化了基准测试饱和度问题。通过展示10个不同基准测试在Qwen模型系列上的性能演变，这张图清楚地说明了为什么现有基准测试很快失去区分能力：因为模型性能迅速接近上限，留给区分不同模型的空间有限。这个观察为论文提出Benchmark Agent的必要性提供了强有力的证据支持，也解释了为什么需要快速、灵活的基准测试更新机制。