PACE：一种智能体能力评估的代理方法 PACE: A Proxy for Agentic Capability Evaluation
用低成本非智能体基准预测昂贵智能体评估性能，成本降低100倍
前置知识
SVD（奇异值分解）
SVD将矩阵 $X$ 分解为 $U\Sigma V^\top$，其中 $U$ 和 $V$ 是正交矩阵，$\Sigma$ 是对角矩阵。在本文中，SVD用于发现源评估池的潜在几何结构，leverage score $h_i = \sum_c V_{c,i}^2$ 衡量每个实例对全局潜在结构的贡献。通过计算这些leverage scores，可以识别信息丰富的实例，这是一种经典的选择信息丰富列的方法。
本文用SVD leverage scores作为全局选择信号，需要理解SVD如何揭示矩阵的几何结构和信息重要性。
Bootstrap（自举法）
Bootstrap是一种统计重采样技术，通过有放回地从原始数据中抽样来创建多个重复样本。在本文中，作者对目标基准的实例进行bootstrap重采样，为每个模型生成 $B$ 个bootstrap重复的均值 $\bar{y}^{(b)}_m$。这样可以让回归模型对目标实例采样噪声更稳健，因为模型学习了目标均值采样分布，而不是对噪声过拟合。
智能体评估昂贵且样本少，目标均值是噪声估计，bootstrap帮助回归平均采样分布，提高泛化性能。
Spearman相关系数
Spearman相关系数是一种非参数相关性度量，基于变量的秩次而非原始值。公式为 $\rho = 1 - \frac{6\sum d_i^2}{n(n^2-1)}$，其中 $d_i$ 是两个变量的秩次差。在本文中，Spearman相关性用于衡量每个源实例得分与目标基准均值之间的秩一致性，即 $\rho_i = \text{Spearman}(X_{M_{train},i}, \bar{y}_{M_{train}})$。绝对值 $|\rho_i|$ 越大，说明该实例与目标任务越相关。
本文用Spearman相关性作为局部选择信号，衡量实例与目标任务的相关性，需要理解其含义和计算方式。
Lasso和Ridge回归
Lasso回归通过L1正则化实现特征选择，将不重要特征的系数压缩为零；Ridge回归通过L2正则化防止过拟合，但不会将系数完全置零。在本文实验中发现，由于 $|M_{train}| \ll |I|$（训练模型数远小于候选实例数），直接在源矩阵上拟合Lasso或Ridge会严重欠定和过拟合，因此作者解耦了选择和回归步骤，改用filter-based信号独立选择实例。
本文没有使用Lasso/Ridge而是设计了独立的筛选策略，需要理解这些传统方法在本文场景下的局限性。
研究动机
现有的智能体基准评估成本极高、耗时很长且需要复杂的基础设施。以SWE-Bench和GAIA为代表的新一代智能体基准，要求模型在长时域上运行、与环境或工具交互、从错误中恢复，这往往需要沙盒、浏览器、代码仓库或定制运行环境。单次评估可能花费数千美元，需要数小时的设置和执行时间。这些成本迫使研究人员减少评估频率、只报告有限子集的结果，使得严格的智能体评估 disproportionately 地只能由资源充足的团队获得。例如，根据论文数据，GAIA每个实例评估成本约0.38美元，SWE-Bench Verified每个实例约1.19美元，但这些基准各有数百个实例，完整评估成本非常高。
本文的目标是本文的具体目标是提出一个框架，通过选择一个精心挑选的非智能体基准实例子集，其聚合得分能够最好地预测目标智能体基准在多个模型上的性能。具体来说，给定一个固定预算 $C$ 个代理实例，PACE使用已知候选池和目标智能体基准得分的校准模型集，识别哪 $C$ 个实例对目标基准最具预测性。作者希望用不到1%的成本实现与完整智能体评估相当的预测质量，让开发者在模型开发、选择和路由过程中获得可靠的智能体性能估计，而无需完整智能体评估的开销。
与已有工作不同的是，本文的独特切入角度在于：不压缩单个目标基准，也不将智能体任务重新格式化为替代形式（如多选题），而是用从单独的候选池中选出的廉价评估实例子集来预测模型在目标智能体基准上的性能，且不修改目标基准的评分方式。这与此前的基准压缩和子集选择方法有本质区别，后者旨在降低单个目标基准内的成本。本文研究了模型在非智能体任务和智能体任务上的性能之间的预测联系，这是一个尚未被充分理解的问题。
核心方法
PACE框架由两个核心组件组成：一是回归模块，给定每个目标基准选定的源实例，构建噪声感知预测器；二是实例选择模块，通过两种互补策略Local和Global选择实例。整体思路是：从现有的非智能体基准池中提取候选实例，这些基准覆盖了智能体任务直觉上重要的技能，如指令遵循、工具调用、多模态理解等。然后通过校准模型集在候选池和目标智能体基准上的已知得分，识别出对目标基准最具预测性的实例。具体技术路线是：对源评分矩阵进行SVD分解获得几何结构信息，计算每个实例与目标的rank相关性，结合这两个信号选择实例，最后用bootstrap增强的回归进行预测。
核心创新点在于解耦了选择和回归，而不是像传统方法那样直接在源矩阵上拟合正则化线性模型。由于训练模型数远小于候选实例数（$|M_{train}| \ll |I|$），联合拟合会严重欠定和过拟合。PACE使用两种互补的filter-based信号独立选择实例：几何重要性（SVD leverage score）和目标相关性（rank correlation）。Global策略考虑两者的乘积 $\sigma_i = h_i \times |\rho_i|$，其中leverage作为目标无关的全局潜在结构先验；Local策略只使用目标相关性 $|\rho_i|$，然后在选定子集上重新计算SVD获得局部基。两者在预测时以权重 $\lambda$ 集成，让数据而非先验假设决定这些比例。
方法步骤详情
PACE的完整步骤如下。第一步，准备数据：收集模型集 $M$ 在目标智能体基准 $T$ 和源非智能体基准 $S$ 上的得分，形成目标得分矩阵 $Y \in [0,1]^{|M| \times |T|}$ 和源得分矩阵 $X_S \in [0,1]^{|M| \times |S|}$，将所有源基准堆叠成 $X = [X_{S_1} | X_{S_2} | \cdots | X_{S_{|S|}}]$。第二步，SVD分解：对 $X$ 进行thin SVD得到 $X = U\Sigma V^\top$，计算每个实例的leverage score $h_i = \sum_c V_{c,i}^2$ 和rank相关性 $|\rho_i| = |\text{Spearman}(X_{M_{train},i}, \bar{y}_{M_{train}})|$。第三步，实例选择：将预算 $C$ 分为 $C_L$ 和 $C_G$，Local选择top-$C_L$个 $|\rho_i|$ 最大的实例，Global选择top-$C_G$个 $\sigma_i = h_i \times |\rho_i|$ 最大的实例。第四步，投影待测模型：对于held-out模型 $m^*$，通过伪逆投影到SVD潜在空间。第五步，bootstrap回归：对目标实例进行B次bootstrap重采样，对每个目标拟合线性回归（Goal A）或逻辑回归（Goal B），最后集成预测结果。
技术新颖性
技术新颖性体现在多个方面。首先，跨基准预测范式：这是首次系统研究用非智能体基准预测智能体基准性能，不修改目标评分方式。其次，双策略解耦选择：将几何先验（SVD leverage）和任务特异性（rank correlation）结合为Local和Global两个互补策略，在预测时集成而非选择时。第三，bootstrap噪声增强：针对智能体评估样本少、噪声大的问题，用bootstrap重采样让回归对目标实例采样噪声稳健。第四，可解释能力分析：通过分析选中的代理实例来源和覆盖的能力，揭示每个智能体基准的独特能力需求，无需人工标注。
实验结果
论文在4个智能体基准（GAIA、SWE-Bench Verified、SWE-Bench Multimodal、SWT-Bench）、19个非智能体基准和14个模型上进行了严格LOOCV评估。核心发现如下：Goal A（绝对分数预测）上，PACE用100个代理实例实现平均MAE为3.80%，Spearman相关性为0.807，Pearson相关性为0.74。具体而言，GAIA的MAE为5.77%、Spearman 0.79，SWE-Bench Verified的MAE为2.09%、Spearman 0.67，SWE-Bench Multimodal的MAE为2.23%、Spearman 0.89，SWT-Bench的MAE为5.12%、Spearman 0.89。Goal B（成对偏好预测）上，PACE实现平均pairwise准确率84.37%，远高于随机50%基线：GAIA为83.33%，SWE-Bench Verified为78.54%，SWE-Bench Multimodal为85.39%，SWT-Bench为90.11%。成本效益分析显示，在同等预测质量下，PACE比随机目标采样基线节省约100倍成本。能力分布分析揭示不同智能体基准的独特特征：GAIA强调指令遵循和验证测试（选自IFEval和PlanBench），SWE-Bench Verified侧重多模态理解和信息检索（选自VisualPuzzles和VisualWebBench），SWE-Bench Multimodal突出长上下文聚合能力，SWT-Bench聚焦验证测试和规划。Bootstrap消融实验显示，移除bootstrap后平均MAE从3.80%上升到4.57%，Spearman从0.81下降到0.66，证明了bootstrap的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 智能体基准性能预测（Goal A） | 平均绝对误差（MAE） | 3.80%（100个代理实例） | 完整智能体评估 | 成本降低约100倍，MAE控制在4%以内 |
| 智能体基准模型排序（Goal A） | Spearman相关系数 | 0.81（100个代理实例） | 完整智能体评估 | 成本降低约100倍，相关性保持在0.80以上 |
| 成对模型偏好预测（Goal B） | Pairwise准确率 | 84.37%（100个代理实例） | 随机基线50% | 准确率提升34.37个百分点 |
局限与改进
作者承认的主要局限性是：这种方法的有效性取决于校准模型是否能够代表未来模型。当新模型超出校准分布，或者反映完全不同的架构或训练范式时，代理误差可能会增加。这意味着在实践中需要定期刷新校准集，随着模型分布的变化而更新。另一个局限性是本文的实验主要集中在4个智能体基准和14个模型上，虽然覆盖了多种智能体任务，但可能无法泛化到其他类型的智能体基准。此外，本文方法假设智能体成功依赖于已被廉价非智能ent基准测量的模型能力，如果某些智能体能力无法被现有基准捕获，预测质量可能会下降。
独立分析的弱点
独立分析的弱点包括：首先，模型代表性假设强，当新模型架构（如多模态架构、新的训练范式）出现时，现有校准集可能无法很好泛化，改进方向是设计自适应校准机制，在线更新校准集或主动学习选择最具代表性的新模型。其次，能力覆盖有限，本文使用的19个非智能ent基准可能无法覆盖所有智能体能力，如长时规划、复杂错误恢复、多轮对话等，改进方向是扩展候选池，加入更多样化的非智能ent基准，或者设计专门针对缺失能力的合成任务。第三，回归线性假设，PACE使用线性回归预测目标均值，可能无法捕捉复杂的非线性关系，改进方向是探索非线性模型（如神经网络、tree-based方法）或元学习方法。第四，静态预算分配，本文使用固定的 $C_L:C_G$ 分割，可能不是最优的，改进方向是学习每个目标的自适应预算分配。
未来方向
作者提出的未来工作方向包括：定期刷新校准集以适应模型分布的变化；将PACE作为基础，扩展到自动、可扩展的智能体能力基准；探索更多智能体基准和模型；分析代理选择的可解释性以理解智能体任务的能力结构。基于论文成果可延伸的方向包括：将PACE应用于模型路由和模型选择，用代理评估快速筛选最佳模型；将PACE与主动学习结合，动态选择最有信息价值的校准模型；探索代理评估与其他评估范式（如人类评估、真实世界部署）的协同；研究代理评估在模型训练过程中的应用，如监控训练checkpoint、超参数调优等。
复现评估
论文的复现评估如下：作者已开源代码和数据（GitHub链接为neulab/pace和neulab/pace-bench），提供了完整的实现和实验脚本。实验涉及14个模型和23个基准（4个智能ent基准+19个非智能ent基准），使用OpenHands Index统一评估所有模型，确保公平比较。算力需求主要来自评估各个模型在各基准上的得分，这需要大量的API调用，但PACE本身的训练和推理成本很低。复现难度中等到高，主要挑战在于需要访问14个模型的API或本地部署，以及配置多个智能ent基准的运行环境（如沙盒、浏览器、代码仓库等）。对于有资源的研究团队，只要获得模型访问权限，应该能够复现主要实验结果。
论文图表
