论Agentic评估中的随机性

60,000条轨迹揭示agentic评估存在2-6pp方差，单次运行不可靠

前置知识

pass@1

pass@1是代码生成和agent评估中最常用的指标，表示单次尝试成功完成任务的概率。在实践中，研究者通常对每个任务只运行一次agent，然后计算成功完成的任务比例作为pass@1的估计值。这个指标源自HumanEval等代码生成基准，但在agentic评估中，由于任务复杂度和轨迹长度大幅增加，单次运行的估计方差问题变得更加严重。论文指出这种单次运行的评估方法在统计上是不稳健的。

这是理解论文核心问题的关键：当前大多数agentic系统评估都依赖这个指标做出结论，但论文证明这个指标在单次运行下估计值不可靠

pass@k 和 passˆk

pass@k估计至少k次尝试中至少成功一次的概率，代表乐观边界；passˆk估计k次尝试全部成功的概率，代表悲观边界。两者之间的差距揭示了agent性能对随机探索的依赖程度。例如pass@1=34.4%但pass@5=52.9%说明通过重试可以显著提升性能，而passˆ5=15.5%说明只有一小部分任务能被一致地解决。

这两个指标帮助我们理解agent性能的完整分布，而不仅仅是点估计，是论文提出的重要评估工具

轨迹发散（Trajectory Divergence）

在agentic系统中，轨迹（trajectory）是模型生成token和环境响应的完整序列。由于自回归模型的特性，早期的微小差异会通过条件概率机制级联放大。论文定义了第一个token发散位置τdiv，即两条轨迹首次出现不同token的位置。研究发现大多数发散发生在轨迹的前1%内，这导致即使温度为0，不同运行也会产生根本不同的解题策略。

理解为什么即使温度=0也无法实现确定性运行的关键机制，揭示了agentic评估随机性的深层原因

SWE-Bench-Verified

这是当前最广泛使用的agentic编码基准测试，包含500个真实的GitHub issue解决任务。agent需要理解问题描述、定位代码、生成补丁，然后通过自动化单元测试验证。该基准被广泛用于模型发布、论文评估和排行榜排名。论文选择这个基准是因为它在agentic评估中的重要地位和广泛使用。

论文的所有实验都在这个基准上进行，理解其规模和验证方式对评估结果的适用性很重要

研究动机

当前agentic系统评估方法存在严重的统计学问题。大多数研究论文、模型发布和社区排行榜都采用单次运行的pass@1分数来评估agent性能，假设这能给出可靠的性能估计。然而这种假设在统计上是不稳健的：对每个任务只运行一次agent，然后报告成功的比例，这提供了对真实成功概率的高方差估计。此外，温度>0的采样引入了随机性，即使相同agent在相同任务上也可能产生不同结果。更关键的是，环境交互通过工具执行或时间效应引入了额外的非确定性。这个问题具有实际工程和商业影响：一个报告的3%改进可能会影响是否采用新模型、投资某个研究方向或做出影响数百万用户的部署决策。

本文的目标是本文的目标是量化随机性如何影响agentic评估，理解随机性的来源，并提出可靠的评估实践建议。具体来说，作者希望通过大规模实验（60,000条轨迹、25.58B tokens、1.88M工具调用）来回答以下问题：单次运行的pass@1估计有多大的方差？温度=0能否实现确定性运行？轨迹在什么时候以及如何发散？乐观边界（pass@k）和悲观边界（passˆk）之间的差距有多大？需要多少次运行才能可靠地检测出真实的性能改进？

与已有工作不同的是，本文的独特切入角度是首次对agentic评估中的随机性进行了大规模、系统性的实证研究。不同于之前对LLM非确定性的研究主要关注单次推理或代码生成，本文聚焦于多步骤、长时间跨度的agentic任务，其中早期微小差异会通过自回归条件机制级联放大。作者通过token级别的轨迹分析，不仅量化了方差大小，还揭示了方差产生的机制——轨迹通常在前1%的token内就发生发散。此外，论文提出了具体可操作的建议，包括使用统计功效分析确定所需运行次数，以及同时报告pass@k和passˆk来表征完整的性能包络。

核心方法

本文采用大规模实证研究的方法来量化agentic评估中的随机性。整体思路是：首先定义一个包含6种配置的实验矩阵（3个模型×2个scaffold），然后对每种配置独立运行10次，收集总共60,000条agent轨迹。通过分析这些轨迹的结果分布和token级别的发散模式，量化评估的方差并理解其产生机制。研究还计算了pass@k和passˆk指标来表征乐观和悲观边界，最后使用统计功效分析来确定可靠评估所需的运行次数。这种方法将评估问题转化为统计问题，用科学的方法论来审视评估实践。

本文的核心创新在于揭示了一个被广泛忽视但影响深远的问题：单次运行的agentic评估本质上是不可靠的。与已有方法的区别在于，之前的工作要么关注单次LLM推理的非确定性，要么关注代码生成的变异性，而本文首次系统地研究了多步骤agentic任务中随机性如何级联放大。关键发现是：即使在温度=0（理论上确定性）的情况下，由于推理引擎的浮点精度、并行化、硬件优化等因素，仍然存在显著的方差（标准差超过1.5个百分点）。更关键的是，token级别的分析显示轨迹通常在前几个token就发散，这些微小差异通过自回归机制放大为完全不同的解题策略。

方法步骤详情

研究方法分为以下几个关键步骤：第一，实验设计阶段，选择SWE-Bench-Verified（500个任务）作为基准，选择3个代表性模型（Qwen3-32B、DeepSWE-preview、Devstral-2）和2个scaffold（nano-agent、R2E-Gym），每个模型使用推荐温度和温度=0两种设置。第二，数据收集阶段，对每种配置独立运行10次，总共执行120次实验运行（6配置×10次×2 scaffold），生成60,000条轨迹。第三，结果分析阶段，计算单次运行的解决率r_j、均值r、标准差，以及pass@k和passˆk指标。第四，轨迹发散分析阶段，定义第一个token发散位置τdiv，分析发散发生的时机和模式。第五，统计功效分析阶段，计算检测不同大小改进所需的运行次数。

技术新颖性

本文的技术新颖性体现在多个方面。首先是实验规模：60,000条轨迹、25.58B tokens、1.88M工具调用，这是迄今为止对agentic评估随机性最大规模的实证研究。其次是分析深度：不仅量化了方差大小，还通过token级别的轨迹分析揭示了方差产生的机制——轨迹在前1%的token内就发散，这些早期差异通过自回归条件机制级联放大。第三是指标创新：系统地使用pass@k和passˆk来表征agentic系统的性能包络，揭示了乐观边界和悲观边界之间最大可达24.9个百分点的差距。第四是方法论贡献：提出了基于统计功效分析的评估实践指南，给出了检测不同大小改进所需的具体运行次数。

**Figure 2**: Distribution of first token divergence across different models

**Figure 3**: A subtle reasoning divergence at token 94 cascades into opposite outcomes

实验结果

本文的核心发现揭示了agentic评估中存在严重的随机性问题。在SWE-Bench-Verified基准上的60,000条轨迹分析显示，单次运行的pass@1估计值变化范围为2.2到6.0个百分点，标准差在所有12种配置中都超过1.5个百分点。具体来说，DeepSWE-preview在nano-agent上温度1.0时平均解决率为31.4%±1.0%（范围28.8%-32.4%），而在温度0时为20.4%±1.0%（范围18.2%-21.4%），表明温度对这个模型有显著影响。相比之下，Devstral-2在nano-agent上温度0.2时为63.5%±1.1%，温度0时为63.8%±1.6%，差异不显著。更关键的是，轨迹发散分析显示，大多数发散发生在轨迹的前1%内，例如DeepSWE-preview在温度1.0时中位发散位置是第5个token。pass@k和passˆk分析显示，DeepSWE-preview在r2e-gym上pass@1=34.4%，pass@5=52.9%（提升18.5pp），但passˆ5仅为15.5%，差距达18.9pp。最大差距出现在Devstral-2在r2e-gym温度0时，pass@1到pass@5提升24.9pp。

**Table 1**: Resolution rates across 10 independent evals on SWE-Bench-Verified

**Table 2**: Required runs per agent to detect improvements at different variance and significance levels

**Table 3**: Shapiro-Wilk normality test results for pass@1 scores

**Table 4**: Model inference configuration

**Figure 1**: Performance bounds revealed by pass@k and pass^k

**Figure 4**: Required number of runs vs target p-value

**Figure 5**: Required number of runs for different statistical power levels

**Figure 6**: Additional pass@k and pass^k curves for all model-scaffold pairs (part 1/2)

**Figure 7**: Additional pass@k and pass^k curves for all model-scaffold pairs (part 2/2)

查看结构化数据

任务	指标	本文	基线	提升
SWE-Bench-Verified (500 tasks)	pass@1 (mean ± std)	DeepSWE-preview/r2e-gym: 34.4% ± 1.5%	单次运行估计	揭示2.2-6.0pp的方差范围
SWE-Bench-Verified (500 tasks)	pass@1 to pass@5 gap	最大24.9pp (Devstral-2/r2e-gym, temp=0)	pass@1单独报告	揭示乐观边界可达76.2%
SWE-Bench-Verified (500 tasks)	pass@1 to pass^5 gap	最大18.9pp (DeepSWE-preview/r2e-gym)	pass@1单独报告	揭示悲观边界可低至15.5%
SWE-Bench-Verified (500 tasks)	First token divergence position	中位数5 tokens (DeepSWE-preview, temp=1.0)	N/A	揭示轨迹在前1%内发散
统计功效分析	Required runs for 1% improvement	36 runs (σ=1.5%, p<0.05, power=80%)	单次运行	提供具体评估实践指南

局限与改进

本文存在几个值得注意的局限性。首先，实验仅在SWE-Bench-Verified这一个基准上进行，虽然这是最广泛使用的agentic编码基准，但结果可能不完全适用于其他类型的agentic任务（如网页浏览、数据分析等）。其次，研究排除了上下文压缩和摘要策略的影响，而这些在生产系统中广泛使用，可能会进一步影响评估方差。第三，样本量为每配置10次运行，虽然比标准的单次运行多得多，但对于检测1%级别的小改进仍然不够（需要36次）。第四，实验的计算成本很高（约3,500 GPU小时），这可能限制了该方法在资源有限的学术环境中的应用。此外，作者指出，随着社区向更复杂、更长时间跨度的任务发展，级联效应可能会进一步放大方差，这需要在未来的工作中进一步研究。

独立分析的弱点

本文的弱点主要集中在以下几个方面。首先，实验范围相对有限：只在SWE-Bench-Verified这一个基准上进行，只测试了3个模型和2个scaffold，这可能限制了结论的普适性。改进建议是扩展到更多基准（如WebArena、AgentBench等）和更多模型-scaffold组合。其次，论文排除了上下文压缩策略的影响，而这是生产系统中的常见做法。改进建议是设计实验来量化不同压缩策略对评估方差的影响。第三，每配置10次运行的样本量对于检测小改进不够充分。改进建议是增加运行次数或开发更高效的评估方法（如重要性采样）。第四，论文主要关注了评估方差的量化，但对如何实际减少方差的建议相对有限。改进建议是探索确定性推理技术或方差减少方法。

未来方向

论文作者和本文分析都指出了几个重要的未来研究方向。首先，研究动态上下文策略（如上下文压缩）对评估方差的影响，这是生产系统中的常见做法但本文未涉及。其次，扩展到更长时间跨度的任务，因为随着轨迹长度增加，级联效应可能会放大方差。第三，开发更高效的评估方法，可能通过重要性采样或分层采样来减少所需运行次数。第四，研究如何实际减少agent行为的方差，例如通过确定性推理技术或更好的提示设计。第五，将分析扩展到其他类型的agentic任务（网页浏览、数据分析、多模态任务等）。第六，开发自动化的评估报告工具，能够自动计算并报告方差估计和置信区间。

复现评估

本文在可复现性方面做得相当好。作者使用了公开可用的模型（Qwen3-32B、DeepSWE-preview、Devstral-2）和scaffold（nano-agent、R2E-Gym），基准SWE-Bench-Verified也是公开的。论文提供了详细的实验配置（Table 4），包括上下文限制、温度、top_p、top_k等超参数。本地部署的模型使用vLLM在NVIDIA A100 80GB GPU上运行。然而，复现成本较高：总共需要约3,500 GPU小时，这对于资源有限的学术机构可能是一个挑战。此外，论文没有明确提到是否开源了实验代码和原始轨迹数据。如果要复现，需要准备相应的GPU资源、下载模型权重、配置scaffold环境，并运行120次实验（6配置×10次×2 scaffold）。

论Agentic评估中的随机性 On Randomness in Agentic Evals