自信且错误：编码代理中的静默语义失败 Consistency Amplifies: How Behavioral Variance Shapes Agent Accuracy
揭示编码代理评估中提交率陷阱，提出测量协议和多维评估框架
前置知识
构造效度
构造效度是指测量指标是否真正反映了想要测量的理论构念。在本文中，构造是编码代理修复bug的真实能力，指标是提交率，准则是测试验证的解决率。构造效度失效意味着指标不能很好地反映构造，如GPT-5提交率100%但解决率只有44%。
理解构造效度是理解本文核心论点的基础，本文就是论证提交率作为代理能力测量的构造效度失效。
变差系数CV
变差系数Coefficient of Variation，定义为CV等于sigma除以mu乘以100%，其中sigma是标准差，mu是均值。在本文中，用步数的CV来衡量代理行为的可靠性，CV越低表示行为越一致。例如Claude的CV为17.7%是最一致的，Llama 4的CV为58.1%是最不一致的。
CV是本文的可靠性度量，用于分析代理在不同运行间的一致性，是理解可靠性与有效性区别的关键。
静默语义失败SSF
Silent Semantic Failure，指代理在所有运行中都提交看起来合理的补丁，但所有补丁都无法通过测试的失败模式。它是静默的（提交率监控无法检测）、语义的（补丁语法正确但含义错误）、可靠的（每次运行都一样）。这是最危险的失败模式，因为它看起来是成功的。
SSF是本文发现的核心问题，解释了为什么高提交率不等同于高能力，是改进评估方法的关键动机。
自举法置信区间
Bootstrap Confidence Interval，是一种通过重采样来估计统计量不确定性的方法。本文用k次重复运行的自举CI来估计解决概率的不确定性。例如best-of-3可以将Claude从65%提升到74%，GPT-5从44%提升到58%。
自举法是本文提出的多运行估计方法的核心，用于区分噪声和真实能力差异。
特异性probe
特异性probe测试代理在不存在bug时能否正确abstain（不行动）。方法是预先应用正确的补丁，让bug已经修复，然后观察代理是否还会编辑代码。好的代理应该能识别问题已解决并提交空补丁，差的代理会修复不需要修复的代码。
特异性probe是本文提出的重要评估维度，它揭示代理的行动偏差，即倾向于行动而非正确性。
研究动机
现有编码代理评估存在严重的测量问题。在50个SWE-bench Verified任务上，GPT-5的提交率达到100%，但解决率只有44%；Llama 4提交率99%，解决率仅18%；Gemini虽然提交率最低（70%），但解决率反而比GPT-5更高（50% vs 44%）。这意味着提交率和解决率的排名完全相反，一个优化提交率的实践者会选择错误的模型。更危险的是，存在一种叫静默语义失败（SSF）的失败模式：代理在所有5次运行中都提交看起来可信的补丁，但所有补丁都无法通过测试。Llama 4的SSF率高达80%，GPT-5为68%，这意味着超过三分之二的失败对基于提交的监控完全不可见。这种失败模式之所以危险，是因为代理看起来是在自信且一致地工作，但结果总是错的，传统的基于完成或一致性的监控都会错误地认为一切正常。
本文的目标是本文的目标是揭示编码代理评估中提交率陷阱的本质，提出一个基于测量理论的评估框架，将可靠性和有效性区分开来，识别并量化静默语义失败这种危险失败模式，分析其成因（收敛性误读和共享陷阱），并提出包含测试自由过程指标和特异性测量的完整测量协议，以改进编码代理的评估和监控方法。
与已有工作不同的是，本文的独特切入角度是从测量科学和心理测量学的角度来分析编码代理评估，而不是仅仅作为另一个代理评估工作。作者明确区分了指标（提交率）和准则（测试验证的解决率），论证了提交率作为能力测量的构造效度失效。更重要的是，作者不是简单地提出更好的基准，而是深入分析为什么现有指标会失效，发现失败是集中在特定的、危险的模式中（可靠但无效的单元格），并提出多维度的评估框架（可靠性乘以有效性网格、测试自由过程指标、特异性probe）。这种从测量理论出发的视角在AI评估研究中是新颖且深入的。
核心方法
本文的方法是基于测量理论构建一个评估框架，将编码代理能力建模为隐藏的构造theta：代理产生实际修复补丁的概率。因为theta不可直接观测，只能通过指标间接测量。最便宜的指标是提交率（exit status等于Submitted），最接近真实的准则是解决率（补丁通过项目的完整测试套件）。作者在50个SWE-bench Verified任务上运行4个前沿模型（Claude 4.5 Sonnet、GPT-5、Gemini 3.1 Pro、Llama 4 Maverick），每个模型-任务对运行5次独立试验，温度0.5，最多250步，总共1000条基准轨迹加上750条防护轨迹。然后从可靠性（变差系数CV、命令相似性、补丁相似性）和有效性（解决率）两个维度分析结果，识别可靠但无效的静默语义失败，并提出包含测试自由过程指标和特异性测量的完整测量协议。
核心创新点是将编码代理评估重新框架化为构造测量问题，明确区分可靠性和有效性。可靠性是重复运行给出相同分数的能力，有效性是该分数反映真实构造的能力。本文发现最危险的失败模式是可靠但无效：代理在所有5次运行中都提交相同的错误补丁。这种静默语义失败占Llama 4失败的80%和GPT-5失败的68%。另一个核心创新是提出特异性probe：预先应用正确的补丁，测试代理能否识别bug已修复并正确abstain。所有四个模型都会在60-90%的运行中编辑已经正确的代码，这揭示了代理的行动偏差：倾向于行动而非正确性。测试自由的3-gram循环检测器能100%识别Gemini的abstention任务，轨迹长度与SSF负相关（r等于负0.26），这些测试自由的信号可以部分恢复提交率丢弃的有效性信息。
方法步骤详情
方法分为四个主要步骤。第一步是基准评估：使用mini-SWE-agent框架，在隔离的Docker容器中运行，每个模型-任务对进行5次独立试验，记录提交率、解决率、步数CV、命令序列相似性和补丁相似性。第二步是可靠性和有效性分析：将每个（模型，任务）对的5次运行结果映射到可靠性乘以有效性网格，识别一致解决（5/5）、变量解决（1-4/5）、静默语义失败（5/5提交，0/5解决）、变量失败（部分提交，0/5解决）和无提交（0/5提交）五种模式，计算静默语义失败率SSFR等于（5/5提交且0/5解决的任务数乘以5）除以总非解决运行数。第三步是深入分析SSF：比较SSF任务内补丁的相似性（文本diff重叠、代码token Jaccard、句子嵌入余弦）与跨任务基线，发现SSF补丁比跨任务补丁相似10-50倍，证明代理重复推导相同的错误修复而非随机失败；分析SSF任务在不同模型间的重叠，发现GPT-5和Llama 4的SSF任务集Jaccard相似度为0.49，8个任务没有任何模型在任何运行中解决，这些是解释陷阱。第四步是测试改进方法：尝试两种预编辑防护（解释防护：先陈述对bug和修复策略的理解；测试锚定防护：先写并运行一个最小失败测试），发现都无法提升总体解决率；进行特异性probe，在50个任务上预先应用正确补丁，发现所有模型在60-90%的运行中都会编辑已经正确的代码。
技术新颖性
技术新颖性体现在多个方面。第一，测量理论框架：这是第一个将心理测量学的构造效度理论系统应用于编码代理评估的工作，明确区分了指标和准则，提出了可靠性乘以有效性网格的分析框架。第二，失败分类学：基于5次运行的模式提出了五种失败模式，特别是静默语义失败的识别和量化，SSFR指标（Llama 4 80%、GPT-5 68%、Claude 40%、Gemini 16%）提供了新的评估维度。第三，可靠性是多面的：发现步数CV、命令相似性和补丁相似性三个维度近乎正交（r小于等于0.14），步数CV与命令相似性r等于0.14，与补丁相似性r约等于0，这意味着单一的一致性数字是不够的。第四，SSF的机制分析：通过补丁相似性分析证明SSF来自收敛性误读而非随机错误（SSF补丁相似性0.18-0.39 vs 跨任务0.01），通过跨模型重叠发现8个共享的解释陷阱。第五，特异性probe：首次提出并在编码代理上实现了特异性测试，揭示行动偏差的存在。第六，测试自由过程指标：3-gram循环检测器100%召回Gemini的abstention任务，轨迹长度与SSF负相关r等于负0.26，这些指标可以在不运行测试的情况下部分恢复有效性信息。
实验结果
实验发现了三个层次的突破性发现。首先是提交率陷阱的量化：GPT-5提交100%解决44%，Llama 4提交99%解决18%，Gemini提交最少70%但解决更多（50% vs 44%）。自举法排行榜确认提交率在98%重采样中排名GPT-5第一、Gemini最后，而解决率翻转了GPT-5/Gemini顺序并总是排名Claude第一。这意味着单次运行的排行榜会将噪声误认为能力差异。其次是失败分类学：Claude最健康（27/50一致解决，7个SSF），GPT-5最令人担忧（19/50个SSF），Llama 4被SSF主导（33/50），Gemini的失败分为诚实abstention（5个任务）和变量结果。解决分布是尖锐双峰的：对几乎每个任务要么所有5次运行都解决，要么都不解决，所以可靠性放大而不是平均了代理的解释。第三是SSF的机制和特异性：SSF任务内补丁的相似性比跨任务高10-50倍（如GPT-5文本diff 0.27 vs 0.01，嵌入余弦0.85 vs 0.53），证明代理重建相同的错误修复；SSF任务在不同模型间高度重叠，GPT-5和Llama 4的SSF任务Jaccard相似度0.49，8个任务是解释陷阱（没有任何模型解决）。所有四个模型在60-90%的运行中编辑已经正确的代码，只有GPT-5有一定频率的清洁abstention（40%）。3-gram循环检测器100%识别Gemini的abstention任务且在Claude和GPT-5上无假阳性，步数上限规则（大于245步）捕获80%。轨迹长度预测SSF（r等于负0.26，p小于0.001），SSF单元有略高的相混合熵（r等于正0.20，p小于0.01）。提前应用正确补丁的特异性probe显示所有模型都倾向于行动而非正确性。预编辑防护（解释防护、测试锚定防护）都无法提升总体解决率，解释防护将Claude从65.2%变成64.8%，GPT-5从44.4%变成46.0%，测试锚定防护将GPT-5从44.4%变成44.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SWE-bench Verified代码修复 | 解决率 | Claude 65%, GPT-5 44%, Gemini 50%, Llama 4 18% | N/A（首次系统比较这四个模型） | N/A |
| SWE-bench Verified代码修复 | 提交率 | Claude 97%, GPT-5 100%, Gemini 70%, Llama 4 99% | N/A | N/A |
| 可靠性（步数CV） | 平均CV (%) | Claude 17.7%, GPT-5 30.3%, Gemini 44.9%, Llama 4 58.1% | N/A | N/A |
| 静默语义失败率 | SSFR (%) | Llama 4 80%, GPT-5 68%, Claude 40%, Gemini 16% | N/A（首次提出该指标） | N/A |
| Best-of-3提升 | 解决率提升（百分点） | Claude 65%变成74% (+9pp), GPT-5 44%变成58% (+14pp) | 单次运行pass@1 | Claude +9pp, GPT-5 +14pp |
局限与改进
作者承认了几个局限性。准则有效性问题：解决率是不完美的准则（SWE-bench测试套件可能不完整），但比提交率更接近构造。单一基准和语言：所有任务都是SWE-bench Verified Python任务，编译语言（Java、C++、Rust）可能因为能捕捉过度自信的编辑而SSF率不同，这是个开放问题。单一scaffold：使用最小scaffold（mini-SWE-agent），更丰富的scaffold可能改变比率，虽然无效防护表明轻量级修复是不够的。规模：50个任务是适中的，通过配对测试和自举CI来缓解。abstention范围：特异性probe使用n等于50（每个模型10个任务），不是完整基准。我观察到额外的局限性：温度0.5可能不是最佳设置，不同模型可能有不同的最优温度；max 250步的限制可能影响某些复杂任务；只比较了四个模型，不包括其他前沿模型如Claude 3.5 Sonnet、GPT-4等；没有分析不同任务类型的SSF率差异（如django vs sympy vs scikit-learn）；补丁相似性分析可能受代码语言和风格影响；没有研究SSF与代理内部推理的关系。
独立分析的弱点
独立分析的弱点包括：首先，实验规模有限。50个任务虽然通过统计方法缓解，但仍不足以全面评估所有模型行为。不同领域的任务（如django vs sympy）可能有不同的SSF率，但论文没有深入分析这种差异。其次，只测试了一个scaffold（mini-SWE-agent），更复杂的scaffold如结合多轮对话、代码审查、自我验证的框架是否能降低SSF率是个开放问题。第三，温度固定为0.5，不同模型可能有不同的最优温度，高温可能降低一致性但可能增加探索不同解释的机会，低温可能增加一致性但可能固化错误解释。第四，只比较了四个模型，不包括其他重要模型如Claude 3.5 Sonnet、GPT-4、Mistral等，结果可能不具有普适性。第五，预编辑防护只测试了两种提示类型，可能存在更有效的提示策略，如链式思维、角色扮演、反事实提示等。第六，特异性probe只在10个任务上测试，扩展到完整基准可能会发现更多模式。第七，没有分析SSF与代理内部推理过程的关系，如错误理解的源头是什么，如何从代理的思维链中检测即将发生的SSF。第八，测试自由指标虽然有效（3-gram循环检测器100%召回），但主要针对Gemini的abstention，对更常见的SSF检测能力有限。改进方向：扩大任务规模到完整SWE-bench或更多基准；测试不同scaffold和温度设置；增加更多模型；设计更多样化的预编辑策略；扩展特异性probe到完整基准；分析SSF与内部推理的关系；开发更有效的测试自由指标；研究跨语言和跨框架的普适性。
未来方向
作者提出的未来工作方向包括：跨语言和跨scaffold的复现，以验证发现的普适性；结构性干预（多代理辩论、自我验证）来解释失败，而不仅仅是轻量级提示；将abstention probe扩展为与解决率配对的完整特异性基准。基于成果可延伸的未来工作包括：开发在线SSF检测器，通过实时分析代理行为（命令循环、轨迹长度、补丁相似性）来预测即将发生的SSF；研究温度和一致性权衡，找到平衡探索和稳定性的最优策略；设计更有效的干预机制，如动态检查点、反向推理、模拟评估；分析不同任务类型的SSF率，如特定领域、特定bug类型是否有更高的SSF风险；研究SSF与模型规模、训练数据的关系；开发评估工具包，标准化多维度的代理评估（可靠性、有效性、特异性）；研究人类在SSF中的表现，为代理评估提供基线；探索是否可以通过训练减少SSF，如使用SSF案例进行对比学习；研究SSF在生产环境中的影响，如与用户信任、错误成本的关系。
复现评估
复现性评估：论文使用公开的SWE-bench Verified基准和最小scaffold（mini-SWE-agent），这是公开可用的。但论文没有开源实验代码和轨迹数据，这是复现的主要障碍。模型使用托管API，论文指出托管快照可能漂移，所以固定了标识符并在2026年窗口内运行所有实验，但缺乏不可变的快照哈希。算力需求是适中的：4个模型乘以50个任务乘以5次运行等于1000条基准轨迹，加上750条防护轨迹，总共1750条轨迹。每条轨迹最多250步，平均步数从GPT-5的10.5步到Gemini的78.5步不等。假设每步平均5-10秒，总计算时间大约在24-48小时。成本取决于API定价，对于GPT-5和Gemini这样的高端模型，成本可能在几千美元。复现难度中等：需要熟悉Docker容器、API调用、SWE-bench harness的使用，但不需要大规模计算资源。主要挑战是确保相同的模型快照（托管API可能变化）和准确的超参数设置（温度0.5、max 250步）。论文在附录中提供了详细的实验设置和补充数据，这有助于复现。总体而言，如果有适当的API访问权限和计算预算，复现是可行的，但缺乏开源代码和数据增加了难度。
论文图表
