harness更新不等于harness收益：解耦自进化LLM智能体的进化能力 Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents

本文的实验方法包含完整的三步流程。第一步是基准和数据准备：选择三个代表性的智能体基准（SWE-bench Verified用于软件工程，MCP-Atlas用于工具使用，SkillsBench用于技能执行），每个基准都有明确的任务集、评分方法和静态资源。SWE-bench包含五百个真实GitHub问题，每个任务提供代码库快照和问题描述；MCP-Atlas包含五百个跨三十六个MCP服务器的任务，需要协调三到六个工具调用；SkillsBench包含八十六个跨十一个领域的任务，提供工作区文件和确定性验证器。第二步是模型和配对配置：选择七个LLM作为骨干模型，包括Claude Opus 4.6、Sonnet 4.6、Haiku 4.5（闭源），Qwen3-235B、Qwen3-32B、Qwen3.5-9B（开源），GPT-OSS-120B（开源）。对于进化器侧分析，固定三个任务求解器作为锚点集合，让七个模型分别作为进化器；对于任务求解器侧分析，固定三个进化器作为锚点集合，让六个模型分别作为任务求解器。第三步是迭代执行和评分：对于每个任务求解器-进化器配对，在对应的基准上运行自进化协议。具体而言，从初始harness开始，每个步骤：任务求解器在任务批次上执行，收集执行轨迹和输出；进化器从证据产生harness更新并应用到得到；循环步得到最终harness。每个任务在harness更新前就被评分，确保分数不受该任务自己产生的更新的影响。最后，根据公式计算相关指标。

本文的技术新颖性体现在多个方面。首先是评估方法的解耦性：首次将harness自进化分解为两个独立的能力维度并分别测量，这与现有工作的端到端评估形成鲜明对比。其次是实验设计的系统性：使用七个跨能力层级的模型和三个互补的基准，构建了完整的任务求解器-进化器配对矩阵，这种大规模的交叉实验在智能体进化研究中是罕见的。第三是度量指标的严谨性：使用平均值避免单点异常，使用最大值避免低估，两个指标都排除了基础能力的混淆。第四是诊断方法的深入性：不仅识别了弱层级模型增益低的表面现象，还通过skill-load rate和harness-following rate等指标，以及阶段级adherence分析，深入诊断了两种失败模式（激活失败和遵循失败）。最后是发现的有悖直觉性：harness-updating能力的平坦性挑战了越大越擅长写的假设，harness-benefit能力的非单调性挑战了越弱越需要帮助的假设，这些发现能够纠正社区对自进化系统的朴素认知。

本文存在几个值得改进的弱点。首先，模型覆盖虽然跨越多个层级，但每个层级的模型数量有限（例如中等层级只有GPT-OSS-120B），这可能导致对某些趋势的估计不够稳健。理想情况下，应该在每个能力层级都有多个模型来区分能力层级效应和模型家族效应。其次，本文没有评估自进化的长期效应：harness更新在长期任务流中是否会退化？错误经验是否会累积并污染harness？这些问题的答案对实际部署至关重要。第三，本文专注于技能这一种harness组件，但不同组件（如提示词、记忆、工具）可能表现出不同的进化模式。例如，更新记忆可能更依赖于模型的理解能力，而更新工具可能更依赖于模型的推理能力。第四，本文的诊断集中在弱层级模型的两种失败模式，但没有深入分析中等层级模型为什么受益最多：是因为它们的指令遵循能力刚好足够使用harness，还是有其他因素？第五，实验使用的是固定的提示模板和进化预算，这些超参数的选择可能影响结果。最后，本文没有评估harness更新的质量维度，如可重用性、可维护性、安全性等，这些在实际部署中很重要。

作者和本文发现提出了多个有价值的未来研究方向。基于本文发现的投资回报比分析，一个直接的方向是探索如何专门训练harness调用和长期指令遵循能力。既然弱层级模型的失败模式是激活失败（百分之二十五点一加载率）和遵循失败（执行过程中adherence从零点五二下降到零点一三），那么专门针对这些能力进行训练可能比单纯扩大模型规模更有效。另一个方向是研究harness进化的长期动态：harness更新如何随任务流演化？错误经验如何被识别和回滚？如何设计harness的垃圾回收机制？此外，可以扩展研究到其他harness组件：记忆更新的规律是什么？提示词进化的模式如何？工具发现的挑战在哪里？跨基准的对比也值得深入：为什么SWE和MCP上harness-benefit的非单调性更清晰，而SkillsBench上低基线区域噪声较大？这可能揭示了不同任务域对进化能力的要求不同。从方法论角度，可以探索更细粒度的能力测量：不只是这两个宏观指标，还可以测量harness可重用性、harness安全性、进化效率等维度。最后，随着强化学习在智能体中的应用增加，研究harness进化与参数优化的交互会很有价值：harness更新和权重更新应该如何协同？它们是否会互相干扰？

本文的复现性评估如下。开源情况：作者在论文中声明代码公开可用（但没有给出具体链接），这表明实验细节应该可以被复现。数据方面：使用的三个基准（SWE-bench Verified、MCP-Atlas、SkillsBench）都是公开的，任务集和评分标准透明。模型方面：使用了闭源模型（Claude系列）和开源模型（Qwen系列、GPT-OSS），这意味着如果研究者想完全复现，需要访问这些模型的API或权重，这可能产生费用。算力方面：论文没有明确说明实验的总计算量，但考虑到七个模型乘以三个基准乘以多个任务求解器-进化器配对乘以迭代循环，总成本可能相当可观。实验复杂度：需要实现harness进化的完整协议，包括任务求解器-进化器循环、执行证据收集、harness更新应用、in-situ评分等，这需要一定的工程能力。难度评估：中等偏高。主要挑战在于搭建完整的进化框架、处理多模型的API调用、以及确保评估的正确性（如in-situ设置防止信息泄露）。不过，论文提供了详细的实验设置（附录）和完整的通过率矩阵，这为复现提供了良好的基础。