回顾式工具链优化：通过轨迹回溯的自我偏好改进LLM智能体

RHO方法通过分析过去轨迹自监督优化工具链，无需标注数据，显著提升性能。

前置知识

Harness（工具链）

Harness是AI智能体完成复杂任务所依赖的持久化资源集合，包括可执行的工具脚本、技能指导文件、系统提示和工作流程代码。它类似于智能体的工具箱，定义了智能体如何访问和使用外部资源、如何组织其推理流程以及如何与特定环境交互。例如，在软件工程任务中，harness可能包含测试框架、代码检查工具和特定编程语言的最佳实践指南。在知识工作场景中，它可能包含API调用模板、数据验证规则和工作流程说明。Harness的设计直接影响智能体的行为模式和任务完成能力。

本文的核心优化对象就是harness，理解这个概念才能明白作者在优化什么以及为什么这比单纯优化模型参数更有价值。

Determinantal Point Process（DPP）

DPP是一种用于选择高质量且多样化子集的概率模型。给定一个包含所有候选项的集合，DPP为每个子集分配一个概率，该概率与子集的核矩阵行列式成正比。在RHO中，DPP的核矩阵构造为K等于diag(e^r)乘以S再乘以diag(e^r)，其中r是每个任务的难度分数，S是任务嵌入之间的相似度矩阵。参数theta控制难度和多样性的权衡，theta等于1时仅按难度选择，theta等于0时仅按多样性选择。DPP的独特优势在于它能同时考虑质量和多样性，避免选择高度相似的任务，从而确保选中的任务子集能够覆盖广泛的失败模式。

RHO使用DPP从大量历史轨迹中选择最具代表性和挑战性的任务子集，这是整个优化流程的基础，理解DPP有助于把握coreset selection的设计动机。

Trajectory（执行轨迹）

Trajectory记录了智能体执行任务过程中的完整信息流，包括读取的信息、链式思考步骤、使用的工具调用序列以及最终输出。在RHO的上下文中，轨迹不仅包含成功案例，更重要的是包含失败案例和部分成功案例。每个轨迹都是一段宝贵的数据，因为它反映了在特定任务设置下，当前harness的行为模式和潜在缺陷。例如，一个轨迹可能显示智能体调用了错误的工具、在某个步骤过早停止，或者在不同尝试之间表现出不一致的行为。这些信息是诊断和改进harness的关键信号。

RHO的核心思想就是从过去的执行轨迹中提取改进信号，因此理解轨迹包含什么信息以及如何分析轨迹是理解整个方法的关键。

Self-Preference（自我偏好）

Self-Preference是指让智能体自己对多个执行轨迹进行偏好排序的能力，而不依赖于外部标注或评价器。在RHO中，智能体被要求比较同一个任务在不同harness下产生的轨迹，判断哪个轨迹更好并给出理由。这种偏好函数的形式化定义输出一个偏好排序和解释。值得注意的是，self-preference不是完全可靠的，它可能受到位置偏见、表达偏见等因素影响，因此RHO通过平均多个任务的偏好分数来减少噪声。偏好分数的计算公式是Sj等于一除以coreset大小，对coreset中的每个任务求rank函数的值，其中rank函数比较候选harness的轨迹和原始harness的轨迹。

Self-preference是RHO区别于传统验证驱动优化方法的核心机制，它使得智能体能够在没有外部标注的情况下评估不同harness的相对优势。

研究动机

现有的智能体工具链优化方法通常需要依赖ground-truth验证集来指导改进过程，这些方法会针对验证集上的性能指标进行迭代搜索。然而，在实际部署场景中，构建一个能够准确反映未来任务分布的代表性验证集极其困难。首先，真实世界的任务分布会随时间变化，历史验证集可能无法代表未来任务。其次，对于长周期、多步骤的复杂任务，获取准确的标注往往需要人工介入，成本高昂。此外，某些领域的任务如软件工程修复需要执行环境和测试用例，验证集的构建和维护本身就具有挑战性。这使得现有的验证驱动优化方法在实际应用中受到严重限制。

本文的目标是本文的目标是开发一种自监督的智能体工具链优化方法，能够在没有任何外部标注或验证集的情况下，仅利用智能体过去的执行轨迹来持续改进其工具链。具体而言，作者希望解决一个核心问题：当智能体只能访问过去的轨迹数据，而无法获得未来任务的ground-truth标签时，如何优化其harness以提升未来的任务性能？优化过程应该是单次回顾式的，而不是在线持续的迭代，以适应资源有限的部署环境。同时，优化应该覆盖完整的harness，包括可执行的工具、技能指导和系统提示，而不仅仅是记忆或提示文本。

与已有工作不同的是，本文的独特切入点在于将harness优化重新构建为一个回顾式自我监督问题，而不是一个需要外部反馈的搜索问题。现有的研究可以分为两个主要方向：验证驱动优化和经验式自我改进。前者需要标注数据并迭代搜索，后者主要关注记忆或技能文本的积累，不涉及可执行工具的修改。RHO的创新在于它同时满足三个条件：无需标注、编辑完整工具链、单次回顾式优化。这种组合使得RHO能够在实际部署场景中直接应用，而无需构建验证集或进行多轮迭代搜索。这是首个同时满足这三个要求的方法，填补了该领域的研究空白。

核心方法

RHO方法的整体思路是利用智能体自身的执行轨迹作为改进信号的来源，通过回顾式分析来优化其工具链。直觉上，如果让智能体用同一个harness多次解决同一个任务，然后比较不同尝试的结果，智能体应该能够识别出哪些行为模式更有效、哪些导致了失败。更进一步，如果让智能体尝试不同的harness版本并比较它们的表现，智能体应该能够偏好那个能产生更好结果的版本。技术路线上，RHO将优化过程分解为三个阶段：首先从大量历史轨迹中选择一个具有代表性和挑战性的任务子集。然后对选中的每个任务生成多个并行执行轨迹，并从中提取自我验证和自我一致性两个诊断信号。最后基于这些信号生成多个候选harness，并通过智能体的自我偏好选择最优的一个。整个过程完全基于智能体自身的判断，不需要任何外部标注或验证集。

RHO的核心创新点在于引入了自我验证和自我一致性两个互补的诊断信号，并通过多候选采样与自我偏好选择来处理优化过程的不确定性。自我验证让智能体检查单个轨迹内部的正确性，识别错误的工具调用、错误假设和过早停止等问题。自我一致性让智能体分析多个并行轨迹之间的差异，识别行为不一致的地方，因为低自一致性通常表示高不确定性。这两个信号的结合使得智能体能够从过去的失败中提取具体的改进方向。另一个关键创新是使用DPP进行coreset selection，它能够平衡难度和多样性，确保选中的任务既具有挑战性又覆盖广泛的失败模式，避免优化信号被稀释或偏向特定类型的任务。最后，best-of-N候选生成和自我偏好选择机制有效缓解了单次优化可能带来的随机性，提高了优化结果的可靠性。

方法步骤详情

RHO的方法步骤包含三个阶段，每步的输入、输出和具体操作如下。第一阶段是Coreset Selection核心集选择，输入是大量历史轨迹和参数，包括coreset大小k和DPP权重theta。操作首先是使用语言模型judge评估每个轨迹的难度分数并生成抽象描述指纹，然后计算描述嵌入之间的余弦相似度作为相似度矩阵。构造DPP核矩阵K等于diag(e^r)乘以S再乘以diag(e^r)，其中e的r_i次方等于max(r_i, epsilon)除以max_j max(r_j, epsilon)的alpha次方，alpha等于theta除以根号下2乘以1减theta。使用贪婪最大后验采样选择k个轨迹进入coreset。输出是核心任务集。第二阶段是Group Rollout分组回溯，输入是当前harness和核心任务集以及每组轨迹数量G。操作是对每个任务用harness并行执行G次得到轨迹集合，然后对这些轨迹进行两维度诊断：自我验证检查每个轨迹内部的正确性，标记错误的工具调用、错误假设和过早停止。自我一致性检查轨迹之间的行为一致性，识别分歧的计划、工具序列和最终答案。合并两个诊断得到改进指令。输出是改进指令集合。第三阶段是Best-of-N Harness Proposal N选一工具链提案，输入是当前harness、改进指令集合和候选数量N。操作是并行执行N次优化调用，每个调用基于改进指令生成一个候选harness。对每个候选harness在每个核心任务上产生轨迹。对每个任务计算候选轨迹与原始轨迹的自我偏好分数。聚合得到候选的相对优势分数。选择分数最高的候选，如果分数大于0则接受更新，否则保持原harness。输出是优化后的harness。

技术新颖性

RHO的技术新颖性体现在多个方面。首先，它提出了使用自我验证和自我一致性作为互补的诊断信号，这是首次将这两种自我判断机制结合用于harness优化。自我验证关注轨迹内部的质量，而自我一致性关注轨迹之间的稳定性，两者结合能够更全面地识别harness的缺陷。其次，RHO创新性地使用DPP进行coreset selection，通过构造核矩阵同时考虑任务的难度和多样性，这是一个理论上优雅且实践上有效的方法，避免了传统方法可能面临的信号稀释或覆盖不全问题。第三，RHO的best-of-N候选生成与自我偏好选择机制提供了一个简单但有效的噪声过滤策略，无需复杂的优化算法就能处理harness优化的随机性。最后，从方法论层面看，RHO首次将完整的harness优化包括可执行工具构建为一个单次回顾式自监督问题，这与现有的验证驱动或在线积累方法都有本质区别，为智能体的持续改进提供了一个新的范式。

**Figure 3**: Highest-scoring harness produced by RHO on each benchmark

实验结果

RHO在三个不同领域的基准测试上取得了显著的性能提升。在SWE-Bench Pro长周期软件工程任务上，单个优化轮次将通过率从基线的百分之五十九提升到百分之七十八，绝对提升百分之十九，这一提升是在没有使用任何外部验证集的情况下实现的。在Terminal-Bench 2命令行任务上，通过率从百分之七十一提升到百分之七十六，提升百分之五。在GAIA-2动态异步环境下的知识工作上，通过率从百分之二十九提升到百分之三十七，提升百分之八。这些结果表明RHO的改进效果在不同领域都是一致的，不是针对某个特定任务的过拟合。与无验证集的基线方法相比，RHO的优势更加明显：Dynamic Cheatsheet在SWE-Bench Pro上只达到百分之六十二，ReasoningBank达到百分之六十一，Sleep-time Compute达到百分之六十四，而RHO达到了百分之七十八。分析显示，RHO的性能提升主要来自长周期任务的改进，而不是短任务的优化，这表明RHO能够帮助智能体在复杂的多步骤任务中保持更好的行为模式。

**Table 1**: Held-out pass rate after harness optimization

**Table 2**: RHO versus Meta-Harness, a validation-feedback optimizer, on SWE-Bench Pro

**Table 3**: Best-of-N harness proposal vs. a single sampled candidate

**Table 4**: Ablation of the diagnosis step across all three benchmarks

**Table 5**: Comparison of RHO with prior methods

**Figure 5**: Coreset selection on SWE-Bench Pro

查看结构化数据

任务	指标	本文	基线	提升
SWE-Bench Pro	Pass Rate通过率	0.78	Vanilla Codex 0.59	+19%
Terminal-Bench 2	Pass Rate通过率	0.76	Vanilla Codex 0.71	+5%
GAIA-2	Pass Rate通过率	0.37	Vanilla Codex 0.29	+8%
SWE-Bench Pro对比Dynamic Cheatsheet	Pass Rate通过率	0.78	0.62	+16%
SWE-Bench Pro对比ReasoningBank	Pass Rate通过率	0.78	0.61	+17%
SWE-Bench Pro对比Sleep-time Compute	Pass Rate通过率	0.78	0.64	+14%
SWE-Bench Pro对比Meta-Harness一轮	Pass Rate通过率	0.78	0.62	+16%
SWE-Bench Pro对比Meta-Harness十轮	Pass Rate通过率	0.78	0.80需3.1倍计算和标注	效率优势明显

局限与改进

作者在论文中承认了几个主要局限性。首先，RHO的group rollout阶段需要对每个核心任务执行多次，这假设环境能够干净地重置并容忍重复尝试，这使得RHO不适用于一次性或不可逆任务。其次，RHO假设智能体的相当一部分能力是通过可编辑的harness介导的，这意味着对于harness表面不同、任务特征不同或回溯预算有限的领域，RHO可能需要进一步调整。第三，RHO完全信任过去的轨迹作为唯一的优化输入，在开放环境中，这些轨迹可能包含在任务执行过程中注入的对抗性内容，从被破坏的轨迹中提炼的harness更新可能会强化这种行为。此外，从技术角度看，RHO依赖于智能体的自我偏好判断，这种判断可能存在偏见或噪声，尽管best-of-N机制在一定程度上缓解了这个问题。还有一个计算成本的考虑，虽然RHO比多轮验证驱动优化更高效，但它仍然需要对每个核心任务进行多次执行和候选生成，对于资源受限的环境可能仍然是一个负担。

独立分析的弱点

RHO存在几个可以改进的弱点。首先，RHO对环境的重置能力有较强依赖，对于无法干净重置的环境或一次性任务，group rollout阶段可能无法正常工作。改进方向可以是开发适应单次尝试的诊断方法，或者使用近似的环境重置技术。其次，RHO的self-preference评估可能受到位置偏见、表达偏见等因素影响，虽然best-of-N和平均化有所帮助，但仍然可能产生系统性偏差。改进方向可以是引入校准机制或使用多个不同的评估器进行交叉验证。第三，RHO的coreset selection使用DPP需要计算任务嵌入之间的相似度矩阵，当历史轨迹数量很大时，这可能成为计算瓶颈。改进方向可以是使用近似的DPP采样方法或层次化选择策略。第四，RHO主要关注harness的优化，而不是底层模型参数，这意味着如果模型本身存在严重的知识缺失或推理缺陷，仅优化harness可能无法解决问题。改进方向可以是探索harness优化与模型微调的结合方法。最后，RHO的优化是单次回顾式的，这意味着它无法适应持续变化的环境或任务分布。改进方向可以是开发增量式或在线式的RHO变体，使智能体能够持续地从新经验中学习和调整。

未来方向

作者在论文中提出了几个未来研究方向。首先，将RHO扩展到不同类型的harness表面、任务特征和回溯预算的领域，探索其适用性边界。其次，研究RHO在开放环境中的安全性，特别是如何防止从被破坏的轨迹中学习有害行为。这需要结合审计实践和域特定的安全检查。第三，探索RHO与其他自我改进方法的结合，例如将harness优化与模型微调或记忆更新结合起来，实现更全面的智能体进化。第四，研究RHO的在线或增量式版本，使智能体能够持续地从新经验中学习，而不是仅在回顾式优化中更新。第五，探索更高效的coreset selection和诊断方法，以降低计算成本并扩展到更大规模的轨迹集合。第六，研究RHO在多智能体协作场景中的应用，探索如何协调多个智能体的harness优化。第七，从理论角度分析RHO的收敛性和优化界限，为实践提供更坚实的理论基础。最后，开发更好的工具和框架来支持RHO的部署和监控，使其在实际应用中更加可靠和易用。

复现评估

论文的复现性良好。作者已经开源了代码，并提供了项目网站。实验使用的基准测试SWE-Bench Pro、Terminal-Bench 2、GAIA-2都是公开可用的，作者详细说明了数据分割方法，使用SHA-256哈希进行确定性分割。实验的配置参数都在附录中明确列出，包括所有超参数，包括coreset size等于10、group size等于3、candidates等于3、DPP weight theta等于0.7，以及基础设施设置。作者还提供了完整的提示文本、详细的实验流程和每个基准测试的具体规格。作者使用了Codex gpt-5.5作为骨干模型，但RHO方法本身不依赖于特定的模型，可以应用于其他模型。论文中的所有数字都来自记录的运行报告，而不是人工估算，这增加了结果的可信度。唯一潜在的复现障碍是Codex的访问权限和计算资源成本，因为实验需要大量的模型调用，在SWE-Bench Pro上大约需要103个代理调用。总体而言，按照论文提供的详细信息，复现主要实验应该是可行的。

回顾式工具链优化：通过轨迹回溯的自我偏好改进LLM智能体 Retrospective Harness Optimization: Improving LLM Agents via Self-Preference over Trajectory Rollouts