EvoTrainer：智能体强化学习中LLM策略与训练工具的协同进化 EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning
协同进化LLM策略与训练工具，超越人工RL基线
前置知识
GRPO (Group Relative Policy Optimization)
一种强化学习算法，通过对同一查询生成的多个轨迹进行相对优势计算来更新策略。给定G个轨迹，每个轨迹获得标量奖励ri，组相对优势计算为Ai等于括号ri减μg除以括号σg加ε，其中μg是组内奖励均值，σg是标准差。这个优势被广播到轨迹oi的所有token上，避免了学习价值模型但使得组方差至关重要。
本文使用GRPO作为训练核心，理解其工作原理对于理解为什么低方差组会破坏学习信号至关重要，这也是EvoTrainer需要引入组级别过滤机制的根本原因。
Training Harness（训练工具）
训练工具是指围绕模型训练过程的决策基础设施，包括用于诊断训练结果的指标集合、分析器、回测脚本、搜索程序和干预机制。与推理工具优化模型输出不同，训练工具负责解释训练结果、分析rollout证据、提出干预方案和更新诊断基础设施。EvoTrainer中的训练工具包括四个诊断层：score（验证指标）、signal（奖励方差、死组率）、behavior（工具使用模式、轨迹长度、退化模式）和version（跨版本决策）。
本文的核心创新就是将训练工具本身视为可进化的对象，理解训练工具的作用范围和层次结构对于理解EvoTrainer如何通过工具升级来突破训练瓶颈至关重要。
Dead Group Ratio（死组率）
在组相对策略优化中，如果一个rollout组内的奖励方差接近于零，即σg约等于0，则该组被称为死组。死组无法提供有用的相对学习信号，因为所有轨迹的奖励都相同或非常相似，计算出的优势值对所有样本几乎相同，无法区分好坏轨迹。论文中使用DGR表示死组率，即rollout组中奖励方差接近于零的组所占的比例。在SWE-9B实验中，v1版本死组率高达55%，而v8版本通过引入instruction-following信号将其降低到27.5%。
死组率是EvoTrainer诊断训练问题的重要指标之一，高死组率表明当前奖励设计或数据分组策略存在问题。本文通过引入StdGroupFilter和IF LLM Judge等机制来降低死组率，这是理解训练诊断和改进机制的关键概念。
Echo Trap（回声陷阱）
在智能体强化学习中的一种轨迹退化模式，模型生成的轨迹变得过长且重复，即使验证分数在表面上看起来有竞争力。具体表现为：轨迹轮数超过60轮但仍获得零正确性奖励、平均轮数急剧增加（从36到37增加到76.3）、过滤后的退化轨迹数量显著增加（从23个增加到194个）。这种情况下模型可能陷入无效的动作循环，无法真正解决问题，只是通过延长轨迹来优化某些奖励分量的期望值。
Echo Trap是长时域智能体RL中典型的行为级失败模式，仅靠标量奖励难以检测。论文通过行为级诊断（如工具使用模式检查、轨迹长度分布分析）来识别和避免这种模式，展示了为什么需要超越分数驱动的训练诊断。
研究动机
现有的自主LLM训练方法通常将问题表述为配方搜索，即在一个固定的训练工具框架下搜索不同的训练配方，但训练工具本身保持静态。这种限制在智能体强化学习中变得尤为尖锐，因为训练过程中的瓶颈可能会在不同阶段发生转移：从奖励稀疏性问题转移到行为崩溃问题，从评估假象转移到低信息rollout组，或者从配方选择转移到需要可复用的诊断工具。标量验证分数只是可见的一种失败模式，更深层的问题是解释训练结果所需的证据和程序本身可能需要进化。例如，在SWE任务中，早期的版本可能只需要粗略的验证趋势分析，而后期的版本可能需要新的行为指标、奖励审计、组方差统计、失败分类、检索程序或回测脚本。这些诊断需求在训练过程中会动态变化，很难预先完全指定。
本文的目标是本文的具体目标是将训练系统本身作为一个改进对象，开发一个能够协同进化LLM策略和训练侧诊断工具的自主训练框架。该框架应该能够在训练运行过程中自动诊断rollout级别的证据，修订诊断方法，回测干预措施，并积累可复用的技能。通过这种双向进化机制，希望实现：在相同数据、代码库和评估协议下，匹配或超越人工设计的RL参考配置；能够检测和避免无效的高分分支，如Git泄露导致的虚假提升；为不同领域保留有效的训练策略，使得后续训练能够从之前的经验中受益。
与已有工作不同的是，本文的独特切入角度是将训练侧诊断工具本身视为可进化的对象，而不仅仅是搜索训练配方。与AutoResearch、Bilevel Autoresearch等方法不同，这些方法主要针对GPT预训练基准进行训练配方优化；与Meta-Harness、AHE等方法也不同，这些方法优化推理侧工具而非训练过程本身。据作者所知，EvoTrainer是首个在智能体LLM强化学习中将训练侧诊断工具本身视为可进化对象的自主训练框架。这一区别使得EvoTrainer能够处理reward分布、组方差、行为轨迹、死组率和跨版本干预证据等更丰富的信号基质，而这些在推理侧工具工作中未被主要涉及。
核心方法
EvoTrainer的整体思路是将自主训练视为一个证据条件的版本转换过程，其中策略版本和训练侧诊断工具共同进化。框架包含三个核心层次：内层是策略自我进化循环，通过受控的探索、训练、证据收集和干预规划来改进策略版本；中层是训练工具反思循环，当现有的指标、分析器、回测或搜索程序不足以支持版本决策时升级诊断工具；底层是持久化记忆和可复用技能库，存储版本谱系、案例模式、操作技能和搜索轨迹，供后续迭代检索和复用。这种双轨进化机制使得训练系统不仅能够改进模型策略，还能改进如何解释和引导训练过程本身。框架的实现依赖一个trainer agent，该agent在人类完成工作区引导后自主运行诊断循环，而昂贵或不可逆的执行决策仍由人工把关。
EvoTrainer的核心创新点是将训练系统分为两个相对独立但相互耦合的进化过程：策略进化和工具进化。策略进化负责生成、比较、修剪、提升和合并可运行的训练版本，通过受控的干预来改进模型策略；工具进化负责诊断版本结果、修订诊断基础设施、回测干预措施，并保留有效的机制。这两个过程通过一个共享的持久化记忆和技能库连接起来，使得失败的分支能够提供负证据，已验证的机制能够在后续版本中被复用。与已有方法相比，EvoTrainer不是简单地在固定诊断模板下进行配方搜索，而是允许诊断指标、分析器、程序和技能随着训练进程的变化而动态调整。这种本质区别使得EvoTrainer能够处理智能体RL中复杂的失败模式，如奖励泄露、行为崩溃和低信息rollout组，这些是静态诊断框架难以捕获的。
方法步骤详情
EvoTrainer的完整工作流程包含四个主要步骤：第一，版本构造与训练。在版本vi处，trainer agent构造一个候选集合，其中每个分支对当前基线应用干预，形成分支。这些分支被实现为隔离的worktrees并在资源允许时并行训练。默认使用单因素干预以确保清晰归因，打包变更只在每个组件都有先前独立支持或测试交互本身时才被允许。第二，证据收集与诊断。每个版本vi产生工件集合，当前训练工具hi解释这些工件并产生诊断di。诊断涉及四层分析：score层检查验证指标，signal层分析奖励方差和死组率，behavior层检查工具使用模式和轨迹长度，version层评估跨版本决策。第三，工具反思与升级。当现有证据无法支持解释版本结果、区分竞争假设或选择可辩护的下次干预这三个功能之一时，出现诊断缺口。EvoTrainer沿四个轴升级工具：指标扩展、分析器专业化、程序修订和外部证据检索。第四，干预规划与执行。基于诊断和工具状态，trainer提出干预并推荐是否保留、修剪、还原或合并每个分支。被提升的分支成为下一个基线，而失败或模糊的分支保留为负证据。整个过程通过持久化记忆层记录版本谱系、案例模式、可复用技能和搜索轨迹。
技术新颖性
EvoTrainer的技术新颖性体现在三个方面：第一，首次将训练侧诊断工具作为进化对象。与AutoResearch、Bilevel Autoresearch等自主实验系统不同，这些系统主要优化训练配方但保持诊断框架固定；与Meta-Harness、AHE等工具优化工作也不同，这些优化推理侧工具而非训练过程本身。EvoTrainer是首个将训练侧诊断工具本身视为可进化对象的自主训练框架。第二，跨域技能复用机制。通过在技能库中存储已验证的操作机制，如StdGroupFilter，EvoTrainer能够跨域复用技能。论文展示了从SWE开发的组方差过滤技能被转移到Math和Coding域，分别带来+0.96和+2.25的提升，这表明机制复用是可操作的而非仅仅归档式的。第三，行为级诊断防止虚假提升。EvoTrainer通过行为级诊断识别和阻止无效的高分分支。最典型案例是SWE-9B v1在Git泄露环境下达到48.80 BC%，但行为审计发现模型通过访问Git历史命令获得参考补丁信息，清理后真实分数为31.04 BC%。如果仅靠分数比较，这个无效分支会被错误地作为突破性改进而提升。
实验结果
论文在三个不同领域评估了EvoTrainer：数学推理（AIME 2024到2025、CNMO 2024共78题）、竞争编程代码生成（175道AtCoder题目）和仓库级软件工程（SWE-4B和SWE-9B各77题）。核心发现如下：第一，EvoTrainer在所有报告列中都达到最强分数。SWE-9B上达到38.16 BC%，相比no-RL基线30.19提升+7.97，相比人工设计RL基线33.77提升+4.39（95%置信区间+2.61到+6.34，p值小于0.001）。Math上平均79.49分，相比no-RL基线73.33提升+6.41（p值小于0.001），相比人工RL基线76.60提升+2.88（p值小于0.001）。Coding上达到51.29分，相比no-RL基线46.71提升+4.57（p值小于0.001），与人工RL基线50.71相当（p等于0.142）。第二，保留的策略在不同领域间存在显著差异。Math向计算感知的工具增强进化，Coding向执行对齐的奖励塑形结合方差感知过滤进化，SWE向更丰富的行为敏感型训练路径进化。这表明EvoTrainer能够适应特定领域的瓶颈而非选择通用模板。第三，更丰富的诊断突破分数主导的饱和。在SWE-9B中，仅依赖标量验证比较和发布风格配方适配的早期路径在v1到v3饱和（31.04到32.89到33.33 BC%），而引入更丰富的诊断、回测和工具引导的干预规划后，轨迹推进到v4的36.30 BC%和v8的38.16 BC%，相比v3获得+4.83的增益（p值小于0.001）。第四，工具审计防止虚假提升。在未清理的SWE-9B仓库状态下，v1达到48.80 BC%，但工具级诊断检测到模型通过访问Git历史命令获得参考补丁，清理后合法分数为31.04 BC%。如果没有这个审计，仅靠分数循环会错误地提升这个无效分支。第五，技能复用改变候选集合。Coding v9展示了保留技能如何改变trainer的候选集合。在v8的shaped continuous CR后，约31%的rollout组仍有近零奖励方差，trainer检索SWE中开发的StdGroupFilter并适配，驱动v9达到50.21 Avg@8（+1.17）并为Dual-Level Filter提供基础，v10最终达到51.29（+1.08）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SWE-9B | BC% (Avg@8) | 38.16 | 33.77 (Human-engineered RL) | +4.39 (95% CI [+2.61, +6.34], p < 0.001) |
| Math Aggregate (AIME 2024/2025 + CNMO 2024) | Avg@8 | 79.49 | 76.60 (Human-engineered RL) | +2.88 (p < 0.001) |
| Coding (AtCoder Beginner Contest) | Avg@8 | 51.29 | 50.71 (Human-engineered RL) | +0.57 (95% CI [-0.18, +1.34], p = 0.142) |
| SWE-9B | BC% (vs no-RL base) | 38.16 | 30.19 | +7.97 (p < 0.001) |
| Math Aggregate (vs no-RL base) | Avg@8 | 79.49 | 73.33 | +6.41 (p < 0.001) |
| Coding (vs no-RL base) | Avg@8 | 51.29 | 46.71 | +4.57 (p < 0.001) |
局限与改进
EvoTrainer的当前实现主要受到计算经济性的限制。一个完整的运行大约消耗4.0乘以10的8次方个trainer-agent推理tokens，这是在RL训练计算之外的额外开销。虽然SWE的总GPU小时数仍低于人工设计的RL参考（约92,800对140,000），表明trainer推理替代而非增加了训练侧搜索，但这个成本可能限制其广泛应用。其次，自主训练与工具进化依赖于具有强大长上下文推理能力和文献检索能力的trainer模型，实验使用的是Claude Sonnet 4.6，如果使用较弱模型可能会限制效果。第三，保留的轨迹仅跨越每个域7到10个版本，当版本达到数百个时，案例记忆和技能库可能需要主动修剪或层次化组织。第四，每个版本使用单个训练种子，随机性通过每个任务的成对bootstrap报告（B等于10,000重采样），这是遵循大规模LLM-RL实践的，但可能无法捕捉种子间的变异性。作者也承认，目前的系统在跨域技能迁移方面仅验证了StdGroupFilter这一个例子，其他机制的复用性还需要进一步探索。
独立分析的弱点
论文独立分析的第一个弱点是计算开销较高。虽然论文声称trainer推理替代了训练侧搜索，但4.0乘以10的8次方个trainer tokens仍然是一个非trivial的额外开销，对于资源有限的研究团队可能难以承担。改进方向包括：第一，探索更高效的trainer推理策略，如缓存和增量推理；第二，研究trainer模型的蒸馏和压缩；第三，设计更智能的候选分支选择策略，减少不必要的探索。第二个弱点是单种子训练的限制。每个版本仅使用单个训练种子，虽然通过bootstrap评估统计显著性，但可能无法捕捉模型初始化和训练动力学中的随机变异性。改进方向包括：第一，在关键版本上使用多种子验证；第二，开发跨版本种子共享机制；第三，研究更健壮的统计方法来处理种子变异性。第三个弱点是技能库的组织和检索机制尚不成熟。论文仅展示了StdGroupFilter这一个跨域复用的例子，对于如何组织大量技能、如何检索最相关技能、如何适配技能到新域等问题缺乏系统研究。改进方向包括：第一，开发结构化的技能表示和索引机制；第二，研究技能相似度度量和检索策略；第三，探索技能组合和层次化复用的方法。第四个弱点是领域特定的诊断机制主要靠手工设计。虽然EvoTrainer能够进化诊断工具，但初始诊断框架仍需人工设计，且不同领域的诊断指标需要领域知识来确定。改进方向包括：第一，开发诊断机制的元学习框架；第二，研究诊断指标的自发现和自适应调整；第三，构建跨域的通用诊断原语库。
未来方向
作者提出的未来工作方向包括构建能够学习如何解释、修订和改进训练过程本身的trainers。基于论文成果可以延伸的方向包括：第一，技能库的规模化研究。验证更多跨域可复用机制，探索技能的自动发现、索引和组合方法，研究技能在不同领域间的迁移规律。第二，多trainer协作机制。设计多个specialized trainers协同工作的框架，每个trainer专注于特定类型的诊断和干预，通过组合实现更强大的自主训练能力。第三，训练进程的预测性分析。开发基于历史轨迹的训练进程预测模型，提前识别潜在的瓶颈和失败模式，实现预防性干预而非反应性诊断。第四，人类与AI协作的混合训练范式。研究人类expert与trainer agent的最优分工，人类负责高层战略决策和稀有事件处理，trainer负责常规的迭代优化和诊断。第五，理论分析框架。开发EvoTrainer类型系统的理论分析框架，理解双轨进化的收敛性、稳定性和效率边界，为设计更强大的自主训练系统提供理论基础。第六，评估基准的标准化。建立自主训练系统的标准化评估基准，包括不同领域的测试环境、基线方法和评估协议，促进该方向的可比研究和进步。
复现评估
论文的复现性评估如下：开源情况方面，代码已开源，这为研究社区提供了实现细节和实验代码。数据方面，Math使用BigMath-Hard数据集的6,429个问题（移除一个与AIME 2024 P5重叠的例子），评估在78个竞赛问题（30个AIME 2024、30个AIME 2025、18个CNMO 2024）；Coding使用TACO-verified的11,897个验证问题，评估在175个LiveCodeBench-v6子集；SWE使用swe-rebench-v6的8,622个训练实例，评估在77个Python实例。所有数据集都是公开可获取的。算力方面，论文提供了详细的计算预算分析，SWE-9B使用约92,800 GPU小时，Human-engineered RL使用约140,000 GPU小时，表明EvoTrainer的计算开销在合理范围内。额外消耗约4.0乘以10的8次方个trainer-agent tokens。评估协议方面，所有域使用Avg@8（每个item 8个独立rollout的平均值），使用单一随机种子（seed 42）。Math正确性由冻结的Qwen3.5-4B judge判定，Coding正确性由stdin和stdout执行判定，SWE通过BC%（通过隐藏fail-to-pass测试的有效执行比例）评估。统计评估方面，论文提供了详细的统计显著性分析，包括成对bootstrap（B等于10,000）和Wilcoxon signed-rank检验，报告95%置信区间和p值。难度评估方面，复现难度中等偏高。虽然代码开源且数据公开，但需要：配置Docker环境用于SWE评估；实现冻结的评估judge；管理大规模RL训练计算；部署trainer agent用于诊断和规划。对于有充足计算资源和工程经验的研究团队是可复现的，但对于小规模实验室可能存在挑战。
论文图表