面向终端智能体的环境演化 Environment Evolution for Terminal Agents
离线逐代演化环境难度并按谱系调度训练，Terminal-Bench 最高提升18个百分点
前置知识
可验证奖励RL环境
为智能体提供任务指令、可交互沙盒和自动验证器的训练环境：智能体在终端中执行多轮操作，验证器以测试脚本等方式判定任务是否完成，从而给出可验证的奖励。这类环境通常由指令（做什么）、环境本身（在哪做）、验证系统（怎么判分）三部分组成，三者的对齐质量直接决定学习信号是否有效。
本文的操作对象就是这类环境，理解其三组件构成才能明白演化如何沿指令、环境、验证系统分别修改并用三道验证器把关质量。
GRPO
Group Relative Policy Optimization，组相对策略优化：对同一任务采样一组轨迹，用组内奖励的相对优势代替价值网络来更新策略，无需 critic。关键性质是若一组内所有轨迹全对或全错，组内优势为零、不产生梯度，因此环境难度必须落在'部分可解'区间才能提供有效学习信号。
这是论文使用的训练算法，也解释了为什么全失败 rollout 组没有学习信号，以及 EL 调度器为何要刻意维持部分可解状态。
On-policy 与 Off-policy
On-policy 方法用当前策略采样的数据来评估难度或生成训练信号，与被训练模型强耦合；Off-policy 则独立于当前策略。本文的核心论点是：环境难度不应绑定某个模型的通过率（那是模型弱点），而应基于环境自身、以参考知识分布度量，从而与训练过程解耦、提前离线构造。
标题中的 off-policy 正是与协同演化方法的本质区别，理解这一点才能看懂难度公式为何要把模型相关项替换成参考分布项。
无监督环境设计（UED）与 POET
强化学习中自动构造与筛选训练环境的框架，包括基于遗憾的生成、优先级关卡回放、增量关卡编辑等技术，目标是让环境始终位于智能体能力边界附近、保持可解又有挑战。POET 更进一步，让环境与智能体种群共同演化并利用'垫脚石'任务。
环境演化是 UED/POET 思想在 LLM 终端智能体上的延续，本文与协同演化、集成等基线的对比全都围绕这一脉络展开。
终端智能体（Terminal Agent）
通过命令行与计算系统交互的 LLM 智能体，能够浏览文件系统、执行命令、安装依赖并完成长程任务，代表 harness 有 Claude Code、SWE-agent、OpenHands 等。其能力通常用 Terminal-Bench 等基准评测，训练依赖可执行、可验证的终端沙盒环境。
论文的应用对象就是终端智能体：实验全程使用 Claude Code 作为 harness（256K 上下文、自动压缩），并在 Terminal-Bench 2.1 Verified 上评测。
场景-技能轨迹表示
论文把智能体的高层执行轨迹建模为场景与技能的交替序列 $\xi=(\sigma_0,\kappa_1,\sigma_1,\ldots,\kappa_L,\sigma_L)$，其中 $\sigma_t$ 是第 $t$ 步所处的高层场景（如配置数据库环境），$\kappa_t$ 是该场景下应用的技能（如编写 bash 脚本）。这一层次化表示把多轮交互拆成可单独分析的单元。
三个难度方向（场景、技能、长度）正是对这个序列分别做替换场景、替换技能、插入场景-技能对的操作，序列表示是整个方法的核心载体。
研究动机
为训练终端智能体，近期工作通过 GitHub 仓库、技能、网页等资源从零合成大规模可验证环境，但前沿模型反复 rollout 几乎都能解出这些环境，无法区分好坏轨迹，只能弃用，既浪费环境构建成本又降低训练分布的多样性。更先进的智能体-环境协同演化方法在种子环境上做 on-policy rollout，把模型暴露的弱点存入弱点库来指导新环境合成，但有两个结构性缺陷：其一，产生的环境同时受 rollout 模型与初始环境分布约束，泛化性差；其二，随着训练推进模型失败越来越稀疏，环境饱和后难以持续提供学习信号。作者的大规模质量评估还发现，开源终端环境普遍存在奖励信号质量低的问题，例如任务指令与验证系统错位、环境损坏等。种子环境筛选时以 Claude Opus 5 通过率不超过 4/8、平均轮次不少于 30 为门槛，从 47,678 个环境中只筛出 127 个，可见现有环境的挑战性与质量都不足以支撑前沿模型的持续训练。
本文的目标是本文目标是构造一种不依赖任何 rollout 模型（off-policy）的环境难度提升机制：从多轮学习目标出发推导环境难度的模型无关公式，识别出决定难度的三个可操控因子；据此对已有环境做增量式演化，逐代提高难度、形成经过验证的难度谱系；再设计调度器在 RL 训练中按代际顺序投放这些环境，使策略始终面对部分可解的挑战，在整个训练过程中持续获得有效学习信号。最终在 Qwen3.6-27B 与 Qwen3.6-35B-A3B 两个模型上通过 200 步长程 GRPO 训练验证，在 Terminal-Bench 2.1 上显著超过协同演化与环境集成两类基线。
与已有工作不同的是，已有方法的难度信号都绑定具体模型：环境集成只组合失败环境的原语，协同演化只针对当前模型在种子场景下暴露的技能选择错误。本文的独特切入点是把'环境难度'从'模型弱点'中数学地剥离——通过负对数似然分解，把模型相关量 $D_\theta(\xi)$ 替换为基于广泛世界知识的参考分布 $p_T$ 下的 $D_T(\xi)$，得到环境自身固有的难度度量，并由此识别出执行长度 $L$、场景新颖度 $-\log p_T(\sigma|g)$ 与技能稀有度 $-\log p_T(\kappa|\sigma,g)$ 三个演化方向。由此可以严格论证协同演化只覆盖了完整难度空间的一个子集，而环境演化直接操作 $(L, -\log p_T(\sigma|g), -\log p_T(\kappa|\sigma,g))$ 全空间，是更一般的范式。
核心方法
直觉上，好的训练环境应像逐步加码的关卡：智能体先解出第 1 代，训练到位后再投放更难的第 2 代，如此递进。技术上，作者先从多轮学习目标的负对数似然出发推导难度公式 $D_T(\xi)=\sum_{t=1}^{L}[-\log p_T(\sigma_{t-1}|g)-\log p_T(\kappa_t|\sigma_{t-1},g)]$，指出难度由解算轮数 $L$、场景新颖度与技能稀有度共同决定；再把环境演化实现为一个循环工程化的多智能体 harness，包含 Proposer、Reviewer、Modifier 与三个并行 Verifier，通过两个带门控的反馈回路（计划细化、环境细化）对环境做逐代增量修改，每一代候选都必须通过可解性与质量双重验证；最后用演化谱系调度器（EL Scheduler）按代际顺序在训练中投放环境，直到当前环境在 8 次 rollout 中通过超过 6 次才继续推进，保证 GRPO 始终拿到有组内优势的 rollout 组。
核心创新是把'环境难度'与'模型弱点'在数学上分开。把高层轨迹建模为场景-技能交替序列 $\xi$，模型特定难度为 $d_\theta(z_t|g)=-\log p_\theta(\sigma_{t-1}|g)-\log p_\theta(\kappa_t|\sigma_{t-1},g)$；再用参考分布 $p_T$ 定义环境族固有难度 $d_T$，两者之差的正部 $\delta_\theta(z_t|g)=[d_\theta(z_t|g)-d_T(z_t|g)]_+$ 才是该模型的弱点。由此可推出 on-policy 协同演化的信号约为 $\sum_t e^\theta_t[-\log p_\theta(\kappa_t|\sigma_{t-1},g)]$，即只覆盖种子场景内的技能选择错误，既不控制所需解算步数 $L$，也不系统提高场景新颖度。环境演化则直接在完整难度三元组上做 off-policy 操作，无需目标策略的任何 rollout，因此可提前离线构造谱系，学习信号更持久、跨模型泛化更好。
方法步骤详情
每代演化分两个门控回路。回路一（计划细化）：Proposer 从当前环境提取执行序列 $\xi_E=(\sigma_1,\kappa_1),\ldots,(\sigma_L,\kappa_L)$，按选定方向修改——length 插入新场景-技能对以增加依赖链，scenario 替换场景但保留配对技能，skill 替换技能；由前后差分生成演化计划，交 Reviewer 按评分准则迭代审查，通过则进入回路二，被拒或该方向预算耗尽则换下一方向（三个方向每代随机排序，全部失败才终止）。回路二（环境细化）：Modifier 施加残差修改 $\Delta E$，候选并行通过三道验证：Oracle 验证参考解在沙盒成功、Invalid-test 验证空解会失败（保证验证系统可靠）、通用评分准则验证器检查质量；开发期叠加人工审查，问题转化为新准则回灌。演化力度 low/high/max 分别限制每代只编辑一个场景-技能对、一段连续区间或不限范围，默认取 high。训练时 EL 调度器按序投放谱系：当环境 8 次 rollout 通过数超过 $\tau=6/8$ 就移到下一个环境，本代用尽后进入下一代。
技术新颖性
新颖性体现在四点。第一，难度建模：以往普遍用 on-policy 通过率定义难度，本文首次从多轮学习目标的 NLL 分解推导出 off-policy 难度公式，并区分环境难度与模型弱点，这一分析本身就能解释协同演化方法的适用边界。第二，机制设计：演化以序列层面的最小编辑（插入或替换单个场景-技能对）为原子操作，配合演化力度三级控制编辑范围，使每代难度增量可控且效应可归因——Table 1 证明单步效应与 15 步均值效应方向一致。第三，质量控制：按指令、环境、验证系统三组件分别度量突变率，加上三道并行验证器与'人工问题转化为新评分准则'的闭环，直接针对开源环境奖励错位的老问题。第四，训练集成：EL 调度器把谱系变成课程，避免 GRPO 出现全失败 rollout 组，实验显示前 50 步的部分可解组比例与平均奖励均显著高于随机调度。
实验结果
主要结果五组。其一，力度消融（Figure 3）：以 Hy4、Opus 5、GPT-5.6 Sol 独立 rollout 评估 15 代谱系，low 力度通过率波动且始终大于 0，high 与 max 使其单调降到 0、平均轮次持续上升，max 更早触零；high 下指令突变率维持 95%–100%，被选为默认。其二，方向消融（Table 1）：单步下 length 使通过率降 7.1 个百分点、总突变率最小（63.8%），scenario/skill 使平均轮次增 13.5/12.5，且 15 步均值与单步效应一致。其三，RL 主实验（Figure 7）：GRPO 200 步后，27B 模型峰值 71.5%（step 170），高于协同演化 62.9% 与集成 60.0%；MoE 模型峰值 64.9%（step 190）高于 55.1% 与 52.8%，即较各自 RFT 起点（约 57.1%/46.9%）提升 14.4 与 18.0 个百分点。其四，EL 调度器（Figure 5）：前 50 步部分可解 rollout 组比例与奖励均高于随机调度。其五，轨迹长度（Figure 6）：27B 增至 190 轮、232k token，MoE 174 轮、192k token，每轮 token 从约 951/947 升至 1221/1103。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Terminal-Bench 2.1 Verified（Qwen3.6-27B，GRPO 200 步 RL，每 10 步离线评测） | 峰值准确率（5 次运行平均） | 环境演化：71.5%（step 170），较 RFT 起点提升 14.4 个百分点 | 协同演化 62.9%（step 130）；环境集成 60.0%（step 90） | 较最强基线协同演化高 8.6 个百分点，较集成高 11.5 个百分点 |
| Terminal-Bench 2.1 Verified（Qwen3.6-35B-A3B MoE，GRPO 200 步 RL） | 峰值准确率 | 环境演化：64.9%（step 190），较 RFT 起点提升 18.0 个百分点 | 协同演化 55.1%（step 160）；环境集成 52.8%（step 70） | 较最强基线协同演化高 9.8 个百分点，较集成高 12.1 个百分点 |
| 演化环境难度验证（同一种子，15 代谱系，三个前沿模型独立 rollout） | 8 次 rollout 通过率与平均轮次 | high/max 力度下通过率 15 代内单调降至 0，平均轮次持续上升，且对 Hy4 preview、Claude Opus 5、GPT-5.6 Sol 三个模型一致 | low 力度通过率波动且始终大于 0；种子环境门槛为通过率≤4/8、平均轮次≥30（Claude Opus 5） | 证明 off-policy 演化不依赖 rollout 模型也能一致提升难度 |
局限与改进
作者承认的局限：其一，通过率分辨率有限——一旦谱系进入零通过率区间，进一步演化的效果无法用 rollout 结果可靠评估，因此实验统一以 15 代为上限；其二，附录版本说明明确表示更多细节将在未来版本补充，且'同一模型既构建环境又从中学习'的 RSI 实验结果尚未报告；其三，开发阶段依赖人工审查，问题虽会转化为评分准则回灌，但这暗示当前自动验证器尚不能完全覆盖质量问题。我自己的观察：参考分布 $p_T$ 由深度研究型 agent 通过网络搜索估计，其成本与主观性未被量化，难度定义的可复现性依赖这个估计器；验证器质量仍是地基，若 Oracle 参考解有偏差，'难度提升'可能部分来自任务语义漂移（high 力度下指令突变率高达 95%–100%）；EL 调度器每步需 8 次真实 rollout 估计通过率，开销不小；$B=8$、$\tau=6/8$ 等超参数的敏感性未做消融；实验仅限终端域，向 SWE 与 Computer-Use 的迁移只是展望。
独立分析的弱点
第一，语义漂移风险：high/max 力度下指令突变率长期维持在 95%–100%，环境与验证系统也大幅改动，逐代累积后第 15 代与种子的语义关联可能已经很弱，'更难'未必等于'更有价值'，建议引入谱系内语义一致性度量或约束演化与种子任务的领域相关性。第二，难度估计昂贵且主观：$p_T$ 依赖深度研究 agent 的网络搜索，调度又需要每环境 8 次真实 rollout，两者叠加使数据管线成本高，可探索先用廉价代理指标（如静态复杂度特征）预筛再 rollout。第三，调度器过于线性：EL 严格按代序推进且阈值固定 6/8，若某环境卡在 5/8 会阻塞整个谱系，可引入多谱系并行、失败回退或贝叶斯通过率估计。第四，验证回路只覆盖已见过的失败模式：评分准则由历史问题转化而来，对全新领域的缺陷可能失效，建议定期注入对抗性人工审查或自动化红队测试。第五，只验证了 GRPO 一种算法与 Claude Code 一种 harness 的组合，与 PPO 或其他 harness 的适配性未知。
未来方向
作者明确提出两个方向：把环境演化扩展到 SWE 智能体与 Computer-Use 智能体；以及 RSI 实验——让同一个模型既构建环境又从中学习，形成真正的自我改进闭环。基于本文成果还可延伸：把 $p_T$ 的估计从深度研究 agent 换成可增量更新的知识索引，实现难度公式的在线校准；将 EL 调度器与基于遗憾的 UED 方法结合，在多个谱系间做自适应采样；探索演化方向与模型弱点的自动对齐，即用 $[d_\theta-d_T]_+$ 的差值选择下一代的演化方向，兼取 off-policy 难度与 on-policy 弱点两者的长处；系统研究谱系在 SFT 与 RL 之间的复用——论文已观察到种子环境做过 SFT 后演化环境仍能提供有效 RL 信号，这一现象值得量化；以及为调度器引入通过率的不确定性估计，减少每环境的 rollout 预算。
复现评估
复现难度中高。有利条件：方法描述完整——难度公式、两个回路与三类验证器、演化力度三级定义、EL 调度器更新式（$B=8$、$\tau=6/8$）均已给出；种子环境来自 Hugging Face 与 GitHub 公开资源（47,678 个筛到 127 个，再经 SkillSynth 补充并均匀采样成 500 个平衡池）；评测用公开的 Terminal-Bench 2.1 Verified；模型 Qwen3.6-27B/35B-A3B 开源可得。不利条件：本版本未提及代码或数据发布，且细节待未来版本补充；合成与验证依赖 Claude Opus 5、GPT-5.6 Sol、Hy4 等前沿模型担任 proposer/reviewer/verifier，API 成本高；RL 训练为 256K 上下文、200 步 GRPO、部分 rollout 加全异步基础设施，每任务 32 CPU 核、48GB 内存、4 小时超时，需要工业级算力；开发期还有人工审查。总体上小规模验证演化机制可行，但完整复现 71.5%/64.9% 的结果门槛很高。
论文图表
对比三种环境扩展范式：(a) 环境集成把多个难的原语环境集成/组合成一个更难的新环境；(b) 智能体-环境协同演化让目标智能体在种子环境上 rollout，把失败样本存入弱点库以指导新环境构造；(c) 本文提出的环境演化，演化器利用推导出的难度信号沿谱系逐代产生 $E_{(i,g)}, E_{(i,g+1)}, \ldots$，全程无需目标模型 rollout。
这张图一图定位了本文在方法版图中的位置：与集成、协同演化的本质区别在于'演化环境本身'且 off-policy，是理解全文动机与贡献声明的入口。