ReTerm：自改进终端智能体的错误恢复训练 ReTerm: Recovery Training for Self-Improving Terminal Agents

完整流程六步。第 1 步失败采集：基座模型（Qwen3.5-9B）对 TMax-15K 中每个任务在虚拟机容器内采样多次尝试，记录含推理内容、命令、观察的完整历史；每次尝试结束时暂停 VM、打快照、恢复运行后再跑验证器，只保留失败尝试的快照与历史，输入输出分别是『任务+初始状态』与『失败快照+失败历史』。第 2 步恢复生成：恢复快照后，教师模型 DeepSeek-V4-Pro 只被告知『上次尝试失败了』，拿不到隐藏测试的任何反馈，必须遵循『检查继承状态→诊断→规划并执行修复→验证』的恢复工作流，输出候选恢复轨迹。第 3 步四维过滤：验证器过滤（必须通过）与格式过滤（剔除畸形消息/工具调用）用确定性规则；合规过滤（违反任务约束的动作）与效率过滤（重复无效命令的死循环）先规则标记、再由 DeepSeek-V4.1-Flash 逐例复核，最终留下约 1 万条高质量轨迹。第 4 步 SFT：输入为任务指令 $x$、失败历史 $h_f$ 与精简恢复提示 $r$（训练时刻意去掉生成时的详细工作流引导），损失仅覆盖教师 token，用 6K 条轨迹训练（AdamW，全局 batch 16，学习率 $5\times10^{-6}$）。第 5 步 ReTerm-GRPO：每次更新采 8 个原始任务组加 2 个恢复任务组，每组 16 条 rollout，全局 batch 160，学习率 $5\times10^{-7}$，最大生成 8192 token、65k 上下文、至多 32 轮交互，训练在 16 张 A100 80GB 上进行。第 6 步队列维护：新恢复任务插入队首优先采样，超过容量 $K$ 时淘汰最旧任务，兼顾新鲜度与样本效率。

技术新颖性有四点。一是错误分布匹配：SFT 与 RL 的失败样本全部来自智能体自身执行，避免了 TermiGen 人工注入错误的分布偏移，这是『self-improving（自改进）』一词的准确含义——训练信号随策略共同演化。二是失败状态的可复现保存：验证前打 VM 快照的设计隔离了验证器对环境的改动，保证恢复训练面对的是纯失败现场，这个细节多数 agent RL 工作并未处理，却直接决定数据质量。三是恢复任务队列：以『插队 + FIFO 淘汰』在容量约束下同时缓解『单批失败样本不足』与『旧策略失败分布过时』两个矛盾，无需为收集失败而额外 rollout。四是把自纠错训练从静态推理（SCoRe 类工作）拓展到动作会持久改变环境的终端场景，并证明恢复目标与任务目标可以联合优化而不互相拖累——Figure 6 中原始任务奖励在训练全程保持稳定上升即是直接证据。

独立分析四个弱点并给出改进方向。弱点一：教师依赖造成『冷启动悖论』——想自改进却先要一个更强的老师，对没有强教师 API 的小团队或更小模型不友好。改进方向：采用 STaR 式拒绝采样自举，只用自己通过验证的恢复轨迹迭代自举，或 weak-to-strong 逐级提升。弱点二：稀疏二值奖励无法区分『侥幸修好』与『系统性恢复』，诊断质量完全没有信号。改进方向：为恢复组加入过程奖励，例如自动检测诊断结论与后续命令的因果一致性，或用教师轨迹做 DPO 式偏好对照。弱点三：恢复训练可能诱发『过度怀疑』——模型学会对本来正确的状态反复检查，导致轮次与 token 开销上升，而论文未报告恢复训练后的效率指标（平均轮次/token 数），这一隐性代价无法排除。改进方向：在奖励中加入效率惩罚项，或对『无错而修』的样本做负向训练。弱点四：失败来源限于 TMax-15K 的任务分布与 65k 上下文、32 轮交互预算，数百轮量级的长程任务中资源管理类错误覆盖不足——而这类错误恰恰是恢复率最低的类别之一。改进方向：引入长程任务池与自适应交互预算，定向扩充资源管理类失败样本。

作者提出的方向：明言恢复能力仍有巨大提升空间（四类错误恢复率不超过 32%），后续应继续提高跨错误类别的恢复率；代码、数据、模型全部开源以支持社区沿此路线迭代。基于本文成果可延伸的研究：一是过程级恢复奖励与错误类型条件化课程，把 Figure 5 揭示的短板（规划、验证、资源管理错误）作为重点训练对象；二是把恢复任务队列推广为带优先级的持续学习缓存，按『与当前策略失败分布的距离』采样，理论上可连接到持续强化学习的分布漂移分析；三是与环境理解类方法（如 ECHO 的观测预测目标）结合，让智能体先预测动作后果再执行，把事后恢复提前为事前规避；四是跨具身迁移：把终端恢复训练范式搬到 GUI 智能体、数据库运维 agent 等同样『动作改变状态』的场景；五是规模律研究：在 4B 到 70B 上重复本配方，检验恢复能力随模型规模的 scaling 行为；六是探索 AIME 2025 上 +20 分这一意外增益的机理，搞清恢复训练为何能反哺纯推理能力。

复现条件较好。开源情况：代码、ReTerm-10K 数据与 ReTerm-9B 权重均在 GitHub（twothsnd/ReTerm）发布；附录给出系统提示词、恢复提示词、教师恢复工作流以及合规/效率审查的完整 prompt，数据构造全流程可审计。数据与基座均可公开获得：任务来自 TMax-15K，基座为开源 Qwen3.5-9B，七个评测基准全部公开；教师需调用 DeepSeek-V4-Pro API，过滤复核需 DeepSeek-V4.1-Flash，会产生一定的 API 成本。算力：16 张 A100 80GB 做全参数 SFT 与 GRPO，属中大型但并非不可及的配置；真正的门槛在工程侧——多轮 agent rollout 配合 VM 快照的 RL 基础设施需要较强的系统工程能力。超参披露完整：学习率、batch 组成、每组 rollout 数、65k 上下文、32 轮上限、评测温度 1.0/seed 0 均已给出。综合评估：拥有 8 卡级 A100 集群与 agent RL 框架经验的团队可在数周内复现主结果；只想使用模型与数据则零门槛。