Terminal-RSI：递归自改写与策略精炼驱动的自提升终端智能体 Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine
递归自改写与评论家继承式策略精炼交替，终端智能体成功率从20.68%升至50.58%
前置知识
PPO（近端策略优化）
策略梯度方法：用重要性比率 $\rho_j = \pi_\theta(y_j|h_j)/\pi_{old}(y_j|h_j)$ 加权优势，并以裁剪目标 $\min\{\rho_j A_j, \mathrm{clip}(\rho_j, 1-\epsilon_\ell, 1+\epsilon_h)A_j\}$ 限制单次策略更新的幅度，保证训练稳定。本文采用非对称裁剪 $\epsilon_\ell=0.30$、$\epsilon_h=5.00$，KL 与熵系数均为 0。
RPR 阶段的联合优化目标（论文式 14）直接建立在这种裁剪代理损失上，理解训练设置与超参表离不开它。
GAE（广义优势估计）
用 TD 残差 $\delta_i = r_i + \gamma(1-d_i)V_{i+1} - V_i$ 的指数加权和 $A_i = \sum_k (\gamma\lambda)^{k-i}\delta_k$ 估计优势函数，在偏差与方差之间折中。标准版本沿整条 token 序列衰减，导致远处信用按文本长度指数缩小。
本文的 TB-GAE 是对它的直接改造：把衰减时钟从 token 换成回合边界，必须先掌握标准形式才能看清改动到底在哪里。
Actor–Critic 与解释方差（EV）
价值网络 $V_\phi$ 预测期望回报并作为基线降低优势估计方差；其质量用 $EV = 1 - \mathrm{Var}(G - V_\phi)/\mathrm{Var}(G)$ 衡量，负值表示比常数基线还差，正值才说明价值学习有效。
本文的核心机制是评论家权重跨阶段继承与相位内校准，Figure 9 的 EV 曲线是检验该机制是否真正生效的主要量化证据。
终端智能体与 Terminal-Bench
终端智能体在沙盒 shell 中多轮交互——检查仓库、修复依赖、执行恢复操作——评估标准是环境终态是否通过受保护的验证器，而非回答是否流畅。LHTB 进一步要求跨长依赖链的多轮修复与隐藏压力测试下的完整解决。
论文的问题定义（时间膨胀、部分检查与终局门控的错位）全部源于这类任务的执行契约，不懂任务形态就看不懂动机。
RSR（递归自改写）
一种 actor-only 的自提升循环：智能体探索任务，只保留通过验证器的成功轨迹；规划器把成功经验改写为可复用的 runbook，审查者做模式/工件/兼容性防泄漏门控，随后由策略在目标 harness 中全新执行，把验证通过的干净回放作为监督数据。
它是本文递归循环的一半，RPR 的起点就是 RSR 产出的新 actor，理解两阶段之间的参数交接必须先懂 RSR。
稠密奖励与奖励塑形
终端验证器包含多个语义检查项，稠密奖励按通过项数给部分信用以支持探索。风险是「高分的失败」：轨迹通过了大量局部场景检查却没有通过终局门控，却仍累积了可观奖励。
FDR 到 SPR 的奖励演化正是为了压制这类失败，是理解本文动机与 3.4 节固定轨迹重打分实验的前提。
研究动机
终端智能体的强化学习要求在真实 shell 中完成仓库检查、依赖修复与恢复，直到环境终态通过受保护的验证器，这带来三个相互纠缠的障碍。其一是时间膨胀：token 生成的时钟与环境变化的时钟不同步——数百个 token 才表达一个 shell 动作，而数千个观察 token 不引入任何新的策略决策。标准 GAE 沿交错的 token 链传播信用时，折扣与迹因子按文本长度衰减远处信用；即便把观察从策略损失中 mask 掉，它们仍是递归节点，于是决策相同、终局相同的两次执行，仅因日志更冗长就获得不同信用。其二是递归监督下的价值漂移：RSR 改写改变了 actor 偏好的动作分布，critic 随后遇到从未见过的历史；奖励重校准又改变了被预测的回报本身。重置 critic 会丢弃已学到的回报结构，无条件迁移则保留系统性预测误差，这些误差会进入 token 优势与价值 bootstrap，更强的 actor 并不自动给出可靠的价值。其三是奖励错位：在 4,352 条审计轨迹上，旧的家庭稠密奖励（FDR）把 50.09% 的奖励质量分给了失败轨迹，158 条失败轨迹得分不低于 1，48 条通过了全部已执行的场景检查却没过终局门控——部分信用在策略变强后反而庇护了不完整行为。
本文的目标是本文的目标是构建一个能跨多个递归周期稳定自我提升的终端智能体训练框架：让经改写验证的成功探索可复现地转化为策略改进，同时让延迟到终局的验证信号能准确归因到做出关键决策的回合。具体而言，作者以 Qwen3.8-27B（262,144 token 模型上下文）为骨干，定义五个检查点 Base→RSR-1→RPR-1→RSR-2→RPR-2，在 Terminal-Bench 2.1/3.0/4.0/Hard、LHTB 与 SWR100 六个套件上验证，希望把四套件等权平均成功率从 Base 的 20.68% 大幅推进（最终达 50.58%）。机制层面要同时解决三件事：把信用分配的时钟从文本长度换成回合边界（TB-GAE）；让部分信用随训练进展服从于严格通过（FDR→SPR 奖励演化）；以及在监督式策略转换中保留而非重置评论家，并在每个新精炼相位内先做局部校准再联合优化，避免继承的系统性误差污染优势估计。
与已有工作不同的是，已有递归监督工作（STaR、ReST、RSR）只做 actor 侧的生成—过滤—训练，评论家要么缺席要么被忽略；T1 等终端 PPO 工作有预热价值网络，却没有跨递归周期的交接机制。本文的独特切入是把递归的对象从 actor 扩展为完整的 actor–critic：RSR 阶段 actor-only 更新，critic 权重原封不动地穿过监督转换（$\Delta\phi|_{RSR}=0$）；进入 RPR 阶段后，先用冻结的 actor 做恰好 4 次 critic-only 校准，再开始联合 PPO 更新。其次，作者拒绝把 TB-GAE、FDR、SPR 宣称为孤立贡献，而是强调这些原语在递归耦合下的相互作用，并明确把 PPO、GAE 与价值预热归于前置工作。第三，在方法学上用固定轨迹重打分——同一批 4,352 条轨迹、不变的结果标签，只替换奖励公式——把「奖励如何分配信用」与「奖励如何影响训练」干净分离：失败奖励占比从 50.09% 降至 28.72% 完全可归因于分配方式而非策略变化，这是一种少见的评估纪律。
核心方法
直觉上，终端任务的成功由少数关键 shell 决策决定，但标准 RL 沿 token 链衰减信用、沿阶段丢弃评论家知识，两者都在破坏递归自我提升所需的连续性。Terminal-RSI 的整体路线是一个五阶段递归循环：Base（Qwen3.8-27B）→ RSR-1（actor-only 验证改写）→ RPR-1（actor–critic 精炼，FDR 奖励）→ RSR-2 → RPR-2（保留分支用 SPR，actor 学习率降 5 倍至 $1\times10^{-7}$）。每个 RSR 阶段由当前 actor 在任务池（2,400 个语义验证任务加 600 个补充终端任务）上探索，只保留通过验证器的轨迹，改写为 runbook、经防泄漏审查后在目标 harness 中重新执行，得到干净演示做 SFT 式更新，critic 权重完全不动；每个 RPR 阶段先做相位局部 critic 校准（RPR-1 从在 SWR 上预热一个 epoch 得到的 Warm-up Critic Model $\phi_{seed}$ 出发，RPR-2 直接继承 RPR-1 的评论家），随后进入 PPO 联合优化。基础设施采用 T1 的 Token-In/Token-Out 契约、slime 协调、Megatron 3D 并行加 4 路上下文并行、SGLang 采样与 Harbor 执行，全局批 256（过采样到 288 以平滑长尾样本延迟）。
核心创新有三点。第一，评论家继承式递归：监督转换期间 $\Delta\phi|_{RSR}=0$，每个新精炼相位先做 4 次 critic-only 校准再联合训练——既不同于每轮重置 critic（丢失回报结构），也不同于无校准迁移（保留系统偏差）。第二，TB-GAE 把优势估计的衰减时钟从 token 换成回合边界：同回合内 $(\Gamma_j,\Lambda_j)=(1,1)$，跨回合切换为 $(\gamma_{turn},\lambda_{turn})$，观察 token 只条件化预 token 价值 $v_j$ 但不是递归节点，因此跨 $B$ 个回合边界的衰减恰为 $(\gamma_{turn}\lambda_{turn})^B$，与观察长度和回合内 token 数无关；文中还给出跨计算分区的精确续接条件与截断误差 $A^{full}_j - A^{cut}_j = W_{j,b+1}A^{full}_{b+1}$。第三，奖励演化：FDR 用家庭 0.90 分位数 $D_f = Q_{0.90}(N|f)$ 归一化进度 $R_{FDR} = \max(P/D_f, 0)$；SPR 改为 $R_{SPR} = S + P/(P+D'_f)$，数学上保证每条失败轨迹得分小于 1、每条成功至少 1 且对匹配计数恰好多一个单位，使部分信用降级为有界附加项，离线重打分把失败奖励占比从 50.09% 压到 28.72%。
方法步骤详情
完整流程分五步。第一步 RSR-1：保留 actor 在 harness 中探索，仅保留 $V_x(\tau)=1$ 的成功轨迹；规划器 $b_\ell \sim \pi_{\theta^+_k}(\cdot|p_{plan})$ 基于公开任务与清理后的轨迹生成 runbook，审查者用二值门 $q(x,b)$ 做防泄漏检查；通过的 runbook 在目标 harness 中全新执行，验收组合 $a_x(\tau)=V_x(\tau)q_{leak}(\tau)$，从通过的执行中均匀采样得 $Q^{clean}_k$，最小化 $\mathcal{L}_{RSR}(\theta) = -\mathbb{E}\sum_j m_j\log\pi_\theta(y_j|h_j)$，critic 不动。第二步 Warm-up：冻结 RSR-1 actor，在 SWR 上训练一个 epoch 得到 $\phi_{seed}$。第三步 RPR-1：actor 学习率 $5\times10^{-7}$、critic $1.5\times10^{-5}$，先 4 次 critic-only 校准，再用 FDR + TB-GAE 做 PPO 联合更新，非对称裁剪 $\epsilon_\ell=0.30$、$\epsilon_h=5.00$，value clip $\epsilon_V=4.00$，KL 与熵系数为 0，保留 20 个局部步。第四步 RSR-2：同一机制从 RPR-1 保留参数出发。第五步 RPR-2：继承 RPR-1 critic，actor 学习率降 5 倍至 $1\times10^{-7}$，保留分支用 SPR，保留 18 个局部步。评估用 Mean@3，温度 0.60、top-p 0.95，每回合至多 8,192 输出 token，至多 100,000 回合，累计 32,000 token 触发主动摘要。
技术新颖性
新颖性在于耦合而非原语。TB-GAE 相对 SAO 的增量是回合时钟与固定输入下的跨分区精确续接分析：在中点截断会损失 $W_{j,b+1}A^{full}_{b+1}$，精确续接需要同时保留 $v_{b+1}$ 与 $A_{b+1}$ 或不做切分的完整反向扫描；前缀敏感性分析表明同一条回合末奖励在不同前缀下仍给出前缀特定的优势 $A_j = U_t - v_j$，共享回报不等于共享优势。SPR 的性质推导完整：进度项 $g_f(P) = P/(P+D'_f)$ 满足 $g'_f > 0$、$g''_f < 0$，成功与匹配计数的失败恰差一个单位，$0 \le R_{SPR} < 2$ 给出方差上界 1，且作者明确声明它不等价于最大化成功概率或势函数不变性。另一个少见之处是范围声明的诚实：文档化的 RPR-1 相位实际使用标准 GAE（$\gamma=\lambda=1$），单元钟等价不能证明 TB-GAE 已部署或带来隔离的在线增益；固定轨迹重打分只隔离奖励分配而不证明训练效果。这种把「证明了什么」与「没证明什么」分列的写法在同类系统论文中相当罕见。
实验结果
主结果（Table 2，Mean@3）：Terminal-RSI-27B 在 Terminal-Bench 4.0 得 19.84%（Base 0.00%、RSR-1 6.10%、RPR-1 16.67%、RSR-2 17.46%）；TB-2.1 得 86.52%（Base 51.70%）；TB-3.0 得 16.95%（Base 0.00%）；TB-Hard 得 79.00%（Base 31.00%）。四套件等权平均从 20.68% 逐阶段升至 34.25%、44.50%、48.75%、50.58%，较 Base 与 RSR-1 分别提高 29.90 和 16.33 个百分点。与前沿模型比（Figure 4）：TB-4.0 上 19.84% 略高于 Gemini 3.8 Flash 的 19.70% 与 DeepSeek V4 Pro 的 14.60%，低于 GPT-6 Astra 的 54.00%；TB-2.1 上超过 GPT-6 Sol 的 85.40% 与 Kimi K3 的 85.00%。LHTB 过程奖励从 0.21 升至 0.37（相对提升 76.19%），严格完成从 0/46 到 5/46；SWR100 从 3.00% 翻倍到 6.00% 但 RPR-1 后平台化。RPR-1 在第 20 步超过 Direct PPO 达 29.22、12.86、16.67、30.50 个百分点（TB-2.1/3.0/4.0/Hard）。评论家质量（Figure 9）：Warm-up EV 从 −1.15 升到 0.01，RPR-1 峰值 0.33，RPR-2 全部 16 个观测为正（0.01–0.52）。难度分层（Figure 10）：Easy 31.78%→72.88%，Medium 23.58%→58.96%，Hard 14.91%→49.12%，Extreme 非单调 10.98%→6.10%→10.98%。固定轨迹重打分：成功/失败均值奖励从 1.01/0.41 变为 1.50/0.24，得分不低于 1 的失败从 158 条降为 0。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Terminal-Bench 4.0 | 成功率 Mean@3 (%) | 19.84 | Base 0.00；RSR-1 6.10；参考模型：Gemini 3.8 Flash 19.70、DeepSeek V4 Pro 14.60、GPT-6 Astra 54.00 | 较 Base +19.84 个百分点，略超 Gemini 3.8 Flash（参考值，协议校准不完整） |
| Terminal-Bench 2.1 | 成功率 Mean@3 (%) | 86.52 | Base 51.70；参考模型：GPT-6 Sol 85.40、Kimi K3 85.00 | 较 Base +34.82 个百分点，超过所列全部前沿参考模型 |
| Terminal-Bench 3.0 | 成功率 Mean@3 (%) | 16.95 | Base 0.00；RSR-1 6.80 | 较 Base +16.95 个百分点 |
| Terminal-Bench Hard | 成功率 Mean@3 (%) | 79.00 | Base 31.00；RSR-1 54.00 | 较 Base +48.00 个百分点 |
| 四套件平均（TB 4.0/3.0/2.1/Hard） | 等权平均成功率 (%) | 50.58 | Base 20.68；RSR-1 34.25 | 较 Base +29.90、较 RSR-1 +16.33 个百分点（相对初始失败分别减少 37.70% 和 24.83%） |
| LHTB（长时程终端基准） | 过程奖励 / 严格完成数（46 题） | 0.37 / 5/46 (10.87%) | Base 0.21 / 0/46；RSR-1 0.29 / 0/46 | 过程奖励 +0.16（相对提升 76.19%），严格完成从 0 题到 5 题 |
| SWR100（科学工作流重建） | 成功率 (%) | 6.00 | Base 3.00；RPR-1/RSR-2 6.00 | 较 Base 翻倍（+100% 相对提升），但 RPR-1 后三阶段平台化，无第二周期增益 |
| Direct PPO 对照（第 20 步） | 对 RPR-1 的成功率差（百分点） | RPR-1：TB-2.1 77.53、TB-3.0 64.30、TB-4.0 16.67、Hard 69.50 | Direct PPO：TB-2.1 48.31、TB-4.0 0.00 | RPR-1 领先 29.22/12.86/16.67/30.50 个百分点（TB-2.1/3.0/4.0/Hard）；注意非计算匹配 |
局限与改进
作者承认的局限：缺少 compute-matched 的交替训练对照、TB-GAE 的隔离在线对照、继承与重置 critic 的对照实验——阶段特定的学习率、奖励与初始化是同时变化的，现有证据无法做因果归因；每个检查点只评 3 次、无独立训练种子，不构成统计优越性；检查点选择依赖最终基准而非受保护验证集；验证器只覆盖被强制的需求——Rust–C 案例暴露了缺口，最终模型首轮其实只用 C 接口做链接冒烟测试、把表达式求值委托给 Python 以保住数字格式，模糊测试通过不等于原生 Rust–C AST 执行路径；奖励校准可能残留捷径，重放过滤可能丢掉有用行为；单 27B 骨干、五个阶段不能外推缩放规律。我的补充观察：Figure 4 的前沿模型分数只是参考值，作者自承「主源与协议校准不完整」，跨模型比较有协议风险；Direct PPO 对比也明说「非计算匹配」，Rewriting 的发现与监督成本未计入；Long-Reward 若继续训到 step 20 会在 TB-3.0/4.0/Hard 分别损失 2.66、2.38、3.00 个百分点，说明保留检查点对步数高度敏感，在最终基准上挑检查点可能引入乐观偏差；TB-GAE 的精确续接在 32k token 触发的主动摘要跨越时失效，论文只承认摘要改变条件历史而未给方案。
独立分析的弱点
独立分析的弱点：其一，三个关键组件（TB-GAE、SPR、critic 继承）绑定在一起评估，没有 $2^3$ 因子消融，读者无法知道 50.58% 中各自贡献多少——改进方向是至少补一组两两组合的匹配算力实验。其二，检查点在评估基准上挑选（19.84% 来自 Long-Reward 的 step 18 而非 step 20，step 20 反而在三个套件上回退），有选择性保留的风险——应划出 held-out 验证套件做模型选择。其三，SPR 的优势只有离线重打分证据，而普通 FDR 分支的 RPR-2 在 TB-3.0 上反而比 Long-Reward 高 0.19 个百分点，说明奖励演化的在线训练效果尚未确立——需要在同一路线上做在线奖励 A/B。其四，家庭分位数 $D_f$ 在相位内冻结，但策略能力在持续变化，校准表会过期，且 46 族画像每跑需要 2,560 条轨迹，开销大——可改为在线指数更新并监控奖励分布漂移。其五，主动摘要与 TB-GAE 的精确续接互相冲突：最长 100,000 回合、32k 触发摘要的长任务中两者必然同时出现，摘要后固定输入等价性被破坏，论文只陈述问题未给机制。
未来方向
作者提出的方向：compute-matched 的交替训练、隔离 TB-GAE 的在线对照、匹配的在线奖励实验、继承与重置 critic 的对照、用受保护验证集做检查点选择、增加独立训练种子。基于成果可延伸的方向：把 critic 继承与奖励演化解耦后分别度量贡献；研究 RSR 采样预算（$K=M=4$）与 runbook 跨 harness 迁移率的关系，探索更多重复执行是否提升验收多样性；把 SPR 的家庭重校准规则（高奖励失败族分位数加倍、长低奖励族减半、失败抑制优先）推广为随策略能力自适应的在线机制；针对 Extreme 层的非单调表现（10.98%→6.10%→10.98%）设计专门课程或更细粒度的验证器；为摘要边界设计显式的价值与优势传输机制，替代目前「仅状态迁移不构成固定输入等价」的无解状态；并对 96k 输入 token、100,000 回合上限的推理开销与成功率增益做成本收益分析，检验更小骨干能否复现类似的循环收益。
复现评估
论文未给出代码或权重的开源链接，正文与附录均无 GitHub 或模型库声明。复现的硬门槛是基础设施：Qwen3.8-27B 骨干、262,144 token 上下文、Megatron 3D 并行加 4 路上下文并行、每 GPU 8,192 token 预算、log-prob 分块 1,024、全局批 256（过采样 288）、基于 T1/slime/SGLang/Harbor 的终端 RL 栈——这是工业级配置，学术实验室难以承担。超参披露非常完整（Table 1 列出两阶段学习率、裁剪 $\epsilon_\ell=0.30$、$\epsilon_h=5.00$、value clip 4.00、critic 梯度裁剪 100.00、20/18 个保留局部步），评估协议也明确（Mean@3、温度 0.60、top-p 0.95、每回合 8,192 输出 token、100,000 回合上限、32k 摘要触发）。训练池 3,000 任务（2,400 语义验证 + 600 补充终端）依赖 SWR 等外部基准，家庭校准表与防泄漏审查细节在附录 B。相对可复现的部分是离线重打分实验：同一批 4,352 条轨迹上对比 FDR/SPR 分配，若轨迹数据发布则无需任何训练即可验证。总体复现难度评级：极高。
论文图表
