RRSI：智能体框架的正则化递归自我改进 RRSI: Regularized Recursive Self-Improvement of Agent Harnesses
给智能体框架的递归自我改进加上正则化，让收益从过拟合演化集转向可迁移
前置知识
Agent Harness（智能体框架）
围绕冻结骨干模型的一切外围系统：系统提示词与任务提示、决定规划/行动/反思/停止时机的控制流、工具接口及其描述、可查阅的记忆与技能文件、以及决定每步策略模型看到什么内容的上下文管理。同一个模型配上不同 harness，能否读对文件、从失败命令中恢复、把发现写入交付物，结果天差地别。
本文优化的对象不是模型权重而是 harness，理解'框架是围绕权重的可编辑程序'是理解全文问题定义和方法设计的前提。
递归自我改进（RSI）
系统利用自身产生的反馈来改进塑造自身后续行为的组件的闭环过程。在 harness 层面，它表现为一个通用循环：在第 $t$ 轮用当前框架 $H_t$ 在演化集上跑出轨迹，汇总成反馈 $F_t$，由提议器 LLM 生成候选框架 $\mathcal{H}_t$，再用演化集经验分数 $\hat{S}$ 选出下一任框架 $H_{t+1}$。
RRSI 研究的正是这个循环本身：论文指出循环中演化集被自适应复用会导致过拟合，整个方法的动机都建立在对 RSI 闭环缺陷的诊断之上。
L0/L1/L2 正则化
机器学习中控制模型复杂度的经典手段：L0 约束非零元素个数（基数约束），L1（Lasso）通过绝对值惩罚产生稀疏解、直接删除无效维度，L2（Ridge）通过平方惩罚收缩整体幅度而不删除任何单一维度。本文将三者定性映射到 harness 搜索：编辑预算类比 L0，结构剪枝类比 L1，复杂度感知接受类比 L2。
RRSI 的核心贡献就是把这套正则化思想翻译成对框架进化搜索的约束，理解对应关系（budget→L0、pruning→L1、acceptance→L2）才能读懂方法的三个支柱。
自适应过拟合（adaptive overfitting）
当候选方案是根据之前在同一批任务上的测量结果提出时，对这批任务的评估就不再是独立检验，而成为自适应数据分析问题：搜索会利用评估噪声、编码基准特定模式、累积只涨分不涨机制的复杂度，使演化集分数虚高而迁移能力缺失。
这是论文诊断出的核心病灶，Figure 1(a) 用 Meta-Harness、AHE、HarnessX、TTHE 四个基线实证了'演化集增益换不来 OOD 增益'，RRSI 的每条规则都针对这种过拟合的某一环节。
研究动机
现代 LLM 智能体是'冻结骨干模型 + harness（提示词、控制流、工具、记忆、上下文管理）'的系统，近期许多产品进步来自 harness 工程而非新权重。Meta-Harness、AHE、TTHE、HarnessX 等方法已能用 LLM 自动迭代地提议和选择 harness 编辑，形成 agent 系统层面的递归自我改进（RSI）。但这种进化在同一有限演化集上自适应复用反馈，产生严重过拟合：Figure 1(a) 在 agentic workspace 基准上量化显示，四个基线在演化 split 上均能涨分，但到分布外基准收益几乎全部蒸发——演化集上最强的 Meta-Harness 在 OOD 平均分上只比初始框架 $H_0$ 多 0.9 点，HarnessX 与 $H_0$ 持平，AHE 和 TTHE 甚至低于起点（TTHE 低 1.7 点），而 $H_0$ 的 OOD 平均分为 39.7。过拟合通过三种耦合行为发生：编码基准特定模式、候选因评测噪声被误选、复杂度不受控累积。此外无约束进化还推高推理成本，基线方法每试验消耗高达 3.82 百万 policy token，是 $H_0$（1.56 百万）的两倍以上。
本文的目标是本文的目标是让 harness 自动进化的收益能够迁移：进化出的框架要在进化时从未见过、且任务描述/工具接口/验证器都不同的基准上依然有效，同时不牺牲推理效率。具体可度量的目标是：(1) 在编码、agentic workspace、工程设计三个领域共八个基准上，对所有 held-out split（含分布内 held-out 与 OOD）都取得正增益且无任何退化；(2) 相比无正则化的进化，显著降低 policy token 消耗；(3) 收益不依赖特定骨干模型，可跨策略模型（Claude Opus 4.8、Gemini 3.5 Flash）以及更弱的未见模型（Gemini 3.1 Flash Lite）迁移。方法上要求保持 harness 编辑空间完全开放——提示词、控制流、配置、上下文管理、工具、技能、记忆、子智能体均可增删改，只通过约束搜索过程来换取泛化。
与已有工作不同的是，已有工作的切入点主要有两类：要么限制编辑空间、只进化单一组件（如技能、记忆或 rollout 偏好信号），要么直接把泛化设为搜索目标、或用保持多样性的存档替代贪心选择。RRSI 的独特之处在于换了一个正交的轴：编辑空间 $\Omega(H)$ 完全保持开放，不去管'能改什么'，而是正则化'搜索如何穿过这个空间'以及'什么样的实测收益才有资格固化为永久状态'。它把自适应数据分析（Dwork et al., 2015）的视角第一次系统地引入 harness 进化——每次评估都是对同一有限演化集的又一次自适应窥视——并把经典正则化的直觉（L0 基数约束、Lasso 稀疏化、Ridge 收缩、熵/多样性正则）逐一翻译成可操作的搜索规则，同时用'评估前泄漏筛查'从源头阻止基准特定逻辑获得虚高分数。
核心方法
RRSI 保留标准 harness 进化的骨架但改造其两端。每轮 $t$：当前框架 $H_t$ 在演化集 $D_{\text{evolve}}$ 上以每任务 $k$ 次试验运行，得到经验分数 $\hat{S}$ 和成本 $\hat{C}$；分析器汇总跨轮失败反馈；提议器从正则化分布采样候选 $H'\sim P_{\text{reg}}(\cdot\,|\,H_t,\text{feedback})$；候选经泄漏筛查后评估，$H_{t+1}$ 取最佳合格候选，否则保留 $H_t$。直觉上这像训练神经网络时的正则化：不缩小假设空间，而是约束优化轨迹。proposal 侧三个机制控制搜索容量的使用方式——退火更新稀疏度（早期允许大改动发现新机制，后期只做稀疏可归因的小改动）、证据感知信用分配（条件于全部进化历史而非最近一次胜负）、结构化探索（停滞时把预算导向未探索组件）；selection 侧四个机制控制哪些实测收益可以固化为永久状态——泄漏筛查、噪声调整的性能下限、复杂度感知接受、结构剪枝。全程骨干策略冻结（Claude Opus 4.8 或 Gemini 3.5 Flash），提议器/分析器/审查者均由同代模型担任。
核心创新是把机器学习正则化原理系统映射到自适应 harness 搜索，与已有方法的本质区别是'管过程不管空间'。三组类比：(1) 退火编辑预算是 L0 式基数约束——限制单次提议中独立可归因编辑的数量，按余弦调度从 $b_{\max}$ 降到 $b_{\min}$：$b_t=\lfloor b_{\min}+(b_{\max}-b_{\min})\cdot\tfrac{1}{2}(1+\cos(\pi t/T))\rfloor$，防止一次捆绑大量不相关改动导致增益无法归因；(2) 结构剪枝是 Lasso/L1 式稀疏化——把固定窗口内没有严格正增益的组件报告为删除目标，让保留的框架结构性变稀疏；(3) 复杂度感知接受是 Ridge/L2 式收缩——对增益超出噪声带的候选要求 $\Delta C\leq\beta_0+\beta_1\Delta S$，其中 $\Delta C$ 为相对 token 成本增量，额外推理成本必须由可度量的改进买单。再加上评估前的泄漏筛查（critic 拒绝编码任务名/实体名/答案等基准特定内容的 diff）和噪声下限 $\hat{S}(H')\geq S^\star-\delta$（防止通过一串看似噪声的小回退'下山'），选择环节是多重非补偿性准则。
方法步骤详情
完整流程七步。第一步（进化前）：在未改动的 $H_0$ 上重复评估，估计经验噪声带 $\delta$，作为后续稳定性判断的标尺。第二步（反馈生成）：当前 $H_t$ 在演化集上每任务跑 $k$ 次试验，计算 $\hat{S}$ 与 $\hat{C}$，分析器 LLM 写出跨轮失败反馈。第三步（正则化提议）：提议器在退火预算 $b_t$ 内生成候选，条件于完整进化历史——每个已评估候选记录修改的组件、检验的假设、源 diff、分数与成本变化、是否被接受，被拒机制保留为负面证据；当最近 $w$ 轮进展落在 $\delta$ 内即判定停滞，此时预留部分预算强制探索从未动用过的组件。第四步（泄漏筛查）：critic 在完整评估前读取候选 diff，拒绝显式编码任务名、实体名、任务特定数值、答案或惰性机制的编辑，通用提示词/工具描述改进不受影响。第五步（稳定接受）：通过筛查的候选先过噪声下限 $\hat{S}(H')\geq S^\star-\delta$（$S^\star$ 为迄今最佳演化集分数），再对 $\Delta S>\delta$ 者检查 $\Delta C\leq\beta_0+\beta_1\Delta S$（$\beta_0,\beta_1$ 在演化集上选定并对迁移评估固定）。第六步（结构剪枝）：窗口内无严格正贡献的组件被报告为删除目标。第七步（更新）：置 $H_{t+1}$ 为最佳合格候选或保留 $H_t$，重复至第 $T$ 轮。
技术新颖性
技术新颖性体现在四个层面。第一，问题定位新颖：此前 harness 进化文献默认'演化集涨分=进步'，本文把 RSI 的泛化本身定义并量化为核心挑战，区分了基准特定拟合、噪声追逐、复杂度累积三种失败模式。第二，机制设计新颖：泄漏筛查被刻意安排在完整评估之前——一个泄漏的候选根本不会获得可能诱惑后续轮次的虚高演化集分数，这比事后过滤更彻底；噪声下限针对的是'连续小回退累积成大幅退化'这一贪心选择特有的病理。第三，理论迁移新颖：把 L0/L1/L2 与熵正则从参数空间类比到离散组件空间，明确指出类比是定性的（如 budget 约束的是每轮更新的活跃编辑指示变量而非固定参数向量），并诚实说明不优化带惩罚项的目标函数，这种严谨的类比边界划分在同类工作中少见。第四，与同期工作的正交性：Zhang et al. 把泛化作为显式搜索目标、Luo et al. 用多样性存档替代贪心，而 RRSI 保持开放编辑空间与贪心骨架，只加约束，因此这些思路可以叠加。消融证明两组正则器各有独立贡献且去除任一组都会让 OOD 平均分下降。
实验结果
主结果（Figure 3）：演化集增益 Terminal-Bench 2.1 +6.0（74.2→80.2）、Harvey LAB +1.1、EngDesign +4.9（50.0→54.9）；所有进化时未打分的 split 全部上涨且无一退化——SWE-bench Verified +1.8（82.0→83.8）、Harvey LAB 同分布 held-out +2.3、JobBench +4.7（36.0→40.7，13.1% 相对）、GDPval +3.5（7.2%）、APEX-Agents +3.7（34.2→37.9）、Frontier-Eng +4.3 Medal points（24.3% 相对）。基线对比（Table 1）：OOD agentic 平均 $H_0$ 为 39.7，RRSI 达 43.6，是唯一超过 $H_0$ 一点以上的进化框架；演化集分数更高的 Meta-Harness 仅 +0.9，AHE/TTHE 低于起点。消融（Table 2）：去掉接受侧正则化，演化集 90.5→91.5 但 OOD 43.6→41.0、token 2.42M→3.59M；去掉 proposal 侧 OOD 掉 1.7；全去（无正则化）演化集最高 92.8、OOD 仅 40.3、每试验 3.80M token——无约束选择把预算花在噪声和上下文而非机制上。鲁棒性（Table 3/4）：Gemini 3.5 Flash 上 Terminal-Bench +14.1（64.6→78.7）且 SWE-bench +2.2；搜出的框架在从未参与搜索的 Gemini 3.1 Flash Lite 上 11.2→14.6（+30.4% 相对）。成本（Figure 4）：RRSI 每试验 2.42M token、26.3 步，支配所有基线（AHE 3.82M、34.6 步）；工程设计的确定性仿真器评分排除了'讨好评审模型'的替代解释。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Terminal-Bench 2.1（编码，演化集） | 任务通过率 | 80.2 | H0 74.2 | +6.0 |
| SWE-bench Verified（编码，OOD） | 修复通过率 | 83.8 | H0 82.0 | +1.8 |
| Harvey LAB（agentic workspace，演化集） | 任务得分 | 90.5 | H0 89.4 | +1.1 |
| Harvey LAB held-out（同分布） | 任务得分 | 89.2 | H0 86.9 | +2.3 |
| JobBench（agentic workspace，OOD） | 任务得分 | 40.7 | H0 36.0 | +4.7（13.1% 相对） |
| GDPval（agentic workspace，OOD） | 任务得分 | 52.3 | H0 48.8 | +3.5（7.2% 相对） |
| APEX-Agents（agentic workspace，OOD） | 任务得分 | 37.9 | H0 34.2 | +3.7 |
| EngDesign（工程设计，演化集） | 设计任务得分 | 54.9 | H0 50.0 | +4.9 |
| Frontier-Eng（工程设计，OOD） | Medal points | 22.0 | H0 17.7 | +4.3（24.3% 相对） |
| OOD agentic 平均（JobBench+GDPval+APEX）vs 四基线 | 平均得分 | 43.6 | Meta-Harness 约 40.6，H0 39.7 | 唯一超过 H0 一点以上的进化框架 |
| Terminal-Bench 2.1（Gemini 3.5 Flash 策略） | 任务通过率 | 78.7 | H0 64.6 | +14.1 |
| Terminal-Bench 2.1（Gemini 3.1 Flash Lite 未见模型） | 任务通过率 | 14.6 | H0 11.2 | +3.4（30.4% 相对） |
局限与改进
作者承认：研究只覆盖冻结骨干的 harness 级 RSI，不处理进化中更新权重的设定；方法依赖有限演化集和多个超参（$\delta,\beta_0,\beta_1,w,b_{\min},b_{\max},T$），效果受反馈质量与搜索预算制约；在差异更大的智能体架构、工具生态和更长期自改进上仍需验证。我的补充观察：其一，正则化牺牲了演化集峰值（90.5 vs 无正则化 92.8），若应用场景就是演化集同分布任务，RRSI 反而次优，论文未讨论这种场景依赖性；其二，噪声带 $\delta$ 的估计质量决定接受下限与停滞判定的松紧，而 EngDesign 这类确定性验证器下 $\delta$ 可能趋近于零、准则退化为纯贪心，论文未报告各域 $\delta$ 数值及敏感性；其三，复杂度仅用 policy token 代理，harness 的结构复杂度（组件数、耦合度、可维护性）未被直接度量；其四，泄漏筛查依赖 LLM critic，对不含字面任务特定内容但统计上贴合演化集的隐蔽捷径无能为力；其五，弱模型迁移实验绝对增益小（11.2→14.6），对低能力骨干实际价值有限。
独立分析的弱点
弱点一：$\beta_0,\beta_1$ 在演化集上选定这一动作本身就引入了与目标相同的自适应偏差，只是程度较轻。改进方向：跨域交叉选参，或用序贯检验控制自适应数据复用的无超参规则。弱点二：噪声带 $\delta$ 假设评测噪声平稳同分布，验证器系统性偏移（评审模型升级、测试集变动）会使其失效，确定性验证器下 $\delta\to 0$ 使稳定性准则退化。改进方向：按验证器类型分层估计噪声，或用后验分布替代单点 $\delta$。弱点三：成本只计 policy token，提议器/分析器/critic 及每候选 $k$ 次评估的进化元成本未纳入，可能高估 RRSI 的效率优势。改进方向：报告'进化总开销 + 部署成本'的全生命周期帕累托前沿。弱点四：剪枝判据'窗口内无严格正贡献'会误删奖励稀疏但重要的组件（如灾难恢复逻辑，平时无错即无增益）。改进方向：按触发频率加权贡献，或对安全关键组件豁免剪枝。弱点五：每个域只在单一 suite 上进化，'域内单一进化源'多样性不足，泛化结论外推需谨慎。改进方向：多演化源集成进化并研究框架合并。
未来方向
作者提出的方向：扩展到权重更新参与进化的混合设定；在差异更大的智能体架构、工具生态和更长期自改进过程中验证。基于成果可延伸：(1) 把 RRSI 的正则化原则迁移到技能库与记忆库的自动增长——论文引用的 skills/memory 进化线面临同样的过拟合风险，L0 预算与 L1 剪枝可直接搬用；(2) 将多样性存档方法（Luo et al.）与 RRSI 的多重接受准则结合，研究'保守接受 + 多样存档'能否进一步抬高 OOD 上限；(3) 对 $\delta$、$\beta$ 做在线自适应，使方法在验证器噪声非平稳或确定性场景下稳健；(4) 在自适应数据分析框架下为 harness 进化推导泛化界，把'演化-迁移差距'形式化；(5) 把泄漏筛查从字面匹配升级为对分布级捷径的检测（如检测候选框架输出与演化集评测者偏好的异常吻合）；(6) 研究正则化强度与进化轮数、演化集规模间的定量标度律，指导小演化集场景（Harvey LAB 仅 +1.1 分）的预算分配。
复现评估
论文页脚给出代码仓库 github.com/google-research/rrsi 和项目主页 regularized-rsi.com，算法细节在附录 C、超参数在附录 D.1，书面信息充分。但实际复现有几道坎：其一，骨干策略与提议器/分析器/critic 均为闭源商业模型（Claude Opus 4.8、Gemini 3.5 Flash、Gemini 3.1 Flash Lite），API 费用可观——部署侧每试验消耗 1.56M 至 3.82M policy token，进化全程 $T$ 轮、每轮 $m$ 个候选各 $k$ 次试验，总 token 量在千万到亿级；其二，Terminal-Bench 2.1、SWE-bench Verified、GDPval、APEX-Agents、EngDesign 公开，但 Harvey LAB、JobBench、Frontier-Eng 的可得性需逐一确认，直接影响三大领域主实验的完整复现；其三，进化高度依赖 LLM 提议的随机性，服务端非确定性导致不同运行搜出不同框架，论文未报告多种子方差，1-2 点级别的差异（如 Harvey LAB +1.1）统计强度存疑。综合评估：复现中等偏难，建议先在编码域用较小 $T$ 验证正则化组件的相对排序，再尝试全量。
论文图表
四个子图。(a) 以 agentic workspace 基准为散点图：横轴是各方法在演化 split 上的相对增益，纵轴是 OOD 增益，Meta-Harness、AHE、HarnessX、TTHE 都聚集在'演化集有增益、OOD 增益接近零甚至为负'的区域，多个方法甚至落在 $H_0$（初始框架）之下；(b)(c)(d) 分别是编码（SWE-bench Verified）、agentic workspace（JobBench/GDPval/APEX-Agents 均值）、工程设计（Frontier-Eng）三个领域的柱状图，比较 $H_0$、四个基线平均和 RRSI 的 held-out 分数，RRSI 在三个领域都最高。
这张图是全文的问题陈述和卖点所在：一图同时展示了'现有 harness 进化方法过拟合演化集'的核心病灶和 RRSI '收益跨域迁移'的疗效，Figure 1(a) 的散点分离是最有说服力的动机证据。