Recursa：迈向递归自我改进的基础模型系统 Recursa: Toward Recursively Self-Improving Foundation Model Systems
无需教师模型，系统用自身经验递归改进知识仓库，法律测试 all-pass 提升25个百分点
前置知识
基础模型系统（Foundation Model System）
围绕基础模型构建的完整智能体系统：模型本身、系统提示（instructions）、按需加载的技能包（skills）、记忆（memory），以及执行动作、管理上下文的 harness。领域适配的对象应是整个系统而非仅权重：指令、技能与记忆可直接从领域材料和任务经验习得，而权重训练需要新领域通常不具备的专家数据与奖励信号。
论文的核心命题“基础模型系统学习”建立在该概念上：Recursa 只学习知识仓库（instructions/skills/memory），harness 与模型权重冻结。看清组件边界，才能理解它学什么、不学什么，以及标题中“递归”的确切含义。
知识鸿沟与行为鸿沟
知识鸿沟指系统缺少领域术语、事实，不知道材料分布在哪里，可通过阅读领域语料弥补；行为鸿沟指已拿到相关信息却在应用时出错，例如找到相关文档却在作答时选错条款，需要通过做任务并从反馈和执行轨迹中反思来纠正。两者需要不同学习信号：前者来自领域材料，后者来自任务反馈。
这是全文方法论主线：Recursa 的两个阶段与之对应——Bootstrapping 关闭知识鸿沟，递归自我改进关闭行为鸿沟（Table 1）。理解这对概念才能看懂两阶段设计的动机与实验组织方式。
Harness 与代码化工具使用（REPL agent）
把模型变成智能体的执行层，管理上下文、工具与子智能体。Recursa 用代码驱动交互：模型写 Python 在持久化 REPL 执行，工具以库函数暴露；中间结果留在变量，仅筛选后的输出回到上下文；完整历史存入 append-only 事件日志供代码检索。相比 ReAct 逐步工具调用，它支持循环组合与低成本重试。
harness 决定求解器与学习器能否支撑数十轮、数百万 token 的长程工作；实验显示仅换上该 harness（不做任何学习）就已超过已发表最强配置，是所有学习实验的工程基线。
多智能体编排与子智能体
主智能体通过 REPL 调度子智能体并行处理任务的不同部分并汇总结果，每个子智能体在隔离沙箱中运行，拥有自己的指令、技能与工具。Recursa 在三处使用它：引导阶段并行覆盖语料、求解阶段按任务并行调度求解器、学习阶段把训练任务拆分给并行子学习器。
并行化是处理 9,288 个文件、约 108M token 语料与 150 个训练任务的前提；论文中“多学习者显著优于单学习者”的关键结论，直接来自这种分解—合并—反思的编排结构。
评测指标：all-pass rate 与 rubric criteria pass rate
长文本答案无法精确匹配评分，Harvey LAB 为每个任务定义多条评分标准（250 个任务共 2,623 条），由裁判模型逐条判定。criteria pass rate 是任务内满足标准的比例在任务间平均，衡量部分正确；all-pass rate 要求所有标准全部满足，是更严格的端到端成功指标。
论文的核心结论围绕这两个指标展开，且学习带来的提升集中在 all-pass——即把“部分正确”转化为“完全正确”；分清两个指标的差别才能正确解读实验数字。
递归自我改进（Recursive Self-Improvement）
指系统用自身模型改进自身组件与学习过程本身，不依赖更强教师模型或人工专家。本文中体现为 $(K', T)=\text{LEARN}(D, K)$ 可把任务集 $D$ 拆给子学习器，子学习器可继续拆分，父学习器合并修订并反思学习轨迹以规划下一轮——递归发生在学习任务树这一层，而非修改模型权重。
这是论文标题的由来。理解递归发生在哪一层（任务分解与学习策略改进，而非权重更新或 harness 重写），才能准确评估这篇工作的真实贡献与局限。
研究动机
基础模型部署到法律、金融等知识密集型新领域时，必然遇到训练未覆盖的领域知识与陌生惯例，而这些新领域很少提供大量专家标注数据或可靠的监督/奖励信号，继续用强化学习等权重训练方法既贵又不可行。Harvey LAB 的 Firm Knowledge 环境刻画了这种困难：一个模拟律所包含 46 个虚构客户、266 个案件、15 个执业领域、9,288 个文件、约 108M token；250 个任务要求在全部语料中检索、跨多份文件核对证据，并写出满足逐条评分标准的 long-form 答案。证据分散、字面关键词匹配无效，同一证据在不同上下文和用户目标下可能支持不同结论，正确性难以自动验证。已有方法只学习系统的局部——指令（DSPy、GEPA 等）、harness、工具/技能/子智能体、学习算法本身或直接训练模型——且大多针对行为鸿沟、依赖更强模型驱动学习，或在代码、数学、游戏等可重复自测的领域评测，无法同时弥补知识与行为两类鸿沟。
本文的目标是本文提出并研究“基础模型系统学习”（foundation model system learning）问题：在不依赖人工专家、也不依赖更强教师模型的前提下，让系统用自身模型从领域材料和带反馈的训练任务中学习，同时关闭知识鸿沟与行为鸿沟。具体目标是构建 Recursa 系统：先从领域语料引导（bootstrap）出包含指令、技能、记忆的知识仓库，再通过任务经验递归自我改进该仓库；同一模型既做引导、又做求解、还做学习，并在学习过程中反思和改进学习策略本身（如何拆分、如何编辑）。最终在 Harvey LAB 上验证所学组件能迁移到从未参与学习的 held-out 测试任务，带来大幅的端到端成功率提升。
与已有工作不同的是，独特切入角度有三点。第一，把“学习整个系统”而非“学习模型”定义为问题，明确知识鸿沟与行为鸿沟需要不同信号，并设计对应的两阶段框架。第二，坚持无教师的递归自我改进：同一模型自己写修订，而多数现有方法（GEPA、TextGrad、AFlow 等提示/流程进化类工作）依赖更强的外部模型驱动学习，本文证明自身模型配合验证机制就足够。第三，把评测从短答案、可重复自测的代码/数学域，转向证据分散、正确性难以自动核验的长文本法律域，并提出减少“学习浪费”（stalls 停滞与 rework 重复劳动）与迭代精化噪声学习信号的系统机制——这套面向长程多智能体学习的工程化方法论在同类工作中是新的。
核心方法
直觉上，进入新领域的智能体先要“读懂环境”（语料的结构、惯例与边界），再要“学会做事”（正确应用知识的行为）。Recursa 据此分两个阶段：引导阶段用并行智能体总结并映射领域语料，生成自练习任务并提炼技能，关闭知识鸿沟；自我改进阶段反复执行“求解→诊断→编辑→验证”，从任务反馈中修订指令与技能，关闭行为鸿沟。技术路线上，两类智能体运行在同一 harness 上：求解器执行任务并留下执行轨迹，$\;(y, \tau) = \text{SOLVE}(x, K)\;$；学习器检查答案、轨迹与可用反馈后修订组件，$\;(K', T) = \text{LEARN}(D, K)\;$。学习器可把 $D$ 拆分为子集 $D_1, \ldots, D_c$ 并行交给子学习器递归执行，最后合并修订、反思学习轨迹。被学习的对象限定为知识仓库 $K$（instructions、skills、memory），harness 与模型权重保持不变，模型学习（把仓库知识内化进权重）留作未来工作。
核心创新有三层。其一，把“可立即生效、以文本表示、可对照源材料核查”的知识仓库作为学习载体，让同一模型在不更新权重的情况下递归积累领域专长——这是与权重训练方法的本质区别。其二，以分解—合并—反思的多学习者递归结构替代单循环自我改进：按主题/失败模式/目标技能拆分任务，让子学习器各练各的技能、减少合并冲突，父学习器只保留通过验证（修复失败且不引起回退）的编辑。其三，与 Reflexion 式上下文反思不同，Recursa 把反思跨任务、跨轮次固化进 memory 和 skills；与依赖更强模型写提示的方法不同，修订全部由系统自身模型完成，用“对照源材料核查 + 回归验证”约束噪声反馈；并用学习轨迹反思改进拆分与求解策略本身，即“学习如何学习”。
方法步骤详情
完整流程如下。第一步（引导）：多智能体并行扫描语料，为大型异构语料生成带源链接、元数据和不确定性说明的导航结构，为窄领域生成紧凑的探索笔记，并记录环境边界（哪些材料存在、缺失、仅部分覆盖）；再从材料生成自练习任务，把可复核的经验提炼成技能。Harvey LAB 上产出 14 个技能：1 个把 266 个案件映射到笔记与源文件的导航技能，13 个练习技能（从案件编号判断任务范围、追踪版本链、对照冲突来源核对数字与日期等）。第二步（求解）：叶学习器按当前组件 $K$ 并行调度求解器。第三步（诊断）：阅读失败尝试的反馈与轨迹 $\tau$，区分真实错误与噪声反馈，定位缺失的知识或行为。第四步（编辑）：修订指令与技能。第五步（验证）：重解受影响任务加已通过任务样本，仅保留修复失败且不引起回退的编辑；循环至无进展或预算耗尽。第六步（递归）：顶层学习器按主题/失败模式/目标技能拆分 $D$，并行发出 $\text{LEARN}(D_i, K)$；父学习器合并时去重、调和冲突、泛化共性教训，并抽样子任务验证合并未破坏收益；再反思子学习器轨迹 $T_{1:c}$（未改进的子集、冲突编辑、不可靠反馈），规划新一轮拆分。
技术新颖性
技术新颖性体现在四个层面。(1) 问题层：首次把“递归自我改进的基础模型系统”形式化为同时关闭知识鸿沟与行为鸿沟的系统学习问题，给出两阶段框架（Table 1）与精确算法定义（Algorithm 1）。(2) harness 层：程序化工具组合与程序化上下文管理（append-only 事件日志 + 按需代码检索，继承自 Scroll 与 Recursive Language Models）支撑了数十轮、数百万 token 的求解与学习轨迹，学习器无需重载完整求解轨迹即可跨任务诊断，使长程学习在工程上可行。(3) 学习层：分解—合并—反思的递归学习树，配合两个显式机制——“减少学习浪费”（分析自身轨迹中的 stalls 与 rework 并调整策略）与“学习信号迭代精化”（求解器信号噪声大，用每轮验证结果反复校准诊断，反思存入 memory 传递到后续轮次）。(4) 评测层：在长文本法律基准上做无教师自我改进，并公开审计、修订了原基准中 46 条有缺陷的评分标准（Appendix B），这种对基准本身的批判性核查在同类工作中少见。
实验结果
实验在 Harvey LAB（250 任务、2,623 条标准、150 训练/100 测试分层，Qwen3.8-Max 评判）上展开。(1) Harness 即强基线：Qwen3.8-27B 配持久 REPL 后 all-pass 37.2%，超过已发表的 21.6% 与最强 study 的 31.0%（Table 2）。(2) 引导收益在效率：14 个技能使轮次 69.4→55.0、token 6.45M→4.81M，all-pass 31.2%→34.0%（Figure 4）。(3) 自我改进贡献主要精度：DeepSeek-V4.1-Flash 多学习者 $K^{(2)}$ 将测试 all-pass 从 33.0% 推至 55.0%（+25pp）；Qwen3.8-Flash 的 $K^{(1)}$ 从 34.0% 推至 46.0%（+11pp）；criteria 均小幅上涨（Table 3）。(4) 多学习者远超单学习者：后者最好仅 43.0%（$K^{(4)}$），Qwen 单学习者训练 30.0% 低于引导的 37.3%。(5) 学到可解释判断：Figure 5 按实质识别 no-shop 条款、改选 6 月 16 日交易；Figure 6 先按 engagement records 定执业组，答案从 8 修正为 7。注意各轮非单调（$K^{(3)}$ 回落 43.0%），报告值为较优轮次。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Harvey LAB Firm Knowledge 测试集（100 个 held-out 任务） | all-pass rate | 55.0%（DeepSeek-V4.1-Flash，多学习者，组件 K(2)） | 30.0%（同一模型、未学习的 harness） | +25.0 个百分点；相对引导后的 33.0% 也提升 22.0 个百分点 |
| Harvey LAB Firm Knowledge 测试集（100 个 held-out 任务） | all-pass rate | 46.0%（Qwen3.8-Flash，多学习者，组件 K(1)） | 35.0%（同一模型、未学习的 harness） | +11.0 个百分点 |
| Harvey LAB 全部任务（Qwen3.8-27B，修订评分标准，无学习） | all-pass rate | 37.2%（本文持久 REPL harness） | 21.6%（参考 base agent）/ 31.0%（已发表最强 study 配置，Engram） | +15.6 / +6.2 个百分点 |
| Harvey LAB 测试集（修订标准） | mean criteria pass rate | 84.1%（DeepSeek 多学习者）/ 84.4%（Qwen 多学习者） | 80.0% / 83.2%（各自未学习） | +4.1 / +1.2 个百分点 |
| Harvey LAB 全部 250 任务（DeepSeek，引导前后对比） | 平均交互轮次 / 平均输入 token | 55.0 轮 / 4.81M tokens | 69.4 轮 / 6.45M tokens | 轮次 -20.7%，token -25.4%（每次任务尝试的搜索与上下文成本） |
局限与改进
作者承认：性能依赖领域语料的质量与可得性；需大量推理算力，可及性受限；错误或有偏数据与底层模型缺陷会在学习中传播导致不可靠结果；效果受底层模型能力制约但未系统研究；实验领域有限（主要是法律）；自主探索并留存记忆带来隐私与安全风险（实验在无外网隔离沙箱进行）。我的补充：其一，被学习的只有知识仓库，权重与 harness 冻结，标题的“递归”实为学习任务树上的递归分解与反思，而非对改进过程本身的持续重塑。其二，各轮结果非单调（DeepSeek $K^{(3)}$ 测试跌回 43.0%），最终报告 $K^{(2)}/K^{(1)}$ 隐含基于评测的最佳轮次选择，缺少原则性停止准则。其三，提升集中在 all-pass，criteria 仅 +1~4pp，说明学习主要修复答案完整性与资格判定，而非普遍提升证据质量。其四，评分依赖单一裁判 Qwen3.8-Max，且作者自行修订 46 条标准，虽公开理由仍引入与原基准不完全可比的因素。其五，两模型增益悬殊（25pp 对 11pp），跨模型跨领域泛化与多智能体学习的算力开销均未量化。
独立分析的弱点
独立分析的具体弱点与改进方向：(1) 轮次选择偏差——无固定轮次或验证集准则，报告值取自评测后较优轮次；应留出小验证集或预注册停止条件。(2) 非单调回退——合并与后续轮次可能破坏已有收益（$K^{(3)}$ 从 55.0% 回落到 43.0%）；可引入组件级版本管理、自动回滚与按技能粒度的回归测试。(3) 单学习者崩溃——Qwen 单学习者训练 30.0% 低于引导 37.3%，暴露循环在较弱模型上的不稳定；可维护失败模式库、采用保守编辑策略（限制每轮编辑量、提高验证门槛）。(4) criteria pass 几乎不动而 all-pass 大涨，提示剩余错误在裁判判分边界或深层推理；应分析未修复标准的类型分布并针对性设计学习信号。(5) 学习浪费只有定性反思，缺 stalls/rework 量化指标，也无拆分数 $c$、拆分依据与预算的消融。(6) 知识仓库随轮次膨胀（引导 14 个技能到 $K^{(1)}$ 的 32 个），条目加载与冲突调和成本未报告。(7) 仅单一法律基准验证，金融/工程/科学等异构语料上的有效性存疑。各弱点指向同一主题：让自我改进可测量、可停止、可回滚。
未来方向
作者明确提出的方向：把递归自我改进扩展到基础模型本身——用知识仓库积累的数据训练模型、把领域知识内化进权重（本文中模型学习只是概念性起点）；扩展到 harness 的学习（本文 harness 固定）；扩展到金融、工程、科学等其他领域。基于本文成果可延伸的研究：为学习轮次引入原则性停止准则与组件级回归测试框架，解决非单调回退；把“学习浪费”形式化为可优化目标，给出 stalls/rework 的度量与消融；研究知识仓库与权重训练的协同（如对 skills 做蒸馏式 SFT/RL）；跨模型知识迁移——用强模型学到的仓库冷启动弱模型，验证 25pp 与 11pp 的差距是否源于仓库质量；多领域连续适应中的技能冲突与遗忘；以及对裁判模型噪声建模，把“反馈可靠性”显式纳入学习信号。安全方面，需审计自主记忆留存的隐私风险与错误技能在递归学习中的传播路径。
复现评估
复现基础较好。评测侧完全开源可复现：基于公开 Harvey LAB 仓库（锁定 commit b22bccf，v1.2.0），任务划分（150/100 分层）、修订后的 46 条标准（Table 5 逐条给原文与修订文）、每轮学习的完整结果（Table 4，含原始与修订两套标准）全部披露，透明度在同类工作中难得。模型均公开可用：DeepSeek-V4.1-Flash 与 Qwen3.8-Flash 兼任求解器和学习器，Qwen3.8-Max 评判，Qwen3.8-27B 用于 harness 对照。主要缺口：未宣布开源 Recursa 自身的 harness、引导与学习器实现，也未报告算力消耗、各阶段 token/轮次预算与运行时长；多智能体并行学习涉及海量长轨迹调用（150 任务 × 多轮 × 每任务数十轮），粗估单次完整运行的推理成本在千万 token 量级以上。综合：数据与评分协议可完全复现，方法实现需自行重建 harness（可参考文中引用的 Scroll、RLM、OpenCode、Agent Skills 规范），工程难度中高、算力成本显著，适合有较强基础设施的团队复现。
论文图表
四组柱状图对比引导前（青色）与引导后（橙棕，14 个技能）在全部 250 个任务上的表现：(a) criteria pass 79.9%→80.0%，基本持平；(b) all-pass 31.2%→34.0%，小幅提升；(c) 平均轮次 69.4→55.0；(d) 平均输入 token 6.45M→4.81M（按任务所有轮次累计后取平均）。
量化引导阶段的真实收益——主要是把每次任务尝试的搜索与上下文成本削减约五分之一到四分之一，而非直接提分；这纠正了“读完语料=涨点”的直觉误解，是解读两阶段贡献分工的核心证据。
测试任务 Q157（最新的含 no-shop 条款的已签署 M&A 交易）学习前后对比：未学习时只认字面 No-Shop 标题，把 2025-05-20 的 Cascade/NovaMart 当答案；学习后从一开始就并行搜索 no-shop、Exclusivity、No Solicitation 三类表述，按条款实质逐个审查，排除记账在 Real Estate 的酒店交易与未签署的 LOI，正确选出 2025-06-16 的 Crestline/Lakewood。按搜索、验证、答案三行对照展示。
具体展示第一类学到的领域判断——把法律概念映射到多种可能表述、按实质而非标题审查，说明提升来自行为修正而非更多检索，是解释 all-pass 提升来源的最佳案例。
测试任务 Q078（哪些 IP 事项以和解结案）学习前后对比：未学习时用 patent、trade secret 等关键词找 IP 事项，返回 8 个（含一起以商业秘密为主张、但被记在 Labor & Employment 的限制性条款纠纷）；学习后先读 engagement records 确定各事项的执业组归属，再逐个核对已签署和解，排除记错组的案件，返回 7 个合格事项。Qwen3.8-Flash 学习后做出同样修正。
展示第二类学到的判断——用律所内部记账口径界定答案的资格范围，区分“涉及 IP”与“作为 IP 事项处理”；这正是 all-pass 大幅上涨（把部分正确答案修成完全正确）的微观机制。