ScienceBuddy：面向交互式科研智能体的“递归套递归”自改进 ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents
把研究者协作转化为任务与评分规则，嵌套耦合外壳进化与模型强化学习，实现科研智能体持续自改进。
前置知识
Agent Harness（智能体外壳）
指包裹语言模型的可编辑工程层，包括系统指令、可复用技能（skills）与上下文管理策略等。它决定模型如何组织推理、调用工具与提交答案，但不改变模型权重。ScienceBuddy 将其与任务管理、存储等基础设施解耦，使程序性修改可以被独立地评估与回滚。
本文内层递归的全部操作对象就是 harness。理解“不动权重、只改外壳”这条改进路径，以及它与“改模型”的正交性，是读懂整个方法框架的前提。
GRPO（组相对策略优化）
一种策略梯度强化学习算法：对每个任务用行为策略采样 $G$ 条轨迹，以组内奖励标准化值作为优势 $\hat{A}_i=(r_i-\mathrm{mean}_j r_j)/(\mathrm{std}_j+\delta)$，配合 PPO 式裁剪与 KL 代理项更新策略，无需独立的价值网络。
外层递归正是用 GRPO 更新任务模型：轨迹级 rubric 奖励转成组相对优势，并共享到该轨迹的所有生成 token 上，是模型能力提升的具体引擎。
Rubric-based reward（基于评分规则的奖励）
把任务的评估标准拆解为若干条准则，每条配非负权重 $w_c$ 与满足度 $v_c\in[0,1]$；能用可执行检查判定的用代码判，需要科学解释的用固定 judge 判，轨迹奖励为 $R_x(\tau)=\sum_c w_c v_c/\sum_c w_c$。
科研任务没有唯一标准答案，rubric 奖励是本文把研究者协作中的评价信息转化为 RL 训练信号的核心桥梁，也是防奖励泄露设计的关键所在。
On-policy rollout 与 pass@k
on-policy 指训练样本由当前策略实时采集生成，历史交互数据不回填为训练样本；pass@k 指每道题允许 $k$ 次尝试、至少成功一次即算该题被解决，用来衡量“可解问题集合”的广度而非单次成功率。
本文 RL 严格使用新鲜 on-policy rollout，并以 pass@4 问题覆盖率作为固定外壳下模型学习的关键指标（48.3%→67.8%）。
ReAct 循环
经典的智能体执行范式：交替进行推理（Reason）、行动（Act，输出代码或工具调用）与观察（Observe，读取执行结果），循环往复直到能给出面向用户的回答。轨迹中的每一步都可被记录与检查。
ScienceBuddy 的任务执行、Trajectory 视图的轨迹记录以及 harness 对确定性动作（如输入检查）的调度，全部建立在 ReAct 式循环之上。
环境增广与难度校准
在 RL 之前用当前模型与选中外壳试执行任务以估计难度，再通过变化科学输入、分析条件或延长计算步骤之间的依赖关系来派生任务变体，并验证其可执行性，剔除已退化为“例行公式”的过时任务。
外层递归中存在“harness 进化后旧任务变简单、训练价值下降”的问题，环境增广正是维持训练信号有效性的机制。
研究动机
LLM 科研助手已能检索文献、查询数据库、执行计算流程，但存在一个根本断层：对话内的纠错不会转化为跨任务的持续能力提升。研究者在实际使用中会澄清假设、质疑结论、要求补充检验，例如要求“先聚焦 JAK1 本身与免疫治疗预后的关联，机制研究放到后面”，这些交互蕴含了科研工作应该如何开展、如何评估的宝贵信息，却只修正了当前这一次回答。与此同时，科研任务的训练信号极度稀缺：真实科研请求高度非标准化，评价依赖专家判断，难以像数学题那样自动判分。已有的改进机制又各自为政——Reflexion、GEPA、ACE、Meta-Harness、PILOT 等只修订提示词与执行程序而冻结模型权重；SEAL 等方法只更新参数而不改工作流程；SIA、HELIX、AgentBuild 虽涉及外壳与模型的联合适应，但均未研究两类更新如何嵌套耦合、循环推进、并在真实协作中持续运转。
本文的目标是本文构建并发布 ScienceBuddy——一个把科研助手与持续自学习融为一体的交互式科研工作区，并回答核心问题：科研智能体如何把与研究者的协作转化为工作流程与底层能力的持续改进？具体目标分三层。其一，提供产品级工作区：224 个工具横跨 22 个功能模块（基因组学、分子与癌症生物学、药理学、生物成像、文献检索、数据库查询），支持上传文档、表格、序列与图像，可执行 Python/R/Bash，并保留可检查的执行轨迹与生成工件。其二，建立自动化流水线，把请求、澄清、执行记录与工件系统性转化为自包含的可执行任务（Harbor 任务）与任务专属评分规则（rubric）；研究者反馈提供评价方向但不被当作绝对真值。其三，在不中断在线服务的前提下，让外壳（harness）进化与模型强化学习嵌套耦合、循环推进，使系统随所服务的科研工作一同成长。
与已有工作不同的是，本文的独特切入是把“协作本身”当作任务与评估标准的来源，并提出递归套递归（recursive-in-recursive, RinR）自改进范式。内层递归在任务模型参数 $\theta_k$ 固定时，由一个独立且固定的辅助模型（GPT-6 Astra）诊断失败轨迹并提出有界程序性编辑，候选只有通过配对开发评估才被接受；外层递归则在进化选出的 harness 固定下，用任务自适应 rubric 奖励驱动 GRPO 训练模型。两条递归互为条件、双向耦合：harness 修订塑造 RL 的训练轨迹与任务难度，模型更新又改变继承 harness 的有效性，形成“外壳塑造经验、经验训练模型、新模型回到新外壳”的循环。与 Darwin Godel Machine、Hyperagents 等把改进机制本身也纳入可编辑对象的自指式自我改进不同，本文的反思器始终固定，性能提升可以干净地归因于被改进的外壳与模型，而非改进机制自身变强，这使系统更可控、可审计，也更接近“发现智能”（discovery intelligence）的愿景。
核心方法
直觉上，科研智能体由任务模型 $\pi_\theta$ 和外壳 $H$（指令、技能、上下文管理）组成，改进有两条正交路径——不动权重改外壳，或不动外壳改模型。ScienceBuddy 把两条路径嵌套成一个循环。在线服务以 $(\theta_k,H_k)$ 响应研究者：agent 按 ReAct 循环交替推理、代码/工具执行与观察，历史记为 $h_t$，联合策略 $\mu_{\theta,H}(a\mid h_t)$ 在被调度时执行确定性外壳动作 $d_H(h_t)$（如输入检查），否则从 $\pi_\theta(a\mid C_H(h_t))$ 采样；请求、回复、动作、观察与工件被持续收集为证据。后台更新分两阶段：内层固定 $\theta_k$，由固定的辅助模型 GPT-6 Astra 诊断轨迹与 rubric 反馈并提出有界单点编辑，配对开发评估决定接受与否；外层固定选出的 $H^\star_k$，先校准增广环境难度，再用 rubric 奖励 $R_x(\tau)$ 做 GRPO 更新得到 $\theta_{k+1}$，重评后部署 $(\theta_{k+1},H_{k+1})$ 返回给研究者，开启下一循环。后台改进全程异步，在线服务不中断。
核心创新是“协作→任务+rubric→两种学习”的闭环设计，区别于已有工作的有三点。第一，评分规则不依赖专家事后标注，而从完整协作轨迹自动构造：$\mathcal{C}(x)=\mathrm{ConstructRubric}(\tau_{\mathrm{collab}}; I_x, A_x)$，准则覆盖任务范围、方法学要求、证据与预期工件；历史答案与研究者认可不被自动当作科学真值。第二，内-外嵌套：与 GEPA/ACE 只搜提示、DGM/Hyperagents 自指改进、SEAL 只改参数不同，这里内层输出的 harness 是外层 RL 的固定训练条件，外层输出的新模型又是下一轮内层适应的对象；任务包 $P_x=(I_x,A_x,\mathcal{E}_x,\mathcal{C}(x))$ 同时支持拒绝采样 SFT 与 on-policy RL。第三，严格防泄漏与防回归：编辑器看不到私有答案，接受规则要求 $\mathrm{Valid}\wedge\Delta_{k,j}>0$ 并纳入既往成功任务的回归检查；RL 期间外壳与 rubric 冻结，历史交互只提供任务定义与诊断证据，绝不充当 on-policy 训练样本。
方法步骤详情
第一步，在线交互：研究者提交问题并上传数据，agent 以 ReAct 循环执行，依次查询数据湖、检索文献与蛋白，Trajectory 视图暴露完整执行记录供检查与追问。第二步，证据汇总：相关轮次围绕科学目标合并、独立目标拆分，重建指令 $I_x$ 与资产 $A_x$，剔除历史答案。第三步，任务打包：rubric 构造器生成带权重 $w_c(x)$ 的准则，连同环境 $\mathcal{E}_x$ 打包为 Harbor 任务。第四步，内层递归：GPT-6 Astra 读轨迹、rubric 评估与编辑历史，提出“增/删/改一个 scoped skill 或改一条指令”的编辑 $\hat{H}_{k,j+1}=U(H_{k,j},E_{k,j};\theta_k)$，schema 检查限制编辑范围；parent 与候选在同任务、同种子、同预算下配对评估，$\Delta_{k,j}=\bar{S}_k(\hat{H})-\bar{S}_k(H)$，仅当合法且 $\Delta>0$ 才接受，平局保留 parent。第五步，外层 RL：试执行校准难度并增广环境，每任务采 $G$ 条新 rollout，以 GRPO 优势 $\hat{A}_i$ 配裁剪与 KL 代理更新，仅优化生成 token。第六步，重评并部署 $(\theta_{k+1},H_{k+1})$，进入下一采集窗口。
技术新颖性
技术新颖性可从四个维度评估。范式层面，“递归套递归”首次明确研究 harness 适应与模型学习的嵌套依赖：此前 Reflexion/GEPA/ACE/Meta-Harness/PILOT 只提供程序性适应机制，OpenClaw-RL/RLAnything 从交互与环境提取学习信号，但都没研究“进化中的 harness 如何塑造 RL、新模型又如何反过来改变 harness 的有效性”这一双向因果。可控性层面，反思器（GPT-6 Astra）与编辑边界固定，不同于 Hyperagents 把元级修改程序也纳入可编辑对象的自指设计，使增益归因清晰、失败可追溯、改进过程可审计。工程层面，可编辑 harness 与任务管理/存储基础设施解耦，以统一执行接口支持可插拔 harness；任务以 Harbor 标准格式（含 test.sh 的 rubric 测试）发布，天然可复用与分享。产品层面，后台自改进与在线服务异步并行、所有 harness 与环境版本保留供后续进化，这在科研智能体产品中尚属首次。需要指出，各组件（rubric 构造、环境增广、GRPO）均沿用已有技术，创新在于系统整合与耦合机制，而非单一算法突破。
实验结果
四个案例研究对应四个问题。RQ1（真实交互，定性）：JAK1 任务中研究者要求先聚焦基因本身，ScienceBuddy 给出基因专属规划——Seurat/Scanpy 单细胞、UCell/AUCell 签名打分、CellChat/NicheNet 细胞通讯，并区分疗效修饰与预后；ARL4C 任务中它把每个结论挂接到去势、条件性敲除、阻断等支持性对照。RQ2（三循环共进化，起点 Qwen3.5-4B，每循环 10 步外壳搜索 + 20 次 RL 更新）：外壳验证准确率逐循环为 38.9%→44.4%、34.4%→46.7%、61.1%→70.0%；RL 奖励前后半程为 33.3%→38.8%、44.1%→60.5%、57.8%→69.8%；留出测试单次准确率 42.2%→73.3%，33.3% 题目由错变对、仅 2.2% 由对变错，四个任务族全面提升。RQ3（固定模型的外壳适应，24 次更新/288 个对话）：适应集最佳批次准确率 75.0%，独立验证集 31.1%→51.1%（+20 pp），学到 4 条指令 + 9 个 scoped skills。RQ4（固定外壳的模型学习）：约 2 小时 RL 内训练准确率持续上升，pass@4 问题覆盖率 48.3%→67.8%（+19.5 pp），说明 RL 扩大的是可解问题集合而非仅提高单题成功率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 科学任务整体（三循环 RinR 共进化，Qwen3.5-4B） | 留出测试单次尝试准确率 | 73.3% | 42.2%（初始 $\theta_0,H_0$） | +31.1 个百分点 |
| Harness 适应（固定模型 Qwen3.5-4B，24 次更新） | 独立验证集首次回答正确率 | 51.1% | 31.1%（初始外壳 H0） | +20.0 个百分点 |
| 模型学习（固定外壳 H0，约 2 小时 RL） | pass@4 问题覆盖率 | 67.8% | 48.3%（RL 前） | +19.5 个百分点 |
| 第三循环内的 harness 进化 | 验证准确率（10 步搜索） | 70.0% | 61.1%（循环开始时） | +8.9 个百分点 |
| 测试题目状态转变（同一测试集） | 题目由错变对 / 由对变错比例 | 33.3% 由错变对 | — | 回退仅 2.2%，净收益显著 |
| 各 RL 阶段训练奖励（三循环） | 阶段后半 vs 前半平均奖励 | 38.8% / 60.5% / 69.8% | 33.3% / 44.1% / 57.8%（各阶段前半） | +5.5 / +16.4 / +12.0 个百分点 |
局限与改进
作者明确承认的局限包括：案例研究规模有限（895 个任务、三个外循环、每循环仅 20 次 RL 更新），部分研究者输入经翻译与缩写，Figure 7 中的任务目标与评估标准是示意性推导而非存档的 rubric 包；harness 适应实验使用 Qwen3.8-27B 的有界用户模拟而非真实研究者反馈，模拟回复集排除了正确选项、标识符与数值答案，与真实协作的丰富度有差距；学习曲线反映的是连续程序性修订的联合效果，单个技能与反馈来源的贡献未被隔离；反思器固定意味着改进机制本身并未随系统变强。我的补充观察：基准全部是 LAB-Bench/Biomni-Eval1 式可判分任务，“首次回答正确”与真实科研产出（可复现分析、正确的生物学结论）之间仍有距离；rubric 构造与判分依赖 GPT-6 Astra 这类闭源前沿模型，评分偏差未做系统校准；共进化仅三个循环，长期稳定性（外壳过拟合验证集、奖励劫持、任务分布漂移）未经验证；领域集中于生物医学，向物理、材料等方向泛化未知；底座只有 4B 规模，与更强基座组合的效果不明。
独立分析的弱点
独立分析可见以下弱点。其一，评价闭环依赖 LLM judge 与自动构造的 rubric，存在奖励劫持与评分噪声风险，尤其是 rubric 构造器与诊断编辑器同为 GPT-6 Astra，可能出现系统性偏置——改进方向是引入领域专家盲评校准、跨模型家族交叉评审，并报告 judge 与人类评分的一致性。其二，内层接受规则只比较配对开发集的平均归一化分 $\bar{S}_k$，小开发集上随机波动即可驱动接受决策，存在对选择集的隐性过拟合——改进方向是多种子配对统计检验（如置换检验）、限制编辑幅度与频率、引入独立验证早停。其三，用户模拟器的模板化回复（确认/格式要求/程序性复查三类）无法覆盖真实研究者的苛求、错误反馈与领域深挖，内层学到的程序可能偏向“应付模拟审稿”——改进方向是在线收集真实反馈并按信息量加权。其四，任务形态以短答案问答为主，未覆盖长报告、多步实验等开放工件——改进方向是把 rubric 扩展到图表质量、代码可复现性等维度。其五，异步后台更新可能造成在线服务质量跳变而无回归门槛——改进方向是部署前的能力回归测试与金丝雀发布策略。
未来方向
作者指出的方向包括：让系统在更长时间尺度上与研究者持续协作、积累更多外循环，检验共进化的长期收益；将反思器本身纳入学习，向 Silver 与 Sutton 倡导的“经验时代”（Era of Experience）迈进——尽管这会牺牲当前固定反思器带来的归因清晰性；以及把范式推广到生物医学之外的科学社区。基于本文成果还可以延伸：第一，跨用户、跨团队的经验共享与隐私保护——研究者交互天然涉及未发表数据，如何在不泄露的前提下聚合任务与 rubric 值得研究；第二，内-外循环切换的理论刻画——何时内层增益饱和、应触发外层模型更新，可用验证集增益的序贯检验形式化；第三，与湿实验自动化闭环对接，把“提出分析→执行实验→回收数据”纳入同一证据流；第四，多智能体分工（文献、数据库、实验设计、统计审查）下的 harness 共进化；第五，把 895 任务与 Harbor 打包格式发展为科研智能体持续学习的社区基准，并研究 rubric 奖励在开放工件上的扩展。
复现评估
复现条件中等偏上。开源方面：代码在 GitHub（Gen-Verse/ScienceBuddy）发布；论文给出完整算法（Algorithm 1）、GRPO 目标（公式 S1–S3）、四个角色（任务策略、用户模拟器、反馈解释器、外壳提案者）的提示词规范及 Table S2 信息边界表，透明度较高。数据方面：895 个任务（96 LitQA2、511 DbQA、108 ProtocolQA、180 GWAS，16 个子话题）来自 LAB-Bench 与 Biomni-Eval1，需重建冻结数据湖（Biomni data lake）才能复现数据库类任务。算力方面：Qwen3.5-4B 约 2 小时 RL 即可完成一个外循环，单机多卡可行，但未披露具体 GPU 配置。难点在于 rubric 构造、失败诊断与编辑依赖闭源 GPT-6 Astra，用户模拟依赖 Qwen3.8-27B；真实研究者交互数据不可获得，只能复现模拟反馈版本。总体而言，两个解耦子实验（固定模型外壳适应、固定外壳模型学习）可中等难度复现，三循环共进化全程复现成本高。
论文图表
附录中给出两段真实研究者输入的原文摘录：(a) JAK1 研究设计的范围细化——“先聚焦 JAK1 本身：考察与免疫治疗结局、免疫细胞类型和免疫签名的关联，之后再研究上下游调控与细胞互作”；(b) ARL4C 证据综合的追问——“组织文稿与图版、选取关键图版、为每个结果页提供亮点与一句话结论、设计一致的机制示意图并撰写讲稿”。
提供了 Figure 7 任务转换背后真实的研究者措辞，让读者看到任务目标与评估标准提取所依据的原始素材，对理解“从协作到任务”的真实性和可行性很重要。
完整伪代码：部署 $(\theta_0,H_0)$ 后，对每个外循环 $k$ 先采集长度 $\Delta$ 的交互存入证据缓冲 B；后台执行内层 while 循环（读证据与编辑历史→提出候选编辑→校验并配对评估→按公式接受/拒绝并记录决策）直到内层预算 $J_k$ 耗尽；随后增广训练环境 $\mathcal{T}_k$、做 RL 更新得到 $\theta_{k+1}$、重评并保留所有外壳与环境版本、部署 $(\theta_{k+1},H_{k+1})$。整个后台更新期间在线服务以 $(\theta_k,H_k)$ 持续可用。
把内外嵌套循环、异步在线服务、证据缓冲与版本保留等所有工程要素整合为一个可执行的流程规范，是从概念走向实现与复现的直接蓝图。