RSI-Anything：用世界模型解锁递归自我改进 RSI-Anything: Unlocking Recursive Self-Improvement with World Models
用预测式世界模型引导行动选择与模型适配，实现跨域递归自我改进
前置知识
递归自我改进（RSI）
指系统把每轮交互经验转化为持久改进，并让这些改进影响下一轮交互与学习的能力。区别于一次性微调，RSI 要求更新被真正'保留'并塑造后续行为：任务内反馈细化当前解法（如代码修复中的候选补丁迭代），跨轮次通过自训练或偏好优化产生持久的策略或流程更新。本文进一步强调，改进的最小单位应是策略–世界模型系统整体，而非某个孤立组件。
这是全文的核心研究对象，框架的保留协议、可靠性检查与成对验收都围绕'让改进真正递归地累积'这一目标展开。
世界模型
一种预测'动作作用于当前状态会产生什么后果'的模型。给定状态与候选动作，它前瞻性地预测下一状态或结果（如代码测试是否通过、化学反应产率多少），从而在无需真正执行的情况下评估候选，服务于规划与训练数据选择。经典工作包括 World Models、MuZero、Dreamer，它们把预测式环境作为控制与规划的基础。
本文的全部机制都建立在'预测引导选择'之上：世界模型的预测质量直接决定候选排序的好坏，而其可靠性随策略演化而退化正是框架要解决的核心难题。
JEPA 与正交预测分解（OPF）
JEPA（联合嵌入预测架构）不在像素级重建观测，而是在潜空间中从上下文预测目标表示，避免为无关细节浪费模型容量。JEPA-Anything 将该思想推广到异构数据域；OPF 进一步把潜变量目标分解为若干互补正交因子，为每个因子学习专用预测器，再把各因子输出重组合成完整的潜状态表示。
JEPA-Anything 是 RSI-Anything 的预测底座，理解 OPF 有助于明白各域预测器（代码执行预测器 W1、化学产率适配器）如何统一到同一套预测构造之下。
Brier 分数
衡量概率预测校准性与准确性的经典指标，等于预测概率分布与真实结果之间差值的平方均值，取值越小越好。在五分类任务中，预测器对每个候选输出五个结果类别的概率，Brier 分数会同时惩罚'过度自信的错误'与'犹豫不决的正确'两类失败模式。
论文用它证明世界模型的预测质量提升（0.488 降到 0.358）与代码修复成功率提升之间的因果链条，是理解实验分析的关键指标。
策略–模型对与兼容性检查
本文把策略配置 $\theta_k$ 与世界模型 $\phi_{d,k}$ 视为需要联合验收的系统整体：组件检查分别评估新策略的任务效用与新预测器的质量；成对检查则在匹配的评估条件下比较组装候选对与当前对的决策行为——因为好策略可能让原本好的模型失准，好模型也会改变哪些候选被选中。任何一关失败即保留当前版本。
这是本文最核心的机制创新，所有实验结论都依赖'保留的策略–模型对确实优于上一对'这一隐含保证，不懂门控逻辑就无法读懂方法部分。
研究动机
递归自我改进（RSI）要求系统把交互经验转化为持久的能力提升，但实践中存在两个瓶颈。其一是外部反馈昂贵：候选方案必须先执行或评估才能产生指导信号，例如代码修复中每次调用在线测试套件、化学优化中每次真实反应测量都消耗预算，这严重限制了有限交互预算下的探索空间。其二是世界模型的可靠性会随策略演化而退化：策略更新改变了候选动作的分布，旧模型在新分布上的预测可能失准；反之模型更新又会改变候选排序与学习信号。这构成'耦合更新难题'——两个组件的独立改进并不保证联合性能提升。现有 RSI 工作（CURE、Darwin Godel Machine、RLAnything、Voyager 等）主要改进策略代码、记忆或环境本身，没有把'预测可靠性'与'策略–模型兼容性'作为系统性设计需求来处理。
本文的目标是本文目标是构建领域无关的递归自我改进框架 RSI-Anything，让预测式世界模型深度融入改进闭环：用世界模型预测指导动作选择、外部评估优先级排序与训练数据构造；用外部反馈驱动策略学习或智能体工作流修订，并在可靠性检查确认必要时条件性地适配世界模型；通过组件级检查与成对兼容性检查决定保留哪个'策略–世界模型'组合，允许两个组件异步演化。框架需要在代码修复、GUI 操作、实验室规划和反应优化等异构计算与科学领域上验证统一机制的有效性，并回答三个具体问题：世界模型预测能否改进候选选择、保留的更新能否带来进一步提升、以及在有限外部反馈预算下能否实现这些收益。
与已有工作不同的是，本文的独特切入在于把'预测可靠性随策略演化而变化'从隐忧提升为中心设计需求，并首次在系统层面定义持久改进：改进的单位不是孤立的策略或模型，而是策略–模型对。作者给出了形式化任务规范 $T_d = (X_d, S_d, A_d, W_d, V_d, M_d, C_d, B_d)$ 与完整的更新–保留协议；提出版本可归属的可靠性评估——历史观测必须使用当前模型版本的存储预测或重新预测，不与旧版本预测混合池化；并区分 E0（规则检查）、E1（模型预测/rollout）、E2（高保真模拟器）、E3（外部测量实验）四级证据来源，保证预测与观测各自保留出处、训练准入单独门控。这种'保留门控 + 证据分级 + 版本归属评估'的组合在既有 RSI 文献中是首次出现。
核心方法
直觉上，该框架把昂贵的外部反馈预算花在刀刃上：先用世界模型对所有候选动作做前瞻打分，只把最有希望的候选送去执行或实验，唯有被执行的候选会产生宝贵的'预测–观测'配对反馈；这份反馈一方面驱动策略或工作流更新，另一方面用于评估世界模型预测是否仍然可靠。每一轮改进周期 $k$ 结束时，被接受的系统是 $(\theta_k, \phi_{d,k})$：策略配置 $\theta_k$ 决定候选如何生成或筛选（可以是可训练参数或持久化的智能体工作流），$\phi_{d,k}$ 是当前域预测器。技术上，框架建立在 JEPA-Anything 预测底座之上：编码 $z_t = E_{\phi_{d,k}}(s_t, c_d)$，潜变量预测 $\hat{z}_{t+1} = F_{\phi_{d,k}}(z_t, a_t, c_d)$，读出 $\hat{o}_{t+1} = R_{\phi_{d,k}}(\hat{z}_{t+1}, c_d)$ 得到点预测或概率分布；多步规划时按视野 $H$ 联合策略与模型展开轨迹。域实现只负责指定模型、动作编码、结果读出与启用的通路，如不确定性感知选择、多步规划与想象轨迹学习。
核心创新是解决'耦合更新难题'的递归保留机制。策略更新改变世界模型面对的候选分布，模型更新改变候选排序和学习信号，单独改进任何一方都不保证联合变好——这是 RSI 文献此前未被显式建模的问题。RSI-Anything 的答案是异步更新加双重门控：组件检查 $G^\pi_k = Q^\pi(\theta'_{k+1}; \theta_k, D^\pi_{gate,k})$ 与 $G^W_k$ 分别评估新策略的任务效用与新预测器在相关目标上的质量；当至少一个组件变化时，成对检查 $G^{pair}_k = Q^{pair}(\bar{\theta}_{k+1}, \bar{\phi}_{d,k+1}; (\theta_k, \phi_{d,k}), D^{compat}_k)$ 在匹配的评估条件下比较组装候选对与当前对，关注组装系统的决策行为与预测器对新策略候选的适用性，而非孤立组件质量。组件检查失败保留该组件当前版，成对检查失败保留整对；两个组件都未变化时当前对直接继承、无需新比较。这与 CURE 等只对单一对象做验证的方案有本质区别。
方法步骤详情
流程分五步。第一步形式化：域任务规范为 $T_d = (X_d, S_d, A_d, W_d, V_d, M_d, C_d, B_d)$，涵盖观测、状态、动作、世界模型适配器、验证器、指标、约束与预算；周期 $k$ 只计更新而非成功修订。第二步预测底座：由编码器 $E$、预测器 $F$ 与读出器 $R$ 从状态、动作与上下文得到结果预测，OPF 把潜目标分解为互补因子分别预测再合成。第三步预测引导选择：验证器记录有效性与不确定性，按 $\hat{S}(\hat{\tau}) = \sum_j w_{d,j}\, r_{\hat{\tau},j} - \Delta_d(\hat{\tau})$ 排序，无效候选先剔除；想象轨迹的训练准入由 $e_{\hat{\tau}}$ 单独门控，不阻止对不确定候选的外部评估。第四步反馈驱动改进：'预测–观测'对扩展历史 $H_k$，分别构造 $D_{policy,k}$ 与 $D_{adapt,k}$；仅当可靠性 $\rho^W_k$ 判为 unreliable、数据充分且预算足够时才触发模型适配。第五步递归保留：通过组件与成对检查的 $(\theta_{k+1}, \phi_{d,k+1})$ 进入下一周期，塑造后续候选与学习经验。
技术新颖性
技术新颖性体现在四处。第一，版本可归属的可靠性协议：评估预测误差时只使用当前模型版本生成的预测（历史存储的或对记录输入重新计算的），旧版本预测仅用于分析历史决策、绝不混入当前误差估计，避免了版本混杂导致的高估或低估。第二，'insufficient' 与 'unreliable' 语义分离：反馈来自被选中的候选，结论仅覆盖已观测的候选范围，覆盖不足时返回 insufficient 且不触发适配，防止把'没测过'误判为'不可靠'或把失准误判为'没问题'。第三，训练准入与评估选择解耦：想象轨迹的准入阈值不会阻止对高不确定性候选的外部实验评估，学习数据过滤与信息获取两条通路各司其职。第四，领域无关性来自适配器设计：代码域用 Qwen2.5-Coder-3B-Instruct 加 LoRA 微调的五分类执行结果预测器 W1；化学域把 ReactionT5 反应预测骨干与 JEPA-Anything 预测设计结合，输出产率分布 $p_\phi(y \mid r, c)$；免疫域复用文献[13]的多尺度免疫世界模型——同一套保留协议不加修改地适用于所有域，证明改进机制的通用性而非某个域模型的强度。
实验结果
论文在五类设置中给出量化证据。代码修复（coder 固定，200 道 CodeContests 题 × 3 种子）：随机 26.0%、静态验证器 26.3%、固定世界模型 29.2%、加模型适配 31.2% 隐藏测试通过率，配对增益 +2.83pp（CI [+0.17, +5.50]）；排序准确率 66.5%→72.8%，Brier 0.488→0.358，在线测试调用持平（3.71–3.72 次/任务），说明增益来自预测质量而非更多反馈。泛化上 APPS Introductory 达 46.37%（初始 37.90%），LiveCodeBench v6 达 33.05%（初始 25.24%）。GUI：click-checkboxes 成功率 51%→79%→99%，动作数 −39.4%，重复点击 237→0，错误提交 9→1；OSWorld 相对初始智能体 +18.4%，比 RLAnything 再高 5.5%。实验室规划：LabHorizon F200 五个连续 4B 版本从 21.80% 升至 46.01%，超 Actor–Simulator–Selector 参考的 45.32%，L1 准确率 0.700 对 0.665。化学：GC 筛选 20 次实验最优产率 93.0% 对 87.5%；流动 LC–MS 筛选 40 次实验 96.15% 对 82.16%。免疫科学端到端应用产出 SIRPα 抑制联合 IL-36γ 调控的前瞻性治疗假设。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 代码修复（CodeContests 200 题 × 3 种子，coder 固定） | 隐藏测试全通过率 / 在线测试调用 | 固定世界模型 29.2%（3.71 次/任务）；加模型适配 31.2%（3.72 次/任务） | 容量匹配静态验证器 26.3%；随机选择 26.0% | 配对增益 +2.83pp（95% CI [+0.17, +5.50]）；排序准确率 66.5%→72.8%，Brier 0.488→0.358 |
| APPS Introductory（1000 题，三种子） | 最终全测试通过率 | 46.37% | 初始程序 37.90%；随机选择 44.07%；静态验证器 44.00% | 较初始程序 +8.47pp，较静态验证器 +2.37pp |
| LiveCodeBench v6（1055 题，三种子） | 最终全测试通过率 | 33.05% | 初始程序 25.24%；随机选择 31.18%；静态验证器 30.74% | 较初始程序 +7.81pp，较静态验证器 +2.31pp |
| MiniWoB++ click-checkboxes | 任务成功率 / 平均动作数 | 99% 成功率；3.21 动作/回合（final 配置） | 基线 51% 成功率；5.30 动作/回合（World-based 对照 49%→98%） | 成功率 +48pp；动作数 −39.4%；重复点击 237→0，错误提交回合 9→1 |
| OSWorld GUI 任务 | 相对初始智能体的成功率相对提升 | +18.4% | RLAnything +12.3% | 比 RLAnything 再高 5.5% 相对提升 |
| LabHorizon F200 Level-2 实验室规划（200 题） | Final Score / Level-1 准确率 | 46.01%（五个版本 21.80%→46.01%）；L1 准确率 0.700 | Actor–Simulator–Selector 参考 45.32%；GPT-5.5 仅 0.2276；L1 参考 0.665 | 超参考系统 +0.69pp；五版本累计 +24.21pp |
| Suzuki–Miyaura GC 筛选（Pd–NHC–DMS） | 20 次实验后的最优观测产率 | 93.0% | 贝叶斯优化 87.5% | +5.5 个百分点（相同实验预算） |
| Suzuki–Miyaura 流动 LC–MS 筛选（Pd(OAc)2） | 40 次实验后的平均最优观测产率 | 96.15% | 贝叶斯优化 82.16% | +13.99 个百分点（相同实验预算） |
局限与改进
作者明确承认的局限：代码修复中尚缺策略与世界模型在同一任务内多轮联合互进的评估；实验室结果只评估了协议对齐的规划，可靠的物理执行仍需在真实设备与流程上验证；化学结果仅覆盖两个 Suzuki–Miyaura 筛选及报告的实验预算；免疫科学产生的治疗假设尚待实验检验；可靠性评估的结论受限于被观测和覆盖的候选范围。我自己的观察：代码修复的配对增益 95% 区间下界只有 +0.17 个百分点，统计上接近临界，需要更大规模确认；GUI 的动作级诊断（重复点击、错误提交）基本来自单一 checkbox 任务，外推到 OSWorld 复杂任务的证据有限；'adapted' 配置虽然动作更少（2.93 次/回合）却产生 21 个错误提交回合，成功率与错误率间的权衡如何形式化选取最终配置未说明；OSWorld 只对比 RLAnything 和初始智能体，化学基线只有贝叶斯优化，基线覆盖偏窄；保留门控本身消耗预算（历史重评估、成对验收），论文未量化门控成本占总预算的比例。
独立分析的弱点
独立分析发现以下弱点。其一，成对检查要求'匹配的评估条件'，但两个策略生成的候选分布天然不同，实现层面存在自由度，可能做出有利于保留的隐性决策——改进方向是引入离策略校正或预注册的评估协议，并公开门控决策的审计日志供外部检查。其二，可靠性评估只覆盖已观测候选范围，策略更新若把系统推向预测器没见过的区域，框架缺少主动的覆盖探测机制——可以在预算中划出固定份额用于在候选空间稀疏区主动采样，检验外推可靠性。其三，验收环节（历史重评估、成对比较）本身消耗反馈与计算预算，在极端受限场景下可能与学习数据竞争——应报告门控成本收益分析，或允许复用训练/验收数据时施加严格的统计校正。其四，代码修复增益幅度小且置信区间下界贴近零，而框架复杂度（双组件门控、版本化预测存储、证据分级）显著高于一个静态验证器——需要展示在什么任务难度与规模下这些复杂度才被增益摊销。其五，工作流修订路径只在免疫科学构建阶段隐式出现，缺少在通用任务上直接对比'可训练策略更新'与'智能体工作流搜索'两种更新路线的消融实验，读者难以判断哪条通路贡献更大。
未来方向
作者提出的方向：在同一任务内进行策略与世界模型的多轮联合评估，验证持续的相互改进而非阶段式收益；把实验室规划延伸到真实物理设备的可靠执行验证；扩展化学空间覆盖并在湿实验中检验 SIRPα 联合 IL-36γ 的治疗假设。基于本文成果可以延伸的方向包括：理论层面分析'耦合更新'的稳定性条件，刻画预测器误差与策略分布偏移之间的定量关系，为保留门控给出收敛或无退化保证；把 E0–E3 证据分级推广为成本感知的主动获取策略，在预算约束下最优地决定何时使用哪级证据；将框架与验证门控的记忆演化系统结合，处理跨任务、跨时间尺度的持久改进；探索多智能体或多任务共享世界模型时的'策略族–单模型'兼容性协议；为 RSI 保留机制建立标准化公开基准，发布各轮版本权重与门控日志，便于社区复现比较。安全方面，兼容性检查可以自然扩展为对齐约束检查，把'高效但不安全'的系统更新在门控阶段直接拦截。
复现评估
复现条件总体友好。论文标明代码与模型已开源（Code: RSI-Anything；Models: RSI-Anything2026，HuggingFace 组织），核心组件 W1 基于 Qwen2.5-Coder-3B-Instruct 加 LoRA，3B 骨干加低秩适配意味着单张到几张消费级 GPU 即可完成适配与推理；策略 ReasonFlux-Coder-7B 同为开源规模。评测基准全部公开：CodeContests（200 题）、APPS Introductory（1000 题）、LiveCodeBench v6（1055 题）、MiniWoB++、OSWorld、LabHorizon F200，统计协议（任务级重采样的聚类推断、三种子平均）有明确描述，代码修复部分最容易复现。难点有三：化学实验需要真实合成与 GC/LC–MS 设备，普通实验室难以复现两套筛选；免疫世界模型依赖文献[13]的模型与扰动数据；JEPA-Anything 底座与 OPF 的训练细节继承自另一篇论文，完整复现需交叉阅读。综合评估：框架机制与代码域结果复现度高，物理与湿实验域门槛高。
论文图表