迈向物理AI的递归自我改进

系统梳理机器人如何从改进行为走向改进改进方式本身，并给出判定真正递归的两轮测试

前置知识

递归自我改进（RSI）

指系统不仅改进自身行为，还改进产生改进的过程本身。源自哥德尔机；实践有 STOP（改代码程序作用于自身源码）与 Darwin Gödel Machine（改进后的 agent 修改自己），候选用可执行测试打分。真递归要求：保留的修复知识使下一次修订更好，且改进者用它所得产生自己的下一次改进。

全文的主张阶梯与 R1/R2 判据都建立在这一精确定义上。不理解递归与普通自我改进的区别，就无法理解论文的核心论点：现有物理系统只有机制展示，没有一个受控比较隔离出递归增益。

策略与 VLA 模型

策略是把观察（图像、关节角、力读数、指令）映射为电机命令的控制器，通常为神经网络。VLA（视觉-语言-动作）模型在预训练 VLM 上构建，读图像与指令、输出动作，如 RT-2、OpenVLA、$\pi_0$。许多策略一次输出一小段未来动作序列（action chunk），机器人学习的主要对象就是它。

策略是物理经验最常见的落点，综述 3.1.1 节的全部机制（重标记、奖励、纠正、回放四种教学信号）都围绕如何更新它展开，也是修订后学习程序最常作用的对象。

世界模型

预测动作执行后物理状态如何变化的模型，例如预测夹爪闭合后物体是否仍留在指间。它可用于规划（想象候选动作的结果）、生成供策略训练的想象经验、或为策略提供预测特征。经典脉络从 Dyna、PILCO 到 Dreamer；近年生成式视频模型（UniSim、Genie、Cosmos）同时提供三种接口。

世界模型是物理 RSI 中最接近数字系统可执行测试的组件，能在硬件试验前筛选候选修订；但它的判断本身会出错（如在成功数据上微调后把 90% 的失败序列判为成功样），这是论文反复强调的风险来源。

学习程序与改进者的分层

学习程序 $P=(c,e,d,u)$ 是选择收集什么经验、如何评估结果、如何挑选训练数据、如何构造更新的一组规则；改进者 $I$ 是提出或选择这些规则修订的组件，可以是人、固定规则、搜索过程或学习组件，其知识可存于记忆、权重、代码或提示。改进者改变的是机器人怎么学，而不是它做什么。

论文按经验把改变留在何处（策略/世界模型/外部知识/学习程序）组织全部文献； learner、procedure、improver 的三级区分是判定行为改进、程序改进与递归的前提。

奖励设计与 Eureka 式循环

真实机器人的 RL 奖励不会自动到来，需要人、脚本或学习模型充当评估器判断每次尝试。Eureka 让语言模型根据模拟训练结果迭代改写奖励代码；Text2Reward 把自然语言目标转成可执行稠密奖励代码。这类循环改变学习程序的评估组件 $e$；语言模型权重固定，改进来自新上下文与外部任务适应度。

奖励构造是论文提出两轮递归测试的首选场景：Eureka（知识不变的奖励改进者）与 PRACTICE（改进者固定训练流程的技能编辑器）已提供固定改进者基线，便于比较改进前后的改进者。

研究动机

数字领域的递归自我改进已有可行机制：STOP 与 Darwin Gödel Machine 改写自身代码，用可执行测试廉价、并行、可逆地筛选每个候选版本。把这些机制搬进物理世界时条件剧变，论文 Table 1 列出四点：物理结果检查依赖传感器、人工检查或学习检测器，可靠性未建立，一次抓取成功检查可能漏掉感知不到的问题，且判断错误会被强化并执行到硬件上；每个候选版本要消耗真实机器人时间、重置、监督与磨损，修订必须在很少的试验内见效；练习改变自身条件，物体移动、夹爪磨损、校准漂移，回滚软件修不好被压坏的物体；可改进对象超出提示与代码，扩展到控制器、动力学模型和特定身体的接口。同时实证显示收益难以延续：Mirchandani 等发现自动采集数据的增益在 2 到 4 轮收集内饱和甚至回退；SEAR 中一个错误的成功验证器在其放行的 699 次后续 rollouts 上有 91% 判断错误，该次运行以 4.6% 成功率告终。尽管许多系统自称递归自我改进，作者审阅的全部物理研究没有一个隔离出可归因于递归的收益。

本文的目标是论文的目标是为物理 AI 中的递归自我改进建立可检验的科学框架。具体包括：其一，把 RSI 放进机器人学习的概念地图，区分方法范式（RL、元学习、AutoML 等回答更新如何计算）与主张阶梯（回答实验实际证明了什么改变了）：行为改进、后续学习受益、程序改进、以及递归的两条链接 R1/R2，每一档由能确立它的比较来定义；其二，按经验把改变留在何处（策略、世界模型、外部知识、学习程序）组织物理自我改进研究，并论证数据量与组件精度是进步的不可靠代理；其三，分离改进者的知识或工具发生了变化的机制证据与改进者确实变好了的比较证据，明确现有研究止步何处；其四，命名让收益得以延续的四个反复出现的条件（信息性反馈、可用性、分布偏移鲁棒性、持续练习），并设计一个能隔离递归关系的两轮实验，附其对照设计与硬件成本估计。

与已有工作不同的是，邻近主题已有大量综述（Table 2）：RSI in AI、自进化 agent、权重还是技能、自进化具身 AI、人形机器人自进化、L0-L5 物理分级、面向机器人学习的世界模型、操作世界模型、世界-动作模型、可行动模拟器与物理 AI。本文的独特切入是一个组织性问题：一个改变被获得之后，谁在下一个使用它，这个使用改进了什么？作者论证组件名称无法回答该问题：两个任务成功率相近的数据采集器产生的训练数据价值可能天差地别（PLD 显示同为满成功的专家采集器，蒸馏后 30/30 对 16/30）；更准的预测器可能产生对策略更没用的训练数据（DexTouch-WM）；同一种检索记忆既可能改变程序修复方式也可能只改变结果判断方式（ASPIRE 对 REVOLVE）。因此本文坚持由比较而非名称判定主张，首次为物理 RSI 给出形式化判据（R1/R2 不等式）、三级证据标准（机制/非受控/受控）与可执行的两轮测试，并用四个条件作为诊断透镜解释收益为何停滞、回退或无法延续。

核心方法

作为综述，论文的方法是一套分析与实验设计框架。直觉上，作者把每个自我改进系统都沿同一路径拆解：物理经验、留下的改变、改变的下一次使用。技术上分四步。第一步建立形式基础（第 2 章）：定义学习者 $L$、学习程序 $P=(c,e,d,u)$（四组件分别选择收集什么、如何评估、用哪些数据、如何构造更新）、改进者 $I_K$，用保护性成功评估 $J$ 给出各级比较：行为改进 $J(L')>J(L)$；后续学习受益 $J(P(L_0;A))>J(P(L_0))$；程序改进 $J(P')>J(P)$，要求匹配学习者；递归链接 $R1: J(I_{K_1}(F))>J(I_{K_0}(F))$ 与 $R2: J(\rho_{K_1}(I_{K_1},H)(F))>\max\{J(I_{K_1}(F)),\ J(\rho_{K_0}(I_{K_1},H)(F))\}$，其中 $F$ 为留出的新失败历史。第二步按改变的落点爬梯子：3.1 改进策略、世界模型与知识，3.2 改进学习程序，3.3 改进改进者，3.4 闭合递归循环。第三步在第 4 章按四个条件诊断失败模式，第四步给出两轮测试设计。

核心创新是用所需的比较来定义主张，而非用组件名称或系统标签。本质区别有三：其一，把递归操作化为两条可检验的不等式，R1 要求修复知识使改进者在新的失败上产出教得更好的程序（对照是冻结知识的同版本改进者），R2 要求改进后的改进者用其所得知识提出的自我修订同时胜过未修订的父代和用冻结知识对同一父代提出的修订，从而隔离获得知识的贡献；其二，区分机制、非受控、受控三级证据，指出改变了改进者的知识不等于改进者变好了，外部设计者积累的经验同样不能算系统级递归；其三，设计两轮测试（Figure 9）：给新旧改进者相同的新失败历史、工具、目标与修订预算，让它们产出学习程序而非任务控制器，通过匹配学习者在共同保护性结果检查下比较，每个种子只需 4 个硬件训练的学习者（约 1200 次 refinement rollouts，按 FIERCE 每条件 300 次的预算估计）。数字系统的 DGM 与 HyperAgents 已运行过类似固定改进者对照；物理版本额外要求保护性结果评估与匹配的下游学习者。

方法步骤详情

综述的实施路径如下。第一步，概念入门与定义（第 2 章）：用总抓不住同一物体的抓取机器人作贯穿实例，介绍策略、模仿学习（BC 的误差复合、DAgger 的干预纠正）、RL（评估器、重置）、世界模型与权重外改进；Table 1 逐项对比数字与物理自我改进的实验条件。第二步，爬主张梯（第 3 章）：3.1 节按策略更新（重标记/奖励/纠正/回放四种信号）、世界模型（SILVR、RISE、PlayWorld、VLAW 四条循环）、外部知识（记忆/技能/运行时三形态）梳理行为改进与后续学习受益；3.2 节按学习程序四个决策梳理：收集 $c$（FIND、RoboCoach）、评估 $e$（FIERCE、RLER、Eureka）、数据 $d$（VLAW、Demo-SCORE、CUPID）、更新 $u$（AdaRSI、PRACTICE），加实验自动化（ENPIRE、HARBOR）；3.3 节审视改进者机制（修复历史记忆、PhysEvo 自改诊断工具、准许规则）；3.4 节对照数字先例与物理边界案例。第三步（第 4 章）按测量、累积、安全、递归四个方向分析开放问题，以两轮测试收尾。

技术新颖性

技术新颖性体现在四点。第一，主张阶梯的比较定义是方法论创新：以前综述按什么在进化（记忆/任务/世界/身体）或能力等级（L0-L5）组织，本文按哪个比较能确立该主张组织，使常用代理指标失效——PLD 证明采集器成功率相同时训练价值可以悬殊（恢复覆盖 30/30 对 16/30），DexTouch-WM 证明预测更准的模型反而产出更差的训练混合。第二，R1/R2 形式化与冻结知识控制给出了可复用的实验模板，并指出当知识存在改进者权重中时 R2 控制需要专门设计（恢复旧 checkpoint 会同时改变父代）。第三，Table 13 对全部被审研究逐档定位：行为改进有受控硬件比较、后续学习有匹配学习者、程序改进只有单组件比较、R1 仅模拟非受控、R2 物理系统为零，这是首次对该领域的系统性证据审计。第四，把安全作为递归的前置条件分析：保护性成功评估（改进者不可改写的结果判断通道）、准许门与回滚、权限分离、跨代安全证据重验证，超出一般自进化综述对安全机制的罗列。

**Figure 2**: Improving what the robot does and how it learns

**Figure 4**: Where a retained change is kept and how it is used

**Figure 5**: Four teaching signals from physical experience

**Figure 6**: Where models, policies, and physical data change

**Figure 7**: Three forms of external knowledge in the grasp example

**Figure 8**: Does a revised component help the next learner?

**Figure 9**: A proposed test of the two links of recursive self-improvement (R1 and R2)

实验结果

结论：机制已备、受控证据缺位，按主张阶梯：（1）行为改进证据充分：ConRFT 8 个真实任务 45-90 分钟微调达 96.3%；Max-Q 真实 USB 插入 30 分钟达 99%，HIL-SERL 需约 5 小时才达 100%。（2）后续学习受益较少但存在：PLD 证明覆盖学习者角落状态的恢复数据使蒸馏后模型 30/30 成功，同量 RLPD 数据仅 16/30；ACCRUE 把后续任务训练时间削减 31.0-68.5%。（3）程序改进只有单组件比较：RLER 两轮把成功从 64% 到 84%、60% 到 86%，比固定奖励模型高 8-12 点；RoboCoach 按世界模型排序演示请求，13.3% 到 75.0%（均匀采集 30.0%）。（4）R1 仅机制与非受控证据：HARBOR 凭经验记忆把奖励设计从 4 小时缩到 30 分钟但无冻结记忆对照，AURA 去掉经验库后课程可执行率从 99% 跌到 38%。（5）R2 物理系统零证据：HyperAgents 可自改元 agent 0.372 对固定 0.213，VERSE 41.05% 对 39.20%。

**Table 1**: Experimental conditions of digital and physical self-improvement

**Table 2**: Closely related reviews and the complementary focus of this review

**Table 3**: The comparison each claim requires

**Table 4**: How learning paradigms and problem settings relate to the claims of Section 2.2

**Table 5**: Benchmarks used or proposed in the reviewed studies

**Table 6**: Policy updates and selected within-study comparisons

**Table 9**: Reported later-learning comparisons, with each study's reported effort and the scope of its result

**Table 10**: Changes to collection, supervision, update, and experimental procedures

**Table 11**: Robot self-improvement systems using RSI terminology in papers, system names, or project materials

**Table 12**: The open problems of this section at a glance

**Table 13**: Where the reviewed studies stand on each claim of Section 2.2

**Table 14**: Comparisons that bear most directly on each condition

**Table 15**: How a revision can invalidate a safety assumption

**Table 16**: Checks before repair and comparisons after intervention

查看结构化数据

任务	指标	本文	基线	提升
真实 USB 插入	成功率与训练用时	Max-Q 30 分钟达 99%	HIL-SERL 约 5 小时达 100%	达到可比成功率的时间缩短约 10 倍
跨任务保留（6 个真实任务）	后续任务真实机器人训练时间	ACCRUE 携带轻量 actor-critic 削减 31.0-68.5%	每任务从共同初始化重新训练	训练时间削减 31.0-68.5%
演示预算分配（Franka 与 AgileX）	匹配演示预算下的成功率	RoboCoach 世界模型排序请求：13.3% 到 75.0%、40.0% 到 83.8%	均匀采集单一适配器 30.0% 与 47.5%	相对均匀采集提升 20-45 个百分点
真实 Franka 任务奖励模型刷新	成功率	RLER 64% 到 84%、60% 到 86%	固定奖励模型（低 8-12 个百分点）	刷新评估器净赚 8-12 个百分点
抓取数据的训练价值（蒸馏后通用模型）	30 次真实试验成功数	PLD 恢复覆盖型专家数据 30/30	同量 RLPD 数据 16/30	采集器成功率相同而训练价值差 14/30
数字 R2 对照（模拟四足奖励设计）	测试分数中位数（各 5 次）	HyperAgents 元 agent 自我改进 0.372	固定初始元 agent 0.213	自改元 agent 高 0.159
成功检测器可靠性评测	balanced accuracy（2197 次真实与模拟尝试）	FailBench 13 个 VLM 检测器最佳 0.77	接触密集装配任务全部低于 0.60	量化了自我改进循环的判断器瓶颈
并行实验舰队	到达目标用时	ENPIRE 1 到 8 组：Push-T 约 5 小时到 2 小时、插销从超 1.5 小时到约 40 分钟	单 agent-机器人对	约 2.5 倍提速，但 token 消耗超线性增长

局限与改进

作者明确承认的限制：被审证据多为近期预印本，训练运行与试验次数少；四个条件是重叠的诊断透镜而非独立验证的构造；研究高度集中于操作（manipulation），导航、运动、飞行等只支持特定机制；许多研究的最终评分器及其独立性未报告（SOAR、SI-EFM、CIDER、VLAW 等被点名，属报告缺口）；成本口径互不可比（FIERCE 的 300 rollouts 排除初始化与评估；ASPIRE 只计 token；GPT-6-Astra 评估中标准 RoboDojo 预算对应 8-76 秒指令运动却平均花 55 分钟计算）。我自己的观察：其一，两轮测试本身未被运行，其约 1200 rollouts 的成本估计对多数实验室仍昂贵，近期只有资源充足的机构能验证递归；其二，R2 控制依赖知识可冻结而不改变父代的假设，对知识在权重中的改进者论文未给出方案；其三，若修复知识不能转移到留出的失败族，整个递归议程退化为补丁库管理，论文缺少量化判据；其四，综述大量引用 2025-2026 年预印本（含 GPT-6、Claude Opus 5.5 等），数字系统部分随模型迭代会较快过时。

独立分析的弱点

独立分析的弱点：第一，保护性成功评估在硬件上难以规模化——它要求结果判断通道独立于可被改进者改写的组件，实践中依赖人类审计或专用仪器，会重新引入人力瓶颈，与自主性目标冲突；改进方向是把审计请求建模为预算分配问题，并用 AnyRank 类序贯设计把有限人工判断集中到难以区分的候选上。第二，评估器对齐没有闭环方案：freeze-test-refresh-relabel 序列只是建议，只变评估器、任务与数据冻结的基准尚不存在；改进方向是构建与任务语义绑定的保护性锚定样本集，并要求每次评估器更新声明哪些任务要求不变、新增检测哪些失败模式。第三，失败诊断依赖日志与干预比较，但物理轨迹被安全机制删失——干预掩盖了本可暴露弱点的失败；改进方向是记录谁在控制的转换账本，并学习信息增益与可用性联合的探针选择。第四，回放与蒸馏类保留机制的评估都在有界任务流上进行，无限增长技能库的检索退化未测；改进方向是把检索质量纳入持续学习矩阵（新任务/旧任务/冲突状态/漂移条件四维评分）。第五，综述几乎不讨论数据隐私与责任追溯的制度层面，fleet 学习的知情同意仅一笔带过。

未来方向

作者提出的三个近期研究程序：其一，在匹配多资源预算下联合跨组件故障诊断与实验-更新联合选择，用注入故障加留出自然失败的基准，评分校准的因果排序、每次探针的信息增益，以及所选修复在匹配起点与预算下对下游行为的改善；其二，在留出失败族与声明的硬件/软件变化上测试版本化评估器与修复知识，用保护性结果检查分离转移与漂移，配套声明变化加渐进漂移的存活基准；其三，跨至少两个因果隔离的程序修订轮次连接上述测试，并报告完整的获取、维护与重验证成本。基准方面论文提议：评估器刷新基准（只变评估器）、部署地平线资源分配基准（比较地平线感知分配与短视调度）、以及 Figure 9 的两轮递归测试。基于论文成果可延伸的方向包括：为权重化改进者设计 R2 控制（例如架构上把获得知识限制在可分离、可快照的模块）；把世界模型当作廉价可执行测试的物理对应物并学习何时信任其判断（Xu 等用执行核验的反事实失败微调已示雏形，误判率从 90% 降到 33%）；把修复知识的适用性条件形式化为可自动检查的契约（VASO 的时序逻辑契约是起点）；以及跨机器人的条件感知四路决策基准（复用、适配、选择性重验证、退役）。

复现评估

作为综述，其复现分两层。框架与文献资源完全开源：项目页 physical2rsi.github.io 与 GitHub 的 Awesome-Physical2RSI 论文列表公开；R1/R2 记号、Table 3 的比较定义、Table 13 的证据分级、Table 16 的修复前后检查清单可直接采纳为实验设计与审稿模板，无需算力，研究生级读者借助第 2.1 节入门与两张定位表可在一两周内掌握框架。运行论文提议的两轮测试则昂贵：按 FIERCE 每条件 300 次 refinement rollouts 的预算，每个种子约需 1200 次 rollouts、4 个硬件训练的学习者，还需保护性成功评估（人工审计或专用仪器）、仿真筛选设施与多台机械臂，估计需要机器人实验室数月投入；且多数被审系统（ENPIRE、Eureka 除外已有公开实现）未开源或依赖特定硬件。综合评估：采纳其概念框架与报告标准容易且值得；验证递归主张昂贵，目前尚无人做到，这也是论文把两轮测试作为领域首要开放问题的原因。

迈向物理AI的递归自我改进 Toward Recursive Self-Improvement in Physical AI