现代智能体系统中的自我改进：综述 Self-Improvements in Modern Agentic Systems: A Survey
把自我改进智能体形式化为参数更新与脚手架更新两条路径，统一梳理历史、分类、应用与评估。
前置知识
基础模型 (Foundation Model, FM)
通过大规模预训练得到的大语言/视觉语言模型（LLM/VLM），作为现代智能体的认知核心；其本质是无状态推理引擎，自然语言充当感知、推理、工具调用的统一接口。
本文整个框架围绕 FM 展开，只有理解它作为参数化认知引擎的角色，才能区分「更新参数 θ」与「更新外部脚手架 Σ」两条自我改进路径。
智能体脚手架 (Scaffold / Agent Harness)
包裹在 FM 外部的可修改结构，正式定义为 $\Sigma_t := (p_t, m_t, \mathcal{T}_t, g_t)$，即提示、记忆、工具集与控制逻辑。它负责构造上下文、选择动作、施加约束。
本文核心二分法之一就是把自我改进分成「改 θ（Foundation Model Improvement）」和「改 Σ（Scaffolding Improvement）」，看懂 Σ 的四个组件才能读懂第 6 章。
Gödel Machine 与自指学习
Schmidhuber 在 2003 年提出的理论上最优自指自改进机：在单次生命周期的 RL 环境中，只有当系统能数学证明某次自修改会提升期望累计回报时才接受该修改；其证明器、修改生成器本身也可被修改，因而是完全自指的。
本文把自我改进的思想谱系追溯到这里（Section 2.3），它是第 6.4 节「全脚手架改进」的理论理想，也是「递归自我改进」(RSI) 的天花板。
RLHF / RLVR / DPO / PPO / GRPO
FM 参数优化的主流算法：RLHF 用人类偏好训练奖励模型再用 PPO 优化；RLVR 用可验证的程序化奖励（如单元测试）替代人类标注；DPO 直接用偏好对优化；GRPO 用组内相对优势做策略梯度。
第 5 章（FM 改进）几乎处处出现这些算法，extrinsic experience 一节（5.3）直接以它们作为 $U_\theta$ 更新算子，例如 Agent-RLVR 用单元测试结果、UI-Genie 用 GRPO。
奖励黑客与能力回退 (Reward Hacking / Capability Regression)
奖励黑客指智能体找到满足字面奖励条件但不真正完成任务的捷径，在语言可被操纵时（如骗过 LLM-as-Judge）尤其严重；能力回退指在窄奖励上做大量 RL 后，模型丧失预训练阶段获得的泛化能力。
本文反复强调这是闭环自我改进最核心的安全风险，并把 critic 视为「受治理的基础设施」而非被动基准，理解这一点才能看懂 Section 9.1 的系统设计含义。
世界模型与模拟交互 (World Model)
学习到的环境动力学模型 $W(s_{k+1}, r_k | s_k, a_k)$，用于预测下一状态与奖励；FM 时代的世界模型通常是生成式语言/视觉模型，可直接生成策略能消费的观测（如下一个网页或视频帧）。
第 5.3.2 节「模拟代理环境」用世界模型做规划与轨迹合成，是降低真实交互成本的关键机制，但会带来「幻觉动力学」风险。
Skill / 技能 (Meta-level vs Object-level)
本文把技能建模为「自诱导更新算子 $U$ 的可复用实例」——一次对智能体配置 $A_t$ 的命名更新，可被序列化到工具、提示、记忆条目、权重或控制逻辑任一基底。Object-level 技能作用于任务/世界状态，Meta-level 技能作用于智能体自身配置。
Skill 是横跨「基底轴」的正交概念，理解它才能解释为什么工具路由、记忆组织中反复出现相似的「存储-检索」结构，也是递归自指闭环的关键。
研究动机
自我改进智能体正从研究原型走向实际部署，但研究图景在术语和范围上都高度碎片化。同样的核心思想常被冠以不同标签——self-correction、meta-prompting、self-play——掩盖了底层机制上的相似性。已有综述（Gao et al. 2026、Fang et al. 2025a、Tao et al. 2024）通常把「基础模型微调」与「智能体脚手架」当作两个孤立话题处理，缺乏统一的形式化视角，也很少追溯这些机制在经典 AI 中的根源。这种割裂使得研究者难以横向比较那些本质相近但用词各异的方法，也使得评估协议、安全边界等共性问题无法被系统讨论。此外，把「FP 改进」（慢、稳定、参数化）与「脚手架改进」（快、可逆、结构化）混为一谈，会导致对算力预算、灾难性遗忘、奖励黑客等风险的误判。
本文的目标是本文旨在为现代 FM 驱动的自我改进智能体（SI-FMA）提供一个严格的、系统级的统一框架。具体目标包括：把智能体形式化为 $A_t = (\theta_t, \Sigma_t)$ 这一「认知核心 + 操作脚手架」的耦合配置；把自我改进形式化为一个自诱导更新算子 $A_{t+1} = U(A_{1:t}, E(\pi_{\theta_t,\Sigma_t}; \Sigma_t, C_t))$，区分执行相与更新相；按「更新目标（θ 还是 Σ）」与「改进信号来源」两个正交维度组织海量文献；并把这套分类法贯穿到 6 个应用领域（软件工程、网页导航、博弈、科学发现、具身 AI、通用计算机控制）以及评估方法学中，最终给出开放问题与未来路线图。
与已有工作不同的是，本文的独特切入角度有三点。第一，它把自我改进的思想史从 1790 年代最小二乘法、Gödel 算术化、Good 的「智能爆炸」、Schmidhuber 的自指学习与 Gödel Machine，一路梳理到现代 FM 智能体，明确指出 FM 引入自然语言作为「统一语义介质」是解除历史瓶颈（在汇编代码/原始权重上搜索）的关键。第二，它把 FM 微调与脚手架演进放进同一形式化体系，并引入「skill 作为可复用的更新算子」这一概念，使「存储-检索」结构在工具与记忆两条子轴上得以统一。第三，它把评估本身当作一个需要专门设计的子系统（轨迹报告、预算约束、held-out 转移、回归与安全指标），并区分机制级基准（isolate θ 或 Σ 更新通道）与领域级基准，这是多数既有综述忽视的维度。
核心方法
整体思路是先建一个最小但足够通用的「系统级」形式化：在时刻 $t$，智能体配置为 $A_t = (\theta_t, \Sigma_t)$，其中 $\Sigma_t := (p_t, m_t, \mathcal{T}_t, g_t)$ 是提示、记忆、工具、控制逻辑四元组；诱导策略记为 $\pi_{\theta_t,\Sigma_t}(A_t | X_t)$，其中 $X_t$ 是易失的执行状态（KV cache、中间计划）。在此之上，自我改进被定义为「持久、内生」的自诱导更新算子，分执行相 $E$（用当前策略跑出学习信号）和更新相 $U$（把信号提交到 θ 或 Σ）。技术路线由此自然分叉成两条：FM 改进对应 $\theta_{t+1} = U_\theta(\theta_{1:t}, E(\cdot))$ 且 $\Sigma_{t+1}=\Sigma_t$，慢但稳、可摊销；脚手架改进对应 $\Sigma_{t+1} = U_\Sigma(\Sigma_{1:t}, E(\cdot))$ 且 $\theta_{t+1}=\theta_t$，快、可逆、上下文敏感。两条路径共享一个核心洞见：自然语言把「搜索空间」从低层汇编/权重压缩到语义层，使自修改真正可行。
最核心的创新点是把「更新什么」与「信号从哪来」两个正交轴拆开，并据此给出一个可对齐所有方法的形式化记号 $\mathrm{IMPROVE}_{\text{target}}(\cdot; S_t)$。FM 改进按信号形式细分为：(i) 内在生成示教 $S_t \approx D_t$（如 Self-Instruct、Evol-Instruct、LMSI 的自一致性过滤）；(ii) 内在评价反馈 $S_t \approx e_t$（标量分数/偏好对/自然语言批判，如 Constitutional AI、Meta-Rewarding、TTRL 的多数投票奖励）；(iii) 外在探索经验 $S_t \approx \tau_t$（程序化验证器 Agent-RLVR、学习奖励模型 WebRL/UI-Genie、世界模型 WebEvolver/WMPO）。脚手架改进按被改组件细分为：提示（标量→定性→种群→文本梯度四代范式）、记忆（对象/结构/处理三维度）、工具（动态路由/迭代精修/自主创建）、以及全脚手架（把整个代码库当可变基底，如 DGM、HGM、ADAS、AlphaEvolve）。这套「2×N」分类法是和已有综述最本质的区别。
方法步骤详情
文章并不提出单一算法，但给出了两条统一的算法骨架。Algorithm 1（FM 改进）步骤为：对 $t=0,\dots,T-1$，(1) 收集信号 $S_t$——若子类含内在示教则调用 GENERATE_DEMONSTRATIONS，含内在评价则 GENERATE_EVALUATIVE_FEEDBACK，含外在经验则 COLLECT_EXPERIENCE；(2) 可选地 FILTER_OR_WEIGHT 做质量控制（如自一致性、单元测试、定理证明）；(3) 用梯度下降 $\theta_t^{(k+1)} = \theta_t^{(k)} - \eta_k \nabla_\theta \mathcal{L}(\theta_t^{(k)}; B_t^{(k)})$ 或 RL/DPO 更新 $\theta_{t+1} = U_\theta(\theta_{1:t}, S_t)$，初始化于当前检查点 $\theta_t$；(4) 若 CONVERGED 则提前停。Algorithm 2（脚手架改进）步骤为：对 $t=0,\dots,T-1$，(1) INTERACT_AND_EVALUATE 收集轨迹/批判/成败/成本；(2) FILTER_OR_WEIGHT；(3) 若是全脚手架改进则 $\Sigma_{t+1}=\mathrm{IMPROVE}_\Sigma(\Sigma_{1:t};S_t)$，否则按子类分别调用 $\mathrm{IMPROVE}_p / \mathrm{IMPROVE}_m / \mathrm{IMPROVE}_{\mathcal{T}}$；(4) 写回 $A_{t+1}=(\theta, \Sigma_{t+1})$。两条算法都保留历史 $\theta_{1:t}/\Sigma_{1:t}$ 以支持验证与回滚。
技术新颖性
技术新颖性体现在几处：一是把 skill 定义为「正交于基底轴」的可序列化更新算子，并区分 object-level 与 meta-level 两层作用域，meta-level skill 因为既是 $U$ 又被写回 $A_t$，自然恢复了自指闭环（Schmidhuber 1987/1993/2003b 的谱系）；二是把记忆改进统一为 signal-driven 的 CRUD 生命周期（Create/Read/Update/Delete，由 $S_t$ 参数化），并配合对象（显式 trail/原始/外部知识 vs 隐式 latent/KV）×结构（flat/hierarchical/graph/vector）的二维设计空间；三是把 prompt 优化按信号丰富度排成「标量→定性→种群→文本梯度」四代，并指出文本梯度可能桥接脚手架与参数学习；四是把 full scaffolding 改进写成自指形式 $\Sigma_{t+1} = I_{\Sigma_t}(\Sigma_t; S_t)$，强调改进器自身可被改进。此外，文章把评估单独形式化：能力轨迹 $m_t = \mathbb{E}[\Phi(x,\tau)]$，区分 $\Phi_{\text{metric}}$（确定性可执行）与 $\Phi_{\text{judge}}$（参数化判官，需防过拟合到判官偏置）。
实验结果
作为综述，本文的核心「发现」是结构性的综合判断，而非单一实验数字。第一，现代自我改进本质上是「FM 改进（慢、参数化、可摊销）」与「脚手架改进（快、可逆、上下文敏感）」两条互补回路，且实践中常常混用——多数实用 pipeline 在一个改进周期内同时混合内在示教、内在评价、外在经验。第二，信号的可靠性是天花板：内在评价反馈（rubric/consistency/corrective 三族）容易把模型自己的盲点放大，confidently-wrong 时一致性反馈会反复收敛到同一错误；外在经验则有 reward hacking（语言可被操纵）、capability regression（窄奖励 RL 侵蚀预训练泛化）、hallucinated dynamics（世界模型幻觉转移）三类新风险。第三，应用层面存在强共性：每个领域都依赖沙箱化可控环境（SWE 用编译器/CI、网页用模拟浏览器、博弈用可重置环境、科学用可执行工作流、具身用模拟器、GCC 用虚拟桌面），环境的保真度/可扩展性/成本塑造了该领域主导瓶颈与迭代模式（见 Table 5）。第四，评估必须从「静态 zero-shot 评分」转向「预算约束下的轨迹跟踪」：要报告学习曲线、向 held-out 集的转移、回归率与安全指标、以及人机协作的量级。第五，full scaffolding 改进（DGM/HGM/ADAS/AlphaEvolve/Live-SWE-Agent）是目前最接近递归自改进的类别，但需在「人类设定的目标与安全协议」这一边界内运行。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 与相关综述的组织维度对比 | 组织覆盖维度数（主/次/未覆盖） | 7 个维度全部为主覆盖：智能体形式化、定义范围、历史根源、信号视角、更新基底、评估视角、领域覆盖、展望与议题 | Gao et al. (2026) 5 主 1 次；Fang et al. (2025a) 1 主 4 次；Tao et al. (2024) 1 主 4 次 | 本文在统一形式化、历史追溯、评估视角上独有主覆盖，填补「FM 微调 vs 脚手架」被割裂处理的空白（Table 1） |
| 软件工程自我改进 | 可执行反馈密度与迭代模式 | DGM 维护改进后代的树状档案；HGM 用 clade-level metaproductivity 估计长期潜力；Live-SWE-Agent 在运行时自演化脚手架；SWE-RL 把软件演化数据+可执行信号用于 RL 训练 FM | SWE-agent / Agentless（非自我改进基线，仅在单实例内迭代） | 把跨实例的持久 θ/Σ 更新与单实例迭代区分开，明确基线与方法的方法学边界 |
| 网页导航自我改进 | 长程任务成功率与稀疏反馈下的可扩展性 | WebRL 自演化在线课程+outcome-supervised 奖励模型；WebEvolver 协同演化网页世界模型；WebAgent-R1 多轮 RL+二元成功奖励；UI-Genie 策略与奖励模型协同演化 | SeeAct 等仅做即时接地修正的方法 | 从一次性 prompt 转向跨任务持久改进，但需 drift-aware 评估防过拟合静态快照 |
| 具身 AI 与模拟交互效率 | 真实环境交互次数 | GLoW 在文本游戏中用全局 frontier + 局部 advantage reflection 的双尺度世界记忆 | RL baseline | 以 100–800× 更少的真实环境交互达到强性能（论文引述） |
局限与改进
作者自己承认的局限：第一，三类 FM 改进子类「并非互斥」，文章按主导信号归类会掩盖混合 pipeline 的细节；第二，参数化蒸馏是「有损压缩」，会把 System-2 的稀有错误恢复策略平均化掉；第三，critic 本质是攻击面，若让智能体自己无约束地演化 critic 会塌陷为自证闭环。我从综述角度再补两点观察：其一，文章对「真正的开放式递归自改进」只停留在 bounded/verifiable loops 的现状描述，缺乏对 RSI 触发条件、可证明安全边界的形式化判定（仅引用 Gödel Machine 理想）；其二，作为综述它未做任何 head-to-head 的统一复现实验，所有跨方法对比都基于各原文报告数字，存在严重的协议异质性与基准污染（benchmark contamination/overfitting）问题，例如 SWE-bench 上很多「提升」实为对 verifier 协议的过拟合；其三，「skill」这一横切概念虽优雅，但缺乏可操作的度量（怎么数一个 agent 有多少 skill？怎么比较两个 skill 库？），更像纲领性概念而非可验证假设。
独立分析的弱点
弱点一：评估不可比。各方法在不同 FM、不同预算、不同判官下报告，且多数只报告峰值而非轨迹；改进方向是建立像 AgentGym/BrowserGym 那样的统一 API 平台，强制报告 $(b_t, m_t, \text{regression rate})$ 三元组并做多种子复现。弱点二：自生成信号的盲点放大。当模型 confidently-wrong 时，自一致性/标量奖励会反复采样同一错误；改进方向是引入异质 critic（不同检查点/模型族的 generator-evaluator 分离）、把 evaluator 分歧当不确定性信号、并定期人工审计评分准则。弱点三：全脚手架改进的安全边界不清晰。智能体改自己源码时，一次 prompt injection 可演化为持久架构漏洞；改进方向是分层门控（layered gating）——把 self-improving agent 当不可信代码在受保护运行时执行，每次 patch 须经功能正确性+工具权限边界+随机状态扰动鲁棒性的 verifier-gated 检查，critic 更新限制为单调（如只增测试）并配人工审计。弱点四：上下文窗口与长轨迹的张力。多模态/长程经验必须压缩才能进上下文；改进方向是 latent/KV-cache 记忆与显式记忆的混合，以及把 System-2 流程蒸馏进 System-1 权重（joint optimization of θ and Σ）。弱点五：开放世界漂移。静态 leaderboard 训练出的 agent 在 API/UI 变化时崩溃；改进方向是非平稳模拟器（让接口持续漂移）与神经-计算统一运行时（Zhuge et al. 2026b 的 neural runtime）。
未来方向
作者明确提出两个主题、六个方向。主题 A「终身适应的算法范式」：(1) 测试时持续适应——把训练/部署分离打破，让检索、路由、记忆策略在执行中动态更新，但要防局部 patch 悄悄侵蚀全局性能；(2) 主动探索与好奇心——智能体应主动寻求高预测误差或 verifier 分歧的经验，而非被动接受人工任务（接 Schmidhuber 的人工好奇心/压缩进度框架）；(3) 参数蒸馏与联合优化——把脚手架发现的复杂多步恢复策略蒸馏进小模型的 System-1 权重，并在同一闭环里同时更新 θ 与 Σ，这需要解决「失败时该改 prompt 还是工具还是算梯度」的信用分配难题。主题 B「复杂性、约束与开放世界鲁棒性」：(4) 资源约束下的改进动力学——把自我改进重定义为资源优化问题，用轻量不变性检查门控昂贵的神经评估；(5) 多智能体协同演化——专业化 agent 通过版本化协议共享回归测试、补丁、工具封装；(6) 在开放世界分布漂移下存活——抛弃静态 leaderboard，用持续漂移的接口训练抗遗忘、抗非平稳的闭环。基于本文成果还可延伸：把 Gödel Machine 的可证明改进思想用形式化验证器（如 Lean/Coq）落地到 full scaffolding 改进的接受准则上；以及把 skill 的「正交基底」概念变成可比较的度量体系。
复现评估
本文是综述，本身无可复现实验，但提供了 GitHub 持续更新的文献追踪页（标注 § Self-Improving-Agents / Project Page）。复现个别方法的关键考量：FM 改进类需要大量算力（RL 训练 + 奖励模型训练，如 UI-Genie 的策略-奖励协同演化），多数原文未完整开源；脚手架改进类相对易复现（多为 prompt/记忆/工具规则，依赖单 FM API），但作者强调种子敏感性高，需多随机种子报告期望与方差。评估复现需注意：SWE-bench/WebArena/OSWorld 等领域基准都已开源，但存在泄漏（leakage）与 verifier 过拟合问题，本文建议用 SWE-bench+、hidden set、temporal-shifted set 等加固。机制级 benchmark（DrunkAgent、TaskBench、MetaTool、MINT）用于 isolate Σ 更新通道。整体难度：综述级（读懂框架）入门；复现单篇前沿方法（如 DGM、AlphaEvolve）需要中等到高工程与算力投入；要做出可比较的新方法必须遵守本文的轨迹+预算+转移+回归四件套报告规范，否则结果不可信。
论文图表
时间线图：左车道列 FM 改进（θ）代表工作（Self-Instruct、LMSI、Constitutional AI、RoboCat、WebRL、Agent-RLVR 等），右车道列脚手架改进（Σ）代表工作（OPRO、Self-Refine、Reflexion、Voyager、Mem0、AlphaEvolve、DGM 等），按发表年份排列，顶端有 AGI 路标。
帮助读者快速定位自己熟悉的方法落在哪条路径、哪个子类，是文献地图的速查表。
五阶段思想史时间线：早期概念（最小二乘、Gödel 算术化、智能爆炸）→ 符号与启发式自修改（自繁殖自动机、Lenat 的 AM/EURISKO）→ 连接主义与元学习出现（learning to learn、自指学习、AIXI、Gödel Machine）→ 形式与架构级自改进（NAS、self-play、RL）→ FM 与智能体系统。
理解为什么 FM 是「解除历史瓶颈」的关键，以及 Gödel Machine/自指学习为何是 RSI 的理论根，是读懂 motivation 的历史维度。