超智能体：跨领域开放式自我改进的 AI 系统

自我改进机制本身也可改进的 AI 系统，实现跨领域加速进步

前置知识

Darwin Gödel Machine (DGM)

一种递归式自我改进算法，通过生成和评估自身代码修改版本，将成功变体存入档案作为未来改进的跳板。核心是开放式的种群探索过程，但依赖手工设计的固定指令生成机制来决定如何自我修改，这限制了其在编码领域之外的泛化能力。

本文的 DGM-H 直接基于 DGM 扩展，理解 DGM 的工作原理和局限性是理解 Hyperagents 创新点的前提。

Metacognitive Self-Modification（元认知自我修改）

指 AI 系统不仅能够改进其任务解决能力，还能够改进其产生未来改进的机制本身。具体来说，系统的元级修改程序本身是可编辑的，使系统可以学习如何更好地自我改进，而不仅仅是在固定框架内优化任务性能。

这是本文的核心创新概念，区分了 Hyperagents 与以往所有自我改进系统的本质不同。

Open-Ended Exploration（开放式探索）

一种持续发明新颖、有趣且日益复杂的人工能力的方法，通过维护一个不断增长的代理档案库，成功变体作为进一步改进的跳板。探索过程不是优化固定目标，而是通过种群多样性避免过早收敛到局部最优。

DGM-H 依赖开放式探索来支持持续进步，理解这一点有助于评估其避免陷入局部最优的能力。

Self-Referential Agent（自引用代理）

一种能够分析、修改和评估自身的计算程序。在实现上，任务代理和元代理集成在同一个可编辑的程序中，元代理本身也是可修改的，使系统可以修改其产生未来修改的机制，而不仅仅是修改任务解决逻辑。

自引用是 Hyperagents 实现元认知自我修改的基础架构，是其能够突破固定元级机制限制的关键。

研究动机

现有自我改进 AI 系统依赖固定的元级机制（如手工设计的指令生成器），这从根本上限制了改进速度的上限。Darwin Gödel Machine 在编码任务上取得成功，但因为它假设评估任务和自我修改任务的技能是对齐的，所以无法泛化到其他领域。在非编码任务（如论文评审、机器人奖励设计）中，任务解决技能与反思失败、提出有效改进并实施这些改进的技能存在显著差异，导致 DGM 的固定指令生成机制失效。更根本地，任何添加更高层元系统的做法都只是把问题向上推移，最终导致无限回归。

本文的目标是本文的目标是构建一个能够在任何可计算任务上实现开放式自我改进的系统。具体而言，系统不仅应该改进其任务解决能力，还应该改进其生成和应用未来修改的机制。这种改进应该是可迁移的——在一个领域学到的自我改进策略应该能够加速在完全不同领域的学习，并且在不同运行之间累积，最终实现自我加速的进步。

与已有工作不同的是，本文的独特切入点是认识到自我改进系统真正的瓶颈不在于任务层优化，而在于元级机制的固定性。与以往工作专注于改进任务代理不同，本文聚焦于使改进机制本身变得可改进。通过将任务代理和元代理集成到同一个可编辑程序中，Hyperagents 能够突破固定元级设计的限制，在不需要领域特定人工工程的情况下实现跨领域自我改进，这是对「如何让 AI 学会学习」这一问题的本质性推进。

核心方法

Hyperagents 的核心直觉是让 AI 系统同时扮演两个角色：解决具体任务的工匠，和改进自己的工匠。技术上，它将任务代理和元代理合并成一个单一的自引用可编辑程序。这个程序可以修改任何部分，包括负责产生未来修改的机制本身。DGM-Hyperagents (DGM-H) 继承了 DGM 的开放式探索框架，维护一个不断增长的代理档案库，通过选择优秀父代理生成修改版子代来探索改进空间。关键区别是：在 DGM 中，指令生成机制是固定的；在 DGM-H 中，这个机制本身是可编辑的，使系统能够学习更有效的自我改进策略。

核心创新点是元认知自我修改——让自我改进机制本身成为改进的目标。以往的自我改进系统（如 DGM）都有固定的元级骨架，只能在这个骨架内优化；Hyperagents 则让这个骨架本身变得可塑。这意味着系统不仅可以学会更好地完成任务，还可以学会如何更好地学习。就像一个学者不仅能掌握知识，还能掌握高效的学习方法。这个设计的本质区别是：DGM 假设任务技能和自我修改技能对齐，而 Hyperagents 不需要这个假设，因为元代理是完全可修改的，可以适应任何任务领域。

方法步骤详情

DGM-H 的完整流程包括两个交替阶段。第一阶段是元认知自我修改：从档案库中选择父代理，选择概率与代理性能成正比，与已生成子代数量成反比，以平衡利用和探索。选中的父代理对自己的代码库进行修改，生成新的超智能体子代。第二阶段是评估：每个生成的子代在给定任务集上进行实证评估，评估结果记录到档案中。如果子代成功编译，它被添加到档案库作为未来探索的跳板。这个过程重复进行，档案库不断增长，代理越来越复杂。元代理可以访问完整的历史评估结果，并据此决定如何修改代码库，包括修改任务代理的逻辑，也包括修改元代理自身的决策机制。

技术新颖性

与现有技术相比，DGM-H 的本质区别在于打破了固定元级机制的限制。DGM 使用手工设计的固定指令生成器，虽然在编码领域有效，但无法泛化。Meta-learning 和 evolutionary 方法虽然能学习优化策略，但通常固定学习算法本身。AutoML 和神经架构搜索优化的是模型架构，而不是改进机制。DGM-H 是第一个在实践上实现完全自引用的系统——元代理可以修改产生改进的程序，使改进过程本身成为进化的对象。这种设计使系统能够自动学习通用的自我改进能力（如性能追踪、持久记忆），而不是依赖领域特定的人工设计。

**Figure 1**: The Darwin Gödel Machine with Hyperagents

实验结果

在 Polyglot 编码基准测试中，DGM-H 将训练集性能从初始代理的 0.140 提升到 0.340（置信区间 0.300-0.380），在完整基准测试上从 0.084 提升到 0.267（置信区间 0.231-0.280），这与专门为编码设计的 DGM 性能相当（0.140 到 0.380）。在论文评审任务上，DGM-H 将测试集性能从初始代理的 0.0 提升到 0.710（置信区间 0.590-0.750），显著超过开源静态基线 0.630，也超过手工定制的 DGM-custom（0.590）。在机器人奖励设计任务上，DGM-H 从 0.060 提升到 0.372（置信区间 0.355-0.436），超过默认奖励函数（0.348）。关键的是，DGM-H 学到的元级改进能够跨领域迁移：在一个领域优化的超智能体在 Olympiad 级数学评分任务上实现了 imp@50 = 0.630（置信区间 0.540-0.630），而原始 DGM 的迁移 agent 几乎没有改进（imp@50 ≈ 0）。定性分析显示 DGM-H 自动发展出了性能追踪和持久记忆等通用元级能力。

**Table 1**: Comparison of methods by self-improving meta agents, open-ended exploration, and metacognitive self-modification

**Figure 2**: Metacognitive self-modification and open-ended exploration enable the DGM-H to continue making progress

**Figure 3**: Self-improvement strategies learned by the DGM-H in one setting transfer to and accelerate learning in a different setting

**Figure 4**: Self-improvements learned by the DGM-H accumulate across domains and runs

查看结构化数据

任务	指标	本文	基线	提升
Polyglot 编码	准确率	0.267 (完整测试集)	DGM: 0.307	相当（未专门针对编码设计）
论文评审	准确率	0.710 (测试集)	DGM-custom: 0.590, 静态基线: 0.630	+20% vs DGM-custom, +13% vs 静态基线
机器人奖励设计	策略性能	0.372 (测试集)	默认奖励函数: 0.348, DGM-custom: 0.348	+7% vs 默认
Olympiad 数学评分	准确率	0.601 (完整基准)	ProofAutoGrader: 0.561	+7%
跨领域迁移	imp@50	0.630	DGM: 0.0	从无到有

局限与改进

作者承认 DGM-H 仍有两个主要限制：首先，它操作在固定的任务分布上，无法像真正的开放式系统那样生成新任务和课程。其次，外层探索循环的组件（如父选择、评估协议）仍然是固定的，虽然超智能体可以修改自我改进机制，但不能改变决定哪些代理被选择或如何被评估的外层过程。这些固定组件虽然提高了实验稳定性和安全性，但限制了完全自修改性。此外，当前实现依赖预先定义的任务和评估指标，在开放世界中的泛化能力尚未验证。计算成本方面，多轮自我改进需要大量的模型调用和评估时间，虽然采用了阶段性评估协议来降低成本，但资源消耗仍然可观。

独立分析的弱点

当前 DGM-H 的一个显著弱点是外层探索循环的固定性。父选择机制使用了手工设计的概率分布（基于性能的 sigmoid 变换和新颖性奖励），虽然论文提到初步结果表明超智能体可以开始自主重发现和适应搜索策略（附录 E.5），但这部分未在主实验中验证。这可能导致在复杂任务分布上搜索效率低下。另一个弱点是评估协议的固定性——系统无法改变自己的评估标准或权重，这在多目标优化场景下可能成为瓶颈。改进方向是让超智能体能够修改外层循环的组件，如自设计父选择策略、自适应评估权重，甚至生成新的评估指标。此外，当前系统的元级改进主要依赖性能数值，缺乏显式的因果推理能力，引入因果模型可能使改进更加高效和可靠。

未来方向

作者提出的未来方向包括：与任务分布共同进化，生成适应系统能力的新任务和课程；启用超智能体修改外层探索循环的组件，如自设计搜索策略和评估过程。基于论文成果的可延伸方向包括：将因果推理机制整合到元代理中，使系统能够理解哪些修改真正导致改进而不仅仅是相关性；研究更复杂的记忆架构，如分层记忆或基于检索的知识库，以支持更长期的积累；探索多智能体协同自我改进，其中多个超智能体可以交换改进策略；在更开放的任务空间中验证 DGM-H 的泛化能力，如科学发现或创意生成。安全方面的一个重要方向是研究如何在保持系统自主性的同时确保人类监督和可控性。

复现评估

论文已开源代码（https://github.com/facebookresearch/Hyperagents），提供了详细的算法伪代码和超参数设置（附录 D）。实验使用冻结的基础模型（如 GPT-4 类模型）配合工具使用能力，计算成本估计在附录 D.2 中给出。多领域实验运行了 5 次重复，报告了中位数和 95% 置信区间。复现难度中等：需要理解开放探索和自我改进的框架，但代码应该包含完整的实现。主要挑战可能是计算资源和实验时间，特别是在多领域联合优化时。作者在实验中采用了沙箱执行和人工监督等安全措施，这些在复现时需要特别小心。整体而言，对于有计算资源的研究团队，复现应该是可行的。

超智能体：跨领域开放式自我改进的 AI 系统 Hyperagents