Memento-Skills：让智能体设计智能体 Memento-Skills: Let Agents Design Agents
通过读写反思学习，让LLM智能体自主构建、优化和复用技能库，实现无需参数更新的持续学习
前置知识
LLM智能体
基于大语言模型（LLM）的智能体系统，通过提示工程和工具调用来完成任务。传统LLM智能体在部署后参数固定，无法从交互中学习。本文关注如何在不更新LLM参数的情况下，让智能体从经验中持续改进。
理解LLM智能体的局限性是本文要解决的核心问题——如何在参数冻结的情况下实现持续学习。
Read-Write反思学习
本文的核心机制，包含五个步骤：观察（Observe）→读取（Read）→执行（Act）→反馈（Feedback）→写入（Write）。在读取阶段，智能体从技能库中检索最相关的技能；在写入阶段，基于执行反馈优化技能库。这个循环实现了无需梯度更新的策略改进。
这是论文的理论基础和核心算法，理解这个循环是理解整个系统的关键。
InfoNCE路由
一种基于对比学习的技能检索方法。使用InfoNCE损失函数训练嵌入模型，将技能路由视为单步离线强化学习问题。传统的语义路由（如BM25或嵌入相似度）只捕获表面语义，而InfoNCE路由优化的是执行行为对齐——即检索到的技能是否能真正解决任务。
行为对齐路由是本文的技术创新之一，它确保检索到的技能在功能上匹配任务需求，而不仅仅是语义相似。
状态反射决策过程（SRDP）
在标准马尔可夫决策过程（MDP）基础上扩展的框架，增加了情景记忆 $M$ 和LLM决策核 $p_{LLM}(a|s,c)$。通过将状态扩展为 $x_t = (s_t, M_t)$，系统保持马尔可夫性质。策略定义为 $\pi_\mu(a|s,M_t) = \sum_{c \in M_t} \mu(c|s,M_t) p_{LLM}(a|s,c)$，其中 $\mu$ 是检索策略。
SRDP为整个系统提供了理论基础，证明了在参数冻结的情况下，通过优化外部记忆可以实现策略改进和收敛。
技能库
存储可复用技能的外部记忆系统，每个技能是一个结构化的markdown文件夹，包含声明式规范（SKILL.md）、提示和可执行代码。技能库从5个基础技能（如Web搜索和终端操作）开始，通过经验不断扩展。实验中GAIA学习后扩展到41个技能，HLE学习后扩展到235个技能。
技能库是系统的'外部大脑'，它的增长和优化直接决定了智能体的能力提升。
单步离线强化学习
将技能路由建模为单步MDP：状态是查询 $q$，动作是技能 $d$，奖励 $r(q,d)$ 表示技能是否正确。在这种设定下，$Q^*(q,d) = E[r(q,d)]$，学习到的分数可以解释为软Q函数 $Q_\theta(q,d) \propto s(d,q)$，产生Boltzmann路由策略 $\pi_\theta(d|q) = \frac{\exp(Q_\theta(q,d)/\tau)}{\sum_{d'}\exp(Q_\theta(q,d')/\tau)}$。
这个视角将检索问题重新框定为强化学习问题，使得路由优化的是执行成功而非语义相似度。
研究动机
现代LLM智能体在部署后通常参数冻结，无法从自身的部署经验中学习。当遇到新任务时，只能依赖预训练时编码在参数 $\theta$ 中的知识和上下文窗口中的内容。这意味着智能体是无状态的——同一个错误会反复发生。以论文中的场景为例，当客服智能体将退款问题错误路由到密码重置技能（即使余弦相似度高达0.91），传统方法无法从这个失败中学习。现有方法要么需要昂贵的梯度更新（微调），要么使用静态提示或简单的历史日志，无法实现有效的持续学习。
本文的目标是本文的目标是构建一个通用的、可持续学习的LLM智能体系统，使其能够作为'设计智能体的智能体'——通过经验自主构建、适应和改进任务特定的智能体。系统需要在不更新LLM参数的情况下，通过外部技能库的进化实现持续学习。具体目标包括：(1) 将技能作为外部记忆的单元；(2) 实现行为对齐的技能路由；(3) 通过反思学习循环持续优化技能库。
与已有工作不同的是，本文的独特切入角度是将技能（而非原始轨迹日志）作为外部记忆的单元。现有方法要么只生成文本指南（本质上是提示优化），要么过拟合到单任务轨迹且可迁移性有限。Memento-Skills学习可执行的多组件技能，并通过反思式读写学习流水线进行优化。这种'技能即记忆'的范式将Memento 2的理论保证（收敛性）转化为具体的、可部署的系统。此外，与依赖人类设计智能体的方法不同，本文实现了端到端的智能体自动设计。
核心方法
Memento-Skills的核心思想是将可执行技能作为外部记忆的单元，通过读写反思学习循环实现持续学习。直觉上，这类似于人类的学习方式——早期需要刻意的高层次规划，随着重复练习，神经通路被整合，执行变得越来越自动化。在系统中，新创建的技能可能脆弱且范围狭窄，但通过迭代修订，它被整合为稳健的、可复用的例程。技术路线如下：系统从基础技能（如Web搜索和终端操作）开始，当遇到新任务时，技能路由器检索最相关的技能，LLM执行该技能的多步工作流，然后基于执行反馈优化技能库。所有适应都通过外部技能和提示的进化实现，LLM参数保持固定。
本文的核心创新是将Memento 2的读写反思学习框架从原始情景记忆（状态、动作、奖励的轨迹日志）升级为技能级记忆。与Memento 2中简单的追加日志不同，Memento-Skills的写入操作主动变异记忆——它评估执行跟踪，通过直接重写可复用技能工件（代码、提示和声明式规范）来整合反馈。这意味着策略本身就物化在这些技能文件夹中，并在每次写入步骤中被直接优化。另一个关键创新是行为对齐的技能路由器，它使用InfoNCE损失函数训练，将技能路由视为单步离线RL问题，优化的是执行成功而非语义相似度。
方法步骤详情
读写反思学习包含五个步骤：(1) 观察（Observe）：接收任务 $q_t$，形成增强输入 $x_t = (q_t, T_t)$，其中 $T_t$ 是提示记忆。(2) 读取（Read/技能选择）：技能路由器 $c_t \leftarrow Router(x_t, S_t)$ 检索最相关的技能；如果未找到且启用了创建功能，则生成新技能 $c_t \leftarrow CreateSkill(x_t)$。(3) 执行（Execute）：LLM执行多步工作流 $a_t \leftarrow LLM(x_t, c_t)$。(4) 反馈（Feedback/判断）：评估器评估执行结果 $r_t \leftarrow Judge(q_t, a_t, a^*_t)$。(5) 写入（Write/反思更新）：(5a) 更新技能效用；(5b) 更新提示记忆 $T_{t+1} \leftarrow T_t \cup \{GenericTip(q_t, a_t, r_t)\}$；(5c) 技能进化：通过失败归因选择器识别错误技能，如果效用低于阈值则发现新技能，否则就地优化；(5d) 反馈重试（最多K轮）。整个过程形成闭环，使技能库持续扩展和优化。
技术新颖性
技术新颖性体现在三个层面：(1) 技能级反思学习：这是首个将SRDP框架实例化为具体技能系统的实现，将技能文件夹（代码、提示和声明式规范）作为记忆单元，实现了无需参数更新的持续学习。(2) 行为对齐的技能路由器：使用对比检索模型通过单步离线RL训练，将技能路由视为KL正则化的Boltzmann策略，优化执行成功而非语义相似度。InfoNCE损失具有'推高正例、压低竞争者'的形式，与策略拟合等价。(3) 理论-实践桥接：将Memento 2的理论保证（收敛性、渐近值界）转化为具体的工程系统，展示了'技能即记忆'范式如何同时获得理论保证和实际效果。
实验结果
实验在两个基准上验证了Memento-Skills的有效性。在GAIA基准上，系统实现了66.0%的测试准确率，相比Read-Write基线（52.3%）提升了13.7个百分点。训练成功率从第一次尝试的65.1%攀升到第三轮的91.6%。在HLE基准上，系统实现了38.7%的测试准确率，相比Read-Write基线（17.9%）提升了超过一倍（20.8个百分点）。训练成功率从R0的30.8%稳步提升到R3的54.5%。技能库从5个基础技能扩展：GAIA学习后增长到41个技能，HLE学习后扩展到235个技能。关键发现是，跨任务迁移在技能库与基准领域结构对齐时最强——HLE的结构化主题分类法实现了显著的技能迁移，而GAIA的多样化问题导致迁移有限。路由器评估显示，Memento-Qwen在Recall@1上从BM25的0.32和Qwen3的0.54提升到0.60，在K=10时达到0.90。端到端路由命中率从BM25的0.29和Qwen3的0.53提升到0.58，判断成功率从0.50和0.79提升到0.80。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GAIA（通用AI助手） | 测试准确率 | 66.0% | 52.3%（Read-Write基线） | 提升13.7个百分点（相对提升约26.2%） |
| HLE（人类最后考试） | 测试准确率 | 38.7% | 17.9%（Read-Write基线） | 提升20.8个百分点（相对提升约116.2%） |
| 技能路由（合成数据） | Recall@1 | 0.60（Memento-Qwen） | 0.32（BM25）/ 0.54（Qwen3） | 相对提升10%以上 |
| 技能路由（真实轨迹） | 路由命中率 | 0.58 | 0.29（BM25）/ 0.53（Qwen3） | 显著提升，验证行为对齐的有效性 |
局限与改进
论文承认了几个重要局限性：(1) GAIA上的跨任务迁移有限——大多数在训练期间优化的技能从未在测试中触发，因为没有足够相似的测试问题。这表明技能迁移依赖于领域对齐。(2) 系统使用Gemini-3.1-Flash作为底层LLM，未探索不同LLM的影响。(3) 论文提到'沙箱安全性'——即智能体是否能在不破坏其他环境的情况下解决任务——是第三个评估轴，但需要适当的隔离工具，留作未来工作。(4) 训练需要合成查询生成和LLM判断器，增加了系统复杂性。(5) 技能库的规模（HLE后235个技能）可能带来检索效率问题。(6) 未探索在线学习场景，所有实验都是离线评估。
独立分析的弱点
独立分析的弱点包括：(1) 技能爆炸问题：随着技能库增长到235个技能，检索效率和相关性可能下降。改进方向是引入技能层次结构或自动合并相似技能。(2) 训练数据依赖：系统依赖合成查询生成和LLM判断器进行训练，这引入了额外的复杂性和潜在偏差。可以探索更高效的数据生成策略或主动学习方法。(3) 单一LLM评估：所有实验仅使用Gemini-3.1-Flash，未探索系统在不同LLM上的泛化能力。应该在多个LLM上验证系统的鲁棒性。(4) 缺乏在线评估：所有实验都是离线的，未在真实部署场景中测试。需要设计在线评估协议来验证实际效果。(5) 安全机制不足：论文提到'单元测试门'作为安全措施，但对于高风险操作（如删除用户配置）可能不够充分。需要更全面的安全验证机制。
未来方向
作者和论文中提出的未来方向包括：(1) 规模扩展：探索当技能库达到百万级别时，Parzen核是否能有效扩展。(2) 收敛速率：不仅证明'它收敛'，还要证明'它在 $O(n^{-1/d})$ 个情节内收敛'。(3) 独立优化三个旋钮：升级嵌入模型（减少 $\delta_M$）、更换更好的LLM（减少 $\varepsilon_{LLM}$）、运行更多情节（减少 $r_M$）。(4) 沙箱安全性：开发适当的隔离工具来评估智能体在不破坏环境的情况下完成任务的能力。(5) 跨领域迁移：研究如何在不同领域之间实现技能迁移，例如从数学技能迁移到物理技能。(6) 在线学习：将系统扩展到在线部署场景，实现真正的持续学习。
复现评估
复现评估：(1) 开源情况：代码已在 https://github.com/Memento-Teams/Memento-Skills 开源，技能数据库在 https://skills.memento.run/market/ 公开。(2) 数据：GAIA使用165个问题（100训练/65测试），HLE使用1130个问题（788训练/342测试）。合成数据通过LLM从约3000个种子技能生成。(3) 算力：使用Gemini-3.1-Flash作为底层LLM，需要调用API。路由器训练使用Qwen3-Embedding-0.6B。(4) 难度：系统相对复杂，包含技能路由器、进化引擎、判断器等多个组件。但论文提供了详细的架构图（Figure 6）和算法伪代码，有助于理解和复现。(5) 配置：提供JSON配置文件和GUI界面（Figure 4），降低了使用门槛。
论文图表