UMEM：用于可泛化记忆的统一记忆提取与管理框架 UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory
通过联合优化记忆提取与管理，构建可泛化的自进化智能体记忆系统
前置知识
自进化智能体（Self-Evolving Agents）
自进化智能体是一种能够通过与环境的持续交互来学习和改进自身能力的AI系统。其核心思想是将外部记忆库作为智能体的可训练参数，通过前向推理和后向优化两个阶段来实现能力的持续提升。在前向阶段，智能体使用冻结的执行器参数和检索到的记忆进行任务推理；在后向阶段，记忆优化器从推理轨迹中提取洞察并更新记忆库。这种机制使得智能体能够在不修改主模型参数的情况下，通过不断积累和优化记忆来提升任务表现。
理解自进化智能体的概念是本文研究的基础，UMEM框架正是针对自进化智能体中记忆优化器的核心瓶颈提出的解决方案。
记忆提取与管理（Memory Extraction and Management）
记忆提取指从智能体的任务执行轨迹中提炼出可重用的知识和经验；记忆管理则涉及如何将这些提取的记忆有效地整合到记忆库中，包括添加新记忆、更新已有记忆或删除过时记忆。在自进化智能体中，这两个过程需要紧密协调：提取的记忆质量直接影响管理策略的效果，而管理策略又决定了哪些记忆会被保留和重用。传统方法通常将这两个过程割裂处理，导致记忆库中积累大量实例特定的噪声。
本文的核心创新点正是联合优化这两个过程，理解它们各自的作用和相互关系对于把握论文的技术贡献至关重要。
语义邻域建模（Semantic Neighborhood Modeling）
语义邻域建模是本文提出的一种防止记忆过拟合的技术。其核心思想是：对于给定的查询q，不仅评估其记忆更新对q本身的效果，而是评估对q的语义邻域NN(q)中所有相关查询的效果。具体实现上，使用预训练编码器（如BGE-M3）将所有查询投影到共享语义空间，然后通过余弦相似度检索Top-N最近邻。在训练时，对整个邻域而非单个查询评估记忆更新的边际效用，这迫使Mem-Optimizer丢弃实例特定细节，提取可泛化的洞察。
这是UMEM框架的关键创新之一，直接解决了传统方法中实例特定噪声积累的问题，确保提取的记忆具有跨任务泛化能力。
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，用于优化策略模型而无需训练额外的评论家网络。其基本思想是：对于每个输入，采样一组G个候选输出，计算每个输出的奖励，然后利用组内相对优势来更新策略。在UMEM中，GRPO被用来优化Mem-Optimizer的策略，奖励函数包括格式奖励（确保输出格式正确）和边际效用奖励（评估记忆更新在整个语义邻域中的效用）。这种方法避免了传统强化学习中需要训练价值网络的复杂性，同时能够稳定地优化策略。
GRPO是UMEM实现端到端联合优化的核心算法，理解其工作原理有助于把握论文的技术实现细节。
研究动机
现有自进化智能体方法存在两个核心问题：第一，记忆提取过程是静态的，主要依赖提示工程调用现成的大语言模型，没有针对泛化能力进行优化。这导致智能体在持续交互中会积累大量实例特定的噪声，而非鲁棒的可泛化记忆。例如，当智能体遇到一个特定的数学问题时，静态提取可能会记忆该题的具体答案或解题步骤，而不是提炼出通用的解题方法或原理。第二，管理策略与提取内容之间存在不匹配：即使有一个优化良好的记忆管理策略，如果提取的记忆质量低下，整个系统的表现也会受到严重影响。这种问题在多轮交互场景中尤为突出，随着交互的进行，错误的记忆会不断污染记忆库，导致性能持续下降。实验表明，像ReMem这样仅优化记忆管理的方法，在连续学习设置中会出现最快的性能退化，最终表现最差。
本文的目标是本文的目标是提出一种新的自进化智能体框架，能够联合优化记忆提取和管理过程，确保提取的记忆不仅对当前任务有效，而且具有跨任务的泛化能力。具体而言，作者希望：（1）通过可学习的记忆优化器替代传统的静态提取方法，实现端到端的联合优化；（2）引入语义邻域建模机制，防止记忆过拟合到实例特定细节；（3）设计边际效用奖励函数，在语义邻域上评估记忆质量，确保记忆的泛化性；（4）实现在线记忆进化，在训练过程中动态更新记忆库，迫使智能体学习如何利用不断进化的记忆系统。最终目标是在单轮推理和多轮交互任务中都取得显著的性能提升，同时保持稳定的自进化曲线。
与已有工作不同的是，本文的独特切入角度在于将记忆优化器识别为自进化智能体的核心瓶颈，并提出了一种端到端的联合优化方案。与现有工作主要关注记忆管理不同，本文强调记忆提取的重要性，并通过以下创新填补了研究空白：首先，将自进化过程类比为神经网络优化，其中记忆库对应可训练参数，记忆优化器对应优化算法，这种类比提供了理论框架；其次，引入语义邻域建模，通过在语义相似的查询集群上评估记忆效用来模拟跨任务变化，这是防止过拟合的关键创新；最后，设计边际效用奖励，将成功增益和效率正则化结合，既奖励纠正错误的能力，也奖励提高推理效率的能力。这种设计确保了记忆不仅正确，而且简洁高效。
核心方法
UMEM框架的核心思想是将自进化智能体的记忆优化器（Mem-Optimizer）作为可学习的组件，通过强化学习实现记忆提取和管理的联合优化。整体方法可以类比为神经网络的训练过程：冻结的执行器对应固定的网络参数，记忆库对应可训练的外部参数，而Mem-Optimizer则充当优化器的角色。框架包含三个主要组件：冻结的智能体执行器（负责任务推理）、记忆库（存储可进化的记忆条目）和可学习的Mem-Optimizer（负责从经验中提取洞察并管理记忆）。技术路线是：首先通过语义邻域建模构建查询集群，然后使用GRPO算法优化Mem-Optimizer，奖励函数基于整个邻域的边际效用计算，确保提取的记忆具有泛化性。在整个训练过程中，记忆库会动态更新，迫使智能体学习如何利用不断进化的记忆系统。
UMEM的核心创新在于联合优化记忆提取和管理，而非像现有方法那样仅优化其中一个方面。与已有方法的本质区别体现在三个层面：第一，记忆提取不再是静态的提示工程，而是通过可学习的Mem-Optimizer实现端到端优化，这使得提取过程能够针对泛化能力进行专门训练；第二，引入语义邻域建模，通过在语义相似的查询集群上评估记忆效用来防止过拟合，这是现有方法完全缺失的机制；第三，设计边际效用奖励函数，同时考虑正确性增益和效率提升，确保记忆不仅正确而且简洁。这种联合优化确保了提取的记忆与管理策略内在对齐，避免了即使有最优管理策略也无法弥补低质量记忆的问题。
方法步骤详情
UMEM的训练过程包含五个关键步骤：（1）记忆增强执行：对于训练集中的每个查询q，从当前记忆库B中检索Top-K相关记忆条目，冻结的执行器E基于这些记忆生成推理轨迹τq和预测ŷq；（2）Mem-Optimizer策略Rollout：采用GRPO算法，Mem-Optimizer πϕ基于查询q、轨迹τq和检索到的记忆采样G个候选记忆更新动作{a(g)q}；（3）边际效用奖励计算：对于每个候选动作，不在单个查询q上评估，而是在其语义邻域NN(q)上计算边际效用。具体而言，对于邻域中的每个查询q'，比较有无该记忆更新时的执行正确性和效率，计算成功增益Gsucc和效率正则化Reff，最终奖励是邻域中所有查询的平均边际效用；（4）GRPO优化：使用组内相对优势更新Mem-Optimizer的参数ϕ；（5）在线记忆进化：选择奖励最高的动作立即应用到记忆库，确保记忆库在训练过程中动态进化。这个过程不断迭代，使Mem-Optimizer学会提取既泛化又与管理策略对齐的记忆。
技术新颖性
UMEM的技术新颖性主要体现在以下几个方面：首先，将自进化过程形式化为类似神经网络优化的框架，其中记忆库作为外部可训练参数，这为理解自进化智能体提供了新的理论视角。其次，语义邻域建模是一种全新的防过拟合机制，通过将评估范围从单个查询扩展到语义相似的查询集群，有效防止了记忆过拟合到实例特定细节。第三，边际效用奖励函数的设计具有创新性，它将成功增益（量化记忆纠正错误的能力）和效率正则化（奖励更简洁的推理）结合，并通过门控机制确保只有在正确性得到保证时才奖励简洁性。第四，在线记忆进化机制使得记忆库在整个训练过程中持续进化，迫使智能体学习如何利用动态变化的记忆系统，这比使用静态记忆库的训练方式更能模拟真实世界的应用场景。最后，整个框架采用GRPO算法实现端到端优化，避免了传统强化学习中训练评论家网络的复杂性。
实验结果
本文在五个基准测试上进行了广泛实验，结果表明UMEM显著优于所有基线方法。在单轮推理任务中，UMEM相比无记忆基线提升了5.82%；在多轮交互任务中，提升幅度达到10.67%。具体来看，在AIME数学推理基准上，UMEM-Qwen3-4B与GPT-5.1配合使用时达到51.67%的准确率，相比基线提升5.0%；在GPQA-Diamond科学推理基准上达到65.15%，提升2.5%；在ALFWorld多轮交互任务中，UMEM-Qwen3-4B与GPT-5.1配合达到82.84%的成功率，相比基线提升11.9%。消融研究表明，联合优化至关重要：单独优化记忆提取会导致平均4.7点的性能下降，而单独优化管理仅导致0.73点下降，说明记忆提取质量对自进化更为关键。语义邻域建模同样不可或缺，去除后在AIME上的性能从51.67%骤降至41.67%（GPT-5.1）。此外，UMEM在连续学习设置中表现出色，随着交互的进行，性能差距逐渐扩大，证明了其稳定的自进化能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME数学推理 | 准确率（%） | 51.67（UMEM-Qwen3-4B + GPT-5.1） | 46.67（Qwen3-4B-Instruct） | +5.0% |
| GPQA-Diamond科学推理 | 准确率（%） | 65.15（UMEM-Qwen3-4B + GPT-5.1） | 62.63（Qwen3-4B-Instruct） | +2.5% |
| HLE多学科推理 | 准确率（%） | 8.56（UMEM-Qwen3-4B + GPT-5.1） | 8.02（Qwen3-4B-Instruct） | +0.54% |
| HotpotQA多跳问答 | 准确率（%） | 54.00（UMEM-Qwen3-4B + GPT-5.1） | 52.00（Qwen3-4B-Instruct） | +2.0% |
| ALFWorld多轮交互 | 成功率（%） | 82.84（UMEM-Qwen3-4B + GPT-5.1） | 70.90（Qwen3-4B-Instruct） | +11.94% |
局限与改进
尽管UMEM取得了显著成果，但仍存在一些局限性。首先，训练成本较高：需要16块NVIDIA A100 GPU训练约11小时，这对于资源有限的研究团队可能构成障碍。其次，实验规模相对有限：训练数据仅从MMLU数据集中随机采样约2000个查询，这可能无法充分代表真实世界中多样化的任务分布。第三，评估的基准测试主要集中在数学推理、科学推理和交互任务上，对于其他类型的任务（如创意写作、代码生成等）的效果尚不明确。此外，作者也指出UMEM的效果与冻结执行器的能力正相关：当执行器较弱时，产生的推理轨迹质量较低，UMEM从中提取有效洞察的能力也会受限。最后，在线记忆进化机制虽然促进了动态学习，但也可能导致训练过程中的不稳定性，需要仔细调整超参数来平衡探索和稳定性。
独立分析的弱点
本文存在几个值得改进的弱点：首先，语义邻域建模依赖于预训练编码器的质量，当编码器无法准确捕捉查询间的语义关系时，构建的邻域可能包含不相关的查询，从而引入噪声。改进方向可以探索更鲁棒的邻域构建方法，例如结合任务类型、难度等级等多维度信息。其次，边际效用奖励函数中效率正则化的权重是固定的，无法根据任务动态调整。对于某些需要详细推理的任务，过度追求简洁可能反而损害性能，可以设计自适应的权重调整机制。第三，当前框架仅支持ADD和UPDATE两种记忆操作，缺乏DELETE机制来清理过时或错误的记忆，这在长期运行中可能导致记忆库膨胀和性能下降。第四，训练过程中使用固定的邻域大小N=3，但不同任务可能需要不同规模的邻域来平衡泛化性和特异性，可以探索动态邻域大小调整策略。
未来方向
作者提出了一些未来研究方向，基于本文成果还可以进一步延伸：首先，可以将UMEM扩展到更多类型的任务，如代码生成、创意写作、多模态任务等，验证其泛化能力。其次，可以探索更高效的记忆表示和检索方法，例如使用分层记忆结构或知识图谱来组织记忆，提高检索效率和记忆利用率。第三，可以引入记忆压缩和遗忘机制，使记忆库能够长期保持高效运行而不受历史噪声影响。第四，可以研究多智能体场景下的记忆共享和协作进化，让多个智能体能够相互学习和共享经验。第五，可以探索将UMEM与参数高效微调方法结合，在保持主模型参数冻结的同时，通过记忆和少量可调参数的协同优化来进一步提升性能。最后，可以研究记忆的可解释性和可控性，使智能体能够解释其决策依据，并允许人类用户干预和指导记忆进化过程。
复现评估
本文在复现性方面提供了较好的支持：代码和模型将公开发布（论文明确承诺），这为其他研究者复现结果提供了基础。训练数据来源于公开的MMLU数据集，采样约2000个查询，数据获取相对容易。实验设置相对明确：使用Llama-3.2-1B-Instruct和Qwen3-4B-Instruct作为Mem-Optimizer，Qwen3-8B作为冻结执行器，评估时使用GPT-5.1、Qwen3-8B和Gemini-2.5-Flash。然而，复现存在一定门槛：需要16块A100 GPU训练11小时，这对硬件要求较高；此外，评估使用了GPT-5.1等商业API，需要相应的访问权限和费用。超参数设置已在附录中详细说明，包括批次大小128、rollout数量G=8、学习率1×10^-6等，这有助于复现实验结果。总体而言，复现难度中等，主要障碍是计算资源需求和商业API访问。
论文图表
左侧展示了传统方法的'死记硬背'陷阱：当遇到与历史查询语义相似的新查询时，智能体会直接记忆历史答案，导致过拟合到实例特定细节。右侧展示了UMEM如何通过可学习的Mem-Optimizer联合优化提取和管理，蒸馏出可泛化的原理，确保鲁棒性能并避免噪声积累。
这张图直观地展示了本文要解决的核心问题和解决方案，是理解论文动机和方法的关键入口。
展示了在'将干净布放在台面'任务中，UMEM增强智能体（成功，13步）和基线智能体（失败，30步）的详细执行轨迹。UMEM智能体通过检索到的清洁经验（清洁盘子、刀、锅）学会了清洁程序，而基线智能体陷入了重复的取放循环。
这个案例生动展示了记忆如何实现跨对象的程序性知识迁移，以及缺乏经验知识时的失败模式。