← 返回 2026-04-07

扩展团队还是扩展时间？支持终身学习的LLM多智能体系统记忆框架 Scaling Teams or Scaling Time? Memory Enabled Lifelong Learning in LLM Multi-Agent Systems

Shanglin Wu, Yuyang Luo, Yueqing Liang, Kaiwen Shi, Yanfang Ye, Ali Payani, Kai Shu 📅 2026-03-27 👍 10 2026-07-13 08:36
LLM智能体 协作学习 多智能体系统 终身学习 记忆机制
arXiv HuggingFace PDF

提出LLMA-Mem记忆框架，揭示多智能体系统中团队规模与终身学习的非单调扩展关系

前置知识

多智能体系统

多智能体系统是由多个自主智能体组成的协作系统，各智能体具有独立决策和行动能力，通过通信协调完成复杂任务。LLM多智能体系统利用大语言模型作为核心引擎，能够推理、使用工具和环境交互。

理解多智能体系统对于阅读本文至关重要，因为论文的核心问题就是研究多智能体系统中的扩展问题，特别是团队规模与终身学习之间的相互作用关系。

终身学习

终身学习使智能系统能通过积累经验持续改进，无需每次从头训练。LLM智能体通过记忆机制存储过去任务经验，在未来相似任务中检索应用。这不同于将每个任务视为独立的单任务学习。

本文的核心主题就是终身学习，论文提出的LLMA-Mem框架专门用于支持多智能体系统的终身学习能力，理解这个概念是理解论文贡献的基础。

记忆机制

记忆机制是LLM智能体实现持久状态的关键技术。情节记忆存储具体经历，程序记忆存储可复用策略。记忆机制包括存储、检索、更新和整合操作，通过向量嵌入等技术实现高效管理。

LLMA-Mem框架的核心贡献就是设计了专门支持终身学习的记忆机制，理解记忆机制的概念对于理解论文的技术细节和创新点至关重要。

研究动机

现有研究将LLM多智能体系统的扩展分为两个独立维度：团队规模扩展和终身学习扩展。研究表明，增加智能体数量可以带来系统性收益，但会遵循饱和的扩展规律，超过中等团队规模后收益递减。同时，协调开销、工具调用冲突和错误放大可能导致扩展整体上为负值，特别是在长期任务中。另一方面，终身学习研究主要关注单个智能体如何通过积累经验来改进，通过复杂的记忆架构实现。然而，这种分离研究的方法忽略了实践中两个维度之间的相互作用：一旦系统从单个智能体扩展到多智能体团队，终身学习不仅受记忆质量影响，还受协调开销、通信成本和信息碎片化的影响。论文的预实验显示，现有方法如MARBLE和A-Mem在累积性能增益上仍然有限，改进不能随时间稳定放大，累积增益曲线往往增长缓慢或趋于平台期。

本文的目标是本文的具体目标是从联合扩展的视角研究LLM多智能体系统，将团队规模扩展和终身学习扩展视为相互作用的扩展空间。论文旨在回答两个研究问题：RQ1询问记忆设计如何改善多智能体系统的终身学习；RQ2询问终身学习能力如何与团队规模在多智能体系统中相互作用。通过研究这些问题，论文希望揭示扩展空间的非单调性质，为设计更有效、更高效的多智能体系统提供指导。具体而言，论文提出了LLMA-Mem框架来支持终身学习，并通过系统实验研究了不同团队规模和记忆拓扑配置下的性能变化。

与已有工作不同的是，本文的独特切入角度是将LLM多智能体系统的扩展视为团队规模和终身学习能力的联合扩展空间，而不是两个孤立的维度。这种视角使得扩展不再是简单的单轴问题，而是成为一个系统问题，关注团队组合和时间学习之间的相互作用如何塑造长期的有效性和效率。与现有工作的区别在于，现有研究要么关注团队规模的扩展规律，要么关注单个智能体的终身学习，而本文明确研究了这两个维度的交叉点。论文还特别关注记忆拓扑作为一个关键设计维度，研究不同的记忆分布和访问模式如何影响终身学习复杂度，这在现有工作中未被充分研究。

核心方法

LLMA-Mem的整体思路是将多智能体系统的记忆分解为三个互补的组件：情节记忆、程序记忆和交互记忆。情节记忆作为经验的基础，存储完整的任务轨迹和上下文信息；程序记忆作为跨任务转移的主要机制，存储从情节记忆中抽象出的可复用策略；交互记忆建模团队级别的协调模式，跟踪每个智能体的能力和团队配置的有效性。这种设计使得系统既能够保留详细的任务经验，又能够高效地重用抽象知识。从直觉上看，这种分离模仿了人类记忆系统：我们既有具体的记忆经历，也有程序性记忆掌握某个技能，还有关于谁知道什么的社会认知。技术路线上，LLMA-Mem定义了记忆的生命周期，包括检索、更新和整合三个阶段，并支持三种记忆拓扑配置来研究记忆分布如何影响终身学习效率。

LLMA-Mem的核心创新点是将情节记忆和程序记忆明确分离，并将程序记忆作为跨任务转移的主要机制，这与现有方法形成本质区别。在MARBLE中，记忆主要作为任务相关信息的一般存储机制；在A-Mem中，虽然强调记忆改进和动态组织，但都没有明确区分原始任务经验和更高级别的可复用程序。LLMA-Mem的创新在于它通过定期整合将情节记忆转换为紧凑的程序记忆，使得系统能够以压缩的形式重用过去经验，而不是重复播放原始轨迹。另一个关键创新是引入了交互记忆来建模谁具备什么能力和哪些团队配置对哪些任务有效，这对于多智能体终身学习中的任务分配和团队形成至关重要。这种设计使得LLMA-Mem不仅能够改进个体智能体的适应能力，还能够在系统级别实现终身学习。

方法步骤详情

LLMA-Mem的完整工作流程包括三个主要步骤。第一步是检索阶段：在任务执行时，系统根据当前查询上下文检索相关的记忆条目。检索采用分层策略：优先查询程序记忆，如果没有找到足够相关的程序则回退到情节记忆。对于记忆条目，检索分数定义为分数等于相关性加重要性，其中相关性表示语义相关性（通过嵌入空间的余弦相似度计算），重要性表示记忆重要性（对于程序记忆是成功率，对于情节记忆是任务得分）。第二步是更新阶段：在每个任务后，记忆系统在三个层面进行更新。首先将新的情节追加到情节记忆，其次更新每个使用过程中程序的成败计数，第三更新交互记忆，例如智能体的可靠性。第三步是整合阶段：每N个情节定期将情节记忆整合到程序记忆中。系统根据提取的经验课程在语义上聚类相似的情节，识别重复的成功模式，并将它们抽象为候选程序。

技术新颖性

LLMA-Mem的技术新颖性体现在多个方面。首先，它提出了一个系统的记忆架构框架，将三种不同类型的记忆（情节、程序、交互）有机地结合在一起，每种记忆都有明确的数据结构和操作。其次，它定义了记忆生命周期的三个阶段（检索、更新、整合），并提出了具体的算法来实现这些操作。第三，它支持三种记忆拓扑配置（本地、共享、混合），使得系统可以研究记忆分布如何影响终身学习效率。第四，它引入了明确的概念和数据结构来建模交互记忆，包括智能体档案和团队模式。这些技术细节使得LLMA-Mem不仅是一个概念框架，而且是一个可实现的系统，论文还提供了详细的设置和提示词以确保可复现性。

Scaling space and cost comparison of LLMA-Mem.
Figure 1: Scaling space and cost comparison of LLMA-Mem.
LLMA-Mem maintains three memory components: episodic memory for task experiences, procedural memory for consolidated reusable strategies, and transactive memory for agent capabilities and team coordination.
Figure 3: LLMA-Mem maintains three memory components: episodic memory for task experiences, procedural memory for consolidated reusable strategies, and transactive memory for agent capabilities and team coordination.
During task execution, the system retrieves relevant memories using a relevance–importance score, updates episodic and transactive statistics after each task, and periodically consolidates episodic experiences into reusable procedural knowledge.
Figure 4: During task execution, the system retrieves relevant memories using a relevance–importance score, updates episodic and transactive statistics after each task, and periodically consolidates episodic experiences into reusable procedural knowledge.

实验结果

论文的主要发现在多个方面揭示了LLMA-Mem的有效性和扩展空间的非单调性质。在性能方面，LLMA-Mem在所有模型环境设置下都提高了终身学习能力。在任务得分和协调得分的综合评估中，LLMA-Mem在大多数模型环境对中达到最佳或并列最佳结果。例如，Qwen3-next-80B在Research环境下的TS提升了10.67分。从终身学习角度来看，AS平均值显示出更清晰的优势：LLMA-Mem相对于无记忆基线的最大提升出现在DeepSeek-v3.2的Research环境提升5.92分和Qwen3-32B-Instruct的Database环境提升3.19分。成本分析显示，LLMA-Mem不仅在长期性能上有效，而且在所有模型环境对中始终比竞争的记忆基线更节省token，减少幅度从9.4%到71.7%。特别显著的节省包括Claude-Sonnet-4.5的Research环境降低60.4%和Coding环境降低42.2%，以及Qwen3-32B-Instruct的Research环境降低71.7%。更重要的是，论文揭示了扩展空间的非单调性：增加团队规模会导致计算成本一致增长，但TS和CS的趋势并不总是对齐。例如，在DeepSeek-V3.2和Qwen3-32B-Instruct中，TS在较小的团队规模下就达到了对应最佳CS结果的值。最引人注目的发现是，通过LLMA-Mem支持的终身学习能力，Qwen3-32B-Instruct在3智能体团队下实现了TS优势，尽管其参数明显少于其他模型，这代表了所有评估设置中成本性能权衡的局部最优。

Performance across environments. We report Task Score (TS), Coordination Score (CS), and Average of AS (AAS).
Table 1: Performance across environments. We report Task Score (TS), Coordination Score (CS), and Average of AS (AAS).
Influence of team size on performance. We report average task score (TS), coordination score (CS), Average of AS (AAS), and average token usage per task.
Table 2: Influence of team size on performance. We report average task score (TS), coordination score (CS), Average of AS (AAS), and average token usage per task.
Ablation results on the coding environment with Qwen3-32B-Instruct.
Table 3: Ablation results on the coding environment with Qwen3-32B-Instruct.
Cumulative moving average (CMA) curves on representative settings. LLMA-Mem shows more stable long-horizon improvement than MARBLE and A-Mem.
Figure 5: Cumulative moving average (CMA) curves on representative settings. LLMA-Mem shows more stable long-horizon improvement than MARBLE and A-Mem.
查看结构化数据
任务指标本文基线提升
Coding环境 Task Score (TS) LLMA-Mem (65.00, Claude-Sonnet-4.5) 无记忆 (64.43) +0.57
Research环境 Task Score (TS) LLMA-Mem (77.62, Claude-Sonnet-4.5) 无记忆 (75.12) +2.50
Database环境 Task Score (TS) LLMA-Mem (70.00, Claude-Sonnet-4.5) 无记忆 (69.39) +0.61
Research环境 AS平均值 (AAS) LLMA-Mem (71.86, DeepSeek-v3.2) 无记忆 (65.94) +5.92
Database环境 AS平均值 (AAS) LLMA-Mem (71.06, Qwen3-32B-Instruct) 无记忆 (67.87) +3.19
Research环境 平均token使用量 LLMA-Mem A-Mem 降低71.7%

局限与改进

论文承认了几个局限性。首先，虽然实验展示了明确的终身学习能力并揭示了与团队规模的协同作用，但探索的团队规模仍然有限。论文分析了多个模型族并将团队规模变化到7个智能体，但这个范围可能无法完全捕获更大规模集体的行为，其中通信瓶颈、角色专业化和记忆干扰可能变得更加突出。其次，评估限制在MultiAgentBench的三个协作环境：编码、研究和数据库。虽然这些设置对于研究顺序智能体交互具有代表性，但它们不包括其他重要的终身学习场景，如网络搜索、具身控制或个性化。最后，论文关注整体任务和通信性能，但没有明确评估记忆质量本身，例如冗余性、陈旧性或对检索错误的鲁棒性。我自己的观察是，论文的消融研究虽然提供了有用见解，但实验设置相对简化，在实际应用中可能需要考虑更复杂的团队结构和更动态的记忆管理策略。

独立分析的弱点

从独立分析的角度来看，LLMA-Mem有几个潜在的弱点需要改进。首先，记忆整合间隔N是一个固定超参数，论文通过消融实验发现N等于5在大多数情况下效果最佳，但最优的整合频率可能会随着任务类型、智能体数量和模型规模而变化。一个改进方向是实现自适应整合策略，根据任务复杂度、记忆增长速度和性能反馈动态调整整合频率。其次，当前的交互记忆模型相对简化，只记录基本的成功率统计和协作历史，没有考虑更复杂的团队动态，如信任建立、角色演化和冲突解决。改进方向可以是引入更丰富的社会认知模型，包括多维能力评估、时间衰减的信任机制和基于博弈论的协作优化。第三，虽然论文研究了三种记忆拓扑，但没有考虑动态拓扑切换的机制，即系统根据任务需求和性能反馈在本地、共享和混合拓扑之间自适应切换。这可能会提供更好的灵活性和效率平衡。

未来方向

基于论文的结果和观察，有几个有前景的未来研究方向。论文作者提出的方向包括：扩展到更大规模的团队以研究更明显的通信瓶颈和记忆干扰效应；探索其他终身学习场景如网络搜索、具身控制和个性化；明确评估记忆质量指标如冗余性、陈旧性和检索鲁棒性。基于论文成果可以延伸的方向包括：研究动态记忆拓扑切换机制，使系统能够根据任务需求和性能反馈自适应地在不同拓扑之间切换；探索更复杂的整合算法，而不仅仅是基于语义相似度的聚类，可以考虑任务结构、成功因素和环境上下文等多维度信息；研究多模态记忆的扩展，将视觉、音频等非文本信息整合到记忆框架中；探索跨域终身学习，即系统在不同领域间迁移和重用记忆的能力；研究记忆压缩和蒸馏技术，在保持性能的同时减少存储和检索开销。

复现评估

从复现性角度来看，论文提供了相当良好的支持。论文声明代码已在GitHub上开源，这为其他研究者的复现提供了基础。实验使用了公开的MultiAgentBench基准，该基准包含了多个协作环境和评估指标。论文使用了四个不同的LLM模型：Claude-Sonnet-4.5、DeepSeek-V3.2、Qwen3-next-80B和Qwen3-32B-Instruct，所有模型都通过Amazon Bedrock API在相同的推理设置下访问，这确保了可复现性。对于LLMA-Mem和A-Mem，论文使用了Titan-text-embeddings-v2作为嵌入模型。论文还声称在附录中提供了详细的实验配置、设置和提示词以确保可复现性。然而，需要指出的是，使用闭源API可能会带来一些复现挑战，包括API访问限制、成本考虑和潜在的服务变化。总体而言，论文在复现性方面做得相当不错，但研究者需要注意API依赖和潜在的成本问题。

论文图表

CMA curves for Claude-Sonnet-4.5 and Qwen3-next-80B, showing limited long-horizon adaptation.
Figure 2: CMA curves for Claude-Sonnet-4.5 and Qwen3-next-80B, showing limited long-horizon adaptation.

Figure 2展示了Claude-Sonnet-4.5和Qwen3-next-80B的CMA曲线，显示了现有方法在长期适应方面的有限性。如果现有记忆设计对终身MAS足够，我们预期其累积增益会随着系统积累更多任务经验而稳定增长。然而，观察到的趋势表明MARBLE和A-Mem的增益仍然有限，改进不能随时间稳定放大。

这张图对于理解论文的动机至关重要，因为它提供了现有方法局限性的实证证据，论证了开发新记忆框架的必要性。