迈向高效智能体：记忆、工具学习与规划综述 Toward Efficient Agents: Memory, Tool learning, and Planning
系统综述LLM智能体在记忆、工具学习和规划三个核心组件上的效率优化方法
前置知识
大语言模型智能体（LLM-based Agent）
基于大语言模型的智能体系统，能够与外部环境交互执行复杂的多步骤任务。与纯LLM不同，智能体具备规划、记忆和工具使用能力，可以主动观察环境、做出决策并执行操作。智能体通过迭代循环（输入→记忆→规划→工具学习→观察→解决方案）来解决复杂问题，但这种多步骤执行会导致延迟累积、上下文窗口饱和和token过度消耗。
理解智能体的基本架构是分析其效率瓶颈的前提，本文正是从智能体的三个核心组件出发进行效率优化分析。
部分可观测马尔可夫决策过程（POMDP）
智能体与环境交互的形式化模型，包含状态空间S、观测空间O、动作空间A、转移核P、奖励函数R和折扣因子γ。在智能体场景中，还包含外部工具T、工具接口Ψ、记忆状态空间Mmem、更新规则U和初始分布ρ。POMDP框架能够很好地描述智能体在不确定环境中的决策过程。
论文使用POMDP框架来形式化智能体模型，理解这个框架有助于把握论文的技术基础和分析视角。
效率-效果权衡（Cost-Performance Trade-off）
智能体系统的核心权衡：在固定成本预算下比较效果，或在可比效果水平下比较成本。成本包括token使用、推理延迟、计算资源等，效果指任务完成率、准确性等。这种权衡可以通过效果与成本之间的帕累托前沿来表征。高效的智能体不是更小的模型，而是最大化任务成功率同时最小化资源消耗的系统。
这是论文定义高效智能体的核心视角，所有后续的效率优化方法都围绕这个权衡展开。
记忆机制（Memory Mechanism）
智能体的记忆系统分为工作记忆（直接用于推理的上下文信息）和外部存储（外部存储的长期信息）。记忆通过存储和重用过去经验（包括成功、失败和交互轨迹）来避免冗余计算、做出更明智的决策并减少昂贵的重试。记忆的生命周期包括构建、管理和访问三个阶段。
记忆是智能体效率优化的第一个核心组件，论文详细分析了记忆系统的效率优化方法。
工具学习（Tool Learning）
智能体通过工具与物理世界和虚拟环境交互的能力。工具包括搜索引擎、代码沙箱（解释器）和其他通用API端点。工具学习涉及工具选择、工具调用和工具集成推理三个阶段。工具学习本身对解决复杂问题是高效的，但可以通过优化来减少工具调用次数，从而降低工具学习本身的成本。
工具学习是智能体效率优化的第二个核心组件，论文分析了如何减少工具调用次数和调用延迟。
规划（Planning）
智能体在执行任务前制定行动方案的过程。高效的规划不是无限制的推理，而是资源受限的控制问题，智能体必须持续平衡精化计划的边际效用与其计算成本。规划效率可以通过减少执行步骤和API调用来优化。
规划是智能体效率优化的第三个核心组件，论文分析了单智能体和多智能体场景下的规划效率优化。
研究动机
现有智能体系统面临严重的效率瓶颈。与纯LLM的单轮查询-响应模式不同，智能体由于其递归特性会消耗指数级更多的资源。为了自动化复杂的真实世界任务（如自主软件工程和加速科学发现），智能体必须进行大量的记忆管理、迭代工具使用和复杂的多步骤规划。这种多步骤执行导致高昂的延迟、上下文窗口饱和和过度的token消耗，对这些日益强大系统的长期可持续性和公平可访问性提出了严重关切。具体来说，纯LLM的推理成本可以近似为CostLLM ≈ α·Ntok，而智能体的额外开销包括工具、记忆和重试成本：Costagent ≈ α·Ntok + Itool·Costtool + Imem·Costmem + Iretry·Costretry。现有的效率技术主要关注LLM本身（如模型压缩和推理加速），但未能解决智能体特有的效率瓶颈。
本文的目标是本文旨在系统化新兴的高效智能体研究领域，填补智能体系统本身效率优化的文献空白。论文从智能体的三个核心组件出发：1）高效记忆：压缩历史上下文、管理记忆存储和优化上下文检索的技术；2）高效工具学习：最小化工具调用次数和减少外部交互延迟的策略；3）高效规划：减少解决问题所需的执行步骤和API调用的策略。论文通过两种互补方式表征效率：在固定成本预算下比较效果，或在可比效果水平下比较成本。
与已有工作不同的是，本文的独特切入角度在于：虽然现有大量综述关注高效LLM（作为智能体的骨干），但缺乏全面文献来解决智能体系统本身的效率问题。论文抓住了智能体与纯LLM在效率问题上的本质区别：智能体引入了超越生成的额外成本来源，包括工具调用、记忆访问和重试。因此，提高智能体效率不仅是减少语言生成，更是减少工具或记忆调用的频率并提高选择性，以实现更好的成本-效果权衡。论文首次将看似不同的方法收敛到共同的高层原则上，包括通过压缩和管理约束上下文、设计强化学习奖励以最小化工具调用、以及采用受控搜索机制来增强效率。
核心方法
本综述采用系统化的方法来分析智能体效率优化。首先，论文将智能体建模为增强外部工具接口和显式记忆组件的POMDP过程，形式化定义为M = (S, O, A, P, R, γ; T, Ψ; Mmem, U, ρ)。然后，论文从三个核心组件出发构建分析框架：记忆生命周期（构建→管理→访问）、工具学习流程（选择→调用→集成推理）和规划策略（单智能体→多智能体）。对于每个组件，论文识别出效率优化的共同高层原则：通过压缩和管理约束上下文、设计强化学习奖励最小化工具调用、采用受控搜索机制增强效率。论文还从帕累托前沿视角分析效率-效果权衡，并总结了效率导向的基准测试和评估指标。
本综述的核心创新在于首次系统化地将智能体效率研究组织为一个连贯的框架。论文发现，尽管实现方式不同，许多方法收敛于共同的高层原则：1）约束上下文：通过压缩和管理来控制记忆系统的token消耗和检索延迟；2）最小化工具调用：通过强化学习奖励设计来减少不必要的工具调用；3）受控搜索：通过预算感知的搜索机制来平衡探索深度与计算成本。论文首次明确区分了智能体效率与LLM效率的本质区别：智能体引入了超越生成的额外成本来源，因此效率优化需要同时考虑token生成、工具调用频率、记忆访问选择性和重试成本。这种系统化视角为未来研究提供了清晰的设计空间和评估实践。
方法步骤详情
论文的组织结构体现了其分析方法：1）预备知识（第2节）：介绍智能体形式化定义，突出智能体与纯LLM的效率差距；2）高效记忆（第3节）：围绕记忆生命周期分析效率优化，包括工作记忆（文本和潜在记忆）、外部记忆（基于项、图、层次结构）、记忆管理（规则、LLM、混合）和记忆访问（选择、集成）；3）高效工具学习（第4节）：分析工具选择（外部检索、多标签分类、词表检索）、工具调用（原位参数填充、并行调用、成本感知调用）和工具集成推理（选择性调用、成本感知策略优化）；4）高效规划（第5节）：分析单智能体规划效率（自适应预算控制、结构化搜索、任务分解、基于学习的进化）和多智能体协作效率（拓扑效率、协议优化、协调蒸馏）；5）基准测试（第6节）：总结记忆、工具学习和规划的效率评估基准和常用指标；6）挑战和未来方向（第7节）：讨论开放问题和研究方向。
技术新颖性
本综述的技术新颖性体现在三个方面：首先，它是首个全面关注智能体系统本身效率（而非LLM骨干效率）的综述，填补了重要文献空白。其次，论文提出了系统化的分类法：对于记忆，按生命周期（构建→管理→访问）和存储位置（工作记忆vs外部记忆）组织；对于工具学习，按流程阶段（选择→调用→集成推理）组织；对于规划，按智能体数量（单智能体vs多智能体）和优化时机（推理时策略vs基于学习的进化）组织。第三，论文首次将效率表征为两种互补方式：固定预算下比较效果，可比效果下比较成本，并通过帕累托前沿统一视角。这种框架使得看似不同的方法（如记忆压缩、工具调用优化、搜索控制）能够在共同的效率-效果权衡框架下进行比较和分析。
实验结果
本综述通过系统分析得出以下核心发现：1）在记忆系统方面，工作记忆（直接用于推理的上下文信息）和外部存储（外部存储的长期信息）各有优劣。工作记忆直接用于生成，消除外部检索延迟，但扩展工作集会导致计算增长或信息稀释；外部存储提供有效无界的长期存储，但增加系统开销和检索延迟。记忆管理策略中，规则管理快速可预测但静态且任务无关；LLM管理自适应但需要额外调用；混合管理平衡两者。实验表明，过度压缩会导致准确性下降，而温和压缩更好保留性能但成本较高。2）在工具学习方面，工具选择方法包括外部检索器、多标签分类和词表检索，各有适用场景。工具调用优化包括原位参数填充、并行调用和成本感知调用，可以同时应用。工具集成推理通过强化学习训练模型在严格必要时才调用工具。3）在规划方面，单智能体策略包括自适应预算控制、结构化搜索、任务分解和基于学习的进化。多智能体策略通过拓扑优化将通信复杂度从O(N²)降至O(N)，通过协议压缩防止上下文膨胀，通过协调蒸馏在保持质量的同时降低推理成本。4）效率评估方面，常用指标包括token消耗和API成本、时间指标（延迟、运行时）、资源指标（GPU内存）和交互指标（LLM调用次数、推理步骤）。基准测试包括记忆评估（LoCoMo、LongMemEval）、工具学习评估（BFCL、τ-Bench）和规划评估（SWE-Bench、WebArena）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 记忆有效性评估 | 任务成功率 | 多种基准测试 | HotpotQA、Natural Questions、GAIA | 间接评估记忆对下游任务的影响 |
| 记忆效率评估 | 步骤效率、运行时成本、token消耗 | Evo-Memory、StoryBench、MemBench | 传统记忆方法 | 量化记忆机制的效率开销 |
| 工具学习评估 | 工具选择效率、计算资源效率、执行速度 | MCP-RADAR、MCP-Bench | 传统工具学习基准 | 显式评估效率维度 |
| 规划效率评估 | 端到端执行时间、规划尝试次数、token消耗、货币成本 | TPS-Bench、CostBench | 纯效果评估基准 | 引入成本最优工具使用规划和成本通过率 |
局限与改进
本综述存在以下局限性：1）效率评估标准化不足：虽然论文总结了各种效率指标，但现有工作使用不同子集和异构术语，有些仅报告token消耗或API成本，其他关注运行时、延迟、推理时间、检索时间或步骤效率，且经常未明确指定包含管道的哪些阶段。即使基于token的指标也可能按查询、记忆操作、情节或构建记忆存储来定义，导致现有效率数字无法跨论文直接比较。2）多模态智能体效率研究不足：论文主要关注基于文本的LLM智能体，但MLLM智能体的效率研究相对不足。多模态感知和定位可能引入额外延迟，在长期交互中复合误差，重新编码视觉上下文的计算负担创造了比LLM智能体更严重的记忆保留与推理速度权衡。3）潜在空间推理探索不足：虽然潜在空间推理可以减少token开销并保留更丰富的信息，但现有工作主要关注独立LLM设置，智能体潜在空间推理仍相对未被探索。智能体场景引入了额外需求，如工具使用、长期规划、记忆管理和行动验证，可能需要新的训练目标、接口和评估协议。
独立分析的弱点
本综述识别的弱点和改进方向：1）记忆压缩与性能的权衡：过度压缩会导致关键信息丢失，直接降低智能体性能。LightMem的实验明确表明过度压缩导致准确性较差。改进方向是开发更智能的压缩策略，在压缩过程中尽可能保留显著信息，或者设计自适应压缩率根据任务复杂度动态调整。2）在线与离线记忆管理的权衡：纯在线系统（如A-MEM）在交互期间同步更新记忆，导致频繁的LLM调用和更高的延迟成本；离线更新最小化推理开销但适应较慢。改进方向是设计混合架构，结合轻量级在线缓存与离线整合，将昂贵计算卸载到异步离线过程。3）工具学习的泛化问题：词表检索方法（如ToolkenGPT）需要为监督微调构建数据样本，对未见工具泛化能力差。改进方向是开发无需训练的工具选择方法，或者设计更好的工具表示学习方法。4）多智能体协调的复杂性：拓扑优化可能丢失有用信号，压缩可能丢失关键细节，蒸馏增加训练成本并可能削弱推理时的多样性。改进方向是开发更精细的边修剪算法，或者设计保持多样性的蒸馏方法。
未来方向
论文提出和基于成果可延伸的未来方向：1）统一效率评估框架：虽然各种方法和基准都试图量化记忆效率，但使用不同维度和异构术语，现有效率数字无法跨论文直接比较。需要标准化和透明的报告来实现公平比较和可复现性。2）智能体潜在空间推理：将潜在空间推理从独立LLM扩展到智能体场景，探索新的训练目标、接口和评估协议。潜在推理可以减少token开销并保留更丰富的高维信息。3）部署感知的智能体设计：智能体系统应该更加部署感知，多智能体设计可以实现为真正的多模型部署或单模型角色扮演管道，这些实现在编排开销、延迟和可靠性方面有显著差异。需要在匹配资源预算下比较这些替代方案。4）MLLM智能体效率：将文本中心效率策略转移到多模态智能体面临挑战，因为多模态智能体通常在不同的动作空间和任务结构中操作。需要效率感知的智能体设计和评估，联合考虑性能和成本。
复现评估
本综述的复现评估：论文提供了项目网站（https://efficient-agents.github.io/）和代码仓库（https://github.com/yxf203/Awesome-Efficient-Agents），便于获取相关资源。作为综述论文，其复现性主要体现在对所综述方法的系统化分类和分析框架上。论文总结了各种效率指标和基准测试，为后续研究提供了评估参考。然而，由于涉及众多方法和基准，完全复现所有分析需要大量工作。论文的分类法和框架本身是可复现的，研究人员可以在此基础上进行扩展和深化。对于具体方法的复现，需要参考各原始论文的开源情况、数据集和算力需求。
论文图表
该图展示了从纯LLM到智能体的转变：从独立推理到具有记忆、规划和工具学习的轨迹级推理，同时引入了额外的成本来源。图中展示了纯LLM、智能体以及记忆、规划、工具学习等组件之间的关系。
这张图直观展示了智能体与纯LLM在效率问题上的本质区别，是理解论文核心动机的关键图表。