大语言模型的智能体推理：基础·进化·协作 Agentic Reasoning for Large Language Models
系统综述LLM智能体推理范式，涵盖规划、工具、搜索、记忆与多智能体协作
前置知识
Chain-of-Thought (CoT)
Chain-of-Thought是一种提示技术，通过让大语言模型生成中间推理步骤来提升复杂任务的推理能力。不同于直接输出最终答案，CoT引导模型逐步展开思考过程，例如在数学问题中先列出公式、再代入数值、最后得出结果。这种显式推理链使得模型的决策过程更加透明和可调试，是智能体推理的基石技术之一。
CoT是理解智能体推理如何从静态推理演变为交互式推理的关键起点，许多智能体系统在CoT基础上引入了工具调用和环境交互能力
ReAct (Reasoning + Acting)
ReAct是一种将推理和行动交织进行的智能体框架，由Yao等人于2022年提出。它让模型在每一步推理后选择一个外部动作（如搜索、查询API），观察动作结果后继续推理，形成'思考-行动-观察'的循环。这种设计打破了传统LLM封闭世界的限制，使模型能够主动获取外部信息来支持推理。
ReAct是本文讨论的基础智能体推理的核心范式，理解它才能理解后续的工具优化、搜索增强等扩展
POMDP (部分可观测马尔可夫决策过程)
POMDP是一种数学框架，用于建模智能体在不完全信息环境中的序贯决策问题。它包含状态空间X、观测空间O、动作空间A、转移函数T、观测函数Ω、奖励函数R和折扣因子γ等要素。在本文中，POMDP被用来形式化智能体推理，将推理轨迹视为潜在变量Z，将外部行动视为A，从而清晰分离'内部思考'和'外部行动'两个层面。智能体在时间步t根据历史ht=(o≤t, z<t, a<t)做出决策，其中ot在生成zt和at之前被观测到。
本文用POMDP框架统一形式化单智能体和多智能体推理，是理解论文理论框架的数学基础
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习优化算法，用于训练推理模型。它通过组内相对奖励来计算优势函数，消除了对价值网络的依赖。具体来说，对于同一提示q生成的G个输出{yi}，计算每个输出相对于组均值的标准化奖励作为优势估计，然后用裁剪的策略梯度更新模型参数。优势函数通过公式Ai=(ri-μ)/(σ+δ)计算，其中μ是组内奖励均值，σ是标准差，δ是数值稳定性常数。这种方法在DeepSeek-R1等推理模型中被广泛采用。
GRPO是当前训练后推理(post-training reasoning)的主流优化方法，理解它才能理解智能体如何通过强化学习内化推理能力
研究动机
当前大语言模型在封闭世界任务（如数学计算、代码生成）上展现出强大的推理能力，通过Chain-of-Thought、程序辅助求解等技术显著提升了推理性能。然而，这些方法本质上假设静态上下文和短期推理，LLM缺乏在开放式、动态环境中行动、适应和自我改进的机制。具体而言，传统LLM只能在固定提示下进行一次性推理，无法与环境交互获取新信息、无法利用外部工具弥补知识和计算能力的不足、无法从反馈中学习并持续改进、也无法与其他智能体协作解决复杂问题。这些局限性使得LLM在现实世界应用中面临推理深度不足、知识时效性差、适应能力弱等挑战。
本文的目标是本文旨在建立一个统一的智能体推理(Agentic Reasoning)理论框架，将LLM从被动的序列生成器重新定义为能够规划、行动和学习的自主推理智能体。具体目标包括：(1) 形式化智能体推理的概念，明确推理作为智能体系统的核心组织原则；(2) 提出三层分类体系（基础、自进化、集体）来系统化现有的智能体推理方法；(3) 区分上下文推理(in-context reasoning)和训练后推理(post-training reasoning)两种优化模式；(4) 梳理智能体推理在科学发现、机器人、医疗、数学等领域的应用；(5) 整理现有评估基准并指出未来研究方向。
与已有工作不同的是，与现有综述相比，本文的独特切入角度在于以'推理'而非'架构'或'系统'为中心来统一理解智能体系统。现有LLM推理综述主要关注如何在模型内部计算过程中激发或增强推理能力，停留在静态推理设置中；现有AI Agent综述则从架构或系统角度分析智能体如何使用强化学习、规划和工具模块。本文的独特之处在于：(1) 将推理定位为连接感知、规划、决策和验证的统一机制；(2) 通过三层分类（基础、自进化、集体）刻画环境动力学的递进层次；(3) 将上下文推理和训练后推理作为互补的优化维度贯穿所有层次；(4) 提供从理论形式化到实际应用的完整路线图。
核心方法
本文的方法论框架可以比作一个智能体推理金字塔。金字塔的底部是基础智能体推理层，建立单智能体的核心能力，包括规划（分解目标、制定计划）、工具使用（调用外部API、执行代码）和搜索（检索信息、探索替代方案），这些能力在稳定但复杂的环境中运行。中间层是自进化智能体推理，引入反馈机制（反思、验证器信号）和记忆系统（事实记忆、经验记忆、结构化记忆），使智能体能够通过累积经验持续改进，而无需完全重新训练。顶部是集体多智能体推理，将智能从单个求解器扩展到协作生态系统，通过角色分工（管理者-工作者-批评者）、通信协议和共享记忆实现多智能体协调。贯穿这三个层次的是两种互补的优化模式：上下文推理（在推理时通过结构化编排和自适应工作流设计扩展交互能力，不修改模型参数）和训练后推理（通过强化学习和监督微调将成功的推理模式内化到模型权重中）。
本文的核心创新在于提出了一个统一的形式化框架，将智能体推理建模为POMDP上的策略分解。具体来说，智能体的策略被分解为内部推理和外部行动两个部分：πθ(zt, at | ht) = πreason(zt | ht) · πexec(at | ht, zt)，其中zt代表推理轨迹（如计划、Chain-of-Thought），at代表外部动作（如工具调用、搜索查询）。这种分解揭示了智能体系统的本质转变：先在推理空间Z中思考，再在行动空间A中行动。此外，论文引入了自进化元学习循环Sk+1 ← U(Sk, τk, Fk)，将智能体的可进化状态S分为语言进化（文本反思）、程序进化（技能库扩展）和结构进化（代码/架构自修改）三类，为不同层次的自我改进提供了统一视角。
方法步骤详情
本文的方法论框架按照以下步骤组织：第一步是基础能力建立，包括规划推理（工作流设计、树搜索、过程形式化、解耦分解）、工具使用优化（上下文集成、训练后集成、编排式集成）和智能体搜索（上下文搜索、训练后搜索、结构增强搜索）。第二步是自进化机制引入，通过反馈机制（反思反馈、参数适应、验证器驱动反馈）和记忆系统（扁平记忆、结构化记忆、训练后记忆控制）实现能力持续改进。第三步是集体智能扩展，通过角色分类（领导者、工作者、批评者、记忆管理者、通信促进者）、协作分工（上下文协作、训练后协作）和多智能体进化实现智能的集体放大。每个步骤都通过具体的技术方法（如ReAct、Reflexion、Toolformer、GRPO等）和应用案例进行详细阐述。
技术新颖性
本文的技术新颖性体现在以下几个方面：首先，这是第一篇以'推理'为中心而非以'架构'或'系统'为中心来统一理解智能体系统的综述，将推理定位为连接单智能体强化、多智能体协调和自进化智能的统一机制。其次，论文提出了环境动力学的三层分类（基础、自进化、集体），这种分类方式不同于传统的单智能体/多智能体二分法，而是按照能力演进的逻辑层次来组织。第三，论文将上下文推理和训练后推理作为贯穿所有层次的优化维度，揭示了推理时计算扩展和参数内化两种互补的能力获取途径。第四，论文提供了严格的形式化框架，包括POMDP建模、策略分解、元学习循环和Dec-POMDP多智能体扩展，为这个相对年轻的领域建立了理论基础。
实验结果
作为一篇综述论文，本文的主要发现来自于对现有研究的系统性分析和综合。首先，在基础智能体推理层面，论文发现规划、工具使用和搜索三个核心能力已经从单一技术发展为完整的子领域：规划从简单的工作流设计演进到树搜索（BFS/DFS/MCTS/Beam Search）和形式化方法（PDDL、代码表示）；工具使用从上下文演示（ReAct）扩展到训练后优化（Toolformer、ToolLLM）和编排式集成（HuggingGPT）；搜索从静态RAG发展为动态的、具有反思能力的智能体RAG系统。其次，在自进化层面，论文发现反馈机制已从简单的自我批评扩展到包含参数适应和验证器驱动的完整谱系，记忆系统从扁平缓冲区发展为包含图结构、多模态和训练后控制的复杂架构。第三，在集体智能层面，论文发现多智能体系统已在软件工程、金融、法律、教育、医疗、生物医学、音乐等多个领域建立了领域特定的角色分类，协作机制从手动设计的管道演进为基于图搜索和强化学习的自动化拓扑优化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 工具使用能力评估 | 工具选择准确率、API调用成功率 | 系统梳理了ToolQA (1,530对话)、APIBench (1,645 APIs)、ToolLLM-ToolBench (16,464 APIs)等基准 | 传统LLM无工具调用能力 | 从零工具能力到支持16,000+ APIs的泛化调用 |
| 多轮工具使用 | 多步工具编排成功率、任务完成率 | 综合评估了MTU-Bench (54,798对话)、UltraTool (2,032工具)、ToolFlow (107工具)等 | 单轮工具调用 | 支持跨22个领域的多步骤工具编排和长期规划 |
| 智能体搜索能力 | 多跳推理准确率、证据整合质量 | 涵盖了WebWalker、InfoDeepSeek、Mind2Web 2等单模态和MMSearch、BEARCUBS等多模态基准 | 静态RAG一次检索 | 支持动态检索策略、跨源验证和推理驱动的搜索 |
| 长期记忆管理 | 记忆保持率、多会话召回准确率 | 分析了PerLTQA (8.5K QA对)、LOCOMO (19会话)、LONGMEMEVAL (1.5M tokens)等基准 | 无记忆的单轮对话 | 支持跨19+会话的长期记忆保持和动态更新 |
| 多智能体协作 | 协作任务成功率、角色分配准确率 | 涵盖了AvalonBench、Welfare Diplomacy、COMMA等语言推理和MAgent、SMAC等强化学习基准 | 单智能体独立推理 | 支持角色分工、辩论式推理和集体决策 |
局限与改进
本文作为综述论文存在以下局限性：首先，论文覆盖面极广但深度有限，对于每个具体技术（如MCTS规划、GRPO训练、图拓扑搜索）只能提供概述性的介绍，难以深入分析每个方法的理论性质和实践细节。其次，论文的时间覆盖范围截至2025年，对于快速发展中的智能体推理领域，一些最新进展可能未被纳入。第三，论文的评估基准梳理虽然全面，但缺乏对这些基准之间关系和可比性的深入分析，读者难以判断哪些基准最适合评估特定场景。第四，论文在讨论未来方向时提出的开放问题（如个性化、长期交互、世界模型、治理框架）较为宏观，缺乏具体的研究路线图或可操作的建议。最后，论文虽然形式化了智能体推理的POMDP框架，但这种形式化与实际系统设计之间的映射关系不够清晰，理论框架的实用指导价值有待验证。
独立分析的弱点
本文作为综述论文存在几个可改进的弱点：第一，缺乏定量比较分析。虽然论文系统梳理了大量方法，但没有提供统一的实验比较或消融研究来说明不同技术路线的相对优劣，读者难以判断在特定场景下应选择哪种方法。第二，应用领域覆盖不均衡。论文对数学/代码和科学发现领域的讨论非常详细，但对金融、法律、教育等领域的介绍相对简略，缺乏对这些领域特殊挑战的深入分析。第三，理论形式化与实践的脱节。虽然论文提出了POMDP框架和策略分解，但没有展示如何将这些理论工具应用于实际系统设计，理论框架的实用价值不明确。第四，对安全和伦理问题的讨论不足。论文在开放问题中提到了治理框架，但对智能体推理系统可能带来的风险（如工具滥用、记忆泄露、多智能体协调失败）缺乏系统性分析。
未来方向
论文提出了多个重要的未来研究方向：(1) 用户中心的智能体推理与个性化，要求智能体能够建模特定用户的特征、偏好和交互历史，在短期任务奖励和长期用户体验之间取得平衡；(2) 长期交互中的智能体推理，需要解决长序列中的信用分配问题，将信用信号扩展到token、工具调用、技能和记忆更新等多个层次；(3) 基于世界模型的推理，通过内部模拟和前瞻来缓解近视推理，但需要解决世界模型的校准和泛化问题；(4) 多智能体协作推理与训练，将协作本身作为可训练技能，解决群体层面的信用分配和拓扑适应问题；(5) 潜在智能体推理，在内部潜在空间而非显式语言中进行推理，需要解决可解释性和可控性问题；(6) 智能体推理的治理，开发同时解决模型级对齐、智能体级策略和生态系统级交互的治理框架。
复现评估
作为一篇综述论文，本文的可复现性主要体现在其分类框架和文献梳理上。论文提供了完整的参考文献列表（797篇）和详细的分类体系，读者可以按照论文的组织结构来追踪和理解相关工作。论文还提供了GitHub仓库来维护更新的论文列表。然而，论文本身没有提供可运行的代码或实验，其价值在于理论框架和文献综合而非可复现的实验结果。对于希望复现论文中讨论的具体技术（如ReAct、Reflexion、Toolformer等）的读者，需要参考各个原始论文的代码和数据。总体而言，论文的理论框架和分类体系具有较高的参考价值，但实际应用时需要结合具体场景选择合适的技术组合。
论文图表