认知模型与AI算法为语言代理设计提供模板 Cognitive Models and AI Algorithms Provide Templates for Designing Language Agents
提出用认知模型和AI算法作为语言代理设计模板的方法论框架
前置知识
语言代理（Language Agent）
基于大语言模型（LLM）的自主代理系统，能够通过自然语言指令执行多样化、复杂任务。它们通常通过与外部工具、数据库或其他代理交互来完成任务。典型的语言代理会增强 LLM 的目标设定和规划能力、持久化记忆或状态、行动/工具使用能力，以及完成多轮 LLM 调用任务的自主性。大多数 LLM 代理使用指令微调的基础模型，并通过提示构建代理架构，尽管也存在使用微调或强化学习的方法。
本文的核心主题就是如何设计语言代理，理解什么是语言代理及其典型架构是理解全文的基础。
认知模型（Cognitive Model）
认知科学家用来模拟大脑及其部分如何工作的模型。每个认知模型都代表一个基于认知过程的机制假设。它们与人类具有相同的输入（如心理刺激）和输出（如选择、反应时间），并根据收集的人类数据进行测试。认知模型涵盖广泛的心理过程，包括感知、注意力、记忆、推理、语言理解等。它们在认知科学中用于解释和预测人类行为，并通过数学或算法形式化表达心理过程。
本文的核心论点之一是认知模型可以作为设计语言代理的模板，理解认知模型的本质和作用对于理解论文的方法论至关重要。
有向无环图（DAG）
一种有向图结构，其中没有有向环，即不存在一条从某个节点出发，沿着有向边最终又回到该节点的路径。在计算机科学中，DAG 常用于表示依赖关系、任务调度、数据流等。在本文中，代理模板被形式化为 DAG，其中顶点是 LLM 或工具，边表示这些组件之间的连接和执行顺序。这种形式化确保了代理模板具有清晰的执行顺序和数据流，避免了循环依赖导致的执行歧义。
论文使用 DAG 来形式化定义代理模板，这是理解论文框架的技术基础。
研究动机
现有语言代理设计面临的主要问题是有效代理架构的搜索空间巨大。语言代理通常处理更复杂的任务，包含众多组件（如记忆、规划、工具使用等），每个组件都需要实现级别的选择，导致潜在架构的数量呈指数级增长。现实中，从业者很少搜索整个空间，而是依赖民间直觉、手动设计甚至偶然机会来构建设计。这种选择部分原因是由于部署 AI 代理的领域（如医疗保健）中进行架构搜索的可用数据有限。虽然常见的应对方法是模拟人类数据，但这些解决方案可能无法代表人类奖励的充分分布。此外，现有的代理设计框架（如 Agentic Context Engineering、Compressor-Predictor 系统）在较低的抽象层次上运作，缺乏对任何问题的灵活性。
本文的目标是本文的具体目标是提出一个方法论框架，即认知模型和现有 AI 算法为设计语言代理提供有效的模板。通过形式化定义代理模板的概念，论文展示了现有语言代理架构如何实例化认知模型或 AI 算法。这种方法的目标是提高人类可解释性，并为语言代理面临的各种问题提供一种连贯的、先前成功的解决策略。论文还呼吁研究人员探索这一空间中的其他模型和算法，如假设生成和学习、语言中的信息论原则、进化算法等。
与已有工作不同的是，本文的独特切入角度在于将认知科学和 AI 领域数十年积累的丰富计算模型和算法作为设计语言代理的模板，而不是从头开始搜索或手动设计架构。与现有工作（如 CoALA 框架、Compound AI Systems、GPTSwarm）不同，本文强调的是利用经过验证的模型和算法作为设计的起点，而不是将代理设计作为优化问题处理。这种方法不仅避免了繁琐的优化过程，还为高性能语言代理赋予了极高的可解释性。此外，本文还填补了 Sumers et al. (2023) 等工作的空白，后者虽然致力于连接语言代理研究与认知科学，但没有解决如何为未来工作构建代理的具体连接问题。
核心方法
论文的方法整体思路是：首先形式化定义代理模板的概念，然后将现有语言代理架构映射到这些模板上，展示它们如何实例化认知模型或 AI 算法。代理模板被定义为有向无环图（DAG），其中顶点代表 LLM 或工具，边代表这些组件之间的连接。论文系统性地分类了两类模板来源：认知模型（通信、推理与规划、表征）和 AI 算法（经典算法如搜索和分治、强化学习算法如策略迭代、后验采样、信息导向采样）。通过分析现有工作，论文展示了如何将这些模型和算法的具体组件和交互模式转化为 LLM 模块及其组合。
核心创新点是将认知模型和 AI 算法作为设计语言代理的模板，而不是从头搜索或手动设计架构。这种方法的本质区别在于：它利用了认知科学和 AI 领域数十年积累的经过验证的计算模型和算法，这些模型和算法明确表达为模块化、顺序的处理过程。论文形式化了代理模板概念，并系统性地展示了现有语言代理如何实例化这些模板。这种方法提高了可解释性，因为每个 LLM 模块的功能和交互都有明确的认知或算法依据，避免了任意设计。
方法步骤详情
方法步骤的完整描述：第一，形式化定义代理模板为 DAG G = (V, E)，其中顶点 V ⊆ F 是 LLM 或工具，边 E = V × V 表示连接。定义每个顶点 v ∈ V 的父节点 Γ(v) = {v′ ∈ V | (v′, v) ∈ E}，初始顶点 R（源顶点）和终端顶点 T（汇顶点）。第二，分析认知模型如何转化为模板：通信方面，基于理性言语行动（RSA）理论，实现递归社会推理，例如 Liu et al. (2023) 的模板 V = {Λadvisor, Λgenerator, Λprofiler, Λsimulator, Λaggregator}；推理与规划方面，基于前额叶皮质功能的 Modular Agentic Planner (MAP)，模板 V = {Λdecomposer, Λactor, Λmonitor, Λpredictor, Λevaluator, Λorchestrator}；表征方面，基于思维语言假设，模板 V = {Λreasoner, Λinterpreter}。第三，分析 AI 算法如何转化为模板：搜索算法方面，Tree of Thoughts 框架使用 V = {Λgenerator, Λevaluator} 实现广度优先或深度优先搜索；分治算法方面，Least-to-Most prompting 使用 V = {Λdecomposer, Λsolver}；强化学习算法方面，In-Context Policy Iteration (ICPI) 使用 V = {Λpolicy, Λtransition, Λreward}，Posterior Sampling for RL (PSRL) 使用 V = {Λsample, Λpolicy, Λposterior}，Information-Directed Sampling (IDS) 使用 V = {Λregret, Λinfo gain, Λposterior}。
技术新颖性
技术新颖性分析：论文的主要新颖性在于提出了一种方法论框架，将认知科学和 AI 领域的经典模型和算法作为设计语言代理的模板。这种方法的创新性体现在：首先，它提供了第一个系统性的代理模板形式化定义（DAG 结构），为理解语言代理架构提供了统一框架。其次，它建立了认知模型或 AI 算法与语言代理之间的明确映射，展示了现有工作如何实例化这些模板，为未来工作提供了清晰的设计指南。第三，它强调了可解释性的重要性，通过模板方法，每个 LLM 模块的功能都有明确的认知或算法依据，避免了任意设计。第四，它提出了丰富的未来研究方向，包括多智能体系统、集体决策制定、进化算法等模板的应用。最后，它挑战了现有的代理设计方法，认为应该优先利用现有模板而不是从头搜索，这与 Compound AI Systems 和 GPTSwarm 等方法的优化视角形成鲜明对比。
实验结果
论文的核心发现包括：第一，形式化的代理模板定义为理解语言代理架构提供了统一框架，许多现有语言代理可以清晰地映射到认知模型或 AI 算法的模板上。第二，基于认知模型的模板在通信、推理与规划、表征等方面已取得成功：Liu et al. (2023) 的通信代理基于 RSA 理论，显著优于基线和消融实验（根据人类判断）；Webb et al. (2025) 的 MAP 在汉诺塔和 PlanBench 等多步问题解决基准测试中取得强结果；基于思维语言假设的代理在数学、金融和符号推理任务上提供显著性能提升。第三，基于 AI 算法的模板也取得了成功：Tree of Thoughts 框架显著提高了各种 LLM 在直接生成和链式思维上的性能；HuggingGPT 有效地处理多模态任务；ICPI 在六个不同 MDP 上评估，表现与经典表格 Q-learning 一样好（甚至更好）；PSRL 模板在 Wordle 等困难的自然语言任务中保留了原始算法的高效探索能力；在数字变体 Wordle 游戏的初步调查中，IDS 代理比 PSRL 代理更接近贝叶斯最优策略。第四，论文发现认知模型和 AI 算法为语言代理设计提供了丰富的模板资源，这些模板不仅提高可解释性，还提供了经过验证的设计策略。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 通信推荐 | 人类判断 | 优于基线和消融实验 | 基线模型和消融变体 | 显著提升 |
| 多步问题解决 | 在 Tower of Hanoi 和 PlanBench 上的表现 | 强结果 | 未明确说明 | 优于单步方法 |
| 数学、金融和符号推理 | 任务准确率 | 显著性能提升 | 直接推理 | 显著提升 |
| 推理任务（直接生成和链式思维） | 各种 LLM 的性能 | 显著提高性能 | 标准提示 | 显著提升 |
| MDP 任务（六个不同 MDP） | 策略评估 | 表现与经典表格 Q-learning 一样好（甚至更好） | 表格 Q-learning、固定规则策略、随机策略 | 与经典算法相当或更好 |
| Wordle 等困难自然语言任务 | 累积遗憾曲线 | 保留高效探索能力 | 无模板基线 | 在困难探索问题中有效 |
| 数字变体 Wordle 游戏 | 近似贝叶斯最优策略 | IDS 代理比 PSRL 代理更接近最优 | PSRL 代理 | 更接近贝叶斯最优策略 |
局限与改进
局限性分析：作者承认的局限性包括，模板方法可能不适用于所有任务，No Free Lunch 定理意味着不存在在所有任务上都最优的策略。论文对 IDS 模板的实证研究是初步的，仅限于单个领域，其有效性需要更多研究来验证和理解。此外，论文没有提供新的实验结果，主要是对现有工作的分析和整理。作者自己的观察包括，许多分治方法是在现代推理模型和成熟的长运行代理之前提出的，因此在如何将明确的分治模板应用于新一代模型方面存在研究空白。另外，论文对某些模板（如 MCTS）的讨论还停留在理论层面，缺乏实证支持。
独立分析的弱点
独立分析的弱点：第一，论文的模板方法主要依赖于对现有工作的回顾和分类，缺乏新的实证验证或系统性的比较研究。第二，对于不同任务类型应该如何选择合适的模板，论文提供了理论上的讨论，但缺乏具体的选择准则或自动化方法。第三，论文的形式化定义（DAG）虽然清晰，但在实践中如何确定顶点和边的具体设计，论文提供的是案例研究而非系统化的设计流程。第四，对于需要跨领域知识或复杂交互的任务，现有的认知模型和 AI 算法可能缺乏相应的模板。第五，论文讨论的多智能体模板较为有限，对于协作、竞争等复杂交互场景的模板设计涉及不多。改进方向：可以进行系统性的实证研究，比较不同模板在相同任务上的表现；开发模板选择的自动化方法或决策树；提供更详细的模板设计流程和最佳实践；扩展对多智能体模板的研究；探索将多个模板组合的方法。
未来方向
未来研究方向：作者提出的方向包括研究其他模型和算法作为模板，如假设生成和学习、语言中的信息论原则、进化算法。由于语言代理的使用需求越来越超越完成独立任务，它们可能需要与人类用户、用户组或其他 AI 代理交互和协作，因此研究多智能体系统和集体决策制定的领域（如经济学和计算社会科学）可以作为有用的模板，包括投票算法、机制设计概念、博弈论模型。此外，基于丰富、有趣模板的语言代理可能反过来导致新颖或更普遍的认知模型，因为大多数认知模型被限制在相对简单的实验条件下，而语言代理的开放性质可以让认知科学家在更广泛和现实的领域中预测和解释人类的思想和行为。基于成果可延伸的方向：可以探索将 MCTS 算法作为语言代理模板，因为 MCTS 在围棋和国际象棋等复杂领域取得了成功；可以将其他搜索算法（如模拟退火、遗传算法）转化为模板；可以探索将其他强化学习算法（如 Actor-Critic、PPO）转化为模板；可以研究如何将多个模板组合以处理更复杂的任务；可以开发自动化的模板选择和组合工具。
复现评估
复现评估：论文是一篇观点论文（position paper），主要贡献是提出方法论框架和理论分析，而非新的实验结果。因此，复现性评估主要针对论文中提到的具体工作，如 Liu et al. (2023)、Webb et al. (2025)、Arumugam & Griffiths (2025) 等。这些工作的开源情况各不相同，需要查阅各自的论文。论文本身没有提供代码或数据集，但其形式化定义和案例分析是清晰可复现的。对于想要实践论文方法的研究者，需要关注如何将特定的认知模型或 AI 算法转化为 LLM 模块，这需要深入理解原始模型或算法以及 LLM 的能力边界。总体而言，论文的复现性取决于对所引用工作的复现，而论文本身的理论框架是可以独立验证和扩展的。