元认知记忆策略优化：面向长周期 LLM 智能体 Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents
引入信念熵提供细粒度记忆监督，解决长周期智能体的噪声积累和信念漂移问题
前置知识
POMDP（部分可观测马尔可夫决策过程）
POMDP 是一种用于建模部分可观测环境的数学框架。与标准 MDP 不同，POMDP 中的智能体无法直接观察真实状态，只能获得观测 o，因此需要维护信念状态 b(s) = P(s | h)，即基于历史交互历史 h 对真实状态的概率估计。信念状态通过贝叶斯滤波递归更新，包含了做出最优决策所需的所有信息。论文将长周期智能体任务建模为 POMDP，其中潜在任务状态 s 不可观测，只能通过观测 o 和记忆 m 进行推断。
本文的核心问题是信念漂移，即智能体的内部信念与潜在任务状态之间的偏差。理解 POMDP 的信念状态概念对于理解论文如何将记忆质量问题形式化为信念偏差的保持问题至关重要。
Group Relative Policy Optimization (GRPO)
GRPO 是一种不需要学习值网络就能稳定强化学习的组相对范式。对于每个任务，采样一组 N 条完整轨迹，在每个推理深度 k，计算该组内子轨迹奖励的均值和标准差，子轨迹优势通过在组内标准化奖励得到。这种相对比较机制避免了学习值函数带来的不稳定性，特别适合 LLM 微调场景。MMPO 利用 GRPO 将 Belief Entropy 奖励标准化，提供稳定的梯度信号。
MMPO 使用 GRPO 进行优势估计，避免学习值网络的不稳定性。理解 GRPO 的工作原理有助于理解论文如何在不引入额外价值函数的情况下实现稳定的记忆策略优化。
信念熵（Belief Entropy）
信念熵是论文提出的自监督代理信号，用于探测模型基于当前记忆对潜在任务状态的不确定性。给定记忆和锚点问题 q，信念熵定义为模型对锚点问题响应的预测熵。实际计算中采用 token 级预测熵的均值。设计上使用双探针问题（进度+信息缺口）来确保探测任务状态不确定性而非通用模型置信度。低信念熵表示记忆清晰、诱导的信念稳定；高信念熵表示记忆模糊、信念不稳定。
信念熵是本文的核心创新，是连接不可观测的信念不确定性和可观测的响应不确定性的桥梁。理解这个概念对于理解 MMPO 如何为中间记忆状态提供细粒度监督至关重要。
研究动机
现有记忆增强智能体方法在处理长周期任务时存在根本性缺陷。这些方法通常使用基于结果的强化学习来训练记忆策略，仅根据最终任务成功或失败提供稀疏奖励。这种 Sparse reward 机制导致严重的信用分配问题：当任务在长时间交互后失败时，系统无法定位是哪个中间记忆步骤引入了噪声或丢失了关键信息。在递归总结过程中，LLM 生成的语义噪声会逐步累积，导致级联幻觉和最终的长周期推理崩溃。例如在 RULER-HotpotQA 实验中，当上下文长度从 56K 扩展到 3.5M 时，即使经过 RL 训练的 MemAgent 也会出现明显的性能下降（14B 模型从 83.59% 降至 71.09%）。
本文的目标是本文的具体目标是解决现有方法在中间记忆优化方面的监督缺失问题。论文提出应该不仅关注轨迹级别的任务成功，还要关注中间总结所诱导信念的清晰度。通过引入一种自监督代理信号来探测模型对潜在任务状态的不确定性，为递归总结过程中的每一步记忆提供细粒度的、记忆特定的监督。最终目标是训练出能够在超长上下文（最高 1.75M tokens）下保持稳定性能的记忆策略，同时减少噪声累积和信念漂移。
与已有工作不同的是，本文的独特切入角度是将长周期推理崩溃问题重新形式化为信念保持问题，而非仅仅关注最终任务成功。传统方法试图直接优化任务结果，但忽略了中间记忆质量如何影响决策过程。本文从 POMDP 理论出发，识别出信念偏差是长周期不稳定性的关键来源，因此记忆优化应该最小化条件熵，即保持总结诱导的信念对潜在任务状态的预测能力。这个角度将记忆质量问题从结果优化转移到过程优化，通过自监督的信念熵信号为中间记忆状态提供密集监督，填补了现有方法在过程监督方面的空白。
核心方法
MMPO 的整体思路是从认知科学中的元认知概念出发，通过探测模型自身的内在不确定性来评估记忆质量。直觉上，一个好的记忆应该让模型对任务状态有清晰的认识，响应应该一致且确定；而糟糕的记忆会导致模型不确定和犹豫不决。技术路线上，论文首先将长周期智能体任务建模为 POMDP，将记忆质量问题形式化为信念保持问题。然后引入 Belief Entropy 作为信念清晰度的可观测代理，通过精心设计的锚点问题将不可观测的信念不确定性转换为可观测的响应不确定性。最后使用组相对强化学习框架，将 Belief Entropy 作为密集奖励注入训练过程，实现记忆策略的细粒度优化。
MMPO 的核心创新是引入 Belief Entropy 作为自监督代理信号，填补了中间记忆优化的监督空白。与现有方法仅依赖稀疏的最终结果奖励不同，MMPO 为每个中间记忆状态提供基于信念熵的密集奖励：低熵（高清晰度）记忆获得正向奖励，高熵（低清晰度）记忆受到惩罚。另一个关键创新是双探针锚点问题设计，同时探测任务进度估计和剩余信息需求，确保熵信号反映任务状态不确定性而非通用模型置信度。这个设计避免了像直接答案探针那样鼓励过早自信的问题。本质上，MMPO 从传统的只关注结果转向同时关注过程质量和结果，为记忆优化提供了更丰富的训练信号。
方法步骤详情
MMPO 的完整训练流程包含三个主要阶段。阶段一是轨迹采样：记忆策略对每个任务采样 G 条完整轨迹，每条轨迹包含 T 个推理步骤，每步生成记忆并执行行动。阶段二是信念熵计算：对于每条轨迹的每个记忆状态，使用锚点问题 q 查询模型，计算 token 级预测熵的均值得到。锚点问题根据任务类型调整，如 QA 任务使用基于当前记忆，当前任务进度如何，还需要什么信息。阶段三是策略优化：构建子轨迹奖励，其中 sigmoid 函数将熵信号归一化到 [0,1]，是最终结果奖励。使用 GRPO 计算组相对优势，然后聚合到 turn-level 优势。最后使用裁剪 PPO 目标优化记忆策略，将优势分配到记忆的每个 token 上。
技术新颖性
MMPO 的技术新颖性体现在多个层面。首先是问题形式化的创新，将记忆优化从结果驱动的强化学习重新形式化为信念保持问题，引入信息论视角（最小化条件熵等价于最大化互信息）。其次是自监督信号设计的创新，Belief Entropy 将元认知概念（认知科学中个体对自身认知过程的认识和监控）具体化为可计算的熵指标，通过双探针问题设计避免通用置信度偏差。第三是训练框架的创新，将 GRPO 的组相对范式与子轨迹分解结合，提供稳定的细粒度信用分配，避免了学习值网络的不稳定性。最后是广泛的适用性，MMPO 可以无缝集成到不同的记忆架构中，证明了该方法不是特定架构的改进，而是通用的记忆优化范式。
实验结果
MMPO 在多个长周期任务基准上持续超越现有方法，特别是在极端上下文长度扩展场景下表现出色。在 RULER-HotpotQA 基准上，MMPO-14B 在 224K 到 3.5M 上下文长度范围内平均准确率比 RL-MemAgent-14B 提升 3.12%，最大增益在 3.5M 处达到 5.38%（76.47% vs 71.09%）。MMPO-7B 也展现出类似趋势，平均提升 3.14%，最大增益在 896K 处达到 5.47%（79.69% vs 74.22%）。多目标 QA 任务上，MMPO 在 8-objective 和 16-objective 设置下显著超越 MEM1-QA，16-objective EM 从 1.97 提升到 2.43，F1 从 2.39 提升到 2.84。WebShop 交互任务上，MMPO 的平均奖励比 MEM1-WebShop 提升 8.9%。信念熵动态分析显示，成功轨迹呈现熵值随证据积累而下降的趋势，而失败轨迹则停滞或上升。MMPO 强化了熵减少与任务准确率之间的相关性（Pearson r = -0.75 vs MemAgent 的 r = -0.68），支持 Belief Entropy 作为中间记忆质量代理的有效性。锚点问题消融实验显示，进度+信息缺口的组合探针（本文默认设置）在准确率和熵-性能相关性上都优于单一探针。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RULER-HotpotQA (14B, 3.5M context) | Accuracy | 76.47% | RL-MemAgent-14B: 71.09% | +5.38% |
| RULER-HotpotQA (7B, 896K context) | Accuracy | 79.69% | RL-MemAgent-7B: 74.22% | +5.47% |
| Multi-objective QA (16-objective, EM) | Exact Match | 2.43 | MEM1-QA: 1.97 | +23.4% |
| Multi-objective QA (16-objective, F1) | F1 Score | 2.84 | MEM1-QA: 2.39 | +18.8% |
| WebShop | Average Reward | 77.25 | MEM1-WebShop: 70.87 | +9.0% |
| RULER-HotpotQA (56K, Best-of-5) | F1 Accuracy | 75.8% (+3.9% over Vanilla+Memory) | Vanilla+Memory: 71.9% | +5.4% |
局限与改进
作者承认 MMPO 的主要局限性是额外的计算开销。在训练期间，每个记忆状态都需要计算信念熵，这需要额外的模型前向传播来生成锚点问题响应和计算 token 级熵。虽然论文声称开销相对可控，但对于大规模部署可能会成为实际瓶颈。另一个隐含的局限是锚点问题设计的任务依赖性，论文针对 QA 任务和工具使用任务提供了不同的模板，但对于更多样化的任务场景可能需要手动调优。此外，MMPO 假设低信念熵总是与好的记忆质量相关，但在某些情况下可能存在局部最优：过度压缩的记忆可能导致低熵但丢失重要信息，而适当的噪声可能反而保持探索性。最后，虽然 MMPO 改进了长周期稳定性，但它并不能完全解决 LLM 的固有幻觉问题，噪声仍然会积累，只是积累速度被减慢。
独立分析的弱点
MMPO 的第一个主要弱点是锚点问题设计的启发式性质。虽然双探针设计（进度+信息缺口）在实验中表现良好，但缺乏理论保证这是最优的探针设计。对于某些需要保持矛盾信息或不确定性的任务，强制最小化信念熵可能反而损害性能。改进方向是开发自适应的锚点问题生成机制，根据任务特征动态调整探针内容。第二个弱点是记忆质量评估的单维度性。MMPO 仅使用信念熵作为记忆质量代理，但好的记忆还需要其他属性如信息完整性、可解释性、可检索性等。改进方向是多维度记忆评估框架，结合熵、信息增益、检索准确性等指标。第三个弱点是组相对范式对多样性的要求。GRPO 依赖于组内轨迹的多样性来提供有意义的相对比较，如果采样策略过早收敛，优势估计可能失效。改进方向是引入显式的多样性正则化或自适应采样策略。
未来方向
作者提出的未来方向包括探索其他类型的不确定性估计方法作为替代或补充信念熵的信号，如语义熵、口头化置信度、自一致性等。另一个方向是研究 MMPO 与不同记忆架构的协同效应，包括分层记忆、可检索记忆、可更新记忆等。基于论文成果的可延伸研究方向包括：1）将 MMPO 扩展到多智能体协作场景，研究共享信念的协同优化；2）开发跨任务的通用锚点问题模板或学习式探针生成器；3）研究信念熵与其他过程监督信号（如 PRM、PRIME）的结合，提供更全面的多步推理监督；4）探索更高效的熵计算近似方法，减少训练开销；5）将 MMPO 应用于长周期规划和决策任务，如复杂工具链编排、多轮对话管理等。特别值得注意的是，MMPO 的元认知启发放开了一个新的研究方向：如何让 LLM 智能体更好地认识自己，包括监控自身的不确定性、识别自己的知识边界、主动寻求信息等。
复现评估
论文的复现性评估：代码开源情况未明确说明，但实验配置相对详细。数据方面，RULER-HotpotQA、Multi-objective QA 和 WebShop 都是公开基准，数据获取应该没有障碍。模型方面，实验使用 Qwen2.5-7B 和 Qwen2.5-14B 作为骨干模型，这些是开源模型。算力方面，虽然未提供具体的训练时间和硬件配置，但从实验规模来看（G=5 组采样，多个上下文长度，多个基准），需要的 GPU 资源相当可观。实验的协议相对清晰，超参数（如 alpha=1、group size N=5）明确给出，这有助于复现。然而，一些实现细节如具体的熵计算 token 集、PPO 裁剪参数 epsilon、KL 散度权重 beta 等未在主文中详细说明，可能需要参考附录或代码。总体而言，在获得代码和足够算力的情况下，复现主要实验应该是可行的，但完整复现所有消融实验和分析可能需要相当大的投入。
论文图表
Figure 1 通过对比展示了 MMPO 与现有方法的根本区别。上图展示了现有基于结果的记忆策略的问题：稀疏的终端奖励无法识别哪个中间总结导致了噪声和信念偏差，模糊的总结导致不稳定的信念，最终推理失败。下图展示了 MMPO 的解决方案：使用基于锚点问题的 Belief Entropy 提供密集、记忆特定的监督，这种细粒度的认识不确定性惩罚保持了更清晰的总结诱导信念，改善了长上下文推理。图中还展示了两个关键数据：MMPO 在更长上下文下保持了 97.1% 的性能，而基线显著下降。
这张图对理解论文至关重要，因为它直观地展示了 MMPO 解决的核心问题（稀疏信用分配）和提出的解决方案（信念熵密集监督），同时包含了性能对比的量化数据，是论文贡献的视觉化总结。