通过混合同策略与离策略优化实现探索性记忆增强的LLM智能体 Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
EMPO²用自我生成记忆与混合RL增强LLM智能体探索与泛化能力
前置知识
Group Relative Policy Optimization (GRPO)
GRPO是一种面向语言模型的在线强化学习算法，其核心是通过对同一任务的多次轨迹进行相对比较来估计优势函数，而无需额外的价值网络。给定任务 $u$，策略 $\pi_{\theta}$ 生成 $N$ 条轨迹并得到回报 $\{R^{(1)},...,R^{(N)}\}$，再用 $A(a_t^{(i)})=R^{(i)}-\frac{1}{N}\sum_{j=1}^N R^{(j)}$ 计算动作优势，最后通过带裁剪与KL正则的目标进行更新。GRPO的优点是实现简单、在单步生成任务上稳定，但在需要多步探索的环境中容易因缺乏跨轨迹的连续信息而陷入局部最优。
论文将EMPO²构建在GRPO之上并进行多步扩展，理解GRPO的相对优势与裁剪更新有助于把握EMPO²为何要引入记忆与离策略机制。
On-policy vs Off-policy Updates
On-policy更新要求用于收集数据的行为策略与被优化的策略保持一致，典型做法是用最新的策略采样并直接计算重要性权重。Off-policy更新允许用历史或其他策略的数据来优化当前策略，但需通过重要性采样修正分布偏移。两者在样本效率、稳定性和探索能力上存在权衡：on-policy稳定但样本利用率低，off-policy可复用数据但更易不稳定。
EMPO²的关键设计是同时利用on-policy与off-policy更新，既保持训练稳定又借助“去提示”实现知识内化，因此需要清楚两类更新的差异与风险。
Importance Sampling Ratio
在策略梯度中，重要性采样比用于修正行为策略与目标策略之间的分布差异，通常定义为 $\rho_{\theta}=\frac{\pi_{\theta}(a_t|\cdot)}{\pi_{\theta_{\text{old}}}(a_t|\cdot)}$。当两者条件一致时为on-policy，否则为off-policy。该比率常出现在PPO式目标中，并通过裁剪避免过高或过低的权重导致梯度爆炸或方差过大。
EMPO²在三种模式下采用不同方式计算 $\rho_{\theta}$，尤其是离策略模式会将旧策略的“带提示”概率与新策略的“无提示”概率相除，理解该机制才能解释其知识蒸馏式更新。
Exploration and Intrinsic Reward
探索是RL的核心问题之一，旨在让智能体发现新状态以避免陷入局部最优。经典方法包括基于计数的探索、随机网络蒸馏（RND）等，常用手段是为新状态提供额外的内在奖励。内在奖励鼓励智能体在外部奖励稀疏时仍尝试新行为，并通过维持策略熵来减少策略退化。
EMPO²在记忆之外引入基于状态新颖性的内在奖励，用以在缺乏外部奖励或记忆覆盖不足时维持探索动力，这是其在ScienceWorld等任务中持续提升的关键因素。
研究动机
当前基于大语言模型的智能体在多步交互环境中过度依赖预训练知识，缺乏系统性探索能力，导致在需要发现新状态的任务中频繁失败。论文以ScienceWorld的“点亮红灯泡”任务为例：智能体按指令尝试聚焦红灯泡，却因场景中根本不存在该对象而反复失败，而GRPO等在线RL方法无法从失败中获得足够的连续信号来扩展行为空间，最终陷入局部最优，训练曲线趋于停滞。更广泛地看，许多方法依赖人工黄金轨迹、GPT-4或特权信息来弥补探索不足，这限制了它们在真实或未知环境中的迁移能力。REMEMBERER等工作指出，仅靠外部记忆而参数不更新会导致性能快速饱和，因为固定模型无法内化新的环境动力学。现有方法在处理“从失败中学习并主动寻找新策略”这一核心需求时显得力不从心。这正是本文要解决的痛点：如何在不依赖外部大型模型或人工规则的前提下，通过训练机制本身提升LLM智能体的探索能力与样本效率。
本文的目标是本文的目标是提出一个统一框架，使LLM智能体在在线强化学习中既能广泛探索，又能高效内化所获得的经验，从而在多步推理和交互任务中实现显著的性能提升。具体而言，作者希望在ScienceWorld和WebShop两个典型基准上，超越现有的非参数方法（如Reflexion）、离线RL（如Retrospex）以及在线RL（如GRPO、GiGPO），并在训练效率、最终得分和成功率上取得可量化的领先。更重要的是，作者希望训练后的模型在推理阶段无需依赖外部记忆即可保持高性能，同时具备将记忆能力迁移到新任务的潜力，仅需少量试验即可快速适应，从而为构建更具探索性和泛化能力的LLM智能体提供新的范式。
与已有工作不同的是，与以往将记忆视为临时辅助工具不同，本文的切入点是将非参数记忆更新与参数策略更新深度耦合，并通过混合on/off-policy机制把记忆带来的探索优势最终“蒸馏”到模型参数中。既有工作（如Reflexion）强调语言反思用于提高下一次试验的奖励，但未解决如何让模型在失去记忆后仍保持能力；GRPO等在线RL方法则缺乏跨轨迹的连续信息，难以在复杂任务中进行有效探索。EMPO²抓住了“记忆用于探索、参数用于内化”的双轨思路：先用自我生成的提示引导高质量轨迹，再通过离策略更新让模型学会在无提示情境下复现这些行为。这种设计填补了“记忆增强探索”与“参数内化能力”之间的空白，使得智能体既能持续发现新策略，又能将收益固化为内在能力，形成从短期适应到长期泛化的闭环。
核心方法
EMPO²的方法可以类比为给智能体配备一位“自我教练”。在训练过程中，智能体在每个任务上既进行无提示的裸跑，也进行带记忆提示的增强跑。裸跑相当于在陌生环境中摸索，而增强跑则像是在教练的建议下尝试更高效的路径。每次尝试后，智能体会回顾轨迹，生成一句话式的“提示”并存入记忆库。随后，系统从这些轨迹中抽取高回报样本，一方面用on-policy更新强化当前策略，另一方面用off-policy更新让模型在不看提示的情况下学习这些高质量行为，从而将“教练知识”内化为自身能力。技术路线上，EMPO²基于GRPO进行多步扩展，并引入记忆检索、提示生成、两种rollout模式和两种update模式的组合。最终，训练后的模型在推理时无需记忆即可保持高性能，同时在面对新任务时仍能通过少量记忆快速适应，形成兼顾探索、内化与泛化的统一框架。
EMPO²的核心创新在于将非参数记忆更新参数化，即通过混合on/off-policy学习让记忆的作用最终沉淀到模型参数中。具体而言，智能体在带提示条件下采样高回报轨迹，然后在更新阶段以两种方式利用这些轨迹：一是on-policy模式，保持提示条件进行标准更新以稳定训练；二是off-policy模式，将旧策略在提示条件下获得的动作概率与新策略在无提示条件下的概率进行比对，实现奖励引导的知识蒸馏。这样，提示仅作为探索的脚手架，模型通过选择性蒸馏学会在无提示情境下复现有益行为。论文还提出基于状态新颖性的内在奖励与低概率token掩码机制，以进一步鼓励探索并稳定off-policy训练。这一设计的本质区别在于：不仅把记忆当作临时辅助，而是通过重要性采样和优势加权把记忆带来的信息内化为模型的固有能力，从而在推理阶段摆脱对外部记忆的依赖。
方法步骤详情
EMPO²的训练流程可分为四个阶段。首先是记忆更新：当一个episode结束时，策略 $\pi_{\theta}$ 以最终状态和提示生成prompt为输入，生成不超过100词的自然语言提示 $\text{tip}^i \sim \pi_{\theta}(s_t,u,\text{prompt})$，并存入记忆缓冲 $\mathcal{M}$。其次是轨迹采样：系统从任务分布中采样 $B$ 个任务，并为每个任务启动 $N$ 个环境实例；在每个时间步，以概率 $p$ 选择记忆增强模式，此时检索器 $\text{Retr}(s_t;\mathcal{M})$ 返回最相关的提示（上限10条），策略据此生成动作 $a_{t+1} \sim \pi_{\theta}(\cdot|s_t,u,\text{tips}_t)$，否则以概率 $1-p$ 进行无提示生成。第三是策略更新：若轨迹来自记忆增强模式，则以概率 $q$ 进行off-policy更新、以概率 $1-q$ 进行on-policy更新；off-policy更新时，旧策略的对数概率来自带提示分布，新策略的对数概率则来自无提示分布，从而形成知识蒸馏；on-policy更新则保持条件一致以稳定训练。最后是稳定化与探索奖励：对概率低于阈值 $\delta$ 的token进行掩码以避免梯度爆炸；同时引入基于状态新颖性的内在奖励 $r_{\text{intrinsic}}=1/n$，鼓励智能体探索新状态并维持策略熵。以上步骤在每个训练迭代中循环执行，直至策略收敛。
技术新颖性
EMPO²在技术上的新颖性主要体现在三个方面。第一，它将记忆增强的探索与参数化学习统一为混合on/off-policy框架，既保留了Reflexion式语言反思的探索优势，又通过重要性采样将这些优势内化为模型能力，解决了“记忆有效但难以泛化”的老问题。第二，论文提出奖励引导的知识蒸馏机制：高回报轨迹被视为教师示范，学生策略通过优势加权学习在无提示情境下复现这些行为，这与以往将蒸馏用于离线SFT的做法不同，将其嵌入在线RL流程中，提升了样本效率。第三，EMPO²引入低概率token掩码与基于状态新颖性的内在奖励，前者防止off-policy训练因分布偏移而不稳定，后者在外部奖励稀疏时维持探索动力。相比GRPO仅依赖标量奖励和相对优势，EMPO²通过自我生成的连续信号与稳定性机制，实现了更深层次的探索与更稳健的学习。
实验结果
论文在ScienceWorld和WebShop两个基准上进行了系统评估，结果表明EMPO²在训练效率、最终得分和泛化能力上均显著优于现有方法。在ScienceWorld上，EMPO²的平均回报达到75.9，较GRPO的33.2提升约128.6%。具体到任务，分类与生物寿命类任务（如find-animal、find-living-thing、lifespan-longest-lived等）在训练后达到满分100，电路类任务如power-component也从GRPO的15.1跃升至94.3。相比之下，Reflexion仅提升至17.1，Retrospex为33.8，显示在线RL与记忆内化的结合更具优势。在WebShop上，EMPO²取得88.3的得分和76.9%的成功率，较GiGPO（w/o std）的86.2/75.2%分别提升约2.4%和2.3%，较GRPO提升约11.3%。这些数据表明，记忆增强的探索不仅提升了任务成功率，还改善了商品属性匹配的精细度。更值得注意的是，在无需记忆的评估条件下，EMPO²依然保持高性能，说明模型已将记忆带来的探索能力内化为参数。在分布外测试中，模型在仅进行少量记忆试验且不更新参数的情况下，平均提升达136%，展现出对新任务的快速适应能力。训练曲线进一步显示，GRPO在早期即陷入局部最优，而EMPO²通过持续探索不断攀升，最终稳定在高位，验证了其探索-内化闭环的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScienceWorld平均回报 | 平均回报 | 75.9 | GRPO 33.2 | +128.6%（相对GRPO） |
| WebShop得分/成功率 | 得分 / 成功率 | 88.3 / 76.9% | GRPO 79.3 / 66.1%（GiGPO w/o std 86.2 / 75.2%） | 较GRPO +11.3%得分；较GiGPO w/o std +2.4%得分 |
局限与改进
尽管EMPO²展现出强劲的性能，论文也坦承若干局限。首先，当前记忆检索采用简单的相似度搜索，可能引入噪声或检索不相关提示，作者指出更高级的检索机制有望进一步提升表现。其次，实验主要基于Qwen2.5-7B-Instruct，尚未验证在更大规模或不同架构模型上的泛化性，扩大模型家族和规模可能带来新的挑战与机遇。分布外实验虽显示快速适应潜力，但仍属初步验证，缺乏系统性的多领域、多任务迁移评估。内在奖励的设计依赖状态表征的相似度，若环境状态描述存在噪声或高维嵌入不稳定，可能影响探索效率。最后，离策略训练虽通过掩码机制得到稳定，但仍可能因重要性权重过高而引入方差，作者建议未来可探索除重要性采样外的其他离策略技术。这些局限提示EMPO²在更复杂或真实场景中仍需进一步打磨。
独立分析的弱点
本研究的弱点主要集中在记忆机制与模型适配两个层面。第一，记忆检索基于简单相似度搜索，易受嵌入质量影响，可能返回冗余或低价值提示；改进方向是引入学习型检索器（如DPR或ColBERT）并在训练中联合优化检索与生成。第二，提示生成依赖当前策略，初期策略可能产生低质量提示，影响后续探索；可考虑引入提示过滤或多轮验证机制，例如仅保留对高回报轨迹有正向影响的提示。第三，内在奖励仅基于状态新颖性，未考虑任务进展或语义重要性，可能在某些场景下鼓励无意义探索；未来可结合课程学习或任务感知的奖励塑形，使探索更具针对性。第四，EMPO²在训练时需同时维护记忆、检索与多模式更新，增加了系统复杂度和调参难度；可通过自动超参搜索或元学习策略简化配置。最后，当前实验未涉及多模态或连续动作空间，若应用于机器人控制或多模态交互，需重新设计状态表征与检索策略。
未来方向
论文已在结论中提出若干研究方向，包括更高级的记忆检索、扩大模型规模以及在数学、编程、多跳问答和多模态RL中的应用。基于EMPO²的成果，可进一步探索以下方向：一是将记忆机制与世界模型结合，让智能体在内部模拟探索路径后再进行真实交互，从而提高样本效率；二是研究跨任务记忆迁移，即在一个任务中积累的提示如何辅助全新领域的快速适应，形成“终身学习”能力；三是将奖励引导的知识蒸馏思想扩展到多智能体协作场景，让一个智能体从其他智能体的高质量轨迹中学习；四是探索更稳定的离策略优化方法，如使用双Q学习或保守估计来降低重要性权重带来的方差；五是将EMPO²与人类反馈或偏好学习结合，让探索不仅追求任务奖励，还兼顾安全与伦理约束。这些方向将推动LLM智能体从单一任务优化走向通用、可迁移且安全的智能体系统。
复现评估
论文在可复现性方面做出了积极努力。作者公开了名为Agent Lightning的实现版本，并提供了详细的伪代码、超参数配置与关键代码片段。ScienceWorld与WebShop均为公开基准，数据与评估协议清晰，便于复现实验。训练细节在附录中给出，包括学习率、批大小、rollout数量等，且作者使用了常见的RL框架verl进行扩展。然而，复现仍需多块A100级GPU（ScienceWorld实验使用8块A100 40GB），对算力有一定要求。此外，离策略训练的稳定性高度依赖掩码阈值 $\delta$ 与超参 $p$、$q$ 的选择，作者虽提供了默认值，但在新任务上仍需调参。总体而言，对于具备RL与大模型训练经验的研究者，复现难度中等；对于初学者，则需额外投入时间理解多模式更新与记忆管理机制。
论文图表
以“点亮红灯泡”任务为例，智能体按指令聚焦不存在的对象，反复失败，回报停滞。
该图具体说明了现有在线RL在探索不足时的典型失败模式，为引入记忆增强提供直观动机。