RetroAgent：通过回顾性双重内在反馈从解决问题到持续进化 RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback
提出回顾性双重内在反馈框架，通过数值探索奖励和语言经验复用提升LLM智能体强化学习效果
前置知识
强化学习（Reinforcement Learning）
强化学习是机器学习的一个分支，智能体通过与环境交互来学习最优策略。在LLM智能体场景中，模型根据环境观察生成动作，获得奖励信号后更新策略。本文采用的GRPO算法是一种基于组的策略优化方法，通过同一提示生成多个响应并计算相对优势来更新策略。标准强化学习的目标是最大化期望折扣回报 $J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T-1} \gamma^t r_t \right]$，其中 $\gamma$ 是折扣因子。
理解强化学习的基本框架是理解本文方法的基础，RetroAgent在此基础上引入了双重内在反馈机制
GRPO（Group Relative Policy Optimization）
GRPO是一种针对LLM的强化学习算法，通过为同一任务生成N个响应轨迹，计算组内相对优势来更新策略。其核心思想是将每个响应的回报与组内平均回报比较，标准化后作为优势估计。本文在GRPO基础上进行了关键改进：引入折扣回报计算轨迹级优势，并将双重内在反馈融入回报计算。
RetroAgent默认使用GRPO作为决策策略的优化算法，理解其工作原理对理解本文的策略优化细节至关重要
内在奖励（Intrinsic Reward）
内在奖励是智能体自身生成的奖励信号，用于补充稀疏的外部环境奖励。本文设计了两种内在反馈：(1) 内在数值反馈，通过衡量子任务完成进度来奖励有益的探索行为；(2) 内在语言反馈，将成功和失败经验提炼为可复用的文本教训。这两种反馈共同构成了RetroAgent的'回顾性双重内在反馈'机制。
双重内在反馈是本文的核心创新，理解其设计理念和作用机制是理解RetroAgent的关键
UCB（Upper Confidence Bound）
UCB是一种经典的探索-利用平衡策略，最初用于多臂赌博机问题。其核心思想是在选择动作时，不仅考虑已知的期望收益，还加入一个与尝试次数成反比的探索奖励项 $\sqrt{\frac{\ln N}{n_i}}$，鼓励智能体尝试较少探索的选项。本文将UCB思想引入记忆检索，提出SimUtil-UCB策略来平衡语义相关性、历史效用和探索。
SimUtil-UCB是本文记忆检索策略的核心，理解UCB原理有助于理解为何该策略能有效平衡利用和探索
回顾性反思（Retrospective Self-Reflection）
回顾性反思是指智能体在完成一个回合后，分析自己的轨迹以诊断成功和失败原因、识别有价值的进展，并生成可复用的教训。本文提出两种实现方式：(1) 上下文内反思，通过对比成功和失败轨迹来提高反思质量；(2) RL训练的反思，通过强化学习联合优化反思能力和决策能力。反思输出包括潜在得分、成功预测和语言教训三部分。
回顾性反思是RetroAgent产生双重内在反馈的核心机制，决定了反馈信号的质量
研究动机
现有强化学习框架训练LLM智能体时主要优化外部任务成功奖励，这种范式存在两个根本性问题。首先，智能体可能过早利用早期成功的经验，导致策略过早收敛到次优解，而不是继续探索更优的替代方案。例如，在具身智能体任务中，训练往往在智能体找到成功的动作序列后就终止，不再鼓励探索其他可能更优的策略。其次，有用的经验仅隐式地编码在模型参数中，难以被检索、检查和复用。这限制了智能体从历史交互中学习的能力，尤其是在相关经验稀疏或依赖上下文的情况下。在WebShop等复杂任务中，现有方法如GRPO的成功率仅为66.9%，而GiGPO为72.8%，表明单纯优化外部奖励存在明显瓶颈。
本文的目标是本文的核心目标是训练LLM智能体不仅通过'解决问题'来学习，更通过'持续进化'来提升能力。具体而言，RetroAgent旨在实现以下目标：(1) 在稀疏外部奖励下，通过内在反馈信号促进有益的探索行为；(2) 将成功和失败经验提炼为可复用的语言教训，实现显式的经验复用；(3) 设计智能的记忆检索策略，平衡语义相关性、历史效用和探索需求；(4) 在多个挑战性智能体基准上达到新的最优性能，同时展现强大的测试时适应和分布外泛化能力。
与已有工作不同的是，现有工作试图从两个方向解决上述问题，但存在明显割裂。探索导向的方法通过元强化学习或不确定性调节奖励来拓宽搜索，但未显式保存可复用经验。记忆增强方法存储原始轨迹或提炼的技能规则，但记忆检索通常基于固定相似度指标，与策略优化脱节。RetroAgent的独特切入角度是：将探索与显式经验复用耦合起来，让经验引导策略进化并逐步内化，而非依赖外部记忆缓冲区的持续供给。核心问题是：智能体能否利用自身轨迹的内在信号，在稀疏外部监督下实现进化？
核心方法
RetroAgent是一个在线强化学习框架，其核心思想是通过回顾性反思机制产生双重内在反馈，使智能体不仅通过解决任务来学习，更通过跨回合的持续进化来提升能力。整体技术路线如下：每个回合结束后，智能体分析自己的轨迹，诊断成功和失败原因，生成两种互补的反馈信号。数值反馈通过衡量子任务完成进度来奖励有益的探索行为，缓解策略过早收敛问题。语言反馈将成功和失败经验提炼为可复用的文本教训，存储在记忆缓冲区中。为有效检索这些教训，本文提出SimUtil-UCB策略，结合语义相关性、历史效用和UCB探索奖励来选择最相关的记忆。最终，外部奖励和双重内在反馈共同驱动策略优化，实现高效的经验学习。
RetroAgent的核心创新在于将探索与显式经验复用耦合起来，这是与已有方法的本质区别。现有方法要么只关注探索（如元强化学习、不确定性调节奖励），要么只关注经验复用（如记忆增强方法），两者相互割裂。RetroAgent通过回顾性反思机制统一了这两个方向：反思产生的数值反馈引导探索，语言反馈促进经验复用。另一个关键创新是SimUtil-UCB记忆检索策略，它不仅考虑语义相似度，还引入历史效用和UCB探索奖励，解决了传统相似度检索容易陷入局部最优的问题。此外，本文提出能力进化奖励，通过衡量相对历史基线的子任务进度增量来奖励有益探索，而非简单的成功/失败二元信号。
方法步骤详情
RetroAgent的完整训练流程包括四个关键步骤。第一步是记忆检索（SimUtil-UCB）：对于任务指令 $x$，使用冻结的句子编码器 $E$ 计算其嵌入，与记忆缓冲区 $M$ 中的所有记忆条目计算余弦相似度 $s_{rel}(x, x_i)$，过滤掉相似度低于0.4的条目。然后结合效用分数 $u_i$ 和UCB探索奖励计算最终检索分数 $S(m_i | x, M) = \alpha s_{rel}(x, x_i) + (1-\alpha) u_{UCB}^{(i)}$，选择top-K条目。第二步是轨迹生成：为每个任务生成 $N$ 个轨迹，前 $N/2$ 个来自基础策略 $\pi_\theta(\cdot | x)$，后 $N/2$ 个来自记忆增强策略 $\pi_\theta(\cdot | f_{memory}(x, M))$，确保既有独立探索又有经验利用。第三步是自反思和内在反馈生成：每个轨迹结束后，反思函数 $f_{reflect}$ 生成三元组 $z = (\phi(x,\tau), c, l)$，包括潜在得分、成功预测和语言教训。潜在得分转化为能力进化奖励 $R_{int} = [\phi(x,\tau) - \Phi_x]_+$，其中 $\Phi_x$ 是历史基线。第四步是策略优化：使用复合回报 $G^{(i)} = \sum_{t=0}^{T-1} \gamma^t (R_{ext} + R_{int})$ 计算轨迹级优势，通过GRPO更新决策策略。对于RL训练的反思变体，额外使用REINFORCE优化反思策略。
技术新颖性
RetroAgent的技术新颖性体现在多个方面。首先，能力进化奖励 $R_{int} = [\phi(x,\tau) - \Phi_x]_+$ 是全新的设计，它通过衡量相对历史基线的子任务进度增量来奖励有益探索，而非简单的成功/失败信号。理论证明表明，该奖励偏好有价值的探索轨迹（Proposition 2），并随着能力提升动态调整奖励阈值（Proposition 3）。其次，SimUtil-UCB检索策略首次将语义相关性、历史效用和UCB探索奖励统一在记忆检索中。传统方法仅使用相似度检索，容易导致记忆使用集中在少数条目上。SimUtil-UCB通过UCB项鼓励探索较少使用的记忆，实现更均匀的记忆访问分布。第三，上下文内反思的成对归纳机制通过对比成功和失败轨迹来提高反思质量，这是现有反思方法未采用的策略。第四，RL训练的反思变体将反思能力的优化与决策策略的优化联合进行，使反思能力与决策能力共同进化。
实验结果
RetroAgent在四个挑战性智能体基准上均达到新的最优性能，显著超越现有方法。在ALFWorld任务上，RetroAgent（RL训练反思）达到95.6%的成功率，相比GRPO基线（77.3%）提升18.3个百分点。在WebShop任务上，达到82.3%的成功率，相比GRPO（66.9%）提升15.4个百分点，超越GiGPO（72.8%）和SkillRL（72.7%）等强基线。在Sokoban任务上，达到38.3%的成功率，相比GRPO（11.2%）提升27.1个百分点。在MineSweeper任务上，达到48.2%的成功率，相比GRPO（39.3%）提升8.9个百分点。实验还发现，数值反馈和语言反馈具有互补性：单独使用能力进化奖励或SimUtil-UCB记忆检索都能带来显著提升，但组合使用效果更好。RL训练的反思机制进一步提升性能，表明反思能力可以与决策能力共同优化。测试时适应实验显示，RetroAgent在WebShop上仅需3次尝试即可达到99.0%的Discovery@3，在ALFWorld（分布外）上达到100.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（文本具身环境） | 成功率（Success Rate） | 95.6%（RL训练反思）/ 91.7%（上下文内反思） | GRPO 77.3% / GiGPO 90.8% | +18.3% 相比GRPO / +4.8% 相比GiGPO |
| WebShop（模拟电商环境） | 成功率（Success Rate） | 82.3%（RL训练反思）/ 78.9%（上下文内反思） | GRPO 66.9% / GiGPO 72.8% / SkillRL 72.7% | +15.4% 相比GRPO / +9.5% 相比GiGPO |
| Sokoban（推箱子规划任务） | 成功率（Success Rate） | 38.3%（RL训练反思）/ 32.6%（上下文内反思） | GRPO 11.2% / GiGPO 21.9% | +27.1% 相比GRPO / +16.4% 相比GiGPO |
| MineSweeper（扫雷逻辑任务） | 成功率（Success Rate） | 48.2%（RL训练反思）/ 47.9%（上下文内反思） | GRPO 39.3% / GiGPO 41.1% | +8.9% 相比GRPO / +7.1% 相比GiGPO |
局限与改进
尽管RetroAgent取得了显著的性能提升，但仍存在一些局限性。首先，RL训练的反思变体在某些任务上可能不如上下文内反思变体，例如在ALFWorld和Sokoban上使用Llama-3.1-8B-Instruct时，RL训练变体分别达到91.4%和24.5%，而上下文内变体达到93.1%和39.1%。作者认为这是由于反思目标和决策目标在联合优化时可能产生干扰。其次，上下文内反思的成对归纳机制虽然提高了反思质量，但需要额外的对比轨迹，增加了计算开销。第三，记忆检索策略中的超参数（如相似度阈值0.4、效用更新率 $\beta_{util}$、UCB系数 $\kappa$）需要仔细调优。第四，实验仅在四个基准上进行，虽然涵盖不同类型的智能体任务，但对更复杂的真实世界场景（如多智能体协作、开放式环境）的泛化能力尚待验证。第五，训练效率方面，虽然RetroAgent达到GRPO峰值性能的时间分别减少了46%和32%，但总训练时间仍高于GRPO基线。
独立分析的弱点
从独立分析的角度，RetroAgent存在几个可改进的弱点。首先，能力进化奖励依赖于反思函数生成的潜在得分 $\phi(x,\tau)$，如果反思质量不高（如存在幻觉），奖励信号可能误导探索方向。改进方向是引入更鲁棒的进度评估机制，例如结合外部验证器或人类反馈。其次，SimUtil-UCB的记忆检索在任务语义差异较大时可能失效，因为余弦相似度难以捕捉深层语义关系。可以考虑使用更强大的嵌入模型或引入层次化检索策略。第三，记忆缓冲区会随训练不断增长，可能导致检索效率下降。可以引入记忆压缩或遗忘机制，定期清理低效用的记忆条目。第四，当前方法仅支持单轮任务，难以直接应用于多轮对话或多智能体协作场景。需要设计跨回合、跨智能体的记忆共享和反思机制。
未来方向
作者在结论中提出了几个未来研究方向。首先，开发更有效的多目标优化策略，用于联合训练反思和决策能力，解决两者之间的干扰问题。其次，将RetroAgent扩展到多智能体和开放式环境设置。基于本文成果，还可以延伸以下方向：(1) 探索更先进的记忆检索策略，如基于图神经网络的关系检索或基于强化学习的自适应检索；(2) 设计层次化的反思机制，在不同时间尺度上（单步、单回合、跨回合）产生不同粒度的教训；(3) 研究如何将人类反馈或外部知识融入反思过程，提高教训的质量和可靠性；(4) 探索RetroAgent在更大规模模型（如70B、100B）上的表现，研究模型规模与经验学习能力的关系；(5) 将框架应用于更复杂的现实任务，如代码生成、科学发现等需要长期探索和经验积累的领域。
复现评估
RetroAgent的复现条件相对友好。代码已在GitHub开源（https://github.com/zhangxy-2019/RetroAgent），基于开源的Verl训练库实现。实验使用Qwen-2.5-7B-Instruct和Llama-3.1-8B-Instruct两个开源模型，参数规模适中。训练任务使用公开的基准环境（ALFWorld、WebShop、Sokoban、MineSweeper），数据获取方便。然而，完整复现仍面临一定挑战：(1) 训练效率方面，在WebShop上匹配GRPO峰值性能需要约6-8小时（8GPU），完整训练需要更长时间；(2) 记忆检索需要额外的句子编码器（如用于计算语义相似度的模型）；(3) 部分实验结果使用GPT-4o作为评估器，可能引入API调用成本和不确定性；(4) 超参数调优（如 $\alpha$、$\beta_{util}$、$\kappa$、$\lambda_{reflect}$）需要一定的实验经验。总体而言，复现难度中等，具备基本强化学习和LLM训练经验的研究者应该能够实现。
论文图表
