互补强化学习：基于经验提取器与策略演员协同进化的智能体学习范式

受神经科学互补学习系统启发，通过经验提取器与策略演员的协同进化实现高效经验驱动的智能体强化学习。

前置知识

互补学习系统（Complementary Learning Systems, CLS）

神经科学中的一个经典理论，由O'Reilly等人在2011年提出。该理论认为大脑通过两个互补系统实现高效学习：新皮层（neocortex）负责形成缓慢的、结构化的长期知识表示，类似于策略网络的参数；海马体（hippocampus）负责管理快速的、情景特定的记忆，类似于从轨迹中蒸馏出的经验。海马体通过皮层反馈来巩固有价值的经验片段，并通过回放这些片段来强化决策能力。这种双系统设计使大脑能够快速获取新知识的同时保持长期结构化表示的稳定性。

Complementary RL的核心灵感直接来源于CLS理论，理解这一神经科学机制有助于把握论文中'经验提取器'与'策略演员'协同进化的设计哲学，以及为什么需要两个独立但相互依赖的学习系统。

GRPO（Group Relative Policy Optimization）

一种用于大语言模型强化学习的策略优化算法，由Shao等人在2024年提出。GRPO通过组内相对优势估计来最大化期望奖励：对于每个任务目标，采样K条轨迹，计算序列级重要性采样比率，并使用组归一化优势进行优化。GRPO的损失函数包含裁剪机制，防止策略更新过大导致训练不稳定。在本文中，GRPO被用作策略演员的基础优化目标，并在此基础上提出了分组优势估计的改进。

理解GRPO是理解本文方法论的基础，因为Complementary RL在GRPO框架上进行了关键改进——将采样轨迹分为经验引导组和无经验组，并在各组内独立计算优势，这是本文的核心技术贡献之一。

CISPO（Clipped Importance Sampling Policy Optimization）

一种用于稳定策略优化的算法，由Chen等人在2025年提出。CISPO在token级别进行重要性采样比率裁剪，将比率约束在特定范围内，同时使用停止梯度操作和批次级优势估计来优化策略。相比于传统的REINFORCE算法，CISPO的裁剪机制能够防止策略更新过大导致经验分布剧烈变化，同时确保所有token的梯度不被浪费，这对于经验提取器的稳定协同进化至关重要。

经验提取器采用CISPO而非REINFORCE进行优化，是保证两个模型能够稳定协同进化的关键技术选择。理解CISPO的机制有助于理解为什么经验提取器能够与策略演员形成稳定的共演化循环。

重要性采样（Importance Sampling, IS）

一种在强化学习中用于纠正分布偏移的技术。当使用旧策略收集的数据来更新新策略时，需要通过IS比率来调整梯度估计。在GRPO中，IS比率是序列级别的；在CISPO中，IS比率是token级别的。IS比率过大或过小都会导致梯度估计方差增大，因此通常需要配合裁剪机制使用。在Complementary RL中，IS比率的合理使用对于保证经验提取器和策略演员的稳定更新至关重要。

IS比率是理解GRPO和CISPO损失函数的核心组件，也是理解为什么需要分组优势估计（避免跨组IS比率差异导致的优势偏差）的关键。

经验银行（Experience Bank）

一种用于存储和管理从历史轨迹中蒸馏出的结构化经验的数据结构。在Complementary RL中，经验银行由经验提取器维护，存储经验条目、其嵌入向量以及生成时的提示-响应对。经验银行支持三种结构化操作：添加新经验、更新已有经验、以及合并冗余经验。通过周期性合并操作，系统能够自动解决冲突和冗余，保持经验银行的紧凑性和高质量，从而为策略演员提供有效的决策指导。

经验银行是Complementary RL系统的核心组件，理解其结构和操作机制对于把握整个方法的运作流程至关重要，特别是周期性合并机制如何保证经验质量随训练进展而提升。

研究动机

基于强化学习的大语言模型智能体训练面临严重的样本效率问题。这一低效性不仅源于稀疏的结果反馈（奖励信号仅在任务完成时提供），更源于智能体无法跨回合利用先验经验。具体而言，现有方法存在一个关键缺陷：从历史中蒸馏出的经验要么被静态存储，要么无法与不断改进的演员协同进化，导致经验与演员能力之间的渐进错位。论文通过MiniHack Room实验直观展示了这一问题：离线经验（Offline Experience）虽然在训练初期提供性能提升，但其收益随训练进展而逐渐衰减；静态在线经验（Static Online Experience）相比基线仅有微弱改进。这种经验与演员能力的分布错位（distributional misalignment）使得经验指导变得陈旧且适得其反，严重限制了学习效率的提升。

本文的目标是本文的具体目标是设计一个强化学习框架，其中策略演员和经验提取器形成一个封闭的协同进化循环，每个组件都在持续塑造另一个组件向更强能力发展。这一目标具体化为三个核心设计需求：（1）演员-提取器协同进化（Actor-Extractor Co-Evolution），即两个模型在整个训练过程中必须相互适应；（2）经验巩固（Experience Consolidation），即经验银行必须从轨迹中自动构建和维护，蒸馏可转移经验的同时解决冲突和冗余；（3）训练-蒸馏协调（Training-Distillation Coordination），即演员训练和经验蒸馏必须高效协调，不引入阻塞延迟。

与已有工作不同的是，本文的独特切入角度源自神经科学中的互补学习系统（CLS）理论。作者观察到，人类大脑早已解决了类似的协同进化问题：新皮层形成缓慢的结构化长期知识（类似于策略演员），而海马体管理快速的情景特定记忆（类似于经验提取器），并通过皮层反馈巩固有价值的经验片段。受此启发，Complementary RL将CLS的双系统机制引入强化学习，通过两个互补模型的协同优化实现无缝的经验驱动学习。与现有方法的关键区别在于：现有方法将经验视为静态资源，而Complementary RL使经验提取器能够根据其蒸馏经验对演员成功的实际贡献来优化自身，从而与演员能力的提升保持同步进化。

核心方法

Complementary RL的方法设计遵循一个清晰的直觉：既然大脑通过新皮层和海马体的互补协作实现高效学习，我们能否在强化学习中复现这一机制？技术路线上，系统包含两个核心组件：策略演员和经验提取器。演员负责与环境交互并基于结果奖励优化策略；提取器负责从轨迹中蒸馏经验并维护经验银行。两个模型通过RL进行联合优化：演员使用结果奖励进行训练，提取器则根据其蒸馏经验是否实际促进了演员的成功来优化。这种相互优化机制形成了封闭的协同进化循环——提取器持续精炼经验以匹配演员增长的能力，演员则从日益相关的指导中受益。整个训练过程通过异步架构实现解耦，确保两个模型的优化互不阻塞。

Complementary RL的核心创新在于将经验学习从静态范式转变为动态协同进化范式。与已有方法的本质区别体现在三个层面：首先，在经验管理上，已有方法要么维护固定的经验库（如离线蒸馏），要么使用固定的经验提取器（如静态在线方法），而Complementary RL让提取器与演员共同进化，使经验分布始终与演员的能力分布保持对齐。其次，在演员优化上，论文发现当所有交互都依赖检索到的经验时，演员会过早收敛并对外部指导产生过度依赖。为此，论文提出将K条采样轨迹均分为经验引导组和无经验组，并在各组内独立计算优势（而非跨组计算），这种分组优势估计避免了跨组奖励尺度和方差差异导致的优势偏差。第三，在训练框架上，通过集中式ExperienceManager实现异步训练，包含查询批处理、并行搜索、周期性合并等机制，确保系统在大规模并行环境下的高效运行。

方法步骤详情

Complementary RL的完整方法步骤如下：（1）在每个回合开始时，环境向集中式ExperienceManager提交搜索请求，使用任务描述作为查询。ExperienceManager将传入查询累积到等待缓冲区，直到达到预定义批大小或最大等待时间，然后通过嵌入模型进行批量嵌入计算，将得到的向量轮询分配给W个并行搜索工作器，在经验银行中执行语义相似度搜索，返回最相关的经验条目。（2）策略演员在环境中交互时，可以选择使用搜索并提问工具（search and ask tool），在任意决策步主动查询经验库获取上下文相关的指导。（3）回合结束后，无论成功或失败，完整轨迹、任务目标、最终结果以及检索到的经验被提交为蒸馏请求。（4）经验提取器对交互轨迹、回合结果和检索经验的影响进行推理，发出结构化操作：添加新经验、更新已有经验或返回无操作。（5）ExperienceManager在写锁下将操作应用到经验银行，新经验条目通过嵌入模型获得密集向量后持久化。（6）周期性地触发合并操作，将经验银行中的经验分块传递给经验提取器进行语义分析，决定保留、合并或丢弃哪些条目。（7）演员使用分组GRPO目标进行优化，提取器使用CISPO目标进行优化，两个模型在完全独立的调度上进行训练。

技术新颖性

Complementary RL的技术新颖性体现在多个层面：首先，将神经科学的CLS理论系统性地映射到强化学习框架，提出了经验提取器与策略演员协同进化的范式，这在现有工作中是首创。其次，提出了分组优势估计（subgroup advantage estimation）机制，将采样轨迹分为经验引导和无经验两个子组，在各组内独立计算优势，避免了跨组奖励尺度差异导致的训练崩溃。第三，设计了完全异步的训练架构，包含集中式ExperienceManager、查询批处理与并行搜索、周期性合并等机制，实现了大规模并行环境下的高效经验管理。第四，引入搜索并提问工具，允许演员在交互过程中主动查询经验库，增加了经验库的利用效率并丰富了提取器的训练信号。这些技术创新共同构成了一个完整、高效、可扩展的经验驱动智能体学习框架。

**Figure 1**: Complementary RL performance (left) and co-evolution paradigm (right)

**Figure 2**: Overview of Complementary RL

**Figure 3**: Ablation study on advantage estimation designs for the actor

**Figure 4**: Overview of the Complementary RL training infrastructure

**Figure 5**: Ablation on Merge and search and ask in MiniHack Room

实验结果

Complementary RL在四个开放环境上进行了全面评估，取得了显著且一致的改进。在单任务训练中，Complementary RL在所有四个任务上均优于基线：在需要战略探索和环境理解的任务（如MiniHack Room和ALFWorld）上实现了1.3倍的性能提升，并展现出更好的训练稳定性；在具有挑战性的软件工程基准SWE-Bench上实现了+3.0%的改进。更重要的是，Complementary RL不仅实现了更高的成功率，还以更高效的方式完成任务——在MiniHack Room上减少1.5倍的动作数，在ALFWorld上减少2倍的动作数，表明蒸馏的经验引导演员做出更有效的决策。在多任务训练中，Complementary RL在测试时检索经验的情况下平均提升+7%，在不使用经验的情况下提升+2%，证明协同进化训练能够将有用经验内化到演员本身。静态在线经验方法即使在测试时使用经验也未能超越基线（差距大于10%），验证了分布错位问题的严重性。在任务扩展实验中，Complementary RL在3任务和6任务混合设置中分别实现+6.6%和+8.1%的改进，证明其性能增益能够随任务数量稳健扩展。此外，论文还验证了更强的经验提取器（Qwen3-30B-A3B-Instruct-2507）能带来额外+5%的平均改进，以及框架在不同批次大小下均不引入显著的额外延迟。

**Table 1**: Multi-task evaluation performance

**Figure 6**: Single-task evaluation scores across four different environments

**Figure 7**: Average number of actions per task

**Figure 8**: Multi-task training curves on overall and per-task performance

**Figure 9**: Analysis of Complementary RL across different aspects of its design

查看结构化数据

任务	指标	本文	基线	提升
MiniHack Room	成功率	单任务: 约0.9; 多任务: 0.78 (有经验), 0.75 (无经验)	单任务: 约0.7; 多任务: 0.68	单任务: 1.3倍; 多任务: +10% (有经验), +7% (无经验)
WebShop	成功率	单任务: 约0.85; 多任务: 0.87 (有经验), 0.84 (无经验)	单任务: 约0.7; 多任务: 0.81	单任务: 显著提升; 多任务: +6% (有经验), +3% (无经验)
ALFWorld	验证分数	单任务: 约0.8; 多任务: 0.82 (有经验), 0.74 (无经验)	单任务: 约0.6; 多任务: 0.72	单任务: 1.3倍; 多任务: +10% (有经验), +2% (无经验)
SWE-Bench	验证分数	约0.22	约0.19	+3.0%
多任务平均 (3-task)	平均分数	0.82 (有经验), 0.78 (无经验)	0.75	+7% (有经验), +2% (无经验)

局限与改进

论文在实验和分析中暴露了若干局限性。首先，在自蒸馏集成实验中，虽然将自蒸馏引入Complementary RL在MiniHack Room上初期表现优于单独的Complementary RL，但在训练后期出现了性能崩溃（collapse），作者推测这可能源于超参数选择不当，或者需要在周期性间隔而非每步应用自蒸馏，但由于资源限制未能深入探究。其次，在SWE-Bench任务上，Complementary RL虽然实现了更高的成功率，但伴随着动作数的增加，这表明在代码生成任务中，经验指导可能导致更冗长的解决过程。第三，论文的经验提取器默认使用Qwen3-4B-Thinking-2507，虽然实验验证了更强的30B模型能带来额外改进，但未充分探讨不同规模提取器的最优配置及其与演员能力的匹配关系。第四，论文主要在四个特定环境上进行评估，对于更广泛的任务类型和更复杂的现实场景（如多轮对话、长序列决策）的适用性有待验证。从独立观察来看，论文未详细讨论经验银行大小随训练进展的增长趋势及其对内存和检索效率的影响，也未充分分析在极端任务多样性下跨任务经验污染的缓解效果。

独立分析的弱点

Complementary RL在多个方面存在可改进的空间。首先，自蒸馏集成的失败表明当前框架与基于监督学习的经验内化机制存在兼容性问题，改进方向包括设计更精细的蒸馏调度策略（如周期性而非连续蒸馏）或自适应调节蒸馏损失的权重。其次，周期性合并操作虽然解决了冗余问题，但其触发频率和分块策略是固定的，未来可探索基于经验银行状态的自适应合并策略，例如当冗余度超过阈值时自动触发合并。第三，搜索并提问机制依赖于演员主动调用工具的能力，对于能力较弱的演员可能无法有效利用，改进方向包括设计渐进式的工具使用引导机制。第四，当前框架假设所有任务的经验都是可迁移的，但在高度异构的任务混合中，跨任务经验可能产生负面迁移，需要引入任务感知的经验过滤或路由机制。第五，经验银行的语义检索基于嵌入相似度，可能无法捕获经验之间的复杂依赖关系，可探索图结构或层次化组织的经验表示。

未来方向

论文作者提出了几个未来研究方向：进一步探索自蒸馏与Complementary RL的集成，包括优化超参数和应用策略；以及在更大规模的任务混合和更复杂的现实场景中验证框架的扩展性。基于本文成果，可延伸的研究方向包括：（1）将Complementary RL扩展到多智能体场景，探索多个演员和提取器之间的经验共享与竞争；（2）设计跨模态的经验提取器，能够从文本、图像、视频等多种模态的轨迹中蒸馏经验；（3）引入元学习机制，使经验提取器能够快速适应新任务域而无需从头训练；（4）探索经验银行的终身学习能力，研究如何在持续学习场景中平衡新旧经验的保留与遗忘；（5）将CLS理论的其他发现（如睡眠期间的记忆巩固）引入框架，设计离线经验精炼机制。

复现评估

论文提供了良好的复现条件。作者在GitHub上开源了训练框架和训练演示（training demo），这大大降低了复现门槛。实验使用了公开可用的基础模型（Qwen2.5-7B-Instruct作为演员，Qwen3-4B-Thinking-2507作为经验提取器）和标准基准环境（MiniHack、WebShop、ALFWorld、SWE-Bench），这些资源均可公开获取。论文在附录中提供了详细的超参数配置（Appendix C.2）和环境描述（Appendix C.1），以及训练框架的详细设计（Appendix B）。然而，复现仍面临一定挑战：多任务训练需要同时运行多个环境实例，对计算资源要求较高；异步训练架构的实现需要一定的分布式系统经验；此外，论文未明确说明训练所需的总GPU小时数，这使得评估计算成本较为困难。总体而言，对于具备中等计算资源和强化学习经验的研究者，复现本文结果是可行的。

互补强化学习：基于经验提取器与策略演员协同进化的智能体学习范式 Complementary Reinforcement Learning