基于元强化学习与自我反思的智能体搜索 Meta-Reinforcement Learning with Self-Reflection for Agentic Search
MR-Search：元RL结合自我反思解决稀疏奖励下的智能体搜索
前置知识
强化学习（RL）与策略优化
强化学习是一种通过与环境交互来学习最优策略的机器学习范式。智能体通过执行动作获得奖励信号，目标是最大化累积奖励。在本文中，策略优化采用PPO（Proximal Policy Optimization）的裁剪代理目标函数，通过限制策略更新幅度来保证训练稳定性。具体地，本文使用GRPO（Group Relative Policy Optimization）变体，通过采样一组轨迹并计算相对优势来估计策略梯度，避免了传统PPO中额外的价值网络。
本文的核心创新在于将传统RL扩展为元RL框架，理解RL的基本概念是理解本文改进的基础
元强化学习（Meta-RL）
元强化学习是一种能够学习如何学习的方法。传统RL在每个episode中独立学习，而Meta-RL通过利用历史episode的上下文信息来指导后续episode的探索。本文中，MR-Search将多个inner-episode组合成一个meta-episode，通过在episode间传递经验来实现快速适应。这种机制使得智能体能够在测试时无需外部奖励反馈就能自我改进。
这是本文的核心创新点——将Meta-RL从机器人和游戏领域扩展到开放域的智能体搜索任务
ReAct范式与智能体搜索
ReAct（Reasoning and Acting）是一种将推理和行动交替进行的框架，智能体在每一步中先进行思考（Thought），然后执行动作（Action，如调用搜索引擎），最后接收观察（Observation）。这种循环持续进行直到产生最终答案。在智能体搜索任务中，智能体使用搜索引擎作为工具，通过多轮交互来回答复杂问题。
本文的搜索智能体建立在ReAct范式之上，理解该范式是理解实验设置的前提
稀疏奖励与信用分配问题
在传统RL训练的搜索智能体中，奖励信号只在轨迹结束时给出（通常基于最终答案的正确性），这种稀疏奖励使得智能体难以判断中间步骤的好坏，即信用分配问题。例如，在多步搜索中，智能体可能需要5步才能找到正确答案，但只有最后一步才收到奖励信号，这导致早期步骤无法获得有效的学习信号。
这是本文要解决的核心挑战，理解这一问题才能理解为什么需要元RL和自我反思机制
自我反思（Self-Reflection）与测试时扩展
自我反思是指模型在生成答案后，对自身推理过程进行审视和改进的能力。在本文中，自我反思不仅是推理时间的扩展技术，更是通过训练使模型学会如何有效地反思。测试时扩展（Test-time Scaling）通过在推理阶段增加计算资源来提升性能，包括并行采样和顺序精炼两种范式。本文采用顺序精炼，通过多轮反思来逐步改进答案。
自我反思是本文方法的核心机制，将测试时的反思能力与训练时的元学习结合是关键创新
研究动机
现有基于强化学习的智能体搜索方法面临严重的稀疏奖励问题。以Search-R1和ReSearch为代表的方法仅在轨迹结束时获得奖励信号，这导致智能体难以进行有效的信用分配和探索。具体地，在多跳问答任务中，智能体需要执行多步搜索和推理才能找到正确答案，但由于只有最终答案的正确性被用作奖励，中间步骤的质量无法得到反馈。这种稀疏奖励导致智能体在训练早期容易陷入低效探索的局部最优，搜索动态不理想。此外，传统RL方法将每个episode视为独立的，无法利用历史episode中的经验来改进后续搜索策略。如图3所示，Search-R1在ASearcher数据集上的性能明显低于MR-Search，表明稀疏奖励限制了复杂搜索任务的学习效果。
本文的目标是本文的目标是提出一种能够有效解决稀疏奖励问题的智能体搜索框架。具体而言，作者希望设计一种方法，使得智能体能够：(1) 利用历史episode的上下文信息来指导后续搜索，而不是将每个episode视为独立的；(2) 通过自我反思机制实现跨episode的知识积累和策略改进；(3) 在无需外部过程奖励模型的情况下，实现细粒度的信用分配。最终目标是让智能体在测试时能够进行有效的探索，通过迭代反思来逐步提高答案质量。
与已有工作不同的是，本文的独特切入角度是将元强化学习（Meta-RL）与自我反思相结合，应用于开放域智能体搜索任务。与传统Meta-RL方法（主要应用于机器人和游戏领域）不同，本文专注于LLM智能体的搜索任务，并引入了显式的自我反思机制。这一角度的独特性体现在三个方面：首先，与依赖外部过程奖励模型（如PPRM和StepResearch）的方法不同，MR-Search不需要额外的标注或外部评估器，而是通过训练使模型学会自我反思；其次，与测试时扩展方法（如Self-Refine和Self-Correction）不同，MR-Search通过元学习使反思能力在训练中得到提升，而不是仅依赖推理时的内省；第三，与传统RL方法不同，MR-Search将多个episode组合成meta-episode，通过跨episode的经验传递来实现渐进式的探索改进。
核心方法
MR-Search的核心思路是将智能体搜索任务建模为元强化学习问题，通过跨episode的自我反思实现有效的探索。具体地，给定一个问题，智能体首先执行初始episode，通过多轮推理和工具调用产生第一个答案。然后，智能体进入自我反思循环，在每个反思步骤中，它基于之前episode的上下文生成新的episode，迭代改进答案。这种设计将原本独立的搜索尝试转变为渐进式的、基于上下文的搜索过程。技术路线包括三个关键组件：(1) 元episode结构，将N个inner-episode组合成一个meta-episode；(2) 自我反思机制，在每个episode后生成显式的反思文本；(3) 多轮RL算法，通过turn-level的分组相对优势估计实现细粒度的信用分配。
本文的核心创新是提出了一种in-context元强化学习框架，使得智能体能够通过自我反思实现跨episode的学习。与已有方法的本质区别在于：传统RL方法（如Search-R1）将每个episode视为独立的，无法利用历史经验；测试时扩展方法（如Self-Refine）仅在推理阶段进行反思，反思能力没有通过训练得到优化；外部过程奖励方法（如PPRM、StepResearch）需要额外的标注或评估器，成本高昂。MR-Search的创新在于：(1) 将自我反思作为一种可学习的能力，通过元RL训练使模型学会如何有效地反思；(2) 通过跨episode的上下文传递，实现探索与利用的平衡；(3) 提出turn-level的分组相对优势估计（RLOO），在无需价值网络的情况下实现细粒度的信用分配。如图1所示，MR-Search的episode间存在信息流动，而传统RL方法的episode是完全独立的。
方法步骤详情
MR-Search的方法步骤如下：(1) 初始化阶段，给定问题x和答案o*，采样G个meta-episode形成一个组；(2) 对于每个meta-episode i，初始化上下文C为问题x；(3) 对于每个inner-episode n（从0到N-1）：(a) 策略pi根据当前上下文C生成episode a_{i,n}，该episode包含多轮推理和工具调用，最终产生答案；(b) 更新上下文，将当前episode和自我反思文本拼接到上下文后面；(c) 计算奖励r_{i,n}，使用基于规则或模型的验证器评估答案正确性；(4) 估计turn-level的RLOO优势：tilde_r_{i,n} = r(s_{i,n}, a_{i,n}) - (1/(G-1)) * sum_{j!=i} r(s_{j,n}, a_{j,n})，其中s_{i,n}是累积的元上下文；(5) 计算折扣累积优势：A_{i,n} = sum_{n'=n}^{N} gamma^{n'-n} * tilde_r_{i,n'}，其中gamma是折扣因子；(6) 使用裁剪的代理off-policy目标优化策略，采用PPO风格的裁剪比率epsilon，同时mask掉工具输出token。
技术新颖性
MR-Search的技术新颖性体现在以下几个方面：首先，这是首次将元强化学习应用于开放域的LLM智能体搜索任务，将传统Meta-RL从机器人和游戏领域扩展到自然语言处理领域。其次，本文提出了一种新型的多轮RL算法，通过turn-level的分组相对优势估计（RLOO）实现细粒度的信用分配。与PPO需要额外的价值网络不同，RLOO通过组内比较提供无偏的优势估计，保持了critic-free的特性。第三，本文将自我反思作为一种可学习的能力，通过元学习使反思策略在训练中得到优化，而不是依赖推理时的固定反思机制。第四，本文提出了探索与利用的平衡策略，通过为探索episode分配零奖励，鼓励智能体优先考虑长期收益而非短期反馈。最后，本文还探索了step-level的元RL扩展，将每个工具调用视为一个微episode，实现更细粒度的信用分配。
实验结果
实验结果表明MR-Search在多个基准测试上显著优于现有方法。在Qwen2.5-7B-Base模型上，MR-Search在8个基准测试上的平均准确率达到46.0%，相比Search-R1的42.1%实现了9.2%的相对改进。在较小的Qwen2.5-3B-Base模型上，改进更为显著，达到19.3%的相对改进（41.4% vs 34.7%）。具体地，在多跳问答任务HotpotQA上，7B模型的准确率从43.9%提升到46.8%；在2WikiMultiHopQA上从38.7%提升到43.6%；在Musique上从18.1%提升到22.1%。在复杂的ASearcher数据集上，MR-Search相比Search-R1实现了10.2%的EM改进和9.5%的F1改进。消融研究表明：(1) 本文提出的多轮RL算法优于PPO和MT-GRPO；(2) 移除折扣因子（gamma=0）会导致性能显著下降；(3) 探索与利用策略对ASearcher等复杂任务有益；(4) step-level的元RL也取得了显著改进。训练动态分析显示，MR-Search的训练奖励稳定收敛，且搜索引擎调用频率高于Search-R1，表明它能够根据任务复杂度动态调整搜索次数。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NQ（单跳问答） | Exact Match | 50.2% | Search-R1: 45.9% | +4.3%绝对，+9.4%相对 |
| TriviaQA（单跳问答） | Exact Match | 66.6% | Search-R1: 63.2% | +3.4%绝对，+5.4%相对 |
| PopQA（单跳问答） | Exact Match | 47.2% | Search-R1: 44.9% | +2.3%绝对，+5.1%相对 |
| HotpotQA（多跳问答） | Exact Match | 46.8% | Search-R1: 43.9% | +2.9%绝对，+6.6%相对 |
| 2WikiMultiHopQA（多跳问答） | Exact Match | 43.6% | Search-R1: 38.7% | +4.9%绝对，+12.7%相对 |
| Musique（多跳问答） | Exact Match | 22.1% | Search-R1: 18.1% | +4.0%绝对，+22.1%相对 |
| Bamboogle（多跳问答） | Exact Match | 45.2% | Search-R1: 40.0% | +5.2%绝对，+13.0%相对 |
| ASearcher（复杂搜索） | Exact Match | 41.3% | Search-R1: 36.9% | +4.4%绝对，+11.9%相对 |
局限与改进
本文存在以下局限性：首先，上下文长度问题，MR-Search需要将所有历史episode的轨迹和反思文本作为上下文传递给后续episode，这导致上下文长度随反思步骤N线性增长，在实际应用中可能面临上下文窗口限制。虽然作者提出了仅保留前一个episode作为上下文的简化方案，但这可能损失部分历史信息。其次，计算开销，由于每个meta-episode包含N个inner-episode，且每个episode都需要与搜索引擎交互，训练和推理的计算成本都显著高于单episode方法。第三，评估验证器的影响，本文使用基于规则的验证器来计算奖励，但验证器的准确性直接影响训练效果，对于需要复杂推理的开放式问题，基于规则的验证可能不够鲁棒。第四，训练稳定性，虽然MR-Search展示了稳定的训练曲线，但元RL训练本身对超参数敏感，如折扣因子gamma、组大小G、反思步骤N等，需要仔细调优。此外，本文仅在Qwen系列模型上进行了实验，对于其他模型架构的泛化性尚未验证。
独立分析的弱点
本文存在以下弱点：(1) 上下文管理不够精细，当前方法将所有历史episode完整保留，导致上下文迅速膨胀。可以考虑引入更智能的上下文压缩机制，如基于重要性评分的选择性保留或层次化摘要，而非简单的截断或仅保留前一个episode。(2) 自我反思的质量依赖于模型能力，对于较弱的模型（如3B参数），反思可能不够有效，导致改进有限。可以探索教师-学生框架，用强模型的反思来指导弱模型的训练。(3) 探索与利用的平衡策略较为粗糙，仅通过零奖励mask实现，缺乏更精细的控制机制。可以引入自适应的探索调度策略，根据训练进度动态调整探索比例。(4) 实验设置有限，仅在问答任务上验证，对于其他需要多步推理的任务（如代码生成、数学证明）尚未验证泛化性。
未来方向
基于本文成果，未来研究可以从以下方向展开：(1) 上下文效率优化，研究如何在保持反思效果的同时减少上下文长度，如引入外部记忆机制或层次化的经验表示。(2) 自适应反思策略，使智能体能够根据任务复杂度自动决定是否需要反思以及反思的深度，避免在简单任务上浪费计算资源。(3) 跨任务泛化，将MR-Search应用于更广泛的智能体任务，如代码调试、科学实验设计等，验证元RL框架的通用性。(4) 与外部过程奖励模型的结合，探索如何将MR-Search与现有的过程奖励模型相结合，在保持自学习能力的同时引入额外的监督信号。(5) 多智能体协作，将元RL框架扩展到多智能体场景，使多个搜索智能体能够共享反思经验，实现协作探索。(6) 长期记忆机制，研究如何将训练阶段学到的反思模式持久化，使其能够跨问题泛化。
复现评估
本文在可复现性方面表现良好：(1) 代码和数据已开源，作者在GitHub仓库（https://github.com/tengxiao1/MR-Search）提供了完整实现；(2) 实验设置清晰，使用了标准的基准测试数据集（NQ、HotpotQA等），并提供了详细的数据划分说明；(3) 训练细节充分，包括超参数设置（如裁剪比率epsilon、折扣因子gamma）、模型选择（Qwen2.5-3B/7B-Base）和训练配置；(4) 计算资源方面，虽然没有明确说明GPU使用情况，但基于使用的模型规模和训练数据量，估计需要中等规模的GPU集群；(5) 复现难度中等，主要挑战在于元RL训练的超参数调优和搜索引擎的配置。作者提供了详细的附录，包括反思提示模板（Appendix A.1.3）和实现细节，降低了复现门槛。
论文图表
