Search-R2：通过Actor-Refiner协作增强搜索集成推理 Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration
Actor-Refiner协作框架解决搜索推理中的多尺度信用分配问题
前置知识
检索增强生成（RAG）
RAG是一种将大语言模型与外部知识源结合的技术范式。模型在生成回答时，会主动向搜索引擎发出查询请求（通过标签），获取相关文档片段（返回在标签中），然后基于检索到的证据继续推理。这种机制使模型能够突破静态参数知识的限制，获取实时、准确的外部信息。本文讨论的search-integrated reasoning正是RAG的深化，将检索嵌入到推理链的每一步中。
理解RAG是理解本文的基础，因为Search-R2的核心目标就是提升RAG系统中推理和检索的质量，解决检索噪声导致的推理失败问题。
强化学习中的信用分配问题
信用分配（Credit Assignment）是强化学习中的核心挑战，指的是如何将最终的奖励信号合理地分配给序列决策中的每一个中间动作。在搜索集成推理场景中，模型可能进行了多次搜索查询和推理步骤，但最终只有答案正确与否的稀疏奖励。现有的方法通常使用轨迹级奖励（trajectory-level reward），即只看最终答案是否正确，无法区分中间步骤的质量。这导致模型无法学到哪些搜索查询是有价值的，哪些推理步骤是关键的。
本文的核心动机就是解决搜索集成推理中的多尺度信用分配问题，即如何为中间的搜索决策和推理步骤提供细粒度的监督信号。
Group Relative Policy Optimization（GRPO）
GRPO是一种策略优化算法，是PPO的变体。其核心思想是：对于每个输入问题，采样一组G个轨迹，然后通过组内相对优势估计来更新策略。优势通过组内奖励的归一化计算得到，策略梯度使用clip机制稳定训练。GRPO的关键优势在于不需要单独训练价值网络，而是通过组内对比来估计优势，简化了训练流程。
GRPO是Search-R2的训练优化算法，理解其工作原理有助于理解如何将Actor和Meta-Refiner联合优化，以及混合奖励如何通过组归一化转化为策略更新信号。
拒绝采样（Rejection Sampling）
拒绝采样是一种简单的后处理方法：生成多个候选轨迹，然后只保留那些最终答案正确的轨迹用于训练。在搜索集成推理中，如果模型的推理链因为检索噪声而偏离正确方向，拒绝采样会丢弃整个轨迹，而不是修复其中的具体错误。这导致大量有价值的中间推理被浪费，样本效率低下。
拒绝采样是Search-R2的主要基线对比方法。本文的核心创新之一就是用Meta-Refiner的'剪切-再生'机制替代简单的轨迹丢弃，保留有效的推理前缀并修复出错的部分。
过程奖励（Process Reward）
过程奖励是一种细粒度的监督信号，不同于只看最终结果的结果奖励（outcome reward），过程奖励评估推理过程中每一步的质量。在Search-R2中，过程奖励具体量化检索到的证据的信息密度：对于检索到的文档集合，外部评估器判断每个文档是否有用，过程奖励定义为有用文档占总文档的比例。这鼓励模型发出能获取高信息密度内容的搜索查询。
过程奖励是Search-R2混合奖励设计的关键组成部分，它为中间搜索决策提供直接的监督信号，帮助模型学会何时搜索、搜索什么，而不是仅靠最终答案的正确性来间接学习。
研究动机
现有搜索集成推理系统在使用强化学习训练时面临严重的多尺度信用分配问题。具体来说，agent的行为是一系列决策的序列，包括查询制定（query formulation）、信息过滤（information filtering）和逻辑推导（logical deduction），然而标准方法仅使用轨迹级奖励（如最终答案的正确性）来优化策略。由于这种结果导向的信号不监督中间推理步骤或检索的时机与必要性，它导致了检索和推理决策之间的信用错误归因。例如，一个高效、逻辑连贯的推理轨迹与一个经过冗余、昂贵或时机不当的检索后才侥幸成功的轨迹获得相似的奖励信号，这降低了样本效率并产生脆弱的推理链。如论文Figure 1所示，一个不相关的搜索查询可能在轨迹早期就误导整个后续推理链。现有的拒绝采样技术在这里效率低下，因为它们丢弃整个轨迹而不是针对具体的偏差根源进行修复。实验表明，在7个基准数据集上，最强的基线Search-R1在Qwen2.5-7B上的平均Exact Match仅为35.0%，在复杂多跳推理任务如Bamboogle上仅为36.0%，在Musique上仅为12.5%，说明现有方法在处理复杂推理时仍有很大改进空间。
本文的目标是本文的具体目标是提出一种新的框架来解决搜索集成推理中的多尺度信用分配问题，实现对中间搜索决策的细粒度监督。具体而言，Search-R2旨在：（1）将推理过程分解为Actor生成初始推理轨迹和Meta-Refiner进行有针对性的修正两个阶段；（2）通过'剪切-再生'机制保留有效的推理前缀并修复出错的步骤，而非丢弃整个轨迹；（3）设计混合奖励函数，将结果正确性奖励与评估检索证据信息密度的过程奖励相结合；（4）通过GRPO实现Actor和Meta-Refiner的联合优化，使两者能够相互反馈、共同进化。最终目标是在多个问答基准上实现显著的性能提升，同时保持较低的计算开销。
与已有工作不同的是，本文的独特切入角度在于从'诊断-修复'的视角重新审视搜索集成推理的训练问题。与现有方法不同，Search-R2不是简单地生成更多轨迹然后筛选（如拒绝采样），也不是仅仅优化Actor的生成能力，而是引入了一个Meta-Refiner作为'质量检查员'，能够识别推理链中的具体错误点并进行局部修复。这种'手术式'的修正策略（surgical correction）是本质性的创新：它将推理轨迹视为可以局部修改的结构，而非不可分割的整体。理论上，论文将Meta-Refiner的形式化为一个平滑混合策略（smoothed mixture policy），并严格证明了选择性修正在满足特定条件时能够保证性能严格超越基线方法。这种理论分析为框架的有效性提供了坚实的数学基础，也区别于纯粹的经验性改进。
核心方法
Search-R2的整体思路是将搜索集成推理从单一的生成任务分解为'生成-诊断-修复'的协作流程。直觉上，当人类写作者发现文章中的逻辑错误时，通常不会重写整篇文章，而是定位到出错的段落进行局部修改。Search-R2将这种直觉形式化为一个框架：首先由Actor（基础策略）生成初始推理轨迹，该轨迹包含思考过程和搜索查询；然后由Meta-Refiner对轨迹进行质量评估和修复。Meta-Refiner包含两个子组件：Discriminator（判别器）负责判断轨迹是否全局连贯，Trimmer（修剪器）负责在轨迹被拒绝时定位具体出错的步骤。如果轨迹被拒绝，系统会保留有效前缀，丢弃出错的后缀，并从出错步骤开始重新生成。这种'剪切-再生'机制通过保留有价值的中间推理，显著提高了样本效率。整个系统通过GRPO进行端到端联合优化，使用混合奖励提供多尺度监督。
Search-R2的核心创新在于Actor-Refiner协作框架，其与已有方法的本质区别体现在三个层面。首先，与拒绝采样（Rejection Sampling）丢弃整个错误轨迹不同，Search-R2通过Meta-Refiner的'剪切-再生'机制保留有效的推理前缀并仅修复出错的部分，这大大提高了样本效率。其次，与仅优化Actor的方法（如Search-R1）不同，Search-R2同时优化Actor和Meta-Refiner，使两者能够协同进化：Actor学会生成更易被修复的轨迹，Meta-Refiner学会更准确地定位错误。第三，与仅使用结果奖励的方法不同，Search-R2引入了过程奖励来量化检索证据的信息密度，为中间搜索决策提供直接监督。理论上，论文证明了Meta-Refiner引入的性能增益可以分解为三个机制：选择精度（判别器区分高低质量轨迹的能力）、修剪技能（修剪器定位关键错误点的能力）和干预量（被修正的轨迹比例），三者需同时满足条件才能保证正向性能增益。
方法步骤详情
Search-R2的方法包含以下完整步骤：（1）Actor生成初始轨迹：给定输入问题x，Actor策略生成推理轨迹，遵循结构化模板（思考-搜索调用-答案）。模型在标签中进行推理，当需要外部信息时在标签中发出查询，系统执行查询后将top-k结果返回在标签中，模型继续推理直到给出最终答案或达到步骤限制。（2）Discriminator全局连贯性检查：判别器估计推理轨迹与问题全局连贯的概率。若概率超过阈值，则接受轨迹；否则标记为需要修复。（3）Trimmer局部错误定位：若轨迹被拒绝，修剪器识别推理或搜索查询首次偏离的具体步骤（即'根本原因'）。（4）剪切-再生：保留有效前缀，从出错步骤开始使用基础策略重新生成后缀。（5）迭代修复：重复步骤2-4直到轨迹被接受或达到最大修复次数。（6）混合奖励计算：计算混合奖励R(y) = r_outcome(y) * (1 + r_process(y))，其中r_outcome为Exact Match指标，r_process为检索证据信息密度。（7）GRPO联合优化：对每个输入采样G个轨迹，通过组内相对优势估计更新Actor和Meta-Refiner的共享参数。
技术新颖性
Search-R2的技术新颖性体现在多个方面。第一，理论上的混合策略形式化是独创的：论文将Meta-Refiner的执行过程形式化为平滑混合策略q(y|x)，其中包含接受概率和修剪器的归一化转移分布。这种形式化使得可以严格推导性能增益的分解。第二，性能增益的三因素分解（选择精度、修剪技能、干预量）是新颖的理论贡献，它揭示了搜索集成推理中强化学习改进的内在机制，超越了经验性的观察。第三，混合奖励设计将过程奖励以乘法门控的方式与结果奖励结合，既防止了奖励黑客（reward hacking，即最大化检索而不解决问题），又为中间搜索决策提供了直接监督。第四，Actor和Meta-Refiner共享底层LLM但通过不同的控制提示（control prompts）进行引导，这种参数共享但行为分化的架构设计既高效又实用。最后，实验证明Search-R2仅需5.06%的额外训练时间开销就能实现显著的性能提升，且在推理时引入零额外延迟（因为Meta-Refiner在部署时解耦）。
实验结果
Search-R2在七个基准数据集上展示了全面且一致的性能提升。首先，在模型规模维度上，Search-R2在Qwen2.5-7B、Qwen3-8B和Qwen2.5-32B三个backbone上均显著超越Search-R1基线：7B模型上从35.0%提升至40.4%（+15.4%相对提升），8B模型上从40.0%提升至44.6%（+11.5%），32B模型上从45.6%提升至50.8%（+11.4%）。特别值得注意的是，Search-R2在7B模型上的表现（40.4%）甚至超越了使用更强backbone的Search-R1在8B模型上的表现（40.0%），证明Actor-Refiner框架能够有效弥补模型规模的不足。其次，在任务复杂度维度上，性能增益在复杂多跳推理任务上更为显著：在Bamboogle上，7B模型从36.0%提升至46.2%（+25.3%相对增益），32B模型从45.0%提升至56.4%（+25.3%）；在2WikiMultiHopQA上，7B模型从29.7%提升至35.8%，32B模型从46.2%提升至51.7%。这些任务通常需要多步检索和推理，早期错误和噪声中间结果会导致级联失败，Search-R2通过Meta-Refiner的错误中断机制有效缓解了这一问题。第三，消融实验表明每个组件都有正向贡献：在7B模型上，仅添加Meta-Refiner就带来+3.9个百分点的提升（35.0%到38.9%），再添加过程奖励进一步提升至39.6%，完整的联合优化版本达到40.4%。第四，效率分析显示Search-R2仅增加5.06%的平均训练时间，且精度增益与时间开销的比值在所有模型上均大于1（7B为1.78，32B为4.69），表明精度增益始终超过计算开销。第五，轨迹质量对比使用GPT-5.1作为自动化评估器，在证据接地性、信息密度、非冗余效率、查询时机质量、轨迹连贯性和不确定性处理六个维度上，Search-R2均显著优于Search-R1。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NQ（Natural Questions） | Exact Match (EM) | Search-R2 Qwen2.5-7B: 39.9%, Qwen3-8B: 47.7%, Qwen2.5-32B: 50.9% | Search-R1 Qwen2.5-7B: 39.5%, Qwen3-8B: 44.0%, Qwen2.5-32B: 47.6% | 7B: +0.4%, 8B: +3.7%, 32B: +3.3% |
| TriviaQA | Exact Match (EM) | Search-R2 Qwen2.5-7B: 65.9%, Qwen3-8B: 67.6%, Qwen2.5-32B: 70.9% | Search-R1 Qwen2.5-7B: 56.0%, Qwen3-8B: 63.1%, Qwen2.5-32B: 68.0% | 7B: +9.9%, 8B: +4.5%, 32B: +2.9% |
| PopQA | Exact Match (EM) | Search-R2 Qwen2.5-7B: 41.0%, Qwen3-8B: 46.6%, Qwen2.5-32B: 50.1% | Search-R1 Qwen2.5-7B: 38.8%, Qwen3-8B: 41.8%, Qwen2.5-32B: 47.0% | 7B: +2.2%, 8B: +4.8%, 32B: +3.1% |
| HotpotQA | Exact Match (EM) | Search-R2 Qwen2.5-7B: 39.0%, Qwen3-8B: 41.2%, Qwen2.5-32B: 49.9% | Search-R1 Qwen2.5-7B: 32.6%, Qwen3-8B: 37.2%, Qwen2.5-32B: 43.3% | 7B: +6.4%, 8B: +4.0%, 32B: +6.6% |
| 2WikiMultiHopQA | Exact Match (EM) | Search-R2 Qwen2.5-7B: 35.8%, Qwen3-8B: 40.5%, Qwen2.5-32B: 51.7% | Search-R1 Qwen2.5-7B: 29.7%, Qwen3-8B: 35.5%, Qwen2.5-32B: 46.2% | 7B: +6.1%, 8B: +5.0%, 32B: +5.5% |
| Musique | Exact Match (EM) | Search-R2 Qwen2.5-7B: 15.1%, Qwen3-8B: 17.2%, Qwen2.5-32B: 25.4% | Search-R1 Qwen2.5-7B: 12.5%, Qwen3-8B: 15.7%, Qwen2.5-32B: 22.1% | 7B: +2.6%, 8B: +1.5%, 32B: +3.3% |
| Bamboogle | Exact Match (EM) | Search-R2 Qwen2.5-7B: 46.2%, Qwen3-8B: 51.2%, Qwen2.5-32B: 56.4% | Search-R1 Qwen2.5-7B: 36.0%, Qwen3-8B: 43.0%, Qwen2.5-32B: 45.0% | 7B: +10.2%, 8B: +8.2%, 32B: +11.4% |
局限与改进
尽管Search-R2取得了显著的性能提升，论文和本文分析都揭示了一些局限性。首先，论文在消融实验中发现，中间配置（如仅添加Meta-Refiner而不进行联合优化）的性能提升已相当可观（7B上+3.9个百分点），而联合优化带来的额外增益相对较小（+1.5个百分点），这表明Meta-Refiner的'剪切-再生'机制本身可能是性能提升的主要来源，而非联合优化本身。其次，最大修复次数敏感性实验显示，增加修复次数（从1到4）带来的收益递减：平均EM从49.3（1次）到50.9（4次），仅提升1.6个百分点，且大多数轨迹最多触发一次修复，这表明框架在处理真正困难的推理失败时能力有限。第三，论文的训练设置使用了固定的检索器（E5）和知识源（2018年Wikipedia dump），未探索不同检索器质量或知识源时效性对框架的影响，这在实际应用中可能是重要限制。第四，实验仅在英文问答任务上进行验证，未涉及多语言场景或不同类型的任务（如代码生成、数学推理等），泛化能力有待验证。第五，论文未详细讨论Meta-Refiner的判别器阈值的敏感性分析，这个超参数对框架的性能可能有重要影响。最后，虽然论文声称推理时引入零额外延迟，但这是基于Meta-Refiner在部署时解耦的假设，实际部署中如果需要使用Meta-Refiner进行质量检查，延迟开销将是不可忽略的。
独立分析的弱点
Search-R2存在几个值得深入分析的弱点。第一，依赖固定检索器质量：框架使用E5作为固定检索器，检索质量直接影响过程奖励的准确性。如果检索器本身返回低质量文档，过程奖励可能产生误导信号。改进方向是将检索器也纳入优化循环，或设计对检索质量更鲁棒的奖励函数。第二，最大修复次数固定且较小：默认设置为1，虽然效率高但可能不足以处理复杂的级联错误。改进方向是设计自适应的修复预算分配策略，根据轨迹的错误类型和复杂度动态决定修复次数。第三，判别器和修剪器共享LLM参数：虽然参数高效，但可能导致判别器和修剪器之间的能力冲突。改进方向是使用独立的小型判别模型或引入适配器（adapter）进行任务分离。第四，过程奖励依赖外部评估器：需要额外的LLM来判断检索文档是否有用，增加了计算开销和潜在的评估偏差。改进方向是设计无需外部评估器的内在过程奖励。第五，理论分析的假设较强：性能增益分解中的三个条件在实际训练中是否始终满足未被验证。改进方向是在训练过程中监控这些指标并设计自适应调节机制。
未来方向
基于Search-R2的成果，未来研究可以在多个方向展开。首先，多模态搜索集成推理：将框架扩展到图像、视频等多模态检索场景，例如视觉问答中的图文检索和推理。其次，自适应检索策略：当前框架在每一步都可能触发搜索，未来可以研究何时应该搜索、何时应依赖参数知识的自适应策略，减少不必要的检索开销。第三，多Agent协作：将Actor-Refiner框架扩展到多Agent场景，例如多个专门化Agent分别负责不同类型的检索和推理任务，由Meta-Refiner协调。第四，实时知识更新：结合持续学习技术，使框架能够适应知识源的动态更新，而非依赖固定的2018年Wikipedia dump。第五，更细粒度的过程奖励：探索比文档级更有粒度的过程奖励，例如句子级或实体级的证据质量评估。第六，跨任务泛化：将Search-R2应用到代码生成、数学推理、科学问答等不同类型的任务，验证框架的通用性。第七，与更大规模模型的结合：探索Search-R2在70B甚至更大规模模型上的表现，以及是否能够进一步缩小小模型与大模型之间的差距。最后，理论深化：进一步研究混合策略的收敛性质和最优性条件，为框架的设计提供更坚实的理论指导。
复现评估
从复现角度来看，Search-R2具有较好的可复现性基础但存在一些挑战。论文基于verl训练框架，使用GRPO进行300步训练，每步采样512个prompt并为每个prompt生成5个rollout，这些超参数设置是明确的。使用的模型backbone（Qwen2.5-7B、Qwen3-8B、Qwen2.5-32B）均为开源模型，检索器E5和2018年Wikipedia dump也是公开资源。然而，复现面临的主要挑战包括：（1）训练需要大量计算资源，特别是32B模型的训练在单机上可能不可行；（2）论文未明确说明是否开源训练代码和数据，仅提供了实验设置的描述；（3）判别器阈值、过程奖励的评估器细节（使用哪个LLM作为外部评估器）等关键实现细节未在正文中完整给出，需要查阅附录；（4）混合奖励中的过程奖励计算需要外部LLM评估检索文档的有用性，这引入了额外的API调用成本和潜在的评估不一致性。总体而言，论文提供了足够的技术细节来理解方法，但完整复现可能需要significant的工程努力和计算资源。
论文图表
该图展示了一个具体的多跳问答案例：'The Filipino statesman who established the government-in-exile during the outbreak of World War II was also the mayor of what city?'。左侧展示Search-R1的失败过程：模型在第一次检索中被噪声干扰，错误识别了Emilio Aguinaldo而非正确的Manuel L. Quezon，随后在错误的方向上继续检索，最终导致'No Answer Found'。右侧展示Search-R2的成功过程：Meta-Refiner识别出推理偏离，应用'剪切-再生'机制，从错误实体（Aguinaldo）重定向到正确实体（Quezon），最终正确回答'Quezon City'。
这张图直观地展示了Search-R2的核心价值：通过Meta-Refiner的错误中断机制，防止检索噪声导致的级联推理失败，这是理解本文动机和方法的关键入口。