SmartSearch：基于过程奖励引导的搜索代理查询优化框架 SmartSearch: Process Reward-Guided Query Refinement for Search Agents
通过双层信用评估和查询优化机制，显著提升搜索代理的中间查询质量与整体性能
前置知识
搜索代理（Search Agent）
基于大语言模型的智能体，能够自主调用外部搜索工具进行多轮信息检索。与静态RAG不同，搜索代理采用ReAct范式，在思考（Thought）、行动（Action）、观察（Observation）之间迭代，根据检索结果动态调整搜索策略，直到收集足够信息回答问题。典型流程为：用户提问→代理思考→生成搜索查询→获取检索结果→继续推理→生成最终答案。
本文的核心研究对象就是搜索代理，理解其工作流程是理解论文问题和方法的基础
过程奖励（Process Reward）
在强化学习中，除了基于最终结果的奖励外，对中间步骤给予的监督信号。传统RL只在轨迹结束时给出奖励（结果奖励），导致反馈稀疏、中间步骤缺乏指导。过程奖励通过评估每个中间动作的质量，提供更细粒度的监督。本文的过程奖励包含两个维度：查询新颖性（是否冗余）和查询有用性（是否必要且检索到期望信息）。
过程奖励是本文的核心创新之一，用于评估搜索查询质量并指导查询优化
课程学习（Curriculum Learning）
一种训练策略，让模型从简单任务逐步过渡到复杂任务，类似人类学习的循序渐进过程。本文设计了三阶段课程学习：第一阶段用高质量轨迹进行监督微调（模仿学习），第二阶段用偏好对齐优化查询生成能力，第三阶段用强化学习进一步泛化。每个阶段都在前一阶段的基础上提升能力。
三阶段课程学习是SmartSearch的训练框架，决定了模型如何逐步内化查询优化能力
GRPO（Group Relative Policy Optimization）
一种强化学习算法，通过生成多个轨迹（组），计算组内相对优势来优化策略。对于每个输入，生成G个轨迹，计算每个轨迹的奖励，然后归一化得到优势分数。相比PPO，GRPO不需要额外的价值网络，通过组内比较实现更稳定的训练。本文在第三阶段使用GRPO，并将过程奖励融入奖励函数。
GRPO是SmartSearch第三阶段的核心优化算法，理解其机制有助于理解奖励设计
DPO（Direct Preference Optimization）
一种直接从偏好数据学习的算法，无需显式训练奖励模型。给定一对正负样本（preferred和dispreferred），通过最大化正样本相对于负样本的似然比来优化策略。本文在第二阶段使用DPO训练，正负样本的选择同时考虑最终答案正确性和中间查询质量。
DPO是SmartSearch第二阶段的训练方法，用于对齐查询生成能力
研究动机
现有基于大语言模型的搜索代理研究主要聚焦于优化推理范式，如通过提示工程或微调来改善代理的推理行为，但普遍忽略了中间搜索查询的质量问题。在实际应用中，中间搜索查询的质量直接影响检索结果的有效性。例如，当查询中遗漏关键限定词（如actor）时，搜索代理可能检索到错误信息（如政治家Kevin McCarthy而非演员Kevin McCarthy），导致后续推理基于错误信息展开，最终生成错误答案。现有的一些尝试将过程奖励引入搜索代理训练的研究，往往更关注塑造更好的推理行为，而非优化查询本身质量。此外，现有训练范式往往优先优化信息利用能力，持续忽视检索模式的优化，这无疑阻碍了搜索代理实现深度可靠的信息检索。
本文的目标是本文提出SmartSearch框架，旨在通过过程奖励引导来优化中间搜索查询的质量，从而增强搜索代理的深度信息检索能力。具体目标包括：（1）设计细粒度的过程奖励机制，对每个搜索查询的质量进行评估并提供数值分数和文本反馈；（2）开发查询优化机制，选择性地优化低质量查询并重新生成后续搜索步骤；（3）构建三阶段课程学习框架，引导代理逐步内化查询优化能力，从模仿学习到对齐学习再到泛化学习。
与已有工作不同的是，本文的独特切入角度在于将优化重点从推理行为转向查询质量。与现有方法主要优化代理的推理过程不同，SmartSearch明确关注中间搜索查询这一被忽视的环节。这一视角转换基于一个关键观察：即使推理逻辑正确，低质量的查询仍然会导致意外的检索结果。此外，本文提出的双层信用评估机制结合了规则评估（查询新颖性）和模型评估（查询有用性），相比单一评估方式更全面地衡量查询质量。三阶段课程学习框架的设计也体现了从简单到复杂的渐进学习理念，避免了直接端到端训练可能带来的不稳定问题。
核心方法
SmartSearch的整体思路可以概括为评估-优化-学习的循环。首先，通过过程奖励机制对搜索代理生成的每个中间查询进行质量评估，输出数值分数和文本反馈；然后，根据评估结果识别低质量查询，利用查询优化机制对这些查询进行改进，并从优化后的查询点重新生成后续搜索步骤；最后，通过三阶段课程学习框架，让代理逐步内化查询优化能力。这个过程就像一个有经验的搜索教练：先指出查询中的问题，提供改进建议，然后让代理在指导下反复练习，最终形成自主优化查询的能力。技术路线采用ReAct框架作为基础，通过Thought-Action-Observation迭代与外部搜索工具交互，但在每个迭代中增加了查询质量评估和优化环节。
SmartSearch的核心创新在于两个相互配合的机制：双层信用评估和查询优化。双层信用评估包含两个互补组件：（1）基于规则的查询新颖性评估，通过检查当前查询检索的文档与之前查询检索文档的重叠程度来识别冗余查询，设定阈值K，当重叠文档数超过K时判定为冗余；（2）基于模型的查询有用性评估，判断查询意图是否必要以及检索结果是否包含期望信息。这两个维度的评估结合，比单一评估方式更全面地衡量查询质量。查询优化机制则是在识别低质量查询后，利用轻量级模型根据文本反馈对查询进行改进，然后从优化点重新生成后续步骤。这两个机制的本质区别在于：现有方法要么只关注推理质量，要么只进行粗粒度的结果奖励，而SmartSearch将监督信号精确到每个搜索查询，并提供可操作的优化指导。
方法步骤详情
SmartSearch的方法分为两个关键机制和三个训练阶段。在机制层面：（1）过程奖励机制：对于轨迹中的每个搜索查询，首先进行规则评估计算新颖性分数S_novel，检查检索文档重叠度；然后进行模型评估计算有用性分数S_useful，判断查询必要性和检索相关性；最终通过逻辑与运算得到总分S，并拼接文本反馈T。（2）查询优化机制：根据过程奖励识别低质量查询（S=0），利用轻量级模型LLM_refine根据用户查询、轨迹历史和文本反馈生成优化查询，然后从优化点重新生成后续步骤。在训练阶段：第一阶段（查询质量筛选的模仿学习）：使用ARPO-14B采样轨迹，筛选出最终答案正确且所有中间查询质量高的轨迹，用SFT微调Qwen2.5-3B-Instruct，学习率7e-6，训练3轮。第二阶段（查询生成对齐）：利用SFT模型生成轨迹，通过查询优化机制产生对比数据，同时考虑答案正确性和查询质量选择正负样本，用DPO训练，LoRA微调，学习率7e-6，训练3轮。第三阶段（查询感知的策略优化）：针对前两阶段未解决的难题，使用查询优化机制作为rollout策略，将过程奖励融入奖励函数，用GRPO优化，学习率1e-6，每个样本8次rollout探索不同轨迹。
技术新颖性
SmartSearch的技术新颖性体现在多个方面。首先，在评估维度上，提出了双层信用评估，将查询质量分解为新颖性和有用性两个正交维度，新颖性通过规则检查文档重叠度，有用性通过模型判断意图必要性和检索相关性，这种分解比单一评估更全面。其次，在优化策略上，查询优化不是简单地重新生成查询，而是基于过程奖励提供的诊断反馈进行有针对性的改进，并从优化点重新生成后续步骤，这保证了优化的精确性和连续性。第三，在训练框架上，三阶段课程学习设计体现了从模仿到对齐再到泛化的渐进过程：第一阶段通过高质量轨迹筛选确保学习起点正确；第二阶段通过偏好对齐提升查询生成能力；第三阶段通过强化学习进一步泛化。第四，在奖励设计上，将过程奖励融入GRPO的奖励函数，通过公式17的设计，不仅奖励最终答案正确性，还激励代理减少低质量查询，即使答案错误也鼓励生成更多高质量查询。第五，在效率优化上，使用轻量级学生模型（3B参数）进行评分和优化，通过教师模型（32B）蒸馏训练，在效果和效率之间取得平衡。
实验结果
SmartSearch在四个知识密集型任务和两个网络探索任务上进行了全面评估，实验结果表明其一致性地超越现有方法。在知识密集型任务上，SmartSearch在2WikiMQA上达到45.3% EM和52.3% F1，比次优方法（StepSearch）分别提升24%和21%；在HotpotQA上达到40.7% EM和52.4% F1，提升7%和4%；在Bamboogle上达到44.8% EM和56.1% F1，提升22%和16%；在Musique上达到19.1% EM和27.8% F1，提升15%和12%。平均EM达到37.5%，平均F1达到47.2%，分别比次优提升25%和19%。在网络探索任务上，SmartSearch在GAIA上达到13.4% EM和16.7% F1，在WebWalker上达到11.5% EM和31.0% F1，平均F1达到23.9%，比次优提升近5%。消融实验证明了两个关键机制的有效性：移除过程奖励导致平均F1下降约2%，移除查询优化导致平均F1下降约1.3%。定量分析显示SmartSearch在搜索查询质量和搜索效率两个指标上都达到最优，过程奖励模型与人类标注的重叠率超过80%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 2WikiMQA（多跳问答） | EM | 45.3% | 36.5%（ReasonRag） | ↑24% |
| 2WikiMQA（多跳问答） | F1 | 52.3% | 43.2%（ReasonRag） | ↑21% |
| HotpotQA（多跳问答） | EM | 40.7% | 38.1%（PPR） | ↑7% |
| HotpotQA（多跳问答） | F1 | 52.4% | 50.3%（PPR） | ↑4% |
| Bamboogle（多跳问答） | EM | 44.8% | 36.8%（StepSearch） | ↑22% |
| Bamboogle（多跳问答） | F1 | 56.1% | 48.4%（StepSearch） | ↑16% |
| Musique（多跳问答） | EM | 19.1% | 16.6%（StepSearch） | ↑15% |
| Musique（多跳问答） | F1 | 27.8% | 24.9%（StepSearch） | ↑12% |
| GAIA（网络探索） | EM | 13.4% | 9.4%（StepSearch） | ↑43% |
| WebWalker（网络探索） | EM | 11.5% | 9.1%（StepSearch） | ↑26% |
局限与改进
尽管SmartSearch取得了显著成果，但仍存在一些局限性。首先，过程奖励机制依赖于一个教师模型（Qwen3-32B）来标注训练数据，这增加了训练成本和时间。虽然通过蒸馏训练了轻量级学生模型（3B），但教师模型的标注质量仍然影响最终效果。其次，查询优化机制目前只针对低质量查询进行优化，对于中等质量但仍有提升空间的查询没有进一步改进。第三，三阶段课程学习框架需要分别训练三个阶段的模型，增加了训练流程的复杂性。第四，实验主要在英文数据集上进行，对于其他语言的适用性需要进一步验证。第五，虽然论文展示了在网络搜索场景的泛化能力，但训练数据仍然基于Wikipedia本地搜索，对于特定领域（如医学、法律）的搜索场景可能需要领域适配。此外，查询质量评估的阈值K是一个需要调优的超参数，不同任务可能需要不同的设置。
独立分析的弱点
SmartSearch的弱点主要体现在以下几个方面：（1）效率瓶颈：虽然使用了轻量级学生模型，但查询质量评估和优化仍然增加了推理时延。从Figure 6(b)可以看出，使用更强的模型作为评估和优化模型虽然提升了效果，但时间成本增加了近5倍。改进方向可以探索更高效的评估方法，如基于规则的快速筛选或缓存机制。（2）评估维度局限：目前的双层评估只考虑了新颖性和有用性两个维度，可能忽略了其他重要方面，如查询的精确性、信息完整性等。改进方向可以引入更多评估维度或让模型自主学习评估标准。（3）优化策略保守：当前只对低质量查询进行优化，对于边缘案例（如中等质量但关键的查询）可能错过优化机会。改进方向可以设计更灵活的优化阈值或基于置信度的优化策略。（4）训练数据依赖：需要教师模型进行标注，增加了成本和潜在偏差。改进方向可以探索自监督或半监督的评估方法。（5）泛化能力有限：虽然在Web搜索上展示了泛化能力，但训练数据仍基于特定知识库。改进方向可以在更多样化的训练数据上训练，或引入领域自适应机制。
未来方向
基于SmartSearch的成果，未来研究可以从多个方向展开：（1）自适应查询优化：开发能够根据检索结果质量动态调整优化策略的方法，而不是固定阈值判断。（2）端到端训练：探索将三阶段课程学习整合为端到端训练框架，简化训练流程。（3）多模态查询优化：扩展到图像、视频等多模态搜索场景，优化跨模态查询质量。（4）实时在线学习：开发在线学习机制，让代理能够根据用户反馈实时优化查询策略。（5）可解释性增强：进一步提升过程奖励的解释性，让用户理解为什么某个查询被判定为低质量。（6）领域适配：开发针对特定领域（医学、法律、科研）的查询优化方法。（7）多代理协作：探索多个搜索代理协作优化查询的场景。（8）低资源优化：研究在标注数据有限情况下的查询优化方法。（9）评估标准化：建立统一的查询质量评估基准和指标体系。
复现评估
论文的复现性较好。代码已在GitHub开源（https://github.com/MYVAE/SmartSearch），提供了完整的训练和推理代码。训练数据使用ASearcher-Base数据集，这是公开可用的数据集。基础模型Qwen2.5-3B-Instruct是开源模型，教师模型Qwen3-32B也是开源的。实验设置详细说明了超参数（学习率、batch size、训练轮数等）和基础设施（DeepSpeed ZeRO-3、FlashAttention2、BF16精度）。然而，完整复现需要一定的算力资源：需要训练三个阶段的模型，其中教师模型（32B参数）的标注需要较大算力。此外，论文使用的2018 Wikipedia dump和E5-base-v2检索器也是公开资源。总体而言，对于有足够算力的研究团队，复现该工作是可行的。
论文图表
图中展示了一个具体例子：用户提问关于An Annapolis Story电影主演的出生日期。当搜索查询为birthdate of Kevin McCarthy时，检索到的是政治家Kevin McCarthy的信息（出生于1965年），导致代理生成错误答案Not Found。而当查询优化为Actor Kevin McCarthy birth date后，正确检索到演员Kevin McCarthy的信息（出生于1914年），最终生成正确答案。
这张图直观展示了本文要解决的核心问题：中间搜索查询的质量直接影响检索结果和最终答案。一个看似微小的查询差异（是否包含actor限定词）导致了完全不同的检索结果，说明了优化查询质量的重要性。
表格展示了一个完整的SmartSearch推理过程：用户提问关于Douglas D. Scott工作的考古遗址发生的战役年份。代理首先进行初步规划，然后生成精确的搜索查询Douglas D. Scott notable archaeological sites，成功检索到Little Bighorn战役的信息，最终正确回答1876年。
这个示例展示了SmartSearch的实际工作流程，说明其如何理解问题、制定搜索策略、生成高质量查询并最终得出正确答案。
表格展示了过程奖励机制如何评估搜索查询质量。第一个查询stars in An Annapolis Story获得分数1，因为意图必要且检索到演员名单；第二个查询birthdate of Kevin McCarthy获得分数0，因为虽然意图必要，但检索结果是政治家而非演员的信息。
这个示例具体展示了双层信用评估的工作方式，说明了如何判断查询质量并提供诊断反馈。
表格展示了查询优化机制的工作流程：原始查询birthdate of Kevin McCarthy检索到错误信息，过程奖励给出诊断反馈（检索到政治家而非演员）；优化后的查询birthdate of Actor Kevin McCarthy成功检索到正确信息，最终得出正确答案Kevin McCarthy。
这个示例直观展示了查询优化的效果，说明了优化机制如何基于诊断反馈改进查询并改变最终结果。