Agentic-R：学习为代理搜索进行检索 Agentic-R: Learning to Retrieve for Agentic Search

方法步骤如下：第一步，代理轨迹生成。给定原始问题$Q$和初始检索器$R$，让搜索代理生成完整轨迹$T = \{t_1, q_1, D_1, \ldots, t_n, A\}$。第二步，候选段落检索。对每个查询$q_i$，用检索器$R$检索候选段落集$P_i$，$|P_i| = 20$。第三步，局部相关性评估。将$q_i$和$P_i$输入LLM，采用列表式评分，为每个段落分配相关性分数$LR_{i,j} \in [0, 100]$。第四步，全局正确性评估。对每个候选段落，让代理继续生成最终答案，计算$GAC_{i,j} = EM(A_{i,j}, A_{\text{gold}})$。第五步，正负样本选择。按GAC降序、LR降序排列，选择排名第一且满足$GAC=1$、$LR \geq 60$的段落作为正样本，其余作为负样本，总共$N=16$个段落。第六步，检索器训练。用对比学习训练检索器，输入为$x_i = Q [\text{SEP}] q_i$，使用InfoNCE损失函数。

本文的技术新颖性体现在三个方面。首先，首次为代理搜索设计专门的检索器训练框架。现有工作主要关注优化搜索代理本身，而忽略了检索器这一关键组件。本文填补了这一空白。其次，提出双维度效用建模。现有方法（如REPLUG、SCARLet）只考虑局部相关性或单轮效用，本文引入全局答案正确性，更全面地评估段落在多轮推理中的价值。这种建模方式更符合代理搜索的本质：段落的价值最终体现在它是否能帮助代理答对问题。第三，引入迭代优化框架。现有方法采用单向优化，检索器只训练一次。本文提出代理和检索器双向迭代优化：检索器优化后，代理通过RL与更强检索器交互变得更强，更强的代理又生成更好的查询来进一步训练检索器。这种协同进化能产生更高质量的训练信号，形成良性循环。

基于独立分析，我识别出以下几个弱点并提出改进方向：第一，效用建模的LLM依赖问题。当前方法使用Qwen2.5-72B进行相关性评分，这需要大量计算资源且速度较慢。改进方向：可以探索使用更小的专用评分模型，或开发基于规则的快速过滤器先筛选候选段落，再用LLM精排。第二，全局正确性评估的效率问题。当前需要为每个候选段落让代理运行到最终答案，计算成本很高。改进方向：可以训练一个轻量级预测器，直接预测段落对最终答案的影响，避免完整推理。第三，迭代优化的收敛性。两次迭代后性能不再提升，可能是因为代理查询质量或检索器能力达到瓶颈。改进方向：可以引入课程学习，从简单问题逐步过渡到复杂问题，或采用更稳定的优化策略如交替优化而非完全重训。第四，EM指标的局限性。精确匹配要求答案字符串完全一致，但对于同义表达或部分正确的答案不公平。改进方向：可以结合语义相似度（如BERTScore）或部分匹配指标，更全面地评估答案正确性。

基于本文成果，未来研究方向包括：第一，扩展到更广泛的任务。作者提到可以扩展到科学推理（如GPQA）或专家级任务，我认为还可以扩展到多模态代理搜索（结合图像、表格检索）或跨语言检索场景。第二，探索更高效的训练范式。当前迭代优化需要反复训练代理和检索器，可以研究单阶段联合优化或元学习方法，减少训练成本。第三，研究效用建模的理论基础。当前双维度建模是启发式的，未来可以建立更严格的理论框架，分析局部相关性和全局正确性的权衡关系。第四，开发自适应检索策略。当前检索器对所有查询采用相同策略，未来可以让检索器根据查询复杂度或代理状态动态调整检索行为。第五，结合强化学习优化检索器。当前检索器用监督学习训练，可以探索用RL直接优化检索器，使其针对最终任务奖励进行端到端优化。

复现评估：本文代码已在GitHub开源（https://github.com/8421BCD/Agentic-R），提供了完整的训练和评估脚本。数据方面，使用公开数据集（HotpotQA、TriviaQA等）和公开语料库（2018年12月Wikipedia dump），数据获取方便。算力需求较高：训练需要8张A800 80G GPU，迭代训练两次，总训练时间较长。复现难度中等：代码结构清晰，但训练流程涉及多个阶段（代理训练、检索器训练、迭代优化），需要仔细调参。关键复现注意事项：1）代理训练使用PPO，需要稳定的RL训练环境；2）效用建模需要调用Qwen2.5-72B进行评分，需要足够的GPU内存；3）迭代优化需要管理多个检查点和训练阶段。总体而言，对于有RL训练经验的团队，复现可行性较高，但需要相当的计算资源。