GRASP：面向智能体 RAG 的粒度感知搜索策略 GRASP: GRanularity-Aware Search Policy for Agentic RAG

完整训练流程：(1) 数据准备。HotpotQA distractor split 每个例子有 question + answer + supporting facts（title-sentence 对）+ 2 个 gold 段落 + 8 个 distractor 段落。每个段落切为句子，建立 sentence-level corpus $S$，保留 parent paragraph 和 document-title metadata，并维护映射 $f: S \to D$ 指示每句的父段落。(2) Rollout 采样。对每个 query，policy LLM 收到 system prompt（描述三个工具调用语法 `query` 等）和 user prompt（含 question）。LLM 在 `...` 里推理后调用 tool。每个 prompt 采样 $G=4$ 条 trajectories，每条最多 $T=10$ turns，最大 response 长度 6144 tokens，generation temperature 1.0。(3) 奖励计算。每条 trajectory 基于最后 `` 内的 $\hat{y}$ 计算 $R_A = \max_j F1(\hat{y}, y^{(j)})$；基于 read 段落标题集 $D_r$ 和 gold 标题集 $D_g$ 计算 $R_R$；基于 semantic 和 keyword 工具 surface 的标题集 $D_s, D_k$ 计算 $R_S$；基于实际使用 turn 数 $T_{cur}$ 计算 $R_E$。还设有 spam guard 防止策略在一个 trajectory 内塞超过 10 个 `` 标签以暴力提升 token-F1。(4) GRPO 更新。对同一 query 的 $G$ 条 trajectories 计算 group-relative advantage $A_i = (R_i - \bar{R})/\sigma_R$，用 clip range $\epsilon_c = 0.2$、KL 系数 $1\times 10^{-4}$、entropy 系数 0.0021 更新策略。Optimizer 用 AdamW constant LR $1\times 10^{-6}$。每 step 64 prompts × 4 rollouts = 256 trajectories。(5) 训练 270 steps（约 17,280 prompts ≈ 19% epoch）即停，因为 validation reward 已 plateau，把这个 checkpoint 作为论文报告的主模型。(6) 推理时同样 prompt，独立 retrieval servers（FastAPI + BM25 + Qwen3-0.6B dense）跑在单独 GPU node 上。

技术新颖性体现在五个方面：(1) **三 tool action space**——没有以往工作同时把 semantic search、keyword search 和 read paragraph 三个互补动作暴露给同一个 RL policy，让模型自己学何时用哪种信号、何时扩展粒度。(2) **互补搜索奖励 $R_S$**——第一次 explicitly reward 两种 retrieval signal 都成功 surface gold evidence，避免策略 collapse 到单一工具或重复调用同一工具。(3) **句子级检索 + 按需段落扩展的两阶段粒度机制**，相比 fixed chunk granularity 更细（precision 高、context 省），相比 retrieval 直接返回 paragraph 更灵活（需要时才扩展）。(4) **奖励权重设计**——保持 answer accuracy 主导（权重 1.0）、辅助奖励上限 1.0，从理论上确保 reward hacking 难以发生。(5) **Loss masking** 只对 policy-generated tokens 算 gradient，避免模型学习模仿或记忆检索输出。与 Search-R1（单 retriever + outcome reward）相比增加了 multi-tool 和 process supervision；与 MaRAg-R1（SFT + RL + 多 tool 但仍 chunk 级）相比省去了 SFT 预训练并解决了粒度问题。作者在 Related Work 中明确写道『这是 first work to study these three aspects (retrieval-signal selection, context granularity, learning retrieval policy) jointly in training based agentic RAG』。

独立分析的弱点和改进方向：(1) **强标注依赖**——$R_R/R_S$ 都需要 title-level gold annotations，对现实无标注语料（海量网页、企业文档）不友好。改进方向：用 LLM-generated rationale、retriever agreement、或 self-consistency 作为弱监督替代 gold evidence set，把框架推广到无标注语料。(2) **检索空间限制**——只用 BM25 + Qwen3-0.6B dense retriever、top-k=5。更高性能 retriever（ColBERT、late-interaction model）或更深 top-k 可能改变结论。改进：测试 retriever scaling 对 policy emergence 的影响。(3) **3B 容量瓶颈**——MuSiQue EM 只有 0.23 远低于 HotpotQA 0.53，说明跨 domain 或更长 reasoning chain 时 3B 容量不足。改进：scale up backbone 到 7B/14B，或引入 memory 机制跨 hop 累积 evidence。(4) **奖励超参 hand-tuned**——$\alpha=0.7/\beta=0.15/\gamma=0.15$ 是经验选择，缺乏自动 reward balancing 或 learned reward weights 的对比。改进：用 population-based training 或 multi-objective RL 自动权衡。(5) **Premature termination**——作者已承认，可加 consistency-based abstain 或 post-hoc verification 步骤。(6) **缺少 web-scale 真实评估**——distractor setting 下检索空间小且 gold 比例高（2/10），与真实 open-domain retrieval 差异大。改进：在全 Wikipedia 或 Common Crawl 上 eval，并引入 retrieval 噪声、对抗 distractor 等压力测试。(7) **缺少 long-horizon 评估**——T=10 上限可能不足以处理需要 5+ 跳的复杂问题。

作者明确提出的三方向：(1) **更丰富的 tool space**——包含 evidence acquisition 工具和 reasoning 工具（如计算器、SQL 查询、知识图谱遍历），研究哪种工具在不同 reasoning stage 最有用。(2) **奖励设计减少 gold annotation 依赖**——用 weaker 或 model-based signals 替代 gold supporting facts，例如 answer-conditioned attribution 或 trajectory self-consistency。(3) **dynamic retrieval granularity**——允许智能体决定暴露多少 context，从 short spans 到 paragraphs 或更大 document regions，基于当前 reasoning state。基于成果可延伸的研究方向：(4) 跨 model scale 系统性研究——1B/3B/7B/14B 在相同 reward 和 tool config 下 tool-use emergence dynamics 如何变化，是否存在临界 scale；(5) 把 GRASP 扩展到非 QA 任务如 long-doc summarization、information extraction、agentic coding、scientific reasoning；(6) 用 self-consistency 或 LLM-judge 作为 $R_R/R_S$ 的 weak supervision 替代 gold facts，扩大适用范围；(7) 多 agent 协作，每个 agent 专注一种 retrieval signal 再 federate；(8) 把 complementary search 和 tool-use exploration 奖励扩展到更长 horizon（T>10）任务；(9) 与 reasoning model（如 R1-style）结合，研究 GRASP 学到的检索策略是否能迁移到更强的 reasoning backbone。

复现评估结论是『中等难度，关键信息齐全但工程量大』。(1) **数据完全开源**：三个 benchmark 都来自 HuggingFace Hub（hotpotqa/hotpot_qa config=distractor, framolfese/2WikiMultihopQA, dgslibisey/MuSiQue），Search-R1 checkpoint 用公开 PeterJinGo collection，Appendix D Table 5 列出每个数据集的 HF identifier、validation-split 大小（7,405/12,576/2,417）和 retrieval corpus 大小（66,635/56,687/21,100 unique paragraphs）。(2) **训练超参完整披露**：Table 4 列出全部配置——Data（HotpotQA distractor 90,447 examples, 270 steps, 256 val prompts）、Backbone（Qwen2.5-3B-Instruct full-param, FSDP）、GRPO config（G=4 rollouts, 64 prompts/step, max T=10 turns, 6144 max response tokens, temperature 1.0, 180s timeout/1 retry）、Optimization（AdamW constant LR 1e-6, clip 0.2, KL 1e-4, entropy 0.0021）、Infrastructure（2× A100 80GB, Verl-Tool + vLLM rollout backend, 独立 FastAPI retrieval server）。(3) **算力需求**：训练只需 2 张 A100 80GB 跑 270 steps（约 2-3 天）加 1 个独立 GPU node 跑 BM25/dense retrieval，整体属于中等算力需求，大学实验室级别可承担。(4) **Prompt 完全公开**：Appendix E 给出 system prompt、user prompt 和 ablation 变体（Table 6-9）。Appendix B 详细描述 reward 计算细节（string normalization、gold evidence set、read evidence set、surfaced evidence sets、complementary search indicator、answer extraction、turn count、spam guard）。(5) **未明确项**：GRASP 自身的训练 code 和 checkpoint 在论文中未明确 release 状态，复现者需自行实现 GRPO multi-turn tool-use training loop（涉及 vLLM rollout、FSDP、独立 retrieval server 的工程协调）。最大不确定性是 LLM-as-judge（gpt5-mini）涉及闭源模型，可能造成 JD 指标 non-deterministic，但 EM/F1 是确定性指标可完全复现。