超越随机探索：什么样的训练数据对智能体搜索真正有价值 Beyond Stochastic Exploration: What Makes Training Data Valuable for Agentic Search
提出 HiExp 框架，将搜索代理的随机探索转化为基于分层经验引导的策略性搜索
前置知识
GRPO（Group Relative Policy Optimization）
GRPO（Group Relative Policy Optimization）是一种 critic-free 强化学习算法，由 DeepSeekMath 提出。它绕开了 PPO 中需要单独训练 value network 的高成本，做法是对同一 prompt 采样 G 条候选轨迹，用组内相对奖励（即某条轨迹的奖励减去组均值再除以组标准差）作为 advantage $\hat{A}_i$ 的估计，在公式上保留了 PPO 的 clip 目标 $\min(r_i(\theta)\hat{A}_i, \text{clip}(r_i(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_i)$。在搜索代理训练中，GRPO 因显存开销低被广泛采用，但完全依赖 outcome 奖励和随机探索，rollout 阶段需要大量样本才有机会命中正确的多步检索路径。
HiExp 直接基于 GRPO 等 critic-free 算法进行改造，且其核心收益之一就是降低 GRPO rollout 时的 advantage 方差；只有理解 GRPO 用组内相对奖励替代价值网络的工作方式，才能体会 HiExp 把"经验"作为 rollout 条件来进一步收窄 advantage 分布这一设计背后的巧思。
Agentic Search（智能体搜索）
Agentic Search（智能体搜索）是一种让 LLM 在推理过程中自主决定何时调用外部搜索工具、查询什么关键词、如何整合检索结果的范式，代表工作包括 Search-o1、Search-R1、ReSearch、R1-Searcher 等。一般采用 ReAct 风格的循环：模型在 思考后输出 触发搜索，拿到 后再继续 推理，直到产出 。这种范式让 LLM 摆脱了对静态参数知识的依赖，但同时也对探索效率和奖励信号稳定性提出了极高要求。
本文研究的是搜索代理在多跳问答和数学推理任务中的训练效率问题，读者需要熟悉 的多轮工具调用链路，以及 retrieval-augmented 的完整工作流程，才能理解经验在哪个环节注入、为什么要在 loss 中 mask 掉检索到的经验 token。
对比蒸馏（Contrastive Distillation）
对比蒸馏（Contrastive Distillation）是一种通过对比正例（成功轨迹）和负例（失败轨迹）来提取关键决策点和常见陷阱的知识蒸馏方法。具体做法通常是构造 prompt 让 LLM 分析成功样本中哪些决策是关键的、失败样本中在哪些步骤走偏，再把这些"成功-失败"边界处的洞察汇总成结构化经验。HiExp 正是用这种方式产出 case-based 经验 $e_i$ 与对应摘要 $d_i$，作为后续层次聚类的基本单元。
HiExp 的核心数据构造方式就是对预采样的成功/失败轨迹做对比蒸馏（公式 1），提取"成功-失败"边界处的关键特征；不了解这一范式就无法理解 HEK 中每条经验 $e_i$ 与摘要 $d_i$ 是怎么来的、为什么 self-distillation 反而优于大教师蒸馏。
层次聚类（Agglomerative Clustering）
层次聚类（Agglomerative Clustering）是一种自底向上合并相似数据点的聚类算法，初始时每个点单独成簇，每一步合并距离最近的两个簇，直到满足停止条件。论文使用 scikit-learn 的 Ward linkage 实现，通过设置相似度阈值 $\tau_l$ 控制簇大小，迭代地把细粒度经验聚合为更高层次的模式/策略经验。在 HiExp 中，层次聚类是把零散 instance 级经验升级为可泛化 strategy 级经验的桥梁，直接关系到经验库的质量和检索时的噪声水平。
层次聚类是把 instance 级经验升级为可复用 strategy 级经验的桥梁，且聚类阈值 $\tau_l$ 直接决定经验库的泛化-特化平衡；不熟悉 agglomerative 聚类的合并规则就无法理解为什么 $E_2$ 经验比 $E_3$ 更可操作，以及为什么 Table 2 消融中 $E_2$+$E_1$ 始终优于 $E_3$+$E_1$。
研究动机
现有基于强化学习的搜索代理（如 Search-R1、ReSearch、R1-Searcher）几乎都依赖 outcome 奖励驱动的随机探索，训练中需要大量样本才有机会采样到正确的多步检索轨迹。在 7B/32B 这种小模型上，这种探索方式有两个明显痛点：第一，多跳问答常常需要 3 跳以上检索（Figure 4 的复杂度分布显示 HotpotQA 中 ≥3 hops 占 76.7%，2Wiki 中 51.2% 是 ≥3 hops，Musique 中 4 hops 占 22.1%、≥5 hops 占 17.9%、3 hops 占 35.0%），随机探索很难稳定地命中正确路径，且容易在中间步骤陷入"first X"语义约束丢失、时序-实体属性错配等典型陷阱；第二，outcome 奖励的稀疏性导致多轮交互中 advantage 估计噪声极大，Figure 3 的训练曲线显示基座 GRPO 的 advantage variance 与 gradient norm 出现剧烈波动，模型在 AIME、HotpotQA 等基准上常常陷入局部策略，cross-domain 表现也不稳定。整体而言，"随机探索 + outcome 奖励"这个组合在小模型 + 多轮工具调用场景下的样本效率和训练稳定性都到了瓶颈。
本文的目标是本文提出 HiExp（Hierarchical Experience）框架，把"经验"作为独立的一类知识与 outcome 奖励并列使用：在不依赖任何外部事实库、也不引入人工规则的前提下，从历史 rollout 轨迹中自动蒸馏出"成功-失败"对比中暴露出来的关键决策点和常见陷阱，再通过层次聚类把它们抽象为可复用的策略知识，最后在推理阶段和 RL rollout 阶段动态检索这些经验，把随机探索重塑为"经验引导的策略性搜索"。具体来说，HiExp 包含离线经验构造（Hierarchical Experience Construction）和联机经验引导训练（Experience-Aligned Training）两大阶段：离线阶段用 self-reflection + 对比蒸馏 + agglomerative 聚类生成 $E_1$（instance）、$E_2$（pattern）、$E_3$（strategy）三层经验库 HEK；联机阶段在 GRPO 等 critic-free RL rollout 时用公式 2 的 $\arg\max \cos\_\text{sim}(\phi(q_t), \phi(d))$ 检索 top-k $E_1$ 做即时纠错，并把 $E_2$/$E_3$ 注入 system prompt 提供策略蓝图。作者希望 7B/32B 小模型能借此匹敌甚至超过 GPT-4.1、o4-mini、Gemini-2.5-Pro 等前缘大模型，并在数学推理等完全不同的任务域上实现经验跨任务迁移。
与已有工作不同的是，过去对训练数据价值的讨论几乎都停留在"用更多干净标注"或"设计更好的奖励函数"两个方向，而 HiExp 的独特切入点是："训练数据本身是一份可挖掘的、尚未被充分利用的策略语料"。作者没有引入任何外部监督，而是让 policy model 自己做 self-reflection 和层次聚类，把自身 rollout 的"正负样本对比"变成下一轮 rollouts 的导航信号。Table 6 的实验进一步表明 self-distillation 反而比 Qwen-Max 教师蒸馏略好（57.9 vs 56.7 平均 CEM），这与"大教师=更好"的常规直觉相反，凸显出"经验与学生能力边界对齐"才是 HiExp 真正 work 的关键——经验的价值不在于"绝对正确性"，而在于"是否在学生模型当前的能力分布下可解释、可执行"。这一观察把训练数据价值的衡量标准从"质量"转到了"对齐性"，是本文对 agentic RL 训练方法论最核心的贡献。
核心方法
HiExp 包含离线 + 联机两大阶段，整体目标是把搜索代理的"随机探索"重塑为"经验条件化的策略性搜索"。第一阶段是 Hierarchical Experience Construction：先用 policy model 对每个训练样本采样 K 条 rollout 轨迹，按 outcome 奖励分成正负两组，通过 self-reflection 提取 case-based 经验 $e_i$ 及其摘要描述 $d_i$ （公式 1 的 $e_i, d_i = \text{Reflect}(x_i, y_i^+, y_i^-)$），再用预训练语义编码器 $\phi(\cdot)$ 把所有 $d_i$ 嵌入成向量 $v_i = \phi(d_i)$，通过层次聚类（agglomerative clustering，阈值 $\tau_1$）逐层抽象为 $E_1$（instance）、$E_2$（pattern）、$E_3$（strategy）三级 Hierarchical Experience Knowledge（HEK），三者粒度逐层变粗、可迁移性逐层增强。第二阶段是 Experience-Aligned Training：在 critic-free RL（如 GRPO）rollout 时，初始规划阶段从 HEK 检索 $E_2$ 或 $E_3$ 注入 system prompt 给出"策略蓝图"，中间推理步骤则按公式 2 的 $e^* = \arg\max_{e \in \text{HEK}} \cos\_\text{sim}(\phi(q_t), \phi(d))$ 检索 top-k 的 $E_1$ 经验并设相似度阈值 0.8 做精细修正。训练时把这些经验 token 在 loss 中 mask 掉以避免模型直接抄袭，让 policy 只学"如何基于经验思考"而不学"如何复述经验"，整套机制既可在 GRPO 训练阶段使用（GRPO+HiExp），也可在推理阶段以 plug-and-play 方式叠加到任何基座模型上（+HiExp）。
传统 RL 搜索代理（如 Search-R1、ReSearch、R1-Searcher）把"探索"完全交给随机策略，模型在 rollout 时只能依赖 outcome 奖励信号反复试错；而 HiExp 的核心创新是用"内生经验"把探索约束在历史成功的高价值路径附近，从根本上把 exploration 的方向从"完全随机"改成"经验条件化随机"。本质区别体现在三点：第一，经验是从对比性轨迹中自动蒸馏出来的元知识（公式 1 的 $e_i, d_i = \text{Reflect}(x_i, y_i^+, y_i^-)$），既不依赖外部事实库，也不依赖人工规则或大教师模型，避免了"知识污染"与版权风险；第二，经验被分成三层粒度——$E_1$ 用于即时纠错（如时间-实体属性错配、"first X"的语义约束），$E_2$ 用于模式指导（如"多跳约束分解"、"先解时序锚点再查实体"），$E_3$ 用于宏观策略（如跨多类问题的元规则）；第三，也是最关键的一点，训练阶段把经验检索结果作为 rollout 的"条件"直接喂给 policy（公式 3 中 $y \sim \pi_\text{old}(\cdot|x, E_l; R)$），使 advantage $\hat{A}_i$ 的条件概率分布被显著收窄，从源头降低了 GRPO 训练方差。这种"用经验作为状态条件"的思路是之前工作（StepSearch 的 step-wise PPO、ReSearch 的纯结果奖励、Search-o1 的固定 prompt 模板）都没做过的角度，也是 HiExp 能在小模型上取得突破的根本原因。
方法步骤详情
步骤一（Contrastive Distillation）：对每个样本 $x_i$ 采样 $K$ 次 rollout 得到轨迹集 $Y_i$，按 outcome reward 划分为 $Y_i^+$ 与 $Y_i^-$，调 LLM 做 self-reflection 生成 case-based 经验 $e_i$ 与检索 key $d_i$（公式 1），输入 prompt 模板见表 11。步骤二（Hierarchical Clustering）：用 multilingual-e5-base 把所有 $d_i$ 编为向量 $v_i$，先用阈值 $\tau_1$ 做 agglomerative 聚类，对每个簇调 LLM 抽象成 $E_2$ pattern 经验（prompt 见表 12）；再对 $E_2$ 编码并按更高阈值聚类，迭代生成 $E_3$ strategy 经验，直到 $|E_l| \le 1$ 时停止。步骤三（Rollout 引导）：在 GRPO 训练时，初始阶段把 $E_2$/$E_3$ 注入 system prompt（模板见表 7）提供全局策略；中间步骤 $t$ 拿到 query $q_t$ 时用公式 2 检索 top-k $E_1$，相似度 < 0.8 的丢弃以保证精度。步骤四（Loss 计算）：在 GRPO 的 PPO-clip 损失（公式 3）中，mask 掉检索到的 $E_1$ 经验 token 与文档 token，只让 policy 学"如何基于经验思考"而不学"如何复述经验"，避免模型对特定经验条目过拟合。步骤五（推理阶段）：无需额外训练，HEK 可直接与 Search-o1、GRPO 等基座结合做 plug-and-play 增强，Table 1 中 Search-o1+HiExp 从 34.7 提升到 40.2 平均 CEM 即为该可插拔性的直接证据。
技术新颖性
技术新颖性体现在三方面：第一，自反思+对比蒸馏的组合让 policy model 不依赖任何外部教师或事实库即可产出元知识，避免了"知识污染"与版权风险，且 self-distillation 反而优于 Qwen-Max 教师蒸馏（Table 6 平均 +1.2 CEM）这一反直觉结果，凸显出"经验与学生能力对齐"才是关键；第二，三层粒度的 HEK 设计（$E_1$ 解决"哪一步走错"，$E_2$ 解决"这一类题该按什么套路解"，$E_3$ 解决"多类题通用的元策略"）比单一经验库更精细地匹配搜索代理的"初始规划-中间决策"两级决策结构，Table 2 消融显示 $E_2$+$E_1$ 始终优于 $E_3$+$E_1$（60.6 vs 57.7 F1），证明 pattern 级经验比 strategy 级更可操作；第三，把经验检索作为 rollout 的"条件分布"而非后处理，理论上改变了 advantage 的条件概率分布 $y \sim \pi_\text{old}(\cdot|x, E_l; R)$，从源头降低了 GRPO 训练方差（Figure 3 的 advantage variance 与 gradient norm 曲线显著更稳），这是之前工作（如 StepSearch 的 step-wise PPO、ReSearch 的结果奖励）都没做到的角度。
实验结果
Table 1 的主结果表明，HiExp-Searcher-7B 在 HotpotQA、2Wiki、Musique、Bamboogle 四个多跳 QA 上平均 CEM 达到 56.0，比同基座最强基线 ReSearch（48.7）提升 9.7 个百分点，比 Search-R1-v0.3（46.3）提升 9.7，并且 7B 模型已能匹敌 GPT-4.1（58.4）甚至部分指标（如 2Wiki F1 74.6 vs GPT-4.1 69.7、HotpotQA CEM 60.4 vs GPT-4.1 56.0）超过它；32B 模型的 HiExp-Searcher 把平均 CEM 推到 60.4，比 ReSearch-32B 提升 4.5。Table 2 的消融显示，训练时加 $E_2$+$E_1$ 把 in-domain F1 从 54.2 提到 60.6、CEM 从 49.6 提到 57.9，且 $E_2$+$E_1$ 始终优于 $E_3$+$E_1$（60.6 vs 57.7 F1），说明 pattern 级经验比 strategy 级更可操作。Table 3 在三个 out-of-domain 数据集（Bam/Frames/MoreHQA）上使用 Tavily 在线检索，HiExp 平均 LasJ 达 58.2，领先 R1-Searcher（50.6）和 ReSearch（56.3），证明经验确实学到了可迁移的'推理蓝图'。Table 4 在数学推理六个基准上，GRPO+HiExp 平均分 46.8，比 base model 提升 17.4，比纯 GRPO 提升 2.3，且在不训练的情况下 +HiExp 也能从 29.4 提到 30.5。Table 5 验证了跨 RL 算法的可插拔性：GRPO+HiExp 提升 8.3 CEM、GSPO+HiExp 提升 6.1 CEM。Figure 3 的训练稳定性曲线显示 HiExp 的 reward 上升更平顺、group rollout 的 advantage 方差和 gradient norm 方差都明显更小。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多跳问答 HotpotQA（in-domain） | F1 / CEM / EM | 65.4 / 60.4 / 52.4（HiExp-Searcher-7B） | 63.2 / 55.8 / 50.4（ReSearch-7B） | +2.2 F1 / +4.6 CEM / +2.0 EM |
| 多跳问答 2WikiMultiHopQA（in-domain） | F1 / CEM / EM | 74.6 / 76.5 / 66.9（HiExp-Searcher-7B） | 67.1 / 65.4 / 60.3（ReSearch-7B） | +7.5 F1 / +11.1 CEM / +6.6 EM |
| 多跳问答 Musique（in-domain） | F1 / CEM / EM | 41.7 / 36.7 / 30.7（HiExp-Searcher-7B） | 28.0 / 34.1 / 24.0（ReSearch-7B） | +13.7 F1 / +2.6 CEM / +6.7 EM |
| 多跳问答 Bamboogle（out-of-domain） | F1 / CEM / EM | 61.0 / 50.4 / 46.4（HiExp-Searcher-7B） | 53.1 / 45.6 / 41.6（ReSearch-7B） | +7.9 F1 / +4.8 CEM / +4.8 EM |
| 数学推理 AIME 2024/2025（out-of-domain） | Avg@32 | 26.7 / 23.3（GRPO+HiExp） | 24.1 / 17.8（GRPO） | +2.6 / +5.5 |
| 数学推理 MATH-500（out-of-domain） | Pass@1 | 84.2（GRPO+HiExp） | 83.4（GRPO） | +0.8 |
局限与改进
作者明确指出当前框架的局限是'半解耦'：HEK 在 RL 训练开始前一次性构建，之后 rollout 始终用同一份经验。但策略模型在训练中会持续内化新推理模式，HEK 不能随之动态更新，可能与模型能力边界失配（这一点在 Limitations 段落有明确表述）。从读者视角还能补充几个隐性问题：第一，Table 4 中 +HiExp 在 AIME 2024 上甚至略低于 base（12.8 vs 13.2），说明经验注入对高难度任务不一定单调有益，数学竞赛题的极端长链推理可能需要更'轻'的经验干预；第二，self-distillation 的优势（Table 6 +1.2 平均）虽然显著但幅度有限，且只在 7B 上验证，32B 场景下是否仍成立未知；第三，HEK 是离线一次性构建且在 8K Musique+HotpotQA+2Wiki 上做对比，扩展到大规模训练集时的层次聚类成本与经验库规模管理没给出方案；第四，实验主要在英文多跳 QA 与英文数学上验证，跨语言（如中文搜索代理）效果未涉及。
独立分析的弱点
独立分析有三个值得改进的弱点。第一，HEK 一旦构建就静态使用，policy 在 RL 中后段学到的新推理模式无法回写进经验库，会出现'经验滞后'——可以在 rollout 阶段定期（如每 N 步）触发对比蒸馏-聚类流程做增量更新，构建 closed-loop 经验管理。第二，$E_1$ 经验检索采用固定相似度阈值 0.8 + top-k，对低资源/低频领域问题容易检索失败或误匹配，可考虑引入查询感知的动态阈值或显式负样本去噪机制。第三，Figure 3 的训练稳定性提升虽然显著，但作者未给出 advantage 估计方差的精确统计（如滚动方差曲线下的面积），无法量化'稳定性提升'的强度，也难以与 GSPO/StepSearch 等已声称稳定的算法直接对比；补充类似 policy entropy 衰减曲线等指标会更完整。第四，self-distillation 比 teacher-distillation 略好这一反直觉结果，作者仅在 7B 单点验证，缺少不同基座/不同学生能力的系统 sweep，难以判断这是普遍规律还是偶然。
未来方向
作者在 Limitations 中明确点出第一个未来方向：建立 experience construction 与 policy optimization 的动态 closed-loop，让经验库随训练进度自适应更新。基于成果可延伸的方向还包括：(1) 把 $E_1$/$E_2$/$E_3$ 三层经验推广到工具组合（搜索+计算+代码解释器）的多工具 agent 场景，验证经验层次抽象是否对工具选择策略同样奏效；(2) 把 HiExp 与 process reward 或 step-wise PPO（如 StepSearch）结合，构造'retrieval-level 经验 + per-step reward'的双层引导，进一步细粒度地规范中间决策；(3) 探索更激进的端到端方案——把经验检索器与 policy 联合训练，让模型学会'自己决定要不要调用经验'而非按规则强制调用；(4) 在多语言、长上下文（≥32K token）的开放域 agent 任务上验证经验库的迁移性，特别是中文医疗/法律等领域的检索增强。
复现评估
复现评估整体较好。代码与模型基于阿里云 VeRL 框架（sheng 等 2025）训练，结合 FSDP 与 vLLM 推理，pipeline 标准化程度高。训练数据组成明确：搜索代理训练用 8148 条 HotpotQA+2Wiki+8K Musique 样本，数学用 OpenR1-Math-45k；评估使用 6 个多跳 QA 基准（HotpotQA/2Wiki/Musique/Bamboogle/MoreHopQA/Frames）和 6 个数学基准（AIME24/25/AMC/MATH-500/Minerva/OlympiadBench），其中 2Wiki 与 HotpotQA 因 dev set 过大随机采 1000 例（固定种子 42，作者验证与全集性能几乎一致）。检索环境使用 multilingual-e5-base + 2018 Wikipedia（约 2100 万 passages），并补 100 万随机文档。算力需求：RL 训练约 36 GPU·hours（8×NVIDIA H20-96G，2 epoch），离线经验构建 < 2 GPU·hours（MuSiQue 上对比蒸馏约 1h，层次聚类约 10min CPU），合计 < 6% 的额外开销。多数超参与 prompt 模板都列在 Appendix 的 Tables 7、10、11、12、13 中，prompt 范式可直接复用。主要复现难点是 GRPO 训练中 advantage 方差与梯度曲线对随机种子较敏感，以及多跳 QA 评估中 LLM-as-Judge（LasJ）评分对 judge 模型选择敏感，论文使用的是 GPT-4o 级模型，自行复现时需注意对齐。
论文图表
以 'Dismal Euphony 第三张专辑的签约厂牌是谁？' 为例，对比 Path1（无引导随机探索）与 Path2（经验引导探索）。Path1 让模型先问 'Dismal Euphony 第三张专辑'、'200 个流行乐队主唱' 等冗余查询，且漏掉'first label'的语义约束；Path2 用 heuristic '尊重时间约束；寻找 first X 时先查 X 的历史'，把查询收敛到 'Dismal Euphony third album' → '[found album] 2026 by Nuclear Blast Records' → 'band history' 的高效路径。
这是论文的 motivation 核心图，用具体例子说明随机探索为什么低效、经验为什么必要，读者第一眼理解 HiExp 价值的关键视觉证据。
饼图展示五个多跳 QA 数据集的 hop 分布复杂度。HotpotQA 用 supporting fact 数代替跳数，≥3 facts 占 76.7%，以中长链推理为主；2WikiMultiHopQA 中 3 hops 占 51.2%、≥5 hops 占 11.2%；Musique 中 4 hops 占 22.1%、≥5 hops 占 17.9%、3 hops 占 35.0%，是分布最广的；MoreHopQA 中 2 hops 占 70.7%、4 hops 占 6.5%；Frames 中 4 hops 占 16.3%、3 hops 占 37.6%。整体上 3 跳以上问题在所有数据集中都占主导。
说明所选基准的难度构成（3 跳以上问题占主导），为'随机探索难以稳定命中正确路径'的论断提供数据支撑。