SAGE：基于执行反馈的可引导智能体深度搜索数据生成 SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback
通过双代理执行反馈循环自动生成难度可控的深度搜索问答数据
前置知识
检索增强生成（RAG）
检索增强生成是一种让语言模型在生成回答前先检索外部知识的技术框架。传统的RAG系统执行单次检索：给定问题q，检索相关文档d，然后基于d生成答案a。这种设置适用于简单问答任务，但对于需要多步推理的复杂问题，单次检索往往无法提供足够的信息。深度搜索（Deep Search）是对RAG的扩展，模型需要多次交替进行检索和推理，逐步收集信息后才能得出最终答案。SAGE正是在深度搜索背景下提出的数据生成方法。
SAGE的目标是生成需要深度搜索才能解决的复杂问答对，理解传统RAG与深度搜索的区别是理解本文动机的关键。
ReACT框架
ReACT（Reasoning and Acting）是Yao等人（2023）提出的智能体框架，让语言模型交替输出推理轨迹（reasoning trace）$r_i$和搜索查询（search query）$s_i$，形成序列 $r_0, s_0, r_1, s_1, ..., r_i, s_i, a$。在每一步，模型先推理当前已知信息和下一步需要什么，然后发出检索请求获取新信息。SAGE中的搜索智能体 $A_{search}$ 正是基于此框架工作的。
SAGE的搜索智能体和数据生成智能体都采用类似的交替检索-推理机制，ReACT是理解其工作流程的基础。
Pass@K评估
Pass@K是一种评估生成数据正确性的指标：给定一个问题，运行K次独立的搜索智能体执行，如果至少有一次执行产生了与参考答案一致的结果，则认为该问题通过了正确性检验。SAGE中采用Pass@K=1（K=4）作为正确性标准，即4次执行中至少有1次产生正确答案。这个指标反映了问题的可解性——如果多次独立执行都无法找到正确答案，说明问题本身可能存在问题。
Pass@K是SAGE验证生成数据质量的核心指标，直接决定了哪些QA对会被保留用于训练。
强化学习训练搜索智能体
传统方法需要人工标注的完整搜索轨迹（包含子查询、推理步骤和检索结果）来训练搜索智能体，成本极高。近期工作如Search-R1采用强化学习（RL）训练，只需要问题-答案对 $(q, a)$ 和基于结果的奖励信号（如答案是否与参考答案完全匹配），无需完整的搜索轨迹。SAGE生成的正是这种格式的QA对，通过强化学习中的PPO算法训练搜索智能体。
SAGE解决了RL训练搜索智能体时缺乏高质量QA对的问题，这是其核心应用场景。
研究动机
训练和评估深度搜索智能体需要大量高质量、复杂的问答数据，但这类数据极其稀缺且标注成本高昂。现有主流数据集的复杂度普遍不足：Natural Questions（NQ）平均仅需1.3次搜索，HotpotQA需2.1次，Musique需2.7次。即使是专门为多跳推理设计的FRAMES数据集，平均也仅需3.2次搜索。人工标注复杂探索轨迹的成本随着推理链长度增加而急剧上升——一个需要5-7步搜索的问答对，标注者需要理解并验证每一步检索和推理过程，这使得大规模标注变得不现实。同时，现有自动化数据生成方法存在两个根本缺陷：一是缺乏难度控制机制，无法指定生成数据的目标复杂度；二是将搜索智能体仅作为验证过滤器，丢弃了大量有价值的失败执行信息。
本文的目标是本文的目标是构建一个完全自动化的智能体数据生成流水线SAGE，能够为任意给定语料库和目标难度级别，自动生成高质量、难度可控的深度搜索问答对。具体而言，给定一个随机采样的文档 $d$ 和目标搜索步数 $S$，SAGE应生成需要至少 $S$ 步搜索才能正确回答的问答对 $(q, a)$。生成的数据用于强化学习训练搜索智能体，使其在深度搜索任务上取得显著性能提升。
与已有工作不同的是，SAGE的独特切入角度在于提出双代理协作框架，将搜索智能体的执行信息从单纯的过滤信号提升为生成器的反馈输入。与之前工作（如WebDancer、WebShaper等）仅使用搜索结果作为成功/失败过滤器不同，SAGE让数据生成器和搜索智能体进行多轮迭代对话：当搜索智能体无法正确回答或所需步数不足时，其完整的执行轨迹（包括检索的文档、推理过程）被反馈给生成器，指导其生成更困难的问答对。这种设计揭示了一个关键洞察：数据生成器的搜索计划与搜索智能体的实际执行之间存在系统性偏差，只有通过执行反馈才能发现并纠正这种偏差。
核心方法
SAGE的核心思路是构建一个由数据生成智能体 $A_{gen}$ 和搜索智能体 $A_{search}$ 组成的双代理系统，通过迭代的生成-验证-反馈循环来逐步提升生成数据的质量。直觉上，生成器擅长构造复杂问题，但难以准确预测搜索智能体的实际行为；而搜索智能体能够揭示生成数据的真实难度和可解性。SAGE将两者的优势结合：生成器负责创造性地构造问答对，搜索智能体负责验证和提供反馈，两者通过执行轨迹的交换实现信息互补。技术路线遵循三个阶段：首先生成器基于输入文档和目标难度生成初始QA对，然后搜索智能体通过多次独立执行验证数据质量，最后将验证失败的执行信息反馈给生成器进行迭代优化，直到生成的QA对同时满足正确性和难度要求。
SAGE的核心创新在于将搜索智能体的执行轨迹作为生成器的直接反馈输入，而非仅作为过滤器。与Shi等人（2025a）等先前工作不同，那些方法在验证失败时直接丢弃样本并重新采样，而SAGE将失败的执行轨迹（包括搜索智能体检索到的文档、推理步骤和最终答案）完整反馈给生成器。这使得生成器能够理解为什么生成的问答对不够难或不够正确——例如，生成器计划需要3步的问题，搜索智能体可能因为相关信息在同一文档中出现而仅需1步就能解决。通过分析这种执行轨迹的差异，生成器能够针对性地调整问题的复杂度。此外，SAGE引入了明确的难度控制机制，通过在提示中指定目标搜索步数 $S$，让生成器主动规划需要多少步检索才能解决的问题，这是现有数据生成方法所缺乏的。
方法步骤详情
SAGE方法的具体步骤如下：第一步是初始数据生成，给定从语料库 $D$ 中随机采样的文档 $d$ 和目标搜索步数 $S$，数据生成智能体 $A_{gen}$ 通过迭代发出搜索查询 $s_0, s_1, ..., s_i$ 来收集相关信息，最终输出初始问答对 $(q, a)$。第二步是验证阶段，运行搜索智能体 $A_{search}$ 对生成的问题 $q$ 进行 $K$ 次独立执行（论文中 $K=4$），收集执行轨迹 $(a_k, S_k, t_k)$，其中 $a_k$ 是第 $k$ 次执行的答案，$S_k$ 是使用的搜索步数，$t_k$ 是完整轨迹。正确性通过Pass@K=1判断（至少1次执行答案与 $a$ 匹配），难度通过最小正确轨迹的搜索步数是否大于等于 $S$ 判断。第三步是执行反馈，如果QA对未通过验证，将生成器的轨迹 $t_{gen}$ 和搜索智能体的轨迹 $t_{search}$ 一起反馈给 $A_{gen}$，指导其生成新的问答对。此过程可迭代 $R$ 轮（论文中最多3轮），最终仅保留通过正确性验证的QA对。
技术新颖性
SAGE在技术上的新颖性体现在三个方面。首先是双代理协作机制的创新设计：不同于单智能体生成或简单的生成-过滤模式，SAGE让生成器和搜索智能体形成闭环反馈系统，搜索智能体的执行轨迹成为生成器改进的直接信号。其次是难度可控的生成策略：通过在提示中注入目标搜索步数 $S$，SAGE实现了对生成数据复杂度的精细控制，使得生成的数据可以根据训练需求调整难度分布。第三是执行反馈的具体实现方式：将检索文档、推理轨迹等详细信息传递给生成器，而不仅仅是二元的正确/错误标签，这使得生成器能够理解搜索智能体的实际解决策略，从而生成更复杂的问题。
实验结果
SAGE在多个维度上验证了其有效性。在数据质量评估方面（Table 2），初始生成器仅能生成18%同时满足正确性和难度要求的数据，而经过3轮执行反馈后，这一比例提升至50%，同时正确率保持在87%。值得注意的是，反馈机制显著优于重采样策略：3轮反馈达到50%通过率，而3轮重采样仅达到47%。在下游任务评估中（Table 3），使用SAGE生成的数据训练的QWEN-7B搜索智能体在域内评估上达到38.1%平均准确率，相比NQ+HotpotQA基线（29.1%）有29%的相对提升，相比Musique基线（29.6%）有28%的相对提升。在域外评估中，QWEN-7B在FRAMES数据集上达到32.3%准确率，相对Musique基线（25.0%）提升23%。更令人印象深刻的是，使用Google Search进行推理时（Table 4），QWEN-7B在GAIA基准上达到24.0%准确率，相对最强基线（15.6%）提升50%。推理策略分析表明，SAGE生成的数据需要更多样化的推理类型，包括计算（35% vs Musique的5%）和时间推理（32% vs 8%）。消融研究（Table 5）显示2轮反馈是最佳设置，3轮反馈虽生成更难数据但下游性能下降，说明难度与可学习性需平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SAGE域内评估（3-hop到7-hop） | LLM-as-a-judge准确率 | QWEN-7B: 38.1% | QWEN-7B on NQ+HotpotQA: 29.1% | 相对提升29% |
| FRAMES（域外多跳问答） | LLM-as-a-judge准确率 | QWEN-7B: 32.3% | QWEN-7B on Musique: 25.0% | 相对提升23% |
| Musique（域外多跳问答） | LLM-as-a-judge准确率 | QWEN-7B: 22.3% | QWEN-7B on Musique (in-domain): 21.6% | 超越域内训练3.2% |
| GAIA（Google Search推理） | 准确率 | QWEN-7B: 24.0% | QWEN-7B on Musique: 15.6% | 相对提升50% |
| Browsecomp（Google Search） | 准确率 | QWEN-7B: 2.6% | QWEN-7B on NQ+HotpotQA: 1.6% | 相对提升62.5% |
局限与改进
SAGE存在几个重要的局限性。首先，框架依赖固定的搜索智能体提供反馈，生成器和搜索智能体之间没有共同进化机制，这意味着搜索智能体的能力瓶颈会限制生成数据的质量上限。其次，Pass@K=1作为正确性标准可能仍然保留了一些幻觉或不准确的内容——如果搜索智能体在4次执行中有1次碰巧产生了与生成器相同的错误答案，该QA对仍会被保留。第三，论文仅探索了生成用于强化学习训练的QA对，没有研究如何构建高质量的监督微调（SFT）轨迹数据，而SFT在某些场景下可能更有效。第四，实验仅在Wikipedia通用语料上进行，对于法律、科学等特定领域的适用性尚未验证。从实验设置看，仅使用了PPO算法进行RL训练，未探索GRPO等其他算法；模型规模仅限于3B和7B参数；评估基准的样本量较小（GAIA仅103题，Browsecomp随机采样200题），可能影响结论的统计显著性。
独立分析的弱点
SAGE存在几个值得深入分析的弱点。第一，信息共置问题（Table 6中35%的错误模式）：生成器计划的多步搜索可能因为相关信息恰好出现在同一文档中而变成单步问题，这是一个系统性缺陷，执行反馈虽然能识别但无法根本解决，需要引入更智能的文档采样策略或对语料库进行预处理以分散相关信息。第二，多查询折叠问题（21%）：检索工具的语义匹配能力过强，使得不同意图的查询可能检索到相同的文档，导致多步查询退化为单步，这提示需要改进检索工具的查询区分能力或引入查询多样性约束。第三，搜索智能体验证的不完美性：54%的错误数据实际上源于搜索智能体的检索失败或推理错误，而非数据本身的问题，这意味着有价值的数据可能被错误过滤，需要更鲁棒的验证机制来区分真正的错误数据和搜索智能体的失败。第四，泛化能力验证不足：虽然在GAIA上展示了从Wikipedia检索到Google Search的迁移能力，但评估样本量小，且仅在通用领域验证，对于专业领域的泛化能力存疑。
未来方向
基于SAGE的研究成果，未来有多个有前景的研究方向。首先，生成器和搜索智能体的共同进化是一个自然的延伸方向：通过迭代训练，让搜索智能体从SAGE生成的数据中学习并变得更强，进而能够生成更高质量的反馈，形成正向循环。其次，构建高质量的SFT轨迹数据：当前SAGE仅生成用于RL训练的QA对，但探索如何利用执行轨迹构建完整的监督微调轨迹（包含子查询、推理步骤和检索结果）可能进一步提升训练效果。第三，发展更鲁棒的数据验证机制：设计能够识别搜索智能体无法解决但实际正确的QA对的方法，避免有价值的数据被错误丢弃。第四，扩展到特定领域语料：将SAGE应用于法律、医学、科学等专业领域的文档，生成领域特定的深度搜索训练数据。第五，探索不同RL算法的效果：测试GRPO等算法是否能更好地利用SAGE生成的数据。最后，研究难度与可学习性的最优平衡策略：当前结果表明2轮反馈优于3轮，说明存在最优难度点，值得深入研究。
复现评估
SAGE的可复现性评估如下。在开源方面，论文明确表示代码和数据将在GitHub（https://github.com/carriex/sage）发布，这是积极的信号，但具体发布时间未确定。在数据和工具方面，使用的是公开可用的资源：2018 Wikipedia dump作为语料库，E5作为检索器，gemini-2.5-flash作为LLM，这些都是可获取的。在计算资源方面，流水线需要大量LLM推理：每轮反馈需要运行K=4次搜索智能体执行，每次执行最多20步搜索，生成20K训练数据加上3轮迭代反馈，计算成本相当可观。使用Google Search API进行推理评估（Serper API）会产生额外费用。总体而言，如果代码和数据如期开源，复现主要挑战在于计算资源需求和LLM API调用成本。
论文图表
