OpenResearcher：面向长时程深度研究轨迹合成的全开源流水线 OpenResearcher: A Fully Open Pipeline for Long-Horizon Deep Research Trajectory Synthesis
构建离线语料库与浏览器原语，低成本合成97K+深度研究轨迹
前置知识
ReAct范式
ReAct（Reasoning and Acting）是一种将推理与行动交替进行的智能体交互范式。给定查询 $q$ 和系统提示 $s_0$，模型在每一步生成推理链 $r_i$、执行动作 $a_i$（工具调用），并接收环境返回的观测 $o_i$，形成轨迹 $H_T = \{(q, s_0, T_{meta}), (r_1, a_1, o_1), \ldots, (r_T, a_T)\}$。这种迭代循环使模型能够基于外部证据进行动态推理，比静态单次推理更具适应性和可解释性。
本文的轨迹合成框架完全基于ReAct范式构建，理解该交互机制是理解整个流水线的基础
监督微调（SFT）
监督微调是一种后训练技术，使用高质量的输入-输出对对预训练模型进行进一步训练。在本文中，教师模型GPT-OSS-120B生成的长时程轨迹被用作训练数据，通过SFT将深度研究能力迁移到30B-A3B的学生模型。训练采用拒绝采样策略，仅保留答案正确的轨迹（约55K条），使用Megatron-LM框架在8块NVIDIA H100 GPU上训练约8小时，学习率为 $5 \times 10^{-5}$，最大上下文长度256K tokens。
SFT是本文验证合成轨迹有效性的核心方法，理解其机制才能评估实验结果的意义
FAISS索引
FAISS（Facebook AI Similarity Search）是Meta开源的高效向量相似度搜索库。本文使用Qwen3-Embedding-8B对1500万文档进行向量化，然后构建FAISS索引实现大规模密集检索。在推理时，智能体发出自然语言查询，检索器返回排序后的文档列表，模拟真实Web搜索API的行为。这种离线索引方案支持并行合成且无速率限制。
FAISS索引是本文离线搜索引擎的核心组件，直接决定了轨迹合成的检索效率和质量
BrowseComp-Plus基准
BrowseComp-Plus是一个专为评估深度研究能力设计的封闭网络搜索基准。与需要实时Web API的BrowseComp不同，BrowseComp-Plus使用官方发布的语料库和预构建的Qwen3-Embedding-8B FAISS索引构建离线搜索引擎，支持完全可复现的评估。该基准测试模型在固定语料库中的推理能力，能够精确追踪内部搜索事件如金文档的检索和打开。
这是本文最主要的评估基准，模型在该基准上取得了54.8%的准确率，比基线提升34个百分点
Pass@k指标
Pass@k衡量的是在k次采样中至少有一次成功解决问题的概率。本文对每个问题采样16条轨迹进行评估，Pass@1为0.567，Pass@16升至0.792。这20%+的差距表明许多问题是可解的，但仅沿特定推理路径可解。问题的求解率分布呈双峰模式：超过20%的问题通过率接近0%（极难），约30%接近100%（稳健可解），其余处于中间范围。
该指标揭示了深度研究任务的内在结构，说明数据多样性和路径选择的重要性
研究动机
当前深度研究智能体的轨迹合成面临严峻的可扩展性和成本挑战。现有方法如Search-R1仅产生2-5轮交互的轨迹，远不足以模拟真实深度研究场景。虽然WebExplorer和MiroThinker等系统能够生成更长的轨迹，但它们严重依赖实时Web搜索API（如Google Search、Bing Search），这带来三重限制：第一，大规模轨迹合成成本高昂，因为即使是失败的搜索路径也会产生API费用——按照SerpAPI的定价（$5/千次请求），合成本文的576万次搜索请求需要约28,800美元，即使使用更便宜的Serper API也需要5,760美元；第二，实时网络本质上不稳定，同一数据流水线难以在不同时间点复现；第三，产生的轨迹难以进行受控分析，因为内部搜索事件依赖于不断变化的环境，无法精确追踪金文档何时被检索、打开或遗漏。这些限制使得高质量长时程轨迹的规模化合成在完全开源的设置下几乎不可能实现。
本文的目标是本文的核心目标是回答一个关键研究问题：如何以可扩展、低成本、可复现且便于分析的方式合成高质量的长时程深度研究轨迹？具体而言，作者希望构建一个完全开源的流水线，能够：（1）将昂贵的搜索-浏览循环完全移至离线环境，实现零API成本的大规模合成；（2）生成包含100+工具调用的真正长时程轨迹，覆盖从简短到复杂的广泛推理范围；（3）通过SFT将合成轨迹中的深度研究能力有效迁移到更小的学生模型；（4）利用离线环境的可控性进行深入的流水线设计分析，为社区提供可操作的实践指导。
与已有工作不同的是，本文的独特切入角度体现在两个核心设计决策上。首先是语料库构建与轨迹生成的解耦：不同于以往方法将在线检索和轨迹生成耦合在一起，本文执行一次性的在线引导步骤来收集金文档，构建离线语料库和搜索引擎，然后完全在本地离线环境中运行多轮合成循环。其次是显式的浏览器抽象：大多数先前的智能体搜索系统将搜索简化为文档检索操作，而本文建模了三种最小原语——search（返回标题、URL和摘要的Top-K结果）、open（获取文档完整内容）和find（在当前打开的文档中定位精确字符串匹配）。这种设计不仅更接近人类真实的研究行为（广泛搜索→打开检查→定位证据→迭代优化），而且支持在不同粒度上进行信息发现：search-only依赖不完整的摘要，search+open要求模型在上下文中隐式扫描长文档，而完整的search+open+find套件实现了显式的证据定位。
核心方法
OPENRESEARCHER的核心思想是将昂贵的迭代式实时搜索API调用替换为本地服务的搜索引擎，同时保留真实Web研究中固有的噪声和模糊性。整个流水线分为三个阶段：首先从MiroVerse-v0.1数据集中收集需要长时程、多跳推理的挑战性问答对（约6K个实例），这些问题无法通过浅层检索解决；其次通过一次性在线引导构建离线语料库——使用Serper API为每个问题检索金文档（共10K份），与FineWeb的1500万文档（约10万亿tokens）合并形成完整的离线语料库，其中FineWeb文档作为干扰项，金文档提供答案支持证据；最后使用GPT-OSS-120B作为教师模型，配备search、open、find三种浏览器原语，在离线环境中合成超过97K条轨迹。这种设计将一次性的在线成本（收集金文档）与大规模的离线合成（零API成本）彻底分离，实现了真正的可扩展性。
本文的核心创新在于两个相互关联的设计理念。第一个是语料库引导与轨迹合成的解耦架构：通过执行一次性的在线引导来确保语料库覆盖率，然后在完全离线的环境中进行多轮轨迹合成。这种方法的关键优势在于消除了轨迹合成对实时网络的依赖，同时通过精心构建的语料库保留了真实搜索的复杂性。第二个创新是最小浏览器原语抽象：将人类的研究行为抽象为三个原子操作——search（广度检索）、open（深度检查）、find（精确证据定位）。与以往将搜索视为简单文档检索的系统不同，这种三层抽象支持从语料库到文档再到证据的渐进式聚焦。实验表明，这种设计不仅更有效（search+open+find达到62.17%准确率，比search-only的43.86%提升18.31个百分点），而且减少了平均工具调用次数（49.97 vs 70.57）和token使用量（52,248 vs 80,511）。
方法步骤详情
方法的具体执行步骤如下：第一步是问答对收集，从MiroVerse-v0.1随机采样10%的问答对（约6K个实例），后处理将答案规范化为简洁、可验证的形式。第二步是金文档检索，对每个问题执行在线引导：（1）将问题和参考答案拼接构建搜索查询以提高召回率；（2）通过Serper API检索Web内容；（3）清理和去重文档以移除样板文本。共提取10K份金文档。第三步是离线语料库构建，从FineWeb收集1500万文档，与金文档合并。第四步是语料库索引，使用Qwen3-Embedding-8B对每个文档进行向量化，构建FAISS索引。第五步是轨迹生成，提示教师模型：（1）仅使用提供的工具（search、open、find）；（2）在每次工具调用前逐步推理；（3）仅在确信最终答案时终止。教师模型在生成过程中无法访问参考答案，必须通过多轮搜索和推理解答。第六步是轨迹过滤，移除超过最大上下文长度、包含格式错误工具调用或未能在交互预算内得出结论的轨迹，最终获得97K+条轨迹。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在系统设计层面，这是首个将深度研究轨迹合成完全移至离线环境的开源流水线，实现了零API成本、无速率限制、完全确定性的大规模合成。其次，在工具抽象层面，三原语浏览器设计（search、open、find）是首次将人类浏览行为建模为支持多尺度信息发现的最小操作集合，特别是find操作的引入使得显式证据定位成为可能，这在以往的智能体搜索系统中是缺失的。第三，在分析方法层面，离线环境的可控性使得研究者能够进行前所未有的深入分析：精确追踪金文档的检索和打开时机、量化检索成功与最终答案正确性的关系（P(correct|search-hit)=61.84% vs P(correct|open-hit)=86.72%）、以及系统性地消融流水线设计选择。第四，在实证发现层面，本文揭示了反直觉的结果——最终答案正确性本身不是SFT训练价值的主导指标（正确轨迹54.81% vs 错误轨迹55.06%），这对未来数据筛选策略有重要指导意义。
实验结果
本文在多个深度研究基准上进行了全面评估，取得了显著成果。在封闭网络搜索基准BrowseComp-Plus上，OPENRESEARCHER-30B-A3B达到54.8%的准确率，大幅超越强基线包括GPT-4.1（36.4%）、Claude-4-Opus（36.8%）和DeepSeek-R1（16.4%），相比基座模型Nemotron-3-Nano-30B-A3B（20.8%）绝对提升34.0个百分点。在开放网络基准上，模型在BrowseComp、GAIA和xbench-DeepSearch上分别达到26.3%、64.1%和65.0%，与前沿模型保持竞争力，同时大幅超越现有开源系统如ASearcher-QwQ-32B（5.2%/52.8%/42.0%）和WebDancer-QwQ-32B（3.8%/51.5%/39.0%）。轨迹分析显示成功轨迹平均使用38.4次工具调用，失败轨迹需要71.7次，表明失败源于低效的搜索策略而非探索不足。Pass@1为0.567，Pass@16升至0.792。消融研究揭示关键发现：仅用正确轨迹（54.81%）、仅用错误轨迹（55.06%）和混合轨迹（54.46%）训练效果几乎相同；移除金文档导致BrowseComp-Plus准确率从54.81%骤降至6.35%；完整浏览器工具（search+open+find）比search-only提升18.31个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BrowseComp-Plus（封闭网络搜索） | 准确率(%) | 54.8 | GPT-4.1: 36.4, Claude-4-Opus: 36.8, Nemotron-3-Nano: 20.8 | 比基座模型提升+34.0个百分点，比最强商业模型GPT-4.1提升+18.4个百分点 |
| BrowseComp（开放网络搜索） | 准确率(%) | 26.3 | OpenAI o4-mini: 28.3, DeepSeek-R1: 8.9, ASearcher-QwQ-32B: 5.2 | 大幅超越开源深度研究系统，与强商业模型接近 |
| GAIA（通用AI助手） | 准确率(%) | 64.1 | Claude-4-Sonnet: 57.6, Kimi-K2: 57.7, Nemotron-3-Nano: 50.5 | 超越所有基线，包括商业模型Claude-4-Sonnet（+6.5个百分点） |
| xbench-DeepSearch（深度搜索） | 准确率(%) | 65.0 | OpenAI o4-mini: 67.0, Claude-4-Sonnet: 64.0, DeepSeek-R1: 55.0 | 与最强商业模型OpenAI o4-mini接近（-2.0个百分点），超越Claude-4-Sonnet |
局限与改进
尽管本文取得了显著成果，仍存在多个值得关注的局限性。首先，在语料库构建方面，离线语料库基于FineWeb的1500万文档构建，虽然规模庞大但仍然无法完全模拟真实Web的覆盖范围和动态性。金文档的收集依赖于Serper API的一次性引导，这意味着如果某些问题的答案证据不在FineWeb语料库中，即使在线引导找到了金文档，离线环境也可能无法充分支持。其次，在教师模型依赖方面，使用GPT-OSS-120B作为教师模型虽然强大，但该模型本身并非开源，这与"完全开源"的目标存在一定张力。第三，在评估范围方面，虽然涵盖了多个基准，但主要集中在英语环境，对多语言深度研究能力的评估不足。第四，在成本分析方面，虽然离线合成的边际成本为零，但初始的语料库构建（包括金文档检索和FAISS索引构建）仍需要显著的一次性投入。第五，在轨迹质量方面，约43.3%的合成轨迹最终未能得出正确答案，这些失败轨迹虽然在训练中仍有一定价值，但其质量控制和筛选策略仍有优化空间。此外，论文未详细讨论在不同领域（如医学、法律等专业领域）的泛化能力。
独立分析的弱点
独立分析本文的弱点，可以从以下几个方面展开。第一，金文档覆盖率的脆弱性：消融研究显示移除金文档导致性能从54.81%骤降至6.35%，这表明系统对金文档的依赖性过强。在实际应用中，如果用户查询的答案证据不在预构建的语料库中，系统可能完全失效。改进方向可以包括动态扩展语料库的机制，或开发更鲁棒的检索失败恢复策略。第二，教师模型的"黑箱"问题：虽然使用GPT-OSS-120B生成轨迹，但论文未深入分析教师模型的推理模式如何影响学生模型的学习。不同教师可能产生截然不同的搜索策略，这可能影响最终模型的行为特性。改进方向可以包括教师模型的消融研究或多教师集成策略。第三，轨迹过滤的粗糙性：当前仅过滤超长、格式错误或未得出结论的轨迹，未考虑轨迹的质量梯度。43.3%的失败轨迹可能包含有价值的中间推理，但也可能包含误导性的搜索模式。更精细的质量评分和过滤机制是必要的改进方向。第四，评估基准的局限：BrowseComp-Plus虽然是重要基准，但单一基准的评估可能无法全面反映深度研究能力，特别是在需要多步推理的复杂任务上。
未来方向
基于本文的成果，未来研究可以从多个方向延伸。首先，在环境扩展方面，可以将离线合成框架扩展到更多领域，如医学文献检索、法律案例研究、学术文献综述等，构建领域特定的深度研究智能体。其次，在工具创新方面，当前的三原语设计可以进一步丰富，例如添加summarize（文档摘要）、compare（多文档对比）、verify（事实验证）等操作，支持更复杂的认知任务。第三，在训练方法方面，虽然本文证明SFT的有效性，但结合强化学习（如使用轨迹质量作为奖励信号）可能进一步提升性能。第四，在多智能体协作方面，可以探索多个专门化智能体（如检索专家、推理专家、验证专家）的协作机制，而非依赖单一全能模型。第五，在动态语料库方面，开发支持增量更新的语料库系统，使智能体能够访问最新的信息，而非依赖静态快照。第六，在可解释性方面，利用离线环境的可控性，开发更精细的失败分析工具，帮助理解智能体在何时、为何做出错误决策，为改进提供更精确的指导。
复现评估
本文在复现性方面做出了显著贡献，堪称深度研究领域的标杆。开源方面，作者发布了完整的流水线代码、合成的轨迹数据、模型检查点以及离线搜索环境，托管在GitHub（https://github.com/TIGER-AI-Lab/OpenResearcher）。数据方面，提供了97K+条轨迹，覆盖广泛的推理时程（从10到100+工具调用），以及1500万文档的离线索引。算力方面，训练使用8块NVIDIA H100 GPU约8小时，序列长度256K tokens，347步训练，全局批量大小64，学习率 $5 \times 10^{-5}$。这种配置对于学术实验室是可实现的。复现难度方面，由于所有组件开源且离线环境完全确定性，理论上可以完美复现结果。但需要注意的是：（1）金文档的初始收集仍依赖Serper API，需要一定的API费用；（2）GPT-OSS-120B作为教师模型的可用性可能受限；（3）1500万文档的FAISS索引构建需要显著的存储和计算资源。总体而言，这是近年来复现性最好的深度研究工作之一，为社区提供了可直接使用的工具和数据。
论文图表
