← 返回 2026-04-08

从智能体轨迹中学习检索 Learning to Retrieve from Agent Trajectories

Yuqi Zhou, Sunhao Dai, Changle Qu, Liang Pang, Jun Xu, Ji-Rong Wen 📅 2026-03-30 👍 72 2026-07-13 08:36
信息检索 对比学习 智能体搜索 检索增强生成 轨迹学习
arXiv HuggingFace PDF

提出LRAT框架，利用AI智能体的搜索浏览轨迹数据训练检索模型，实现智能体对齐的信息检索

前置知识

Deep Research Agent

基于大语言模型的智能搜索系统，采用ReAct式多轮交互模式。通过[Think]分析状态、[Search]发出查询、[Browse]浏览文档、[Answer]生成答案四步循环，自主分解复杂问题并动态调整策略，在数百轮交互中构建证据网络。

本文的核心分析对象，理解智能体的多轮交互模式是理解为何传统检索方法失效的基础

Learning to Rank

信息检索经典训练范式，通过用户点击、停留等交互数据学习文档排序。包括点对、成对、列表三种优化目标，形成数据飞wheel持续改进排序质量。依赖人类行为假设，与智能体搜索场景存在根本性不匹配。

本文要挑战的传统范式，对比展示其与智能体搜索场景的根本性不匹配

研究动机

传统检索系统是为人类用户设计的，学习排序方法严重依赖人类交互日志（如点击和停留时间）。然而，随着LLM驱动的搜索智能体的快速兴起，检索越来越多地被智能体而非人类直接使用，并作为多轮推理和行动循环中的核心组件。这种根本性的使用场景转变导致基于人类中心假设训练的检索模型与智能体实际使用方式之间存在根本性不匹配，体现在三个关键方面：智能体查询发出不是为满足即时信息需求，而是为了推进问题解决过程中的中间推理目标，导致相关性模式与人类用户不同；智能体对检索结果的消费方式是迭代的，需要在多个轮次中持续整合信息；智能体的相关性信号表达更复杂，包括浏览决策、推理痕迹等多维度信息。实验数据显示，失败的智能体轨迹中[Browse]/[Search]比例仅为0.20，而成功轨迹达到0.31，表明传统检索器在智能体场景下难以提供有效信息。更关键的是，传统检索器无法理解智能体的中间推理状态，无法提供与当前推理步骤高度相关的文档，这直接限制了智能体的任务完成能力和执行效率。

本文的目标是提出从智能体轨迹中学习检索（LRAT）作为一种新的训练范式，其中监督信号直接来源于多步智能体交互，使检索模型训练与智能体行为内在对齐。核心目标包括：(1)系统分析深度研究智能体轨迹，识别能可靠指示文档效用的关键行为信号；(2)设计框架从轨迹中挖掘高质量检索监督信号，包括正负样本构造和相关性强度估计；(3)验证LRAT在同域和跨域深度研究基准上的有效性，展示其跨不同智能体架构和规模的可泛化性；(4)探索基于轨迹监督的数据飞wheel机制，证明智能体轨迹可以作为可持续的监督来源，类似于人类点击日志在传统搜索引擎中的作用。通过实现这些目标，LRAT旨在建立智能体时代的检索训练新范式，使检索系统能够更好地服务于AI智能体的信息需求。

与已有工作不同的是，现有工作主要关注优化智能体本身，如改进推理策略、动作选择或答案生成，将检索模型视为静态的现成工具（如Google Search API、BM25或密集嵌入模型），忽略了静态检索器与交互式多步智能体搜索之间的根本性不匹配。传统RAG研究探索了检索器优化，但主要针对基于用户初始显式查询的单轮检索，而智能体搜索是多步交互式的，查询是智能体在推理过程中生成的中间动作，高度动态且无法基于最终答案判断正确性。例如，智能体可能查询'2017年合并事件'，但这个查询本身无所谓对错，关键在于它是否帮助推进了推理过程。本文是首次系统性分析智能体轨迹并直接从中提取检索监督的工作，核心创新在于将监督来源从人类显式反馈转向智能体交互行为，提出了基于轨迹的加权对比学习框架，这与传统将人类行为视为检索优化唯一来源的做法形成了根本性区别。

核心方法

LRAT采用多阶段渐进式方法从智能体轨迹中挖掘高质量监督信号。整体思路是先利用粗粒度的浏览行为获取朴素正样本，然后用浏览后推理痕迹过滤噪声，最后通过推理长度估计相关性强度并加权训练。直觉上，智能体选择浏览的文档是有用的，浏览后的推理越长说明文档越有用，而未被浏览的文档可以视为可靠的负样本。技术路线包括：从[Search]→[Browse]转换中提取查询-文档对，用LLM判断推理痕迹是否真正利用了文档内容，基于推理长度计算权重，最终用加权的InfoNCE损失训练密集检索器。框架使用Tongyi-DeepResearch-30B-A3B在10K InfoSeekQA查询上生成的26,482个正确轨迹，产出91,713个训练样本对，无需额外人工标注。LRAT的关键洞察是智能体轨迹天然蕴含丰富的监督信号，因为每次成功的任务完成都隐含着对哪些文档真正有用的判断，而多轮推理过程则提供了文档效用的细粒度度量。

与依赖点击和停留时间的传统学习排序方法不同，LRAT利用智能体的三个独特行为信号：浏览行为作为任务成功的必要条件，未浏览文档作为无位置偏差的可靠负样本，浏览后推理痕迹作为相关性强度的强指标。核心创新是设计了推理感知的正样本过滤和相关性强度加权机制，通过指数饱和函数将推理长度映射为训练权重 $w = \frac{1}{\mu_{raw}}(1-\exp(-\frac{\ln2}{\beta}l))$，使触发更深度推理的文档在训练中发挥更大作用。实验显示该过滤器可保留97.2%的地面真值证据文档，同时保留74.8%的浏览非证据文档，平衡了降噪和保留智能体特定效用。另一个关键创新是混合负采样策略，结合同候选集的未浏览文档和批次内负样本，提高判别能力。与传统将所有正样本同等对待的做法不同，LRAT认为不同文档对任务贡献不同，应该根据推理长度加权训练，这与传统基于停留时间的加权学习有异曲同工之妙，但针对的是智能体推理而非人类阅读停留。

方法步骤详情

LRAT分四步：第一步朴素相关性挖掘，从[Search]→[Browse]转换提取查询-文档对，浏览文档为正样本，未浏览为负样本，基于分析发现无位置偏差。第二步推理感知过滤，用LLM判断推理是否利用文档内容，标记Relevant或Irrelevant，保留97.2%证据文档。第三步相关性强度估计，基于推理长度计算权重 $w = \frac{1}{\mu_{raw}}(1-\exp(-\frac{\ln2}{\beta}l))$，用指数饱和函数映射，$\beta$为中位推理长度。第四步加权对比学习，用加权InfoNCE损失训练，$\tau=0.02$，负样本包含未浏览文档和批次内负样本。使用26,482个轨迹产出91,713样本对。

技术新颖性

LRAT的技术新颖性体现在三个方面：首次系统性分析深度研究智能体轨迹，提出从轨迹中学习检索的新范式，将监督来源从人类反馈转向智能体行为；设计推理感知的正样本过滤机制，利用LLM判断推理痕迹是否真正利用文档内容，相比传统基于浏览行为的朴素方法显著降低噪声；引入推理长度加权机制，通过指数饱和函数将推理长度映射为训练权重，使触发深度推理的文档发挥更大作用，这不同于传统将所有正样本同等对待的做法。实验验证在BrowseComp-Plus上平均召回率提升28.6%，成功率提升27.5%。

Our proposed LRAT retrievers training framework using deep research agent interactions
Figure 5: Our proposed LRAT retrievers training framework using deep research agent interactions
Distribution of thought token lengths after browsing actions
Figure 6: Distribution of thought token lengths after browsing actions

实验结果

在InfoSeek-Eval同域测试集和BrowseComp-Plus跨域测试集上，LRAT在所有检索器和智能体骨干上都取得了显著提升。在BrowseComp-Plus上，使用Qwen3-Embedding-0.6B作为检索器时，六个智能体骨干（AgentCPM-Explore 4B、WebExplore 8B、Tongyi-DeepResearch 30B、GPT-OSS 120B、MiniMax-M2.1 229B、GLM-4.7 358B）的平均证据召回率提升28.6%，成功率提升27.5%。GLM-4.7的召回率从66.6%提升到77.8%（+16.8%），成功率从43.9%提升到54.6%（+24.4%）。在InfoSeek-Eval上，GLM-4.7的成功率从67.7%提升到82.0%（+21.1%绝对提升），平均步数从27.5降至18.5（-32.7%），表明LRAT不仅提高成功率还提升效率。LRAT对E5-Large也有改进，但幅度较小，如GLM-4.7+ E5-Large成功率从73.7%提升到81.7%（+10.9%），说明其效益在不同架构上存在差异。跨域测试显示LRAT在OOD数据上同样有效，MiniMax-M2.1跨域召回率提升21.0%，GLM-4.7提升16.8%，证明了方法的泛化能力。消融实验使用Qwen3-Embedding-0.6B在BrowseComp-Plus上，仅使用浏览行为（Naive, n=120,579）时GLM-4.7成功率为48.3%，加入LLM过滤（Filter, n=91,713）后提升到52.6%，再加入推理长度加权（Reweight）达到54.6%，验证了渐进式设计的有效性。数据规模分析表明LRAT能从更多轨迹数据中持续获益，使用30K轨迹比10K轨迹在GLM-4.7上额外带来7.4%成功率提升（52.6% vs 43.9%）。检索预算实验显示增加Top-K并不总是单调提升性能，GLM-4.7在K=20时性能下降，但LRAT在所有K值上都优于基线。轨迹正确性实验显示即使使用不正确轨迹训练，检索器仍优于基线，但正确轨迹收益更大，表明中间交互仍包含有效信号。数据飞wheel模拟展示了持续迭代的潜力，在五轮迭代中GLM-4.7的成功率从43.9%稳步提升到54.6%，证据召回率从66.6%提升到77.8%，证明了可持续的数据飞wheel机制。

Statistics of generated trajectories across different retrievers
Table 1: Statistics of generated trajectories across different retrievers
Results on task-optimized search agents and generalist agentic foundation models with different retrievers on in-domain (ID) InfoSeek-Eval and out-of-domain (OOD) BrowseComp-Plus benchmarks
Table 2: Results on task-optimized search agents and generalist agentic foundation models with different retrievers on in-domain (ID) InfoSeek-Eval and out-of-domain (OOD) BrowseComp-Plus benchmarks
Trajectory correctness ablation
Table 3: Trajectory correctness ablation
Overview of LRAT gains across six agent backbones with Qwen3-Embedding-0.6B as the retriever
Figure 1: Overview of LRAT gains across six agent backbones with Qwen3-Embedding-0.6B as the retriever
Ablation study: components are incrementally added
Figure 7: Ablation study: components are incrementally added
Agent performance with varying training data sizes and retrieval top-K settings
Figure 8: Agent performance with varying training data sizes and retrieval top-K settings
Data flywheel simulation in the single-column layout
Figure 9: Data flywheel simulation in the single-column layout
查看结构化数据
任务指标本文基线提升
InfoSeek-Eval (同域) 成功率 82.0% 67.7% +21.1%
InfoSeek-Eval (同域) 平均步数 18.5 27.5 -32.7%
BrowseComp-Plus (跨域) 证据召回率 77.8% 66.6% +16.8%
BrowseComp-Plus (跨域) 成功率 54.6% 43.9% +24.4%

局限与改进

作者未明确讨论实际部署中的隐私和伦理问题，轨迹数据可能包含用户敏感信息，需要仔细脱敏。LRAT依赖于智能体生成的推理痕迹质量，低质量智能体可能产生不可靠的监督信号。方法在通用模型（E5-Large）上的改进幅度相对较小，表明某些架构对轨迹监督的敏感性有限。评估仅在特定的搜索智能体和检索器组合上进行，扩展到更多架构和任务时效果可能不同。计算开销需要额外LLM判断步骤，训练过程比传统方法更复杂。轨迹收集需要智能体具有多轮交互能力，不适用于单轮检索场景。权重函数中的参数 $\beta$ 需要数据统计确定，在新领域应用时可能需要重新调优。此外，方法假设智能体的推理质量能够反映文档效用，但如果智能体本身推理能力有限，可能会误判文档价值。评估主要在英文语料上，其他语言的效果需要验证。

独立分析的弱点

LRAT对智能体轨迹的依赖限制了其适用范围，需要智能体采用ReAct式交互并生成推理痕迹，不适用于单轮检索或不暴露内部推理的系统。LLM判断器可能引入额外偏见或错误，过滤步骤的准确性依赖于判断模型能力，不同判断器可能产生不同结果。推理长度作为相关性代理存在局限性，某些智能体可能产生冗余推理或简洁推理，导致权重估计不准确。方法主要在检索器层面优化，未考虑与智能体推理模块的联合训练，可能仍有优化空间。评估基准相对有限，主要在信息检索任务上验证，扩展到代码搜索、科学文献搜索等场景需要进一步研究。权重函数设计基于指数饱和假设，实际文档效用与推理长度的关系可能更复杂。对于某些任务，短而精确的推理可能比长而冗余的推理更有价值，这时长度加权可能产生误导。另外，方法假设轨迹中包含足够的正负样本，但对于罕见查询或新领域，可能难以收集足够的轨迹数据。

未来方向

作者提出的方向包括扩展轨迹监督到更多检索架构（如稀疏检索、混合检索）和智能体系统，探索跨域泛化能力，以及在真实生产环境中部署数据飞wheel机制。基于成果可延伸的方向：探索其他轨迹信号（如多轮交互中的查询演化模式、智能体状态变化），设计自适应的权重函数替代固定的指数饱和，研究联合优化检索器和智能体推理模块的端到端方法，将LRAT扩展到多模态检索场景（图像、视频轨迹分析），以及开发轻量化的推理痕迹分析算法降低计算开销。另一个方向是研究不同智能体架构产生的轨迹特征差异，设计架构感知的监督挖掘策略。还可以探索在无轨迹标签的情况下如何利用伪轨迹进行预训练，或者研究如何将人类反馈和智能体轨迹结合起来形成混合监督。对于实际部署，可以研究在线学习和增量更新策略，使检索器能够实时适应智能体行为的变化。最后，探索LRAT在其他智能体应用场景中的适用性，如代码生成、科学研究助手等。

复现评估

论文提供了GitHub仓库和项目主页，包含代码和数据集链接，开源情况良好。轨迹生成使用InfoSeekQA的10K查询作为种子数据，语料库是Wiki-25-Dump（1120万文档块，每块512 tokens），可通过HuggingFace获取。智能体配置使用Tongyi-DeepResearch-30B-A3B，最多100轮交互，最终答案通过Qwen3-30B-A3B-Thinking-2507验证。检索器训练使用FlagEmbedding框架，配置为2个epoch、批量大小32、学习率 $1e^{-6}$、最大输入512 tokens、组大小10、温度0.02。实验覆盖了4B到358B参数规模的6个智能体骨干，计算需求较高，需要访问多个大规模模型。复现需要一定的算力资源，特别是轨迹生成阶段需要运行30B参数的智能体。代码和数据开源降低了复现难度，但完整复现所有实验可能仍需较多计算资源。作者提供了详细的超参数设置和实验配置，有助于重现结果。需要注意的是，不同硬件环境可能导致略有不同的性能数字，但整体趋势应该一致。对于研究者来说，可以先用较小规模的模型和数据进行初步验证，再扩展到完整设置。

论文图表

Illustration of the search paradigm shift where the retriever's target changes from humans to agents
Figure 2: Illustration of the search paradigm shift where the retriever's target changes from humans to agents

Figure 2通过对比传统检索和智能体检索的范式转变，清晰展示了核心问题。传统检索使用人类日志（点击、停留时间）训练，服务人类搜索；智能体检索使用智能体轨迹（多步交互、推理痕迹）训练，服务智能体搜索。图中用箭头明确表示了训练数据和服务目标的转变，突出了训练数据与服务对象之间的不匹配。这个转变反映了搜索技术的演进：从服务人类直接的信息需求，到支持智能体的自主推理过程。图中的对比设计让读者一眼就能看出论文要解决的核心矛盾：检索器的训练目标（人类）与实际服务对象（智能体）不一致。这种不匹配是LRAT要解决的根本问题，也是论文创新的出发点。图的简洁设计使其成为论文中最直观的概念说明。

这张图直观呈现了论文要解决的核心问题，帮助读者快速理解智能体搜索带来的范式转变

Figure 3: An example of Deep Research Agent trajectory

Figure 3展示了一个完整的深度研究智能体轨迹示例，用户查询是'Which station merged with Immaculate Heart Radio in 2017?'。轨迹包含多轮[Think]、[Search]和[Browse]动作：智能体先思考'No merger info yet. Let's search for the 2017 merger details'，搜索'Immaculate Heart' 'merged' '2017'，获得10个结果包括Doc[2295]；接着思考'Doc [2295] mentioned Relevant Radio. It might contain the specific merger date. Let's read it'，浏览Doc[2295]；经过多轮中间交互后，最终思考'I have found the answer'并生成答案'The station is WMJR (Nicholasville, KY)'。这个示例清晰展示了ReAct风格的交互模式和LRAT要利用的轨迹结构，特别是[Search]→[Browse]转换和浏览后的推理痕迹。示例中的思考内容展示了智能体如何基于已有信息调整搜索策略，这正是LRAT要利用的监督信号来源。通过这个具体例子，读者可以理解为什么浏览行为和推理长度能够反映文档效用。

这个示例是理解智能体轨迹结构和LRAT监督信号来源的基础，帮助读者直观把握[Search]→[Browse]转换和推理痕迹的含义

Trajectory analysis on BrowseComp-Plus
Figure 4: Trajectory analysis on BrowseComp-Plus

Figure 4的四个子图展示了轨迹分析的关键发现。图(a)显示动作转移概率，正确轨迹中[Search]→[Browse]的概率为92.9%，明显高于不正确轨迹的77.0%，而[Search]→[Search]（循环搜索）的概率正确轨迹仅为7.1%，不正确轨迹达23.0%，表明浏览是成功的必要条件。图(b)显示准确率与浏览证据文档数量单调正相关，浏览0个证据文档时准确率降为0，浏览6-7个时达到约60%。图(c)显示浏览行为的排名位置分布相对均匀（约10% per position），不像人类点击强烈集中在顶部，表明无位置偏差，支持将未浏览文档作为可靠负样本。图(d)显示正确轨迹的浏览后推理长度显著长于不正确轨迹（中位约150 vs 100 tokens），证据文档的推理也长于非证据文档（约150 vs 80 tokens），验证了推理长度作为相关性指标的有效性。这四个子图从不同角度验证了LRAT的设计假设，每个发现都直接对应一个方法组件。图(c)的均匀分布是支持将未浏览文档作为可靠负样本的关键证据，这与人类点击的强烈位置偏差形成鲜明对比。

这些分析是LRAT设计的理论基础，每个发现都直接对应方法中的一个设计决策（浏览作为正样本、未浏览作为负样本、推理长度加权）