野外的智能体搜索：来自1400万真实搜索请求的意图与轨迹动态分析 Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests
首次大规模分析1444万条智能体搜索日志，揭示意图驱动的查询重构模式
前置知识
Agentic Search（智能体搜索）
由LLM驱动的智能体执行的多步骤信息检索过程。与传统人类搜索不同，智能体可以规划并执行多次查询迭代，根据检索到的证据动态重构后续查询。智能体使用检索工具获取信息，然后基于返回的上下文决定是否需要进一步搜索、如何调整查询策略。这种搜索模式正在改变信息检索的基本范式，从单次查询结果列表转变为多轮证据收集与推理循环。
本文的核心研究对象就是智能体搜索行为，理解这一概念是把握全文分析框架的基础
Query Reformulation（查询重构）
在搜索会话中，用户或智能体根据前一步检索结果修改查询的过程。重构策略包括特化（增加约束使查询更具体）、泛化（移除约束使查询更广泛）、探索（转向相关但不同的子话题）和重复（几乎相同的重新表述）。传统搜索研究中人类用户的重构模式已被广泛研究，但智能体的重构行为可能存在本质差异。
本文提出了四类轨迹标签体系来分类智能体的重构模式，这是分析框架的关键组成部分
CTAR（上下文驱动的术语采纳率）
本文提出的新指标，量化在查询重构过程中新引入的术语有多少可以词汇化地追溯到之前检索到的证据。计算公式为新查询术语中出现在累积证据上下文中的比例。CTAR有两种变体：last-step CTAR仅考虑最近一步的证据，aggregated CTAR考虑所有历史步骤的证据。该指标使用精确匹配而非语义相似度，以确保可解释性和跨域鲁棒性。
这是本文的核心创新贡献，用于衡量智能体是否在后续查询中利用了先前检索到的证据
Sessionization（会话分割）
将原始搜索日志流分割为有意义的会话单元的过程。本文采用语义连续性准则结合显式时间约束来进行会话分割：对于来自同一IP的查询，使用训练好的MLP分类器计算语义连续性分数，超过阈值0.5且时间间隔不超过10分钟的查询归入同一会话。这种基于语义的方法比纯时间窗口启发式更可靠。
会话分割是分析的基础，直接影响后续所有会话级和轨迹级分析的准确性
DeepResearchGym（DRGym）
一个面向研究的可复现搜索API平台，由外部智能体客户端访问。该平台对检索模型无关，作为检索后端而非单一部署的智能体运行。后端在ClueWeb22和FineWeb两个大规模英语语料库上执行稠密检索。日志记录了查询文本、请求参数、时间戳和检索深度等信息，但不包含客户端侧的模型、提示策略或记忆策略。
本文分析的1444万条日志均来自DRGym，理解该平台特性对于评估研究结论的适用范围至关重要
研究动机
LLM驱动的搜索智能体正越来越多地用于多步骤信息检索任务，但信息检索研究社区对智能体搜索会话如何展开、检索到的证据如何影响后续查询缺乏经验性理解。现有基准测试的分数虽然能展示智能体能力，但无法揭示智能体的查询如何跨步骤演化，也无法展示上下文如何被反映在后续查询中。这些问题对实际系统设计至关重要：智能体可能会在重复或过度狭窄的重构上浪费检索预算，未能探索替代方面，或在步骤间携带很少有用的上下文。更关键的是，由于智能体以程序化方式消费结果，没有留下直接的有用性信号痕迹，日志缺乏传统行为推断所依赖的隐式反馈信号如点击。
本文的目标是本文的具体目标是通过大规模日志分析来填补对智能体搜索行为经验性理解的空白。作者旨在从两个互补层面分析智能体搜索：会话级别的意图（智能体试图完成什么）和轨迹级别的查询重构（智能体如何通过逐步搜索动作追求目标）。具体目标包括提供来自可复现搜索基础设施的大规模行为特征化、引入CTAR指标来量化证据条件下的查询演化、从日志中识别候选设计信号包括重复感知停止和意图自适应检索预算和跨步上下文跟踪。
与已有工作不同的是，本文的独特切入角度在于从真实野外日志而非受控基准测试来研究智能体搜索行为。与现有人类智能体比较研究不同，本文提供了自主智能体在共享检索后端下大规模运行的观察视角。关键区别包括数据规模空前达1444万搜索请求和397万会话、保持了API级可观察痕迹与不可观察的客户端侧提示记忆和控制策略之间的区分、提出了词汇化证据可追溯性视角通过CTAR在不依赖注意力信号的情况下测量查询重构与检索证据的一致性。
核心方法
本文的方法框架包含三个核心组件，形成了从原始日志到行为洞察的完整分析管线。整体思路是首先将原始API日志通过语义连续性模型分割为有意义的会话，然后在会话级和轨迹级两个粒度上对行为进行标注和测量，最后通过CTAR指标量化查询演化与检索证据之间的词汇化可追溯性。技术路线上作者采用LLM-as-a-judge管线进行意图和轨迹标签标注，离线重放日志查询以重构每一步返回的证据，并使用精确匹配而非语义相似度来保守地审计证据使用。
本文的核心创新点是提出了Context-driven Term Adoption Rate指标，这是首个系统性量化智能体搜索中证据条件下查询演化的度量标准。与传统隐式反馈分析依赖点击和停留时间不同，CTAR采用可追溯性视角：当智能体在第k+1步引入新查询术语时，这些术语是否出现在之前步骤返回的证据中？关键设计决策是使用精确匹配而非语义相似度，因为精确匹配不需要阈值调优、跨域和查询风格鲁棒、且是保守的。CTAR有两种变体：CTAR last仅追踪到最近一步的证据，CTAR agg追踪到所有历史步骤的累积证据。
方法步骤详情
方法步骤如下：第一是数据预处理和会话分割，移除格式错误条目和异常重复突发，然后使用语义连续性准则结合10分钟硬截止进行会话分割，为每个IP维护活跃会话，使用训练好的3层MLP计算查询对的连续性分数。第二是会话级意图标注，采用三类分类法包括Declarative事实检索、Procedural方法执行、Reasoning复杂综合，使用gpt-5-nano对长度在2到10之间的多轮会话进行标注。第三是轨迹级重构标注，对每个相邻查询对标注轨迹类型。第四是证据重建和CTAR计算，由于原始日志不存储检索文档，作者使用原始日志参数离线重放查询来重建证据。
技术新颖性
本文的技术新颖性体现在多个层面：首先CTAR指标本身是全新的，此前没有系统性地量化智能体搜索中查询演化与检索证据之间词汇化可追溯性的方法。其次精确匹配而非语义相似度的设计选择具有方法论意义，它使结果不依赖于特定嵌入模型，可解释性强，且作为保守估计有明确的语义边界。第三会话分割采用语义连续性模型而非传统时间窗口启发式，专门针对智能体快速并行请求模式进行了优化。第四意图轨迹双层分析框架首次将人类搜索行为研究中的证据可追溯性视角系统性地应用于自主智能体。
实验结果
本文的核心发现可以归纳为以下几个方面：第一是会话结构特征，397万会话中47.77%为单查询会话，多轮会话中90%长度不超过10步，56.12%的步间间隔在0到10秒内，89.21%在1分钟内，远快于人类搜索的典型停留时间，检索深度主要集中在1、5、10，只有1.35%的会话在步间改变K值。第二是意图条件化行为，Declarative事实检索占88.64%，Reasoning推理分析占7.41%，Procedural方法执行占3.96%，Declarative会话使用最浅的检索深度但交互成本最高。第三是轨迹动态，所有意图中智能体主要通过局部编辑收紧约束，显式泛化始终是最少使用的动作不到11%呈现下钻偏见。第四是CTAR分析，整体CTAR为54.35%，aggregated context比last-step context高出5.81个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 会话级意图分类一致性 | Inter-model Agreement | 95.15% | 首次系统标注 | 基线建立 |
| 会话分割语义连续性分类 | Held-out Accuracy | 94.19% | 传统30分钟时间窗口 | 语义方法更优 |
| 证据可追溯性整体 | CTAR Aggregated | 54.35% | CTAR Last-step 48.54% | +5.81pp |
| 特化轨迹证据可追溯性 | CTAR Aggregated | 78.35% | 重复轨迹CTAR 20.92% | +57.43pp |
| 基准测试语义重叠检查 | Benchmark-overlapping Queries | 0.37% | 日志多样性验证 | 证明日志多样化 |
局限与改进
本文存在多个层次的局限性。作者明确承认的局限包括日志不包含成功标签如答案正确性任务完成度或用户满意度，因此无法直接将行为模式与下游结果质量关联。日志不暴露客户端侧的提示记忆或控制策略，证据应被解释为通过API可检索的证据而非智能体实际注意或保留的内容的直接观察。CTAR是词汇化可追溯性度量而非语义变体，低CTAR分数不一定意味着智能体忽略了证据因为语义释义和抽象不被计数。我自己的观察还包括数据来源单一可能不代表其他搜索API或私有部署的智能体行为，使用gpt-5-nano进行标注可能引入该模型特有的偏见。
独立分析的弱点
本文的弱点和改进方向可以从几个维度分析。首先CTAR作为词汇化精确匹配指标存在固有的保守性偏差，它无法捕捉语义释义抽象推理或概念重组等高级证据使用形式，一个智能体可能从检索文档中学习了知识但用完全不同的术语表达这会被CTAR计为不可追溯，改进方向是引入软匹配变体结合嵌入相似度但使用可解释的阈值。其次会话分割的语义连续性模型虽然准确率达94.19%但在处理智能体突然切换话题时可能过度假设连续性，可以考虑引入显式的话题切换检测机制。第三意图分类仅使用三类粗粒度分类法可能掩盖了更细粒度的行为差异，改进方向是采用层次化意图分类体系。
未来方向
作者提出的未来研究方向包括将重构动作与下游答案质量连接研究哪些形式的回溯和证据重用是有益的，评估控制器干预是否能提高效率或答案质量，在可复现检索设置下进行意图感知分析和控制的智能体搜索系统研究。基于本文成果可延伸的方向包括开发重复感知停止策略当检测到持续高稳定性重复循环时自动切换到探索或泛化策略，实现意图自适应检索预算分配目前91.64%的请求使用固定K值未来可根据检测到的意图类型动态调整检索深度，构建跨步上下文跟踪模块利用CTAR信号缓存先前证据并在后续查询制定中呈现有用术语。
复现评估
本文在可复现性方面做出了显著努力。作者已将匿名化日志发布到公开的HuggingFace数据集仓库，移除了直接标识符如IP地址并对自由文本字段应用了标准PII清洗。数据集包含重现分析所需的所有字段包括查询文本检索深度ANN复杂度数据集时间戳匿名会话ID。然而完全复现存在一些挑战：完整的DRGym检索后端需要单独部署，LLM标注使用了gpt-5-nano需要OpenAI API访问权限和相应成本，会话分割的语义连续性模型的训练数据和代码未明确说明是否包含在发布中。算力方面主要成本在于1444万查询的预处理和397万会话的LLM标注。
论文图表
该图包含三个子图：请求的地理分布显示请求来自25个国家最大份额来自中国和美国；10万随机样本的成对查询相似度分布均值0.12接近随机向量基线表明查询语义多样化；查询频率分布显示长尾分布特征53.89%的不同查询最多出现3次38.38%为单例查询。
该图验证了日志数据的代表性和多样性，证明分析基于多样化开放使用而非狭窄的重复模式
该热力图展示了轨迹类型之间的转移概率矩阵行归一化。对角线元素表示同类型轨迹连续出现的概率，探索和重复倾向于形成多步连续序列。关键发现是泛化经常作为短暂重置近一半的Generalization动作后跟Specialization。
该图揭示了轨迹转换的动态机制特别是重置再精炼模式的量化证据