真实世界网络环境中的深度搜索

构建真实Web深度搜索基准：200任务，最强模型仅39.0%，人类21.1%

前置知识

Deep Search（深度搜索智能体）

指让 LLM 智能体自主完成检索—访问—整合闭环的研究范式：模型不满足于单轮检索，而是根据已有证据在线决策下一步搜索什么、访问哪个页面、如何处理资源，最终综合多源证据回答复杂问题。与 RAG 的本质区别在于搜索行为由模型在执行中自主规划，轨迹可长达数十甚至上百步工具调用，涉及搜索引擎、浏览器、文件处理等多类工具的协调。

本文的任务定义、基准构建与评估协议全部围绕深度搜索展开，理解它与普通检索增强的区别，才能明白为什么静态语料上的评估无法反映真实能力。

证据链与多跳推理

指从初始线索出发、经由多个相互依赖的中间实体最终到达答案的证据路径。每个中间节点都是下一跳检索的依据，任何一环断裂都无法到达答案。OpenDS-World 中每条证据链平均包含 3.94 个经人工验证的 Web 源条目（200 题共 787 条），答案由全链条约束共同唯一确定，且智能体事先不知道路径上有哪些站点。

OpenDS 任务的题目就是把证据链反转成约束谜题，理解证据链结构才能理解任务构造方式和难度来源，也才能读懂按注释条目数做的各类统计。

浏览器/GUI 智能体

通过模拟人类操作（点击、输入、滚动、截图、下载）与网页图形界面交互的智能体。相比直接抓取静态 HTML 或调用 API，GUI 智能体可以处理需要导航、参数选择、界面操作的动态网站，例如博物馆虚拟游览、筛选器面板、下载按钮等。本文的统一评估环境提供 16 个工具，其中浏览器类工具占一半以上。

论文把交互式访问需求列为真实 Web 的三大属性之一：67% 的任务需要页面导航、60% 需要文件转移，工具使用分析也围绕 Search 与 GUI 工具的协调展开。

LLM-as-Judge

用另一个 LLM 作为裁判来评估模型输出的正确性，通常基于候选答案与参考答案的语义等价性判断，避免严格字符串匹配带来的误判。本文使用 Qwen3.8-27B 作为裁判，要求候选答案语义等价且覆盖所有必答部分，其中数字、命名实体、日期、方向和列表成员必须正确，拒答或空答案判错。

OpenDS 的答案是自然语言形式的事实（如公园的 ugg_id、地名），评分依赖语义等价判断，裁判协议直接决定准确率数字的可信度。

人工难度校准（Human-calibrated Difficulty）

以人类解题者的实际表现为客观标尺给任务分级的做法。本文让 50 名解题者分 10 组、每人独立解 20 题（共 1000 次尝试，禁用 LLM 工具），按每题被解出的人数划分难度：Low 组为至少 2 人解出的 54 题、Medium 组为恰好 1 人解出的 61 题、High 组为 0 人解出的 85 题，使难度分层具有行为学依据而非主观估计。

主结果表、成本分析、证据属性分析全部按这三组展开，理解分组规则才能正确解读诸如 High 组准确率这类指标的含义。

研究动机

尽管 Deep Research 类智能体发展迅速，现有评估与真实 Web 的复杂性之间存在明显脱节。BrowseComp 类基准以纯文本问答为主，证据藏在静态页面中；MM-BrowseComp 等多模态基准虽引入图像和视频，但证据获取仍以检索后阅读为主；WebWalker、WebArena 等导航基准关注站内遍历，却不要求跨源证据整合。真实世界的开放 Web 中，信息分散在不同网站、文档与在线应用里，呈现三个相互交织的挑战：信息以文本、图像、音频、视频等多种模态存在；资源格式高度异构，HTML、PDF、MP4、RSS、Parquet、ZIP 等各有不同的解析要求；许多证据无法通过直接检索获得，必须经过页面导航、参数选择、时间定位、文件下载等交互操作才能露出。缺少同时覆盖这三个维度的基准，社区无法系统诊断智能体在证据获取这一环节的真实能力，也无法回答诸如更多工具调用是否带来更高准确率这类执行层面的问题。

本文的目标是本文要回答两个问题：如何形式化真实开放 Web 中的深度搜索任务，以及如何构造一个既可信又可复现的评估基准。具体目标包括三部分：其一，定义 OpenDS 任务——给定一段含真实世界信息的视频和文字问题，智能体须自主探索开放 Web，从多个独立来源发现、访问并连接证据，最终确定唯一的事实性答案；其二，构建 OpenDS-World 基准，包含 200 个横跨文化、日常生活、科学、经济、历史、自然、社会、技术八个领域的任务，覆盖 4 种信息模态、42 种资源格式与 7 类访问要求，并由 10 名独立审核者逐一验证证据有效性与答案唯一性；其三，在完全统一的工具环境与执行协议（3600 秒时间预算、100 次工具调用预算、相同的系统提示词）下评估 12 个前沿模型，并以 50 名人类解题者的 1000 次独立尝试作为难度标尺和性能基线，进而系统分析搜索成本、工具使用、终止行为与失败恢复。

与已有工作不同的是，本文的独特之处在于把证据获取过程而非答案本身作为评估对象，并通过一系列机制保证任务的不可作弊性。首先，每个任务从一段视频的视听内容出发设置初始锚点，锚点实体无法从视频页面的文字中获得，这从源头阻止任务退化为页面级文本搜索；其次，标注者沿证据路径递归扩展，要求每个节点被多个独立 Web 源交叉佐证，再把完整路径反转成相互依赖的间接约束，中间实体不被显式暴露，直接检索问题文本无法命中答案；第三，任务难度不靠专家主观估计，而是由 50 名独立人类解题者的 1000 次真实尝试校准，结果 42.5% 的任务无人解出；最后，评估在统一 harness 下进行并完整记录工具调用、终止原因与失败恢复轨迹，使模型比较从准确率排名深入到研究策略差异。此前没有任何基准同时做到锚点视频、多源验证、问题反转、人类校准和行为级分析这五件事。

核心方法

直觉上，OpenDS-World 的构造像设计一场现实世界寻宝竞赛：出题人先秘密走通一条埋在真实 Web 中的证据链，再把链条上每个节点的身份隐藏起来，只留下指向它们的间接线索，解题者必须重新走通这条路才能找到宝藏。技术上，任务构建分三个阶段。第一阶段（现实锚点）：专家从 500 个候选视频中筛选，通过联合分析连续视觉帧与音频内容确定可验证锚点，锚点实体必须依赖视听内容才能识别，且唯一对应一个有效的 Wikidata 条目；视频被存档并随基准分发以保证可复现。第二阶段（开放 Web 证据扩展）：标注者基于当前节点构造查询，用 Google 搜索候选来源，逐一审查后挑选语义相关且可验证的来源，同时兼顾模态、格式、访问类型多样性；从新来源提取实体作为下一节点，且每个节点须被多个独立 Web 源佐证，递归执行直到出现唯一稳定的终端节点作为参考答案。第三阶段（问题反转）：把整条证据链改写成一组相互依赖的间接指代约束，任何单一线索都不直接暴露目标实体。构建后由 10 名审核者独立验证，最后用 50 名人类解题者实测难度。评估端则搭建统一 harness，提供搜索、GUI 浏览、视频帧与字幕读取共 16 个工具，施加双重预算，超时或耗尽后进入禁用工具的收尾阶段。

核心创新可以概括为三属性、锚点视频、问题反转、人类校准四要素的组合。与已有工作的本质区别在于：BrowseComp 只要求在文本 Web 中坚持检索，本文要求智能体在同一任务里跨越三重异构性——模态（99.5% 任务含文本、44.5% 含图像、35.5% 含视频、16.0% 含音频）、格式（96% 任务涉及至少两种资源格式）与访问方式（95.5% 任务涉及至少两种访问类型）；锚点视频的设计让第一跳就必须做视听理解，封死了文本检索捷径；问题反转机制保证答案无法通过关键词搜索直接命中，必须恢复中间实体之间的潜在对应关系；而以人类解题人数划分 Low/Medium/High 三组（54/61/85 题），让任务难度第一次具备了行为学标尺。此外，本文不只报告准确率，还系统记录搜索成本、工具类别转移、终止原因与失败恢复行为，把深度搜索评估从结果对不对推进到研究过程是否高效合理——同一环境下 GPT-6 Astra 每任务平均 51.05 次调用、18.66 分钟达到 39.0%，而 Qwen3.8-Flash 用 89.94 次调用只有 12.0%，这种策略层面的洞察是以往静态基准无法提供的。

方法步骤详情

任务构建与评估共五步。第一步（现实锚点）：从 500 个候选视频中筛选，专家联合分析视觉帧与音频确定锚点实体，该实体须唯一映射到 Wikidata 条目且无法从视频页面文字获得，视频以只读形式随基准分发（通过保留标识 input_video 访问）。第二步（开放 Web 证据扩展）：标注者基于当前节点构造搜索查询，用 Google 搜索获得候选源集合，逐一检查后选择语义相关、可验证的来源（有意识覆盖不同模态/格式/访问类型），从中提取新实体作为下一节点；新节点须被多个独立 Web 源交叉佐证；递归执行直到得到唯一稳定的终端节点，最终 200 题共注释 787 条源条目、平均每题 3.94 条。第三步（问题反转）：将证据路径反转为相互依赖的约束集合，中间节点改写成间接指代描述，组合起来唯一确定参考答案。第四步（人工验证）：10 名独立审核者沿保存的来源链接复核完整证据路径，检查证据有效性（事实准确、多源可验证、相邻节点转换有据、锚点视听可识别）与任务有效性（线索对应、约束无冲突、答案唯一），含事实错误、证据不足或答案不唯一的候选任务直接剔除。第五步（人类测试与模型评估）：50 名人类解题者分 10 组各解 20 题，禁用 LLM 工具；模型评估在统一 harness 下进行，提供 16 个工具（文本/图像/视频搜索、浏览器导航与交互、视频帧采样 1-100 帧、字幕提取等），预算为 3600 秒和 100 次调用，若中途终止则进入禁用工具的收尾阶段，由 Qwen3.8-27B 裁判依据语义等价判定最终答案。

技术新颖性

技术新颖性体现在四个层面。基准构成上，787 条注释源条目横跨 4 种模态、42 种格式（含 FASTA、DICOM、ROOT、KML、GLB 等长尾格式，长尾条目占 13.72%）和 7 类访问操作（即时观察、超媒体跳转、参数化状态更新、时间索引、图形状态操纵、声明式查询、工件转移），这种以访问操作学为单位的形式化在以往基准中没有出现过。任务生成上，先走通再反转的构造方式结合多源交叉佐证与 10 人独立验证，兼顾不可作弊性与事实可靠性，不同于 WebShaper 等合成式任务生成。难度标定上，用 1000 次人类独立尝试的行为结果而非专家直觉定义难度分层，42.5% 任务无人解出这一事实本身就说明难度上限远超以往基准。评估方法上，统一的 16 工具 harness、双重预算与失败/终止/成本的行为学分析协议，把评估从静态问答分数扩展为对研究策略的刻画。附录 E 进一步把该环境定位为研究递归自我改进（RSI）的天然测试床：真实 Web 提供可验证且不可完全预设的反馈，失败调用占累计工具延迟的 19.3% 到 61.9%，这些信号可用于智能体的策略反思与修正。

**Figure 5**: Task diversity and statistics of OpenDS-World.

**Figure 10**: Task composition and annotated evidence structure of OpenDS-World.

**Figure 11**: Evidence attribute diversity within individual tasks.

实验结果

实验揭示四个层面的结论。第一，绝对水平低：12 个前沿模型中，GPT-6 Astra 以 39.0%（78/200）居首，Claude Opus 5.5 为 38.0%，Gemini 3.8 Flash 为 36.5%，Claude Fable 5.1 为 33.5%，其余模型均低于 34%，最强的模型仍在 61% 的任务上失败；作为对照，50 名人类解题者 1000 次尝试的总体准确率为 21.1%，42.5% 的任务没有任何人类解出，仅 1 个任务（0.5%）被全部 5 人解出，人类平均每次尝试耗时 38.8 分钟、主观难度均值 3.884/5。第二，难度分层显著：12 模型平均准确率从 Low 组 39.66% 降到 Medium 组 23.50%、High 组 16.76%；GPT-6 Astra 从 59.26% 降到 24.71%，而 High 组最佳是 Gemini 3.8 Flash（28.24%），说明模型排名随难度变化。第三，资源消耗与准确率脱钩：GPT-6 Astra 与 GPT-5.6 Sol 的总 token 几乎相同（187M 对 186M），准确率却相差 11 个百分点；Gemini 3.8 Flash 消耗约 5.22 倍 token 只换来 36.5%；DeepSeek-V4-Pro 耗时 148 小时、为 GPT-6 Astra（62 小时）的 2.39 倍，准确率仅 12.5%；Qwen3.8-Flash 平均 89.94 次调用为全场最多，准确率仅 12.0%。第四，过程行为差异大：GPT-6 Astra 69% 的任务自然终止，而 Qwen3.8-Flash 仅 6.5%、80% 耗尽调用预算；工具失败只占调用次数的 2.83% 到 9.42%，却消耗 19.27% 到 61.90% 的工具执行时间（GPT-6 Astra 为 6.34% 与 42.57%）；失败后换工具是主流策略（Claude Opus 5.5 约 83%），Kimi K3 与 GLM 5.3 偏好同工具改参重试（约 38% 与 37%）；只需 3 个注释源的任务中位工具调用也达 74 次，远超 3.94 的平均注释条目数，说明紧凑证据链会膨胀为漫长的探索轨迹。

**Table 1**: Main results on OpenDS-World.

**Table 2**: Long-tail resource formats and file types.

**Table 3**: Taxonomy of access requirements.

**Table 5**: Agent execution and context management settings.

**Table 6**: Modality results on OpenDS-World.

**Table 7**: Results by data format on OpenDS-World.

**Table 8**: Results by access requirement on OpenDS-World.

**Figure 1**: Model and human performance on OpenDS-World.

**Figure 6**: Search cost across models and task difficulties.

**Figure 7**: Tool-use patterns in real-world Web search.

**Figure 8**: Search termination, tool failures, and recovery behavior.

**Figure 9**: Budget exhaustion under the one-hour time limit and the 100-call tool-use limit.

**Figure 12**: Source requirements across difficulty groups.

**Figure 13**: Domain breakdown for all 12 models.

**Figure 14**: Model accuracy across video-duration groups on OpenDS-World.

**Figure 15**: Long-horizon execution in OpenDS-World.

查看结构化数据

任务	指标	本文	基线	提升
OpenDS-World 全集（200 任务）	答案准确率 (%)	GPT-6 Astra 39.0（78/200）	第二名 Claude Opus 5.5 38.0；人类 21.1	较第二名 +1.0pp；较人类 +17.9pp
High 难度组（85 任务，0/5 人解出）	答案准确率 (%)	Gemini 3.8 Flash 28.24	12 模型平均 16.76；GPT-6 Astra 24.71	较全体平均 +11.48pp
Low 难度组（54 任务，≥2/5 人解出）	答案准确率 (%)	GPT-6 Astra 59.26	12 模型平均 39.66	+19.60pp
声明式查询（Q）访问类型（13 任务）	答案准确率 (%)	GPT-6 Astra 61.54	Kimi K3 0.00（最低）	模型间极差达 61.54pp，为所有访问类型中分化最大
Token 效率（200 任务总计）	总 token 消耗 → 准确率	GPT-6 Astra 187M → 39.0%	Gemini 3.8 Flash 976M → 36.5%	以约 1/5.22 的 token 取得更高准确率
人类基线（1000 次独立尝试）	总体准确率 (%)	基准实测 21.1（211/1000 正确）	最强模型 GPT-6 Astra 39.0	为任务难度提供人类行为标尺，42.5% 任务人类全数失败

局限与改进

作者承认的局限包括：任务规模仅 200 题，细粒度子集（如仅 13 个含声明式查询的任务）上的统计不稳健；评估依赖单一 LLM 裁判（Qwen3.8-27B）的语义等价判断，可能存在误判；锚点视频时长与难度的关系被明确声明不构成因果（附录 D.3）；统一预算对不同模型并非同等约束——Gemini 3.8 Flash 与 Qwen3.8-Flash 主要被调用数卡住（仅调用上限耗尽占 37.0% 与 80.0%），而 Claude Fable 5.1、Kimi K3、GLM 5.3 主要被时间卡住（28.0%、29.5%、41.0%），预算结构本身会塑造观察到的策略。我自己的观察还有四点：其一，人类基线（21.1%）低于最强模型（39.0%），意味着 High 组 85 题（占 42.5%）对人类几乎不可解，这些任务的答案唯一性主要依赖标注与审核链条的自洽，潜在错误很难被外部发现；其二，真实 Web 动态变化，787 条注释源条目会随时间失效或被改动，长期可复现性依赖视频与资源的存档机制，而这与真实开放 Web 的定位之间存在张力；其三，all-or-nothing 的准确率无法区分走到倒数第二步失败与完全迷路，论文虽注释了完整证据链却未报告中间跳的命中率等过程级指标；其四，所有任务均以视频为锚点，对无视频输入的常规研究型查询代表性有限，结论外推时需谨慎。

独立分析的弱点

独立来看，本工作有五个可改进点。第一，任务形态单一：全部任务以视频锚点加链式事实问答构成，未覆盖宽而浅的综述型研究（如 DeepSearchQA 的全面性评估）与对比决策型任务，改进方向是引入树状、网状等多种证据拓扑并报告按拓扑分层的性能。第二，单一裁判风险：Qwen3.8-27B 对长答案或需要部分匹配的答案判断可能不稳定，改进方向是多裁判集成加人工抽检校准，并报告裁判与人类判断的一致率；论文未做这项校准实验。第三，预算协议粗糙：100 次调用与 1 小时的双重上限对多想少动与少想多动两类模型产生系统性不同的约束，可以改为等价成本（如统一 token 或美元预算），或报告多组预算水平下的准确率曲线以观察 scaling 行为。第四，缺乏过程性诊断：787 条注释证据链本可支持证据召回率、中间节点命中率等指标，从而定位智能体究竟断在哪一跳，改进方向是利用已注释路径做分跳误差分解。第五，人类基线设计：每题仅 5 名解题者且不允许交流，42.5% 题目无人解出可能部分源于个体知识差异与疲劳效应（平均每人投入 12.92 小时）而非任务固有难度，改进方向是增加每题解题者数量、允许协作解题，以估计人类可解性的真实上界。

未来方向

作者在结论与附录 E 中明确提出两个方向：其一，把 OpenDS-World 作为长视界搜索的研究平台，攻关长时程规划、上下文管理与自适应工具使用——因为即使只需 3.94 个源条目的紧凑任务，执行轨迹也膨胀到平均 42.8 到 89.9 次调用，部分模型大量触碰预算上限；其二，把它作为递归自我改进（RSI）的天然测试床：真实 Web 提供不可完全预设的反馈，失败调用占累计延迟 19.3% 到 61.9%、预算耗尽比例跨模型从 16.5% 到 81.5%，这些执行级信号可被智能体用于反思与策略修正，从历史轨迹中提炼可迁移策略并在新任务上验证。基于本文成果还可延伸：利用已注释的证据链构造分跳奖励做强化学习训练；把 7 类访问操作当作技能课程逐步训练浏览器智能体；将人类解题者累计 646 小时的真实研究轨迹用作行为克隆或偏好优化数据；以及跨时间重复评测同一基准，研究智能体对 Web 内容漂移的鲁棒性与基准自身的时效维护机制。

复现评估

复现条件总体较好。论文页面提供 Code 与 Dataset 入口，任务构建阶段即把锚点视频存档并随基准分发（通过保留标识 input_video 本地访问），避免依赖 YouTube 可用性；附录 C 完整公开了 16 个工具的接口定义、执行与上下文管理配置（3600 秒与 100 次调用预算、最近 4 条观察免压缩、旧搜索结果保留前 2 条、旧文本截断 2000 字符、图像上下文上限 250 张、终局阶段 5000 token 输出预算）、研究系统提示词、终局提示词与裁判提示词。主要成本在于调用 12 个前沿商业模型的 API：按论文报告，仅 Gemini 3.8 Flash 一个模型就消耗约 976M token，且每任务上限 1 小时，12 模型乘 200 任务的完整评测是一笔可观的 API 开销；但只复现单个模型（如 GPT-5.6 Sol 约 186M token、累计 30 小时）在普通研究预算内可行。难点不在算力而在工程与维护：需稳定实现浏览器自动化、下载管理与视频帧采样，且真实 Web 内容会漂移，需定期验证 787 条证据链接的有效性。综合评级：协议透明、代码数据可得，复现难度中等，真实 Web 的动态性与 API 成本构成主要门槛。

真实世界网络环境中的深度搜索 Deep Search in Real-World Web Environments