观看、推理与搜索：面向智能体视频推理的开放网络视频深度研究基准 Watching, Reasoning, and Searching: A Video Deep Research Benchmark on Open Web for Agentic Video Reasoning
首个视频深度研究基准，要求模型结合视频线索与开放网络进行多跳推理
前置知识
多模态大语言模型 (MLLM)
多模态大语言模型是能够同时处理文本、图像、视频等多种模态输入的大规模语言模型。这类模型通过在海量多模态数据上预训练，学习跨模态的语义对齐能力，使得模型可以理解视觉内容并结合语言进行推理。在本文中，评测了包括 Gemini-3.1-pro-preview、GPT-5.4、Qwen3.5-35B-A3B、InternVL3.5-14B、Gemma-4-31B-it 和 GLM-4.6V-Flash 等主流 MLLM。
本文的核心任务——视频深度研究——高度依赖 MLLM 的视频理解和跨模态推理能力，因此理解 MLLM 的能力边界是解读本文实验结果的前提。
深度研究智能体 (Deep Research Agent)
深度研究智能体是指能够在开放网络环境中执行多轮搜索、筛选和交叉验证，最终产出基于证据的结论的 AI 系统。与传统的问答系统不同，深度研究智能体需要主动探索外部知识源，而非仅在给定上下文中作答。本文将这一范式扩展到视频条件下的开放域事实问答。
本文的核心贡献正是将深度研究从纯文本输入扩展到视频输入，理解深度研究智能体的概念是理解本文动机和方法的关键。
Workflow 与 Agentic 范式
Workflow 采用两阶段设计：多模态模型首先从视频中提取与问题相关的跨帧视觉线索并生成结构化中间文本，然后将该文本与问题一起输入下游模型进行网络搜索和推理，期间无法再次访问原始视频。Agentic 则采用端到端设置：将原始视频和问题直接输入单一多模态智能体，在同一执行循环中完成视频理解、查询生成、网页检索和证据整合。
本文的核心实验对比就是这两种范式，理解它们的设计差异是理解实验结果中性能差异的根本原因。
多跳推理 (Multi-hop Reasoning)
多跳推理是指需要经过多个中间推理步骤才能得到最终答案的推理过程。在本文中，多跳推理特指模型需要先从视频中提取视觉线索，将其转化为搜索查询，在网络上找到候选证据，然后基于视频和网页的联合证据空间进行多步推理，最终输出唯一且可验证的答案。
VideoDR 的每道题目都要求至少一轮视频感知与外部搜索之间的信息交换，多跳推理能力直接决定了模型在该基准上的表现。
目标漂移 (Goal Drift)
目标漂移是指智能体在多轮搜索和推理过程中，逐渐偏离原始问题目标的现象。在 Agentic 范式下，模型在初始观看视频后无法再次回看，后续过程完全依赖初始视觉锚点的准确性。一旦早期感知出现偏差，网络噪声会在后续搜索中放大偏差，导致搜索方向偏离正确目标。
本文发现目标漂移是 Agentic 范式在高难度题目上表现不如预期的核心瓶颈之一，理解这一概念有助于把握本文的关键结论。
视觉锚点 (Visual Anchor)
视觉锚点是指视频中与问题相关的、分布在多个时间帧上的关键视觉线索。例如，在一个博物馆参观视频中，视觉锚点可能包括博物馆名称标识（第 10 帧）、展品布局（第 30 帧）和入口位置（第 45 帧）。模型需要跨帧关联这些线索，才能构建完整的推理链。
VideoDR 的标注要求每道题目必须基于多帧视觉锚点设计，且质量控制流程会排除纯视频可答或纯网络可答的样本，视觉锚点是理解数据构造和质量控制的核心概念。
研究动机
在现有的多模态评测中，视频始终是一个薄弱环节。一方面，视频推理本质上需要跨时间的线索追踪和时空建模能力；另一方面，现有评测大多采用封闭证据设置，模型通常只需要在给定视频内回答问题，无需与开放网络上的证据进行交互。与此同时，深度研究智能体正在推动问答从静态上下文走向主动的证据探索，但现有深度研究基准大多仍以文本查询为起点，即使引入多模态信息，视觉内容也常被视为静态辅助信息而非需要精确追踪和传播的关键证据。在真实使用场景中，用户关于视频的问题通常是开放域事实型问题：待验证的知识不会直接出现在视频或标题中，而是分布在庞大且动态变化的网页语料中；同时，与问题相关的关键线索沿视频时间线分布，需要通过跨帧关联来提取。这种研究模式——视频提供局部视觉线索、网页提供可验证答案——既未被以文本为输入的深度研究基准覆盖，也未被假设证据封闭在视频内的视频基准覆盖。
本文的目标是本文的目标是构建第一个系统化评估视频深度研究能力的基准 VideoDR，将深度研究扩展到以视频为条件的开放域事实型问答设置。具体而言，VideoDR 要求模型从给定视频中提取和组合多帧视觉锚点，利用基于浏览器的搜索在开放网络上定位候选证据，并在视频和网页的联合证据空间中进行多跳推理，最终输出唯一且可验证的答案。通过严格的人工标注和质量控制流程，VideoDR 确保多步证据收集过程对多帧视觉线索保持强依赖，从而将视频理解、网络搜索和基于证据的推理的综合作为核心评估目标。
与已有工作不同的是，本文的独特切入角度在于将视频作为深度研究的起点而非终点。现有深度研究基准从文本查询出发，将视觉信息视为辅助；现有视频基准假设证据封闭在视频内部。VideoDR 填补了这两个方向之间的空白：视频提供的是局部化、需要跨帧提取的视觉线索，而答案的验证必须依赖开放网络上的多源证据。这种设置迫使模型同时具备跨帧视觉理解、迭代检索规划和多跳证据推理三种能力，而这三种能力的综合评估在已有工作中尚属空白。此外，本文通过严格的消融测试（仅视频测试和仅网络测试）确保每个样本都不能被单一模态独立解决，从而精准定位视频与网络联合推理的能力边界。
核心方法
VideoDR 的整体方法包括数据构造流程和实验评测框架两大部分。数据构造方面，研究团队招募了三位具有视频理解和网络搜索经验的标注员，从不同平台选取视频并沿来源、领域和时长三个维度进行分层采样，覆盖多样化的现实场景。标注员需要在视频中定位多个跨帧视觉线索，并围绕这些线索设计高复杂度的多跳问答对。质量控制方面，通过仅视频测试和仅网络测试的双重消融验证，以及五名独立被试的盲测评估，确保每个样本同时依赖视频和网络搜索。实验评测方面，对比了 Workflow 和 Agentic 两种范式，将主流多模态模型作为核心研究智能体进行系统评测。
本文的核心创新在于定义了「视频深度研究」这一新任务范式，并构建了首个配套基准。与已有工作的本质区别有三点：第一，任务定义上，将深度研究从纯文本输入扩展到视频条件输入，要求模型以视频中的跨帧视觉线索为锚点驱动开放网络上的多步证据收集；第二，数据构造上，通过双消融测试（仅视频可答和仅网络可答）确保每个样本的解答必须同时依赖视频感知和网络搜索，这在已有基准中尚无先例；第三，评测框架上，系统对比了 Workflow 和 Agentic 两种范式在不同难度、视频时长和语义域下的表现，揭示了 Agentic 并非一致优于 Workflow 的关键发现——其效果取决于模型在长检索链中维持初始视频锚点的能力。
方法步骤详情
VideoDR 的方法可分为数据构造、质量控制和实验评测三个阶段。数据构造阶段：首先，标注员从不同平台选取视频，沿来源、领域（日常生活、科技、文化、历史、经济、地理六个语义域）和时长进行分层采样，构建候选视频池；同时应用严格的负向过滤策略，排除单场景高冗余视觉语义、热门话题信息过于显眼、以及无法在开放网络上找到可验证证据链的视频。其次，在初筛阶段手动移除缺乏显著视觉锚点的片段，仅保留具有多时间点连贯视觉线索的视频作为标注候选。最后，在问题设计阶段，标注员为保留的视频片段设计高复杂度问题，要求每道题必须基于多帧视觉线索且可分解为多步推理路径。质量控制阶段：对所有标注样本进行仅视频测试（标注员仅通过观看视频作答）和仅网络测试（标注员仅通过网络搜索作答），仅在两种条件下均无法获得唯一答案的样本才被保留；随后由五名独立被试进行盲测，基于人类成功率定义难度分数 $s_i = \frac{1}{5} \sum_{j=1}^{5} \mathbb{1}[a_{ij} \equiv A_i]$，并按难度分层（0-1人正确为高难度，2-3人为中等，4-5人为低难度）。实验评测阶段：对比 Workflow 和 Agentic 两种范式，使用 LLM-as-Judge 协议（DeepSeek-V3-0324）评估模型预测与参考答案的语义等价性。
技术新颖性
VideoDR 的技术新颖性体现在多个层面。首先，在任务定义上，它首次将深度研究范式引入视频理解领域，提出以视频为条件的开放域事实型问答任务 $f: (V, Q; S) \rightarrow A$，其中 $V$ 为视频、$Q$ 为问题、$S$ 为浏览器搜索工具、$A$ 为答案，这一形式化表述明确了视频感知与网络检索的交互式研究过程。其次，在数据质量控制上，双消融测试（仅视频测试和仅网络测试）确保了每个样本对视频和网络的双重依赖，五人盲测评估则提供了难度分层的实证基础，这种严格的质量控制流程在已有视频或深度研究基准中均属首创。第三，在评测框架上，本文系统对比了 Workflow（视频线索外部化为可重复访问的中间文本）和 Agentic（视频直接进入智能体循环但不可回看）两种范式，揭示了 Agentic 范式的核心瓶颈——目标漂移和长程一致性，这一发现为下一代视频深度研究智能体的设计提供了重要指导。
实验结果
本文在 500 个高质量样本上对六个主流多模态模型进行了系统评测，核心发现如下：首先，Gemini-3.1-pro-preview 在两种范式下均表现最优，Workflow 下准确率 51.80%，Agentic 下 53.60%；GPT-5.4 紧随其后，分别为 47.00% 和 47.40%。开源模型中 Qwen3.5-35B-A3B 和 Gemma-4-31B-it 形成中间梯队（35.00%/34.60% 和 31.60%/33.60%），InternVL3.5-14B 和 GLM-4.6V-Flash 较弱（16.00%/15.40% 和 17.80%/21.80%）。人类基准准确率为 40.22%，仅 Gemini 和 GPT-5.4 稳定超越人类平均。其次，难度分层分析显示所有模型随难度增加呈现高度一致的性能下降趋势，人类从低难度 81.71% 降至高难度 11.39%。关键发现是 Agentic 并非一致优于 Workflow：在高难度题目上，Qwen3.5 从 19.35% 降至 17.97%，InternVL3.5 从 8.29% 降至 6.45%，GPT-5.4 从 32.26% 降至 29.95%，表明将视频直接放入智能体循环并不能自动改善困难案例。第三，视频时长分层分析进一步强化了上述观察：随着视频变长，线索更加分散，Agentic 对模型保持和持续利用初始视觉锚点的能力要求更高，导致两极分化加剧。第四，领域分层分析显示 Agentic 的收益取决于具体领域和模型能力，例如 Gemini 在历史、科技和日常生活中获益（52.54%→59.32%、50.44%→54.87%、57.74%→60.12%），但在经济领域下降（42.11%→35.09%）。第五，错误分析揭示分类错误和数值错误是主要失败模式：分类错误在所有模型中普遍偏高（79-155 次），数值错误即使在最强模型中也依然突出（Gemini Workflow 下 84 次，Agentic 下 95 次），表明数值可靠性是当前 MLLM 的一个独立且持久的弱点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频深度研究开放域问答（总体平均） | Accuracy (%) | Gemini-3.1-pro-preview: Workflow 51.80%, Agentic 53.60% | GPT-5.4: Workflow 47.00%, Agentic 47.40% | Gemini 相对 GPT-5.4 提升 4.80/6.20 个百分点 |
| 低难度视频深度研究问答 | Accuracy (%) | Gemini-3.1-pro-preview: Workflow 78.57%, Agentic 84.82% | 人类: 81.71% | Agentic 下 Gemini 超越人类 3.11 个百分点 |
| 高难度视频深度研究问答 | Accuracy (%) | Gemini-3.1-pro-preview: Workflow 28.57%, Agentic 30.41% | 人类: 11.39% | Agentic 下 Gemini 超越人类 19.02 个百分点 |
| 开源模型视频深度研究问答 | Accuracy (%) | Qwen3.5-35B-A3B: Workflow 35.00%, Agentic 34.60% | 人类: 40.22% | 开源最强模型仍低于人类基准 5.22-5.62 个百分点 |
| 长视频深度研究问答 | Accuracy (%) | Gemini-3.1-pro-preview: Workflow 54.01%, Agentic 58.29% | 人类: 40.85% | Agentic 下 Gemini 超越人类 17.44 个百分点 |
局限与改进
本文存在以下局限性：第一，数据集规模为 500 个样本，虽然经过严格的质量控制，但对于统计显著性分析（尤其是跨领域、跨时长的细粒度对比）仍显不足，部分领域的样本量（如地理仅 38 个）可能影响结论的可靠性。第二，人类基准评估仅由五名被试完成，样本量较小，且未报告被试的背景信息（如是否具有相关领域专业知识），人类成功率的标准差较大（0.298），表明难度估计可能存在一定噪声。第三，LLM-as-Judge 评估方式虽然避免了字符串匹配的误判，但引入了评估模型自身的偏见，论文使用 DeepSeek-V3-0324 作为评判模型，但未报告评判模型的准确率或与人类评判的一致性。第四，实验中 Agentic 范式不允许模型在研究过程中回看视频，这一约束虽然模拟了真实场景中的资源限制，但也可能过度限制了 Agentic 范式的潜力，使得两种范式的对比存在一定的设计偏差。第五，论文未讨论视频理解本身的计算成本和延迟问题，而实际部署中视频处理的时间和资源开销是重要考量因素。
独立分析的弱点
本文存在几个值得关注的弱点。首先，数据构造依赖人工标注，标注员数量仅三人，标注一致性未通过量化指标（如 Cohen's Kappa）报告，不同标注员对同一视频可能设计出不同难度的问题，这可能引入系统性偏差。改进方向包括引入多轮交叉标注和自动化的标注质量评估工具。其次，难度分层基于五人盲测的成功率，但五人的样本量较小且标准差较大，导致难度标签的稳定性有限。可以考虑扩大被试规模或引入更精细的难度评估指标（如完成时间、搜索轮数等）。第三，错误类型分析（八类）的分类标准和标注过程未详细说明，不同分析者对同一错误可能有不同分类，影响分析结果的可重复性。第四，Workflow 范式中视频线索的文本化过程质量直接影响下游推理，但论文未评估这一步骤的信息损失程度。改进方向可以是对中间文本的质量进行独立评估，并探索更优的视频信息压缩策略。
未来方向
本文作者指出目标漂移和长程一致性是下一代视频深度研究智能体的核心瓶颈。基于这一发现，未来研究方向包括：第一，设计支持视频回看的 Agentic 范式变体，允许智能体在推理链的关键节点重新访问视频以校正视觉锚点，从而缓解目标漂移问题。第二，引入显式的记忆管理机制，在多轮搜索和推理过程中维护结构化的视频线索表示，防止长程推理中的信息衰减。第三，探索渐进式证据收集策略，将复杂问题分解为多个子任务，每个子任务独立完成视频感知和网络检索，最后进行证据聚合。第四，扩展基准规模和领域覆盖，构建更大规模的视频深度研究数据集，并引入更多需要数值精确验证的题目类型，以针对性评估模型的数值推理能力。第五，探索 Workflow 和 Agentic 的混合范式，利用 Workflow 的结构化中间表示作为 Agentic 的外部记忆，结合两种范式的优势。
复现评估
本文在复现性方面提供了较好的支持。论文提供了 GitHub 仓库地址（https://github.com/QuantaAlpha/VideoDR-Benchmark），便于获取基准数据和评测代码。评测框架对比了开源和闭源两类模型，其中开源模型（Qwen3.5-35B-A3B、InternVL3.5-14B、Gemma-4-31B-it、GLM-4.6V-Flash）的复现门槛相对较低，但闭源模型（Gemini-3.1-pro-preview、GPT-5.4）的结果依赖于特定版本的 API，可能随模型更新而变化。数据构造过程依赖人工标注，完全复现标注流程需要招募具有视频理解和网络搜索经验的标注员，成本较高。实验中未报告各模型的推理成本（时间、API 调用次数、token 消耗），对于大规模复现实验是一个缺失信息。整体而言，数据和评测代码的开源降低了复现门槛，但完整复现标注流程和闭源模型评测仍需相当的人力和财力投入。
论文图表
