超越观看与搜索：面向视频中心深度研究报告的智能体基准评测 Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports
提出视频中心深度研究报告生成任务并构建OmniDR-Bench，最强智能体仅得63.3/100分
前置知识
深度研究智能体（Deep Research Agent）
能在开放网络上多轮检索、阅读、综合证据并产出带引用长报告的LLM智能体系统。区别于单轮问答，它需要自主规划研究步骤、调用工具（搜索、浏览器、文件读写）、跨多步验证证据，最终交付一份结构化的研究报告，如各类Deep Research产品与search agent。
本文把这一范式从纯文本主题扩展到以一个源视频为研究对象的场景，评测对象正是这类智能体，读懂任务定义与对比实验都以此为前提。
智能体框架（Agent Harness）
包裹模型的执行框架，负责规划、上下文管理、子智能体委派、工具调用与失败恢复，如Claude Code、Codex、OpenClaw。同一模型在不同框架下的规划方式、工具策略和恢复机制不同，最终表现可能差异明显。
论文以『模型×框架』共18种配置评测，并做了受控框架对比（Claude Code与Codex同分但成功率不同），理解这一概念才能解读实验设计。
Rubric评测与LLM-as-a-Judge
开放式生成任务没有唯一标准答案，因此预先定义评分细则（rubric），由多模态大模型充当裁判（judge）按细则逐条做二元判定，配合确定性程序检查结构性质。裁判在温度0下运行，输出二元决定加简短理由，不依赖参数知识。
Omni-ART本质就是一棵层级化rubric树，GPT-5.6 Sol充当裁判；读懂评分公式与可信度验证（机器-人类一致率91.0%）需要这一背景。
原子二元准则（Atomic Binary Criteria）
把『报告质量』拆成每条只含一个可判定事实点的yes/no检查项。语义类准则绑定到独立证据库中的事实记录（带fid、来源、时间戳），结构类准则绑定可执行程序或浏览器探针，每条有预期极性、评测器类型和证据难度标签，从而消除主观打分的模糊性。
基准共发布6,414条原子准则（每任务平均128条），所有分数、消融、误差分析和敏感性检验都建立在这个最细粒度上。
技能化智能体工作流（Skill-based Workflow）
把可复用的指令与工具打包成『技能』模块供主智能体调用，专门的视频阅读器、文档阅读器作为子智能体隔离长上下文，主智能体跨阶段携带时间轴、锚点、证据与未决问题等共享状态，避免长轨迹中的重复加载与目标漂移。
作者的参考工作流就是一个高级视频研究技能（含13个技能套件），技能消融实验（表5）检验的正是这种高层编排相对原子技能的增量价值。
研究动机
现有智能体只能覆盖这一需求的不同片段。文本中心的深度研究智能体通过迭代网络检索与综合产出带引用的长报告，但整个流程从不消费源视频的视听与时间证据；视频深度研究（Video Deep Research）把源视频证据与开放网络检索、多步推理结合，但其基准主要考察短答案的困难问答（QA），不评测长报告；文本-图像研究报告系统从文本主题出发综合网页与图片，既不读取源视频，也不把检索到的视频当作研究证据。作者在表1中对六种设定（视频摘要、文本深度研究、开放网络视频搜索、视频深度研究QA、文本-图像报告、本文任务）逐一比较输入、开放网络、视频检索、长报告、时间链接与首要目标，指出：没有任何现成设定能评测一份围绕单个源视频组织、由外部多模态证据充实、可审计的完整报告。而真实观众需要的是定位关键片段、核实说法与背景、把内容应用到房贷杠杆或设备安全等具体决策，这远超摘要或单题问答的能力范围。
本文的目标是本文提出并形式化视频中心深度研究报告生成任务：给定源视频 $V$、用户请求 $Q$ 与开放工具环境 $E$，智能体产出可交互HTML报告 $H = A(V, Q, E)$。报告必须保留视频展示与陈述的内容，同时补充回应需求的外部研究；重要发现须同时挂接外部来源与相关视频时刻。具体目标分三层：其一，实现一个可复用的技能化参考工作流，包含专门的媒体阅读器子智能体、锚点条件化研究、证据验证与交互渲染；其二，提出Omni Atomic Rubric Trees（Omni-ART）细粒度评测体系与Audited Rubric Construction（ARC）可信构建流程，发布OmniDR-Bench——50个中英文任务、19个真实子类、6,414条原子二元准则；其三，在18种模型×框架配置上系统分析模型、框架、技能配置、视频类别与长程研究轨迹的差异与失败模式。
与已有工作不同的是，独特切入点是把视频从『被观看的对象』变成『研究的组织骨架』。任务设定三道边界测试：video-only（仅看视频无法完成请求）、web-only（把源视频换掉会改变整个调查，且至少一个重要锚点依赖视觉或时间证据）、answerability（公开证据在合理预算内足够回答），只有同时通过才收进基准——这保证源视频不可或缺、通用网络检索无法替代。评测不以最终答案对错为准，而以可审计的证据使用为准：视听忠实度、跨模态推理、声明支持、图文对应、视频时间交互都成为独立诊断方向，且评分只看最终交付物，任何内部流程只要产出同等质量工件都能得分。构建上采用隔离原则：被评测的报告永不进入证据采集与准则生成，独立事实库先于任何准则存在，这与让模型看着系统输出直接写评分细则的常见做法有本质区别。
核心方法
直觉上，一份合格的视频研究报告应该像研究助理看完视频后写出的调查：先精确记录视频在什么时间展示、说了什么，再围绕值得研究的锚点（说法、流程、参数、实体、开放问题）到网上核查网页、文档、图片与相关视频，最后把内外证据按支持、矛盾、更新、解释、比较、应用六种关系缝合，输出一份可点击时间戳跳转、逐条可溯源的交互式报告。技术路线分三块：(1) 七阶段参考工作流（图2）：获取并探测视频→按 $T_{win}=300$ 秒分窗并行阅读、在统一时间轴上对齐视觉与语音→选出带时间戳或帧证据的研究锚点→按锚点并行分支检索网页/图片/视频/文档→连接证据并综合成有依据的发现→写入结构化window.DATA并渲染双栏报告→程序化、引用与必需流程检查失败后定向修复；主智能体跨阶段携带时间轴、锚点、证据、未决问题与报告数据，减少重复加载并防止长轨迹目标漂移。(2) 评测体系Omni-ART：内容/引用/呈现三维度×23个共享诊断方向×每任务原子二元准则。(3) 构建流程ARC（S0–S6）：隔离采证、准则筛选、行为校准与迭代人工审查，最终冻结版本化基准。
核心创新是Omni-ART评分树与ARC构建流程的组合。Omni-ART在总分下设三层：内容/引用/呈现三维度（权重 $(\lambda_C, \lambda_R, \lambda_P)=(0.50, 0.30, 0.20)$）、23个共享诊断方向（表2）、每任务特定的原子二元准则叶节点。语义叶绑定独立事实库中的事实记录，由多模态裁判在温度0判定（$T_J=0$）；结构叶绑定可执行程序与浏览器探针；门控（gate）方向失败则该方向记零。事实覆盖、因果分析、比较三个高容量方向使用饱和机制 $c_d = \min(1, r_d/\tau_d)$（$\tau_d=0.18$）与原子数上限 $\kappa_d=15$，避免海量原子淹没分数；总分 $S = 100\sum_{k}\lambda_k D_k$，维度分 $D_k = \sum_{d\in D_k} w_d g_d c_d / \sum w_d$。与已有评测的本质区别有三：ARC中视频证据图（禁止联网）与网络证据图（禁止看视频）由隔离分支独立采集后再对账，事实先行、准则后写；行为校准要求每任务满足 $R_1 < R_2 < R_3$ 且 $R_3 - R_1 > \delta_{cal} = 20\%$，保证准则对证据获取量敏感；引用型N/A须通过边际收益守卫，防止『少写少错』的策略性得分。
方法步骤详情
智能体侧七阶段（附录D）：Stage 1 解析视频源、探测时长/帧率/分辨率/音频并制定执行计划；Stage 2 按 $T_{win}$ 分窗派发并行视频阅读器，输出绝对时间戳的语音、可见文本、事件与对象记录，主智能体合并成统一时间轴；Stage 3 从时间轴挑出与请求相关的锚点，每个锚点保留时间戳、转写证据或帧裁剪，并声明解释/比较/核实/更新/应用目标；Stage 4 按锚点并行分支检索网页、图片、视频、文档（最低预算 $B_{web}=25$、$B_{video}=5$、$B_{doc}=3$、$B_{anchor}=3$），打开原文而非仅看摘要，相关视频交视频阅读器、长文档交文档阅读器，返回带出处与摘录的证据记录；Stage 5 用支持/矛盾/更新/解释/比较/应用连接内外证据，纠正性与比较性结论须获独立支持才能成稿；Stage 6 增量写入window.DATA，经schema与资产检查后渲染带时间导航的双栏报告；Stage 7 程序化检查+新鲜上下文证据复核（重开被引来源验证支持性）+必需流程检查，失败回流修复。构建侧ARC S0–S6：S0固定任务范围与检索路线；S1a无网采集带时间戳视频事实，S1b无视频按六条路线（实体、出处、概念与标准、人物、类比案例、时间线）采集外部证据，S1c合并等价表述并保留冲突边，S1d过滤映射，S1e留下显著事实（每任务约62条）；S2依事实库生成候选二元准则；S3筛除无证据、复合、主观、重复、歧义者并按证据结构标注L0–L3难度；S4装配三维23方向并加数量上限；S5十六项静态检查+行为校准+裁判稳定性测试（R2三次评分仅0.89%准则非一致）+人工审查；S6路由修复、剔除劣质包，最多三轮后冻结。
技术新颖性
技术新颖性：(1) 任务空白的首个填补者——表1显示此前没有设定同时满足『给定源视频+开放网络+视频检索+长报告+时间链接』；(2) 预算归一化评分：饱和阈值 $\tau_d$ 按『报告证据预算÷保留事实中位量』设定，衡量的是预算内可达的覆盖而非无限堆料，原始原子通过率另行报告；(3) 难度等级由证据结构而非模型预测计算：L0只需一条视频事实（2,363条）、L1需外部证据（1,475条）、L2需独立验证或冲突处理（2,167条）、L3需跨事实组合（409条），使失败可归因到证据获取的具体环节；(4) 守卫式N/A：先比较内容边际收益与引用分母收益才允许失效引用准则变为N/A，饱和时 $\gamma_d=0$ 触发回滚，杜绝用删减换分；(5) M类确定性检查覆盖导航、引用跳转、播放与控件等浏览器可观测性质，结构性质不依赖模型裁判；(6) 全链路质量验证罕见地完整：静态检查16项、行为校准、判分稳定性（非一致率0.89%）、两轮人工审查使任务池82→60→50，最终1,000项抽样正确率超94.0%，机器-人类原子一致率91.0%。
实验结果
总分上Claude Opus 5（Claude Code）以63.3/100居首（任务bootstrap 95% CI [57.8, 68.3]，成功率96.0%），GLM-5.3满勤交付62.0，两者配对差1.3的CI [−4.0, 5.6]含零、排序不可分；Qwen3.8-Max成功报告均分60.1但88%完成率拖累总分至52.9。共性瓶颈：呈现均分81.8，内容仅45.4、引用47.8；原子通过率从L0的79.9%骤降到L1 8.7%、L2 8.8%、L3 5.0%；事实覆盖/因果分析/比较仅7.6%/9.5%/4.6%；视频忠实度高达92.4%，而逻辑一致性21.2%、声明支持15.9%，失败以遗漏审计目标为主而非公开写错。引用悖论：GPT-5.6 Sol通过98.0%来源数量与93.5%多模态材料准则、声明支持却仅23.9%（Gemini-3.8-Flash为93.0%对13.9%）——链接堆在文末而非支撑具体声明。类别：四大家族仅差2.0分（52.8–54.8），19个子类从46.0（硬核科学、健身康复）到59.1（游戏策略）；通用查询41.3低于视频视角52.5、用户需求50.4。技能消融（GPT-5.6 Sol，15配对任务）：界面28.0→+视频31.8→+文本网络45.5（成功率73.3%→100%）→+多模态检索46.6（内容+5.2被引用−5.3抵消）→+完整编排53.9，配对+7.3（CI [3.4, 11.1]，12/15胜），收益集中在引用+20.7而内容仅+0.8，代价是步数103→167、时长0.7→1.6小时、token 2.3M→4.7M。框架对比：三个共享模型上Claude Code与Codex均分48.4，但Codex完成99.3%且零工具错误，OpenClaw仅39.4/84.7%。轨迹：8/18配置满足交错规则（Opus 5写后搜索占61.5%），但长短不预测质量——549步/31.6M token的Qwen3.8-Omni-Flash只得63.1，226步/7.9M token的GPT-5.6 Sol得71.5。人工对齐：30份报告机器-人类原子一致率91.0%，与整体评分Spearman $\rho=0.64$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频中心深度研究报告生成（50任务总均分） | Omni-ART 0–100分（失败记零） | 63.3（Claude Opus 5 + Claude Code，成功率96.0%） | 62.0（GLM-5.3，第二名，成功率100%） | +1.3（配对95% CI [−4.0, 5.6]，统计上不可分） |
| 报告交付可靠性 | 任务成功率 | GLM-5.3与GPT-5.6 Sol、Gemini-3.8-Flash均100% | Claude Opus 5仅96.0%，Qwen3.5-Omni-Plus仅62.0% | 最强模型反而漏做4%任务，可靠性成独立短板 |
| 维度均衡诊断（跨18配置均分） | 内容/引用/呈现维度分 | 呈现 81.8 | 内容 45.4 / 引用 47.8 | 差距36.4与34.0分，形式合格远易于实质研究 |
| 证据难度分层 | 原子通过率 | L0 79.9% | L1 8.7% / L2 8.8% / L3 5.0% | 外部证据与跨源推理缺口约71–75个百分点 |
| 声明支持（引用质量） | 方向原子通过率 | GPT-5.6 Sol 23.9% | 同系统来源数量98.0%、多模态材料93.5% | 缺口74.1个百分点，暴露引用闭包缺失 |
| 技能编排消融（15配对任务） | Omni-ART均分 | 完整工作流 53.9 | 全部原子技能 46.6 | +7.3（95% CI [3.4, 11.1]，12/15胜；引用+20.7） |
| 框架受控对比（3个共享模型） | 均分 / 成功率 / 工具错误 | Codex 48.4 / 99.3% / 0次 | Claude Code 48.4 / 96.0% / 7次；OpenClaw 39.4 / 84.7% | 同分下可靠性+3.3pp，较OpenClaw质量+9.0分 |
| 评测器人类对齐（30份抽样报告） | 机器-人类原子一致率 | 91.0%（人类一致率93.0%，Spearman ρ=0.64） | — | — |
局限与改进
作者承认的局限：基准仅50任务、19个子类，语言限于中英文，未来需直接从用户收集请求以扩展任务、场景与语言覆盖；部分评测方向反映了参考技能所强调的能力；报告界面固定为双栏模板；任务动辄数百步，训练并开源能胜任的模型仍是社区缺口。我补充观察：其一，裁判模型GPT-5.6 Sol同时是被评系统，尽管温度为0且逐条判定，自我偏好未被交叉裁判消融排除；其二，机器-人类一致率91.0%、与整体评分相关性 $\rho=0.64$ 只是中等水平，报告级排序仍可能被扰动；其三，固定HTML模板使『呈现』维度部分度量的是模板遵从性而非真实可用性；其四，50任务导致头部系统的置信区间重叠（如 [−4.0, 5.6]），难以做出统计显著的排名结论；其五，开放网页持续变化，固定快照跨时段复跑会有漂移；其六，单系统约需100 agent小时，横向评测成本高；子类仅含1–5个任务，类别结论只能作描述性参考。
独立分析的弱点
独立分析六点弱点并给出改进方向：(1) 统计功效不足——50任务令顶尖差异淹没在噪声里，可扩到200+任务或引入配对序贯检验提高分辨力；(2) 单裁判风险——裁判与被评系统重叠且无交叉裁判消融，应加入独立裁判（如Claude或Gemini系列）做双裁判一致性检验，并把裁判间分歧率作为基准元指标发布；(3) 呈现维度被模板绑架——双栏HTML契约使『形式合格』易于达成（均分81.8），可改为功能等价判定：任意布局只要能时间戳跳转、逐声明溯源即得分；(4) 引用支持是最大失分点（15.9%）但基准只测不教——可在报告契约中强制行内引用ID与来源记录的闭包校验，把引用闭环变成schema硬约束，几乎零成本掐断『文末堆链接』行为；(5) 编排收益集中在引用（+20.7）而非内容（+0.8），说明瓶颈在证据到报告的转化而非检索——应以『证据落地率』为训练信号，用Omni-ART原子通过率做可验证奖励进行RL微调；(6) 基准方向定义源自参考工作流，存在循环偏向自身技能的风险——可同时发布方向无关的原始原子判定数据，允许第三方自定义聚合以复核结论稳健性。
未来方向
作者提出的方向：直接从真实用户收集请求，扩展任务、场景与语言覆盖；发展更通用、能跨智能体框架迁移的技能、工具与子智能体；突破固定双栏报告界面，支持更丰富的结构与交互；训练并发布能完成数百步长程任务的开源模型。基于其成果可延伸：(1) 把6,414条原子准则当作可验证奖励（RLVR）训练视频研究智能体，重点提升L1–L3级证据使用（当前8.7%/8.8%/5.0%的通过率空间巨大）；(2) ARC的隔离采证+六关系对账流程本身可作为高质量训练数据合成管线；(3) 用蒸馏小裁判或确定性代理指标预筛来降低判分成本，使更大规模评测可行；(4) 与span级轨迹错误定位研究结合，把过程失败与结果失分对齐，定位『证据流失』发生的环节；(5) 向多源视频、直播流、强时效任务（金融数据、法规更新）扩展子基准；(6) 系统研究技能在OpenClaw/Codex等异构框架间的迁移性，验证编排收益是否模型无关。
复现评估
开源情况良好：代码与数据在github.com/marinero4972/OmniDR-Bench发布，可复现声明列明S0–S6全流程产物、结果、轨迹、评测器代码、框架配置、脚本与版本化源元数据，附录G给出完整提示词与JSON schema，评分超参（$\lambda_k$、$\tau_d$、$\kappa_d$、$\delta_{cal}$ 等）在表6公开，且表15证明改换权重/饱和度/上限后Top3排序不变、任何系统名次变动≤1，重新聚合无需重跑裁判。复现门槛中等偏高：评测需调用GPT-5.6 Sol作多模态裁判并运行浏览器探针；被评系统需访问Claude/GPT/Gemini/Qwen/GLM/Kimi等前沿模型API；单系统约需100 agent小时（每份报告约2小时，64K token报告预算、500迭代上限、每任务最多3次尝试、单次10小时上限）。视频为YouTube/B站公开源（50任务、17.1小时、23中文+27英文），需自行获取。若要复刻ARC构建流程，还需Claude Opus 4.8 + Claude Code以及三轮人工审查（任务池82→60→50淘汰），人力投入不小。
论文图表
左侧展示各系统的成功报告得分与任务成功率（Claude Opus 5以63.3领先），右侧示意任务形态：源视频的视听上下文与外部文本、图片、视频证据融合成一份带引用的交互式HTML报告。
一图同时交代任务定位与首批结果，读者能立刻看出该基准测什么、当前最强系统处于什么水平。
展示基准覆盖统计与一个完整示例任务：内容、引用、呈现三类准则如何同时约束一份把源视频证据与外部多模态研究相连的报告。
帮助读者具体理解一个任务长什么样、6,414条准则如何落到单个任务实例上。
发布全部评分与构建超参：维度权重 (0.50, 0.30, 0.20)、饱和 $\tau_d=0.18$、原子上限 $\kappa_d=15$、校准增益 $\delta_{cal}=20\%$、裁判3票温度0、修复最多3轮、视频窗口300秒、各检索最低预算等。
评测完全可复算的前提，也是敏感性分析（表15）的基准点。
两轮人工审查的量化结果：第一轮条目正确率64.0%、三人一致率77.0%；修复并淘汰后第二轮87.0%、81.0%；候选池从82缩到60再到50。
量化了『准则质量靠人工兜底』的真实成本与收益，说明rubric可信度不是免费的，也解释了最终94%正确率的来源。
4大类19子类的完整定义与典型研究需求：如学术前沿需追溯论文与评估复现性、宏观经济需核实数据与政策、实验室精度需恢复校准参数与安全约束、AI工具需重构提示词并核查成本与文档。
分类从用户需求而非视频体裁出发，理解分类才能理解选视频与构造查询的逻辑。
19子类完整排名：最低硬核科学与健身康复46.0，最高游戏策略59.1（内容66.6但引用仅32.2）；子类跨度13.1分。
子类间的大跨度提示不同场景需要不同能力组合，是讨论难度来源与未来扩充方向的依据。
18配置的中位轨迹开销：GLM-5.3高达679.5步/31.7M token/5.4小时，Opus 5为260.5步/28.7M token/3.9小时，Codex+Qwen3.7仅98.5步；OpenClaw普遍最省但分数最低。
提供质量-成本全景数据，是讨论效率与『长轨迹≠高质量』现象的量化基础。