VideoZeroBench：基于时空证据验证的视频多模态大模型能力极限探测 VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification

完整方法分四步。**步骤 1：视频与问题构造。** 标注员从公开来源人工筛选 138 段具备「事件递进+场景切换+关键证据非显著」特征的长视频（平均 667.1s，30s–3037s），覆盖 13 个领域、中英双语；用 Gemini-2.5-Pro 生成不超过 20 段的中文密集字幕和 10 条问题 hint 作参考；标注员据此设计答案唯一（数字、单词或短句）的固定输出格式开放题，避免「猜选项」和「LLM 评判」噪声。**步骤 2：时空证据标注。** 对每道题，若问题对应若干明确时间片段，则记录为多段 $[t_{start}, t_{end}]$；若依赖关键帧上的小目标/区域，则在那些时间戳上记录归一化边界框 $[x_1,y_1,x_2,y_2]$，平均框面积仅 6.8% 帧面积（小目标）。**步骤 3：两轮交叉验证。** 同一团队内非原作者重新观看视频，确认每道题在标注证据下可解且答案唯一，模糊或冗余的题被修订或删除；最后剩 500 题（220 英 + 280 中，442 题有时序证据，372 题有空间证据）。**步骤 4：五级评估协议。** Level-1 文本注入「时间区间+关键帧边界框」+ 整段视频，模型直接答题；Level-2 只给时间区间；Level-3 整段视频+问题（标准 QA）；Level-4 要求模型输出 1–20 段关键时间区间，Level-5 在固定关键帧时间戳上要求模型输出 JSON 格式边界框；每级都用统一的 $\mathrm{tIoU}>0.3$ 和 $\mathrm{vIoU}>0.3$ 阈值，Level-4 准确率 $Acc_{L4}=\frac{1}{N}\sum_{i=1}^{N}\mathbb{I}(\hat{y}_i=y_i)\cdot\mathbb{I}(\mathrm{tIoU}_i>0.3)$，Level-5 进一步乘 $\mathbb{I}(\mathrm{vIoU}_i>0.3)$，所有题目统一在 500 题上分母计算以保证可比性。

技术新颖性体现在三方面：(1) **评估协议新颖**——以「合取正确率」替代「平均正确率」，是首个把答案、时序证据、空间证据独立又组合打分的长视频基准；(2) **题目设计新颖**——500 道题全部为固定输出格式的开放问答，并通过 LLM 辅助参考+人工双盲验证确保「高难度+可验证」，避免既有 MCQ 基准的猜测偏差和 LLM-as-judge 的不可靠；(3) **诊断粒度新颖**——通过同时报告 L1（带提示上限）、L2（缺空间提示）、L3（标准 QA）、L4（加时序）、L5（加时空）五级指标，把模型错误精确归因到「推理」「时序搜索」「空间定位」三个独立能力上，这是以往工作没有做到的。

**独立分析的几个具体弱点及改进方向。**(1) **「答案正确≠证据正确」的虚假信心**——Table 2 中 Qwen3-VL-235B-A22B 在 Level-3 拿 9.6%，但 Level-5 跌到 0.2%，说明模型常以「猜对」形式拿分；改进方向是引入「证据自检式」推理，在输出答案前强制要求模型给出高置信度证据区间。(2) **均匀采样的「针丢失」问题**——Table 6 显示 48→96 帧时 Level-3 准确率从 7.0% 升到 8.8%，但 96 帧之后饱和，单纯加帧数无效；改进方向是训练时模拟「稀疏采样+关键帧自适应放大」的策略，让模型学会在少样本条件下也能命中关键瞬间。(3) **空间定位精度差**——Level-5 vIoU 在 17 个模型中最高仅 21.8%（Seed-2.0），说明空间定位能力尚未被独立训练；改进方向是构造大量「框精对」预训练数据，或在 SFT 阶段引入边界框回归损失。(4) **多模态协同差**——Table 5 显示 Gemini-3-Pro 在音频感知上从音频单独输入 7.4% 跳到全视频 25.9%，但小目标感知从 15.6% 跌到 11.7%，说明加音频反而干扰视觉；改进方向是在多模态融合层引入模态门控，避免某一模态压制另一模态。(5) **thinking-with-videos 推理深度有限**——Table 3 中三轮 zoom-in 只换来 1.4–1.8pp 提升，原因是底层时序定位太弱；改进方向是先把时序定位本身做强再做 agentic 框架。(6) **人类在音频题上也偏弱**——50 题子集人类 42% 而非 90%+，说明题目设计里可能音频线索不够突出；改进方向是后续版本里把音频线索的关键时窗显式标出。

**作者提出的方向：** (1) 把 evidence-grounded 感知和精确时空推理作为可信视频智能的基础组件，纳入下一代视频 MLLM 的核心训练目标；(2) 探索更有效的 thinking-with-videos 范式，使多轮 agentic 推理能与精细时空定位协同增益；(3) 推动评测从「答案正确」转向「证据可验证」，呼吁社区采用类似五级协议。**基于本成果可延伸的方向：** (1) **证据可验证 SFT**——用 VideoZeroBench 的 500 题+证据作为种子，合成更大规模的「(问题, 答案, 时空证据)」三元组做 SFT，让模型学会「先定位后回答」；(2) **动态采样策略学习**——把时序定位本身作为强化学习信号，训练一个轻量级 temporal agent 替代人工规则的均匀采样，Fig. 11(8) 的「瞬时事件」丢失问题可由此缓解；(3) **跨模态门控**——针对 Table 5 中音频干扰视觉的现象，引入模态门控或多模态解耦训练，让小目标感知和音频感知不再相互抑制；(4) **空间推理预训练**——Level-5 vIoU 全员低于 25% 说明空间定位是独立短板，可借鉴 TreeBench 在图像领域的小目标/方位预训练，迁移到视频关键帧上做密集空间预训练；(5) **证据式解释生成**——把 Level-4/5 的评估思路反向用作训练信号，让模型生成自然语言证据描述（如「从 1:23 到 1:27，画面左侧第二个篮筐」），既可解释又可被自动评估。

**复现评估整体良好。** 论文承诺「benchmark and code will be made publicly available」，并提供了详细项目页 https://marinero4972.github.io/projects/VideoZeroBench2026。**数据规模**：138 段视频共 25.57 小时、500 道题（220 英 + 280 中），规模适中。**算力要求**：评估主要调用 17 个模型的 API（Gemini-3-Pro、Seed-2.0-Pro、GPT-5.2、Qwen3.5-397B）或本地 vLLM 推理（Qwen3-VL、InternVL3.5、VideoChat-R1.5、Video-o3 等 7B-235B 模型），1 FPS 采样 + 384 帧上限是标准配置，单卡 A100/H100 即可复现开源模型实验；视频压缩后 <100MB 后再 base64 喂给 Gemini。**复现难度**：中等。**有利因素**：(1) 附录 A.1 给出完整 prompt 模板（图 7 列出 5 级 prompt），解码温度固定为 0 以保证可重复，推理设置清晰；(2) 附录 A.2 给出标注流程与 Gemini 辅助 prompt（图 8），可作为复现标注管线参考；(3) 评估仅依赖 tIoU/vIoU 与文本精确匹配，无 LLM-as-judge，指标可重复计算；(4) 帧采样策略（Table 6）、测试时扩展（Table 7）、输入模态（Table 5）、thinking-with-videos 消融（Table 3）等多组消融都明确列出超参（key_ratio=1.5, 3 rounds）。**不利因素**：(1) Gemini-3-Pro、Seed-2.0-Pro 等闭源模型的精确版本与采样参数不可控，跨平台可能存在 1–2pp 波动；(2) 长视频 base64 编码的 API 限制（<100MB）可能让部分样本被压缩而失真；(3) 人工标注环节无法完全复刻，双盲交叉验证的标注员个体差异会影响最终题集；(4) 50 题人类研究招募 20 人 1970s–2000s 出生，跨群体结果未必稳定。整体而言，开源模型 + 开源代码 + 明确 prompt 使核心结论可独立验证。