OmniPro：面向全模态主动式流式视频理解的综合评测基准 OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding
首个联合评测全模态感知、主动响应与多样化流式视频任务的基准。
前置知识
主动式流式视频理解 (Proactive Streaming Video Understanding)
指模型在持续接收音视频流时，不依赖外部轮询或预设时间点，自主决定何时开口、说什么的能力，即所谓 when-to-speak 问题。它由 token 驱动、分类头、信号驱动三类机制实现，是全模态大模型的新兴核心能力，区别于被动应答的离线 VQA。
本文整个 benchmark 都围绕这一能力设计。不理解它就分不清 Probe 与 Online 两种模式为何要分别评测，也读不懂现有基准的三重缺口所在。
全模态感知 (Omni-modal Perception)
指模型同时联合推理视觉信号、语音(speech)与非语音环境声(non-speech sound)，而非仅靠画面。真实触发往往天然是多模态的，如门铃响、哨声、背景音乐起停。只有同时纳入这三类信号才能区分全模态模型与纯视觉模型。
本文 84% 样本依赖音频，并设计了 modality-isolation 标签做单模态消融。理解全模态是读懂 Table 3 的 A/V/A+V 拆分与音频增益结论的前提。
Probe 模式与 Online 模式 (双模评测协议)
Probe 模式兼容任意 VLM，在每个真值触发前后两次查询(−5~−2s 与 0~+3s)，给模型累计帧 [0,t]，报 Accuracy，不需流式能力；Online 模式面向流式模型，模型全程逐帧处理并自主决定响应时机，用 ±3s 容忍度的贪心时间对齐算 $F_1$。
论文的核心方法贡献就是这套双模协议。两种模式的指标、适用模型、难度都不同，是贯穿结果章节(尤其是 Table 2)的主轴。
触发模态与音频依赖 (Trigger Modality / Audio Dependency)
每个样本标注 trigger modality(检测触发事件所需的视觉/语音/声音组合)与 audio dependency(音频是必需 required、有帮助 helpful 还是无用 none)。这组标签使细粒度的多模态消融成为可能，也是区分纯视觉基准的关键设计。
本文的差异化卖点之一就是 modality-isolation 标签。没有它就理解不了 Figure 2 的模态占比与 Figure 4 的瓶颈分析，也读不出非语音声音是最弱维度这一发现。
研究动机
全模态大模型正在快速获得"自主决定何时开口、说什么"的主动式流式能力，但一个根本问题悬而未决：什么才是好的主动式流式模型？作者主张必须同时满足三条标准——全模态感知(视觉+语音+非语音声音)、主动响应(不靠轮询或固定时间点)、多样化任务(超越简单事件告警)。然而如 Table 1 蓝色列所示，现有三个主动式基准在三方面集体失守：StreamingBench-Pro 仅 50 段视觉为主的体育/游戏视频、每秒轮询、纯视觉无音频、只覆盖 1/6 能力；OVO-Bench-Pro 实为多点静态 QA、在预设时间点查询、覆盖 2/6 能力且无音频；唯一支持真正主动响应的 OmniMMI-Pro 仅约 35% 含语音、完全无非语音声音、每题只允许单次响应、也只覆盖 1/6 能力。没有任何现有基准能同时检验三条标准，造成与主动流式模型井喷之势极不相称的评测空白。
本文的目标是本文的目标是构建首个能在统一框架下联合评测全模态感知、主动响应、多样化视频理解任务的综合基准 OMNIPRO。具体而言，作者希望数据层面覆盖 9 个子任务、3 个认知层级、6 项基本视频理解能力，并使音频依赖达到高比例(最终 84%)以区分全模态与纯视觉模型；评测层面提供 Probe 与 Online 双模协议，分别量化内容理解与完整主动能力；分析层面对 11 个代表性模型进行系统实验，定位当前全模态主动流式理解的真实水平与三大瓶颈(异质音频利用、长时程退化、非语音声音感知弱)，为后续研究提供可靠区分度。
与已有工作不同的是，本文的独特切入角度有三。其一，首次把"非语音声音"显式纳入评测——既有基准无一涉及环境声，而真实触发(哨声、警笛、门铃)恰恰高度依赖非语音声音，OMNIPRO 让 84% 样本依赖音频、近半数触发跨模态。其二，首创 modality-isolation 标签，对每个样本标注触发模态与音频依赖等级，从而可做 audio-only/video-only/audio-visual 的细粒度消融，这是既有基准不具备的诊断能力。其三，用双模协议把"内容理解"与"主动时机决策"解耦：Probe 兼容任意 VLM 且不需流式能力，Online 用多触发+过度触发惩罚逼近真实流式，填补了 OmniMMI-Pro 只测单触发的空白。
核心方法
直觉上，OMNIPRO 想"同时逼出"模型的三种能力，因此它在数据与评测两端都做加法。数据端先设计一个三层认知层级(感知→理解→推理)的分层 taxonomy，映射到告警、监控、定位、计数、叙述、预测 6 项基本能力，共 9 个子任务。视频来自 LongVALE(1171 段)与 COIN(600 段)共 1771 段源视频。随后用 Gemini 3 Flash 做时序对齐的稠密字幕(分 caption/visual/audio/speech 四字段)与 QA 合成(含 question、trigger time、response、trigger modality、audio dependency 五字段)，约每子任务生成 1000 条共 9000 条原始 QA。两轮人工复核(9 名标注员)后保留约 30%，得 2700 条人工核验样本、覆盖 1262 段视频。评测端提供 Probe 与 Online 双模协议，分别报 Accuracy 与 $F_1$。
核心创新是与已有基准的本质区别体现在三处。第一，任务覆盖从 1/6~2/6 能力跃升到全部 6/6，9 个子任务横跨三个认知层级，是首个能同时检验全模态、主动、多样三标准的统一基准。第二，音频被提升为一等公民：84% 样本依赖音频，覆盖语音与非语音声音两类，并通过 modality-isolation 标签把"模型到底用了哪种模态"变成可测量的量，使 audio-only/video-only/A+V 的三态对比成为诊断工具。第三，双模评测协议把"理解"与"主动"解耦——Probe 用 pre/post 两次探测(仅当两次都答对才计正确)把主动能力从内容理解中剥离，Online 则用多触发允许+过度触发惩罚测真正的流式主动，弥补 OmniMMI-Pro 单触发只能测一个时间点的缺陷。
方法步骤详情
完整流程分五步。(1)源视频：从 LongVALE 取 1171 段、从 COIN 取 600 段补足教学类 Step-Inst.，共 1771 段。(2)稠密字幕：用 Gemini 3 Flash 生成带时间戳的多模态稠密字幕(含事件总述/视觉/音频/语音四字段)。(3)QA 合成：把视频、字幕与任务 prompt 喂给 Gemini 3 Flash 合成结构化 QA(含 question、trigger time、response、modality、audio dependency)，每子任务约 1000 条共 9000 条，遵循音频优先、响应只引用触发前信息、时间戳以视频为准。(4)人工质检：两轮(9 标注员交叉校验)，核查触发时刻、无幻觉、模态标注，保留约 30% 得 2700 样本、1262 视频。(5)双模评测：Probe 对每个真值触发做 pre(−5~−2s)/post(0~+3s)双探、仅看累计帧且两次都对才计正确，报 Accuracy；Online 逐帧自主响应，±3s 容忍度对齐算 F1，开放任务由 Gemini-3-Flash 做 1~5 分裁判、≥3 记正确。
技术新颖性
技术新颖性四点。第一，分层 taxonomy 把认知难度显式编码(感知→理解→推理)，使结果可按层级做梯度分析，Table 2 中推理层 Step-Inst. 出现最大差距(76.3 vs 31.6)正是这套设计的直接收益。第二，modality-isolation 标签是诊断利器，使 Table 3 的 A/V/A+V 与 Figure 4 的模态瓶颈分析成为可能，是任何既有主动基准做不到的。第三，Probe 模式把"主动"与"理解"解耦——pre/post 双探且都须正确，既消除模型"早答"的运气分，又不要求流式能力，让 InternVL3.5、Qwen3-VL 等非流式模型也能纳入对比。第四，Online 模式允许多次响应并惩罚过度触发，首次把"多触发决策"纳入评测，直接暴露 MiniCPM-o 4.5 在生成密集任务(Event-Narr. 6.9%、Step-Inst. 7.9%)上的崩塌。
实验结果
评估 11 个模型，得四组核心发现。其一整体偏低且差距大(Table 2)：Probe 最强 Gemini-3-Flash 仅 40.4% Accuracy，近乎最佳开源(22.1%)两倍；Event-Alert 上全模态(video-SALMONN 2+ 37.2、Qwen2.5-Omni 35.4)碾压纯视觉(InternVL3.5 4.8)超 30 分。其二 Online 远难于 Probe：最佳 MiniCPM-o 4.5 仅 20.9% F1，生成密集任务 Event-Narr. 6.9%、Step-Inst. 7.9% 崩塌。其三模态贡献(Table 3)：A+V 一致优于单模态，相对 V 增益从 +2.4 到 +11.1，A/V 强弱高度依赖任务，模型利用模式分化。其四长时程退化(Figure 3)：Long-term 仅保留平均 37% 的 Short-term 性能，MiniCPM-o 4.5 Online 从 29.1 跌到 0.3；Figure 4 显示视觉+声音(非语音)触发最弱(15.3~22.3)，Gemini 优势主要来自语音而非视觉。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Probe 模式整体准确率 (9 个模型平均) | Accuracy (pre/post 双探均正确才算对) | Gemini-3-Flash 40.4% | 最佳开源 video-SALMONN 2+ 22.1%、Qwen3-Omni 22.6%、MiniCPM-o 4.5 25.8%；纯视觉 InternVL3.5 12.1%、Qwen3-VL 19.5% | Gemini 几乎是最佳开源模型的两倍(+15~18 分)，推理层 Step-Inst. 差距最大(76.3 vs 最佳开源 31.6) |
| 音频强相关任务 Event-Alert (Probe) | Accuracy | video-SALMONN 2+ 37.2、Qwen2.5-Omni 35.4、Gemini-3-Flash 38.2 | 纯视觉 InternVL3.5 4.8、Qwen3-VL 7.5 | 全模态模型领先纯视觉模型超 30 分，证明音频感知对这类任务不可或缺 |
| Online 模式整体 F1 (3 个流式模型) | F1 (±3s 容忍度贪心时间对齐) | MiniCPM-o 4.5 20.9% F1 | MMDuet2 11.3、LiveStar 3.6 | MiniCPM-o 4.5 仍领先，但 Event-Narr. 6.9%、Step-Inst. 7.9% 暴露生成密集任务崩塌，证实 Online 远难于 Probe |
| 模态贡献消融 (Table 3, A+V 相对 V 的增益) | Mean Accuracy (A+V − V) | video-SALMONN 2+ +11.1、MiniCPM-o 4.5 +7.1、Qwen2.5-Omni +6.7、Gemini-3-Flash +6.0、Qwen3-Omni +2.4 | video-only 与 audio-only 单模态 | A+V 一致优于任一单模态，增益 +2.4~+11.1，证明音视频提供互补线索，但模型利用能力高度分化 |
| 长时程鲁棒性 (Figure 3, Long-term 180s+) | 性能保留率 (Long-term / Short-term) | Gemini-3-Flash 保留 46%(38.5→17.9)，所有模型平均保留 37% | Short-term 基线性能 | 退化严重；MiniCPM-o 4.5 Online 从 29.1→0.3 近乎失效，揭示流式模型长时程建模缺陷 |
| 模态瓶颈 (Figure 4, visual+sound 触发) | Performance on non-speech audio triggers | 所有模型在 visual+sound 触发最弱 (15.3~22.3) | speech 与 visual+speech 触发 | 非语音声音感知是共同瓶颈；Gemini 优势主要来自语音(纯视觉 23.4 落后 Qwen3-Omni 31.1) |
局限与改进
作者明确承认的局限主要有两点：一是仅在 Probe/Online 两模下评估 11 个模型，模型与任务覆盖仍有扩展空间；二是当前模型整体表现偏低(最佳 40.4%)，说明该问题仍是开放难题。从论文细节我补充几点。其一，数据规模有限：2700 样本覆盖 1262 段视频、9 个子任务，平均每子任务仅约 300 条，部分子任务(如 Step-Inst.)可能样本不足以支撑强统计结论。其二，评估依赖 LLM 裁判：Online 模式对开放任务(Event-Narr./Step-Inst.)用 Gemini-3-Flash 做 1~5 分裁判且 ≥3 记正确，而 Gemini-3-Flash 本身又是被评测的参赛模型，存在"自评"偏差风险。其三，Probe 模式的 exact match 对叙述类任务不够鲁棒，作者用转多选题规避，但可能损失开放性信息。其四，所有模型统一 1 fps 采样，可能对依赖高频音频的事件(如警笛)不够公平。其五，数据来源偏英文教学/日常场景，跨语言、跨文化泛化未验证。
独立分析的弱点
独立审视后有以下弱点值得改进。第一，Audio-only 配置在多数模型上反而弱于 video-only 甚至负贡献(如 Qwen3-Omni 的 A 仅 9.8)，这说明"音频增益"高度模型相关，改进方向是为每个样本提供模态置信度权重，或在评测中报告模态利用效率而不仅是 A+V 增益。第二，Online 模式的 ±3s 容忍度与过度触发惩罚的超参敏感性未做敏感性分析，不同容忍窗(如 ±1s/±5s)可能改变模型排名，改进方向是补充容忍窗消融。第三，Probe 的 pre/post 双探都用 exact match，对存在同义表达的回答(如"3 个人"vs"三人")易误判为错，改进方向是引入软匹配或语义相似度。第四，任务分布不均衡且样本量偏小(每子任务约 300)，对小样本任务的置信区间可能过宽，改进方向是扩充规模并报告 bootstrap 置信区间。第五，非语音声音被识别为最弱维度但论文未深入分析原因(是音频编码缺陷还是融合策略问题)，改进方向是对 visual+sound 触发做错误案例归因。
未来方向
作者在结论中暗示的方向是把 OMNIPRO 作为推动真正全模态主动流式理解的试验台。基于成果可延伸出五条研究路径。其一，长时程建模：鉴于 Long-term 仅保留 37% 性能，可探索流式记忆机制(如记忆 token、状态缓存)与分段注意力，使模型在 180s+ 后仍能感知。其二，非语音声音感知：Figure 4 表明这是共同瓶颈，可针对环境声做专门的音频编码器预训练或多模态对比学习，提升对警笛、铃声、背景音乐的区分。其三，主动时机决策优化：Online 模式生成密集任务崩塌(Event-Narr. 6.9%)，可研究解耦"何时说"的分类头与"说什么"的生成头，或引入强化学习优化触发时机。其四，跨模态融合均衡：video-SALMONN 2+ 重音频而 Qwen3-Omni 重视觉，可设计模态门控或自适应权重学习，避免某模态主导。其五，扩展评测维度：纳入更多语言/文化、更长视频(>5min)、实时交互式对话(用户中途追问)等更贴近真实部署的场景。
复现评估
复现评估分四方面。开源情况：论文给出项目主页 https://ruixiangzhao.github.io/OmniPro ，正文未明确声明数据与代码的即时开源，但 benchmark 类工作通常发布数据与评测脚本，复现前需关注主页更新。数据可获得性：源视频来自公开的 LongVALE 与 COIN，标注协议(prompt 模板在附录)、taxonomy、2700 条人工核验样本均有清晰描述，外部依赖充分。算力需求：评测成本中等——11 模型统一 1 fps 采样，开源模型在 NVIDIA A800 80GB 上贪婪解码、最大生成 512 token；Online 需流式推理框架支持逐帧处理。单机 8 卡 A800 数日内可完成全部模型评测，但需自建流式推理管线(尤其 MiniCPM-o 4.5、MMDuet2、LiveStar)。复现难度：技术栈涉及流式多模态推理、Gemini 裁判、时间对齐 F1，各有门槛；若复刻数据标注流水线(稠密字幕+QA 合成+两轮人工复核)工程量较大，但复用已发布 benchmark 做模型评测相对可行。
论文图表
