Omni-InteractScope：连续全模态流中主动与智能体交互的基准评测 Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams
1479交互、1790时间目标的基准，揭示12个全模态模型及时干预与持续辅助的短板
前置知识
Omni-LLM（全模态大语言模型）
能同时处理文本、图像、音频、视频等多种模态输入并生成文本或语音回复的大语言模型，代表如 GPT-4o、Qwen2.5-Omni、Qwen3-Omni。与普通视觉语言模型（VLM）的关键区别在于原生接收音频流（环境声、语音），而不是把声音转成文字后再处理，因此理论上能响应非语言的声音事件。
本文测的正是这类模型在连续音视频流上的行为，理解其输入接口（原生音频 vs ASR 转写）是看懂实验设置和跨模型比较的前提。
流式因果推理（streaming causal inference）
模型只能访问当前时刻 $t$ 之前的数据（因果前缀），在离散决策点（如每个整数秒）上决定沉默还是回应。评测时不能提前偷看未来的帧或音频，这与离线视频问答“看完再答”有本质区别，也带来了时序对齐、状态保留等工程问题。
整篇论文的评分体系建立在因果访问之上：响应时间戳、±2 秒有效窗口、首响应分配规则，都只在流式设定下才有意义。
主动交互（proactive interaction）
助手在没有被逐步提问的情况下，自主决定何时开口、何时沉默、何时调用工具。包含两个层次：事件定时行动（用户指定“当 X 发生时做 Y”，模型要判断 X 何时发生）和無查询主动性（用户只给一般性需求如“帮我看路”，模型要自己发现有价值的提醒时机）。
本文的核心命题就是这两层主动性的可靠评测，任务分组 T1（工具调用）与 T8-A（无查询提醒）分别对应这两层。
联合内容-时间评分（joint content–timing scoring）
一次响应只有在内容正确且时间落在有效窗口内才算命中，形式化为 $E_{ij}^{k} = \mathbb{I}[t_{ij} \in W_i^{k}] \cdot C_i(\hat{y}_{ij}, y_i^{k})$，其中 $W_i^{k}$ 通常是参考时刻 $\tau_i^{k} \pm 2$ 秒。时间与内容由两个独立组件检查：脚本查时间窗，LLM 裁判查内容。
这是全文所有主表数字的度量基础；不理解“内容对但早说/晚说都算失败”以及 T1-T7 的首响应不可补救规则，就无法理解为何所有模型分数如此之低。
Offline Probing 与 Online Rolling
论文统一的两种响应收集协议。Offline Probing 面向 prompted 模型：在每个决策点独立调用一次，只喂因果前缀，不保留会话；Online Rolling 面向流式模型：查询时重放先前观察并保留模型原生状态（含其自己生成的历史）。两者共享决策网格，保证响应机会一致。
12 个模型分属这两类接口，附录中大量敏感性分析（如决策调度使 Gemini-3.5-Flash 下降 7.63 个百分点）都在说明收集协议本身会显著改变分数。
研究动机
GPT-4o、Qwen2.5-Omni 这类全模态大模型正被期望扮演“始终在线”的音视频助手：为视障用户口述环境、为听障用户转述声音、或在用户指定的事件出现时立刻调用工具。但现有评测远没有覆盖这种主动服务的全部义务。离线视频理解基准（Video-MME、LongVideoBench）让模型看完整个视频再答题，不存在时机问题；StreamingBench、OVO-Bench 限制了因果前缀，但只考察对已知问题的应答。2025-2026 年涌现的交互基准（OmniMMI、OmniPro、IPIBench、OmniInteract、OmniAssistBench、Omni-DuplexEval、StreamArena、VIABench）逐步加入主动性、工具与辅助场景，然而没有任何一个同时覆盖三件事：事件定时的工具调用（何时调用哪个工具）、无事件特定查询的主动提醒（仅在“帮我留意障碍物”这类一般性需求下决定何时开口）、以及一次初始回答之后仍然悬置的后续响应义务（例如多步引导的第二、第三步）。更关键的是，现有工具调用评测几乎从不区分“模型真的从流中看到了事件”和“模型只凭请求文本就能猜对工具与时机”——而后者恰恰是语言先验可以刷分的地方。缺乏这三类测量，意味着我们并不知道这些模型能否胜任真实的流式辅助场景。
本文的目标是本文要建立一个把“流证据—用户需求—所需干预—时机”四个维度显式链接起来的基准，并量化当前全模态模型在及时干预与持续辅助上的真实水平。具体包括：构建 1,479 个人工标注、经独立小组交叉审核的交互，含 1,790 个时间目标，覆盖八个任务组（工具调用、事件通知、风险/错误插话、累积状态跟踪、时间条件、非语言/工作流线索、连续响应、残障辅助）；每个目标同时规定必须生成的响应内容与有效时间或时间区间，163 个交互保留多目标顺序以表达“初始回答之后仍需继续响应”的持续义务。在此资源之上，聚焦两个互补难点做重点诊断——200 个事件定时工具调用目标和 122 个无查询提醒目标，并用配对控制实验把工具选择与时机、场景证据与请求先验、响应策略与覆盖率分离开。最终给出可量化的失败画像：任何模型的准时首响应都不超过工具调用目标的 40%，联合时间-工具准确率不超过 32.0%，无查询提醒的及时召回不超过 23.0%，26 条多步引导序列没有任何模型完整覆盖超过 3 条。
与已有工作不同的是，本文最独特的切入是“把干预本身当作被测对象，并为其配备证据控制”。以往基准把“响应内容正确”当作终点，本文认为助手的义务还包括三个被普遍忽视的维度：干预是否落在有效时间窗、一次回答之后是否还有后续目标待履行、以及高分是否真的来自对流事件的感知。为此它引入三个此前基准没有的机制。其一，target（目标）作为标注原语：内容与时间窗绑定，T1-T7 采用“首响应分配”规则——过早或错误的响应会被消耗，事后补救无法得分，从而把“抢答”暴露出来；T8 则用保序最大匹配允许后续响应补救。其二，配对控制实验：在同样的 200 个工具调用交互上移除全部场景输入（视频、音频、转写），在同样的 122 个提醒片段上操纵响应历史与冷却时间，用以证明分数对“是否真的看了流”和“响应策略”高度敏感。其三，Complete-sequence 指标配合置换参考分布，把“完整走完 26 条引导序列”与“单步正确率”分开度量，避免把低完成率草率归因于记忆或规划缺陷。这套“义务—证据—覆盖”的评测哲学对整个流式交互基准领域都有方法论意义。
核心方法
直觉上，这篇论文把评测从“看图答题”改成了“带秒表的监考”：模型像值班助手一样在音视频流上被逐秒询问“现在该不该行动”，评测者手持时刻表，记录模型每一次开口的时间与内容，逐一核对“该说的说了没有、内容对不对、时间踩没踩准”。技术路线分四层。第一层是数据：207 段自录第一人称视频（残障辅助面板）加 905 段在线视频（显式请求面板），人工标注出 1,479 个交互、1,790 个目标，每个目标绑定参考内容与时间窗。第二层是响应收集：12 个模型配置在因果决策网格（查询时刻 $q$、其后每个整数秒、片段结束 $D$）上被调用；prompted 模型走 Offline Probing（每次独立调用、只见因果前缀，1 fps 采样上限 32 帧），流式模型走 Online Rolling（会话保留原生状态）。第三层是评分：联合内容-时间资格 $E_{ij}^{k} = \mathbb{I}[t_{ij} \in W_i^{k}] \cdot C_i(\hat{y}_{ij}, y_i^{k})$，$W_i^{k}$ 为参考时刻 ±2 秒（T8-A 用标注区间），$C_i$ 由温度 0 的 GPT-4o 只读文本判决，T1 用工具名集合精确匹配。第四层是聚合与不确定性：目标级得分 $S(\mathcal{S}) = \sum_{i}\sum_{k} m_{i}^{k} / \sum_{i} K_i$，配对差异用 10,000 次 video-record 簇 bootstrap 的 95% 百分位区间表达。
核心创新是“目标原语 + 证据控制”这对组合，它把评测对象从“答案”升级为“义务”。以往基准的一个交互就是一个问答对；本文的交互可携带一串时间排序的目标，每个目标规定响应内容与有效时间，使“初始回答之后是否继续履行义务”第一次成为可度量对象（T7 连续解说在 207 个交互中含 457 个目标，T8-C 的 26 条引导序列含 87 步）。更重要的是配套诊断设计揭示了一个令人不安的事实：Gemini-3.5-Flash 在移除全部场景输入后，T1 联合准确率不降反升（29.50% → 33.00%，配对差 −3.50 个百分点，95% CI [−7.00, −0.50]），因为仅凭请求文本它就能恢复 193/200（96.5%）的正确工具标签，再用“查询后固定延迟 3 秒盲发”的策略即可拿到 68.0% 的联合成功率——四档测试延迟中的最高值。这说明“工具+时机”分数本身根本不能证明模型进行了事件接地，任何此类评测都必须附带证据控制。同样的思路用在提醒任务上：给模型看自己最近 5 条响应历史，输出量骤降 58.09%（7,833 → 3,283 条）而覆盖不变（22/122，但仅 10 个目标重合、12 增 12 失）；加 10 秒冷却则覆盖率掉到 10/122（−9.84 个百分点）。覆盖率并非纯感知能力，而是与响应政策纠缠在一起。这两个控制实验是全文最有穿透力的发现。
方法步骤详情
完整流程分六步。（1）数据构建：标注者为每个交互写用户请求或一般性辅助需求（视障 261 项/听障 38 项）、查询时刻与附件（文本 1,202、音频 124、文本+图像 25、无事件特定查询 122），为每个目标记录参考内容、触发证据（视觉 1,473、听觉 145、其他 172）与参考时间或区间；另一组标注者交叉审核，发布前有 64 次初审加 16 次复审的分层审计（证据支持阳性 62/64、时间 63/64）。（2）任务组织：T1 工具调用 200 交互、T2 事件通知 207、T3 风险插话 208、T4 累积状态 206、T5 时间条件 115（单独诊断）、T6 非语言线索 37、T7 连续响应 207 交互/457 目标、T8 辅助面板 299 交互/360 目标（提醒 122、问答 151、引导 26 交互/87 步）。（3）响应收集：决策时刻为 $\{q, D\} \cup \{k \in \mathbb{Z} : q \le k \le D\}$；prompted 模型每个决策点收到 1 fps、上限 32 帧的因果帧加原生音频或 ASR 转写，流式模型保留会话状态。（4）评分：T1 要求工具名集合精确匹配；T2-T8 由 GPT-4o（温度 0）比较请求+参考+候选文本做二元判决，时间由脚本独立检查窗口 $W_i^{k} = [\tau_i^{k} - 2, \; \tau_i^{k} + 2]$。（5）分配：T1-T7 将输出按时间排序、两秒内合并分组，目标间用中点分界，每个目标消耗最早落入候选集的输出，过早或错误即失败且不可补救；T8 用动态规划 $D_{kj} = \max\{D_{k+1,j},\, D_{k,j+1},\, E_{kj}(1 + D_{k+1,j+1})\}$ 保序最大化合格配对数。（6）聚合：六任务均衡平均、T8 目标召回、Complete T8-C，配对差异用 114-200 个视频记录簇的 bootstrap 区间表达。
技术新颖性
与已有工作相比，新颖性体现在四个层面。数据层面：它是第一个把“无事件特定查询的辅助”（T8-A，122 个目标）和“事件定时工具调用”（T1，200 个目标）放进同一框架、并保留后续目标顺序的资源——Table 1 显示此前只有 VIABench 覆盖 query-free 设定，StreamArena 只覆盖工具执行，没有任何基准同时覆盖工具调用时机与持续义务。指标层面：首响应分配（过早即消耗、不可补救）与保序最大匹配是两种不同的时序-内容耦合评分，比“答案对不对”严格得多；Complete T8-C 把“全部步骤都说到”作为交互级指标，并用置换参考 $E_{\text{perm}}[N_{\text{complete}}] = n \prod_{k=1}^{K} p_k$ 判断低完成率是否超出各步独立成功率的预期。诊断层面：请求先验控制（无场景输入恢复 96.5% 工具标签）、固定延迟盲发（3 秒达 68.0%）、场景消融（−3.50 个百分点）构成一套可复用的“证据控制工具箱”，这是对整个工具调用评测范式的方法论批评。实验层面：统一了 prompted 与流式两类接口的因果访问（同样的决策网格），并把输出量（条/分钟）与覆盖率一起报告，把 SPOT-Bench 提出的响应频率问题落实成可操纵的对照实验。这些设计不依赖新模型，而是让“评测结论是否可信”第一次变得可检验。
实验结果
12 个模型配置的评测给出三个一致的结论，每个都有配对控制支撑。结论一：及时工具调用不可靠。Table 2 中没有任何模型的准时首响应超过 200 个 T1 目标的 40%（LiveCC 达 40.0% 但 80 次及时响应无一工具正确、联合 0.0%），联合时间-工具准确率最高仅 32.0%（Qwen3.5-Omni-Plus，准时 39.0%、条件工具准确率 82.05%）。六任务均衡平均上 Gemini-3.5-Flash 以 20.2% 居首，而流式模型全线崩塌（0.4%-5.4%）；T4 与 T7 的最好成绩仅 11.2% 和 11.4%，失败分解显示 Gemini-3.5-Flash 在 T4 的 172/206 个失败属过早响应，T7 上 233/457 过早、152/457 及时但内容错误。结论二：无查询提醒覆盖远差于显式问答。Table 3 中 Gemini-3.1-Pro 的 T8-A 召回 22.95% 对 T8-B 的 62.25%，差约 39 个百分点；开源 prompted 模型 T8-A ≤2.46%，五个流式模型全部 0.00%。结论三：步骤正确不等于全程覆盖。Gemini-3.1-Pro 在 T8-C 步骤召回 51.7%（30/60），但 26 条引导序列只完整覆盖 3 条；在 20 条三步序列上逐步覆盖为 8/20、10/20、12/20，完整序列的置换期望 2.40、参考区间 [0, 5]，观察值 3 落在区间内，说明低完成率可由逐步成功率解释。诊断实验进一步显示：连续探测网格使 Gemini-3.5-Flash 六任务准确率下降 7.63 个百分点（26.80% → 19.17%）；时间容差从 2 秒放宽到 4 秒时，场景消融差异从 −3.50 扩大到 −13.00 个百分点，1 秒时为 −1.50（区间含零）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T1 事件定时工具调用 | 联合时间-工具准确率（200 目标，±2 秒） | 最佳 32.0%（Qwen3.5-Omni-Plus），准时首响应最高 40%（LiveCC） | 全部 12 个模型配置 | 无模型超过 32.0%；且移除场景输入后 Gemini-3.5-Flash 反升至 33.0%，证明该分数不含事件接地证据 |
| T2-T4/T6/T7 显式请求任务 | 六任务联合准确率均衡平均 | 20.2%（Gemini-3.5-Flash 最高） | 开源 prompted 模型 2.3%-6.7%；流式模型 0.4%-5.4% | 专有模型领先约 7-20 个百分点，但绝对水平仍低于四分之一 |
| T8-A 无查询提醒 | 及时参考目标召回（122 目标） | 22.95%（Gemini-3.1-Pro） | 同模型 T8-B 显式问答 62.25%；流式模型全部 0.00% | 提醒比问答低约 39 个百分点，所有模型提醒召回 ≤23.0% |
| T8-C 多步引导 | 完整序列覆盖（26 条）/ 步骤召回 | 3/26（Gemini-3.1-Pro，步骤召回 51.72%） | 9 个模型 0/26，其余 1-2/26 | 无模型覆盖超过 3 条序列；置换参考表明低完成率与逐步成功率一致（期望 2.40，区间 [0,5]） |
| T1 请求先验控制 | 仅凭请求文本的工具标签恢复率 | 96.5%（Gemini-3.5-Flash，193/200） | Qwen2.5-Omni 63.0%、Qwen3-VL 51.5%、恒选图像搜索 59.5% | 固定 3 秒延迟盲发即可获 68.0% 联合成功，暴露纯时序先验的刷分空间 |
| T8-A 响应历史控制 | 召回 / 输出量（122 片段） | 有历史：22/122、3,283 条输出（降 58.09%） | 无历史：22/122、7,833 条输出 | 加 10 秒冷却后召回降至 10/122（−9.84 个百分点 [−17.24, −2.46]），证明覆盖依赖响应政策 |
局限与改进
作者明确承认的局限包括：T8 的及时召回不惩罚未匹配输出，因此不度量选择性（该沉默时是否沉默）与打扰成本；Complete T8-C 只度量对标注轨迹的覆盖，不等于闭环用户任务成功；提醒目标没有枚举片段中所有可能有用的干预，未匹配输出不能自动判为误报；bootstrap 区间未做多重性校正；1,112 条视频记录并非独立原始来源（显式请求面板有 7 组共享平台身份），不确定性只能按记录簇计算；GPT-4o 判决不接触场景媒体，仅凭文本判断内容正确性。我的补充观察：其一，时间容差敏感性极大（容差 1/2/4 秒下 Gemini-3.5-Flash 场景对照差异为 −1.50/−3.50/−13.00 个百分点），结论对标注时间精度与容差选择依赖很强，而人工时间标注本身有噪声；其二，跨模型比较并不受控——Qwen3-VL/InternVL3.5 用 V+ASR 而非原生音频、各模型上下文保留策略不同（附录 C.2 明确说 context retention 不均衡），跨组排名不能解释为同等条件下的能力差；其三，流式模型 T1 联合准确率几乎全为 0（AURA、MMDuet2、LiveCC 均为 0.0%），更可能反映 adapter 未提供内联工具调用输出格式而非模型不会选工具；其四，数据来源偏重中文平台（抖音 888/905 段在线视频），跨文化跨设备分布有限；其五，T6 仅 37 个目标、T8-C 仅 26 条序列，小样本上的排名稳定性存疑。
独立分析的弱点
以下是我独立于作者表述的弱点分析。第一，评分管道对文本裁判的依赖是系统性风险：GPT-4o 只读请求、参考与候选文本，对“手势匹配查询图”“开始做第三道菜”这类视觉累积证据，裁判无法核实候选描述是否真的对应画面事件，“编得像”就可能得分；改进方向是给裁判附上目标时刻的关键帧，或对视觉触发目标使用带检测器的验证器。第二，首响应分配规则可能过严：真实助手说错一句可以立即纠正，而 T1-T7 中一次过早响应就消耗目标且不可补救，这会系统性惩罚“啰嗦但负责任”的模型；可并行报告允许一次纠正的宽容口径作敏感性分析——论文的容差敏感性只动了时间窗，没有动分配规则。第三，接口不对齐削弱跨模型结论：Qwen3-VL/InternVL3.5 只拿 ASR 转写、AURA 只拿 30 段近期视频、LiveCC 无场景音频，工具调用性能差异混入了模态接入差异；应给每个模型补一组输入对齐消融（例如全部 V-only）。第四，覆盖率与代价脱节：无历史条件下 Gemini-3.5-Flash 每分钟输出 58.39 条，现实中这种助手会被用户立刻关掉，而输出量只出现在附录；应把价值/成本比写进主指标。第五，“有用提醒”由单一参考定义，122 个目标上的 0/1 召回噪声大；可引入多参考标注或人类偏好重排来稳定估计。第六，缺少与真实部署延迟的关联：所有时间都用媒体时间，实时推理延迟会进一步侵蚀 ±2 秒窗口，基准结论对实时系统的外推有限，值得补一组含 wall-clock 延迟的评测。
未来方向
作者在讨论与附录中提出的方向包括：比场景消融更强的反事实检验——保持请求固定而系统地改变事件是否发生及何时发生，以测试模型是否真正跟踪流事件；把历史访问与输出率作为标准字段与召回一起报告；发展选择性评估，度量干预的价值与成本而不只是对标注目标的命中；通过操纵历史与状态来检验“显式记录已交付引导与待办义务”的设计假设是否是持续覆盖的关键；把评测从标注轨迹覆盖推进到闭环任务成功。基于本文成果可自然延伸的方向还有：把“目标=内容+时间窗”的标注形式转化为训练信号，例如用时序对齐的 SFT 或以有效窗口命中为奖励函数的强化学习直接优化“何时开口”；为全双工实时系统补一组含推理延迟与端到端响应时延的评测协议；把流长度从中位数 2.16 分钟扩展到小时级，考察长程义务的保持与上下文管理；以及在残障辅助任务上引入真实视障/听障用户研究，验证基准召回率与用户感知有用性之间的相关性。
复现评估
复现条件总体友好，但有两个成本点。资产方面：项目页（yinsongyan.github.io/Omni-InteractScope/）承诺公开基准，附录 A-E 提供了异常完整的协议——任务计数与分类边界、标注审计记录、观察调度与时间戳约定、评分 rubric 与判决 prompt、诊断控制的样本量与敏感性分析、五个带原始帧和记录输出的案例，还附响应分配规则的 worked examples；所有媒体与标注均经人工审核并有 AI 使用声明。算力方面：评测 12 个配置需要 3 个专有 API（Gemini-3.1-Pro、Gemini-3.5-Flash、Qwen3.5-Omni-Plus）外加 GPT-4o 裁判；本地侧最大为 Qwen3-Omni 30B-A3B（激活参数 3B），其余 3B-11.3B 单卡即可。真正昂贵的是决策网格的调用量——例如 Gemini-3.5-Flash 在 122 个提醒片段的无历史条件下产生 7,833 次输出，全量复跑 12 个模型的 API 与推理开销可观。难度评估：只跑评测（下载基准+适配一两个模型）为中等，难点在实现各模型的因果 adapter 与时间戳约定；从头复刻数据集（标注+交叉审核+207 段自录第一人称视频）为高难度，且自录视频的发布范围受隐私约束需要确认。总评：这是近年协议文档做得最完整的基准论文之一，附录基本消除了“评分规则说不清”的常见复现障碍。
论文图表
上半部分展示三个代表性交互如何把用户请求或一般辅助需求与音视频流中的事件、响应内容与时机连接起来（35.80 秒的工具调用、84.43 秒的手势提醒、74.00 秒的听障辅助播报）；下半部分给出基准的任务分布（残障辅助 28.1%、工具调用 13.5%、连续响应 14.0% 等）、场景分布（室内 37.4%、室外 34.3%、屏幕 28.1%）与流时长（中位数 2.16 分钟、P90 6.15 分钟）。
一张图同时呈现了基准的设计哲学（输入模态-触发-干预-需求四维链接）和全部宏观统计，是理解论文范围的入口。