Omni-DuplexEval：评估实时双工全模态交互

首个系统评估实时双工全模态交互的基准，含660视频与LLM时序评判框架

前置知识

实时双工交互 (Real-time Duplex Interaction)

指模型在持续接收流动的多模态输入(如视频/音频流)的同时，无需等全部信息到齐就能在合适时刻产生响应的能力，类似人类边听边说。它与离线范式(看完整个视频再回答)形成对照，要求感知与响应紧耦合。

这是本文整个评测体系的核心被测能力。若不理解'双工'区别于'离线问答'，就无法理解为何要新增时序对齐维度、为何最强模型也仅得39.6分。

多模态大语言模型与全模态模型 (MLLM / Omni-modal)

MLLM是在单一神经网络中统一处理视觉、音频、文本等多种模态的大模型，如GPT-4o、Gemini-Pro。'全模态'(omni-modal)特指在同一架构内统一融合多模态，是LiveCC、MiniCPM-o 4.5等实时交互模型的基础架构。

论文评测的基线(LiveCC、StreamingVLM、MMDuet2、MiniCPM-o 4.5)都是流式MLLM。需先理解其流式增量推理范式，才能看懂表2各模型得分差异的来源。

LLM-as-a-Judge (大模型即评判器)

用大语言模型作为自动评分器替代人工打分的范式。本文用Gemini-3-Flash-thinking作裁判，对模型响应的内容正确性与时序合理性打分(0-3分制)，并通过多窗口采样、相关性过滤等技巧提升与人类判断的对齐度。

整个自动评测框架都建立在LLM-as-a-Judge之上。若不理解这一范式，就无法读懂内容一致性、时序敏感性两套打分公式与公式(1)(2)(3)的设计动机。

时序对齐 (Temporal Alignment)

指生成文本与流式输入(视频/音频)在物理时间轴上的同步程度。例如描述某画面的句子应在对应时刻被说出，过早或过晚都算失配。本文用句子级时间区间$[t^{start}_i, t^{end}_i]$和多窗口采样(±1~2秒)来量化这种同步。

时序对齐是Omni-DuplexEval区别于其他在线基准(表1中唯一打勾的列)的核心评测维度，也是时序敏感性分数$Score_{temporal}$的定义基础。

研究动机

现有多模态大模型(MLLM)几乎都在离线设定下被评测——模型必须先看完整个视频才能作答，代表基准有Video-MME(900视频)、MVBench(3641视频)、LongVideoBench等。这与真实人机交互截然不同：真实交互中感知与响应紧耦合，人类边观察、边听、边回应，无需等待完整信息。近期虽有LiveCC、MiniCPM-o 4.5等流式模型开始展现实时双工雏形，但现有在线基准仍无法刻画这一能力：StreamingBench(900视频)和OVOBench(644视频)主要依赖多选题、只看最终答案质量；OmniMMI(1121视频)虽开放作答但答案稀疏简单；ProactiveVideoQA(1377视频)、PhoStream(578视频)聚焦主动检测却缺乏细粒度时序评测。如表1所示，没有任何基准同时满足开放作答+流式+主动+时序对齐四项，尤其'响应内容'与'响应时机'被割裂评估。

本文的目标是作者目标是构建首个系统评估实时双工全模态交互能力的基准Omni-DuplexEval。它包含两个互补场景：Real-Time Description(实时描述)评估模型随视频演进持续生成时间对齐响应的能力；Proactive Reminder(主动提醒)评估模型识别显著事件并在合适时机响应的能力。数据集共660个视频，配有人工标注的细粒度标签与精确时序元数据，覆盖9个真实场景任务，全部采用开放式提问。更重要的是，作者提出一套基于LLM-as-a-Judge的自动评测框架，能联合评估'说什么(内容)'和'何时说(时机)'两个维度，通过时间戳感知与时序推理实现与人类判断的强对齐。

与已有工作不同的是，本文的独特切入角度是'内容正确性与响应时机的统一评测'。既有基准把响应时机与内容正确性分开处理，专注离散问答而非连续流式生成。Omni-DuplexEval的创新在于：(1)在表1中首次且唯一在'Temporal Alignment'列打勾，强调生成文本与流式输入在物理时间轴上的同步；(2)对Real-Time Description采用句子级时间区间$[t^{start}_i,t^{end}_i]$粒度，同时打内容一致性分与时序敏感性分；(3)用多窗口采样容忍约2秒感知延迟、用相关性过滤剔除寒暄噪声，使自动评分贴近人类直觉。这种'what to say + when to say it'的二维统一评测，正是填补既有空白的关键。

核心方法

整体思路是先把'实时双工能力'拆成两种响应模式：连续描述型(随视频演进不断输出)和事件驱动型(检测到事件才输出)，再为每种模式设计细粒度任务和匹配的评测管线。Real-Time Description下设6个子任务：Counting(计数)、Interaction Relation(交互关系)、Omni(视听综合)、World Knowledge(世界知识)、OCR、Fine-grained Movement(细粒度动作)。Proactive Reminder下设3个子任务：Event Reminder、Post-Event Reminder、Correction。数据集660个视频均短于1分钟(平均34秒)，跨越教育15.6%、娱乐23.5%、体育爱好16.8%、艺术16.2%等领域，每个样本由两名标注员独立标注、第三人裁决。技术路线上，作者为两个场景分别设计了LLM-as-a-Judge评测管线，RTD用内容一致性+时序敏感性双维度，PR用事件时刻后10秒窗口抽取响应再评判。

核心创新是Real-Time Description的'二维评测'与'四步去噪管线'。区别于已有方法只看最终答案正确性，本文把流式输出$S=\{s_1,...,s_n\}$中每个句子$s_i$赋予时间区间，从内容一致性(全局语义对齐，扣分制惩罚事实错误/幻觉/遗漏)和时序敏感性(流式对齐)两个维度联合打分，最终$Score_{overall}=0.5\cdot Score_{content}+0.5\cdot Score_{temporal}$。为剔除流式输出的两类噪声(寒暄等无关语句、约2秒响应延迟)，时序维度引入语义相关性过滤(无关句比例$r$衰减最终分)、多窗口采样(4个候选窗口)、多模态上下文抽取(2 FPS采样视频帧+音频)、时序敏感性打分四步。PR场景则以事件时间戳为锚，抽取其后10秒窗口内响应评估。整个框架用Gemini-3-Flash-thinking作裁判，实现时间戳感知的顺序推理。

方法步骤详情

Real-Time Description评测六步：第一步对每句$s_i$用LLM判定是否与指令及视听上下文相关，无关句占比$r=|S_{irr}|/|S|$用于衰减；第二步在原区间$[t^{start}_i,t^{end}_i]$周围构造4个候选窗口(平移-1~-2秒)；第三步对每窗口以2 FPS采样视频帧并抽取音频段；第四步LLM评判对齐度，句子分取最大值$score(s_i)=\max_k LLM(q,s_i,video^w_k,audio^w_k)$；第五步时序分$Score_{temporal}=\frac{1}{|S_{rel}|}\sum score(s_i)(1-\lambda r)$，取$\lambda=1$；第六步与内容分等权融合$Score_{overall}=0.5 Score_{content}+0.5 Score_{temporal}$，0-3分制再映射到0-100。Proactive Reminder则在事件时间戳后固定10秒窗口抽取模型响应，LLM评判事件识别与指令一致性，事件多次出现需全部命中才算成功，Correction任务评估是否准确修正用户描述。

技术新颖性

技术新颖性体现在四点。其一，如表1所示，Omni-DuplexEval是唯一同时在'开放作答+流式+主动+时序对齐'四列均打勾的基准，首次把生成文本与流式输入的物理时间同步纳入评测。其二，二维评测把'内容一致性'(全局质量)与'时序敏感性'(流式对齐)解耦，又能等权融合，揭示了模型'局部对齐好但全局一致性差'的稀疏响应问题(表3中MiniCPM-o 4.5时序分79.9却内容分仅38.3)。其三，四步去噪管线(相关性过滤+多窗口采样容忍延迟+多模态上下文+最大窗口打分)是针对流式输出特有噪声的工程化创新，使自动评分与人类判断强对齐(附录B给出消融)。其四，PR场景用事件时间戳锚定10秒窗口、要求多次事件全部命中才算成功，把'何时响应'这一根本难题逼真地暴露出来——表4显示MiniCPM-o 4.5有49.2%案例'无答案'。

**Figure 2**: Example of each task in Real-Time Description.

**Figure 3**: Example of each task in Proactive Reminder.

**Figure 4**: Overview of the dataset characteristics.

**Figure 5**: The automatic evaluation pipeline for Real-Time Description.

实验结果

表2核心结果：最强模型MiniCPM-o 4.5总体仅39.6，远低于Human-Duplex的81.8和Human-Offline的91.5，距人类差距巨大。按场景看Real-Time Description(模型34.8-59.1)明显好于Proactive Reminder(仅1.7-20.0)，印证'决定何时响应'比'持续描述'更难。MiniCPM-o 4.5在RTD各子任务OCR最佳68.6、WK 63.7、Counting最难仅51.4，说明低层感知尚可但结构化推理弱。表3揭示'内容-时序'鸿沟：MiniCPM-o 4.5时序敏感性79.9却内容一致性仅38.3，模型靠稀疏间歇响应(约50-60%时长沉默)维持局部对齐却牺牲全局连贯(图6)。表4分析PR错误分布：MiniCPM-o 4.5无答案49.2%、错答27.2%；MMDuet2无答案高达75.8%；而LiveCC-Base错答91.1%、StreamingVLM错答96.7%，即持续生成无关字幕而不识别事件。两大根本挑战为完整性-时效性权衡、无法决定何时响应。

**Table 1**: Comparison of Omni-DuplexEval with other representative video and audio-visual benchmarks.

**Table 2**: Performance of duplex models on Omni-DuplexEval.

**Table 3**: Performance of duplex models on the six sub-tasks of Real-Time Description, including Temporal Sensitivity and Content Consistency scores.

**Table 4**: Distribution of error types for model responses under the Proactive Reminder setting (in percentage, %).

**Figure 6**: Example of model predictions in Real-Time Description.

查看结构化数据

任务	指标	本文	基线	提升
Omni-DuplexEval 总体综合分	Overall Score (0-100，RTD与PR场景平均)	MiniCPM-o 4.5 = 39.6 (最强模型)	Human-Duplex 81.8, Human-Offline 91.5, MMDuet2 35.2, LiveCC-Inst 23.8, StreamingVLM 19.0, LiveCC-Base 18.4	最强模型仍落后Human-Duplex约42分，距Human-Offline约52分；MiniCPM-o 4.5比次强MMDuet2高+4.4分
Real-Time Description 场景平均	RTD Avg. (6子任务平均，0-100)	MiniCPM-o 4.5 = 59.1 (CT 51.4, IR 58.2, Omni 58.4, WK 63.7, OCR 68.6, FM 54.3)	MMDuet2 58.4, LiveCC-Inst 42.9, StreamingVLM 36.2, LiveCC-Base 34.8, Human-Duplex 70.8	MiniCPM-o 4.5比LiveCC-Inst高+16.2；Counting(51.4)是最难子任务，OCR(68.6)是最佳
Proactive Reminder 场景平均	PR Avg. (3子任务平均，0-100)	MiniCPM-o 4.5 = 20.0 (ER 18.8, PER 27.8, CR 11.1)	MMDuet2 11.9, LiveCC-Inst 4.7, LiveCC-Base 1.9, StreamingVLM 1.7, Human-Duplex 92.8	最强模型仅20.0，比Human-Duplex低约73分，是整体最大瓶颈；MiniCPM-o 4.5比MMDuet2高+8.1
RTD 内容一致性 vs 时序敏感性(表3)	Temporal Sensitivity / Content Consistency (0-100)	MiniCPM-o 4.5: TS 79.9 / CA 38.3	MMDuet2 TS 79.2 / CA 37.6; LiveCC-Inst TS 62.5 / CA 23.2	揭示稀疏响应问题：时序分高但内容分低，模型靠间歇输出维持局部对齐而牺牲全局连贯

局限与改进

作者承认的局限：其一，所有视频均短于1分钟(平均34秒)，无法测试长视频或跨长时间窗口的持续双工交互；其二，模态局限于视觉与音频(V+A)，未覆盖字幕作为独立输入通道，也未纳入触觉、深度等更丰富模态；其三，PR场景的10秒窗口是固定阈值，可能对响应延迟较敏感的模型不够公平。我观察到的额外局限：(1)数据规模660视频相对其他在线基准(ProactiveVideoQA 1377、StreamingBench 900)偏小，子任务粒度下每类样本更少，统计稳健性存疑；(2)自动评测高度依赖闭源裁判Gemini-3-Flash-thinking，其判断偏差与成本可能影响可复现性，文中未报告裁判本身的稳定性消融；(3)时序衰减超参$\lambda=1$与多窗口数$k=4$、2 FPS采样率为工程定值，缺乏对这些超参的敏感性扫描；(4)RTD只评估句子级时序，未刻画逐token的更细粒度时序；基线仅5个双工模型，未纳入通用大模型经提示工程后的流式表现作为参照。

独立分析的弱点

弱点一：评测时序粒度局限于句子级，对'何时开始说'的毫秒级精度、对重叠语音/打断处理未刻画，改进方向是引入token级或帧级时序奖励与流式WER类指标。弱点二：数据规模与多样性不足(660视频、9任务)，改进方向是扩展到万级规模并加入更多垂直领域(医疗、工业监控、自动驾驶座舱)与长视频(分钟级)。弱点三：裁判模型单一且闭源，存在评判偏差与复现风险，改进方向是引入多裁判集成、开源裁判对照，并报告裁判间一致性(Kappa)。弱点四：PR场景固定10秒窗口的硬阈值对慢响应模型不公平，改进方向是自适应窗口或建模响应延迟分布。弱点五：未给出'内容-时序'权衡的可控旋钮(如允许模型主动权衡$Score_{content}$与$Score_{temporal}$权重)，改进方向是设计帕累托前沿评测，鼓励模型在完整性与时序间动态权衡而非单点优化。

未来方向

作者明确提出的方向：把Omni-DuplexEval扩展到更长、更复杂的交互设定；随着双工多模态系统演进，未来基准应覆盖更丰富的模态和更广泛的实时交互形式。基于本文成果可延伸的方向：(1)构建多轮、多参与者的实时双工对话基准(当前是单指令单视频)，评估真正'对话式'双工能力；(2)把PR的'何时响应'问题与强化学习结合，用事件检测奖励微调流式模型的触发策略，直接攻破20.0分瓶颈；(3)开发轻量化的开源时序裁判替代Gemini，降低评测成本以支持大规模模型迭代；(4)研究'完整性-时效性'权衡的理论建模，给出$Score_{overall}$中内容与时序权重的自适应学习机制；(5)把基准从被动观看延伸到具身智能(agent边操作边报告)，检验双工能力对真实决策的迁移价值。

复现评估

可复现性中等偏上。作者提供了项目主页https://github.com/OpenBMB/Omni-DuplexEval，承诺发布660个视频及人工标注的细粒度时序元数据，评测提示词在附录A给出，评测管线消融与人类对齐分析在附录B给出，方法描述(任务分类、四步去噪、双维度公式)足够详尽。基线明确列出LiveCC(Base/Instruct)、MMDuet2、StreamingVLM、MiniCPM-o 4.5，且说明实验在单卡NVIDIA A100上按各模型原生双工协议推理，复现门槛主要在拿到这些双工模型。主要障碍有二：其一，自动评测依赖闭源裁判Gemini-3-Flash-thinking，其版本/配额/价格波动会影响评分一致性，严格复现需固定裁判版本；其二，多窗口采样(2 FPS、k=4)、相关性过滤、$\lambda=1$等超参的敏感性扫描未公开，研究者自行调参可能得到不同结论。总体上数据与代码层面可复现，但裁判一致性需谨慎核验。

Omni-DuplexEval：评估实时双工全模态交互 Omni-DuplexEval: Evaluating Real-time Duplex Omni-modal Interaction