SONIC-O1：评估多模态大语言模型音频-视频理解能力的真实世界基准 SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding
首个结合原生音频-视频输入、时序定位和人口统计学元数据的多模态理解基准
前置知识
多模态大语言模型（MLLMs）
多模态大语言模型是能够同时处理文本、图像、音频和视频等多种输入模态的大型神经网络模型。这些模型通常基于 Transformer 架构，通过大规模预训练学习跨模态的语义对齐。典型的代表包括 Gemini、Qwen-Omni、VITA 等。MLLMs 的核心能力在于将不同模态的信息融合成统一的语义表示，从而实现跨模态推理。例如，模型需要同时理解视频画面中的动作、音频中的语音语调以及文本转录的内容，才能准确回答关于视频内容的问题。
本文评估的核心对象就是这类模型，理解 MLLMs 的工作原理是读懂实验设计和结果分析的基础
时序定位（Temporal Localization）
时序定位是指在视频中精确定位特定事件发生的时间区间，通常用起始时间和结束时间来表示。例如，给定一个问题「Ryan Sessegnon 进球后，Antoine Semenyo 何时打入第一球？」，模型需要输出精确的时间戳（如 42.9s 到 49.0s）。时序定位的评估通常使用 IoU（交并比）指标，衡量预测区间与真实区间的重叠程度。这一任务要求模型不仅理解「发生了什么」，还要理解「什么时候发生的」，是对模型时间推理能力的严格考验。
时序定位是本文三大评估任务之一，也是实验中表现差距最大的任务，理解这一概念对理解论文核心发现至关重要
人口统计学公平性（Demographic Fairness）
人口统计学公平性是指 AI 系统在不同人口特征群体（如种族、性别、年龄）上的表现是否存在系统性差异。在本文中，研究者为每个视频标注了参与者的人口统计学特征（6 个种族群体、2 种性别、3 个年龄组），然后分析模型在不同群体上的性能差异。这种分析方法被称为「切片分析」（slice analysis），能够揭示模型是否对某些群体存在偏见。公平性评估对于 AI 系统在医疗、法律、教育等高风险场景中的部署至关重要。
人口统计学公平性分析是本文的核心贡献之一，论文发现时序定位任务存在高达 21.4% 的跨种族性能差距
LLM-as-Judge 评估
LLM-as-Judge 是一种使用大型语言模型作为评估器的方法，用于评估生成式任务（如摘要、推理理由）的质量。在本文中，研究者使用 GPT-5-mini 作为评估器，对模型生成的摘要和推理理由进行 0-10 分的打分。评估器会比较模型输出与参考答案的语义相似度、事实正确性和完整性，而不是简单地进行词汇匹配。这种方法能够更好地捕捉语义等价性，弥补传统 n-gram 匹配指标（如 ROUGE）的不足。
理解这一评估方法有助于理解论文中 Score 指标的含义，以及为什么需要多种评估指标的组合
音频-视觉问答（AVQA）
音频-视觉问答是一种需要模型同时理解音频和视觉信息来回答问题的任务。与传统的视频问答不同，AVQA 强调音频不是可选的辅助信息，而是理解视频内容的关键组成部分。例如，在理解一段医患对话时，语音中的语气、犹豫、强调等副语言信息（paralinguistic cues）对于准确理解说话者的意思至关重要。AVQA 任务要求模型具备跨模态融合能力，能够将视觉动作、语音内容和语调信息整合起来进行推理。
SONIC-O1 是一个 AVQA 基准，强调原生音频输入的重要性，这与以往将音频视为可选输入的基准形成对比
研究动机
当前多模态大语言模型的研究和评估存在两个关键缺陷。首先，音频信息被系统性地忽视。大多数现有基准测试（如 Video-MME、LongVideoBench）要么完全忽略音频，要么用文本转录替代原生音频输入，这导致副语言信息（如语气、情感、犹豫）被丢弃，而这些信息对于理解说话者的真实意图至关重要。例如，在心理健康咨询场景中，咨询师的语调变化可能比话语内容更能反映患者的情绪状态。其次，跨人口统计学群体的性能分析几乎完全缺失。现有基准不标注参与者的人口统计学特征，因此无法评估模型是否对不同种族、性别或年龄的群体存在系统性偏见。这在医疗、法律、教育等高风险场景中尤为危险，因为模型偏见可能导致对某些群体的服务质量下降。
本文的目标是本文的目标是构建一个全面的、经过人工验证的基准测试 SONIC-O1，用于系统性评估多模态大语言模型在真实世界音频-视频理解任务上的表现。具体目标包括：（1）覆盖 13 个真实世界对话领域（如医患咨询、法庭听证、求职面试），总计约 60 小时、231 个视频片段；（2）设计三个互补的评估任务——开放式摘要、多选题问答和时序定位，分别测试全局理解、细粒度推理和时间推理能力；（3）为所有视频标注人口统计学元数据（种族、性别、年龄），支持跨群体的公平性分析；（4）构建一个开放的评估套件，支持可复现的评估和社区扩展。
与已有工作不同的是，本文的独特切入角度在于将三个被忽视的维度整合到一个统一的基准中。第一，SONIC-O1 要求模型处理原生音频-视频输入，而不是将音频降级为文本转录，这使得模型必须真正具备音频理解能力。第二，本文首次在音频-视频理解任务中引入系统性的人口统计学公平性分析，通过标注 6 个种族群体、2 种性别和 3 个年龄组的元数据，揭示模型在不同群体上的性能差异。第三，本文设计了时序定位任务，要求模型输出精确的时间戳并提供推理理由，这比传统的「选择正确答案」任务更具挑战性，也更接近真实应用场景。这三个维度的组合使得 SONIC-O1 成为首个能够全面评估 MLLMs 在真实世界场景中表现的基准。
核心方法
SONIC-O1 的构建方法可以类比为建造一座「真实世界对话博物馆」。就像博物馆需要精心挑选展品、标注信息并设计参观路线一样，研究者需要从 YouTube 上海量视频中筛选出高质量的真实对话场景，为每个视频标注丰富的人口统计学元数据和任务标签，并设计三个互补的评估任务来测试模型的不同能力。整体技术路线分为四个阶段：数据收集（从 YouTube 检索 CC BY 4.0 许可的视频）、质量保证（人工审核和专家标注）、任务设计（三个评估任务的标注和验证）、评估套件开发（统一的推理和评估框架）。整个过程遵循严格的质量控制流程，所有标注都经过领域专家的人工审核和修正。
本文的核心创新在于提出了「omnimodal + demographic-aware + temporally-grounded」的评估范式。与以往基准的本质区别体现在三个方面。第一，音频不是可选输入。SONIC-O1 要求模型必须同时处理音频和视频，这迫使模型真正学习音频-视觉融合，而不是依赖文本捷径。第二，公平性评估成为一等公民。通过为每个视频标注人口统计学元数据，SONIC-O1 首次实现了跨群体的系统性性能分析，发现了以往被忽视的模型偏见。第三，时序定位需要精确的时间戳输出。模型不仅要回答「发生了什么」，还要回答「什么时候发生的」，这要求模型具备更强的时间推理能力。这三个创新点的组合使得 SONIC-O1 能够揭示现有模型的真实能力边界和潜在风险。
方法步骤详情
SONIC-O1 的构建流程包含以下关键步骤。第一步，数据收集与筛选。研究者使用 YouTube Data API v3 检索视频，搜索策略结合了主题关键词（如「panel interview」「doctor patient conversation」）和人口统计学描述符（如「young adult」「Black」「woman」），以最大化多样性。从初始的 2,237 个候选视频中，经过许可过滤（仅保留 CC BY 4.0）、元数据预筛选和人工审核，最终保留 231 个视频，总计约 60 小时。第二步，视频预处理。每个视频下载为 MP4（最高 1080p），提取立体声音频（48kHz, 192kbps），并获取英文字幕（通过 YouTube API 或 Whisper ASR）。第三步，人口统计学标注。使用 Gemini 2.5 Flash 生成初始标注，然后由领域专家审核修正，标注内容包括种族（6 类）、性别（2 类）和年龄（3 类）。第四步，任务标注。对三个任务分别进行标注：（1）摘要任务，将长视频分段（10 分钟一段）后分别摘要再合并；（2）MCQ 任务，将视频分段（3 分钟一段，30 秒重叠）后生成五选一的选择题；（3）时序定位任务，标注锚点事件和目标事件的时间戳。所有标注都经过人工审核和修正。
技术新颖性
SONIC-O1 的技术新颖性体现在多个层面。在数据层面，这是首个同时具备原生音频-视频输入、人口统计学元数据和时序定位标注的基准，数据规模（4,958 个标注实例）和领域覆盖（13 个高风险领域）都超越了以往工作。在任务设计层面，本文提出了「anchor-target」时序定位公式，要求模型给定一个锚点事件后预测目标事件的时间区间，这种设计比简单的「视频中发生了什么」更具挑战性。在评估框架层面，本文采用多维度评估策略，包括自动指标（ROUGE-L、余弦相似度、IoU）和 LLM-as-Judge 语义评估，能够更全面地捕捉模型能力。在公平性分析层面，本文首次在音频-视频理解任务中引入系统性的跨群体分析，发现了高达 21.4% 的跨种族性能差距，这一发现对 AI 系统的安全部署具有重要意义。
实验结果
本文的实验结果揭示了多个重要发现。首先，闭源模型（Gemini 3.0 Pro）在几乎所有指标上都显著优于开源模型。在 MCQ 任务上，Gemini 达到 81.4% 的准确率，比最佳开源模型 Qwen3-Omni（65.7%）高出 15.7 个百分点。在时序定位任务上，差距更为显著：Gemini 的 R@0.5 为 25.4%，而 Qwen3-Omni 仅为 2.8%，差距高达 22.6 个百分点。其次，时序定位是最具挑战性的任务。所有开源模型的 mIoU 都低于 4%，而 Gemini 也仅为 26.6%，说明即使是当前最强的模型也难以精确地定位视频中的事件。第三，人口统计学分析揭示了系统性偏见。在时序定位任务上，跨种族的性能差距高达 21.4%（Indigenous 群体 40.9% vs Black 群体 19.5%），而 MCQ 任务的差距相对较小。第四，音频输入对性能有显著影响。添加音频后，Qwen3-Omni 的 MCQ 准确率提升 10.3%，摘要分数提升 2.38，表明音频信息对于理解对话内容至关重要。第五，模型规模并非决定性因素。Baichuan-Omni 1.5（7B）和 OLA（7B）的 MCQ 准确率分别为 56.2% 和 53.2%，超过了更大的 UniMoE-2.0（33B，51.6%），说明模型架构和训练策略同样重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频摘要 | LLM Judge Score (0-10) | Gemini 3.0 Pro: 7.07, Qwen3-Omni: 5.72 | VideoLLaMA2: 1.53 | Gemini 比最佳开源模型高 23.6% |
| MCQ 问答 | Accuracy (%) | Gemini 3.0 Pro: 81.4%, Qwen3-Omni: 65.7% | VideoLLaMA2: 26.4% | Gemini 比最佳开源模型高 15.7% |
| 时序定位 | R@0.5 (%) | Gemini 3.0 Pro: 25.4%, Qwen3-Omni: 2.8% | VideoLLaMA2: 0.4% | Gemini 比最佳开源模型高 22.6% |
| 时序定位 | mIoU (%) | Gemini 3.0 Pro: 26.6% | Qwen3-Omni: 3.7% | Gemini 比最佳开源模型高 22.9% |
| MCQ 问答（加音频） | Accuracy (%) | Qwen3-Omni (Video+Audio): 71.9% | Qwen3-Omni (Video-only): 61.6% | 添加音频后提升 10.3% |
局限与改进
本文承认了几个重要的局限性。首先，SONIC-O1 仅覆盖英语语言的对话场景，这限制了其在其他语言和文化背景下的泛化能力。不同语言的副语言特征（如语调模式、停顿习惯）可能存在显著差异，因此基于英语的发现不一定适用于其他语言。其次，尽管所有标注都经过人工审核，但仍存在一定的主观性，特别是在开放式任务（如摘要）中，不同评估者可能有不同的判断标准。第三，数据集的规模和任务范围有限，231 个视频和 4,958 个标注实例可能无法完全代表真实世界的所有场景。第四，人口统计学群体的样本量不均衡（如 White 群体有 10,997 个实例，而 Arab 群体仅有 438 个），这可能导致小群体的性能估计方差较大。第五，由于上下文长度限制，大多数模型需要将视频分段处理，这可能导致跨段的时间推理错误。作者还指出，许多开源模型存在「时间参考框架幻觉」问题，即将每个视频段的起始时间错误地当作 0 秒处理，导致绝对时间戳预测严重偏离。
独立分析的弱点
尽管 SONIC-O1 是一个重要的基准，但仍存在几个值得关注的弱点。第一，视频来源单一。所有视频都来自 YouTube，这可能引入选择偏差，因为 YouTube 视频的拍摄风格、编辑方式和内容分布可能与真实世界场景（如医院监控、法庭录像）存在差异。改进方向：可以考虑从其他来源（如 Vimeo、专业机构录制）收集视频，以增加数据多样性。第二，人口统计学标注基于视觉感知。研究者使用「可感知的」（perceived）人口统计学特征，这意味着标注可能受到评估者主观判断的影响，且无法反映真实的自我认同。改进方向：可以考虑使用更客观的标注方法，或在分析中明确讨论这一局限性。第三，评估任务设计偏向特定能力。时序定位任务要求精确的时间戳输出，这对于当前的 MLLMs 来说极具挑战性，可能导致评估结果过于悲观。改进方向：可以考虑设计更细粒度的任务层次（如粗粒度时间排序 vs 细粒度时间定位），以更全面地评估模型的时间推理能力。第四，音频处理策略不统一。不同模型的音频处理方式差异较大（如有的使用原生音频，有的使用文本转录），这可能影响跨模型比较的公平性。改进方向：可以考虑设计统一的音频预处理流程，或在分析中明确控制这一变量。
未来方向
基于 SONIC-O1 的发现，未来研究可以在多个方向展开。第一，改进时序定位能力。当前模型在时序定位任务上表现不佳，特别是在处理长视频时。未来工作可以探索更有效的时间编码方法（如相对时间编码、绝对时间编码的混合策略），以及跨段时间一致性的保持机制。第二，开发人口统计学感知的训练方法。论文揭示了系统性的跨群体性能差距，这提示我们需要在训练过程中引入公平性约束。可能的方向包括：在训练数据中平衡不同群体的代表性、设计公平性正则化项、或使用对抗性训练来减少群体间的性能差异。第三，扩展多语言和多文化支持。SONIC-O1 仅覆盖英语，未来可以扩展到其他语言和文化背景，特别是那些副语言特征与英语差异较大的语言。第四，探索更细粒度的音频理解。当前评估主要关注语音内容，但音频中还包含丰富的环境声音、情感语调等信息。未来工作可以设计更细粒度的音频理解任务，如情感识别、说话人识别、环境声音分类等。
复现评估
SONIC-O1 在可复现性方面做得相当好。研究者完整发布了数据集（托管在 HuggingFace）、评估脚本和推理代码，所有代码都在 GitHub 上开源。数据集采用 CC BY 4.0 许可，允许学术研究使用。在算力需求方面，开源模型的评估需要 4×NVIDIA A40 GPU（40GB 显存），而闭源模型通过 API 访问。论文详细记录了每个模型的推理配置（帧数、音频处理策略、硬件分配），使得其他研究者可以复现实验结果。然而，完全复现仍面临一些挑战：（1）闭源模型（如 Gemini 3.0 Pro）的 API 可能随时间变化，导致结果不可复现；（2）LLM-as-Judge 评估使用 GPT-5-mini，其输出也可能随模型更新而变化；（3）部分模型的官方实现可能存在版本差异。总体而言，SONIC-O1 的可复现性在同类基准中属于较高水平，研究者提供了足够的细节来支持后续研究。
论文图表
