LVOmniBench：开创性的长音频视频理解评估基准 LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs
首个长音频视频理解基准，评估多模态大模型的跨模态长时理解能力
前置知识
OmniLLM (全能大语言模型)
OmniLLM 是指能够同时处理文本、图像、视频和音频等多种模态输入的大语言模型。与传统的视觉语言模型（VLM）只处理图像和文本不同，OmniLLM 需要整合来自不同感知通道的信息，实现真正的多模态理解。这类模型通常采用统一的编码器架构，将不同模态的输入转换为共享的嵌入空间，然后通过 Transformer 架构进行跨模态推理。代表性模型包括 Gemini 系列、Qwen-Omni 系列和 MiniCPM-o 等。
本文的核心研究对象就是 OmniLLM 在长音频视频场景下的表现，理解这个概念是评估本文贡献的基础。
跨模态推理 (Cross-modal Reasoning)
跨模态推理是指模型需要同时利用来自不同模态（如视觉和听觉）的信息进行联合推理的能力。例如，模型需要将视频中人物的口型动作与音频中的语音内容进行对齐，或者将音乐的节奏变化与画面中的场景转换相关联。这种能力要求模型不仅能够分别理解每个模态的信息，更需要理解模态之间的语义关联和时序对应关系。
本文提出的 LVOmniBench 基准专门评估跨模态推理能力，这是区分该基准与现有评估标准的关键创新点。
FTS5 全文搜索
FTS5 是 SQLite 的全文搜索引擎扩展，它通过建立倒排索引来加速文本查询。在本文项目中，FTS5 用于实现论文的全文搜索功能，支持中文和英文的快速检索。与传统的 LIKE 查询相比，FTS5 可以将搜索性能提升数个数量级，同时支持更复杂的查询语法，如短语搜索、前缀匹配等。
这是项目架构中的关键技术组件，理解 FTS5 的工作原理有助于理解搜索服务的实现和优化。
ChromaDB 语义搜索
ChromaDB 是一个开源的向量数据库，专门用于存储和查询文本嵌入向量。在本文项目中，ChromaDB 用于实现论文的语义搜索功能，它能够理解查询的语义含义，而不仅仅是关键词匹配。例如，搜索'图像识别'可以找到包含'视觉识别'或'目标检测'的相关论文。ChromaDB 支持多种嵌入模型，并提供了高效的相似度搜索算法。
语义搜索是项目的高级功能，理解 ChromaDB 的原理有助于理解搜索服务的扩展性和可维护性。
APScheduler 调度器
APScheduler (Advanced Python Scheduler) 是 Python 的进程内任务调度框架，支持定时任务、间隔任务和一次性任务。在本文项目中，APScheduler 用于调度爬虫任务和总结任务的定期执行。它支持多种调度方式，包括 cron 表达式、固定间隔和一次性延迟。APScheduler 可以与 FastAPI 应用集成，提供 Web 界面的任务管理功能。
调度器是项目的核心组件之一，理解 APScheduler 的工作原理有助于理解任务调度和执行流程。
研究动机
当前多模态大语言模型的评估主要集中在短音频和短视频上，评估视频长度通常在 10 秒到 5 分钟之间，这无法反映真实应用场景中视频通常持续数十分钟的需求。例如，现有的 AVQA 基准视频平均长度仅 10 秒，Music-AVQA 为 60 秒，即使是较长的 Daily-Omni 基准也只有约 43 秒的平均长度。这种评估缺失导致模型在长时音频视频理解上的真实能力无法被准确衡量，尤其是当视频包含复杂的时间依赖关系、多模态信息交织以及需要长期记忆的任务时，现有评估体系显得力不从心。此外，现有基准多采用自动化生成的问答对，存在幻觉问题，无法捕捉复杂的现实推理需求。
本文的目标是本文的目标是创建一个专门针对长音频视频内容的跨模态理解评估基准 LVOmniBench，通过严格的人工筛选和标注，提供高质量的评估数据集。具体目标包括：构建包含 275 个长视频（时长从 10 到 90 分钟，平均 34 分 29 秒）的数据集，这些视频来自开放平台并具有丰富的音视频动态内容；设计 1,014 个高质量的多选题问答对，这些题目严格要求跨模态音视频推理；建立多层次的难度分级体系，从感知、理解、推理到逻辑四个维度对模型能力进行分层评估；最终通过该基准揭示当前 OmniLLM 在长时音视频理解上的真实性能水平，推动该领域的研究进展。
与已有工作不同的是，本文的独特切入角度在于三个方面：首先，这是第一个专门针对长音频视频内容的综合评估基准，现有基准如 WorldSense、OmniVideoBench 等虽然包含部分长视频，但平均时长仅为 LVOmniBench 的六分之一到二十分之一；其次，本文强调严格的跨模态要求，每道题目都必须需要音频和视觉两个模态的信息才能正确解答，通过单模态基线测试（仅视频、仅音频、仅文本）来验证题目的有效性；最后，本文采用完全人工标注的方式，避免了 LLM 自动生成题目时常见的幻觉和偏差问题，确保了评估的严谨性和可靠性。
核心方法
LVOmniBench 的构建遵循一个严格的质量控制流程，包含视频收集、筛选和问题标注三个主要阶段。首先从 YouTube 采集符合 Creative Commons 许可证的长视频，确保内容的多样性和法律合规性；然后通过人工筛选确保视频具有丰富的音视频动态内容，适合跨模态推理任务；最后由人工专家进行问题标注，并通过多轮验证和过滤确保题目的质量。整个流程的直觉是：只有经过严格人工筛选的长视频和高质量标注的问答对，才能真实评估 OmniLLM 在长时音视频理解上的能力。
LVOmniBench 的核心创新点在于三个方面的结合：首先，这是第一个专门为长音频视频内容设计的综合评估基准，平均视频时长超过 34 分钟，是现有基准的 6-20 倍；其次，本文建立了严格的跨模态要求，通过单模态基线测试确保每道题目都必须需要音频和视觉两个模态的信息才能正确解答；最后，本文采用完全人工标注的方式，避免了 LLM 自动生成题目时常见的幻觉和偏差问题，确保了评估的严谨性和可靠性。这种与已有方法的本质区别在于，现有基准如 AVQA、Music-AVQA 等主要针对短时间片段，无法评估模型在长时依赖关系和跨模态对齐上的真实能力。
方法步骤详情
方法步骤包括：1) 视频收集阶段，从 YouTube 采集符合 Creative Commons 许可证的视频，通过关键词筛选和域分类（娱乐、生活方式、DIY与烹饪、记录、影视）建立多样化的语料库，最终获得超过 3,000 个原始视频；2) 人工筛选阶段，根据动态内容、音视频信息丰富度、时长（10-90分钟）和质量进行严格筛选，最终保留 275 个高质量长视频；3) 问题标注阶段，建立包含感知、理解、推理、逻辑四个大类和九个子类的问题类型体系，由标注者根据视频时长和音视频事件密度生成 1-20 个问题，每个问题有四个候选选项；4) 质量验证阶段，使用 Gemini 模型进行单模态基线测试，过滤掉可以通过单模态回答的问题，同时过滤掉依赖常识或设计缺陷的问题，最终得到 1,014 个高质量问答对；5) 难度标注阶段，从感知难度、信息粒度、时间跨度、推理复杂度四个维度评估每个问题，分为低、中、高三个难度等级。
技术新颖性
本文的技术新颖性体现在以下几个方面：首先，LVOmniBench 是第一个专门为长音频视频内容设计的综合评估基准，填补了该领域的评估空白；其次，本文建立了严格的跨模态要求验证机制，通过 Gemini 模型进行视频仅、音频仅、文本仅三种单模态基线测试，确保每道题目都必须需要跨模态推理才能解答；再次，本文采用完全人工标注的方式，避免了 LLM 自动生成题目时常见的幻觉问题，确保了评估的严谨性和可靠性；最后，本文建立了多层次的难度分级体系，从感知、理解、推理到逻辑四个维度对模型能力进行分层评估，提供了比简单视频时长或问题类型更有意义的难度指标。这些技术创新共同构成了一个高质量、严格且具有实际意义的评估基准。
实验结果
本文的核心发现包括：首先，当前 OmniLLM 在长时音视频理解上面临巨大挑战，即使是最先进的 Gemini 3.0 Pro 也只达到 65.8% 的准确率，而开源模型普遍低于 35% 的准确率，与随机猜测相差无几；其次，不同难度等级的评估显示了有意义的层次区分，Gemini 3.0 Pro 在低、中、高难度问题上的准确率分别为 79.3%、68.1% 和 45.0%，验证了基准设计的有效性；再次，音频模态的重要性被实验验证，将 Gemini 3.0 Flash 限制为仅视觉推理会导致准确率下降最多 13 个百分点；最后，开源模型无法有效利用音频信息，ASR 文本作为补充输入可以显著提升 Qwen3-Omni 和 Ming-Flash-Omni-2.0 的表现，表明这些模型在长音频理解上存在瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长音频视频理解 | 准确率 (%) | Gemini 3.0 Pro: 65.8% | 开源模型最佳 (Qwen3-Omni): 35.8% | 领先 30 个百分点 |
| 高难度问题理解 | 准确率 (%) | Gemini 3.0 Pro: 45.0% | 开源模型最佳 (Ming-Omni): 29.3% | 领先 15.7 个百分点 |
| 跨模态推理 | 准确率 (%) | Gemini 3.0 Flash (A+V): 59.0% | Gemini 3.0 Flash (仅V): 46.2% | 音频模态贡献 12.8 个百分点 |
局限与改进
本文的局限性包括：首先，虽然 LVOmniBench 包含 275 个长视频，但相比真实应用场景的多样性仍然有限，特别是视频来源主要集中在 YouTube 的特定类别；其次，人工标注的成本较高，限制了数据集的规模扩展，未来可能需要探索人机协作的标注方式；再次，评估主要采用多选题形式，这可能无法完全反映模型在开放式问答或生成任务上的能力；最后，本文主要评估了现有模型的性能，但对模型架构改进的指导作用有限，需要进一步研究如何改进 OmniLLM 以更好地处理长时音视频输入。
独立分析的弱点
本文的弱点分析包括：首先，数据集规模相对较小，275 个视频和 1,014 个问题可能无法完全代表长时音视频理解的全部挑战，建议通过人机协作的方式扩大数据集规模；其次，评估任务形式单一，仅采用多选题形式可能无法全面评估模型能力，建议增加开放式问答、视频摘要、事件定位等多样化的评估任务；再次，视频来源和类别分布可能存在偏差，虽然涵盖了五个大类和 21 个子类，但某些类别（如烹饪、DIY）的视频数量可能过多，建议进一步平衡类别分布；最后，难度分级主要基于人工评估，可能存在主观性，建议结合模型性能数据进行更客观的难度校准。
未来方向
基于本文成果可延伸的未来研究方向包括：首先，研究更高效的长音频视频建模方法，特别是长音频序列的建模，本文实验表明这是当前模型的主要瓶颈；其次，探索跨模态对齐的改进策略，研究如何更好地融合音频和视觉信息，特别是对于非语言类音频（如音乐、环境音）的处理；再次，开发更强大的长期记忆机制，使模型能够在长视频中保持对早期信息的感知；最后，研究如何将 LVOmniBench 的评估结果转化为具体的模型改进建议，建立从评估到优化的反馈循环。
复现评估
本文的复现评估：首先，数据集和评估代码将开源，这为研究社区提供了可重复的评估基准；其次，所有视频都来自 YouTube 并采用 Creative Commons 许可证，确保了法律合规性和可获取性；再次，实验使用了标准的 H100 和 L40S GPU，硬件要求相对合理；最后，本文提供了详细的评估设置说明，包括每个模型的输入帧数配置（如 Qwen 系列使用 768 帧，MiniCPM 使用 64 帧），这有助于其他研究者复现实验结果。整体而言，本文在可复现性方面做得较好，为后续研究提供了坚实的基础。
论文图表
