MMOU：面向长时复杂真实视频的大规模多任务全模态理解与推理基准 MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos

MMOU的构建分为7个具体步骤。第一步，技能与任务定义：团队定义了13种基础音视频推理技能的分类体系，这些技能被设计为必须显式整合音频和视觉信息。第二步，视频领域选择：基于技能分类体系，系统性地选择10个主要视频类别和35个细分子类别，确保覆盖学术讲座、体育、日常生活、旅行、视频游戏、电影、恶作剧、音乐、动画和新闻等多种场景。第三步，源视频收集：从公开在线平台（如YouTube）收集11,877个真实视频，时长从7秒到121分钟不等，优先选择自然发生的内容而非脚本或合成数据。第四步，专家题目生成：11名专业标注员遵循标准化标注协议，观看完整视频后生成开放式问答对，要求问题必须需要音视频联合理解，标注答案出现的最早和最晚时间戳，每个问题标记一种或多种技能类别。第五步，干扰项生成：使用GPT-5.2将开放式问题转化为多选题，每题生成9个干扰项（共10个选项），其中一半干扰项语义合理且基于视频上下文，另一半故意脱离上下文。13%的测试题将正确答案替换为"None of the above"。第六步，质量控制与过滤：由独立的专家审查团队进行严格质控，删除模糊、冗余或过于简单的题目，以及时间戳不对齐或音视频关联薄弱的实例。第七步，基准定稿：最终保留20,000道QA对，标注一致性达到Fleiss' Kappa 0.86。

MMOU在技术新颖性上体现在多个层面。首先，在基准设计理念上，MMOU是首个将"严格音视频依赖"作为核心设计原则并进行人工验证的大规模基准。论文通过实验证明了这一点的必要性：仅用视觉的Qwen3-VL-32B在MMOU上仅达44%准确率，仅用音频的Qwen3-Omni仅达35.6%，远低于使用双模态的结果，证实单模态推理不足以解答MMOU的题目。其次，在规模和多样性上，MMOU的20,000道题目、11,877个视频、13种技能类别和10个领域均大幅超越现有基准。第三，在评测方法论上，论文创新性地结合了多选题评估和开放式评估两种范式，并通过GPT-5作为裁判的四维评分体系（正确性、完整性、忠实度、清晰度）进行开放式评估。论文发现MCQ表现可能高估了模型的真实理解能力：在开放式评分中正确性低于2分的题目中，Gemini 2.5 Pro在MCQ中仍有21.1%答对，说明MCQ格式提供了约束搜索空间的脚手架。第四，论文对时序位置敏感性的分析揭示了一个关键发现：随着答案证据在视频中出现的位置越靠后，模型准确率持续下降，这揭示了当前模型在长时序推理和上下文保持方面的根本局限。

MMOU虽然在基准设计上有诸多创新，但仍存在几个值得关注的弱点。第一，数据来源偏置问题：所有11,877个视频均来自YouTube等公开平台，这些平台的内容分布可能无法代表真实世界视频的全貌，例如专业监控视频、工业检测视频、医疗影像等垂直领域完全缺失。改进方向是扩展视频来源，纳入更多专业领域的视频数据。第二，干扰项生成的依赖性：使用GPT-5.2生成干扰项可能引入模型偏置，不同版本的GPT生成的干扰项难度和风格可能不同。改进方向是开发独立于特定模型的干扰项生成策略，或采用多模型交叉验证的方式。第三，时序评测的粗粒度：虽然论文分析了答案证据的时间位置，但评测本身仍是基于视频片段的选择题，未涉及更细粒度的时序任务如精确定位、时序分割等。改进方向是增加细粒度时序任务的评测维度。第四，评估指标的单一性：主要依赖准确率作为评测指标，未能充分反映模型在不同错误类型上的表现差异。改进方向是引入更多维度的评估指标，如混淆矩阵分析、错误类型分类等。第五，开放式评估的主观性：虽然使用GPT-5作为裁判进行四维评分，但LLM裁判本身可能存在偏置，评分的可靠性和一致性需要进一步验证。改进方向是引入多裁判机制和人工评估作为参照。

论文作者提出了三个未来研究方向。第一，开发更稳健的开放式音视频QA评估协议，解决MCQ格式可能高估模型真实理解能力的问题。这包括设计更贴近实际应用场景的评估方式，以及开发更可靠的自动评估指标。第二，持续扩展基准以纳入新兴概念和场景，保持评测的时效性和覆盖面。随着多模态技术的快速发展，新的应用场景和挑战不断涌现，基准需要持续更新才能保持其参考价值。第三，将覆盖范围从策划的在线内容扩展到非结构化真实世界视频，如第一人称视角视频（egocentric video）和驾驶场景视频。这些场景具有更强的实用价值，对模型的要求也更高。基于MMOU的成果，还可以延伸以下研究方向：开发针对长时序推理和计数能力的专项训练方法，因为这些是当前模型最薄弱的技能；探索更有效的跨模态融合架构，特别是如何在长视频中保持音频和视觉信息的对齐和关联；研究知识蒸馏和模型压缩技术，使较小的模型也能具备较强的全模态理解能力；以及将MMOU的评测框架应用于其他模态组合，如视频+文本+深度信息等。

从复现性角度来看，MMOU具有较好的可复现基础。论文明确说明了数据来源为公开在线平台（YouTube），视频收集和标注流程有详细的描述。然而，完整的复现面临几个挑战。首先，论文报告了完整的20,000道QA对，但未明确说明是否完全开源数据集，从论文描述来看数据集可能通过项目页面（mmou.pages.dev）提供访问。其次，标注团队由11名专业标注员组成，复现如此大规模的人工标注需要相当的人力和时间投入。第三，论文评估了20多个模型，包括闭源模型（Gemini 2.5 Pro/Flash, GPT-4o mini, GPT-4.1）和开源模型（Qwen系列、Phi-4、Gemma 3n、MiniCPM等），复现这些评测需要访问相应的模型API或权重，以及足够的计算资源来处理11,877个长视频（平均时长522.9秒）。第四，干扰项生成使用了GPT-5.2，这意味着复现干扰项生成过程需要访问该模型。总体而言，论文在方法描述上较为详尽，数据来源公开，但完整复现需要大量计算资源和人工标注成本。