Video-MME-v2：迈向综合视频理解基准测试的下一个阶段 Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding
提出三级层次和组基评估的视频理解基准，揭示SOTA模型与人类差距
前置知识
多模态大语言模型（MLLM）
能够同时处理和生成多种模态（如文本、图像、音频、视频）信息的大语言模型。视频MLLM通过将视频帧序列作为视觉输入，结合文本提示进行理解和推理。它们通常使用视觉编码器提取特征，再与大语言模型的语言表征进行融合
本文评估的对象正是视频多模态大语言模型，理解其基本架构和运作方式是理解基准测试设计和评估方法的基础
长上下文处理
模型能够处理长序列输入的能力。对于视频理解，模型需要处理多帧甚至数百帧的信息，跨越较长的时间窗口建立关联。这通常通过滑动窗口、注意力机制优化或专门的内存架构实现
Video-MME-v2中的Level 2和Level 3任务涉及长视频理解，评估模型的长上下文处理能力是核心指标之一，论文中64帧与512帧的性能对比直接反映了这一点
非线性评分
不简单平均各项得分，而是采用非线性函数计算综合分数，用于强调一致性和连贯性。本文中一致性组使用平方函数 $(N/4)^2$，连贯性组采用首次错误截断机制，只有从第一个推理步骤开始的最长连续正确答案序列才计入分数
这是Video-MME-v2的核心创新之一，相比传统的平均准确率更能反映模型的真实能力，论文中Gemini-3-Pro的准确率66.1%降至非线性分数49.4就是典型案例
研究动机
随着视频理解的快速发展，现有基准测试逐渐饱和，排行榜分数虚高与真实模型能力之间存在关键差距。现有评估方法如MVBench、MotionBench、LongVideoBench、Video-MME等存在两个主要问题：一是缺乏全面的评估层次结构，强调特定任务的性能或孤立的主题，难以进行整体评估；二是主要关注单问题准确率，忽视了一致性和可靠的视频理解需求。这导致模型可能在浅层感知任务上表现良好，但在动态、真实场景中缺乏能力一致性和推理连贯性
本文的目标是引入Video-MME-v2，一个全面的视频理解基准测试，旨在严格评估视频多模态大语言模型的鲁棒性和可靠性。通过设计渐进式三级层次和基于组的评估策略，不仅评估孤立任务性能，还评估模型在复杂视频场景中实现鲁棒、忠实理解的能力。目标是建立权威的基准，推动下一代视频MLLM的发展
与已有工作不同的是，本文的独特切入角度在于同时解决两个层面的问题：在评估维度上，提出渐进式三级能力层次（信息聚合→时序建模→复杂推理），体现视频理解的渐进本质；在评估策略上，创新性地引入基于组的评估，包括一致性组评估基础技能广度、连贯性组评估推理深度，并配合非线性评分机制。这填补了现有基准测试要么关注特定领域能力、要么评估基础能力，但缺乏对感知一致性和推理连贯性深入调查的空白
核心方法
Video-MME-v2的整体设计思路是从人类认知过程出发，将视频理解分解为三个渐进层级，并使用基于组的评估策略来检验模型能力的全面性。直觉上，人类理解视频首先需要收集多帧信息，然后理解时序变化，最后进行复杂推理。技术路线上，通过精心设计的问题组和非线性评分，不仅评估模型能否答对单个问题，还评估其能否在相关问题中保持一致性、在多步推理中保持连贯性。数据集通过严格的人工注释流程构建，包含12名注释者和50名独立评审员投入3300人小时，确保高质量
核心创新点在于渐进式三级层次设计与基于组的非线性评估策略的结合，这是与已有方法的本质区别。以往基准测试如Video-MME主要关注基础能力，VideoMMMU、MMVU、VideoReasonBench关注复杂推理，但缺乏从感知到推理的渐进框架。本文的Level 1评估视觉信息聚合（视觉识别、跨模态一致性、基础计数计算），Level 2评估时序动态（动作运动分析、顺序排序、因果推理），Level 3评估复杂推理（叙事理解、社交动态、物理世界推理）。基于组的评估将相关问题组合，一致性组评估能力广度和细粒度，连贯性组评估推理深度和多步推理能力，配合非线性评分机制，能够更严格地评估模型的真实能力
方法步骤详情
方法步骤的完整描述包括数据构建和评估两个阶段。数据构建阶段：(1)视频收集：面向近期收集减轻泄漏，80%视频来自2025年或之后，40%来自2025年10月后；(2)视频选择：通过观看数阈值（84.3%视频超过1万观看）确保质量，手动去污染排除经典影视作品；(3)问题设计：采用基于组的构造，每组4个问题，8个选项（随机猜测概率仅12.5%），至少一个对抗性干扰项；(4)质量保证：文本基准测试识别可仅靠文本回答的问题，多轮交叉验证，独立盲测试，闭环迭代验证。评估阶段：(1)对于一致性组，给定4个相关问题中N个正确答案，组分数为 $(N/4)^2$；(2)对于连贯性组，采用首次错误截断机制，只有从第一个推理步骤开始的最长连续正确答案序列才计入分数；(3)最终得分为所有组分数的平均值
技术新颖性
技术新颖性体现在三个方面：首先，渐进式三级层次系统地将视频理解从基础感知到高级推理进行分层，这是首次在视频理解基准中建立如此系统的能力分类；其次，基于组的评估策略明确建模相关问题之间的关系，这在视频领域是首次尝试，图像领域的MME和MMBench仅增强单个问题，而本文关注问题组内的相互关系；第三，非线性评分机制在视频基准中首次大规模应用，一致性组的平方函数惩罚孤立正确猜测，连贯性组的截断机制确保只有忠实推理链才获得奖励。这些创新共同使得Video-MME-v2成为评估视频MLLM真实能力的严格测试床
实验结果
核心发现包括：(1)显著的性能差距：人类专家基准达到非线性分数90.7，平均准确率94.9%，而最佳商业模型Gemini-3-Pro仅达到非线性分数49.4，平均准确率66.1%，41.3分的差距表明当前MLLM在复杂长时域推理中远未达到人类水平的可靠性和持续逻辑连贯性。(2)层级瓶颈：所有模型从Level 1到Level 3均出现单调性能下降，Level 3的较低性能不仅归因于高级推理能力不足，还受到低层能力弱点（Level 1的信息聚合错误传播到Level 2的时序建模，最终破坏Level 3的多跳推理和全局一致性）的根本性约束。(3)评估指标差异：Gemini-3-Pro和Doubao-Seed-2.0-Pro的平均准确率分别为66.1%和60.5%，但非线性分数降至49.4和43.3，鲁棒性比率约75%和72%，表明即使是SOTA模型也难以在同一组内一致回答所有相关问题。Qwen3.5-397B的比率约70%，而LLaVA-Video-7B仅约40%，小比率表明模型更频繁地仅正确回答组内问题子集。(4)思维模式的双刃剑效应：启用Thinking模式在有字幕设置下带来更大性能提升（如Qwen3.5-122B提升+5.8），但在无字幕设置下可能导致明显回归（如Qwen3-VL-8B下降-0.6，KimiVL-16B下降-3.3，Level 3进一步下降-4.0），表明当前推理机制仍不完美，在文本模态缺失时可能引入额外噪声。(5)原生音频优势：原生音频集成带来明显收益，Gemini-3-Pro从38.2提升至49.4（+11.2），MiMo-v2-Omni从29.9提升至38.6（+8.7）。(6)小规模模型竞争力：模型规模不是性能的唯一决定因素，Qwen3.5-27B-Think达到非线性分数31.4，显著超越更大模型如Qwen3-VL-235B-Instruct的25.0，Qwen3.5-9B-Think达到26.2，表明强训练、长上下文支持和推理对齐可以在一定程度上超过纯粹参数规模的优势
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Video-MME-v2综合视频理解（含字幕） | 非线性分数（Non-Lin Score） | Gemini-3-Pro: 49.4 | 人类专家: 90.7 | 差距-41.3分，仍需重大改进 |
| Video-MME-v2开源模型（含字幕） | 非线性分数（Non-Lin Score） | Qwen3.5-397B-A17B-Think: 39.1 | Gemini-3-Pro: 49.4 | 差距-10.3分，开源-商业差距明显 |
| Video-MME-v2长上下文处理能力 | 64帧vs512帧性能差异 | Qwen3.5-397B-A17B-Think: 30.6→39.1 (+8.5) | 同模型不同帧数 | 长上下文处理带来显著提升 |
| Video-MME-v2原生音频融合 | 仅视觉vs视觉+音频性能差异 | Gemini-3-Pro: 38.2→49.4 (+11.2) | 仅视觉输入 | 原生音频提供互补语义信息 |
| Video-MME-v2评估指标对比 | 平均准确率vs非线性分数 | Gemini-3-Pro: 66.1%→49.4 (鲁棒性比率74.7%) | 传统平均准确率 | 非线性评分揭示真实能力差距 |
局限与改进
局限性分析包括：(1)作者承认的局限：虽然数据集通过近期收集和手动去污染尽量减少预训练泄漏风险，但绝对避免仍具挑战性；虽然800个视频和3200个问题规模较大，但相对于视频世界的多样性仍有限；虽然评估了商业和开源模型，但由于API限制，某些模型的测试设置可能不是最优的（如Gemini模型通过提取和压缩视频帧至60M，GPT-5用50帧输入）。(2)观察到的局限：评估主要集中在问答任务形式，虽然能够测试理解能力，但可能无法完全捕捉生成、交互等其他维度的视频理解能力；虽然三个层级涵盖广泛，但对于某些特定领域（如医学视频、工业检测视频）的评估可能不够深入；虽然有50名独立评审员确保质量，但人类基准可能仍存在一定的主观性和文化偏见
独立分析的弱点
独立分析的弱点包括：(1)单模态依赖问题：实验显示思维模式在有字幕时提升性能，无字幕时可能下降，表明模型过度依赖语言先验。改进方向可以是增强纯视觉推理模块，减少对文本线索的依赖，或者在训练中增加纯视觉推理任务的比例。(2)层级瓶颈问题：Level 1和Level 2的错误传播到Level 3，表明基础感知和时序建模能力不足。改进方向可以是分层训练策略，先确保基础能力扎实，再训练高级推理；或者设计专门的多任务学习框架，同时优化所有层级。(3)长视频处理能力：虽然支持512帧输入，但相对于实际应用中的更长视频仍有限。改进方向可以是开发更高效的长上下文架构，如记忆增强、层级注意力或动态采样策略。(4)跨模态融合深度：虽然原生音频带来收益，但跨模态融合机制仍有提升空间。改进方向可以是探索更深层的跨模态交互，如联合注意力、跨模态蒸馏或对比学习。
未来方向
未来研究方向包括：(1)作者提出的方向：Video-MME-v2的评估框架可以扩展到其他模态组合，如文本+视频+音频+传感器数据；可以开发更细粒度的能力分析工具，帮助研究者识别模型的具体弱点；可以建立持续更新的基准，跟上视频MLLM的快速发展。(2)基于成果可延伸的方向：基于层级瓶颈发现，可以研究如何更好地优化从感知到推理的整个能力栈，特别是加强感知和时序基础；基于思维模式的双刃剑效应，可以研究如何使推理机制更加鲁棒，不依赖于特定模态；基于原生音频优势，可以研究如何更好地整合多种模态的信息，建立更深层次的跨模态理解；基于小规模模型竞争力，可以研究如何通过数据质量、训练策略和架构创新来提高参数效率，减少对大规模模型的依赖。
复现评估
复现评估：(1)开源情况：论文提供了项目网站https://video-mme-v2.netlify.app/，但未明确说明数据集和代码是否开源。考虑到数据集包含大量人工注释和版权视频材料，完全开源的可能性较小。(2)数据可用性：数据集包含800个视频，平均时长10.4分钟，99%在20分钟以内，来自Sports & Competition、Lifestyle & Entertainment、Art & Literature、Knowledge & Education四个领域，31个细分子类别。但视频版权和隐私问题可能限制数据集的公开分发。(3)算力需求：评估各种模型需要大量计算资源，特别是对于长上下文模型（512帧）和商业模型API调用。对于研究者来说，复现完整实验可能需要大量的计算预算。(4)复现难度：中等偏上。虽然评估方法明确，但由于数据集获取和模型访问的限制，完全复现所有结果可能具有挑战性。不过，研究者可以基于公开的评估框架，使用自己的数据和模型进行部分验证。
论文图表
