AVMeme Exam：一个用于评估大语言模型上下文和文化知识的多模态多语言多文化基准 AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking
提出评估AI理解音视频模因能力的基准，揭示当前模型在文化理解和无文本音频上的不足
前置知识
多模态大语言模型（MLLM）
能够同时处理文本、图像、音频和视频等多种模态输入的大语言模型。这些模型通过大规模预训练学习不同模态之间的关联，例如将音频中的语调与文本中的情感联系起来。典型代表包括GPT-4o、Gemini系列、Qwen-Omni等。与纯文本LLM不同，MLLM需要理解时间序列信号（如音频波形、视频帧）中的时序动态和跨模态对齐。
本文的核心就是评估这类模型对音视频模因的理解能力，理解MLLM的工作原理是评估其局限性的基础。
互联网模因（Internet Meme）
在网络文化中广泛传播并被重复使用的音视频片段，包括电影台词、音乐片段、音效等。这些模因通常有固定的传播模式和文化含义，例如You shall not pass来自指环王，被用来幽默地拒绝他人。模因的意义不仅来自内容本身，还依赖于语调、节奏、文化背景和使用场景。
本文研究的对象就是音视频模因，理解模因的文化和语用特性是理解本文研究问题的关键。
上下文推理（Contextual Inference）
理解语言或音频背后的实际意图和情境的能力。例如，当某人说好极了时，根据语调可能是真诚赞美也可能是讽刺。在音频理解中，这需要模型超越字面内容，理解说话者的意图、场景背景和隐含意义。这与简单的语音识别（转录文字）有本质区别。
本文发现当前模型在表面语义理解上表现较好，但在上下文推理上存在明显不足，这是本文的核心发现之一。
文化接地（Cultural Grounding）
将语言或媒体内容与其文化背景、历史事件、社会习俗联系起来的能力。例如，理解Never Gonna Give You Up作为Rickroll梗的文化含义，需要知道它源自2007年左右的网络恶作剧文化。这种能力依赖于对特定文化群体共享知识的掌握。
本文强调文化理解是当前MLLM的薄弱环节，模型可能理解字面内容但无法理解其文化意义和使用场景。
思考链（Chain-of-Thought）
让模型在给出最终答案前进行逐步推理的技术。在本文中，研究者比较了Gemini模型在不同思考水平（minimal、low、high）下的表现。长思考可以让模型更仔细地分析音频特征、回忆相关知识，但也可能引入错误推理或过度思考。
本文的一个重要发现是，思考对文化理解任务帮助有限，甚至可能产生负面影响，这对当前思考越多越好假设提出了挑战。
研究动机
当前多模态大语言模型在音视频理解上存在严重的能力断层。虽然这些模型在语音转录、字面语义解析等表面任务上表现不错，但当需要理解音频背后的文化含义、情感语调、使用场景时，性能急剧下降。具体来说，在本文的基准测试中，即使是最强的Gemini 3 Pro模型，在需要文化理解的世界知识任务上准确率从语言分析的94.2%骤降至77.9%，在使用与应用任务上也仅为71.0%。更严重的是，对于无文本的音乐和音效，模型表现最差，最强模型也仅有35-45%的准确率，而人类可以轻松识别这些内容。这种能力差距意味着当前模型无法真正理解人类的文化交流方式。
本文的目标是本文旨在建立一个全面的基准测试AVMeme Exam，用于系统评估MLLMs对音视频模因的理解能力，包括七个层次：音频分析、语言分析、上下文推理、情感分析、幽默与流行度、使用与应用、世界知识。通过这个基准，量化当前模型与人类理解能力之间的差距，识别具体的薄弱环节，为未来改进指明方向。最终目标是推动开发能真正理解人类文化语境的多模态AI系统。
与已有工作不同的是，与已有工作相比，本文的独特视角在于关注音视频模因的文化和语用维度。现有音频基准（如Dynamic-SUPERB、AudioBench）主要关注事件检测、字幕生成等表面任务；现有模因基准（如Hateful Memes）主要处理静态图像和文本。本文首次将时间维度的音视频模因与文化理解结合起来，关注模型能否理解为什么这个片段被广泛传播、人们如何使用它、它承载了什么文化意义等深层问题。这种从识别内容到理解文化的转变，是本文最核心的创新点。
核心方法
本文的方法可以比喻为给AI设计一套文化理解考试。就像人类考试有不同难度层次（从识记到理解到应用），AVMeme Exam也设计了七个层次的问题，从最基础的你听到了什么（音频分析、语言分析）到需要推理的说话者想表达什么（上下文推理、情感分析），再到需要文化背景的这个梗为什么火（幽默与流行度、使用与应用、世界知识）。技术路线上，研究者收集了1032个来自YouTube和Bilibili的知名音视频片段，由27位来自不同文化背景的研究者人工标注，包括转录、摘要、使用场景、情感、敏感性等元数据，并为每个片段设计独特的多选题。通过严格的人工验证和文本作弊检测，确保测试真正评估多模态理解能力而非文本捷径。
本文最本质的创新是将文化理解作为评估维度引入音视频基准。现有基准评估的是模型能否识别音频内容（如转录语音、检测事件），但本文评估的是模型能否理解音频的文化意义（如为什么这个片段成为梗、人们如何使用它、它承载了什么情感和文化背景）。这种评估维度的转变反映了对AGI更深层次的思考：真正的智能不仅要能感知信号，还要能理解信号背后的人类意图和文化语境。例如，对于Never Gonna Give You Up，模型不仅要能转录歌词，还要理解它作为Rickroll梗的文化含义和使用场景。
方法步骤详情
方法分为三个主要阶段。第一阶段是数据收集：27位研究者从YouTube和Bilibili收集1032个音视频片段，每个片段1-30秒，涵盖语音、歌曲、音乐、音效四类。每位研究者为每个片段标注元数据（来源URL、时间边界、出现年份、语言、声音类别、转录、摘要、情感、敏感性、典型使用场景）并设计多选题。第二阶段是数据验证：9位人类验证者检查所有元数据和问题质量，通过文本作弊检测（让三个LLM在仅文本模式下猜测答案）识别并移除可通过文本捷径回答的问题，最终得到846个纯净样本（meme-main）。第三阶段是模型评估：统一将音频转为单声道16kHz、视频转为360p每秒一帧，使用相同提示词评估19个MLLMs，包括10个纯音频模型和9个音视频模型。
技术新颖性
与已有技术相比，本文的新颖性体现在三个层面。首先是评估维度的创新：从内容识别扩展到文化理解，提出了七层次的问题分类体系。其次是数据构建的创新：完全人工收集和验证，避免自动爬取带来的质量问题；通过文本作弊检测和视觉作弊检测确保评估的纯粹性。最后是评估设计的创新：同时评估纯音频和音视频两种设置，比较闭源和开源模型，分析思考水平的影响，进行人类评估作为参照。这些创新使得AVMeme Exam成为首个全面评估音视频文化理解的基准。
实验结果
本文的核心发现揭示了当前MLLMs的系统性能力断层。在整体性能上，闭源模型显著优于开源模型：Gemini 3 Pro在meme-main上达到76.6%（纯音频）和80.0%（音视频）的平均准确率，而最强开源模型Qwen3-Omni仅为55.4%和57.4%，差距超过20个百分点。在任务难度上，存在明显的递减规律：语言分析（L）最容易，Gemini 2.5 Flash达到83.3%；音频分析（A）次之，约60%左右；上下文推理（C）、情感分析（E）、幽默与流行度（H）居中；使用与应用（U）和世界知识（W）最难，即使最强模型也仅在70-80%区间。在声音类别上，模型在语音（Sp）和歌曲（So）上表现较好（60-85%），在纯音乐（Mu）和音效（Sfx）上表现最差（35-45%），即使是GPT-4o和Music Flamingo也仅达到35-45%。在语言上，英语和中文表现最好，日语、韩语、波斯语等小语种表现显著下降，Gemini 3 Pro在波斯语上仅56.1%。人类评估显示，人类在熟悉模因上准确率显著高于模型，但即使在不熟悉的模因上，人类仍优于大多数开源模型。思考水平的影响有限：高思考对音频和语言分析有帮助（提升5-10%），但对文化理解任务几乎无帮助甚至产生负面影响。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语言分析（Language Analysis） | 准确率（meme-main） | Gemini 3 Pro: 94.2% | Qwen3-Omni: 76.7% | +17.5% |
| 世界知识（World Knowledge） | 准确率（meme-main） | Gemini 3 Pro: 77.9% | Qwen3-Omni: 42.8% | +35.1% |
| 音效理解（Sound Effects） | 准确率（meme-main） | Gemini 3 Pro: 62.9% | GPT-4o Audio: 34.0% | +28.9% |
| 上下文推理（Contextual Inference） | 准确率（meme-main） | Gemini 3 Pro: 80.4% | Qwen3-Omni: 58.7% | +21.7% |
局限与改进
本文存在几个重要局限性。首先是文化覆盖的偏向性：贡献者主要是22-35岁的高学历研究者，主要来自美国和中国，无法完全代表全球多元化的模因文化。其次是时间局限性：标注捕捉的是2025年末的解读，无法预见未来的文化变迁，模因含义可能随时间演变。第三是技术限制：当前MLLMs有严格的音频和视频长度限制（30秒），可能遗漏理解所需的上下文。第四是评估方式的局限：采用受控的多选题评估单一片段，而现实应用往往需要多轮对话、个性化和开放场景。第五是模因解读的主观性：虽然观众可能有主流理解，但替代解读同样合理，无法完全反映在标准化基准中。这些局限性表明AVMeme Exam应被视为参考基准而非绝对标准。
独立分析的弱点
从技术角度看，本文存在几个值得关注的弱点。首先，多选题格式可能低估模型能力：当正确答案不是模型的首选时，多选题格式会惩罚模型，而开放式生成可能得到更准确的评估。改进方向是设计混合评估格式，结合多选题和开放式回答。其次，30秒的片段长度限制可能切断文化理解所需的上下文：许多模因需要更长的上下文才能理解其文化意义。改进方向是支持更长的输入或提供上下文窗口。第三，人类评估的样本量较小（20人），且仅限于英语和中文使用者，无法代表全球文化多样性。改进方向是扩大人类评估规模，纳入更多语言和文化背景的参与者。第四，缺乏对模型推理过程的深入分析：虽然展示了思考链的例子，但没有系统分析模型在不同任务上的推理策略。改进方向是设计推理过程评估维度。
未来方向
基于本文的发现，未来研究可以在几个方向展开。首先是扩展文化覆盖：将AVMeme Exam扩展到更多语言、地区和文化群体，特别是南亚、中东、非洲等代表性不足的地区。其次是开发文化感知的训练方法：利用本文发现的文化理解薄弱问题，设计专门的文化对齐训练目标，让模型学习人类如何解读和使用模因。第三是探索长上下文理解：开发支持更长音频和视频输入的模型，以理解需要完整上下文的模因。第四是研究文化动态性：开发能跟踪模因含义随时间演变的方法，理解文化变迁。第五是开发更细致的评估维度：除了当前的七类问题，可以设计更细粒度的评估，如情感细微差别、反讽识别、文化引用等。
复现评估
本文的复现性较好。数据集完全开源（项目页面：avmemeexam.github.io/public），包含所有元数据、问题和答案。评估代码和模型检查点信息在表4中详细列出，大多数开源模型可在HuggingFace获取。算力需求方面，评估19个模型需要显著的GPU资源，特别是对于闭源模型（GPT-4o、Gemini系列）需要API访问。复现难度中等：数据收集需要多语言研究者团队，但评估流程相对标准化。对于希望复现的研究者，建议首先下载数据集，然后使用提供的评估代码测试开源模型，闭源模型需要相应的API密钥。整体而言，本文提供了充分的复现信息，是可复现的研究工作。
论文图表
