大规模音频嵌入基准测试（MAEB）：覆盖语音、音乐、环境声和跨模态推理的综合评估 MAEB: Massive Audio Embedding Benchmark
首个涵盖30个任务、100+语言、50+模型的音频嵌入模型综合基准测试
前置知识
音频嵌入（Audio Embedding）
音频嵌入是将音频信号映射到低维向量空间的技术，使得语义相似的音频在向量空间中距离较近。常见的音频嵌入模型包括Wav2Vec2、Whisper、CLAP等，它们通过不同的训练目标（如自监督学习、对比学习）学习音频的向量表示。音频嵌入是音频分类、检索、聚类等下游任务的基础。
本文的核心就是评估不同音频嵌入模型在多种任务上的表现，理解音频嵌入的概念是阅读本文的前提。
对比学习（Contrastive Learning）
对比学习是一种自监督学习方法，通过拉近正样本对的表示、推远负样本对的表示来学习特征表示。在音频-文本领域，CLAP等模型使用对比学习将音频和对应的文本描述映射到同一向量空间，实现跨模态对齐。其核心损失函数通常是InfoNCE损失：$\mathcal{L} = -\log ?rac{\exp(\text{sim}(a, t)/\tau)}{\sum_{i=1}^{N} \exp(\text{sim}(a, t_i)/\tau)}$，其中 $\text{sim}$ 是余弦相似度，$\tau$ 是温度参数。
本文发现对比音频-文本模型（如CLAP）和语音预训练模型在不同任务上表现差异巨大，理解对比学习有助于理解这一现象。
Borda Count 排名方法
Borda Count是一种投票系统中的排名聚合方法，将每个任务视为一个投票者，每个模型在该任务上的排名转换为分数（最高排名得最高分），然后将所有任务的分数求和得到总分。相比直接平均分数，Borda Count具有尺度不变性和对异常值的鲁棒性，更适合跨多个不同量纲任务的模型排名。
本文使用Borda Count作为主要的模型排名方法，理解这一方法有助于正确解读论文中的排名结果。
MTEB生态系统
MTEB（Massive Text Embedding Benchmark）是一个大规模文本嵌入基准测试，后续扩展到多语言文本（MMTEB）和图像（MIEB）。MTEB提供了标准化的评估框架、可扩展的接口、版本控制和社区维护，已成为文本嵌入模型评估的事实标准。本文将音频嵌入评估集成到这一生态系统中，实现跨模态的统一评估。
本文的创新之一是将音频嵌入评估集成到MTEB生态系统中，理解MTEB有助于理解本文的定位和价值。
研究动机
现有音频嵌入模型评估存在严重的碎片化问题。首先，不同研究社区（语音识别、音乐信息检索、环境声音分类）各自使用不同的数据集和评估协议，导致模型之间难以公平比较。例如，语音社区常用LibriSpeech评估ASR性能，而音乐社区用GTZAN评估音乐分类，两者无法直接对比。其次，大多数评估只覆盖单一任务类型，如HEAR基准测试虽然涵盖19个任务，但主要评估预训练特征在简单分类器上的表现，缺乏对聚类、检索等任务的系统评估。第三，现有基准测试缺乏多语言支持，尽管FLEURS等数据集覆盖了100+语言，但音频-文本跨模态任务的多语言评估几乎空白。此外，现有基准测试缺乏维护和更新，许多数据集和评估代码已经过时，无法跟上快速发展的领域。
本文的目标是本文旨在创建一个统一、全面、可扩展的音频嵌入基准测试（MAEB），实现以下具体目标：（1）覆盖语音、音乐、环境声音、生物声学等多个音频域；（2）涵盖分类、零样本分类、聚类、配对分类、检索、重排序等7类任务；（3）支持100+语言的多语言评估；（4）在保持评估全面性的同时，将计算成本控制在可接受范围内（纯音频模型2 GPU小时）；（5）集成到MTEB生态系统中，实现文本、图像、音频嵌入的统一评估。
与已有工作不同的是，本文的独特切入角度在于三个方面。第一，它是首个将音频嵌入评估系统化、标准化的工作，借鉴了MTEB在文本嵌入评估中的成功经验，将类似的框架扩展到音频领域。第二，本文不仅评估音频-only任务，还系统评估了音频-文本跨模态任务，这在以往的音频基准测试中几乎没有涉及。第三，本文通过精心设计的任务选择流程（有效性、唯一覆盖、语言广度、冗余消除、运行时效率），在保持评估全面性的同时大幅降低了计算成本，从MAEB+的98个任务筛选到MAEB的30个任务，实现了2.2-3.3倍的加速，同时保持了与完整评估的高相关性（Pearson r=0.981, Spearman ρ=0.912）。
核心方法
MAEB的构建方法可以类比为建立一个全面的'音频能力考试'。就像高考需要覆盖不同学科、不同难度的题目来全面评估学生能力一样，MAEB设计了覆盖不同音频域、不同任务类型的评估体系。整体技术路线是：首先从MAEB+（98个任务）出发，通过五个筛选标准（有效性、唯一覆盖、语言广度、冗余消除、运行时效率）精简到MAEB（30个任务），然后在标准化的框架中评估50+个模型，最后使用Borda Count方法聚合各任务的排名得到总体排名。整个框架集成到MTEB生态系统中，利用其成熟的评估基础设施和社区维护机制。
本文的核心创新点在于'任务精简但保持评估有效性'的设计理念。直觉上，评估更多任务应该能更全面地反映模型能力，但计算成本会成为瓶颈。本文的关键洞察是：通过精心设计的冗余消除策略（计算模型排名的Spearman相关矩阵，移除ρ>0.8的冗余任务），可以在大幅减少任务数量的同时保持模型排名的高度一致性。具体来说，从98个任务精简到30个任务后，模型得分的Pearson相关系数为0.981，排名的Spearman相关系数为0.912。这意味着评估成本降低了2-3倍，但评估结论几乎不变。这一设计使得更多的研究组能够使用MAEB进行模型评估，促进了基准测试的广泛采用。
方法步骤详情
MAEB的构建和评估流程包括以下步骤：（1）数据集选择：根据四个原则（域多样性、任务多样性、语言多样性、质量和可访问性）从众多数据集中筛选；（2）任务选择：从MAEB+（98个任务）出发，首先应用有效性筛选（确保任务方向合理）和唯一覆盖筛选（保留唯一覆盖某域能力的任务），得到MAEB(extended)（89个任务）；然后应用冗余消除（计算Spearman相关矩阵，移除ρ>0.8的冗余任务）和运行时效率筛选，得到MAEB（30个任务）；（3）模型评估：在50+个模型上运行MAEB，包括音频编码器、序列到序列模型、对比对齐模型和大型音频语言模型四类；（4）排名聚合：使用Borda Count方法将各任务的排名聚合为总体排名，同时提供平均分数作为参考；（5）相关性分析：验证MAEB与MAEB(extended)的相关性，以及MAEB与下游Audio LLM性能的相关性。
技术新颖性
本文的技术新颖性体现在三个方面。第一，任务精简策略：不同于简单地增加评估任务数量，本文通过系统化的冗余消除实现了'少而精'的评估。这一策略基于模型排名的相关性分析，而非人工判断，具有客观性和可重复性。第二，跨模态评估框架：本文首次将音频-文本跨模态任务（如文本到音频检索、音频到文本检索、零样本分类）纳入音频嵌入评估的核心，而非作为附属任务。第三，生态系统集成：本文将音频嵌入评估集成到MTEB生态系统中，利用其成熟的评估基础设施、版本控制和社区维护机制，避免了重新造轮子。这一集成使得音频、文本、图像嵌入的评估可以在统一框架下进行，为未来的多模态嵌入研究奠定了基础。
实验结果
本文评估了53个音频嵌入模型，发现了四个关键发现。首先，没有单一模型能在所有任务上表现最佳：LCO-Embedding-Omni-7B以Borda Count排名第一（整体平均52.2%，跨模态检索50.3%，零样本分类64.5%），但在音频-only任务中排名第五；Qwen2-Audio-7B在音频-only任务中排名第一（平均50.8%），但在跨模态任务中表现较差。这表明模型的训练范式和数据选择比参数规模更重要。其次，聚类任务对所有模型都极具挑战性：即使是最佳模型clap-htsat-fused也仅达到22.7%的V-measure，而排名最高的LCO-Embedding-Omni-7B在聚类上仅1.7%。这揭示了当前音频嵌入缺乏语义组织能力的根本缺陷。第三，多语言音频理解仍未解决：在SIB-FLEURS分类任务中，高资源欧洲语言准确率40-60%，而低资源语言（如Umbundu、Yoruba、Xhosa）低于20%；跨模态多语言检索更是几乎完全失败，即使最好的CLAP模型在大多数语言对上也低于3%。第四，声学特征和语言特征之间存在根本性权衡：在VoxPopuli任务中，CLAP-htsat-unfused在性别识别上94.4%但语言识别仅30.0%，而Whisper-medium呈相反模式（59.2% vs 99.4%），表明优化声学属性和优化语言内容的模型发展出根本不同的表示。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体排名（30个任务） | Borda Count | LCO-Embedding-Omni-7B排名第一 | Qwen2-Audio-7B排名第二 | LCO整体平均52.2% vs Qwen2 33.7% |
| 音频-only任务（19个任务） | Borda Count | Qwen2-Audio-7B排名第一 | Whisper-medium排名第二 | Qwen2平均50.8% vs Whisper 48.2% |
| 聚类任务 | V-measure | clap-htsat-fused: 22.7% | Qwen2-Audio-7B: 12.7% | 最佳模型仍远低于实用水平 |
| 跨模态检索 | cv_recall@5 | LCO-Embedding-Omni-7B: 50.3% | CLAP variants: 8-14% | LCO显著领先其他模型 |
| 零样本分类 | accuracy | LCO-Embedding-Omni-7B: 64.5% | CLAP larger_clap_general: 14.9% | LCO在语音零样本上领先（96%+），CLAP在环境声上领先（90.5%） |
局限与改进
本文存在以下局限性。首先，模型覆盖的代表性有限：虽然评估了50+模型，但这只是现有音频嵌入模型的一小部分，许多商业模型和最新模型未被纳入。其次，数据集覆盖存在偏差：域表示偏向西方音乐传统和标准语音模式，某些语言仅出现在单个数据集中，无法进行全面的跨任务评估。第三，任务覆盖仍不完整：缺少音频生成质量评估和实时处理评估等能力。第四，生态效度有限：许多任务使用干净的录音室音频，不反映真实世界中的噪声、混响和压缩伪影条件。第五，预处理标准化存在挑战：音频长度限制为30秒，这对播客、讲座等长时内容的适用性有限；不同模型的采样率要求不同（16kHz用于语音模型，48kHz用于CLAP），难以完全标准化。第六，相关性分析的统计显著性有待加强：MAEB与Audio LLM性能的相关性分析仅基于4个模型（R²=0.86, p=0.072），样本量较小且统计上处于边缘显著。
独立分析的弱点
本文存在以下弱点，每个弱点都附带改进方向。第一，任务精简策略可能丢失细粒度信息：虽然MAEB与MAEB(extended)整体相关性高，但在特定域或特定任务类型上可能丢失重要信息。改进方向是开发更精细的任务选择策略，例如针对每个域保留足够的代表性任务，而非全局统一精简。第二，聚类任务的评估指标可能不适合音频嵌入：V-measure对聚类数量敏感，而音频嵌入的聚类特性可能需要更适合的评估指标。改进方向是探索基于嵌入空间结构的评估指标，如silhouette score或Davies-Bouldin index。第三，跨模态任务的评估可能偏向特定模型架构：文本到音频检索使用余弦相似度，这对使用对比学习训练的模型（如CLAP）天然有利。改进方向是设计更多样化的跨模态评估任务，如音频描述生成、音频问答等。第四，多语言评估的覆盖仍不均衡：虽然覆盖了100+语言，但某些语言家族（如非洲、原住民语言）的覆盖仍然不足。改进方向是与语言社区合作，收集更多低资源语言的音频数据。
未来方向
本文作者和基于本文成果可延伸的未来研究方向包括：第一，开发领域无关的音频架构：当前模型在特定域表现优异但在其他域失败，未来应探索能跨语音、音乐、环境声泛化的统一架构，可能需要多任务学习和领域自适应技术。第二，扩展对比音频-文本预训练到多语言语料：当前CLAP等模型主要在英语数据上训练，导致跨模态多语言任务几乎完全失败。未来应收集和利用多语言音频-文本对进行训练。第三，引入聚类感知的损失函数：当前聚类任务表现极差，表明嵌入空间缺乏语义组织。未来应在训练目标中加入显式的聚类约束或对比目标，鼓励语义相似的音频在嵌入空间中形成紧凑的簇。第四，探索解耦表示学习：声学特征和语言特征之间的权衡表明，单一表示难以同时捕捉两者。未来应探索解耦表示，分别捕捉声学属性（说话者、音色）和语言内容。第五，建立长期维护机制：基准测试需要持续更新以跟上领域发展，本文已集成到MTEB生态系统中，未来应建立社区驱动的更新和维护流程。
复现评估
本文在复现性方面做得很好。首先，代码和数据完全开源：所有代码、任务定义和排行榜都发布在GitHub（https://github.com/embeddings-benchmark/mteb），基于MTEB的成熟框架，具有良好的文档和版本控制。其次，评估框架标准化：所有模型使用统一的预处理流程（音频截断到30秒、重采样到模型特定采样率、统一的嵌入提取策略），确保了公平比较。第三，计算成本可控：MAEB允许评估一个纯音频模型仅需2 GPU小时，大幅降低了复现门槛。第四，环境影响透明：论文提供了每个任务的千克CO₂排放量，让用户能够评估环境成本。然而，复现仍面临一些挑战：大型模型（如LCO-Embedding-Omni-7B的8.9B参数）需要大量GPU内存；某些模型（如Qwen2-Audio-7B）的嵌入提取需要特定的框架支持；数据集的下载和预处理可能需要较长时间。总体而言，本文的复现难度中等，适合有GPU资源的研究组进行复现和扩展。
论文图表
该柱状图展示了MAEB+集合中各语言的任务数量分布。英语（eng）最多，有70个任务；其次是无语言内容（zxx）；然后是法语、德语、西班牙语等欧洲语言。图中显示了语言覆盖的长尾分布，许多语言仅有1-2个任务。
这张图揭示了MAEB在语言覆盖上的不均衡性，是理解多语言评估局限性的重要依据。