AnimalCLAP：基于分类学感知的语言-音频预训练用于物种识别与特征推断 AnimalCLAP: Taxonomy-Aware Language-Audio Pretraining for Species Recognition and Trait Inference
提出融合生物分类学结构的语言-音频预训练框架，实现未见物种的准确识别与生态特征推断
前置知识
对比语言-音频预训练（CLAP）
CLAP（Contrastive Language-Audio Pretraining）是一种将音频和文本映射到联合嵌入空间的预训练方法。它使用双编码器架构，音频编码器处理声音信号，文本编码器处理文本描述，通过对比学习损失函数最大化正确音频-文本对的相似度，同时最小化错误对的相似度。这种预训练方式使模型能够理解音频内容和语义描述之间的对应关系，为零样本任务奠定基础。
AnimalCLAP 建立在 CLAP 框架之上，理解 CLAP 的工作原理对于理解本文如何通过引入分类学信息来改进模型至关重要。
生物分类学
生物分类学是按照生物之间的进化关系和相似性将生物组织成层次化结构的学科。标准分类层级包括域、界、门、纲、目、科、属、种。例如，人类的完整分类是动物界-脊索动物门-哺乳纲-灵长目-人科-人属-智人。这种层次结构反映了生物之间的亲缘关系，同一目下的物种比同一纲但不同目的物种关系更近。
本文的核心创新就是利用这种层次化的分类学结构来增强模型的泛化能力，使模型能够识别训练时未见过的物种。理解分类学结构对于理解 AnimalCLAP 的动机和方法必不可少。
零样本学习（Zero-shot Learning）
零样本学习是指模型在训练时从未见过某些类别的数据，但能够通过利用这些类别的语义描述或其他相关信息，在测试时正确识别这些未见类别的任务。例如，模型训练时从未见过'斑马'的图像，但通过知道斑马是'有黑白条纹的马'这样的描述，就能在测试时识别出斑马。这要求模型能够将视觉/音频特征与语义特征对齐到同一空间。
本文的核心评估就是在测试集上识别训练时未出现的300个罕见物种，这是一个典型的零样本学习场景。理解零样本学习的挑战和方法对于理解本文的贡献至关重要。
对比学习损失
对比学习是一种自监督学习方法，其核心思想是通过比较样本之间的相似性来学习表征。在 CLIP/CLAP 框架中，给定一批 N 个音频-文本对，对比损失函数 L 会计算每个音频与所有 N 个文本的相似度，目标是让正确配对的音频-文本相似度最高，与其他 N-1 个不正确配对的相似度尽可能低。具体公式为 L = -1/N ∑_{i=1}^{N} log exp(f_a(x_i) · f_t(y_i)/τ) / ∑_{j=1}^{N} exp(f_a(x_i) · f_t(y_j)/τ)，其中 f_a 和 f_t 分别是音频和文本编码器，τ 是温度参数。
AnimalCLAP 使用同样的对比学习框架，但通过在文本提示中引入分类学信息来增强训练效果。理解对比损失函数有助于理解模型是如何学习对齐音频和文本特征的。
研究动机
现有基于深度学习的动物声音识别方法面临一个根本性挑战：它们在训练时见过的物种上表现良好，但对于训练时未出现的物种（未见物种）识别效果很差。这个问题在生物多样性监测中尤为关键，因为许多物种本身就很稀有，难以收集足够的训练数据。例如，在某些研究中，可能只有少数几个个体的录音数据，这使得传统的监督学习方法难以奏效。此外，现有方法如 CLAP 虽然在物种分类和检测任务上取得了不错的结果，但它们没有充分利用生物之间的层次化关系（分类学结构），这种关系反映了物种之间的进化亲缘程度，本应该有助于模型泛化到相关但未见的物种。
本文的目标是本文的具体目标是构建一个能够有效识别未见物种的动物声音识别框架，并且能够从声音中推断出物种的生态特征。为了实现这一目标，作者提出了两个关键创新：一是构建一个大规模的动物声音数据集，包含 6,823 个物种的 4,225 小时录音，每个物种都标注了详细的分类学信息和 22 个生态特征；二是开发 AnimalCLAP 模型，该模型在语言-音频预训练过程中显式地利用分类学结构，通过使用多种文本提示（常见名称、学名、分类学序列）来增强模型对生物层次关系的理解，从而提高对未见物种的泛化能力。
与已有工作不同的是，本文的独特切入角度是首次将生物分类学的层次结构显式地融入到语言-音频预训练框架中。虽然之前的工作如 BioCLIP 已经证明了在图像-文本嵌入中利用层次关系的有效性，但这种思路尚未在音频领域得到充分探索。此外，现有研究虽然认识到动物声音与环境背景或社会性之间存在联系，但这些关系在音频-文本学习框架中仍未被探索。本文通过构建大规模标注数据集并提出分类学感知的训练方法，填补了这一空白，不仅提高了未见物种的识别能力，还开辟了从声音直接推断生态特征的新研究方向。
核心方法
AnimalCLAP 框架的整体思路是双重的：首先构建一个包含丰富分类学和生态特征标注的大规模动物声音数据集，然后利用这些标注信息来训练一个能够理解生物层次关系的语言-音频模型。技术路线上，模型采用双编码器架构，音频编码器使用 HTS-AT（Hierarchical Token-Semantic Audio Transformer）处理声音信号，文本编码器使用基于 RoBERTa 的 Transformer 处理文本描述。关键创新在于训练时使用的文本提示不是单一形式，而是随机从五种模板中选择：常见名称（如'Anianiau'）、学名（如'Magumma parva'）、分类学序列（如'Aves Passeriformes, Fringillidae Magumma, Magumma parva'）、学名加常见名称、以及分类学序列加常见名称。这种多样化的提示策略使模型能够学习到声音与不同层次生物信息之间的关联。
AnimalCLAP 的核心创新点在于将生物分类学的层次结构显式地融入到语言-音频预训练过程中。与原始 CLAP 方法相比，AnimalCLAP 不是简单地将声音与物种名称对齐，而是通过使用分类学序列作为文本提示，让模型学习到声音与生物层次结构中各级别（纲、目、科、属、种）之间的对应关系。这种做法的本质区别在于：原始 CLAP 将每个物种视为独立的类别，忽略了物种之间的生物学联系；而 AnimalCLAP 将分类学结构作为先验知识引入，使得模型在学习时能够利用'如果两个物种属于同一科，它们的声音可能相似'这样的归纳偏置。另一个关键区别是，AnimalCLAP 的测试集包含 300 个训练时完全未见的物种，且这些物种的属和科在训练集中有代表，这种设计确保了评估的是真正的跨物种泛化能力，而不是简单的记忆。
方法步骤详情
AnimalCLAP 的训练过程分为两个主要步骤。第一步是分类学感知预训练，给定训练数据集 D = {(x_i, y_i)}_{i=1}^N，其中 x_i 是音频片段，y_i 是物种标签。模型首先通过增强函数 φ 随机选择五种提示模板之一（Com、Sci、Tax、Sci+Com、Tax+Com）来生成文本描述，然后计算音频编码器 f_a 和文本编码器 f_t 输出的相似度 s_{ij} = exp(γ f_a(x_i) · f_t(φ(y_j))) / (‖f_a(x_i)‖‖f_t(φ(y_j))‖)，其中 γ 是缩放超参数。模型使用 CLIP 对比损失进行优化，该损失函数最大化正确音频-文本对的相似度，同时最小化错误对的相似度。训练持续 20 个 epoch，使用 AdamW 优化器，学习率为 10^{-4}，每个 epoch 通过平衡采样策略确保每个物种有 30 个片段。第二步是生态特征微调，在预训练好的编码器基础上添加两个 MLP 层和一个线性分类器，然后冻结编码器和 MLP 层，仅训练线性分类器 5 个 epoch，使用交叉熵损失处理多类特征，二元逻辑损失处理二元特征。音频预处理包括重采样到 48 kHz 并随机裁剪为 10 秒片段。
技术新颖性
AnimalCLAP 的技术新颖性体现在三个方面：一是数据层面的新颖性，这是首个大规模标注了详细分类学信息和多种生态特征的动物声音数据集，包含 6,823 个物种、约 70 万条录音、22 个生态特征标签；二是方法层面的新颖性，首次将生物分类学的层次结构显式地引入到语言-音频预训练中，通过设计多样化的文本提示模板，使模型能够学习声音与不同生物层次之间的关联；三是评估层面，测试集设计非常巧妙，选择的 300 个物种不仅训练时未见，而且它们的录音数量少于 15 条，确保评估的是模型对真正罕见物种的泛化能力，而不是简单的记忆。此外，本文还验证了分类学顺序的重要性，通过实验证明保持从宽泛到具体的顺序（纲→目→科→属→种）比随机顺序能显著提高准确率，这一发现为未来如何将领域知识融入预训练提供了重要见解。
实验结果
实验结果清晰地证明了分类学感知预训练的有效性。在零样本物种识别任务中，AnimalCLAP 在所有测试提示类型上都显著优于 CLAP 基线。具体来说，当使用常见名称查询时，AnimalCLAP 达到 21.4% 的 Top-1 准确率，而 CLAP 仅为 1.16%；当使用学名查询时，AnimalCLAP 达到 26.1%，CLAP 仅为 0.36%；当使用分类学序列查询时，AnimalCLAP 达到 26.6%，CLAP 仅为 0.63%。更令人印象深刻的是，AnimalCLAP 在 Top-5 准确率上分别达到 43.0%、52.5% 和 52.1%，而 CLAP 分别只有 3.76%、3.13% 和 2.86%。在生态特征预测任务中，AnimalCLAP 同样表现出色。对于行为特征如活动模式、运动方式和迁徙，AnimalCLAP 的 F1 分数分别达到 83.7%、92.6% 和 87.2%，显著高于 CLAP 的 28.4%、72.2% 和 29.8%。对于环境特征如栖息地和气候分布，AnimalCLAP 的 F1 分数在森林栖息地达到 81.7%，在热带气候达到 83.0%，也优于 CLAP 的 76.1% 和 73.0%。t-SNE 可视化结果显示，AnimalCLAP 的嵌入空间在纲、目、科等分类学层次上形成了更清晰的聚类，表明模型成功学习到了生物层次结构。错误分析进一步证明，保持分类学顺序的重要性：当分类学序列按照从宽泛到具体的顺序时，模型在更高分类层次（纲、目、科、属）上的正确率显著高于随机顺序条件。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 零样本物种识别（常见名称查询） | Top-1 准确率 | 21.4% | 1.16% (CLAP) | 提升 17.44 倍 |
| 零样本物种识别（学名查询） | Top-1 准确率 | 26.1% | 0.36% (CLAP) | 提升 71.5 倍 |
| 零样本物种识别（分类学序列查询） | Top-1 准确率 | 26.6% | 0.63% (CLAP) | 提升 41.2 倍 |
| 活动模式预测 | F1 分数 | 83.7% | 28.4% (CLAP) | 提升 55.3 个百分点 |
| 运动方式预测 | F1 分数 | 92.6% | 72.2% (CLAP) | 提升 20.4 个百分点 |
| 迁徙预测 | F1 分数 | 87.2% | 29.8% (CLAP) | 提升 57.4 个百分点 |
| 森林栖息地预测 | F1 分数 | 81.7% | 76.1% (CLAP) | 提升 5.6 个百分点 |
局限与改进
作者在讨论中承认了一些局限性。首先，虽然 AnimalCLAP 在未见物种上表现良好，但整体准确率仍然相对较低（Top-1 最高 27.6%），这意味着在实际应用中可能需要结合其他方法或多次测量。其次，对于广泛的环境特征如森林栖息地和热带气候，性能提升相对较小，作者解释这可能是因为这些类别包含高度生态多样性，同一类别中的动物声音特征差异较大。从我们自己的观察来看，还有一些其他局限性：数据集虽然规模很大，但可能存在地域偏差，因为录音主要来自 iNaturalist 和 Xeno-canto 这两个平台，这些平台的用户可能集中在某些地区；此外，22 个生态特征虽然涵盖了重要方面，但仍可能遗漏一些对物种识别有用的特征，如体型、年龄、性别等。另一个潜在问题是，模型对分类学结构的依赖可能使其在面对分类学争议或新发现物种时表现不佳，因为这些物种的分类地位可能尚未确定。
独立分析的弱点
独立分析来看，AnimalCLAP 存在几个可以改进的弱点。第一，模型对声音时长敏感，固定使用 10 秒片段可能不适合所有物种，一些动物的声音可能更短或更长，例如某些昆虫的声音可能只有几毫秒，而鲸鱼的声音可能持续数分钟。改进方向可以是研究自适应时长选择或多尺度特征融合。第二，模型主要依赖分类学文本信息，但没有充分利用声音本身的声学特征（如频率、时长、节奏等）作为辅助信号，改进方向可以在对比损失中加入声学特征的约束。第三，测试集虽然设计了未见物种，但这些物种的属和科在训练集中有代表，对于分类学上完全孤立的新物种（如新发现的目或科），模型可能表现不佳，改进方向可以研究如何利用更远的分类学关系或进化距离。第四，模型的生态特征预测是独立的，没有考虑特征之间的相关性，例如栖息地和气候分布、饮食类型和活动模式之间可能存在关联，改进方向可以使用多任务学习或图神经网络来建模特征间的关系。
未来方向
作者提出了几个未来研究方向：扩展数据集以包含更多物种和更多样的生态特征，探索如何将分类学结构与其他类型的领域知识（如地理分布、进化历史）结合，以及研究如何将模型应用到实际的生物多样性监测场景中。基于本文的成果，还可以延伸出多个研究方向：一是研究跨模态迁移学习，例如利用在鸟类声音上训练的模型来识别其他类群（如哺乳动物、昆虫）的声音；二是探索主动学习策略，让模型能够主动请求标注稀有物种的数据以持续改进；三是研究模型的可解释性，例如可视化模型关注的声音特征或分类学层次，以帮助生态学家理解模型的决策过程；四是结合其他模态如图像或环境传感器数据，构建多模态的物种识别系统；五是研究模型的校准问题，确保模型输出的置信度能够反映真实的预测不确定性，这对实际应用中的决策制定非常重要。
复现评估
从复现性角度评估，本文表现良好。作者承诺将数据集、代码和模型公开提供，这将大大便利其他研究者的复现和后续研究。数据集构建过程描述详细，包括数据来源（iNaturalist 和 Xeno-canto）、时间范围（iNaturalist 2014-2025 上半年，Xeno-canto 2005-2025 上半年）、物种选择标准（6,823 个来自 iNaturalist 记录生态特征信息的物种）、特征标注方法（使用 GPT-5 提取并人工验证）、数据集划分（训练集约 63 万条、验证集约 6.7 万条、测试集约 1.2 千条）等关键信息。模型实现细节也很完整，包括音频预处理（重采样到 48 kHz，随机裁剪 10 秒片段）、编码器架构（HTS-AT 音频编码器，RoBERTa 文本编码器）、训练超参数（20 个 epoch，AdamW 优化器，学习率 10^{-4}，平衡采样每物种 30 片段）、微调设置（5 个 epoch，冻结编码器和 MLP）等。然而，算力需求没有明确说明，考虑到数据集规模（4,225 小时音频）和模型复杂度，训练可能需要多个 GPU 和大量计算资源，这可能限制了一些研究者的复现能力。总体而言，本文在复现性方面做得较好，公开的数据集和代码将为生物声学和多模态学习社区提供宝贵资源。
论文图表
这个表格详细列出了 22 个生态特征的标注模式。特征类型分为三类：分类特征（Diet type 取值为 herbivorous/carnivorous/omnivorous/specialized，Activity pattern 取值为 diurnal/nocturnal/crepuscular/cathemeral）、多标签特征（Locomotion mode 取值为 quadrupedal/arboreal/aquatic/bipedal/terrestrial/fossorial/aerial/other，Habitat 取值为 forest/grassland/desert/wetland/mountain/urban，Climatic distribution 取值为 tropical/subtropical/temperate/boreal/polar，Social behavior 取值为 solitary/pairing/grouping/herding）和二元特征（Predator 和 Migratory 取值为 True/False）。表格清晰地展示了每个特征的名称、类型和可能的取值。
这个表格对理解论文非常重要，因为它定义了 AnimalCLAP 数据集中标注的 22 个生态特征的完整 schema。这些特征是模型微调任务的输出目标，理解它们的类型和取值范围对于理解生态特征预测实验的结果至关重要。表格还展示了特征设计的多样性，包括分类、多标签和二元三种类型，这反映了生态特征的复杂性。
这个表格展示了五种文本提示模板的具体示例，以夏威夷蜜鸟为例。五种模板分别是：Common Name（仅常见名称'Anianiau'）、Scientific Name（仅学名'Magumma parva'）、Taxonomic Sequence（完整分类学序列'Aves Passeriformes, Fringillidae Magumma, Magumma parva'）、Sci + Com（学名加常见名称'Magumma parva with a common name Anianiau'）和 Tax + Com（分类学序列加常见名称'Aves Passeriformes, Fringillidae Magumma, Magumma parva, with a common name Anianiau'）。这些模板在训练时被随机选择用于增强文本描述。
这个表格对理解论文的方法论非常重要，因为它展示了 AnimalCLAP 如何通过多样化的文本提示来融入分类学信息。通过比较五种模板，读者可以理解模型学习到的声音与不同层次生物信息之间的对应关系。表格还展示了分类学序列的具体格式（从纲到种的完整路径），这对于理解分类学感知预训练的具体实现方式至关重要。