BioVITA：用于生物视觉-文本-声学对齐的数据集、模型和基准测试

构建首个大规模生物三模态对齐框架，整合图像、分类学文本和动物声音数据

前置知识

对比学习

对比学习是一种自监督学习范式，通过拉近正样本对、推开负样本对来学习表征。本文中使用 InfoNCE 损失函数，其中温度超参数 tau 控制分布的锐度，sim() 是余弦相似度。在多模态场景中，对比学习通过最大化不同模态间的语义相似性来学习共享嵌入空间。

本文的核心方法完全基于对比学习框架，包括音频-文本、音频-图像、图像-文本三个对比损失。理解对比学习是理解 BioVITA 训练过程和损失函数设计的基础。

多模态嵌入空间

多模态嵌入空间是指将不同模态（如图像、文本、音频）的数据映射到同一高维向量空间，使得语义相关的跨模态样本在该空间中距离相近。本文通过预训练的 BioCLIP 2（图像-文本）和 CLAP（音频-文本）编码器，加上两阶段训练，最终实现 d=768 维度的统一表示空间，满足 L2 归一化约束。

BioVITA 的核心目标是构建统一的多模态表示空间，使得同一物种的图像、声音和分类学描述在该空间中相互对齐。理解嵌入空间的概念是理解跨模态检索任务的基础。

分类学层级

生物分类学采用层级系统组织物种，从高到低依次为界、门、纲、目、科、属、种。本文使用科学分类命名法，如 Aves Passeriformes, Fringillidae Magumma, Magumma Parva 表示鸟纲、雀形目、雀科、金翅雀属、Parva 种。数据集覆盖 5 个纲、84 个目、538 个科、3612 个属、14133 个种。层级结构为模型提供了丰富的语义约束。

BioVITA 的训练和评估都严重依赖分类学信息。文本提示词包含分类学序列，评估任务在种、属、科三个层级进行。理解分类学层级对理解论文的数据标注、基准设计和语义建模至关重要。

Mel 频谱图

Mel 频谱图是将音频信号转换为时频表示的方法，模仿人耳对频率的非线性感知。通过短时傅里叶变换将音频分帧，然后应用 Mel 滤波器组，得到对数 Mel 频谱作为视觉表示。本文将音频片段转换为 Mel 频谱图输入到 HTS-AT 音频编码器中，这样音频可以像图像一样用卷积和 Transformer 处理。音频采样率标准化为 44.1 kHz，平均时长 24.6 秒。

音频编码器的输入是 Mel 频谱图而非原始波形，这是连接音频模态和视觉模态的关键桥梁。理解 Mel 频谱图的生成过程和特性有助于理解音频编码器的工作原理。

零样本学习

零样本学习是指模型在训练时从未见过某些类别，但能够通过语义信息（如文本描述）识别这些新类别的能力。本文中，BioVITA 通过对比学习将音频、图像和分类学文本对齐，使得模型可以用文本查询检索未见过的物种。在 unseen subset 上（325 个训练时完全未见的物种），平均 Top-1 准确率达到 51.9%，Top-5 准确率达到 73.0%。

零样本泛化能力是 BioVITA 的核心卖点之一。理解零样本学习的评估设置和性能指标，有助于判断模型在实际生态监测中的应用价值。

研究动机

现有生物识别研究主要关注单一模态或成对模态对齐。视觉方面，BioCLIP 和 BioCLIP 2 已成功将生物图像与分类学文本对齐，实现强大的零样本物种识别。音频方面，CLAP 和 BioLingual 通过对比学习将动物声音与文本关联，用于物种分类。然而，将这些模态整合到统一框架中的工作仍然有限。TaxaBind 尝试将图像模态扩展到多领域，但仅包含 75k 音频样本且专注于图像模态。ImageBind 实现了六模态统一嵌入空间，但缺乏生物领域的专门优化。此外，现有数据集（如 BEANS 56k、AnimalSpeak 1.1M、iNatSounds 230k）主要关注音频-文本或图像-文本成对数据，缺乏在三模态一致生态分类学下的统一数据集。这种局限性阻碍了从多感官模态理解动物行为和生态系统动态的能力。

本文的目标是本文的目标是构建一个完整的生物视觉-文本-声学（VITA）对齐框架，包括：（1）大规模三模态训练数据集，整合图像、分类学文本和动物声音，在一致的生态分类学下标注；（2）统一的多模态表示模型，学习涵盖物种级语义的共享嵌入空间；（3）全面的跨模态检索基准，评估模型在六个检索方向（图像到音频、音频到文本、文本到图像等）和三个分类学层级（种、属、科）下的性能。最终目标是推进多模态生物多样性理解，使模型能够像生态学家一样通过视觉、声音和分类学知识的综合来识别和推断物种。

与已有工作不同的是，本文的独特切入角度在于首次在生物领域构建三模态对齐框架。与之前的工作不同，BioVITA 从数据集构建开始就统一了三模态的生态分类学标注，而非简单拼接现有的成对数据集。在方法上，论文提出了两阶段训练框架，首先将音频表示与预训练的 BioCLIP 2 的图像-文本空间对齐，然后进行三模态联合训练，避免了直接训练三模态模型时的难度。在评估上，BioVITA Bench 提供了最全面的多模态检索评估，涵盖六个检索方向、三个分类学层级和可见/未见物种泛化设置，这是之前任何工作都未曾实现过的。

核心方法

BioVITA 框架的整体思路是首先构建一个大规模、多模态且分类学一致的数据集，然后采用两阶段训练策略将音频编码器与预训练的图像-文本编码器对齐。直觉上，生物物种在视觉（外观）、听觉（声音）和分类学（名称）三个维度上具有一致的语义，模型应该学习到这样的共享表示。技术路线上，论文利用预训练的 BioCLIP 2 作为图像和文本编码器的初始化（保持冻结），采用 HTS-AT 作为音频编码器，通过对比学习逐步对齐三模态表示。第一阶段专注于音频-文本对齐，第二阶段激活音频-图像和图像-文本对比损失，实现完整的三模态对齐。这种渐进式训练策略充分利用了预训练模型的知识，同时避免了多模态同时训练时的优化困难。

BioVITA 的核心创新点是两阶段训练框架和数据集的生态分类学一致性。与从头训练三模态模型或简单拼接成对模型不同，BioVITA 首先冻结强大的预训练 BioCLIP 2 图像-文本编码器，专注于训练音频编码器与文本对齐。第一阶段只优化音频-文本对比（ATC）损失，学习基础的音频-文本语义映射。第二阶段逐步激活音频-图像（AIC）和图像-文本（ITC）损失，权重 lambda 从 0 线性增加到 0.1，实现三模态联合对齐而不破坏第一阶段学到的音频-文本对齐。数据集方面，BioVITA Train 的独特之处在于所有模态都使用相同的分类学层级标注，且包含 34 个生态特征标签，这为模型提供了丰富的跨模态语义约束。

方法步骤详情

BioVITA 的完整方法包括数据集构建、模型架构和训练三个主要步骤。数据集构建分为三步：（1）音频数据收集，从 iNaturalist、Xeno-Canto 和 Animal Sound Archive 三个可靠平台收集 130 万个音频片段，采用 Creative Commons 许可；（2）细粒度标注，使用 GPT-5 为每个音频片段标注分类学标签（纲、目、科、属）和 34 个生态特征，然后人工验证；（3）视觉数据整合，从 ToL-200M 数据集中为每个物种随机采样 200 张图像，共 230 万张图像。模型架构包含三个编码器：音频编码器采用 HTS-AT，由四组 Swin Transformer 组成，输出 768 维向量；图像编码器和文本编码器直接使用预训练的 BioCLIP 2（ViT-L/14 和 12 层 Transformer），保持冻结。训练分为两个阶段：阶段一使用 ATC 损失训练音频编码器 30 个 epoch，学习率 10^-4，批量大小 64；阶段二使用加权三损失训练 10 个 epoch，lambda 从 0 线性增加到 0.1，学习率减半。每个 epoch 限制为每个物种最多 20 个录音，音频随机裁剪为 10 秒片段以增加数据多样性。

技术新颖性

BioVITA 的技术新颖性体现在三个方面：数据集、训练策略和基准设计。数据集层面，BioVITA Train 是首个大规模三模态生物数据集，包含 130 万音频、230 万图像和分类学文本，覆盖 14k 物种和 34 个生态特征，所有模态在一致的生态分类学下标注，这是之前任何数据集都未曾达到的规模和一致性。训练策略层面，两阶段渐进式训练框架巧妙地利用了预训练模型（BioCLIP 2）的强大知识，通过先对齐音频-文本再扩展到三模态的策略，避免了直接训练三模态模型时的优化困难和表示空间崩溃。基准设计层面，BioVITA Bench 提供了最全面的多模态检索评估，涵盖六个检索方向、三个分类学层级和可见/未见物种泛化设置，总计 36 个检索场景，这为多模态生物识别研究提供了标准化的评估协议。

**Figure 1**: We introduce BioVITA for biological visual-textual-acoustic alignment. We curate a million-scale dataset, train a unified representation model, and develop a comprehensive species-level retrieval benchmark.

**Figure 6**: BioVITA Model consists of three encoders. Building upon BioCLIP 2, we train the audio encoder in Stage 1, and jointly train the audio and text encoders in Stage 2.

**Figure 10**: t-SNE visualization. Our model successfully learns all three modalities in Stage 2 without collapsing the audio feature embedding space.

实验结果

论文在三个主要实验中展示了 BioVITA 的强大性能。首先，在物种级跨模态检索上（seen subset），BioVITA（Stage 2）在六个检索方向上的平均 Top-1 准确率达到 71.7%，Top-5 准确率达到 89.2%，远超三模态基线 ImageBind（平均 Top-1 22.8%，Top-5 35.1%）。音频-文本检索（A2T：63.7% Top-1，T2A：81.1% Top-1）和图像-文本检索（I2T：86.3% Top-1，T2I：91.2% Top-1）性能尤其出色，表明模型成功对齐了三模态语义。其次，在属级和科级高级检索上，BioVITA（Stage 2）分别达到平均 Top-1 准确率 66.0% 和 36.4%，展示了模型学习分类学层级结构的能力。错误分析显示，即使物种级预测错误，BioVITA 也比 ImageBind 更可能预测正确的属或科，表明嵌入空间确实捕获了分类学语义。第三，在未见物种泛化上，BioVITA（Stage 2）在 325 个训练时完全未见过的物种上达到平均 Top-1 准确率 51.9%，Top-5 准确率 73.0%，证明了强大的零样本泛化能力。此外，在生态特征预测任务上，BioVITA 在音频模态上优于 CLAP，在行为特征（如栖息地、迁徙）上表现突出，表明音频表示特别适合捕获动物的时间和行为特征。

**Table 1**: Comparison with existing animal sound datasets. The number of species excludes subspecies. Com and Sci stand for common and scientific names, respectively.

**Table 3**: Species-level cross-modal retrieval results on the seen subset. We report Top 1 and 5 accuracies for each retrieval direction.

**Table 5**: High-level retrieval results at the Genus and Family levels, where queries and targets belong to different species within the same taxon. This setting is more challenging as it requires models to capture semantic relationships beyond exact species-level identification.

**Table 6**: Species-level cross-modal retrieval results on the unseen subset. We report Top 1 and 5 accuracies for each retrieval direction.

**Table 8**: Ablation study. We report Top-1 accuracy for each retrieval direction.

**Table 13**: Training dataset size variation. The amount of training data significantly affects model performance. These results correspond to Stage 1. Sci and Com denote the prompt types used during inference: scientific name and common name, respectively.

**Table 2**: Ecological trait labels for BioVITA. Star indicates mutually exclusive traits, where only one trait within a category is active.

**Figure 8**: Accuracy by taxonomy class for each retrieval scenario.

**Figure 7**: Task examples for BioVITA Bench. Given a query, models are required to identify the relevant sample (indicated by green rectangles) from databases of 100 samples each. Five samples per database are shown.

**Figure 9**: Genus and family-level consistency of Top-1 misclassifications across retrieval tasks. The BioVITA model more frequently predicts the correct genus or family despite species-level errors.

查看结构化数据

任务	指标	本文	基线	提升
物种级跨模态检索（seen subset）	平均 Top-1 / Top-5 准确率	71.7% / 89.2%	ImageBind: 22.8% / 35.1%	相对提升 214.5% / 154.5%
音频到文本检索（A2T）	Top-1 / Top-5 准确率	63.7% / 83.8%	ImageBind: 2.0% / 8.9%	相对提升 3085% / 841.6%
图像到文本检索（I2T）	Top-1 / Top-5 准确率	86.3% / 96.0%	ImageBind: 59.5% / 81.4%	相对提升 45.0% / 18.0%
属级跨模态检索	平均 Top-1 / Top-5 准确率	66.0% / 84.1%	ImageBind: 3.6% / 10.6%	相对提升 1733% / 693%
未见物种跨模态检索	平均 Top-1 / Top-5 准确率	51.9% / 73.0%	ImageBind: 16.4% / 30.2%	相对提升 216.5% / 141.7%

局限与改进

作者在论文中承认了一些局限性。首先，数据集的物种分布不均衡，鸟类（Aves）占主导地位（约 100 万音频），哺乳动物相对较少，这可能导致模型在某些类上的性能偏差。其次，高级检索（属级、科级）的准确率显著低于物种级检索，说明模型在学习更广泛的分类学语义时仍有困难。第三，音频模态的识别准确率整体低于图像和文本模态，尤其是在哺乳动物上，这可能是由于哺乳动物声音差异大且容易与环境噪声混淆。我观察到的一个局限性是模型参数量大（581.5M 参数，154.5M 可训练），训练需要 8×V100 GPU 且需要约 3 天时间，这对资源有限的研究者构成门槛。另一个局限是生态特征预测任务虽然展示了潜力，但详细分析有限，没有在不同特征类别上深入讨论模型的优缺点。

独立分析的弱点

BioVITA 的主要弱点包括：（1）数据分布不均衡导致的长尾问题：某些物种（特别是稀有物种）样本数量很少，模型难以学习这些物种的表示。改进方向是采用数据增强（如音频时间拉伸、频率掩码）和重采样策略，增加稀有物种的权重。（2）哺乳动物识别准确率低：哺乳动物声音差异大且容易与环境噪声混淆，模型在此类上性能较弱。改进方向是引入专门的哺乳动物数据集，设计更好的噪声鲁棒性训练策略，或使用更大的音频编码器。（3）高级检索性能下降：属级和科级检索准确率显著低于物种级，说明模型在学习更广泛的分类学语义时存在困难。改进方向是设计显式的分类学层级损失函数，鼓励嵌入空间保持层级结构。（4）计算资源消耗大：模型参数量大、训练时间长，限制了可访问性。改进方向是研究模型蒸馏技术，将知识从大模型转移到小模型，或采用参数高效的微调方法如 LoRA。（5）生态特征预测分析有限：论文没有深入分析模型在各类生态特征上的表现差异。改进方向是进行更细粒度的分析，识别模型擅长的特征类型，并设计针对性的改进。

未来方向

作者在论文中提到的未来工作方向包括扩展数据集覆盖更多物种和生态特征，以及探索模型在实际生态监测中的应用。基于论文成果，可以延伸出多个未来研究方向：（1）实时生态监测：将 BioVITA 集成到野外自动记录单元（ARUs）中，实现实时的物种检测和多样性监测，帮助生态学家跟踪种群动态和栖息地变化。（2）行为理解扩展：结合更多行为特征（如觅食、求偶、防御行为）和时间序列分析，让模型不仅能识别物种，还能推断动物的行为状态和生态角色。（3）跨物种泛化：研究如何更好地利用分类学层级结构，使模型能够更有效地将知识从常见物种迁移到稀有物种，甚至推断全新物种的特征。（4）多语言支持：当前模型主要使用英文分类学名称和提示词，未来可以支持多语言（如中文、西班牙语），促进全球公民科学参与。（5）与其他多模态模型融合：探索与 VideoBind 或时序模型结合，处理视频数据，捕获动物的运动和时间动态信息。（6）解释性和可视化：开发工具帮助生态学家理解模型的决策过程，如通过注意力可视化展示模型关注的音频特征或图像区域，增加可信度。

复现评估

BioVITA 的复现性评估为中等偏上。数据集方面，论文详细描述了数据收集来源（iNaturalist、Xeno-Canto、Animal Sound Archive）和 ToL-200M 图像子集的选择过程，但具体的数据下载脚本和预处理代码未在论文中提供。不过，项目页面承诺会发布数据集和代码，这是积极信号。模型方面，论文提供了详细的架构描述（HTS-AT 音频编码器、BioCLIP 2 图像/文本编码器）和超参数设置（学习率 10^-4、批量大小 64、温度超参数等），所有基线模型（CLIP、CLAP、ImageBind、BioCLIP 2）都使用官方实现和预训练权重。训练方面，论文报告使用 8×V100 GPU（32GB），Stage 1 训练约 2 天，Stage 2 训练约 1 天，这对大多数学术实验室来说是可获得的。消融实验验证了每个组件的贡献，训练数据规模实验显示了数据量对性能的影响。总体来说，如果作者发布数据集和代码，BioVITA 应该是可以复现的，但数据集的大规模（130 万音频、230 万图像）可能对存储和带宽构成挑战。