LLM骨干网络中的听觉知识如何塑造音频语言模型：全面评估 How Auditory Knowledge in LLM Backbones Shapes Audio Language Models: A Holistic Evaluation
系统评估LLM通过纯文本训练获得的听觉知识及其对音频理解性能的影响
前置知识
大音频语言模型（LALM）
大音频语言模型（Large Audio Language Models）是将音频编码器与大语言模型结合的多模态系统。通过音频指令调优，将声学特征映射到LLM的潜在空间，使模型能够理解音频内容并进行开放式的问答和推理。典型的LALM包括Qwen-Audio、DeSTA、Audio Flamingo等。
论文核心研究对象，需要理解LALM的架构设计、训练方法以及LLM骨干网络在其中的作用。
级联管道
级联管道是一种模块化代理系统架构，使用专门的音频到文本模块（如ASR系统或音频描述器）先将音频信号转换为中间文本表示，再由LLM进行理解和生成响应。与端到端LALM不同，级联方法不进行跨模态联合训练，而是分离感知和推理阶段。
论文的第二种评估方法，用于测试LLM在真实音频问题上的推理能力，揭示级联管道与端到端方法的性能差异。
自蒸馏训练
自蒸馏是DeSTA框架采用的两阶段训练方法。第一阶段，LLM读取与音频样本相关的文本元数据（如属性标签或音频描述）并生成响应。第二阶段，用原始音频波形替换文本元数据作为输入，音频编码器处理音频并通过模态连接器投影到LLM输入空间，端到端优化以重现第一阶段生成的响应。
论文音频接地评估中使用的训练框架，该方法使LLM在微调过程中保持冻结，更严格地测试其预存的听觉知识。
研究动机
现有研究通常选择单个LLM作为LALM的骨干网络，专注于架构设计、训练策略或音频编码器选择，却忽略了LLM骨干网络本身的作用。Llama和Qwen是现有LALM中最常采用的两个骨干网络，但很少有工作论证或评估这个选择的合理性。这导致在比较不同LALMs系统时，难以确定性能增益是源于更强的骨干LLM、更好的训练数据、更优的音频编码器，还是训练配方本身。同时，大多数LALM研究将级联管道视为端到端LALMs的朴素基线，而非系统性地比较不同LLMs。
本文的目标是本文旨在系统性地调查文本预训练的大语言模型实际编码了多少听觉知识，以及这种知识如何影响多模态适应性能。通过在文本设置和多模态设置中全面评估不同LLM的听觉理解能力，揭示LLM骨干网络选择对LALM系统性能的重要影响，并为未来的LALM开发提供实证依据和选择指导。
与已有工作不同的是，本文的独特切入角度是首次全面比较多个LLM家族在听觉知识方面的差异，并建立文本评估与音频性能之间的直接实证联系。现有研究要么局限于单一LLM，要么仅测试基础声学属性（如音高、响度、动物声音识别），本文引入了一个包含6大类、48子类别的综合性听觉知识基准（AKB-2000），涵盖音乐、声音、副语言、语音学、音频质量和技术知识等广泛领域，并首次研究了LLM的文本听觉知识如何转换为真实音频处理能力。
核心方法
本文采用三种互补的评估方法来研究不同LLM编码的听觉知识。首先，直接在作者构建的AKB-2000基准上进行问答评估，测试LLM通过纯文本训练获得的广度和深度的听觉知识。其次，进行级联评估，使用音频描述器将音频样本转换为详细文本描述，然后让LLM基于这些文本描述回答音频相关问题。最后，进行音频接地评估，将每个LLM微调成端到端LALM，使用真实音频波形作为输入评估其性能。通过这三种设置，作者能够全面考察LLM的听觉知识从纯文本到真实音频的转移能力。
核心创新点是首次系统性地将LLM骨干网络作为唯一的变量进行控制实验，在三种评估设置中保持其他所有组件（训练数据、音频编码器、训练配方）完全相同，从而将观察到的性能差异归因于每个LLM编码的听觉知识水平。此外，作者构建了AKB-2000这一迄今为止最全面的听觉知识基准，首次建立了文本评估与音频性能之间的强相关性（Pearson相关系数从0.71到0.94），证明了纯文本评估可以作为昂贵的多模态训练之前选择骨干模型的轻量级代理指标。
方法步骤详情
数据构造阶段：首先手动构建包含6大类、48子类的两层分类体系，然后编写每个子类别的详细主题指导原则。接着使用三个专有LLM（GPT-5、Gemini-2.5-Pro和Claude-Sonnet-4.5）生成四选一多选题候选，每个候选问题由两名具有音频背景的人工标注员独立验证正确性、清晰度和干扰项合理性，只有两人都同意的问题才被保留，最终得到2000个经过验证的问题，均匀分布在48个子类别中。级联评估阶段：使用Gemini-2.5-Pro作为默认音频描述器，对音频基准中的每个音频样本生成详细的文本描述，捕获显著声学属性、声源、时间结构、口语内容和说话风格，然后要求每个LLM基于这些文本信息回答音频相关问题。音频接地评估阶段：采用DeSTA自蒸馏框架，第一阶段让LLM读取音频样本的文本元数据并生成响应，第二阶段用原始音频波形替换文本元数据，音频由Whisper-large-v3编码器处理，通过6层Q-Former连接器投影到LLM输入空间，冻结音频编码器和LLM参数，仅训练连接器，学习率设为1e-4，训练10个epoch。
技术新颖性
技术新颖性体现在四个方面：一是构建了AKB-2000这一迄今为止最全面的听觉知识基准，首次涵盖音乐理论、语音学、副语言、音频质量和技术知识等多个领域的深度问题；二是首次在三种互补设置中系统性地评估12个开源LLM和5个专有LLM的听觉知识，覆盖Qwen、Llama、Phi、OLMo四个模型家族的不同代际和参数规模（4B到14B）；三是首次建立了文本评估与音频性能之间的直接实证联系，发现Pearson相关系数可达0.94，证明纯文本基准可以作为LALM骨干选择的可靠预测指标；四是首次识别出语音学任务是所有LLM的系统性盲点，平均准确率比其他类别低10-15个百分点，揭示了纯文本预训练的根本局限性。
实验结果
主要发现包括四个关键点。首先，听觉知识在不同模型家族之间差异显著，Qwen家族在所有评估设置中表现最佳，其中Qwen3-14B在AKB-2000上达到85.05%，Qwen2.5-7B达到80.70%，显著领先Llama家族（Llama-3.1-8B为68.10%，Llama-2-7B仅为45.90%）。其次，文本评估与音频评估之间存在强正相关，AKB-2000与级联评估之间的Pearson相关系数达到0.94，文本评估与音频接地评估之间的相关系数从0.71到0.82，证明文本基准可以作为选择骨干模型的轻量级代理指标。第三，当使用相同训练配方进行微调时，仅LLM骨干的选择就能导致最终LALM性能产生超过10%的绝对差异（如在MMAU上，最佳模型Qwen2.5-7B为66.60%，最差模型Llama-3.1-8B为56.40%）。第四，LLM在语音学任务上持续表现不佳，最困难的五个子类别中有四个与语音学相关（语音学与音韵学60.2%，重音与强调58.3%，音节与重音49.1%，押韵48.7%），比其他类别低10-15个百分点，揭示了纯文本预训练的根本局限性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AKB-2000听觉知识基准测试 | 平均准确率(%) | Qwen3-14B: 85.05, Qwen2.5-7B: 80.70, Llama-3.1-8B: 68.10 | Gemini-2.5-Pro: 96.05, GPT-5: 94.35, Claude-Sonnet-4.5: 95.70 | 开源模型与最强专有模型仍有约10-15%差距 |
| 级联评估MMAU基准 | 平均准确率(%) | Qwen3-14B: 66.2, Qwen2.5-7B: 64.5 | Gemini-2.5-Pro: 70.9, Audio Flamingo 3: 73.3, Qwen2.5-Omni: 71.5 | 开源模型与早期专有模型差距缩小至5%以内 |
| 音频接地评估MMAU基准 | 平均准确率(%) | Qwen2.5-7B: 66.60, Qwen3-14B: 66.20, Llama-3.1-8B: 56.40 | DeSTA2.5-Audio: 66.00, Audio Flamingo 3: 73.30, Phi-4-mm: 65.70 | Qwen2.5-7B和Qwen3-14B匹配或超越DeSTA2.5-Audio |
局限与改进
作者承认的局限性包括：首先，由于专有LLM（GPT-5、Gemini-2.5-Pro、Claude-Sonnet-4.5）参与了AKB-2000的数据构造过程，它们的接近饱和的性能（94.35-96.05%）应被解释为近似上限而非与其他模型的公正比较。其次，音频接地评估的训练数据分布不均，语音类别占主导地位（404小时），而声音和音乐分别只有329小时和144小时，导致这两个类别的跨基准相关性较低（MMAU和MMAR之间的Pearson相关系数仅为0.40）。第三，级联管道的错误传播问题，音频描述器的识别错误会直接传播到下游LLM，虽然本文的目标是隔离不同LLM的推理能力，但这在实际应用中仍是重大挑战。从分析角度观察，另一个局限性是只评估了单一音频编码器（Whisper-large-v3）和单一训练框架（DeSTA），不能完全排除不同编码器或训练配方可能改变模型相对排名的可能性。此外，本研究主要关注英文LLM，缺乏对多语言模型听觉知识的系统性评估，限制了结论的普适性。
独立分析的弱点
独立分析的弱点包括四个方面。第一，语音学推理能力系统性不足，所有LLM在语音学与音韵学、重音与强调、音节与重音、押韵等子类别的表现比其他类别低10-15个百分点，这是因为LLM学习的是语义关联而非语音关联，从未接触语言的声学实现，因此无法识别语义不同但发音相似的词（如flour和flower）。改进方向是引入语音学感知的训练策略，如合并发音词典或音素级监督。第二，训练数据覆盖不均导致的领域瓶颈，声音和音乐类别的训练数据较少，导致音频接地评估中这些类别的相关性较低（MMAU和MMAR之间的Pearson相关系数仅为0.25和0.26），表明在这些数据不足的领域，音频模块而非骨干LLM成为主要瓶颈。改进方向是设计更具针对性的数据源或训练配方，以在所有音频领域充分利用LLM骨干的内在能力。第三，端到端LALMs的音频-文本对齐瓶颈，级联管道使用强描述器已经匹配或超越Audio Flamingo 3和Qwen2.5-Omni在MMAR上的性能（Qwen3-8B为62.0% vs 58.6%和56.7%），表明当前端到端架构的音频编码器未能保留专业描述器可以明确表达的细粒度细节，导致信息损失。改进方向是改进音频编码器或模态连接器设计，减少跨模态训练中的信息丢失。第四，模型家族内部的性能不一致性，如Llama-3.1-8B反而低于其前身Llama-3-8B，OLMo-3在直接知识评估上后训练对齐阶段（SFT→DPO→Instruct）带来明显增益，但这些增益在级联评估中基本消失，表明模型更新并不一定带来更强的听觉知识，需要在模型训练中更加重视领域特定的知识保留。
未来方向
作者提出的未来研究方向包括：扩展听觉知识基准的覆盖范围，纳入更多语言和领域，特别是多语言模型和非西方音乐理论的评估。深入研究语音学感知的训练策略，探索如何在不破坏LLM现有能力的情况下融入发音词典或音素级监督。研究改进音频编码器或模态连接器设计，以减少跨模态训练中的信息丢失，更好地利用LLM骨干的内在能力。探索更具针对性的数据源或训练配方，以在所有音频领域（声音、音乐、语音）充分利用LLM骨干的能力。基于本文成果可延伸的研究方向包括：建立LLM听觉知识的更细粒度理论框架，理解哪些听觉概念更容易通过文本学习，哪些需要显式的音频暴露。研究LLM骨干选择与其他设计因素（音频编码器、训练数据、训练配方）的交互效应，建立更系统的LALM设计原则。探索将AKB-2000作为预训练或指令调优数据源，直接提升LLM的听觉知识水平。
复现评估
作者承诺将发布代码、基准测试和模型检查点以确保透明度并支持未来研究。数据构造过程详细描述，AKB-2000包含2000个四选一多选题，均匀分布在6大类、48子类别中，随机选择确保基线性能为25%。所有LLM使用vLLM服务，专有模型通过各自的提供商API评估。音频接地评估使用DeSTA-AQA500K作为源训练数据，包含404小时语音、329小时声音事件和144小时音乐，所有模型共享相同的源数据，只有生成的响应不同。模型架构使用Whisper-large-v3作为音频编码器和6层Q-Former作为模态连接器，冻结音频编码器和LLM参数，仅训练连接器。所有模型在2个NVIDIA H100 GPU上训练10个epoch，学习率为1e-4，2000个预热步，每设备批大小为12，梯度累积为4，全局批大小为96。算力需求适中，开源模型可在消费级GPU上运行，但音频接地评估的微调需要H100级别的GPU。代码和数据的详细发布将确保研究的完全复现。
论文图表