Audio Flamingo Next：面向语音、声音和音乐的新一代开放音频语言模型 Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music
首个开放前沿通用LALM，支持30分钟长音频理解和时间锚定推理
前置知识
大语言模型（LLM）
基于Transformer架构的生成式模型，通过自注意力机制处理文本序列，学习语言的模式和知识。在本文中作为音频-语言模型的语言理解骨干，负责生成文本响应和执行推理任务。
AF-Next使用Qwen-2.5-7B作为LLM骨干，需要理解LLM的上下文窗口限制和注意力机制，才能理解如何扩展到128K上下文支持长音频。
音频编码器（Audio Encoder）
将原始音频信号转换为高维特征表示的神经网络模型。本文使用基于Whisper的AF-Whisper编码器，将音频转换为对数梅尔频谱图后提取特征，输出50Hz的隐藏表示。
音频编码器是LALM的关键组件，理解其滑动窗口处理方式和特征提取过程，才能理解如何处理长达30分钟的音频输入。
思维链推理（Chain-of-Thought）
一种让模型显式输出中间推理步骤的提示策略，通过分解复杂问题为多个子问题来提升推理质量。在本文中发展为时间锚定的音频思维链，将推理步骤与音频时间戳关联。
AF-Think-Time数据集基于CoT构建，理解CoT原理才能理解时间锚定推理如何帮助模型处理长音频中分布的证据。
强化学习（GRPO）
Group Relative Policy Optimization，一种基于价值的强化学习算法，通过优化相对于组内其他策略的性能来提升模型输出质量。在本文中用于后训练阶段提升多轮对话和指令遵循能力。
AF-Next在四阶段训练中使用GRPO进行强化学习，理解RL的基本原理有助于理解为什么需要专门的奖励信号优化对话能力。
研究动机
现有大音频语言模型的发展受到三个关键限制。第一，大部分开放LALM开发要么是封闭的，要么紧密耦合到少量学术基准，这导致模型在精心策划的测试集上表现良好，但在长、嘈杂、多样化的真实世界音频中泛化能力差。例如Audio Flamingo系列虽然引入了长音频理解和多轮音频对话能力，但这些能力尚未被标准化基准全面评估。第二，与视觉语言模型相比，开放LALM的扩展进展明显较慢，进一步限制了音频在通用多模态系统和下游应用如音频生成和世界建模中的作用。第三，现有音频思维链方法主要针对短音频开发，而在长形式音频推理中需要聚合多个时间上分散的证据片段，现有的CoT方法缺乏时间锚定机制，容易产生幻觉。
本文的目标是本文的目标是开发Audio Flamingo Next（AF-Next），一个完全开放的通用大规模音频语言模型，在20多个音频理解和推理基准测试上实现最先进性能，同时显著提高对长且复杂的真实世界音频的鲁棒性。具体目标包括：扩展训练数据超越学术数据集，通过从互联网规模来源策划高质量数据；加强和扩大Audio Flamingo任务套件的能力，包括ASR和音频字幕的改进，以及新能力的引入如多说话人ASR、时间戳预测、长形式音频字幕和指令遵循；引入时间锚定音频思维链，一种将中间推理步骤明确锚定到长音频时间戳的推理范式。
与已有工作不同的是，本文的独特切入角度是首次将开放音频理解扩展到互联网规模数据，并采用四阶段课程学习策略，结合时间锚定推理方法。与之前依赖学术基准和短音频的工作不同，AF-Next专注于从开放互联网收集的长、多样、声学挑战性音频，这些更好地反映实际部署条件。另一个独特角度是引入时间锚定思维链，假设在长形式音频推理中，明确地将推理步骤锚定到时间是至关重要的，因为它鼓励忠实的证据聚合并减少幻觉。此外，AF-Next是首个完全开放的LALM，包括模型权重、训练数据和代码的完全透明发布，这与仅开放权重或封闭模型形成对比。
核心方法
AF-Next的整体架构包含四个主要组件：AF-Whisper音频编码器、音频适配器、大语言模型骨干和流式TTS模块。音频以非重叠的30秒块处理，首先重采样到16kHz单声道，转换为128通道对数梅尔频谱图（25ms窗口，10ms跳跃），然后通过AF-Whisper获得隐藏表示，其中N是时间分辨率，d等于1280是隐藏维度。音频适配器使用2层MLP将音频表示映射到语言模型嵌入空间，然后与文本指令一起提供给LLM作为音频提示。LLM使用Qwen-2.5-7B，通过额外的长上下文训练将上下文长度从32K扩展到128K令牌。关键创新是使用旋转时间嵌入（RoTE）替代标准RoPE，其中旋转角度使用每个令牌的绝对时间戳而非离散索引定义，即角度等于负的时间戳乘以2派，而非角度等于负的索引乘以2派。
AF-Next的核心创新是时间锚定音频思维链（Temporal Audio Chain-of-Thought）推理范式和四阶段课程学习策略。与传统CoT仅输出推理链不同，时间锚定CoT将中间推理步骤明确锚定到音频时间戳，这在长形式音频理解中至关重要。另一个核心创新是使用旋转时间嵌入（RoTE）替代标准RoPE，使模型能够学习时间感知的位置表示，这对时间锚定推理和长音频理解特别重要。四阶段课程学习策略包括预训练（阶段1-2）、中期训练（阶段1-2）、后训练（GRPO强化学习）和CoT训练，每个阶段使用不同的数据混合设计，逐步增加上下文长度和任务复杂度。
方法步骤详情
AF-Next的训练采用四阶段课程学习策略。预训练阶段1仅训练音频适配器，保持AF-Whisper和LLM冻结，最大音频长度30秒，上下文长度8K令牌。预训练阶段2进一步微调音频编码器和适配器，保持LLM冻结，最大音频长度1分钟，上下文长度8K令牌。中期训练阶段1对整个模型进行全量微调，引入新策划的数据集和AudioSkills-XL，最大音频长度10分钟，上下文长度24K令牌。中期训练阶段2扩展混合包含新收集的长音频字幕和QA数据集，最大音频长度30分钟，上下文长度128K令牌，得到AF-Next-Captioner。后训练阶段从中期训练模型开始，使用GRPO强化学习，专注于多轮对话、安全性和指令遵循，得到AF-Next-Instruct。CoT训练阶段从AF-Next-Instruct开始，先在AF-Think-Time上进行监督微调，然后使用后训练数据混合进行GRPO训练，得到AF-Next-Think。数据加载器根据预定义的混合权重贝塔从多个数据集采样，每个训练周期模型暴露于贝塔倍该数据集大小。
技术新颖性
AF-Next的技术新颖性体现在多个方面。首先是首次将开放音频理解扩展到互联网规模数据，策划了约108M样本约1M小时音频的混合数据，这远超之前依赖学术数据集的工作。其次是时间锚定思维链，通过将推理步骤与时间戳关联，解决了长音频推理中证据聚合和幻觉问题，与传统的短音频CoT有本质区别。第三是旋转时间嵌入（RoTE）的使用，通过使用绝对时间戳而非离散索引计算旋转角度，使模型能够学习时间感知的位置表示，这对时间锚定推理和长音频理解至关重要。第四是混合序列并行训练策略，结合Ulysses（基于all-to-all）和Ring（基于点对点）注意力分配，在节点内使用Ulysses利用高带宽互连，跨节点使用Ring扩展规模，解决了长音频训练中的内存和通信挑战。第五是完全开放的发布策略，包括模型权重、训练数据和代码的完全透明，这与仅开放权重或封闭模型形成对比。
实验结果
AF-Next在20多个音频理解和推理基准测试上取得了最先进的性能，证明了四阶段课程学习和时间锚定推理的有效性。在音频理解和推理方面，AF-Next-Instruct在MMAU-v05.15.25上达到平均准确率74.20，超过Audio Flamingo 3的72.42，AF-Next-Think进一步提升到75.01，AF-Next-Captioner达到最佳结果75.76，在声音（79.87）、音乐（75.3）和语音（72.13）三个子类别上均有提升。在MMAR上，AF-Next-Instruct（59.7）已经超过AF3（58.5），AF-Next-Captioner将准确率推至63.0，比AF3提升4.5个绝对百分点。在MMSU上，虽然闭源的Gemini-2.5-Flash以66.1领先，但AF-Next显著缩小差距，AF-Next-Captioner达到63.3。在更具有挑战性的MMAU-Pro基准上，AF-Next-Instruct（56.9）超过闭源的Gemini-2.5-Pro（57.4），AF-Next-Think将领先扩大到58.7。这些结果表明测试时计算策略提供互补的好处：CoT推理有助于需要多步推理的任务，而字幕增强在更丰富的声学描述可以锚定模型推理时特别有效。在音频字幕和蕴含方面，AF-Next-Instruct在Clotho-v2（CIDEr: 0.52 vs 0.50）和AudioCaps（0.74 vs 0.70）上改善音频字幕质量。在音频蕴含上，它在Clotho上达到94.2，在AudioCaps上达到96.0，改善AF3的93.3和95.0。在音乐理解方面，AF-Next表现尤为强劲。在NSynth上，它达到源分类66.7准确率和乐器分类81.7，大幅超过先前的最佳开源（Pengi，62.0）和开放权重（Qwen-Audio，78.8）模型。在Medley-Solos-DB乐器识别上，AF-Next达到92.13，显著超过Audio Flamingo 2的85.80。在MuchoMusic上，它得分75.6对比Music Flamingo的74.5。在音乐字幕SongCaps上，AF-Next达到GPT5覆盖率和正确性得分8.8和8.9，相比AF3的6.7和6.2有大幅提升。在长音频理解方面，在LongAudioBench上，AF-Next-Instruct大幅超过AF3（68.6）和闭源的Gemini 2.5 Pro（60.4），达到73.9。在包含语音的变体（+Speech）上差距更明显，AF-Next达到81.2对比AF3的72.9和Gemini 2.5 Pro的66.2。这些结果突显了AF-Next在长上下文音频和语音推理方面的优势。在自动语音识别方面，AF-Next-Instruct在多个英语基准上达到竞争性或最先进的ASR性能。在LibriSpeech上，它在LALMs中创下新低，WER在test-clean上为1.54，test-other上为2.76，改善AF3和开放权重模型如Phi-4-mm和Qwen2.5-Omni。它在Common Voice 15（7.2）、GigaSpeech（9.8）和VoxPopuli（5.4）上也达到最佳WER，同时在SPGISpeech（1.91 vs AF3的1.86）和TEDLIUM（3.3 vs Phi-4-mm的2.9）上保持竞争性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMAU-v05.15.25（音频问答） | 准确率（平均） | 75.76 (AF-Next-Captioner) | 72.42 (Audio Flamingo 3) | +3.34 绝对百分点 |
| MMAR（多模态推理） | 准确率 | 63.0 (AF-Next-Captioner) | 58.5 (Audio Flamingo 3) | +4.5 绝对百分点 |
| MMSU（多模态理解） | 准确率 | 63.3 (AF-Next-Captioner) | 66.1 (Gemini-2.5-Flash) | -2.8 绝对百分点（仍为最佳开源模型） |
| LongAudioBench（长音频理解） | GPT4o评分 | 73.9 (AF-Next-Instruct) | 68.6 (Audio Flamingo 3) | +5.3 绝对百分点 |
| LibriSpeech test-clean（语音识别） | 词错误率（WER）↓ | 1.54 (AF-Next-Instruct) | 1.57 (Audio Flamingo 3) | -0.03 绝对百分点 |
| NSynth Source（音乐源分类） | 准确率 | 66.7 (AF-Next-Instruct) | 62.0 (Pengi) | +4.7 绝对百分点 |
| NSynth Instrument（乐器分类） | 准确率 | 81.7 (AF-Next-Instruct) | 78.8 (Qwen-Audio) | +2.9 绝对百分点 |
| Clotho-v2（音频字幕） | CIDEr得分 | 0.52 (AF-Next-Instruct) | 0.50 (Audio Flamingo 3) | +0.02 |
| SongCaps（音乐字幕） | GPT5正确性 | 8.9 (AF-Next-Instruct) | 6.2 (Audio Flamingo 3) | +2.7 |
局限与改进
作者承认AF-Next有几个重要限制。首先，虽然AF-Next大幅扩展了训练数据超越之前的开放音频语言模型，但互联网规模音频仍然是嘈杂的，且在领域、语言和声学条件上分布不均。特别是低资源语言、罕见声音事件和专业现实世界领域仍然代表性不足。其次，虽然AF-Next改善了长音频理解并支持长达30分钟的音频，但当证据在时间上遥远、稀疏或分布在多个段时，对长上下文的鲁棒推理仍然具有挑战性。虽然时间锚定思维链改善了时间锚定，但更强的长上下文记忆、检索和证据聚合仍然是未来工作的重要方向。第三，评估主要集中在最建立的基准上，因此尚未完全涵盖AF-Next支持的几个能力，包括多说话人ASR、说话人分离、时间戳字幕和语音到语音交互。为这些能力建立更广泛的评估协议是重要的下一步。我观察到的另一个限制是，虽然AF-Next开放了三个模型变体，但论文没有详细比较这些变体在不同任务上的适用性，用户可能难以选择最适合其特定需求的模型。此外，虽然四阶段课程学习策略展示了有效性，但论文没有提供消融研究来分析每个阶段的具体贡献，这使得理解哪些数据混合或训练策略最关键变得困难。
独立分析的弱点
AF-Next的独立弱点分析：第一，在极低资源语言上的性能可能仍然不足，因为虽然增加了多语言ASR和AST数据，但论文没有提供这些低资源语言的具体评估结果，用户需要谨慎在这些语言上部署。改进方向是专门收集和标注更多低资源语言的音频数据，并在这些语言上进行有针对性的评估和优化。第二，在实时应用中，AF-Next可能面临推理延迟问题，特别是AF-Next-Think变体由于需要生成较长的推理链，推理时间会显著增加。改进方向是开发推理加速技术如知识蒸馏或模型量化，或者为实时应用专门设计轻量级变体。第三，虽然AF-Next支持长达30分钟的音频，但在处理超过这个长度的超长音频时仍然有限制。改进方向是探索更高效的长上下文处理方法如分层注意力或记忆检索机制，以支持更长的音频输入。第四，论文没有提供对抗性攻击或安全漏洞的评估，这对于部署在实际应用中是重要的。改进方向是进行全面的对抗性测试和安全性评估，并相应地增强模型的鲁棒性和安全性。
未来方向
作者提出的未来工作方向包括：改善开放音频数据集的多样性、平衡性和覆盖范围，特别是低资源语言、罕见声音事件和专业现实世界领域；开发更强的长上下文记忆、检索和证据聚合机制，以改善对时间上遥远、稀疏或分布式证据的推理能力；为AF-Next支持的能力如多说话人ASR、说话人分离、时间戳字幕和语音到语音交互建立更广泛的评估协议。基于AF-Next的成果，可以延伸的研究方向包括：探索更先进的时间锚定推理方法，如层次化时间推理或多模态时间锚定；将AF-Next的能力扩展到更多音频相关任务如音频生成、音频编辑和音频修复；研究AF-Next在专业领域的应用如医疗音频分析、法律音频处理和音频取证；开发更高效的长上下文处理方法以支持超过30分钟的音频输入；探索跨模态迁移学习，将音频理解能力迁移到其他模态如视频和触觉理解。
复现评估
AF-Next的可复现性评估显示：论文承诺开放源代码、模型检查点和核心技术，这是可复现性的重要基础。数据方面，论文详细描述了数据策展过程和混合比例，包括约108M样本约1M小时音频的最终数据集，分为音乐理解、多说话人语音理解、长字幕、技能扩展、多音频数据、多轮聊天、安全和指令遵循、多语言ASR和AST、纯文本数据以及时间锚定CoT十个类别。算力方面，AF-Next在128个NVIDIA H100 GPU上进行训练，这需要相当大的计算资源，对于大多数研究机构来说可能难以直接复现。然而，由于论文承诺开放训练代码和超参数设置，有资源的团队应该能够复现训练过程。难度方面，四阶段课程学习策略和混合序列并行训练增加了实现复杂性，但详细的描述和开放的代码应该降低这一难度。总体而言，AF-Next在可复现性方面表现良好，主要挑战是计算资源需求，这与模型规模和训练数据规模直接相关。
论文图表
