UniAudio 2.0：基于文本对齐分解式音频分词的统一音频语言模型

提出ReasoningCodec分解音频为推理与重建token，构建统一音频基础模型

前置知识

离散音频编解码器（Discrete Audio Codec）

离散音频编解码器是一种将连续音频波形转换为离散token序列的神经网络模型。它通常由编码器、向量量化（VQ）模块和解码器组成。编码器将音频提取为连续特征，VQ模块通过聚类将连续特征映射到有限的码本（codebook）中，生成离散token序列。解码器则从这些离散token重建音频波形。这种离散表示使得音频可以像文本一样被语言模型处理，实现自回归生成。常见的编解码器包括EnCodec、DAC、SoundStream等，它们在语音合成、音乐生成等任务中广泛应用。

本文提出的ReasoningCodec是在离散音频编解码器基础上的创新，理解传统编解码器的工作原理和局限性是理解本文核心贡献的前提

向量量化（Vector Quantization, VQ）

向量量化是一种将连续向量空间离散化的技术。在音频编解码器中，VQ模块维护一个固定大小的码本（codebook），包含K个可学习的向量。对于输入的连续特征向量，VQ会找到码本中距离最近的向量作为量化结果，输出对应的离散索引（token）。残差向量量化（RVQ）是其扩展形式，通过多层VQ逐步量化残差，提高重建质量。VQ的核心挑战是信息瓶颈问题：有限的码本大小会导致量化误差，丢失部分信息。

本文的核心创新之一是提出分解式VQ策略，将语义信息和声学信息分别量化，理解VQ的原理有助于理解这种设计的动机

自回归语言模型（Autoregressive Language Model）

自回归语言模型是一种基于序列预测的生成模型，它根据前面的token预测下一个token。在文本领域，GPT系列模型就是典型的自回归语言模型。在音频领域，这种模型可以处理离散化的音频token序列，实现文本到语音、语音识别等任务。自回归模型的优势在于其强大的序列建模能力和few-shot泛化能力，但计算复杂度随序列长度增加而增加。

UniAudio 2.0采用自回归架构统一处理文本和音频token，理解这种范式是理解模型整体设计的关键

功能层特化（Functional Layer Specialization）

功能层特化是一种神经网络架构设计思想，将模型的不同层分配给不同的功能模块。在本文中，作者将Transformer的层划分为三个功能块：底层作为音频理解专家，专注于音频感知和推理；中间层作为跨模态专家，负责文本和音频的对齐与融合；上层作为音频生成专家，专注于细粒度声学建模。这种设计避免了所有层无差别处理所有信息的问题，使每层专注于其擅长的任务。

这是本文提出的架构创新，与传统的统一Transformer架构有本质区别，理解这种设计思想对理解模型性能提升至关重要

GRPO强化学习

GRPO（Group Relative Policy Optimization）是一种强化学习算法，通过采样多个输出并计算相对优势来优化策略。与传统的PPO不同，GRPO不需要单独的价值网络，而是通过组内比较来估计优势函数。在本文中，GRPO被用于训练推理token分支，通过奖励模型（LLaMA 3.1-Instruct 8B）对生成的音频分析进行评分，鼓励模型产生更详细、更准确的音频理解描述。

GRPO是本文训练ReasoningCodec推理分支的关键技术，理解其原理有助于理解为什么推理token能捕获高质量的语义信息

研究动机

当前音频语言模型面临三个根本性挑战。首先，在音频表示方面，连续表示（如SSL特征）虽然在感知和理解任务中表现良好，但由于高维特征难以建模，不适合自回归生成；而离散音频编解码器虽然支持高效的生成和可扩展建模，但其token主要编码低级声学细节，缺乏文本对齐的高级抽象能力，导致在理解任务中性能不佳。其次，在架构方面，现有音频语言模型大多采用朴素的统一自回归Transformer，所有层无差别处理文本和音频token，这种设计存在两个问题：离散音频token是有损的，在所有层中均匀传播会限制音频理解的感知抽象和推理能力；直接在所有Transformer层中对齐文本和音频token极具挑战性，可能导致预训练文本知识的快速遗忘。第三，在数据方面，构建大规模多任务训练数据仍然困难，现有方法难以在不手动设计任务特定流水线的情况下实现可扩展的多任务预训练。

本文的目标是本文旨在解决音频语言模型的两个基础问题：（1）如何设计一个能同时服务于理解和生成的音频分词器；（2）如何构建一个在few-shot和zero-shot设置下具有泛化能力的音频基础模型，类似于大型语言模型。具体目标包括：提出一种分解式音频编解码器ReasoningCodec，将音频分解为文本对齐的高级推理token和保留细粒度声学信息的重建token；设计功能层特化的统一自回归架构，在保持文本能力的同时注入音频理解和生成能力；在100B文本token和60B音频token上训练UniAudio 2.0，实现对语音、声音、音乐等多种音频任务的统一支持。

与已有工作不同的是，本文的独特切入角度在于三个关键洞察。第一，现有离散音频分词器将语义信息和声学信息混在一起量化，导致信息瓶颈；本文提出显式分解音频表示为推理token和重建token，分别优化高级语义理解和低级波形重建。第二，现有统一架构假设所有Transformer层应无差别处理所有模态；本文提出功能层特化，让不同层专注于不同功能（理解、跨模态、生成），并采用音频专用计算机制保持文本处理通路不变。第三，现有训练方法依赖任务特定的流水线；本文引入听觉句子（auditory sentences）概念，通过构造长上下文多段序列，自然诱导多种任务形式，实现可扩展的多任务预训练。

核心方法

UniAudio 2.0的方法可以类比为一个分工协作的交响乐团。传统的音频语言模型像是让所有乐手演奏同一旋律，而UniAudio 2.0则将乐团分为三个专业组：底层的感知组（音频理解专家）专注于聆听和分析音乐结构；中间的协调组（跨模态专家）负责将乐谱（文本）与演奏（音频）对齐；上层的演奏组（音频生成专家）专注于精确的声学细节。整个系统建立在ReasoningCodec之上，它将音频波形分解为两种互补的token流：推理token（5 Hz帧率）捕获文本对齐的高级语义信息，如语音内容、情感、场景等；重建token（12.5 Hz帧率）保留细粒度声学细节，用于高保真波形重建。技术路线上，模型首先通过ReasoningCodec将音频编码为推理token和重建token，然后使用统一的自回归Transformer处理文本和音频token序列，通过多阶段训练策略逐步注入音频能力。

本文的核心创新点是分解式音频表示与功能层特化的协同设计，这与已有方法有本质区别。传统方法要么使用连续表示（适合理解但不适合生成），要么使用单一离散token（适合生成但理解能力受限）。ReasoningCodec的创新在于显式分解音频为两种token：推理token专注于文本对齐的高级语义，通过SFT和GRPO强化学习优化，使其类似于音频领域的思维链；重建token专注于保留声学细节，通过多专家语义编码器和分组VQ量化。更关键的是，这两种token的训练目标不同：推理token通过多任务音频理解目标训练，学习音频的语义分析和规划表示；重建token通过波形重建目标训练，学习声学细节的编码。这种分解设计使得单一token序列既能支持高效的理解（推理token提供紧凑的语义表示），又能支持高质量的生成（重建token保留声学细节）。

方法步骤详情

UniAudio 2.0的方法分为以下步骤：（1）ReasoningCodec训练：推理分支使用Whisper编码器和音乐SSL编码器提取特征，通过基于查询的Transformer编码器压缩到5 Hz帧率，使用RVQ量化为8层推理token；重建分支使用WavLM、音乐SSL和Whisper编码器提取多专家语义特征，通过分组VQ量化为1:1:6分配的重建token，并通过FiLM模块注入推理token信息；使用flow-based扩散解码器从重建token重建波形。（2）多流表示构建：将文本token和音频token打包为多流序列，每个时间步包含9个流（8个音频流+1个文本流），通过流级嵌入和掩码求和融合。（3）功能层特化架构：将Transformer分为三层：底层（3层）作为音频理解专家，中层（28层，初始化自LLaMA3.2 3B）作为跨模态专家，上层（2层）作为音频生成专家；音频专用层仅更新音频位置的隐藏状态，保持文本位置不变。（4）四阶段训练：Stage 1音频理解预热（更新理解专家）；Stage 2音频生成预热（更新生成专家和本地解码器）；Stage 3音频-文本预训练（更新所有参数，1024上下文）；Stage 4音频-文本中期训练（继续训练，2048上下文，引入听觉句子）。（5）多任务训练数据构建：包括文本数据、音频数据、语音-转录配对数据、语音-描述-转录配对数据、音频-描述配对数据、歌词-歌曲配对数据，以及构造的听觉句子数据。

技术新颖性

本文的技术新颖性体现在三个层面。第一，在音频表示层面，ReasoningCodec首次实现音频的分解式表示，推理token和重建token分别优化不同目标，这与传统单一token设计有本质区别。具体来说，推理token通过GRPO强化学习训练，学习音频的语义分析和推理能力，类似于LLM中的思维链；重建token通过多专家语义编码器和FiLM调制，保留跨模态的声学信息。第二，在架构层面，功能层特化设计打破了所有层处理所有模态的传统范式，通过音频专用计算机制（仅更新音频位置）和分层功能分配，同时保持文本能力和注入音频能力。这种设计与简单的冻结底层+微调顶层不同，它显式定义了每层的功能角色。第三，在训练策略层面，听觉句子概念通过构造长上下文多段序列，自然诱导多种任务形式（段内建模、跨段依赖、条件生成），实现可扩展的多任务预训练，无需手动设计任务特定流水线。此外，四阶段渐进训练策略确保文本能力不丢失，同时逐步注入音频能力。

实验结果

UniAudio 2.0在多个维度上展示了出色的性能。在ReasoningCodec评估中，重建质量方面，ReasoningCodec在语音、声音、音乐三个模态上均达到或接近最佳性能：语音PESQ为2.36/2.93（WB/NB），STOI为0.85，UT-MOS为3.91；声音VISQOL为3.10，AudioBox Score为4.12/5.06/3.58/5.96；音乐VISQOL为4.03，AudioBox Score为7.51/7.68/6.12/7.87。主观评估（MUSHRA）中，ReasoningCodec在语音（90.5±2.8）、声音（80.8±2.0）和音乐（86.6±2.3）上均获得最高分。在LLM-based音频理解评估中，ReasoningCodec在ASR（WER 9.0）、情感识别（56.4%）、音频分类（63.3%）和音乐分类（70%）上均优于其他离散分词器，接近连续表示（Whisper）的性能。在token建模方面，推理token的PPL显著低于其他分词器（语音平均PPL 11.57 vs XCodec 18.40，音乐平均PPL 6.56 vs XCodec 28.5），验证了推理token更容易被语言模型建模。在下游任务评估中，UniAudio 2.0在ASR任务上，LibriSpeech-clean WER 2.71，LibriSpeech-other 6.33，Seed-TTS-ZH 2.6，Seed-TTS-EN 2.14；在TTS任务上，Seed-TTS-EN WER 3.63，DNS-MOS 3.80；在音频描述任务上，AudioCaps CIDEr 0.69；在音乐生成任务上，MusicCaps KL 1.8，FAD 3.44。在few-shot和zero-shot任务中，UniAudio 2.0展示了强大的泛化能力：few-shot情感识别（67.0/59.8%，1-shot）、few-shot声音分类（59.8%，1-shot）；zero-shot文本理解MMLU 44.1%，zero-shot构音障碍语音识别WER 19.4%。

**Table 5**: 已见任务上UniAudio 2.0与现有SOTA模型的性能比较

查看结构化数据

任务	指标	本文	基线	提升
语音重建	MUSHRA主观评分	90.5±2.8	Higgs-Audio 84.4±2.6	提升7.2%
自动语音识别（ASR）	LibriSpeech-clean WER	2.71	MiMo-Audio 3.50	降低22.6%
文本到语音（TTS）	Seed-TTS-EN WER	3.63	MiMo-Audio 4.74	降低23.4%
音频描述	AudioCaps CIDEr	0.69	Qwen2.5-Omni-7B 0.39	提升76.9%
音乐生成	MusicCaps KL	1.8	MusicGen 1.31	略高（37.4%）
歌词识别	WER	28.57	Qwen2.5-Omni-7B 56.99	降低49.9%
歌曲生成	WER	36.5	SongGen 40.58	降低10.1%
few-shot情感识别	准确率（1-shot）	67.0/59.8	MiMo-Audio 42.5/45.0	提升57.6%/32.9%
few-shot声音分类	准确率（1-shot）	59.8	MiMo-Audio 45.3	提升32.0%

局限与改进

论文承认了多个局限性。首先，推理延迟问题：为提高声音和音乐的重建质量，采用了flow-based解码器从语义token恢复波形，多步解码过程增加了生成的推理延迟，未来需要探索少步解码（如两步）以平衡质量和速度。其次，zero-shot任务覆盖有限：虽然模型展示了处理未见任务的能力，但仍有改进空间，且支持的未见任务集与训练数据密切相关，例如模型目前无法处理说话人分割任务，因为训练中未包含相关监督。第三，规模探索不足：受GPU资源限制，作者仅在1B和3B参数变体上进行了实验，未充分探索缩放规律（scaling laws），未来扩展到7B及更大模型是有前景的方向。第四，数据不平衡：由于声音和音乐数据量相对语音数据较少，UniAudio 2.0目前在语音相关任务上表现更好，扩展和改进声音和音乐数据集有望提升这些领域的性能。第五，后训练策略未充分探索：本文主要关注预训练设计选择（如音频分词器和统一LLM架构），未广泛研究后训练策略（如多任务SFT和强化学习）。第六，模型比较不全面：由于许多相关模型未公开发布，且本文框架支持广泛的任务谱系，使得全面比较具有挑战性。此外，作者观察到模型在中文指令TTS任务上表现良好（尽管未在中文指令TTS数据上训练），但在粤语TTS任务上仍有改进空间。

独立分析的弱点

从独立分析的角度，本文存在以下弱点和改进方向。第一，推理token的信息损失问题：推理token以5 Hz的低帧率编码，虽然适合高级语义理解，但可能丢失重要的时间动态信息，例如快速变化的语音韵律或音乐节奏变化。改进方向是引入自适应帧率机制，根据音频内容动态调整推理token的帧率，或者设计分层推理token，在不同时间尺度上捕获语义信息。第二，跨模态专家的计算开销：跨模态专家层（28层）占模型大部分参数，且需要处理文本和音频的融合，计算复杂度较高。改进方向是探索更高效的跨模态融合机制，如稀疏注意力或线性注意力，减少计算开销同时保持性能。第三，听觉句子构造的启发式方法：当前听觉句子通过多种启发式策略构造（如分割长音频、交错语音和文本、混合音频等），这些策略是否最优尚不清楚。改进方向是开发自动化、数据驱动的听觉句子构造方法，例如通过强化学习优化序列构造策略。第四，flow-based解码器的推理延迟：多步扩散解码（最少10-25步）限制了实时应用。改进方向是探索单步或少步解码器，如一致性模型或蒸馏方法，在保持质量的同时大幅减少推理步骤。第五，缺乏显式的音频推理能力：虽然推理token通过GRPO训练，但模型的推理过程仍然是隐式的，缺乏像Chain-of-Thought那样的显式推理链。改进方向是引入显式的音频推理步骤，例如先生成对音频的文本分析，再基于分析生成输出。

未来方向

基于本文成果，未来研究可以从以下几个方向延伸。第一，规模扩展：作者明确提到扩展到7B及更大模型是有前景的方向，更大的模型容量有望提升模型的泛化能力和性能上限。同时，可以探索模型规模与数据规模的缩放规律（scaling laws），为资源分配提供指导。第二，多模态扩展：当前模型专注于音频和文本，未来可以扩展到视觉模态，构建音频-视觉-文本的统一基础模型，支持更丰富的多模态任务，如视频描述、音频视觉问答等。第三，后训练优化：作者承认未充分探索后训练策略，未来可以引入更先进的后训练技术，如多任务SFT、强化学习从人类反馈（RLHF）、直接偏好优化（DPO）等，进一步提升模型性能和人类偏好对齐。第四，实时应用优化：通过模型压缩、量化、蒸馏等技术，以及开发少步解码器，使模型能够支持实时语音交互、实时音乐生成等延迟敏感的应用。第五，更多任务支持：扩展模型支持的任务范围，例如说话人分割、音频事件定位、多说话人分离等，这些任务在当前训练数据中未包含，但对实际应用很重要。第六，更好的音频表示：探索更高效的音频表示方法，例如结合连续表示和离散表示的优势，设计混合表示方案，在不同任务间实现更好的权衡。

复现评估

从复现评估角度来看，本文的复现条件相对友好。开源方面，作者承诺Demo、代码和checkpoint将在项目主页发布（https://dongchaoyang.top/UniAudio2Demo/），这有助于社区复现和验证。数据方面，训练数据主要来自公开数据集，包括Multilingual LibriSpeech、AudioSet、Million Song Dataset、WenetSpeech、LibriSpeech等，数据获取门槛较低；但听觉句子的构造需要额外的预处理步骤，可能增加复现难度。算力方面，模型训练使用64个NVIDIA H100 GPU，ReasoningCodec训练使用8个NVIDIA A100 GPU，这是相当大的计算资源需求，对大多数研究机构来说是显著的门槛；特别是四阶段训练策略需要大量计算时间。模型架构方面，基于LLaMA 3.2 3B初始化，这是公开可用的预训练模型，降低了复现难度；但ReasoningCodec的训练涉及多阶段、多目标，需要仔细调参。评估方面，使用的评估指标和基准测试大多是标准的，如WER、PESQ、MUSHRA、CIDEr等，复现评估相对直接。总体而言，本文的复现难度中等偏高，主要挑战在于算力需求和多阶段训练的复杂性，但开源承诺和公开数据集使得技术复现成为可能。