MOSS-Audio-Tokenizer：面向未来音频基础模型的可扩展音频分词器 MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
首个纯Transformer端到端音频分词器，16亿参数，全面超越现有编解码器
前置知识
残差向量量化 (Residual Vector Quantization, RVQ)
RVQ 是一种多层级的向量量化技术，它将输入向量首先由第一个码本量化，然后对量化误差（残差）再由第二个码本量化，如此逐层递进。每一层捕获前一层遗漏的细节信息，从粗到细地逼近原始信号。在音频分词中，RVQ 的第一层通常编码粗粒度的语义信息，后续层逐步补充精细的声学细节。通过控制使用多少层量化器，可以实现可变比特率的音频压缩——层数越多，重建质量越高，但所需的比特率也越大。本文使用 32 层 RVQ，每层码本大小为 1024，帧率为 12.5 Hz。
RVQ 是本文 CAT 架构的核心离散化组件，理解其粗到细的残差结构对于理解可变比特率生成和 Progressive Sequence Dropout 策略至关重要。
神经音频编解码器 (Neural Audio Codec)
神经音频编解码器是一种将连续音频波形编码为离散 token 序列、并能从这些 token 重建音频的深度学习模型。典型的架构是「编码器-量化器-解码器」三段式，配合对抗训练提升感知质量。代表性工作包括 EnCodec（Meta）、DAC（Descript）等。这些编解码器使得音频可以像文本一样被离散化，从而与大语言模型的自回归建模范式兼容。编解码器的质量直接决定了下游语音生成和理解任务的上限。
本文的核心贡献就是提出一种全新的编解码器架构 CAT，彻底抛弃 CNN，完全使用 Transformer 构建，因此理解现有编解码器的设计范式是理解本文创新点的前提。
端到端优化 vs 分阶段优化 (End-to-end vs Stage-wise Optimization)
在传统音频编解码器训练中，常见的做法是先训练编码器和量化器，然后冻结它们只训练解码器和判别器，或者分多个阶段逐步训练各个组件。这种分阶段策略虽然稳定但限制了模型的表达能力，因为被冻结的组件无法根据后续阶段的反馈进行调整。端到端优化则是同时优化所有组件（编码器、量化器、解码器、判别器、语义模型），让梯度流经整个计算图，使各组件能够协同进化。本文证明这种端到端策略对可扩展性至关重要。
论文的一个核心实验发现是端到端优化比部分优化能持续获得性能提升且不会过早饱和，这是 CAT 架构能够有效扩展的关键原因。
因果 Transformer (Causal Transformer)
因果 Transformer 是一种使用因果注意力掩码的 Transformer 架构，每个位置只能关注当前及之前的位置，不能看到未来信息。这与双向 Transformer（如 BERT）不同。因果性保证了模型可以在流式场景下逐帧处理输入，每个输出 token 仅依赖于已观察到的输入，非常适合实时音频处理和自回归生成。GPT 系列语言模型就是典型的因果 Transformer。本文的编码器和解码器都采用因果 Transformer 块构建。
本文选择因果 Transformer 而非双向 Transformer 或 CNN 来构建编码器/解码器，是为了与自回归语言模型的建模范式天然对齐，并支持流式推理，这是架构设计的核心决策。
Progressive Sequence Dropout（渐进式序列丢弃）
这是本文提出的一种训练策略，用于在单个自回归 TTS 模型中实现可变比特率语音生成。训练时以概率 p 激活该策略，激活后从 1 到 N_q-1 中均匀采样一个前缀长度 K，丢弃第 K+1 到第 N_q 层的 RVQ token。这使得模型在训练过程中接触到不同深度的 RVQ 表示，从而学会在不同比特率下生成语音。推理时通过指定深度 K_infer 来控制合成比特率。
这一策略是 CAT-TTS 实现可变比特率语音生成的关键，使得单个模型可以在不同比特率下都保持高质量生成，而无需为每个比特率训练单独的模型。
研究动机
现有的音频分词器在架构设计上存在几个根本性的局限，制约了它们作为音频语言模型原生接口的能力。首先，大多数方法依赖预训练编码器作为初始化（如 XCodec2.0 使用预训练的 HuBERT、SpeechTokenizer 蒸馏自 SSL 模型），这些预训练组件引入了固定的归纳偏置，限制了模型在大规模训练下的表达上限。其次，主流架构采用 CNN 或 CNN-Transformer 混合设计（如 EnCodec 使用纯 CNN，Mimi 使用混合架构），这些卷积归纳偏置在小模型下有效但难以扩展——当数据和算力增加时，CNN 的感受野限制和固定下采样模式成为性能瓶颈。第三，许多方法采用分阶段训练策略，先训练编码器-量化器再冻结它们训练解码器，这种部分优化方式导致模型无法充分利用端到端训练的协同效应。以 EnCodec 为例，其 75 Hz 的帧率导致下游语言模型需要处理极长序列，而 BigCodec 虽然质量好但帧率高达 80 Hz，同样不利于序列建模。在低比特率（750-1500 bps）场景下，现有方法的重建质量普遍较差，语音相似度（SIM）多在 0.6-0.85 之间徘徊，离高保真重建还有明显差距。
本文的目标是本文的目标是设计一种简单、同构、可扩展的音频分词器架构，使其能够像文本分词器之于大语言模型那样，成为音频基础模型的原生离散接口。具体而言，作者希望实现四个目标：（1）完全抛弃 CNN，使用纯因果 Transformer 构建编码器和解码器，消除卷积带来的固定归纳偏置；（2）完全端到端训练，不依赖预训练编码器、语义蒸馏或分阶段优化，所有组件（编码器、量化器、解码器、判别器、语义模型）联合优化；（3）在 12.5 Hz 的低帧率下实现高保真重建，覆盖语音、声音和音乐三大领域；（4）在 0.125 kbps 到 4 kbps 的宽比特率范围内保持稳健的重建质量，并通过模型参数和训练数据的扩展展现可预测的性能提升。
与已有工作不同的是，本文的独特视角在于将音频分词类比为文本分词——正如文本分词器是 LLM 的原生接口，音频分词器也应该是音频语言模型的原生接口，而非一个独立的信号处理模块。基于这一类比，作者提炼出四条设计原则：统一音频表示（覆盖语音/声音/音乐）、简洁与可扩展性（同构架构，消除异构组件的瓶颈）、因果性（与自回归建模对齐）、低帧率与比特率稳健性。已有工作虽然在某些方面做到了极致（如 BigCodec 在特定比特率下的重建质量、MiMo-Audio-Tokenizer 的大规模数据训练），但没有一个方法同时满足所有这些原则。本文正是抓住了「同构 + 端到端 + 大规模」这一被忽视的组合，通过极致的架构简化换取可扩展性的上限。
核心方法
本文的方法可以用一个类比来理解：如果把音频比作一种「外语」，那么传统做法是先请一个翻译专家（预训练编码器）把音频翻译成中间语言，再让一个学生学习这种中间语言的词汇表（量化器），最后再请另一个专家把词汇表翻译回音频（解码器）。CAT 的做法则是：让一个学生从零开始，同时学习听、记、说三个技能，而且这个学生的「大脑」（架构）完全由同一种神经元（因果 Transformer 块）组成。技术路线上，CAT 的编码器接收 24 kHz 原始波形，通过分层 patchify 操作逐步降低时间分辨率（patch 大小依次为 240/2/2/2），最终映射到 12.5 Hz 的离散 token 序列。量化器使用 32 层 RVQ，每层码本大小 1024。解码器镜像编码器结构，从离散 token 重建波形。整个系统配合多周期判别器和复数 STFT 判别器进行对抗训练，同时附加一个 0.5B 参数的因果语言模型进行音频到文本的语义监督。所有组件在统一的训练流程中联合优化，总计 16 亿参数，在 300 万小时多样化音频数据上从零训练。
CAT 最核心的创新在于架构的极致同构性和训练的完全端到端性。与所有现有音频编解码器不同，CAT 的编码器和解码器完全由因果 Transformer 块堆叠而成，没有任何 CNN 层。这看似简单的改变带来了深远的影响：第一，消除了卷积操作带来的固定感受野和固定下采样模式，让模型可以通过注意力机制自适应地聚合不同时间尺度的信息；第二，与自回归语言模型的架构天然对齐——下游的音频语言模型可以直接「理解」CAT 产生的 token，因为两者基于相同的建模原语；第三，也是最关键的，这种同构架构使得模型可以通过简单的参数扩展和数据扩展获得可预测的性能提升。论文通过系统性的缩放实验（Figure 4、5、6）证明了这一点：无论是增加模型参数（从 319M 到 1169M）、增加训练 batch size（从 2^20 到 2^28），还是增加量化层数（从 6 层到 32 层），CAT 的重建质量都呈现出稳定、单调的提升曲线，没有出现饱和迹象。这与分阶段优化形成鲜明对比——后者在训练早期就会遇到性能平台期（Figure 4）。
方法步骤详情
CAT 的完整流程可以分为训练和推理两个阶段。训练阶段：（1）输入 24 kHz 原始音频波形，首先经过 patchify 操作将波形分割为固定维度的向量序列，patch 大小为 240（对应 10ms），初始隐含维度 768；（2）通过第一阶段的 12 个因果 Transformer 块处理，使用 RoPE 位置编码和 10 秒滑窗注意力；（3）在第 12、24、36 层后分别插入 patchify 操作，patch 大小均为 2，逐步将时间分辨率降低 4 次，最终达到 12.5 Hz 帧率；（4）四个阶段的隐含维度分别为 768/768/768/1280，对应 12/12/12/32 个 Transformer 块，编码器共 68 层，约 0.8B 参数；（5）编码器输出送入 32 层 RVQ，每层使用大小为 1024 的码本，采用分解向量量化（潜空间维度 8，L2 归一化码字），训练时应用量化器丢弃（概率 1.0）以支持可变比特率；（6）解码器镜像编码器结构，从离散 token 重建波形；（7）一个 0.5B 参数的因果语言模型接收量化器输出的隐状态，自回归预测文本 token（支持 ASR、多人 ASR、音频描述等任务），提供语义监督；（8）多周期判别器和复数 STFT 判别器提供对抗训练信号。总损失函数为各分量损失的加权和。训练分两阶段：非对抗预训练 520k 步（batch size 1536），然后对抗微调 500k 步（batch size 768）。CAT-TTS 阶段使用 Temporal Transformer + Depth Transformer 架构，Temporal Transformer 从 Qwen3-1.7B 初始化，Depth Transformer 随机初始化（4 层 Transformer，隐含维度 1536），在约 200k 小时语音数据上训练 200k 步。
技术新颖性
CAT 的技术新颖性体现在三个层面。架构层面：它是首个完全基于因果 Transformer 的音频编解码器，编码器和解码器中没有任何 CNN 层。虽然 Mimi 和 XY-Tokenizer 等使用了 Transformer，但它们仍然保留了 CNN 组件（混合架构）。CAT 证明了纯 Transformer 架构在音频编解码任务上不仅可行，而且在大规模训练下更具优势。训练层面：CAT 是首个将编码器、量化器、解码器、判别器和语义模型完全联合端到端优化的音频分词器。已有方法要么依赖预训练编码器（XCodec2.0、SpeechTokenizer）、要么采用分阶段训练（EnCodec、DAC）、要么只优化部分组件。论文通过 Figure 4 的对比实验清楚地证明了端到端训练的优越性。应用层面：CAT-TTS 是首个纯自回归 TTS 系统在 Seed-TTS-Eval 上超越级联（cascaded）和非自回归系统的工作。Progressive Sequence Dropout 策略使得单个自回归模型可以支持可变比特率生成，这在已有工作中是前所未有的——之前的方法要么为每个比特率训练单独模型，要么无法在低比特率下保持质量。
实验结果
本文的实验结果可以归纳为四个方面。重建质量方面：MOSS-Audio-Tokenizer 在所有评估的比特率区间（低/中/高）都达到了开源音频分词器中的最优水平。在低比特率（750 bps）下，英语语音 PESQ-WB 达到 2.60（vs XY-Tokenizer 的 2.50），中文 PESQ-WB 达到 2.22。在中比特率（2000 bps）下，英语 SIM 达到 0.95/0.89，PESQ-WB 达到 3.41/2.96，全面超越 Qwen3-TTS-Tokenizer（SIM 0.95/0.88，PESQ-WB 3.19/2.62）。在高比特率（4000 bps）下，SIM 达到 0.97/0.93，PESQ-WB 达到 3.69/3.30，超越 Mimi（SIM 0.94/0.83）和 DAC（SIM 0.89/0.84）。在声音和音乐重建上同样表现强劲，Mel-Loss 和 STFT-Dist. 均处于最优或接近最优水平。语音生成方面：CAT-TTS 在 Seed-TTS-Eval 上实现了英语 WER 1.89%、SIM 73.1%，中文 CER 1.23%、SIM 78.5%。这在所有纯离散自回归 TTS 系统中是最高的——显著超越 Llasa（SIM 57.4/68.4）、SparkTTS（SIM 58.4/67.2）和 HiggsAudio-v2（SIM 67.7/74.0）。更重要的是，CAT-TTS 的中文 SIM 78.5% 甚至超越了所有级联系统（包括 CosyVoice3 的 78.1%、MaskGCT 的 77.4%）和所有连续表示 AR 系统（包括 VoxCPM 的 77.2%）。语音理解方面：CAT-ASR（1.7B 参数）在 LibriSpeech test-clean 上 WER 为 2.96%，在 AISHELL-2 上 CER 为 3.44%，虽然不及 Kimi-Audio（7B，WER 1.28%，CER 2.56%）和 Qwen2.5-Omni（7B，WER 2.37%，CER 2.56%），但考虑到模型尺寸仅为 1.7B 且无需辅助音频编码器，这一结果极具竞争力。缩放行为方面：论文通过三组实验证明了 CAT 的可预测缩放特性——增加模型参数（319M 到 1169M）持续提升重建质量；增加训练 batch size（2^20 到 2^28）在所有指标上获得单调提升；端到端训练比部分优化在所有指标上持续领先且无饱和迹象。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语音重建（低比特率 750 bps，英语 LibriSpeech test-clean） | PESQ-WB | 2.60 | XY-Tokenizer 2.50 / XCodec2.0 2.43 / BigCodec 2.68 | 在同帧率（12.5 Hz）分词器中优于 XY-Tokenizer 和 XCodec2.0 |
| 语音重建（中比特率 2000 bps，英语 LibriSpeech test-clean） | PESQ-WB | 3.41 | Qwen3-TTS-Tokenizer 3.19 / Mimi 2.97 | 比 Qwen3-TTS-Tokenizer 提升 6.9% |
| 语音重建（高比特率 4000 bps，英语 LibriSpeech test-clean） | SIM | 0.97 | Mimi 0.94 / DAC 0.89 / Encodec 0.86 | 比 Mimi 提升 3.2 个百分点 |
| 零样本 TTS（英语 Seed-TTS-Eval） | SIM | 73.1 | VoxCPM 72.9 / MaskGCT 71.7 / IndexTTS2 70.6 | 在开源模型中英语 SIM 最高 |
| 零样本 TTS（中文 Seed-TTS-Eval） | SIM | 78.5 | CosyVoice3 78.1 / VoxCPM 77.2 / MaskGCT 77.4 | 在所有对比系统中中文 SIM 最高 |
| 零样本 TTS（英语 Seed-TTS-Eval） | WER | 1.89 | VoxCPM 1.85 / F5-TTS 2.00 / MaskGCT 2.62 | 与 VoxCPM（1.85）接近，显著优于 MaskGCT（2.62） |
| ASR（英语 LibriSpeech test-clean） | WER | 2.96 | Kimi-Audio 1.28 / Qwen2.5-Omni 2.37 / Whisper-Large-v3 2.90 | 1.7B 模型接近 1.5B Whisper，无需辅助编码器 |
| ASR（中文 AISHELL-2） | CER | 3.44 | Kimi-Audio 2.56 / Qwen2.5-Omni 2.56 / Step-Audio-Chat 3.60 | 1.7B 模型优于 130B Step-Audio-Chat（3.60） |
局限与改进
尽管 MOSS-Audio-Tokenizer 取得了显著成果，但仍存在几方面的局限。首先，算力需求巨大：16 亿参数加上 300 万小时数据的训练需要极大的计算资源，论文提到采用两阶段训练（非对抗预训练 520k 步 + 对抗微调 500k 步），但未披露具体 GPU 小时数或训练成本，这使得大多数研究团队难以复现。其次，低比特率下的声音和音乐重建质量仍有提升空间：在 750 bps 下，声音/音乐的 Mel-Loss 为 0.85/0.82，虽然优于 Mimi（1.19/1.12）但仍有改进空间，尤其是与高比特率（4000 bps）下的 0.64/0.68 相比差距明显。第三，ASR 性能与 SOTA 差距较大：CAT-ASR 的英语 WER 2.96% 和中文 CER 3.44% 虽然在 1.7B 模型中表现不错，但与 Kimi-Audio（7B，WER 1.28%）等大模型相比仍有明显差距，论文也承认可以通过扩大配对数据和模型容量来改进。第四，缺少与 proprietary 系统的对比：论文只对比了开源系统，未与 GPT-4o-Audio、Gemini 2.0 等闭源系统进行对比，难以评估在实际应用中的竞争力。第五，CAT-TTS 仅支持语音合成，尚未扩展到通用音频生成（如音效合成、音乐生成），而 CAT 分词器本身是通用的，这一潜力尚未被充分利用。
独立分析的弱点
从独立分析的角度，CAT 存在以下几个值得关注的弱点。架构效率问题：虽然纯 Transformer 架构具有更好的可扩展性，但在小模型（如小于 300M 参数）场景下，CNN 的局部归纳偏置可能是有益的——论文的缩放实验（Figure 5）显示 319M 模型在低比特率下的表现不如预期，暗示纯 Transformer 在小规模下可能不如混合架构高效。改进方向是探索在小规模下使用轻量 CNN stem 而大规模下使用纯 Transformer 的渐进式架构设计。12.5 Hz 帧率的语义密度问题：12.5 Hz 意味着每秒只有 12.5 个 token，对于长音频的理解任务（如音频描述、对话理解），每个 token 需要承载的语义信息密度很高。虽然论文展示了不错的 ASR 结果，但在更复杂的理解任务（如情感识别、说话人意图理解）上，这种低帧率 token 是否足够语义丰富尚待验证。改进方向是在量化器中引入更多语义监督信号（如情感标签、说话人嵌入等），或在下游模型中引入跨帧的上下文聚合机制。Progressive Sequence Dropout 的理论分析不足：论文通过实验验证了该策略的有效性，但缺乏理论分析——为什么随机丢弃 RVQ 后缀层等价于让模型学习不同比特率的条件生成？是否存在最优的丢弃概率 p 与 RVQ 层数 N_q 之间的关系？改进方向是从信息论角度分析各 RVQ 层的信息贡献，设计自适应的丢弃策略。评估基准的局限性：Seed-TTS-Eval 虽然是标准基准，但主要评估零样本 TTS 的相似度和准确率，未覆盖韵律自然度、情感表达力、长文本连贯性等维度。改进方向是引入更全面的评估体系，如使用主观 MUSHRA 评分和多维度自动评估指标。对抗训练的稳定性：16 亿参数的模型进行端到端对抗训练，训练稳定性是一个潜在风险。论文提到采用两阶段训练策略，但未详细讨论训练过程中的崩溃（mode collapse）风险或梯度不稳定性问题。
未来方向
论文及基于其成果可以延伸出多个重要的研究方向。CAT 架构的统一音频语言模型：既然 CAT 提供了一个语义丰富且声学保真的离散接口，下一步自然是在其上构建统一的音频理解-生成模型，类似于 MiMo-Audio 或 Qwen3-Omni 的思路，但使用 CAT 作为底层分词器。这种模型可以在同一个自回归框架中同时处理 ASR、TTS、音频描述、音频问答等任务。音乐和音效生成：CAT-TTS 目前仅用于语音合成，但 CAT 分词器本身在音乐重建上也表现出色（在 MUSDB 上的 STFT-Dist. 与 DAC 相当）。将 CAT 的离散 token 用于音乐生成（类似 MusicGen 的框架）是一个自然的延伸方向。多流/多说话人建模：基于 CAT 的低帧率和因果性，可以探索全双工对话系统（类似 Moshi 的设计），其中 CAT 的因果编码器支持实时流式输入，而解码器支持流式输出。更低帧率的探索：12.5 Hz 已经很低，但能否进一步降低到 6.25 Hz 甚至更低？这需要在 patchify 策略和量化器设计上做更多工作，可能需要引入跨帧的全局注意力机制。更高效的训练方法：当前训练需要约 100 万步（520k + 500k），探索知识蒸馏、课程学习或更高效的优化器可能大幅降低训练成本。
复现评估
从复现评估来看，MOSS-Audio-Tokenizer 的复现面临较大挑战但也提供了重要便利。开源情况：论文承诺开源代码（GitHub: OpenMOSS/MOSS-Audio-Tokenizer）和模型权重（HuggingFace: OpenMOSS-Team/MOSS-Audio-Tokenizer），这大大降低了使用门槛。模型权重可以直接用于推理和下游任务微调。数据方面：训练使用了约 300 万小时多样化音频数据（语音、声音、音乐），但论文未公开完整数据集的构成和来源，仅提到使用了 VoxBox（来自 SparkAudio）和内部数据集。这意味着完全复现训练过程需要自行收集大规模音频数据，这是主要障碍。算力需求：16 亿参数模型在 300 万小时数据上训练约 100 万步，粗略估计需要数百到数千 GPU 天（具体取决于硬件配置）。对于 CAT-TTS 部分，Temporal Transformer 从 Qwen3-1.7B 初始化，Depth Transformer 4 层 Transformer 在 200k 小时数据上训练 200k 步，算力需求相对较小。复现难度：如果使用开源权重进行下游任务微调或推理，难度较低；如果要从零复现整个训练流程，难度较高，需要大规模算力和数据。建议的方式是直接使用开源权重，在特定下游任务上进行适配。
论文图表
