MOSS-TTS 技术报告：基于离散音频token与自回归建模的语音生成基础模型 MOSS-TTS Technical Report
基于离散token+自回归建模+大规模预训练的语音生成基础模型，支持零样本克隆与小时级长文本生成
前置知识
残差向量量化（RVQ）
RVQ是一种将连续向量离散化的多层级方法。它由多个量化器级联组成，每个量化器对前一级的量化残差进行编码，从而逐层逼近原始信号。在语音tokenizer中，RVQ将连续的音频特征压缩为离散token序列，每一层codebook捕捉不同粒度的信息——底层编码粗粒度语义，高层编码细粒度声学细节。MOSS-Audio-Tokenizer使用32层RVQ，每层codebook大小为1024。
理解RVQ是理解整个系统的基础——它决定了token的数量、比特率、以及语义和声学信息的分离方式
自回归（AR）语音生成
自回归生成将语音合成建模为token预测问题：给定文本和历史token，逐个预测下一个音频token。这种方法借鉴了大语言模型的成功范式，将语音生成统一为序列建模任务。MOSS-TTS采用纯自回归架构，通过next-token prediction生成语音，而不是使用扩散模型或非自回归方法。
MOSS-TTS的核心论点是自回归范式在语音生成中的可扩展性，理解AR建模才能理解为什么作者选择这条技术路线
延迟模式（Delay Pattern）
延迟模式是处理RVQ多层token的一种技巧。对于32层RVQ输出的token矩阵，直接建模需要将序列长度扩展32倍。延迟模式通过对每层施加不同时间偏移（第j层偏移j-1帧），使所有层在同一个时间步内同时可预测，从而保持原始序列长度。这类似于Moshi等工作中使用的技术。
延迟模式是MOSS-TTS两种架构之一的核心设计，决定了模型的解码效率和长上下文能力
零样本语音克隆
零样本语音克隆指模型无需针对特定说话人进行微调，仅通过一段参考音频（prompt）就能合成具有相同音色的新语音。实现方式通常是在生成时将参考音频的speaker embedding作为条件注入模型。MOSS-TTS支持两种模式：Clone模式（显式提供参考音频）和Continuation模式（通过语音续接隐式传递音色）。
语音克隆是现代TTS系统的核心能力，MOSS-TTS在这方面的表现是评估其质量的关键指标
语义-声学统一表示
传统音频codec通常只关注波形重建质量，而忽略了token的语义信息。MOSS-Audio-Tokenizer通过联合训练语义对齐任务（ASR、音频描述）和声学重建任务，使离散token同时包含高层语义信息和低层声学细节。这种统一表示使得同一个tokenizer既适合语言模型建模，也适合高质量音频重建。
这是MOSS-Audio-Tokenizer区别于传统codec的核心设计理念，直接影响下游TTS模型的质量
研究动机
当前语音生成领域面临的核心矛盾在于：模型规模和数据规模不断扩大，但token表示和建模策略的复杂性也随之急剧增加。许多现有系统引入了多个中间目标、外部语义教师模型、多阶段精炼流程或后处理对齐模块。例如，某些方法依赖HuBERT或Whisper等预训练音频编码器提取语义特征，再通过多阶段蒸馏将语义信息注入codec token；另一些方法采用级联架构，将语义建模和声学建模分离为独立模块。这些设计虽然有效，但每增加一个模块就引入新的监督契约、新的失败模式和新的延迟预算，严重阻碍了系统的可扩展性。具体而言，在长文本生成场景下（如一小时的有声书），现有方法容易出现说话人漂移、韵律失稳和内容退化；在多语言场景下，不同语言的声学特性差异导致模型泛化困难；在可控生成场景下，token级时长控制和音素级发音控制的实现往往需要额外的fine-tuning阶段，增加了部署复杂度。
本文的目标是MOSS-TTS的核心目标是证明一种简洁且可扩展的范式——离散token + 自回归建模 + 大规模预训练——足以构建功能全面的语音生成基础模型。具体而言，作者希望实现以下可量化目标：在Seed-TTS-eval基准上达到与SOTA系统相当的说话人相似度和内容一致性；实现token级时长控制，整体相对误差低于1%；支持音素/拼音级发音控制；实现小时级别的稳定长文本生成；同时保持模型架构的简洁性，避免引入外部预训练教师模型或多阶段训练流程。
与已有工作不同的是，本文的独特切入角度在于对端到端可扩展性的坚持。与依赖外部预训练编码器（如HuBERT、Whisper）或复杂级联管线的方法不同，MOSS-TTS主张从音频tokenizer到生成模型的全链路端到端训练。作者的核心洞察是：一个足够强大的tokenizer可以将语音生成转化为与语言建模类似的token预测问题，从而使得数据、算力和下游能力的扩展变得更容易，而不需要持续扩展模型栈。这种方法论上的简化——用一个统一的自回归目标替代多模块监督——是MOSS-TTS区别于同期工作的最本质特征。
核心方法
MOSS-TTS的技术路线可以类比为把语音生成当作语言建模来做。就像GPT通过预测下一个token来生成文本，MOSS-TTS通过预测下一个音频token来生成语音。整个系统由三个核心组件构成：首先是MOSS-Audio-Tokenizer，它将24kHz的连续音频信号压缩为12.5fps的离散token序列，类似于把语音分词；其次是大规模高质量预训练数据流水线，从数百万小时的原始网络音频中提取干净的单说话人语音-文本对；最后是基于Transformer的自回归生成模型，它接收文本输入，逐帧预测32层RVQ音频token。技术路线的关键设计选择是：不依赖任何外部预训练语义教师（如HuBERT），所有组件端到端联合训练；不使用扩散模型或非自回归方法，而是坚持纯自回归范式以保持架构简洁性和可扩展性。
MOSS-TTS最本质的创新在于对简洁可扩展范式的坚持和验证。与同期工作（如CosyVoice 3使用多阶段蒸馏、Seed-TTS使用级联语义教师）不同，MOSS-TTS证明了一个端到端的离散token + AR建模范式即可获得强大性能。具体而言，MOSS-Audio-Tokenizer通过端到端联合优化声学重建和语义对齐（使用0.5B参数的LLM进行ASR和音频描述监督），使离散token同时包含语义和声学信息，从而避免了引入额外的语义编码器。在生成模型侧，作者训练了两种互补架构——Delay-Pattern模型追求结构简洁和长上下文能力，Local-Transformer模型追求建模效率和说话人保持——在相同tokenizer和预训练范式下隔离token建模模式的影响。这种用简单方法做到SOTA的哲学，与LLM领域从复杂工程向简洁可扩展架构演进的趋势一脉相承。
方法步骤详情
MOSS-TTS的完整工作流程分为四个阶段。第一阶段是音频tokenizer训练：MOSS-Audio-Tokenizer采用RVQ-GAN框架，包含68层因果Transformer编码器和解码器（各约0.8B参数）、32层RVQ量化器、0.5B参数的语义LLM头部和对抗判别器。编码器通过patchify操作将24kHz波形下采样到12.5fps，训练目标包括语义损失（ASR和音频描述的交叉熵）、量化损失（commitment loss和codebook loss）、重建损失（多尺度mel频谱损失）和对抗损失。第二阶段是数据准备：原始网络音频经过降噪、格式标准化、音量归一化、说话人分离、ASR转写、LLM质量控制、声学质量过滤、语言一致性过滤和长度一致性过滤等多阶段处理，最终产出数百万小时的高质量训练数据，包括基础语料、音色克隆对、字典式短数据、噪声文本增强和音素增强等子集。第三阶段是四阶段预训练课程：Phase 1使用基础语料学习多语言TTS先验；Phase 2引入全部数据子集并强采样音色克隆数据，在高学习率下学习控制能力；Phase 3线性衰减学习率并恢复数据混合比例以巩固质量；Phase 4将上下文窗口从32k扩展到64k并强采样长文本数据。第四阶段是推理：给定文本和可选的参考音频，模型自回归生成32层RVQ token，再由tokenizer解码器重建波形。
技术新颖性
MOSS-TTS的技术新颖性体现在三个方面。第一，tokenizer设计的新颖性：MOSS-Audio-Tokenizer是首个采用纯因果Transformer架构（而非CNN或CNN-Transformer混合）的音频tokenizer，参数量达1.6B，通过端到端联合训练同时优化声学重建和语义对齐，避免了对HuBERT等外部语义教师的依赖。第二，建模范式的新颖性：作者在相同tokenizer和预训练设置下系统比较了Delay-Pattern和Local-Transformer两种架构，揭示了结构简洁性与建模效率之间的明确tradeoff——Delay-Pattern更适合长上下文和控制导向任务，Local-Transformer在更小参数量下实现更强的说话人保持。第三，训练范式的新颖性：四阶段WSD（warmup-stable-decay）预训练课程设计将能力获取、分布恢复和长上下文扩展解耦，避免了单阶段全数据训练的优化冲突。
实验结果
MOSS-TTS的实验结果展示了其在多个维度的强大能力。在音频tokenizer方面，MOSS-Audio-Tokenizer在所有比特率区间（750-6000 bps）均优于开源基线。在1000 bps设置下，英语SIM达到0.88（基线最佳XY-Tokenizer为0.85），PESQ-WB达到2.87（基线最佳2.50）；在2000 bps下，SIM达到0.95（对标Qwen3-TTS-Tokenizer的0.95），PESQ-WB达到3.41（对标3.19）。在零样本语音克隆方面，MOSS-TTS-Local-Transformer（1.7B参数）在Seed-TTS-eval上表现优异：Continuation模式下英语SIM为73.28%、中文SIM为79.62%，在开源模型中达到最高水平，甚至超越了许多4B+参数的闭源系统。MOSS-TTS（8B参数）在Clone和Continuation两种模式下均表现稳健，英语WER为1.84-1.92%，中文CER为1.37-1.46%。在时长控制方面，MOSS-TTS实现了极低的相对时长误差：中文和英文的整体AbsErr Mean分别为0.712%和0.723%，在3秒到30分钟的范围内均保持稳定，P50误差仅为0.28%左右。在超长生成方面，中文在10000+ token（约13分钟）的bucket中CER仅为1.87-1.89%，Continuation模式下的SIM保持在63-66%；英文在25000-50000 token（约33-67分钟）的范围内WER为3.75-4.58%。发音控制方面，拼音/音素级控制的span-only CER/WER在1-6%范围内，表明该功能已具备实用价值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音频tokenizer语音重建（1000bps） | 英语SIM | 0.88 | 0.85 (XY-Tokenizer) | 提升3.5% |
| 音频tokenizer语音重建（1000bps） | 英语PESQ-WB | 2.87 | 2.50 (XY-Tokenizer) | 提升14.8% |
| 零样本语音克隆（Seed-TTS-eval） | 英语SIM（Continuation） | 73.28% (Local-1.7B) | 71.45% (Qwen3-TTS-1.7B) | 提升1.83个百分点 |
| 零样本语音克隆（Seed-TTS-eval） | 中文SIM（Continuation） | 79.62% (Local-1.7B) | 79.60% (Seed-TTS) | 持平 |
| 时长控制 | 整体AbsErr Mean | 0.712% (zh) / 0.723% (en) | 无直接基线 | N/A |
| 发音控制 | 拼音span CER | 1.00% (partial) / 1.65% (full) | 无直接基线 | N/A |
局限与改进
作者在论文中坦诚地指出了若干局限性。首先，在多语言语音克隆方面，日语（ja）和韩语（ko）的表现明显弱于中英文，在CV3-Eval上CER分别达到7.30-10.72%和5.95-7.73%，与CosyVoice3+DiffRO的5.15-5.27%和4.01-4.02%存在明显差距。其次，超长生成中的说话人漂移是主要瓶颈：英文在50000+ token（约67分钟以上）的bucket中，Clone模式下SIM降至44.4%，WER飙升至17.49%，表明累积的说话人漂移而非即时词汇错误是长文本生成的主导失败模式。从独立观察来看，论文存在以下未充分讨论的问题：第一，作者选择性地在不同评测中使用不同架构（Local-Transformer用于克隆评测，Delay-Pattern用于控制和长文本评测），虽然有合理理由，但这使得难以对单一架构进行全面比较；第二，缺乏与同期最强闭源系统（如Seed-TTS、CosyVoice 3）的直接对比实验，大部分基线数据来自其他论文的报告值；第三，训练资源和时间的详细信息缺失，对于评估方法的可复现性不够透明。
独立分析的弱点
经过独立分析，我认为MOSS-TTS存在以下值得关注的弱点。第一，长文本生成的说话人保持问题尚未根本解决：英文在67分钟以上的生成中SIM降至44-51%，这意味着在实际应用场景（如有声书、播客生成）中，用户需要频繁插入参考音频来刷新音色，限制了完全自动化的长内容生产。改进方向可以探索显式的说话人记忆机制或周期性的音色重锚定策略。第二，多语言能力不均衡：日语和韩语的CER是中英文的5-10倍，这可能源于训练数据中这些语言的占比过低（从Figure 4的语言分布来看，日韩语属于Other类别）。改进方向包括针对性扩充日韩语训练数据或采用语言特定的fine-tuning。第三，Local-Transformer和Delay-Pattern两种架构的优劣互补意味着当前没有单一架构能同时满足所有需求，这增加了部署复杂度。未来可以探索融合两种架构优势的统一设计。第四，论文缺乏对推理效率的详细分析——虽然提到了Local-Transformer的更短首帧延迟，但没有给出具体的延迟数字和吞吐量对比。
未来方向
基于MOSS-TTS的成果，未来研究可以从以下几个方向延伸。作者明确提出的方向包括：更强的长上下文说话人锚定（解决累积漂移问题）、更广泛的低资源语言覆盖、以及更精细的可控性。我认为还可以探索以下方向：第一，将MOSS-Audio-Tokenizer的统一语义-声学表示能力扩展到多模态场景，例如结合视觉信息的语音合成或语音驱动的视频生成。第二，利用token级时长控制和发音控制能力，开发更精细的表达性语音合成（如情感控制、语速变化、重音调整）。第三，探索MOSS-TTS在对话系统中的应用，特别是Continuation模式天然适合多轮对话中的说话人保持。第四，研究更高效的长文本生成策略，例如分段生成+全局一致性约束，以避免当前逐token生成在超长序列上的漂移问题。第五，将端到端可扩展范式推广到音乐生成、音效合成等其他音频领域。
复现评估
从复现评估来看，MOSS-TTS的开源程度较高但复现难度也很大。好消息是作者提供了完整的代码（GitHub）、模型权重（HuggingFace）、在线演示和AI Studio接口，这在TTS技术报告中是比较少见的。数据方面，作者公布了数据处理流水线的详细设计（Figure 3），但训练数据本身是私有的，包含数百万小时的公开和内部音频，这使得完全复现训练过程几乎不可能。算力方面，MOSS-Audio-Tokenizer包含1.6B参数（编码器+解码器各0.8B），MOSS-TTS为8B参数，MOSS-TTS-Local-Transformer为1.7B参数，加上四阶段预训练课程的复杂设计，预计需要大规模GPU集群和数周的训练时间。对于普通研究团队而言，直接使用开源模型进行推理和fine-tuning是更现实的选择；对于希望复现核心技术创新的团队，可以基于论文提供的架构设计和训练配方，在自己的数据上进行小规模验证实验。
论文图表
展示中文和英文在不同文本长度bucket下，Clone和Continuation两种模式的说话人相似度随时间变化的曲线。中文的曲线相对平坦，Continuation模式明显优于Clone；英文的漂移更严重，50000+ bucket在Clone模式下快速下降。
这张图揭示了超长生成的主要瓶颈是累积说话人漂移而非即时词汇错误，是理解系统局限性的关键