Qwen3-TTS 技术报告：大规模多语言可控流式语音合成模型 Qwen3-TTS Technical Report
Qwen系列首个TTS模型，双轨架构实现97ms超低延迟流式语音合成，支持10语言500万小时训练
前置知识
语音离散化（Speech Tokenization）
语音离散化是将连续的音频波形转换为离散token序列的过程。传统方法使用MFCC等手工特征，而现代方法采用神经编解码器（neural codec）将音频压缩为离散码本（codebook）中的索引。每个token代表一小段音频（如40ms或80ms），包含语义和声学信息。这种离散化使得语音可以用语言模型进行建模，类似文本token的处理方式。本文提出的Qwen-TTS-Tokenizer-25Hz使用单码本设计，而12Hz版本采用多层RVQ（残差向量量化）实现16层码本，兼顾语义和声学细节。
理解语音离散化是理解整个论文架构的基础，Qwen3-TTS的两个tokenizer是核心创新之一，直接决定了模型的延迟、质量和流式能力
自回归语言模型（Autoregressive LM）
自回归语言模型基于链式法则将联合概率分解为条件概率的乘积：$p(x_1, x_2, ..., x_T) = \prod_{t=1}^{T} p(x_t | x_1, ..., x_{t-1})$。在TTS中，模型根据文本token和已生成的语音token逐帧预测下一个语音token。Qwen3-TTS基于Qwen3 LM系列构建，利用其强大的语言理解能力处理文本输入，并生成对应的语音token序列。这种范式使得模型可以统一处理语音克隆、风格控制、多语言生成等多种任务。
Qwen3-TTS的核心架构是基于大语言模型的自回归生成，理解这个范式才能明白为什么模型能继承LLM的指令遵循能力和多语言能力
流式推理（Streaming Inference）
流式推理指模型边接收输入边生成输出，而非等待完整输入后再处理。在TTS场景中，流式意味着文本输入可以逐句送入，语音输出可以逐帧产生。关键技术挑战在于：1）首包延迟（first-packet latency）从接收文本到产生第一段音频的时间；2）实时因子（RTF, Real-Time Factor）生成音频所需时间与音频时长的比值，RTF小于1表示可以实时生成。Qwen3-TTS-12Hz版本实现了97ms的首包延迟和0.288的RTF，是目前最低延迟的流式TTS系统之一。
流式能力是Qwen3-TTS的核心卖点之一，直接影响实际部署场景如实时对话、语音助手等应用的可行性
多码本RVQ（Residual Vector Quantization）
RVQ是一种分层量化技术，将输入向量通过多层码本逐步量化残差。第一层码本捕获最显著的特征（通常是语义信息），后续每一层量化前一层的残差，逐步补充更精细的声学细节。Qwen-TTS-Tokenizer-12Hz采用16层RVQ设计，第一层编码语义内容，后续15层捕获声学细节、韵律等信息。这种设计允许使用轻量级因果卷积网络（causal ConvNet）进行波形重建，无需复杂的扩散模型或说话人向量提取。多码本的容量优势使得模型能在12.5Hz的极低帧率下保持高质量。
RVQ是12Hz tokenizer的核心技术，理解其工作原理才能明白为什么12Hz版本能在极低延迟下保持高质量
直接偏好优化（DPO, Direct Preference Optimization）
DPO是一种将人类偏好直接融入模型训练的方法，避免了传统RLHF中训练独立奖励模型的复杂性。其核心思想是通过偏好对（preferred vs. dispreferred）直接优化策略模型。损失函数为 $\mathcal{L}_{DPO} = -\log \sigma\left(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)$，其中 $y_w$ 和 $y_l$ 分别是优选和劣选样本，$\pi_{ref}$ 是参考策略。Qwen3-TTS在后训练阶段使用基于多语言语音样本构建的偏好对进行DPO，使模型生成更符合人类偏好的语音。
DPO是Qwen3-TTS后训练的第一阶段，直接决定了模型输出的自然度和人类偏好对齐程度
ChatML格式
ChatML（Chat Markup Language）是一种对话格式标准，使用特殊标记来分隔系统消息、用户输入和助手回复。Qwen3-TTS将所有数据格式化为ChatML，统一处理文本和语音token。这种标准化格式使得模型可以像处理对话一样处理语音生成任务，自然支持多轮交互和指令遵循。用户可以在ChatML消息中包含语音控制指令，模型将其作为语言建模任务来理解和执行。
ChatML格式是连接LLM和TTS的桥梁，使得Qwen3-TTS能继承Qwen3的指令遵循能力，实现可控语音生成
研究动机
当前语音合成领域面临的核心挑战是如何在保持高质量的同时实现低延迟流式生成和精细可控性。现有方法在多个维度存在权衡：首先，在语义token和声学token之间存在根本矛盾——纯语义token缺乏表现力，而纯声学token注入了过多低层细节，导致LLM建模困难和长程错误累积。其次，现有系统在流式能力上受限，如25Hz tokenizer的DiT模块需要前瞻（look-ahead）上下文，导致首包延迟高达数百毫秒；chunk-based系统在长语音生成中容易产生边界伪影（boundary artifacts）。再者，语音克隆的跨语言泛化能力不足，如CosyVoice2在zh-to-ko场景下错误率高达24.8%。最后，现有可控TTS系统在复杂指令遵循上仍有较大提升空间，如GPT-4o-mini-tts在中文APS指标仅为54.9，远低于人类期望。
本文的目标是本文的核心目标是构建一个统一的、兼具高质量、低延迟、强可控性和多语言能力的流式TTS系统。具体而言：1）实现首包延迟低于100ms的超低延迟流式合成，使实时对话场景成为可能；2）在Seed-TTS基准上实现最先进（SOTA）的零样本语音克隆性能；3）支持10种以上语言的高质量生成，且说话人相似度在所有语言上领先；4）通过自然语言指令实现语音设计和精细控制，超越现有商业系统；5）解决长语音生成（超过10分钟）的稳定性问题，避免重复、遗漏和韵律断裂。
与已有工作不同的是，本文的独特切入角度在于提出了双轨tokenizer加双轨架构的创新范式。与以往单一tokenizer方案不同，Qwen3-TTS同时提供两种tokenizer选择：25Hz单码本版本侧重语义丰富度，适合高质量长语音生成；12Hz多码本版本侧重极低延迟，适合实时交互场景。更关键的是，论文发现将Qwen2-Audio编码器集成到tokenizer中可以平衡语义和声学信息——这是以往方法未曾探索的方向。此外，通过概率激活思维模式（probabilistically activated thinking pattern）在训练中增强指令遵循能力，这种将推理能力注入TTS模型的方法也是新颖的。论文首次将大语言模型的统一框架能力（语音克隆、跨语言迁移、指令控制）整合到单个自回归架构中，打破了以往TTS系统任务专用化的设计范式。
核心方法
Qwen3-TTS的整体技术路线可以概括为：离散化-建模-重建三阶段流水线，通过双轨设计实现质量和延迟的平衡。直觉上，语音合成的核心挑战在于如何将文本的高层语义信息逐步转化为音频的低层波形信号。Qwen3-TTS的解决方案是：首先用Qwen-TTS-Tokenizer将语音离散化为token序列（25Hz或12.5Hz），然后用基于Qwen3的自回归语言模型将文本token映射为语音token，最后用Code2Wav模块将语音token解码回波形。整个架构采用双轨设计——文本token和语音token沿通道轴（channel axis）拼接，模型接收到一个文本token后立即预测对应的语音token，实现真正的流式生成。对于12Hz版本，还引入了多token预测（MTP）模块来同时生成16层RVQ码本，实现单帧即时生成。训练策略分为预训练（3阶段：通用、高质量、长上下文）和后训练（DPO + GSPO + 说话人微调），逐步提升模型能力。
本文的核心创新在于两个层面的设计突破。第一，tokenizer层面：提出了两种互补的语音tokenizer。Qwen-TTS-Tokenizer-25Hz创新性地将Qwen2-Audio编码器集成到tokenizer训练中，通过两阶段训练（ASR继续预训练 + 声学解码器微调）实现语义和声学信息的平衡。Qwen-TTS-Tokenizer-12Hz则采用语义-声学解耦量化策略，第一层码本用WavLM教师引导获取语义特征，后续15层RVQ捕获声学细节，配合纯因果卷积实现97ms首包延迟。第二，架构层面：采用双轨自回归设计，文本和语音token沿通道维度拼接而非序列维度，这使得模型可以在接收到文本输入的瞬间就开始生成语音输出。对于12Hz的多码本情况，使用MTP模块一次性预测所有16层码本，避免了逐层自回归的延迟累积。这种设计与以往顺序生成文本再生成语音的串行架构本质不同。
方法步骤详情
Qwen3-TTS的工作流程包含以下完整步骤：1）文本编码：使用标准Qwen tokenizer将输入文本转换为token序列，同时可选地接收语音控制指令，这些指令同样编码为文本token。2）说话人编码：对于语音克隆场景，从3秒参考音频中提取说话人嵌入（speaker embedding），通过可学习的说话人编码器注入模型。3）双轨自回归生成：文本token和语音token沿通道轴拼接，模型基于Qwen3 LM骨干网络逐帧预测：对于25Hz版本，生成单层语音token；对于12Hz版本，骨干网络先预测第0层码本，然后MTP模块生成剩余15层码本。4）Code2Wav波形重建：对于25Hz版本，使用chunk-wise DiT（扩散变换器）配合流匹配（Flow Matching）将token序列转换为mel频谱图，再用改进的BigVGAN声码器重建波形；对于12Hz版本，使用轻量级因果卷积网络直接从多码本token重建波形，无需扩散模型。5）流式输出：25Hz版本在等待足够前瞻token后逐chunk生成（每chunk 320ms音频）；12Hz版本每个packet包含4个token（320ms音频），首包延迟仅97ms。
技术新颖性
Qwen3-TTS的技术新颖性体现在多个层面。首先，tokenizer设计理念的突破：以往工作要么采用纯语义token（如S3 Tokenizer）导致表现力不足，要么采用纯声学token导致LLM建模困难。Qwen-TTS-Tokenizer-25Hz通过将Qwen2-Audio编码器集成到VQ层，实现了语义-声学的自然融合，这在技术路线上是全新的。12Hz版本的语义-声学解耦设计虽然借鉴了Mimi架构，但通过WavLM教师引导和端到端因果设计实现了更优的重建质量（PESQ_WB 3.21 vs Mimi的2.88）。其次，架构创新：双轨沿通道维度拼接的设计使得文本和语音可以真正并行处理，这与以往的交叉注意力或串行生成方式本质不同。MTP模块用于多码本同步预测也是新颖的设计。第三，训练范式：概率激活思维模式（probabilistically activated thinking pattern）将推理能力注入TTS，以及GSPO（规则奖励优化）的引入，都是TTS领域未曾探索的训练策略。最后，系统级整合：首次在单一框架中统一了零样本克隆、跨语言迁移、指令控制、长语音生成等多种能力，并保持了极低的流式延迟。
实验结果
Qwen3-TTS在多个维度实现了显著突破。在零样本语音克隆（Seed-TTS基准）上，12Hz-1.7B版本在test-en上达到WER 1.24，在test-zh上达到WER 0.77，均优于CosyVoice3（1.45和0.71）和MiniMax-Speech（1.65和0.83）。在多语言评估中，Qwen3-TTS在10种语言中的6种（中、英、意、法、韩、俄）取得了最低WER，且在所有10种语言上都获得了最高说话人相似度（如中文0.811、英文0.829、德文0.775）。跨语言语音克隆结果尤为亮眼，在zh-to-ko场景下，12Hz版本将错误率从CosyVoice3的14.4降至4.82，降幅达66%。可控语音生成方面，Qwen3-TTS-12Hz-1.7B-VD在InstructTTSEval上超越了Hume和VoiceSculptor等商业系统，中文APS达85.2，英文APS达82.9，显著优于GPT-4o-mini-tts（中文54.9）。长语音生成测试中，25Hz-1.7B版本在200-2000词的长文本上实现了中文WER 1.517和英文WER 1.225，远优于VibeVoice（中文22.619）和VoxCPM（中文4.835）。效率方面，12Hz-0.6B版本实现了97ms首包延迟和0.288的RTF，在并发6时仍保持299ms首包延迟和0.434 RTF。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 零样本语音克隆（Seed-TTS test-en） | WER (↓) | 1.24 (12Hz-1.7B) | CosyVoice3: 1.45, MiniMax-Speech: 1.65 | 比CosyVoice3降低14.5% |
| 零样本语音克隆（Seed-TTS test-zh） | WER (↓) | 0.77 (12Hz-1.7B) | CosyVoice3: 0.71, MiniMax-Speech: 0.83 | 与CosyVoice3接近，优于MiniMax 7.2% |
| 跨语言语音克隆（zh-to-ko） | WER/CER (↓) | 4.82 (12Hz-1.7B) | CosyVoice3: 14.4, CosyVoice2: 24.8 | 比CosyVoice3降低66.5% |
| 可控语音生成（中文Voice Design） | APS (↑) | 85.2 (12Hz-1.7B-VD) | GPT-4o-mini-tts: 54.9, Hume: N/A | 比GPT-4o-mini-tts提升55.2% |
| 可控语音生成（英文Target Speaker） | APS (↑) | 79.0 (25Hz-1.7B-CV) | GPT-4o-mini-tts: 76.4, Gemini-flash: 92.3 | 比GPT-4o-mini-tts提升3.4% |
| 长语音生成（中文） | WER (↓) | 1.517 (25Hz-1.7B-CV) | VibeVoice: 22.619, VoxCPM: 4.835 | 比VibeVoice降低93.3% |
| 流式首包延迟 | First-Packet Latency (ms) | 97 (12Hz-0.6B, 并发1) | 25Hz-1.7B: 150ms | 比25Hz版本降低35.3% |
| 语音重建质量（LibriSpeech） | PESQ_WB (↑) | 3.21 (12Hz Tokenizer) | Mimi: 2.88, FireredTTS2: 2.73 | 比Mimi提升11.5% |
局限与改进
尽管Qwen3-TTS取得了显著成果，但仍存在一些局限性。首先，语言覆盖范围有限：目前仅支持10种语言，且日语表现相对较差（WER 3.823-5.121），远高于其他语言，说明模型对日语的建模仍需改进。其次，可控性仍有提升空间：在InstructTTSEval上，Voice Design的DSD（描述-语音一致性）指标为81.1（中文）和82.4（英文），与Gemini系列（90.9和93.8）仍有明显差距，说明复杂指令的理解和执行能力还需加强。第三，长语音生成的变体差异：25Hz版本在长语音上明显优于12Hz版本（WER 1.517 vs 2.356），暗示12Hz的低延迟设计可能牺牲了长程稳定性。第四，跨语言能力不均衡：虽然zh-to-ko改善显著，但ja-to-ko场景下错误率仍达5.59，高于CosyVoice3的3.93。第五，效率-质量权衡：12Hz-0.6B虽然延迟最低，但WER（test-en 1.32）略高于1.7B版本（1.24），说明小模型在质量上仍有妥协。最后，论文未充分讨论计算资源需求和推理吞吐量，对于实际部署场景的信息不够完整。
独立分析的弱点
基于论文内容，我识别出以下几个可改进的弱点：1）日语表现不佳：在多语言评估中，日语WER（3.823-5.121）显著高于其他语言，可能是训练数据中日语数据质量或数量不足。改进方向可以是增加高质量日语数据的权重，或采用语言特定的微调策略。2）12Hz版本长语音稳定性不足：论文Table 10显示12Hz在长语音上WER（2.356）明显高于25Hz（1.517），可能是因为多码本的自回归生成在长序列中更容易累积误差。可以探索混合策略——长语音用25Hz生成，短交互用12Hz生成。3）可控指令复杂度上限：Voice Design的DSD指标（81.1）与Gemini系列差距明显，可能是因为概率激活思维模式的训练还不够充分。可以通过增加更复杂的指令-语音对数据、或引入更强的推理链（chain-of-thought）训练来改进。4）跨语言迁移不一致：虽然zh-to-ko改善巨大，但ja-to-ko反而不如CosyVoice3。这暗示跨语言迁移能力与源语言高度相关，可能需要更均衡的多语言训练策略。5）缺乏主观评估细节：论文主要依赖客观指标（WER、SIM），缺少详细的MOS（Mean Opinion Score）或CMOS等主观评估数据，难以全面评估语音的自然度和表现力。
未来方向
论文作者提出了几个明确的未来方向：1）扩展架构支持多样化音频生成：将当前的TTS架构扩展为更通用的音频生成系统，支持音乐、音效等更多音频类型。2）扩展多语言覆盖：将当前的10种语言扩展到更广泛的语言范围，特别是低资源语言。3）探索更精细的风格控制：实现比当前指令级别更细粒度的风格操控，如精确控制语速曲线、情感强度等。基于现有成果还可以延伸：4）实时对话系统：利用97ms的超低延迟，构建端到端的实时语音对话系统，结合LLM实现自然的多轮对话。5）个性化声音定制：基于3秒克隆和Voice Design能力，开发用户友好的声音定制平台。6）多说话人对话生成：将单说话人TTS扩展为多说话人场景，支持对话剧本的自动生成。7）情感语音合成：在可控性基础上增加情感维度的精细控制，实现更丰富的表达。8）端侧部署优化：针对0.6B小模型进行量化和蒸馏，使其能在移动设备上实时运行。
复现评估
Qwen3-TTS在复现性方面表现优秀。论文明确声明将完整模型家族和tokenizer在Apache 2.0许可证下开源，包括两个tokenizer（25Hz和12Hz）以及所有10个模型变体（0.6B/1.7B x Base/VoiceDesign/VoiceEditing/CustomVoice x 12Hz/25Hz）。代码托管在GitHub（https://github.com/QwenLM/Qwen3-TTS），并在HuggingFace和ModelScope上提供模型下载。然而，复现仍面临一些挑战：1）数据规模：模型在500万+小时语音数据上训练，这个数据规模对于大多数研究机构来说难以复制。2）计算资源：虽然论文未明确说明训练硬件，但从模型规模（1.7B参数）和数据量推断，需要大规模GPU集群。3）评估基准：部分评估使用了内部数据集（如长语音测试集100个样本），无法完全复现。4）vLLM优化：效率数据是在内部vLLM引擎上测量的，使用了torch.compile和CUDA Graph加速，开源版本可能需要额外优化才能达到相同性能。总体而言，开源模型和代码使得推理和微调可以复现，但从头训练几乎不可能。
论文图表