Voxtral TTS：基于混合自回归与流匹配架构的多语言零样本文本转语音系统 Voxtral TTS
仅需3秒参考音频即可克隆声音的多语言TTS，超越ElevenLabs
前置知识
零样本文本转语音 (Zero-Shot TTS)
零样本文本转语音是指在没有任何针对目标说话人的微调的情况下，仅通过提供一小段参考音频（voice prompt），就能生成模仿该说话人声音的合成语音。系统需要从短短几秒的音频中提取出说话人的音色、语调、节奏等特征，并将其迁移到新文本的合成中。这要求模型具备强大的泛化能力，能够将声学特征与语义内容解耦。传统TTS系统通常需要大量目标说话人的录音数据进行训练，而零样本方法极大地降低了使用门槛。
本文的核心任务就是零样本文本转语音，理解这个概念是理解论文所有技术设计动机的基础。
语音编解码器 (Speech Codec)
语音编解码器是一种将连续的音频波形压缩为离散token序列的神经网络模型，类似于图像领域的VQ-VAE。它通常由编码器、量化层和解码器三部分组成。编码器将原始音频映射到低维连续空间，量化层将连续表示离散化为有限码本中的token，解码器则从离散token重建原始波形。现代语音编解码器（如EnCodec、Mimi）通常将语音分解为语义流和声学流两部分，语义流捕获语言内容，声学流捕获音色和声学细节。
Voxtral Codec是本文的基础组件，它定义了整个TTS系统的音频表示方式，理解其设计才能理解后续的生成架构。
流匹配 (Flow Matching)
流匹配是一种生成建模方法，它学习一个速度场（velocity field），将简单分布（如高斯噪声 $x_0$）连续地变换（传输）到目标数据分布（$x_1$）。在推理时，从噪声出发沿着学到的速度场进行数值积分（如欧拉方法），逐步生成目标样本。与扩散模型类似，流匹配也使用ODE求解器，但其训练目标更简洁：直接预测条件速度 $u_t = x_1 - x_0$，避免了扩散模型中复杂的噪声调度设计。在本文中，流匹配被用于预测声学token，因为声学空间具有连续且平滑的特性，非常适合流匹配建模。
流匹配是本文声学token生成的核心技术，它与自回归语义token生成的结合构成了论文的核心混合架构。
直接偏好优化 (Direct Preference Optimization, DPO)
DPO是一种从人类偏好数据中学习的算法，最初用于大语言模型的对齐。它通过偏好对（winner/loser）直接优化策略模型，避免了显式训练奖励模型的步骤。DPO的核心损失函数通过衡量模型对偏好样本与非偏好样本的对数概率差异来优化策略。在本文中，DPO被创新性地扩展到混合离散-连续设置：语义token使用标准DPO目标，而声学token则使用流匹配版本的DPO目标。
DPO是本文后训练（post-training）阶段提升音质和说话人相似度的关键技术，理解它才能理解模型如何从预训练的基线提升到最终效果。
有限标量量化 (Finite Scalar Quantization, FSQ)
FSQ是一种简单高效的向量量化方法，它将每个维度独立量化到有限的均匀分布级别上。与传统的VQ（向量量化）使用大码本并面临码本坍塌问题不同，FSQ通过对每个标量维度应用tanh激活后量化到L个均匀级别，天然避免了码本坍塌。例如36个维度各量化到21级别，有效码本大小为21的36次方，极其巨大但无需显式存储。FSQ的另一个优势是训练稳定，不需要EMA更新或承诺损失等技巧。
Voxtral Codec使用FSQ来量化声学token，理解FSQ的设计才能理解为什么该编解码器比传统RVQ方法更简洁高效。
分类器自由引导 (Classifier-Free Guidance, CFG)
CFG是一种在生成模型中增强条件引导的技术。它同时训练有条件和无条件生成，推理时将两者结合：有条件预测乘以系数alpha加上无条件预测乘以(1-alpha)，其中alpha>1增强条件信号。在本文中，CFG被应用于流匹配变换器中，以增强参考音频对声学token生成的引导效果。值得注意的是，CFG仅作用于轻量的流匹配变换器（每帧只需额外一次前向传播），而非整个解码器骨干，因此计算开销很低。
CFG影响生成语音与参考声音的相似度以及对文本情感的遵循能力，是推理阶段的重要参数选择。
研究动机
现有零样本文本转语音系统在生成自然且富有表现力的语音方面仍面临巨大挑战。虽然近年来的神经TTS模型在可懂度上取得了显著进展，但要捕捉人类语音的细微差别和情感表达仍然困难重重。现有系统通常采用统一的自回归架构来生成所有类型的语音token，这种设计存在效率和质量的权衡问题。具体来说，语义token（决定说什么）适合自回归建模以保持长程一致性，但声学token（决定怎么说）本质上是连续且密集的，用自回归方式生成既低效又难以捕捉丰富的声学变化。以Moshi等系统为例，虽然采用了层级生成结构（时间变换器加深度变换器），但声学生成仍然是逐深度自回归的，需要36步串行解码。此外，现有语音编解码器（如Mimi使用RVQ设计）在量化精度和训练稳定性方面也有改进空间，传统VQ面临码本坍塌问题，且语义token通常通过自监督模型蒸馏获得，更多是语音学而非语义层面的表示。
本文的目标是本文的目标是构建一个高表现力的多语言零样本文本转语音系统，能够在仅提供3秒参考音频的情况下生成自然、富有情感的语音克隆。系统需要支持至少9种语言，实现低延迟的流式推理以满足生产部署需求，并在人类主观评估中超越现有商业系统（如ElevenLabs）。具体技术目标包括：设计一个高效的混合架构，让语义和声学token采用最适合各自特性的生成方式；构建一个更高质量的语音编解码器，结合ASR蒸馏的语义token和FSQ声学token；以及通过DPO后训练进一步提升音质和说话人相似度。
与已有工作不同的是，本文的独特切入角度在于对语音信号的语义和声学成分采用差异化的生成策略。不同于将所有token统一建模的方法，本文观察到语义token（低速率、离散、需要长程一致性）和声学token（高速率、连续、需要局部细节丰富）具有本质不同的特性，应该使用不同的生成范式。具体而言，语义token通过自回归变换器生成以保证语言内容的连贯性，而声学token通过轻量的流匹配变换器生成以高效建模连续的声学细节。这种混合设计的另一个关键优势是：分类器自由引导（CFG）只需作用于流匹配变换器，每帧仅需额外一次前向传播，远比在完整解码器骨干上应用CFG便宜。此外，本文在编解码器设计上采用ASR蒸馏（从Whisper的连续隐藏状态而非硬标签）来学习更语义化的token，并使用FSQ替代传统RVQ来避免码本坍塌问题。
核心方法
Voxtral TTS的整体架构可以直观地理解为一个"先想说什么，再想怎么说"的两阶段生成过程。系统首先通过Voxtral Codec将参考音频编码为12.5 Hz的token序列，每帧包含1个语义token和36个声学token。然后，一个基于Ministral 3B的自回归解码器骨干接收参考音频token和文本token作为输入，逐帧生成语义token序列（即确定要说的内容），直到输出一个特殊的EOA（音频结束）标记。在每个解码步骤，语义token对应的隐藏状态被送入一个轻量的流匹配变换器，该变换器通过8步函数评估（NFE）从高斯噪声生成36维声学token（即确定怎么说）。最后，语义和声学token被送入Voxtral Codec解码器重建波形。整个技术路线的关键设计哲学是：让最适合序列建模的自回归方式处理语义，让最适合连续生成的流匹配方式处理声学，从而在质量和效率上取得最佳平衡。
本文的核心创新在于混合自回归-流匹配（Hybrid AR-FM）架构的设计，这与现有TTS系统有本质区别。传统系统如VALL-E、XTTS等通常使用RVQ（残差向量量化）将声学分解为多个码本层级，然后用深度自回归或MaskGIT等方式生成所有层级的token。而本文观察到，声学token本质上是连续空间中的平滑变化，用流匹配来建模比离散自回归更自然。具体来说，流匹配变换器是一个3层双向变换器，其输入仅为三个向量：解码器隐藏状态h、时间步编码t、当前声学嵌入（36维），序列长度仅为3。相比之下，MaskGIT需要处理38个token的序列（36个声学码本位置加2个条件token），深度变换器则需要36步自回归解码。此外，CFG的计算也极为高效，流匹配变换器独立于解码器骨干运行，每帧只需2次前向传播（有条件加无条件），而如果在解码器骨干上应用CFG则需要对整个3B参数模型做额外前向传播。
方法步骤详情
Voxtral TTS的方法流程包括以下几个关键步骤。第一步是语音编解码：Voxtral Codec将24 kHz单声道波形压缩为12.5 Hz的token序列。编码器将输入音频分成240样本的非重叠patch得到100 Hz帧率，通过4个编码块（每个包含因果自注意力和步长为2的CNN）逐步下采样到12.5 Hz，最终得到292维潜在表示。该表示被分为256维语义部分（通过大小为8192的VQ码本量化）和36维声学部分（每个维度独立FSQ量化到21级）。语义token额外通过ASR蒸馏损失学习：冻结的Whisper模型生成解码器隐藏状态和交叉注意力权重，后VQ语义嵌入被投影并与Whisper隐藏状态通过余弦距离对齐。第二步是自回归语义生成：基于Ministral 3B的解码器骨干接收参考音频token和文本token，交叉熵损失训练，逐帧预测语义token（8192个码本条目加1个EOA标记）。第三步是流匹配声学预测：每个解码步骤的隐藏状态h送入流匹配变换器，该变换器学习速度场将高斯噪声传输到声学嵌入空间，推理时使用欧拉方法8步积分并应用CFG（alpha=1.2），输出量化到21级FSQ后反馈到下一步。第四步是DPO后训练：使用拒绝采样收集偏好对（基于WER、说话人相似度、响度一致性等指标），语义token使用标准DPO（beta=0.1），声学token使用流匹配DPO（beta=0.5），学习率极低（8e-8）以保证稳定性。
技术新颖性
Voxtral TTS的技术新颖性体现在多个层面。首先，混合AR-FM架构是TTS领域的新范式，此前的层级生成系统（如Moshi）虽然也区分了语义和声学层，但声学生成仍然是深度自回归的，本文首次证明了流匹配在声学token生成上的优越性。其次，Voxtral Codec的设计创新包括：（1）使用从监督ASR模型（Whisper）蒸馏而非自监督模型的语义token，通过软注意力对齐矩阵实现无需外部强制对齐器的隐式对齐；（2）训练时的dither-style FSQ策略（50%量化、25%加噪、25%不量化）提升了训练稳定性；（3）端到端训练使用特征匹配损失替代标准GAN生成器损失，利用判别器特征的演化提供越来越有区分性的重建信号。第三，DPO被创新性地扩展到混合离散-连续设置，声学token的DPO目标基于流匹配损失而非对数概率，适应了自回归框架中每个token有不同采样时间步的特点。最后，在推理优化方面，整个ODE求解器被CUDA图捕获以消除Python开销，实现了47%的延迟降低和2.5倍的RTF改善。
实验结果
Voxtral TTS在多项评估中展现了强劲的性能。在Voxtral Codec的编解码质量评估中（Expresso数据集），Voxtral Codec在16码本配置下全面超越Mimi，PESQ达到3.05（Mimi为2.67），ESTOI达到0.882（Mimi为0.865），说话人相似度为0.843（Mimi为0.829），而总码率仅为2.1 kbps。在自动评估中（SEED-TTS和MiniMax-TTS的9种语言），Voxtral TTS在说话人相似度上显著优于ElevenLabs两个版本，例如英语上达到0.786（ElevenLabs v3为0.484，Flash v2.5为0.489），阿拉伯语上达到0.746（ElevenLabs v3为0.546）。WER方面，Voxtral TTS整体表现与ElevenLabs v3相当（SEED-TTS上1.23% vs 1.26%），在阿拉伯语（2.68% vs 3.67%）和印地语（4.99% vs 8.71%）上明显优于ElevenLabs v3。人类评估是最关键的结果：在零样本语音克隆设置中，Voxtral TTS以68.4%的胜率大幅超越ElevenLabs Flash v2.5，其中西班牙语最高达87.8%，印地语79.8%，阿拉伯语72.9%，德语72.0%。在旗舰语音设置中，Voxtral TTS以58.3%的胜率超越Flash v2.5，但面对Gemini 2.5 Flash TTS则处于劣势（35.4%显式引导、37.1%隐式引导）。DPO后训练带来了显著改善，德语WER从4.08%降至0.83%，法语从5.01%降至3.22%，整体UTMOS也有所提升。推理性能方面，单个H200 GPU在并发32时吞吐量达到1,431字符/秒，延迟保持在亚秒级，等待率为零。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 零样本语音克隆（人类评估，9语言平均） | Win Rate vs ElevenLabs Flash v2.5 | 68.4% | 31.6% (ElevenLabs Flash v2.5) | 绝对提升36.8个百分点 |
| 旗舰语音（人类评估） | Win Rate vs ElevenLabs Flash v2.5 | 58.3% | 41.7% (ElevenLabs Flash v2.5) | 绝对提升16.6个百分点 |
| 英语说话人相似度（MiniMax-TTS） | Speaker Similarity (ECAPA-TDNN cosine) | 0.786 | 0.484 (ElevenLabs v3) / 0.489 (Flash v2.5) | 相对提升60%+ |
| SEED-TTS WER | Word Error Rate (%) | 1.23% | 1.26% (ElevenLabs v3) / 0.86% (Flash v2.5) | 与v3持平，略逊于Flash v2.5 |
| Voxtral Codec vs Mimi（Expresso数据集） | PESQ | 3.05 | 2.67 (Mimi 16cb) | 提升14.2% |
| CUDA图加速（流匹配变换器） | Latency | 70 ms (CUDA graph) | 133 ms (Eager mode) | 延迟降低47% |
局限与改进
本文存在多方面的局限性。首先，作者坦承UTMOS指标与人类偏好的相关性较弱，且跨语言校准不佳，这意味着自动评估指标可能无法准确反映真实用户体验，这凸显了人类评估的必要性但也增加了评估成本和可复现性难度。其次，在旗舰语音的显式情感引导设置中，Voxtral TTS明显落后于Gemini 2.5 Flash TTS（35.4% vs 64.6%胜率），说明模型在显式情感控制方面仍有差距。Voxtral TTS本身不支持情感标签或文本指令，只能通过提供不同情感的参考音频来间接引导情感，这限制了用户对生成语音情感的精确控制。第三，DPO训练数据完全依赖合成文本提示和拒绝采样，虽然避免了大规模人类标注成本，但也导致"训练时间过长会生成更机械的语音"的问题，限制了DPO训练的迭代轮数。第四，模型仅支持9种语言，对于全球化的TTS应用来说覆盖范围有限。第五，论文缺乏与开源TTS系统（如XTTS、Bark等）的直接对比，主要与商业API（ElevenLabs、Gemini）比较，可能无法全面反映模型在学术基准上的位置。
独立分析的弱点
本文有几个值得深入分析的弱点。第一，情感控制能力不足：Voxtral TTS无法通过文本指令或情感标签直接控制生成语音的情感表达，只能依赖参考音频中的情感特征。这在实际应用中是一个重大限制，因为用户通常希望通过简单的文本标注（如angry、sad）来控制输出情感。改进方向包括在训练数据中引入情感标签，并在解码器骨干中加入情感条件嵌入。第二，DPO训练的不稳定性：作者发现声学流匹配DPO对beta参数极为敏感（声学beta=0.5 vs 语义beta=0.1），且长度归一化会导致训练不稳定。这暗示流匹配DPO的理论基础可能需要进一步完善，例如探索更适合连续空间的偏好学习目标。第三，编解码器的语义-声学耦合问题：当前设计将语义和声学完全解耦（256维 vs 36维），但实际语音中两者存在复杂的交互关系，简单的线性分割可能丢失重要信息。可以探索自适应分割或交叉注意力机制来增强两者的交互。第四，推理效率与质量的权衡：8步NFE和CFG的组合虽然效果好，但在低延迟场景（如实时对话）中可能仍需进一步优化，可以探索蒸馏技术将流匹配步骤减少到2-3步。
未来方向
基于本文的成果，未来研究可以从多个方向展开。作者在结论中暗示了将Voxtral TTS扩展到更多语言和更广泛应用场景的可能性。首先，可以将混合AR-FM架构扩展到音乐生成或音效合成领域，因为这些领域同样存在语义（旋律/事件）和声学（音色/空间感）的分离。其次，可以探索更高效的流匹配变体（如一致性模型或流蒸馏）来减少推理NFE数，从而降低延迟。第三，引入情感和风格的细粒度控制机制，例如通过文本指令、情感嵌入或风格token来实现用户对生成语音的精确操控，这将大大提升系统在虚拟助手、有声读物等场景中的实用性。第四，可以探索与视觉或多模态输入的结合，例如从视频中的面部表情推断情感并生成匹配的语音。第五，DPO训练可以引入更多维度的偏好信号（如韵律自然度、停顿合理性、语速一致性等），并通过在线DPO或RLHF进一步提升音质。最后，将Voxtral Codec的2.14 kbps码率进一步压缩，可能实现更高效的语音传输和存储。
复现评估
本文在可复现性方面表现良好。作者公开了模型权重（https://huggingface.co/mistralai/Voxtral-4B-TTS-2603），采用CC BY-NC许可证发布，这意味着研究者可以下载和使用模型进行非商业研究。论文详细描述了Voxtral Codec的架构超参数（Table 1）、训练损失函数的系数（alpha=1.0, beta=1.0, gamma=0.9999t, delta=0.1）、推理参数（8 NFE, alpha=1.2）等关键细节。然而，完整的训练数据（大规模配对音频-转录数据）和DPO偏好数据（拒绝采样管线生成）并未公开，这可能给完全复现训练过程带来困难。此外，Voxtral Codec约300M参数，解码器骨干3B参数，加上流匹配变换器，总计算量相当可观，需要大量GPU资源进行训练。推理方面，单个H200即可支持低延迟服务，并发32时吞吐量达1,431字符/秒，部署门槛相对较低。论文的技术细节充分，包括滑动窗口注意力大小、LayerScale初始化值等，这些都有助于复现。
论文图表
展示了Voxtral Codec的编码器-量化-解码器结构以及训练信号。24 kHz输入通过重复4次的卷积块下采样到12.5 Hz，292维潜在表示分为256维语义（VQ 8192码本）和36维声学（FSQ 21级乘36维度）。训练信号包括对抗训练、重建损失、ASR蒸馏损失（从Whisper对齐）。
详细展示了Voxtral Codec的技术细节，包括VQ-FSQ混合量化方案和ASR蒸馏损失的实现方式，是理解语义token和声学token生成方式的基础。