VoXtream2: 具有动态语速控制的全流文本转语音系统 VoXtream2: Full-stream TTS with dynamic speaking rate control

VoXtream2的完整工作流程分为训练和生成两个阶段。训练阶段：首先从Emilia和HiFiTTS-2数据集准备40小时的训练语料，包括提取IPA音素、使用Clap-IPA强制对齐器进行音素到音频对齐、将音频通过Mimi codec转换为声学标记。对于每个训练样本，随机选择音频提示的前3-10秒，将对应的文本令牌用UNK序列替换（提示文本掩码）。以10%概率对PT的文本前缀、TT的音频前缀和DT的说话人嵌入进行掩码（CFG训练）。PT使用6层8头Transformer编码音素序列，最大前瞻25个音素。TT使用12层16头Transformer预测语义和时长标记（6种时长令牌，从范围0到2预测shift state和每帧音素数）。DT使用4层8头Transformer预测16个codebook的声学标记。优化目标是TT和DT损失的加和。生成阶段：接收增量到达的文本流，通过PT编码音素序列（至少需要3个音素的最小前瞻）。TT在每个步骤预测语义和时长令牌，如果启用语速控制，则通过分布匹配更新时长令牌采样概率：计算当前时长分布P_current，与目标分布P_target和累积分布P_acc比较，计算权重W，更新分布P_updated。使用nucleus sampling（top-p=0.9）从P_updated采样时长令牌，使用top-k采样（k=5）采样语义令牌。DT基于TT输出、说话人嵌入和选定的语义令牌生成声学标记。通过Mimi codec解码声学标记为音频波形。整个过程在全流模式下运行，首包延迟74ms，实时系数0.256。

VoXtream2的技术新颖性体现在多个方面。首先，这是首个在全流零样本TTS框架内实现动态语速控制的工作，能够在生成过程中实时调整语速，而不需要重新开始或复杂的多轮推断。其次，本文提出的分布匹配机制是一种创新的语速控制方法，不同于传统的操控时长预测器，它在采样层面通过匹配目标时长分布来引导生成，使得系统能够平滑地适应语速变化。第三，本文将分类器自由引导（CFG）系统性地应用于TTS的多个条件信号（文本、音频、说话人嵌入），并深入研究了CFG参数对语速控制的间接影响，发现gamma_temp的不同值会影响不同语速下的可懂度。第四，提示文本掩码技术移除了对音频提示文本转录的需求，这是对现有零样本TTS系统的重要改进，提高了系统的实用性和鲁棒性。最后，尽管使用更少的训练数据（40小时 vs 最多167k小时）和更小的模型规模（462M参数 vs 最多1048M），VoXtream2在零样本TTS任务上仍能达到与最先进公开系统相当的性能，这表明了方法的高效性。

独立分析的弱点包括：首先，分布匹配机制依赖于准确的时长状态估计，而时长状态在极慢或极快语速时可能不可靠，导致幻觉和填充词过度插入。改进方向可以是引入自适应的beta参数，根据目标语速动态调整匹配强度，或者使用更鲁棒的时长状态估计方法。其次，提示语速与目标语速的相互影响表明，当前的语音编码器在编码音频提示时可能隐式地编码了语速信息，导致生成时延续提示的语速风格。改进方向可以是使用独立的提示编码器，在训练时显式分离语速信息和说话人信息，或者采用对比学习来增强语速解耦。第三，数据预处理中35%的数据丢弃率很高，表明强制对齐的失败率。改进方向可以是探索更鲁棒的对齐方法，如端到端学习对齐，或者使用弱监督的自监督对齐。第四，动态语速控制在快速交替场景下的性能下降，可能是因为3秒滑动窗口的累积分布对于快速变化响应不够快。改进方向可以是使用自适应窗口大小或更复杂的时序建模方法来捕获更短时长的语速变化。第五，当前方法只控制了语速而没有控制其他韵律特征如音调和能量，这在实际应用中可能不够灵活。改进方向可以是扩展分布匹配机制到其他韵律维度，实现多维度综合控制。

作者提出的未来工作方向包括探索使用专门的提示编码器或替代训练目标来更好地解耦提示和目标语速；计划探索替代对齐方法以减少对复杂数据预处理管道的依赖。基于本文成果可延伸的未来研究方向包括：将分布匹配机制扩展到其他韵律控制维度，如音调变化、能量变化和情感表达，实现更全面的韵律控制；探索更细粒度的语速控制，如音素级或词级控制，以支持更复杂的应用场景；研究多语言动态语速控制，当前方法主要在英语上评估，扩展到其他语言需要考虑语言特定的韵律模式；结合大型语言模型（LLM）的流式生成，研究TTS系统如何适应LLM的文本生成速率变化，实现更自然的端到端对话系统；探索自适应语速控制，根据对话状态、用户反应或内容重要性自动调整语速，而无需显式控制信号；研究在嘈杂环境或低带宽条件下的鲁棒语速控制，确保在各种实际应用场景中的稳定性。

VoXtream2的复现难度中等，作者提供了代码、预训练模型和音频示例，这些资源在https://herimor.github.io/voxtream2/上公开可用。训练使用了Emilia 47k小时英语子集和HiFiTTS-2 15k小时训练子集，总共40小时经过过滤和处理的训练数据，这些数据集都是公开可用的。模型架构基于Llama-3.2 Transformer，TT模块12层16头，PT 6层8头，DT 4层8头，总参数量462M。训练在2乘NVIDIA H200 GPU上进行28小时，批量大小64每GPU，共10个epoch。对于有H200访问权限的研究者，完整训练是可行的。对于只有消费级GPU的研究者，可以使用预训练模型进行推理和实验。作者报告在RTX3090上的推理性能（74ms FPL, 0.256 RTF），表明在消费级硬件上也能实现实时流式合成。代码使用torch.compile和CUDA Graphs优化，提高了GPU利用率。实验评估使用的三个测试集（LibriSpeech-PC test-clean, SEED-TTS test-en, Emilia speaking-rate）都是公开的或由作者在HuggingFace上发布（hf.co/datasets/herimor/voxtream2-test/）。评估指标（WER, SPK-SIM, UTMOS, MUSHRA）都是标准且可重现的。整体而言，VoXtream2的复现性较好，但需要考虑H200 GPU的可用性，如果资源有限，可以使用提供的预训练模型进行推理和实验。