LEMAS：基于生成式语音模型的15万小时大规模可扩展多语言音频套件 LEMAS: Large A 150K-Hour Large-scale Extensible Multilingual Audio Suite with Generative Speech Models
构建15万小时10语言词级时间戳数据集，并训练TTS和语音编辑双模型验证其价值
前置知识
Flow Matching
一种基于连续归一化流的生成模型框架。与扩散模型类似，它通过学习从噪声分布到目标数据分布的最优传输路径来生成样本。Flow Matching的核心思想是定义一个从高斯噪声到目标分布的插值路径，然后训练神经网络预测该路径上的速度场。在语音合成中，这种方法可以高效地从随机噪声生成高质量的梅尔频谱图。相比扩散模型，Flow Matching通常具有更稳定的训练动态和更快的推理速度。
LEMAS-TTS采用Flow Matching作为核心生成框架，理解这一概念是理解其非自回归语音合成机制的基础。
CTC（Connectionist Temporal Classification）
一种用于序列到序列学习的损失函数，特别适用于输入和输出序列长度不对齐的情况。CTC通过引入空白标记和允许重复字符，使得模型可以在不知道精确对齐关系的情况下进行训练。在语音领域，CTC被广泛用于自动语音识别中，因为它可以处理音频帧与文本字符之间复杂的对齐关系。CTC的核心公式为负对数似然损失。
LEMAS-TTS引入CTC作为辅助损失函数来增强语音的可懂度，确保音素与声学特征之间的单调对齐关系。
强制对齐（Forced Alignment）
强制对齐是一种将音频波形与对应的文本转录进行精确时间对齐的技术。它为文本中的每个词或音素分配精确的起止时间戳，通常使用隐马尔可夫模型或基于CTC的神经网络模型实现。在语音合成中，高质量的词级时间戳对于训练数据的质量控制至关重要，因为它们使得模型能够学习精确的时长建模和韵律控制。MMS对齐器是本文采用的关键工具。
LEMAS-Dataset的核心价值在于提供词级时间戳，理解强制对齐技术是理解数据集构建流程的关键。
零样本语音合成（Zero-Shot TTS）
零样本语音合成是指模型能够在没有见过特定说话人语音样本的情况下，仅通过一段短的参考音频来克隆该说话人的声音特征。这种能力依赖于模型在大规模多说话人数据上学习到的通用说话人表示。模型需要从参考音频中提取说话人嵌入，然后在生成新语音时保持音色一致性。这是当前语音合成领域的重要研究方向。
LEMAS-TTS的核心目标之一就是实现高质量的零样本跨语言语音合成，这是其在多语言场景下的关键应用场景。
自回归掩码填充（Autoregressive Masked Infilling）
这是一种将语音编辑任务转化为序列预测问题的技术。给定一段原始语音和需要编辑的区域，模型将编辑区域的音频token替换为掩码标记，然后自回归地预测这些掩码位置应该生成的内容。VoiceCraft提出的延迟堆叠技术是这种方法的代表。这种范式的优势在于可以利用上下文信息来生成与周围语音自然衔接的编辑内容，但缺点是对边界精度敏感。
LEMAS-Edit基于这种范式实现语音编辑功能，理解掩码填充机制是理解其编辑能力的基础。
研究动机
当前生成式语音模型在英语和中文等高资源语言上表现出色，但在多语言场景下能力受限。这一瓶颈主要源于数据挑战：收集和整理具有高质量和细粒度时间标注的大规模多语言语音数据非常困难。现有的大规模语料库如Libri-Light（60k小时）、GigaSpeech（10k小时）主要是单语言数据集，无法解决多语言资源匮乏问题。多语言数据集如MLS（51k小时，8种语言）受限于规模和领域覆盖（仅限有声书），而YODAS等大规模多语言数据集虽然规模庞大，但依赖于最少过滤的网络爬取数据，导致质量高度不一致且缺乏可靠的细粒度标注。传统基于HMM的强制对齐工具在处理嘈杂、未分段的语音时往往表现不佳。
本文的目标是本文旨在构建LEMAS-Dataset，这是一个超过15万小时、覆盖10种主要语言的开源多语言语音语料库，提供词级时间戳和置信度分数。具体目标包括：构建可扩展的多阶段数据处理管道，确保高质量数据和标注；基于该数据集训练两个基准模型来验证数据集的有效性；实现鲁棒的零样本跨语言语音合成和无缝的语音编辑能力。
与已有工作不同的是，本文的独特切入点在于将数据质量和细粒度时间监督作为多语言语音生成的核心瓶颈，而非仅关注模型架构创新。与WenetSpeech4TTS专注于单一语言不同，LEMAS将这种级别的数据质量和时间监督扩展到真正的多语言场景。此外，本文采用置信度驱动的过滤策略，允许研究人员根据下游需求动态平衡数据规模和对齐精度，这种灵活性是现有数据集所不具备的。通过同时发布数据集和两个互补的生成模型，本文建立了一个完整的多语言语音生成基准。
核心方法
LEMAS的方法体系可以类比为一个双引擎架构：LEMAS-Dataset是燃料，LEMAS-TTS和LEMAS-Edit是两个不同类型的发动机。数据集构建采用分而治之的策略，将语言多样性与标注脆弱性分离，只保留具有可靠时间结构的样本。LEMAS-TTS基于F5-TTS的非自回归Flow Matching框架，通过统一音素表示和辅助稳定目标来处理多语言场景。LEMAS-Edit则基于VoiceCraft的自回归解码器架构，将语音编辑建模为掩码token填充任务。两个模型分别从连续和离散两个角度验证数据集的价值。
本文的核心创新点在于数据驱动的多语言语音生成理念。与现有工作主要关注模型架构创新不同，LEMAS认识到在多语言场景下，数据规模、多样性和标注质量才是真正的瓶颈。具体来说，数据集层面采用MMS强制对齐器提取词级时间戳，并通过置信度分数实现可靠性感知的过滤；TTS模型层面引入统一音素表示和CTC对齐损失来解决跨语言对齐漂移问题；编辑模型层面通过自适应重复惩罚和重新生成机制解决自回归解码中的重复伪影问题。这种数据与模型协同设计的思路是区别于现有工作的本质特征。
方法步骤详情
LEMAS的完整流程包含四个主要阶段。第一阶段是数据摄取与统一化，从GigaSpeech、WenetSpeech4TTS、Emilia、MLS、TEDx、Yodas等多个来源聚合音频-文本对，并将所有输入规范化为统一的数据表示。第二阶段是多语言MMS对齐，使用基于wav2vec的CTC对齐模型，通过Uroman将不同文字系统转换为共享拉丁表示，然后进行强制对齐以提取词级时间戳。第三阶段是质量过滤，包括对齐置信度过滤（阈值0.2-0.5）、时长约束（0.5-30秒）、语音速率归一化和语言字符验证。第四阶段是最终构建，将数据集存储为统一的JSON格式。对于LEMAS-TTS，采用统一音素前端、CTC对齐损失和口音对抗损失；对于LEMAS-Edit，采用历史感知重复惩罚和自适应重新生成机制。
技术新颖性
LEMAS的技术新颖性体现在三个层面。在数据层面，这是目前最大的开源多语言语音语料库，提供词级时间戳，相比WenetSpeech4TTS（13k小时，1种语言）和Emilia（102k小时，6种语言）在规模和语言覆盖上都有显著提升。在TTS模型层面，相比原始F5-TTS，引入了统一音素表示、CTC对齐损失和口音对抗训练，这些是针对多语言场景的独特设计。特别是口音对抗训练通过梯度反转层强制学习口音不变表示，减少了跨语言口音泄漏。在编辑模型层面，相比原始VoiceCraft，引入了动态历史感知重复惩罚机制，该机制随生成长度动态调整惩罚强度，有效抑制了重复循环。
实验结果
实验结果表明，LEMAS-TTS在所有10种语言上都优于OpenAudio-S1-mini基线模型。在词错误率（WER）方面，LEMAS-TTS（无韵律控制）的平均WER为8.06%，相比基线的12.27%降低了34.3%；加入韵律控制后，平均WER进一步降至6.39%。在说话人相似度（SIM）方面，LEMAS-TTS（无韵律控制）的平均SIM为0.547，相比基线的0.480提升了14.0%。具体到各语言，德语WER从3.95%降至1.20%，英语从4.98%降至2.21%，俄语从20.75%降至12.29%，印尼语从32.77%降至7.05%（降幅最大）。韵律编码器的加入在大多数语言上降低了WER，但略微降低了SIM，表明表达丰富度与发音稳定性之间存在权衡。在语音编辑任务中，A/B偏好测试显示LEMAS-TTS和LEMAS-Edit在不同语言上的评价基本平衡，表明LEMAS提供了一个鲁棒的、架构无关的多语言语音编辑基准。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多语言语音合成（10语言平均） | WER (%) | 6.39 | 12.27 | 降低47.9% |
| 多语言语音合成（10语言平均） | SIM | 0.539 | 0.480 | 提升12.3% |
| 德语语音合成 | WER (%) | 0.44 | 3.95 | 降低88.9% |
| 印尼语语音合成 | WER (%) | 6.38 | 32.77 | 降低80.5% |
| 英语语音合成 | WER (%) | 1.07 | 4.98 | 降低78.5% |
| 中文语音合成 | WER (%) | 3.00 | 9.59 | 降低68.7% |
局限与改进
尽管实验结果令人鼓舞，但本文存在几个重要局限。首先，由于缺乏中文和英语以外语言的母语评估人员，没有进行主观评估（MOS），这限制了对生成语音自然度的全面评估。其次，越南语的基线WER异常高（OpenAudio-S1-mini无法给出有效WER），作者将其排除在平均WER计算之外，但未深入分析原因。第三，LEMAS-Edit的评估仅限于7种语言（不含印尼语、越南语、俄语），与LEMAS-TTS的10语言覆盖存在差距。第四，数据集构建过程中未应用语音增强或背景噪声去除，虽然作者认为这是有意的设计选择，但可能影响在安静环境下的应用场景。最后，评估集每语言仅500条语音，对于评估大规模模型可能样本量不足。
独立分析的弱点
从独立分析的角度，LEMAS存在几个值得关注的弱点。首先，数据集的语言分布不均衡：中文（32.92k小时）和英语（25.35k小时）占据了总量的近40%，而意大利语（6.12k小时）和越南语（6.60k小时）的数据量相对较少。这种不均衡可能导致模型在低资源语言上的表现不如高资源语言稳定。建议未来可以通过主动学习或数据增强策略来平衡语言分布。其次，置信度阈值的选择是经验性的（0.2-0.5），缺乏理论依据或自适应机制。可以考虑开发基于语言和领域特性的自适应阈值选择方法。第三，口音对抗训练的伪标签来自现成的语言识别模型，其错误可能传播到训练过程中。建议引入多模型集成或置信度过滤来提高伪标签质量。最后，LEMAS-Edit的重复惩罚机制是启发式的，缺乏理论分析其最优参数设置。
未来方向
基于LEMAS的成果，可以延伸多个研究方向。首先，数据集可以扩展到更多语言（如阿拉伯语、日语、韩语等），特别是形态学复杂的语言，这将测试当前管道的泛化能力。其次，词级置信度分数可以用于开发更精细的数据选择策略，例如根据下游任务需求动态调整数据质量标准。第三，LEMAS-TTS的统一音素表示可以探索更先进的跨语言音素映射方法，如基于数据驱动的音素聚类。第四，LEMAS-Edit可以扩展到更复杂的编辑场景，如句子级重写或情感转换。最后，两个模型可以进一步整合，例如将LEMAS-TTS的韵律控制能力引入LEMAS-Edit，实现更精细的编辑控制。
复现评估
LEMAS在可复现性方面做得相当好。数据集和代码都已开源：数据集托管在HuggingFace，代码托管在GitHub。数据集采用统一的JSON格式，音频为MP3格式，便于处理。训练LEMAS-TTS需要处理150k小时数据，算力需求较大，但作者提供了详细的训练配置。LEMAS-Edit基于预训练的VoiceCraft 330M参数检查点进行热启动，这降低了从头训练的成本。评估脚本和生成样本也已公开。然而，完整的多语言训练流程（包括数据对齐和过滤）需要相当的工程投入，可能不适合资源有限的研究团队。建议可以先从LEMAS-Dataset的子集开始实验。
论文图表
