口音语音合成中说话人嵌入与音韵规则交互的量化分析 Quantifying Speaker Embedding Phonological Rule Interactions in Accented Speech Synthesis
用音韵规则+PSR指标量化TTS中说话人嵌入对口音的控制与干扰
前置知识
Speaker Embedding（说话人嵌入）
说话人嵌入是一个固定维度的向量表示，通过神经网络从说话人语音样本中提取，编码了说话人的多维特征，包括音色（timbre）、情感状态、口音特征等。在TTS系统中，说话人嵌入作为条件输入，指导模型生成具有特定说话人特征的语音。以本文使用的Kokoro TTS为例，模型提供28个预设说话人嵌入（20个美式英语、8个英式英语），这些嵌入在语音合成过程中对音素的最终声学实现产生隐式影响，但其编码的口音信息与其他特征（如音色）高度纠缠，难以单独控制。
本文的核心研究问题就是分析说话人嵌入如何与显式的音韵规则交互——嵌入是会强化规则效果，还是会覆盖规则将输出拉回其偏好的口音方向。理解说话人嵌入的多义性是理解本文实验设计和PSR指标意义的前提。
Phonological Rules（音韵规则）
音韵规则是语言学中描述语音系统规律性变化的形式化规则。本文定义了三组从美式英语到英式英语的音素替换规则：（1）闪音化（Flapping）：元音间的/t/在美式英语中常实现为闪音[R]，英式英语保留[t]，如water [waRÄ]→[wAt@]；（2）R音性（Rhoticity）：美式英语保留元音后的/r/，英式英语删除或元音化，如car [kaô]→[kA:]；（3）元音对应：系统性的元音映射，如bath /bæT/→/bAT/，goat [goUt]→[g@Ut]。这些规则是一对一替换，严格保持音素字符数不变。
音韵规则是本文方法论的核心工具，用于在TTS输入端进行可控的口音变换。理解这些语言学概念有助于理解为什么选择这三类规则、为什么它们能有效改变感知口音、以及PSR指标如何衡量规则的保留程度。
Text-to-Speech (TTS) 语音合成
文本到语音合成是将文本转换为自然语音的技术。现代TTS系统通常采用神经网络架构，以音素序列（phoneme sequence）、说话人嵌入和音素时长为输入，生成对应的语音波形。本文使用Kokoro-82M v0.19，一个支持8种语言（包括英语、日语、普通话）的多语言TTS模型。该模型的输入包括音素序列、说话人嵌入和固定音素时长，通过严格保持音素字符数和时长一致，确保观察到的口音差异仅来源于音素映射与说话人嵌入的交互。
理解TTS系统的工作方式是理解本文实验设计的基础——为什么可以在输入端修改音素序列来控制口音、为什么说话人嵌入会影响最终输出、以及为什么这种交互值得量化研究。
Phoneme Shift Rate (PSR, 音素偏移率)
PSR是本文提出的全新评估指标，用于量化说话人嵌入对音韵规则的保留或覆盖程度。其定义为：当应用规则将美式音素序列转换为英式目标后合成语音，再对合成输出进行音素识别，然后重新应用相同的音韵规则，计算需要再次替换的音素数 $N_2$ 与原始替换数 $N_1$ 的比值，即 $PSR = N_2 / N_1$。若输出完美遵守规则变换，$N_2 = 0$，$PSR = 0$；若说话人嵌入完全覆盖规则输入，$N_2 = N_1$，$PSR = 1$。PSR的值域为[0,1]，越低表示规则保留越好。
PSR是本文最核心的创新贡献，它超越了简单的'规则错误率'概念，提供了一个连续的诊断指标，能够捕捉口音控制的梯度效果——规则可能完全实现、部分实现或完全被覆盖。理解PSR的定义和计算方式是理解实验结果的关键。
Vox-Profile 口音分类器
Vox-Profile是一个语音基础模型基准工具，用于预测多种说话人特征，包括口音。本文使用其基于Whisper的广义口音分类器，该分类器在来自11个多样数据源的超过10万条独立话语上训练，将输入语音分为三类：北美英语、英伦群岛英语和其他语言背景英语。分类器输出的softmax概率被用作口音强度的指标——对目标口音（北美或英伦）的平均概率越高，表示该口音特征越强。
Vox-Profile提供了本文评估口音强度的第一个维度——口音概率。它是衡量音韵规则是否有效改变感知口音的主要工具，但其预测概率与训练任务和所编码的口音对比特定相关，因此是任务特定的而非通用度量。
研究动机
当前TTS系统控制口音的主流方法是通过说话人嵌入（speaker embedding）进行条件生成，即将与特定口音关联的说话人嵌入作为输入来产生带口音的语音。然而，这种方法存在严重的可解释性和可控性问题：说话人嵌入是高维向量，不仅编码口音信息，还同时编码音色（timbre）、说话人情感（emotion）以及背景噪声等无关特征。这种多特征纠缠使得口音表征变得不透明且难以精确控制。例如，一个训练用于美式英语的说话人嵌入可能隐含地将口音与特定音色绑定，导致用户无法在保持音色不变的情况下单独调整口音强度，也无法在不同口音之间进行细粒度切换。此外，现有的端到端数据驱动方法缺乏语言学可解释性，研究者和开发者无法理解模型内部是如何处理口音变化的，也无法对口音控制的效果进行系统性评估。
本文的目标是本文的目标是提出一种基于语言学知识的口音控制框架，通过将显式的音韵规则（phonological rules）与说话人嵌入结合使用，在保持TTS系统自然度的同时增强口音控制的可解释性和可控性。具体而言，作者希望：（1）设计一组针对美式英语和英式英语之间最具感知显著性差异的音韵替换规则；（2）提出一个量化指标来衡量这些规则在与说话人嵌入共同作用时的保留程度；（3）通过系统性实验揭示说话人嵌入与音韵规则之间的交互模式——哪些规则更有效、哪些嵌入更服从规则、以及两者如何竞争或相互强化。
与已有工作不同的是，本文的独特切入角度在于将语言学领域的音韵规则作为探针引入TTS口音控制研究，而非试图用数据驱动方法完全替代人工规则。作者明确指出，其目标不是用规则合成取代数据驱动模型，而是测试显式的音素级变换如何与现代TTS系统中的说话人嵌入交互。这种方法将口音控制从纯粹的黑箱数据驱动范式转变为可解释的知识驱动与数据驱动混合范式。此外，本文提出的PSR指标填补了评估领域的一个空白：现有口音评估方法（如口音分类概率和口音嵌入相似度）都无法直接衡量音韵规则的保留程度，而PSR提供了这一维度的量化工具，使得研究者能够诊断口音控制失败的具体原因——是规则本身不够，还是说话人嵌入覆盖了规则效果。
核心方法
本文的方法论可以概括为规则驱动的口音变换 + 嵌入驱动的语音合成 + 交互量化评估三阶段框架。首先，作者从语言学文献中提取美式英语和英式英语之间最具感知显著性的三类音韵对比——闪音化、R音性和元音对应——并将其形式化为可计算的音素替换规则。然后，将这些规则应用于TTS系统的输入端，在合成前将美式英语音素序列转换为英式英语目标序列，同时保持音素数量和时长不变。最后，通过对比合成输出与预期目标，量化说话人嵌入对规则效果的增强或削弱程度。这一框架的直觉是：如果音韵规则能够有效改变口音，那么应用规则后合成的语音应该更接近目标口音；如果说话人嵌入主导了口音表征，那么即使输入了英式音素，输出仍可能偏向美式口音。通过同时操纵规则和嵌入，作者能够系统性地分析两者的交互关系。
本文的核心创新在于提出了音素偏移率（Phoneme Shift Rate, PSR）这一全新指标，以及将音韵规则作为口音控制的可解释杠杆。与现有方法的本质区别体现在三个层面：第一，现有TTS口音控制完全依赖数据驱动的说话人嵌入，而本文引入了语言学知识驱动的音韵规则作为补充，提供了可解释的口音变换路径；第二，现有口音评估指标（口音概率、口音相似度）只能衡量最终输出的口音强度，而PSR能够量化规则在合成过程中的保留程度，揭示了口音控制的内部机制；第三，本文将口音控制问题重新框架为规则与嵌入的交互问题，而非简单的端到端生成问题，这为理解和改进口音控制提供了新的分析视角。PSR的定义 $PSR = N_2 / N_1$ 具有明确的物理意义：当 $PSR = 0$ 时规则被完美保留，当 $PSR = 1$ 时规则被完全覆盖，中间值则反映了梯度的交互效果。
方法步骤详情
本文方法的完整流程包括以下步骤：（1）音素序列获取：使用Misaki G2P（Grapheme-to-Phoneme）工具将归一化文本转换为美式英语音素序列；（2）音韵规则应用：对美式英语音素序列应用三组替换规则——闪音化规则将元音间的[R]映射回[t]，R音性规则删除或元音化元音后的[r/ô]，元音对应规则应用系统性的元音映射（如/æ/→/A/，/oU/→/@U/等），生成对应的英式英语音素序列，严格保持音素字符数不变；（3）语音合成：使用Kokoro-82M TTS模型，分别以美式和英式音素序列、指定的说话人嵌入和固定音素时长为输入，合成语音输出；（4）口音评估：使用Vox-Profile口音分类器计算口音概率和口音相似度；（5）音素识别与PSR计算：使用Wav2Vec2Phoneme对合成语音进行音素识别，获得实际音素转录，然后重新应用相同的音韵规则，计算需要再次替换的音素数 $N_2$ 与原始替换数 $N_1$ 的比值得到PSR；（6）自然度评估：使用UTMOS模型评估合成语音的自然度（MOS评分，范围1-5）。
技术新颖性
本文的技术新颖性体现在多个方面。首先，PSR指标的设计巧妙地利用了规则重应用的思路：通过对合成输出重新应用相同的音韵规则，能够反向推断出合成过程中有多少规则效果被保留、多少被说话人嵌入覆盖。这种方法不需要对TTS模型内部进行任何修改或访问，完全在黑箱外部进行评估，具有很强的通用性。其次，作者发现音韵规则的效果是梯度的而非二元的——同一个英式目标如[lAt@:]可能在合成中变为[lætÄ]，反映了向美式形式的部分漂移，PSR能够捕捉这种连续变化。第三，本文的实验设计通过同时操纵规则（有/无、单个/组合/消融）和嵌入（美式/英式、不同说话人）两个维度，构建了一个完整的交互分析矩阵，能够系统性地揭示两者的关系。最后，作者发现不同的音韵规则具有不同的效果强度——元音对应规则贡献最大，而闪音化规则单独使用效果有限但具有累加性，这种发现对口音控制策略的设计具有直接指导意义。
实验结果
本文的实验结果揭示了音韵规则与说话人嵌入之间复杂的交互模式，核心发现可从三个维度归纳。首先，在口音强度方面，音韵规则能够有效增强目标口音：以英式说话人嵌入（bm_fable）为例，基线系统的英式口音概率为67.8%，应用全部三条规则后提升至78.4%，口音相似度从0.67提升至0.85。更显著的是，即使使用美式说话人嵌入（af_heart），应用规则也能将美式口音概率从86.5%降低至58.8%，英式概率从3.79%提升至17.3%，表明规则能够在一定程度上对抗嵌入的口音偏好。其次，在自然度方面，UTMOS评分在所有条件下保持稳定——美式设置约4.43，英式设置约3.72-3.75，说明整合音韵规则不会降低合成语音的自然度。英式设置的UTMOS普遍较低可能反映评估模型本身的偏差，而非实际质量下降。第三，在PSR方面，规则应用显著降低了偏移率：英式嵌入下PSR从0.775降至0.628（降低19%），美式嵌入下从0.856降至0.827。消融实验显示元音对应规则是最具影响力的因素，单独应用即可将英式概率提升至77.8%并将PSR降至0.693。在不同说话人嵌入的对比中，Isabella嵌入应用规则后PSR从0.633降至0.481（降低15.2%），Lily从0.660降至0.494（降低16.6%），Daniel从0.706降至0.543（降低16.3%），表明规则对不同嵌入都有一致的改善效果，但改善幅度因嵌入而异，反映了嵌入间口音特征编码的纠缠程度差异。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 口音概率（英式嵌入） | British Accent Probability (%) | 78.4%（规则+嵌入） | 67.8%（仅嵌入） | +10.6%绝对提升 |
| 口音相似度（英式嵌入） | British Accent Similarity | 0.85（规则+嵌入） | 0.67（仅嵌入） | +0.18（26.9%相对提升） |
| 音素偏移率（英式嵌入） | PSR ↓ | 0.628（规则+嵌入） | 0.775（仅嵌入） | -0.147（19.0%相对降低） |
| 自然度 | UTMOS | 4.42（美式）/ 3.72（英式） | 4.43（美式）/ 3.74（英式） | 保持稳定，无显著退化 |
| 口音概率（美式嵌入+规则） | NA Accent Probability (%) | 58.8%（规则对抗嵌入） | 86.5%（仅美式嵌入） | 美式概率降低27.7%，英式从3.79%升至17.3% |
局限与改进
本文存在多个需要关注的局限性。首先，作者明确承认研究完全依赖自动化评估指标，包括Vox-Profile口音分类器、Wav2Vec2Phoneme音素识别器和UTMOS自然度评估器，缺乏人类主观评估（如MOS评分、ABX偏好测试）。自动化指标可能存在系统性偏差，例如UTMOS对英式口音的评分普遍低于美式（3.7 vs 4.4），这可能反映训练数据的偏差而非实际质量差异。其次，音韵规则仅覆盖三类最具感知显著性的对比，无法捕捉口音的全部细微差别，作者自己也称之为大笔画变换（big-stroke transformations）。第三，PSR指标假设TTS和音素识别都具有完美准确性，但实际上两个系统都可能引入噪声，影响PSR的可靠性。第四，实验仅在Kokoro TTS一个模型上进行，且仅使用28个预设说话人嵌入（20美式+8英式），样本量有限，结果的泛化性需要在更多TTS系统和说话人上验证。第五，音韵规则是针对美式到英式单向设计的，反向映射和跨语言口音（如印度英语、澳大利亚英语）尚未探索。第六，实验基于LibriTTS-R的train-clean-100子集，数据规模和多样性有限。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，音韵规则的设计过于粗糙，仅考虑了三类大笔画对比，忽略了口音中大量的细微变体（如元音品质的梯度变化、语调模式差异等）。改进建议：引入更细粒度的连续音韵规则，例如使用音素级别的声学特征（如共振峰频率）而非离散符号替换，或结合数据驱动方法自动学习口音相关的音素变异模式。第二，PSR指标依赖于音素识别器的准确性，而Wav2Vec2Phoneme本身存在识别错误，特别是在噪声环境或非标准发音下。改进建议：引入多个音素识别器的集成，或使用置信度加权的PSR变体，对低置信度的识别结果进行降权。第三，实验仅在单一TTS模型上进行，说话人嵌入的维度和编码方式可能与其他系统不同，限制了结论的普适性。改进建议：在多个TTS架构（如VITS、StyleTTS、MaskGCT）上重复实验，比较不同嵌入空间下规则与嵌入的交互模式。第四，元音对应规则的映射表是手工定义的，可能遗漏了某些重要的跨口音对应关系。改进建议：利用大规模口音语料库自动挖掘系统性的音素对应关系，或使用对齐算法从平行口音数据中学习映射。
未来方向
作者在结论中提出了几个明确的未来研究方向，同时基于本文成果可以延伸出更多研究路径。作者提出的直接方向包括：（1）引入更多音素识别架构进行评估，减少对单一识别器的依赖；（2）加入人类评估（主观MOS评分、口音自然度和相似度判断），验证自动化指标与人类感知的一致性。基于本文成果可延伸的方向包括：（1）设计能够响应音韵规则的说话人嵌入——即在嵌入训练时显式鼓励口音与其他特征的解耦，使得规则能够更自由地控制口音而不受音色等特征干扰；（2）将三音素规则扩展到更多口音对（如美式到澳大利亚、英式到印度等），建立通用的口音变换规则框架；（3）探索交互式口音控制——允许用户通过滑块调节每条音韵规则的强度（如0%到100%的闪音化程度），实现细粒度的口音混合；（4）将PSR指标应用于评估其他条件生成任务中的条件保留程度，如情感控制、风格迁移等；（5）研究不同说话人嵌入维度与口音相关性的可视化方法，理解嵌入空间中口音信息的几何分布。
复现评估
本文的复现性较好，作者提供了多个关键资源。代码方面，音韵规则的实现已开源在GitHub（https://github.com/linguistylee/KAtDial），评估管道使用的工具（Vox-Profile、Misaki G2P、Wav2Vec2Phoneme、UTMOS）均有公开实现。语音样本已发布在项目页面（https://sav-eng.github.io/icassp_samples.html）。TTS模型Kokoro-82M v0.19在HuggingFace上公开可用。数据方面，实验基于LibriTTS-R的train-clean-100子集，这是一个广泛使用的公开数据集。算力需求方面，Kokoro-82M是一个相对轻量的模型（82M参数），33k条语音（55.4小时）的合成在单GPU上可在合理时间内完成。复现的主要挑战在于：（1）需要获取正确的说话人嵌入文件（28个预设嵌入来自Kokoro项目）；（2）音素识别步骤需要额外的Wav2Vec2Phoneme模型；（3）Vox-Profile口音分类器需要单独下载和配置。总体而言，具备中等GPU资源和Python/TTS经验的研究者应该能够在数天内完成复现。
论文图表
该表报告了规则应用的详细统计：$N_1$ 为美式音素序列中需要替换的音素总数（闪音化12.8k、R音性83.5k、元音对应125.1k、全部221.4k），$N_2$ 为合成输出中需要再次替换的音素数。不同条件下 $N_2$ 的变化揭示了嵌入对规则的影响：美式嵌入下闪音化 $N_2$ 为25.3k（高于 $N_1$ 的12.8k），说明嵌入强化了闪音化；而R音性和元音对应的 $N_2$ 显著低于 $N_1$，表明嵌入在这些维度上覆盖了规则。英式嵌入应用规则后，$N_2$ 从171.5k降至139.0k，证实规则有效保留。
该表提供了PSR计算的底层数据，揭示了不同音韵规则被嵌入影响的具体机制。特别是闪音化的反常现象（$N_2 > N_1$）表明G2P基线音素并非完全美式化，嵌入进一步强化了闪音化，这一发现只有通过细粒度的 $N_1$/$N_2$ 分析才能发现。