口音向量：无需带口音训练数据的多语言 TTS 口音可控操控

用 Task Vector 表征口音方向，通过缩放与组合实现细粒度口音强度控制和混合口音合成

前置知识

Task Vector（任务向量）

Ilharco 等人在 2023 年提出的概念：把预训练模型参数 $\theta_{\text{pre}}$ 与在特定任务上微调后得到的参数 $\theta_{\text{ft}}$ 之差 $\tau = \theta_{\text{ft}} - \theta_{\text{pre}}$ 视为参数空间中一个「方向」，沿该方向移动即可强化对应任务能力；多个任务向量在近似线性的参数空间内可通过加法或缩放实现组合与强度控制。

本文把口音视为「一种任务」，把微调前后参数差直接当成口音向量 $\tau_{\text{accent}}$，这是整篇论文所有数学推导与实验（缩放、插值、跨语言迁移）的出发点。

LoRA（低秩适配）

在冻结原有权重 $\theta_{\text{pre}}$ 的前提下，向线性层注入秩为 $r$ 的旁路矩阵 $B A$（$A \in \mathbb{R}^{r \times d}$、$B \in \mathbb{R}^{d \times r}$），只训练该低秩增量；本文使用 $r=16$，把可训练参数从 378M 压到约 8M，从而在 A40 单卡 8 小时内完成 60k 步微调。

正是借助 LoRA 的「参数差 = 增量权重 $\theta_{\text{LoRA}}$」结构，使得口音向量 $\tau_{\text{accent}} = \theta_{\text{ft}} - \theta_{\text{pre}}$ 可以被廉价取出、缩放、跨语言组合。

XTTS-v2 多语言零样本 TTS

Coqui 发布的语音合成模型，由 VQ-VAE、Encoder、Decoder 组成，支持 17 种语言；推理时同时接收语言 ID 标记、BPE 分词后的文本和参考语音，通过 cross-entropy + GAN + 说话人一致性损失训练，是本文唯一被改造的 backbone。

XTTS 已具备零样本说话人克隆能力，本文只需在其上做口音侧的 LoRA 微调并叠加口音向量，就能同时保留说话人身份与口音可塑性。

段音位与超音位特征

前者指音素实现、元音音质、辅音送气等「音段级」差异，后者指重音位置、节奏、时长、音高曲线等「韵律级」差异；论文反复强调当前大多数无口音数据方案只建模时长（如 Onda 等人），而 Accent Vector 试图同时影响两类特征。

理解这两层才能看懂为什么作者认为「直接改参数」比 transliteration 或 phoneme 替换规则更通用，也才能理解 Mandarin 这种声调语言为何最难迁移。

研究动机

全球约五分之一人口说英语，但只有约四分之一是 L1；其余 L2 使用者带有的西班牙语、印地语、法语、德语、普通话等口音，是身份与文化多样性的重要载体。然而主流 TTS 系统几乎全部用美式英语训练：LibriTTS、LibriHeavy、LibriTTS-P 等大规模高质量语料几乎都来自美式朗读，可汗学院等「带口音」语料仅有 L2-Arctic 等小规模资源（数百小时以内），且覆盖口音稀少。这种数据不均衡使得合成质量在 L1 美式英语上自然流畅，但在印地语口音英语、普通话口音英语等次主流变体上明显退化。已有的口音数据要么规模太小、要么地理标签缺失，要么只能做粗粒度的音素替换，整体上无法支持「我想让这位说话人用 0.6 强度的普通话口音说这句话」这种细粒度可控需求。

本文的目标是本文提出一个名为 Accent Vector 的轻量框架，目标是不依赖任何口音标注语料，就能让多语言 TTS（XTTS-v2）在推理阶段沿一个连续可调的口音强度维度合成带口音语音，并且支持跨语言（英语↔西语/德语/普通话）以及混合口音的合成；数学上把口音视作参数空间中的一个方向 $\tau_{\text{accent}}$，通过缩放系数 $\alpha \in [0,1]$ 显式控制强度，通过多向量加权和实现混合。

与已有工作不同的是，已有无口音数据路线分两条：MacST[16] 用 LLM 做转写后强制替换发音，只能产出「全有或全无」的固定口音；Onda 等人[15] 用 K-means + 时长建模，只在日语口音英语上验证，且主要作用在超音位；Lertpetchpun 等人[21] 用音素替换规则，强度靠规则数量控制，扩展新口音需要重新设计规则。本文切角新颖之处在于：① 把任务向量范式从 NLP/情绪控制直接搬到语音口音，参数差天然捕捉段音位与超音位；② 用 LoRA 让「参数差 = $\theta_{\text{LoRA}}$」完全可解释且低成本；③ 在六种英语口音 + 三种非英语基底 + 五组混合口音上同时验证可控性与跨语言迁移性，这是先前工作都未同时覆盖的。

核心方法

直觉上，「口音」可看作 L2 说话人把母语的音段与韵律习惯迁移到第二语言时产生的系统性偏移；这种偏移在神经网络 TTS 中隐式编码在权重里。因此作者把多语言 backbone XTTS-v2 的全部线性层先注入 LoRA，再用「非目标口音数据」（如要合成西班牙语口音英语，就用西语母语者的西语语音 + 西语文本，但保持语言 ID 为英语）做 60k 步微调，使模型学会把英语文本对齐到西语母语者的口音分布；微调前后权重之差即为 Accent Vector $\tau_{\text{accent}}$。推理时只改一句话：把模型参数替换为 $\theta_{\text{accent}} = \theta_{\text{pre}} + \alpha \cdot \tau_{\text{accent}}$，$\alpha$ 即为「口音强度旋钮」。同理，多个口音向量按 $\tau_{\text{mix}} = \sum_i \alpha_i \tau_{\text{accent}(i)}$ 线性叠加即可获得混合口音。

核心创新是把口音操控建模为「参数空间中的一个方向」而不是「数据/标签层面的条件」。和 MacST 用文本转写做离散替换、Onda 用 K-means 聚类做时长预测、Lertpetchpun 用音素规则做音段替换相比，Accent Vector 优势是：① 一份向量同时编码音段、音节时长、韵律多层级信息，因为这些都是 LoRA 微调后整体权重的偏置；② 强度 $\alpha$ 是连续标量，可任意插值，不依赖规则数量；③ 由任务向量加法性质可天然支持「西语+英式」「普通话+英式」混合；④ 完全不依赖口音英语语料——任何目标语言的高质量母语语音都可以充当「口音源」。

方法步骤详情

方法流程分四步。第一步 fine-tuning：在 XTTS-v2 全部 encoder 线性层上挂 rank=16 的 LoRA，用 Adam（lr=3e-5）训练 60k 步，输入为目标语言母语者的母语语音+母语文本，但语言 ID 强制设为基底语言（如英语）；损失沿用 XTTS 原方案（VQ-VAE 离散码 cross-entropy + mel 重建 GAN 损失 + 说话人一致性损失）。第二步提取 Accent Vector：由于 LoRA 微调后 $\theta_{\text{ft}} = \theta_{\text{pre}} + \theta_{\text{LoRA}}$，直接令 $\tau_{\text{accent}} = \theta_{\text{ft}} - \theta_{\text{pre}} = \theta_{\text{LoRA}}$，无需再做任何额外运算。第三步向量算术：推理前构造 $\theta_{\text{accent}} = \theta_{\text{pre}} + \alpha \cdot \tau_{\text{accent}}$，其中 $\alpha \in [0,1]$ 控制口音强度；混合口音时取 $\tau_{\text{mix}} = \sum_{i=1}^{N} \alpha_i \tau_{\text{accent}(i)}$，并约束 $\sum_i \alpha_i = 1$，得到 $\theta_{\text{mix}} = \theta_{\text{pre}} + \tau_{\text{mix}}$。第四步推理：保留原 XTTS 推理管线，给定基底语言 ID、基底语言文本、目标语言母语者的参考语音，把模型权重替换为 $\theta_{\text{accent}}$ 或 $\theta_{\text{mix}}$ 即可生成对应口音语音；说话人相似度由参考语音保持，韵律和音段偏移由权重差注入。

技术新颖性

技术新颖性体现在三个层面。一是范式层面：首次把 NLP 中的 Task Arithmetic 系统化地迁移到语音「非语义」属性（口音）上，且证明线性假设在 17 语言 XTTS 上仍然成立（图 3 的 $\alpha$ 与口音概率呈单调关系印证了这一点）。二是训练策略层面：刻意让微调数据语言 ID 与文本语言「错位」（即用西语语音+西语文本但告诉模型「这是英语」），让 LoRA 学到的是把英语文本对齐到西语分布的偏置，而非纯粹的西语生成能力，这是 $\tau_{\text{accent}} = \theta_{\text{LoRA}}$ 真正捕获「口音方向」而非「语言方向」的关键。三是对比广度：Table 1 列出 Accent Vector 是当前唯一同时满足「不要口音数据 ✓」「显式连续控制 ✓」「零样本说话人克隆 ✓」「跨口音混合 ✓」「跨语言支持 ✓」五个条件的方法，而 Onda/MacST/Xinyuan/Lertpetchpun 等都至少缺一项。

实验结果

Table 3 给出六种英语口音的客观评测：英国口音概率从 23.3% 升到 56.7%（+143.83%），西语从 15.5% 升到 39.7%（+156.37%），印地语从 2.2% 升到 24.2%（+1021%），法语从 12.2% 升到 23.2%（+90.10%），德语从 14.3% 升到 27.4%（+91.14%），普通话从 27.4% 升到 33.8%（+23.56%）；同时说话人相似度（SSIM）保持在 0.86–0.90 之间，说明口音改造几乎不破坏说话人身份，但 WER（5.46% → 17.3%/10.4%/18.9% 等）和 UTMOS（最高 3.61、最低 2.59）出现退化。Table 4 验证跨语言迁移：在英语口音西班牙语上，VoxProfile 英语口音概率从 1.20% 跳到 44.69%，LID 英语语言概率从 0.04% 升到 38.1%，说明「英式西语」这类少见的组合也能被激活；普通话基底最弱（英语口音概率仅 3.03%），作者归因于声调语言韵律差距大。Figure 3 把 $\alpha$ 从 0 滑到 1 时，British 与 Hindi 两条曲线上的口音概率都单调上升、WER 也单调上升，呈现典型的「accentedness↔intelligibility」trade-off。Table 5 的混合口音实验表明西语+英式概率可同时高于基线（5.61%/20.45%），普通话+英式也类似（13.30%/17.77%），但西语+印地语偏向西语（24.29% vs 10.92%），说明 VoxProfile 对英语类口音存在偏置，混合时英式可能压制其他口音。Table 6 的 16 人主观评测给出 70 样本结果：美国英语基线 80.00% 识别率；英式 78.46%（强度 3.55，自然度 3.91）、印地语 78.46%（强度 3.65）、普通话 70.77%（强度 3.13，但自然度仅 2.31），整体识别准确率远高于 14% 的随机水平。图 5 的混淆矩阵显示德、法、西三种欧洲口音互混较多，主要源于听者居住在美国、缺乏对这些口音的敏感度。

**Table 1**: Comparison between accented TTS models

**Table 2**: Languages and corresponding datasets. UTMOS is reported after filtering low-quality samples

**Table 3**: Objective evaluation on accent shifting from American English to each target accent

**Table 4**: Objective evaluation on English-accented speech generation for non-English languages

**Table 6**: Subjective Evaluation Results: Accent Identification Accuracy, Perceived Accent Strength (Correct Responses Only), and Naturalness

**Figure 3**: Control of accent strength using the task vector coefficient

**Figure 4**: Effect of the task vector coefficient when mixing multiple Accent Vectors

查看结构化数据

任务	指标	本文	基线	提升
英式口音英语合成	VoxProfile 英国口音分类概率	56.7%	XTTS-v2 预训练基线 23.3%	+143.83%（相对提升）
西班牙语口音英语合成	VoxProfile 西语口音分类概率	39.7%	15.5%	+156.37%
印地语口音英语合成	VoxProfile 南亚口音分类概率	24.2%	2.2%	+1021.29%
普通话口音英语合成	VoxProfile 普通话口音分类概率	33.8%	27.4%	+23.56%（最难迁移口音）
英语口音西班牙语合成	VoxProfile 英语口音概率 + LID 英语语言概率	44.69% / 38.1%	1.20% / 0.04%	近 37 倍 / 950 倍
混合口音（西语+英式）	双口音概率	西语 5.61% + 英式 20.45%	14.58% / 9.29%	英式显著上升，西语被部分压制（VoxProfile 英语偏置所致）
人类听感识别（英式英语）	口音识别准确率 / 强度 / 自然度	78.46% / 3.55 / 3.91	美式英语基线 80.00% / 3.63 / 3.06	识别率接近美式基线；自然度高于美式基线
说话人身份保持	WavLM 说话人余弦相似度 SSIM	0.86–0.90（六种口音下稳定）	0.86–0.90 预训练 XTTS	几乎无退化，说明口音改造不破坏声纹

局限与改进

作者在 6.6 节显式承认四点局限：第一，所有客观评测代理（VoxProfile 分类器、ECAPA-TDNN LID、Whisper-medium ASR、UTMOS）都主要在主流英语上训练，对跨语言口音组合天然偏置，绝对分数需谨慎解读。第二，Mandarin 口音提升幅度只有 +23.56%（明显低于 Hindi 的 +1021%），作者归因于普通话有声调、节奏与英语差异过大，且 KeSpeech 数据本身 UTMOS 仅 2.57 偏低；第三，把口音当成参数空间线性方向，可能不足以建模复杂的超音位现象（如语调起伏、声调模式）；第四，训练时只用单一代表方言（Peninsular 西语而非拉美、北京/东北普通话而非全部方言），目前还无法让一个向量同时承载多种方言。我自己的补充观察是：① 实验没有跨说话人稳健性测试——同一种 Accent Vector 套到任意参考说话人上是否都能保持声纹？Table 3 的 SSIM 是固定配对的均值，没有消融「换 ref 语音」；② 当 $\alpha>0.6$ 时，WER 快速上升（图 3），意味着高强度档位的实用性受限；③ 主观评测 16 人全为在美居住的非英语母语者，且只有 70 个样本，统计功效有限；④ 推理时仍需提供「目标语言母语者」的参考语音，这意味着虽然不需要带口音英语数据，但仍然需要目标语言的高质量母语语音源。

独立分析的弱点

独立分析下，本文最值得改进的地方有四个。① **客观评估的英语偏置**：Table 5 中西语+英式、普通话+英式都出现 VoxProfile 把英式推上去而把另一口音压低的现象，根本原因是分类器训练语料北美英语占比高。可以换用 VoxLect 这种覆盖多语种方言的 benchmark，或者同时报告多个口音分类器的投票结果。② **线性假设过强**：$\tau_{\text{mix}} = \sum_i \alpha_i \tau_i$ 完全忽略口音间的非线性交互（例如「西语母语者在英国生活 10 年」会形成新的韵律模式，而非两种口音权重平均）。可以引入一个小 MLP 对多个 $\tau_i$ 做非线性融合，或者把每个 $\tau_i$ 拆成「分段方向」+「韵律方向」分别加权和。③ **声调建模缺失**：普通话 +23.56% 的弱提升说明线性参数偏移学不到 F0 曲线，可以额外引入 F0 编码器把基频轮廓作为显式条件，类似 MetaVoice 中 pitch embedding 的做法。④ **数据质量受限**：Table 2 显示西语/印地语/德语/法语/普通话 UTMOS 仅 2.50–2.86，远低于英语的 3.86，结果是微调数据本身已带噪，$\tau_{\text{accent}}$ 自然继承这种噪声；改进方向是先用语音增强模型把训练集 UTMOS 抬到 3.5 以上再做 LoRA，或者干脆改用更高质量的 studio-grade 语料。

未来方向

作者提出的方向是「向更多语言、更复杂的超音位现象延伸」以及「用非线性方法刻画口音间交互」。基于实验结果可进一步展开的方向有：① 把 Accent Vector 范式迁移到语码转换（code-switching）场景，如「英语文本夹中文词」，让多语种口音同时出现在同一句话内；② 引入说话人条件化的口音向量，让同一个 $\tau_{\text{accent}}$ 能在不同说话人上呈现差异化口音表现；③ 在推理时引入「口音一致性损失」，对 $\alpha$ 进行贝叶斯优化或可微搜索，根据 ASR 反馈自动选择最优强度；④ 与 LLM 协同——让大语言模型根据上下文决定某段对话应该用多强的口音，把 $\alpha$ 当成可被文本驱动的隐变量；⑤ 用结构化剪枝把 $\tau_{\text{accent}}$ 投影到低维可解释子空间（例如音段子空间、时长子空间、韵律子空间），便于下游用户单独调节；⑥ 把方法推广到歌唱语音合成、情感语音合成等其他「非语义」属性的可控合成。

复现评估

复现性整体较好。代码基于公开发布的 XTTS-v2（huggingface.co/coqui/XTTS-v2）和 VoxProfile accent classifier（huggingface.co/tiantiaf/whisper-large-v3-narrow-accent），所有训练数据集 VCTK、Common Voice、IndicVoices-R、KeSpeech 均为公开；实验仅使用 1 张 A40 GPU 跑 8 小时，60k 步 LoRA 微调（rank 16，lr 3e-5，可训练参数约 8M），算力门槛对绝大多数实验室可达。复现难度在于：① 训练时要严格保持「语言 ID = 英文，文本与语音为目标语言母语」这种「错位」配置，否则 LoRA 学到的是翻译能力而非口音方向；② VoxProfile 是作者团队自建的窄域英语口音分类器，需要额外申请或自行复现；③ 数据筛选使用 DNSMOS > 3.4 且时长 > 3 秒，作者注明即使过滤后训练集 UTMOS 仍偏低（2.50–2.86），意味着复现时如果换用其他 Common Voice 版本，可能得到不同强度的 $\tau_{\text{accent}}$；④ 论文合成样例托管在匿名仓库 anonymous.4open.science/w/Accent-Vector-Audio-Samples-0EAA/，未来是否公开源码待观察；⑤ Whisper-medium 用于 WER 计算、ECAPA-TDNN 用于说话人相似度，这两个组件固定则可重复。整体判断：方法骨架可复现，但要严格复现论文中六种口音的具体概率数字，需要对齐数据子集选择、DNSMOS 阈值、LoRA 注入层等细节。

口音向量：无需带口音训练数据的多语言 TTS 口音可控操控 Accent Vector: Controllable Accent Manipulation for Multilingual TTS Without Accented Data