Bolbosh：面向克什米尔语脚本感知的流匹配文本转语音系统 Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech
首个克什米尔语专用TTS，用OT-CFM脚本感知适配超越多语基线。
前置知识
Optimal Transport Conditional Flow Matching (OT-CFM)
OT-CFM 是一类基于连续正则化流和最优传输理论的生成建模方法。它不通过马尔可夫链迭代去噪，而是直接学习一个时变向量场，把简单的高斯先验分布沿最优传输路径运输到目标声学分布。相比扩散模型，OT-CFM 在训练时更稳定、采样效率更高，只需少量推理步数即可生成高质量样本。
Bolbosh 的核心技术正是 OT-CFM（在 Matcha-TTS 框架内），理解它为何能在低资源场景下提供稳定对齐和高保真合成，是看懂本文方法创新的前提。
Matcha-TTS 架构与 Monotonic Alignment Search (MAS)
Matcha-TTS 是基于 OT-CFM 的非自回归 TTS 架构，由文本编码器、时长预测器、韵律（pitch/energy）预测器、OT-CFM 解码器组成。它通过内部集成的 MAS 自动学习文本-语音单调对齐，无需依赖外部强制对齐器（如 MFA），因而对缺少 G2P 词典和标注资源的低资源语言特别友好。
本文正是在 Matcha-TTS 之上做克什米尔语的脚本感知微调，理解 MAS 的工作机理能解释为什么该架构在低资源、词法复杂的语言上仍能稳定训练。
Perso-Arabic 变音符号 (Diacritics) 与文字不规则性
克什米尔语使用多种书写系统，其中 Perso-Arabic 脚本严重依赖上标/下标变音符号来编码元音长度与细微音质差异。这些变音符号在日常书写中常被省略，但对发音清晰度至关重要；同时方言/词法差异进一步增加了正字法不一致性。
本文反复强调现有零样本多语模型在处理克什米尔语 Perso-Arabic 变音符号时表现极差（MOS 1.86），这正是脚本感知建模和扩展词表策略的出发点。
跨语种迁移学习 (Cross-Lingual Adaptation)
指利用一种资源丰富语言（如英语）预训练得到的声学先验，作为另一种低资源语言的初始化。本文从英语多说话人 Matcha-TTS 检查点出发，在克什米尔语语料上做监督微调，从而绕开从零训练时 MAS 不收敛、时长预测困难等低资源典型问题。
理解跨语种初始化为何可行（流匹配解码器学到的是可迁移的声学表征）以及为何需要扩展词表，是把握本文适配策略的关键。
研究动机
克什米尔语约有 700 万使用者，具有官方地位并拥有丰富文学传统，却在语音技术上长期被边缘化。其 TTS 面临三重叠加困难：第一，平行文-语音料稀缺且来源分散，难以支撑大规模神经模型训练；第二，文字系统以 Perso-Arabic 脚本为主，依赖变音符号编码关键元音区别，并且同时存在 Devanagari、Roman 转写，造成严重正字法不一致；第三，方言在词汇、音系和韵律上差异明显，进一步恶化了对齐和泛化。论文实验直接量化了这一痛点：在没有任何克什米尔语适配的情况下，把面向印度语言的 IndicParler 多语 TTS 基线零样本应用于克什米尔语，平均意见分（MOS）仅 1.86，频繁出现元音错读、韵律畸变和可懂度下降，根本无法支撑数字无障碍场景。
本文的目标是论文目标是为克什米尔语构建首个开源、专门设计的神经 TTS 系统：在 Matcha-TTS 框架内引入 OT-CFM 监督式跨语种适配，并结合脚本感知编码，使模型既能稳定地学习对齐、又能精确建模 Perso-Arabic 变音符号，最终在主观听感（MOS）和客观谱失真（MCD）上同时大幅超越现有零样本多语基线，建立克什米尔语语音合成的新基准。
与已有工作不同的是，现有研究要么只做高资源印度语言（Tamil、Telugu、Hindi、Marathi）的多语合成，要么依赖外部强制对齐器在 G2P 资源稀缺的克什米尔语上根本无法工作；零样本多语模型则忽视了 Perso-Arabic 脚本的变音符号敏感性和方言差异。本文独特地以"脚本感知 + 监督式跨语种 OT-CFM 微调"切入：先用英语多说话人检查点提供声学先验并加速 MAS 收敛，再扩展词表到 272 个克什米尔语 grapheme 以保留变音符号信息，最后用三阶段声学增强管线把异质语音源统一为稳定输入，从而把克什米尔语 TTS 从"基本听不懂"提升到接近自然的水平。
核心方法
直觉上，Bolbosh 想要回答的核心问题是：当目标语言几乎没有 TTS 资源，但又有敏感的变音符号系统时，怎样才能既快又稳地训出一个像样的合成系统？作者给出的整体思路是"借骨架 + 换皮 + 净料"——先借英语多说话人 Matcha-TTS 的声学先验骨架，再用脚本感知扩展把克什米尔语 grapheme（含变音符号）注入编码器词汇表，最后用三阶段声学增强管线把 RASA 与 IndicVoices-R 两套异质语料在送入模型前清洗到统一质量，从而让 MAS 在监督信号下稳定收敛。具体技术路线为：在 Matcha-TTS 上做 OT-CFM 监督微调，文本端采用 Perso-Arabic 脚本 + 272 grapheme 图级输入、禁用语言专属 cleaner；声学端通过 Resemble-Enhance 去混响、动态静音裁剪、-23 LUFS 响度归一并重采样到 22.05 kHz；训练用 Adam、lr=1e-4、梯度裁剪 5.0、单卡 H100 NVL 上的有效 batch size 128，按验证损失选择最佳检查点。
Bolbosh 与已有方法最本质的区别在于"脚本感知、监督式 OT-CFM 跨语种微调"这一组合创新：以往的零样本多语 TTS 只能复用现有多语词表和未适配的对齐机制，对克什米尔语 Perso-Arabic 变音符号和音系束手无策；本文则同时做两件事——把模型词表显式扩展到 272 grapheme 以保留元音区别、并从英语多说话人检查点出发做监督微调，使 OT-CFM 解码器在 MAS 提供的稳定对齐信号下学习细粒度的 grapheme-to-acoustic 映射。这种"先验骨架 + 脚本敏感微调"的范式让低资源 TTS 不再依赖外部 G2P 词典或强制对齐器。
方法步骤详情
方法分为四步：(1) 语料构建与清洗——收集 RASA 克什米尔语 36.28 h 录音与 IndicVoices-R 克什米尔语切分 43.61 h，合计 79.89 h，仅 RASA 用于验证/测试以保证评估受控；对 IndicVoices-R 应用三阶段声学增强：先用 Resemble-Enhance（UNet 去噪 + 潜在 CFM 精细化）去混响去噪，再裁掉峰值幅度低于 40 dB 的静音段以防时长错配，最后做 -23.0 LUFS（ITU-R BS.1770-4）响度归一并重采样到 22.05 kHz。(2) 文本归一化——在 Perso-Arabic 脚本下做 Unicode 变体规范化、数字到克什米尔语读法的展开和字符过滤，**严格保留变音符号**，并禁用语言级 cleaner，跳过显式 G2P。(3) 模型适配——初始化自预训练英语多说话人 Matcha-TTS 检查点，把词表扩到 272 grapheme 以纳入克什米尔字符与变音符号；按 L_total = L_mel + λ_dur L_dur + λ_pitch L_pitch + λ_energy L_energy 的复合损失训练，其中 L_mel 为 OT-CFM 解码器对 80 维梅尔谱的 L1 重建，L_dur 为预测时长与 MAS 派生时长的 MSE，pitch/energy 项为 grapheme 级回归；用 Adam、lr=1e-4、无 weight decay、梯度裁剪范数 5.0、有效 batch 128、Adam 优化，并以验证损失选最佳检查点。(4) 推理——冻结 HiFi-GAN 声码器，仅以 RASA 说话人嵌入条件化以保留录音棚级清晰度，OT-CFM 只需少量步数即可从高斯先验传输到目标梅尔谱分布。
技术新颖性
从技术新颖性看，本文至少有三点贡献是现有文献所没有的：第一，把 OT-CFM + MAS 范式与跨语种监督微调结合用于一种严重低资源、变音符号密集的语言，并论证了流匹配解码器学到的声学表征是语言无关的、可以迁移；第二，提出并实测了三阶段声学增强管线（Resemble-Enhance 去混响 + 动态静音裁剪 + LUFS 归一），明确把异质"录音棚 + 自发野外"语料统一到 MAS 友好的分布；第三，首次通过 272-grapheme 扩展词表 + 禁用语言 cleaner 的设计，把变音符号保留压力交给 Matcha-TTS 编码器端到端学习，并以 ASR 代理评估（IndicConformer RNN-T 去变音 WER 41.20%、带变音 66.59%；OmniASR 在 87.67%–94.34% 之间）说明当前 ASR 在变音符号建模上的不足，反向佐证了脚本感知建模对合成侧的必要性。
实验结果
Bolbosh 在客观与主观两个维度全面超越 IndicParler 基线。客观上（Table 3），其 MCD 降到 3.73，显著低于 IndicParler 的 4.73，意味着更小的梅尔倒谱失真和更好的谱保真；相对词错误率 rWER 在保留变音符号条件下为 4.14%，而 IndicParler 高达 46.75%；在去掉变音符号的更不利设置下，Bolbosh 的 rWER 升至 13.23%，而 IndicParler 彻底崩溃到 100.32%，表明零样本模型在没有显式变音建模时几乎无法生成可懂语音。主观上（Table 4），Bolbosh MOS 达到 3.634 ± 0.061，几乎是 IndicParler 1.864 ± 0.065 的两倍，但仍与人类录音的 4.614 ± 0.059 存在约 1 分的可感知差距，且置信区间较窄说明听者意见一致。频谱分析（Figure 1）显示 Bolbosh 保留了清晰的谐波结构与明确的第一/第二共振峰走向，高频能量连贯、时间过渡稳定，而 IndicParler 出现过度平滑、共振峰模糊和时域不稳定的退化现象，与更高 MCD、更低 MOS 一致。ASR 代理评估（Table 2）揭示克什米尔语 ASR 本身仍很弱：OmniASR 7B LLM 无变音设置下 WER 仍达 87.67%，所以作者把 WER 仅作为辅助指标、采用 rWER 作为主要相对度量。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 克什米尔语TTS客观质量 | Mel-Cepstral Distortion (MCD, ↓) | 3.73 | 4.73 (IndicParler) | 绝对降低 1.00，约 21% 相对改进 |
| 克什米尔语TTS可懂度（保留变音符号） | Relative WER (rWER%, ↓) | 4.14% | 46.75% (IndicParler) | 绝对降低 42.61 个百分点，相对改进约 91% |
| 克什米尔语TTS可懂度（去除变音符号） | Relative WER (rWER%, ↓) | 13.23% | 100.32% (IndicParler) | 绝对降低 87.09 个百分点，相对改进约 87% |
| 克什米尔语TTS自然度 | Mean Opinion Score (MOS, ↑ 1-5) | 3.634 ± 0.061 | 1.864 ± 0.065 (IndicParler)；人类录音 4.614 ± 0.059 | 相对 IndicParler 提升约 95%，与人类差距约 0.98 分 |
局限与改进
作者在文中坦承了几点局限：第一，Bolbosh 的 MOS 3.634 与人类录音的 4.614 仍有近 1 分的可感知差距，提示合成语音在韵律自然度、长句连贯性上尚有改进空间；第二，语料虽达 79.89 h，但其中 43.61 h 来自自发野外录音 IndicVoices-R，93.25% 属于非受控环境，即便经过三阶段增强，仍可能残留背景差异；第三，推理时只能使用 RASA 说话人嵌入以维持录音棚清晰度，这意味着合成语音在风格多样性与方言覆盖上受限；第四，Table 2 显示当前克什米尔语 ASR 自身就非常弱（OmniASR 7B WER 87.67%），因此 WER 类指标只能作为辅助、不能作为绝对可懂度的金标准，需要配合 MOS 来共同评价。从更宏观的视角看，本文仍属于单语言监督范式，缺少对方言切换、风格控制、零样本跨方言生成的系统性讨论；同时 272 grapheme 的词表设计未给出针对未登录字符的鲁棒性测试。
独立分析的弱点
独立分析后我认为本文至少有以下可改进之处：(1) 训练目标只有 λ 加权的四项 L1/MSE 回归损失，没有显式的变音符号分类或对比学习项来强化元音区分类别，未来可加入字符级变音辅助损失或 phoneme-aware 预训练目标，进一步提高长元音/短元音区分度。(2) 语料 79.89 h 仍然偏小，且方言覆盖有限——RASA 主要是受控录音棚风格，IndicVoices-R 虽然多说话人但 93.25% 是自发语料；改进方向是引入更多方言录音并按方言聚类做条件化适配，缓解方言差异导致的音系/韵律漂移。(3) 三阶段增强管线（Resemble-Enhance 去混响 + 静音裁剪 + LUFS 归一）虽然必要，但属于离线预处理的工程化方案，可能在保留高频细节与去噪之间损失谱信息；可探索端到端的可微分增强或一致性训练，让模型对真实野外噪声鲁棒而不只是依赖前处理。(4) 推理时仅用 RASA 说话人嵌入，牺牲了多样性；可引入说话人无关或多方言离散单元（如 Vector-Quantized timbre token）解耦清晰度与说话人身份。(5) 评估方面，作者仅做了 MOS 与基于 ASR 的 rWER，缺乏词边界 F1、说话人相似度、跨句韵律稳定性等指标，建议引入 UTMOS 或 NISQA 等更自动化的音质估计。
未来方向
作者明确提出的方向是"多方言建模、增强韵律控制、向其他低资源语言的跨语种迁移"。基于本文成果可进一步延伸的研究包括：(a) 在 OT-CFM 之上引入时长/能量/韵律的解耦控制，使合成语音支持情感与风格条件化；(b) 探索用同族 Dardic 语言（如 Shina、Gojri）做多语种联合训练，让更小的语言也能受益于跨语种共享声学先验；(c) 把 272-grapheme 词表扩展策略模板化，做成面向任意 Perso-Arabic 变音脚本（乌尔都语、普什图语等）的低资源适配 recipe；(d) 结合 LLM-based 大规模多语 ASR（如 Omnilingual ASR）的最新进展，把合成侧与识别侧形成闭环评估；(e) 引入语音自监督特征（如 XLS-R、WavLM）作为条件输入，进一步压缩对变音符号显式建模的依赖。
复现评估
可复现性较好：作者明确承诺代码与数据开源（项目页 https://gaash-lab.github.io/Bolbosh/、代码仓库 https://github.com/gaash-lab/Bolbosh），主干 Matcha-TTS 与 HiFi-GAN 均为公开实现，三阶段增强管线依赖 Resemble-Enhance 开源工具。训练在单卡 NVIDIA H100 NVL 上以 fp16 混合精度完成，配 8 个 dataloader worker 与有效 batch 128，整体算力门槛不算高。数据方面需要获取 RASA 克什米尔语数据集与 IndicVoices-R 的克什米尔语切分（合计约 79.89 h），这两个数据集分别由 AI4Bharat 团队发表，但需要按各自的数据许可申请。复现难度集中在三方面：一是 Perso-Arabic 文本归一化与 272-grapheme 词表构建需要细致处理 Unicode 变体；二是 ASR 代理评估需加载 ai4bharat/indicconformer stt ks hybrid ctc rnnt large 等受限访问的 Hugging Face 模型；三是主观 MOS 评估依赖 32 名母语克什米尔语听者，听者招募本身就有难度，因此客观 MCD/rWER 较容易复现、主观 MOS 则较难。
论文图表