PSP：面向印度语言 TTS 的可解释逐音韵维度口音基准 PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech

PSP 的实现分为四步。第一步是质心构造(§IV.A):每个语种从 IndicTTS (Telugu/Tamil) 和 Rasa (Hindi) 中抽取 N=500 条工作室原生录音,要求至少 20-40 个不同说话人、每说话人上限 25 条以避免声纹主导。对齐使用语种专属 CTC 模型(AI4Bharat Hindi 对齐器、anuragshas Telugu 对齐器、Harveenchadha Tamil 对齐器),当 CTC 预测的本地文字与目标音素的规范转写匹配时,把对应 XLS-R layer-9 帧嵌入加入该音位的"袋子"。同一录音里把目标音素替换成其对应替代音(如卷舌 ṭ 换齿音 t)以同样方式取嵌入作为替代质心,从而保证 native/sub 质心通道一致。语料库级 FAD 用 N=1000 条 utterance-level XLS-R 嵌入,PSD 用 N=500 条五维韵律特征矩阵。质心在 HuggingFace Praxel/psp-native-centroids 以 CC-BY 公开。第二步是评分流水线(§IV.B):给定 (audio, text, language),先跑 torchaudio forced_align 把 CTC 发射对到 grapheme 序列,定位每个 expected-retroflex 帧段,提取该段 XLS-R 嵌入,按公式 $P_i(S)$ 计算逐位置保真度,utterance-级 RR 是位置均分,corpus-级 RR 是按预期卷舌数加权的话语均分。第三步是规范化与发布(§IV.C):逐位置逐话语分数附 bootstrap 重采样 95% CI,代码以 MIT 开源在 github.com/praxelhq/psp-eval (psp_eval/psp.py, psp_eval/bootstrap.py, psp_eval/modal_psp.py),用于 Modal 云 GPU 重现。第四步是 BYOR 系统集成(§VI.C2):在 Chatterbox (Resemble AI, 2025) 的 zero-shot voice-prompt 接口上,复用 Sarvam Bulbul / Cartesia 的 8-9 秒 Telugu 母语参考作为 audio_prompt_path,结合 exaggeration 0.7 + temperature 0.6 + min_p 0.1 的 Config B sampling,无需对声学解码器做 LoRA 即可实现"伪母语"输出,这是论文对比实验的关键技术基础。

技术新颖性可从五个角度归纳。第一,这是首个"印度语言优先"的逐音位口音基准,把卷舌、送气、元音长度、泰米尔-zha 四个语种特有维度同时纳入单一评分体系,这是 ASR 转写类指标和英语 PSR 都没法做到的。第二,用 XLS-R layer-9 嵌入 + native/sub centroid softmax 比值构造的"声学探针"是首次被系统化为可测量基准,它不依赖印度语 ASR 的质量,且能给出 0-1 区间内的可解释分数。第三,五维 PSD (pitch range + log-F0 mean + speech rate + nPVI + log-duration) 取代单点 MOS,为"韵律塌陷"提供可比较的分布级证据(论文中 ElevenLabs Telugu PSD 154 vs Sarvam 11 即典型案例)。第四,native-audio sanity check 内嵌在协议里,设计成"任何用户复现实验都能自检零点和噪声基底",这是 PSR 与现有 Frechet 度量都没有的元特性。第五,论文把基准直接耦合到自家 Praxy Voice 系统的训练回路中,R5→R6 数据规模扩 10× 的案例展示了"WER 改善 vs FAD 改善 vs PSD 退化"三种方向性解耦,从而定位干预模块(token path / 声学解码器 / 韵律条件)——这一"诊断回路"特色使 PSP 比 PSR 更接近系统开发工具,而不仅仅是测量报告。

独立审视后,有四个具体场景的弱点值得改进。第一,PSP 的 Telugu/Tamil 噪声基底 (Tables I: RR 0.47-0.54) 来自对齐器误差,这使得"绝对 PSP 分数"在 Te/Ta 上无法跨系统比较,只能做排名——改进方向有二,短期按作者 roadmap 用 native-normalised 变体 RR$_{\text{norm}}$=$\frac{RR_\text{sys}-RR_\text{native}}{1-RR_\text{native}}$ 做内置归一,长期用 MFA (Montreal Forced Aligner) 训练的 native 声学模型做质心而非 CTC 对齐。第二,FAD 在三语种上绝对数值差异巨大 (Hindi 56 跨度、Telugu 284 跨度、Tamil 204 跨度),这种语种间不可比性使跨语言结论 (Tables II) 只能靠相对变化而非绝对分数——改进方向是做 per-language z-score 标准化或 per-language 自适应基线。第三,逐音位探针只覆盖印度语四个特定音位对立 (retroflex / aspiration / length / zha),并不能诊断其他口音成分如重音、语调、过短停顿、辅音簇——这些都可能成为 v2 评分报告里的新增维度;Praxy Voice R5→R6 退化 PSD 的具体失败模式 (pitch range 窄 / speech rate 慢 / nPVI 接近 stress-timed 而非 syllable-timed) 表明数据集扩大到 1220 小时反而把"重音定时"模式从英语残留灌进泰卢固语声学解码器,PSP 当前没有"重音 vs 音节定时"这一维度去定位它。第四,Tamil-zha (ழ) 在 7 tokens 上崩塌率 85.7% 的样本量太小导致结果不可重复——v2 必须把它扩到 ≥50 tokens 才能给出可信排名,改进方向是与其它公开 Tamil zha 朗读素材合作扩充。

作者 §VII a) 给出 v2 路线图:300-utt 黄金集全跑、Karya 平台 5 母语评分员 × 50 句子做 MOS 校正 (Pearson ρ ≥0.6, Krippendorff α ≥0.6)、native-normalised 变体 CCERconj。从成果可延伸出五条研究线:(1)跨语种扩展到 Bengali/Gujarati/Malayalam 等其他印度语言,把 PSP 的"四音位维度"模板泛化为可配置的语言包,每种印度语言只需要重新构造 native/sub 质心;(2)超越 TTS,扩展到 ASR、语音翻译、Voice Cloning 上——把 PSP 的 PSD 五维特征空间扩展到 transcription/synthesis mismatched 场景,度量 ASR 对口音的容忍度;(3)与 ASR 错误解耦:把 ASR 在 native audio 上的 WER 作为 base model error,在 synthesized audio 上的 WER 作为 combined,做两因子分解,定量回答"多少 WER 退化来自口音、多少来自声学";(4)动态化:把 PSP 从静态后评估转向在线监控——在 Praxy Voice 这类迭代训练中,每个 checkpoint 自动跑 PSP,跟踪 6 维雷达图随训练步数的变化,把"什么时候 PSD 开始退化"作为早停依据;(5)端到端可微:把 PSP 损失加进 TTS 训练目标,使 PSP 成为一个"可最小化"的指标而非仅是"可测量"的指标,这是把"基准"转成"训练目标"的根本性升级;(6)与 LLM-as-judge 配合:用 Qwen 系列 LLM 做 automatic accent-naturalness 对齐,取代高成本 Karya 听者池。

代码、质心、300-utt 黄金集全部在 github.com/praxelhq/psp-eval 以 MIT 公开,质心在 HuggingFace Praxel/psp-native-centroids 以 CC-BY 公开;psp_eval/psp.py 是核心评分,psp_eval/bootstrap.py 出 95% CI,psp_eval/modal_psp.py 在 Modal 上跑 GPU 复现,README 提供端到端命令。数据上,IndicTTS、Rasa、FLEURS 均为 CC-BY-4.0 公开数据集,300-utt held-out golden 测试集随仓库发布;商业 API (ElevenLabs/Cartesia/Sarvam) 的合成音频因服务条款不可重发布,用户需用自己的 trial 账号跑脚本重新生成。算力需求上,XLS-R-300M layer-9 提取需要约 16GB GPU (A100/H100 即可),强制对齐用 IndicWav2Vec 三个语种模型各约 300-600MB,Modal 上的 psp_eval 流程定价低于 100 美元;主要瓶颈是 SpeechAlign 阶段的 CTC 解码,在 Hindi 上快、在 Te/Ta 上慢约 3×。复现难度分三档:(a) Tables V/VI (Hindi) 完全可复现,商业系统 WER/FAD 数字一致性高;(b) Tables III/IV (Telugu) 大体可复现,但 ElevenLabs/Cartesia 的合成器版本/声纹随时间变化,TTS 结果可比但非 byte-identical;(c) Tables VII (Tamil) 中 Tamil-zha 崩塌率因 n=7 极小,任何复现都会有 ≥10 个百分点波动,这是采样噪声而非复现失误。综合看,中小实验室可以在 1 块 A100 上 2 周内复现六个 PSP 维度的全部 v1 数字,但 v2 的 300-utt + MOS 校正需要 Karya 平台 5 评分员 × 50 句子 × 3 语种 = 750 个主观评分,这一项是更实质的瓶颈。