语音优先国家的偏好：面向印度语言 TTS 的大规模成对评估与偏好分析

用 120K+ 成对比较为 10 种印度语 TTS 建立 BT 多维排行榜。

前置知识

Bradley-Terry 模型

一种基于成对比较结果估计多个对象相对实力的概率模型。它假设对象 $i$ 击败对象 $j$ 的概率为 $p(i>j) = \frac{\pi_i}{\pi_i + \pi_j}$，通过最大似然估计可从大量成对胜负记录中恢复出每个对象的潜在实力分数 $\pi_i$，再映射为 Elo 类评分。

本文核心技术：用 120K 条成对比较拟合 BT 模型来量化 7 个 TTS 系统的相对质量，并配合自助法 500 次重采样估计 95% 置信区间，是排行榜统计可靠性的基础。

MOS 与 MUSHRA 主观评测

MOS（Mean Opinion Score）让评分者对单条样本在 1-5 量表上给出绝对评分；MUSHRA 则在同一界面并行展示多个样本（带隐藏参考与锚点）进行多刺激打分。二者均依赖评分者内部校准，长时间评估容易出现评分漂移。

本文核心动机：MOS/CMOS/MUSHRA 在多语种 TTS 上灵敏度不够、扩展性差、可解释性弱，因此转而采用成对比较范式以获得更稳定的相对排序。

SHAP 特征归因

SHapley Additive exPlanations 基于博弈论 Shapley 值，为机器学习模型的每个输入特征分配对预测的边际贡献。它能够解释像 XGBoost 这类黑盒模型的全局特征重要性与单样本决策依据。

本文用 XGBoost 从六个感知轴预测总体偏好，再用 SHAP 量化各感知轴对偏好的相对贡献，从而得出「表达力与可懂度」是核心驱动因素这一可解释结论。

Spearman 秩相关系数 $\rho$

衡量两组排序单调相关程度的非参数统计量，取值范围 $[-1, 1]$，$\rho=1$ 表示完全同序，$\rho \geq 0.95$ 通常被视为「高度一致」。本文以此为阈值判断子样本排行榜是否已稳定。

可靠性研究的关键度量：用不同子样本拟合 BT 得到的系统排序与全样本排序间的 $\rho$，用于回答「多少评分者、多少句子才够」这一样本效率问题。

自助法（Bootstrap）置信区间

通过对原始数据有放回重采样 $B$ 次（本文明 $B=500$），每次重新拟合模型并记录参数，从而构造统计量的经验分布并得到 95% 置信区间。无需对参数分布做强假设。

BT 分数本身只是点估计，没有区间就无法判断两个系统差异是否显著；本文采用 500 次自助重采样，给出每位选手 95% CI 并据此判断「严格优于」关系。

代码混合（Code-Mixing）

在同一句子或段落中混用两种以上语言词汇，常见于印度真实场景（如英语专有名词嵌入印地语句子）。这种混合对 TTS 的发音、韵律和归一化都构成挑战。

本文基准显式划分 Normalized/Symbolic/Code-mixed 三个子集，其中 Code-mixed 占 4,164 句，是揭示商用系统对真实多语场景处理能力的关键。

研究动机

印度作为「语音优先」国家，22 种官方语言、广泛的双语使用和大量代码混合现象，对本语言 TTS 提出极高要求。但现有评估方法存在三重局限：MOS/CMOS/MUSHRA 等绝对评分依赖评分者内部校准，容易产生评分漂移，且无法跨系统直接比较；多数先前研究仅覆盖单一语言或少量系统，缺乏大规模、多语种、可解释的横向评测；而在 TTS 这种多维感知任务上，仅给总分会掩盖「到底是表达力差还是噪声多」这类诊断信号。已有 Speech Arena 等成对评测仅关注总体偏好，未在 10 种印度语上做过 7 个商用/开源系统的全维度对比。

本文的目标是本文目标是构建一个统计学可靠、可解释、跨语种可复现的多语 TTS 评估框架。具体而言：覆盖 10 种印度语（孟加拉、古吉拉提、印地、卡纳达、马拉雅拉姆、马拉地、奥里亚、泰米尔、泰卢固、乌尔都），收集 5,357 个本地与代码混合句子，对 7 个 SOTA TTS 系统（Gemini 2.5 Pro TTS、Eleven Labs v3、Sonic 3、Bulbul V3 Beta、Speech 2.8 HD、GPT-4o-mini TTS、Indic F5）开展成对评估，汇集 1,915 名母语评分者的 120K+ 比较；并沿 6 个感知轴（可懂度、表达力、音质、生动度、幻觉、噪声）做细粒度归因，最终给出统计学严格的多语排行榜。

与已有工作不同的是，切入角度有三层独特性：第一，把成对比较范式与多维感知归因绑定，提供「总体排序 + 维度诊断」双层结论；第二，把评估严格性做到「BT 分数 + 500 次自助 95% CI + 显著性感知排名」级别，避免了「分数差 10 是不是真优」这类主观争议；第三，把可靠性问题显式建模为「评分者数量 vs 句子数量」的样本效率曲线，给出可直接指导未来评测设计的预算建议（5 系统约 200 评分者、约 1000 句子即可 $\rho \geq 0.95$）。这是首个同时覆盖 10 种印度语、7 个商用与开源 TTS、并做多轴 SHAP 解释的大规模研究。

核心方法

整体思路是把 TTS 评测从「绝对打分」转向「相对比较 + 概率建模 + 归因解释」三件套。先用一个语言学受控的基准作为输入压力源，再用两阶段界面强制把「即时听觉判断」与「细粒度归因」分离，最后用 Bradley-Terry 把所有比较聚合成单一排行榜，用自助法估计不确定性，用 XGBoost+SHAP 反推各感知维度对偏好的贡献。在直觉层面，这就像让上千名裁判盲品两段 TTS 录音，先用「你更喜欢哪个」快速选出胜者锁定，再回头沿可懂度/表达力/音质等维度逐项打分，最后统计地合成一张总榜，并解释每项指标如何影响最终选择。

与已有方法相比，本文的本质区别有四点：(1) 把成对评测从「单维度总体偏好」升级到「总体 + 6 维细粒度」双层评估，并通过两阶段锁存设计避免评分者的事后合理化偏差；(2) 在 10 种印度语上做统一多语言 BT 拟合，并通过自助 CI 实现显著性感知排名，而非简单按分数降序；(3) 提出系统性样本效率分析，用 Spearman $\rho$ 与 BT CI 宽度联合估计「多少评分者/句子才够」，给出可迁移的设计指南；(4) 用 XGBoost + SHAP 在评测数据上反向建立「感知维度 → 总体偏好」的预测模型，证实表达力与可懂度是关键驱动因素。

方法步骤详情

方法分四步。① 基准构建：5,357 句覆盖 16 部署领域，分 Normalized/Symbolic/Code-mixed 三个子集（约 1,752/未知/4,164），用 GEMINI-3-PRO-PREVIEW 翻译，由母语专家三审并补充舌绕、应力测试等边缘用例。② 评分者招募：1,915 名通过听觉筛选与培训评估的母语者，覆盖 22 个邦，男女约 4:6，分 18-25/25-40/40-65 三档。③ 两阶段成对标注：阶段一仅做整体偏好（Model A/B/双优/双劣），提交即锁定；阶段二才展开可懂度、表达力、音质、生动度、幻觉、噪声 6 轴评估。每人评 150 句，总计 120K+ 比较。④ 统计建模：最大似然拟合 BT 模型 $\pi_i/(\pi_i+\pi_j)$，500 次自助重采样得 95% CI，映射为 Elo 分数，采用「CI 不重叠即严格优于」的保守准则；侧路径上用 6 轴二值特征训练 XGBoost 预测「Model A 胜出与否」，再以 SHAP 量化各轴贡献。

技术新颖性

技术新颖性主要落在评估科学层面而非模型本身：(a) 双阶段锁存工作流解决了主观评测中「先看分项再给总分」的串扰问题；(b) 把显著性感知 BT 排名（即 CI 不重叠才认为严格优于）引入语音评测，先前 Chatbot Arena 等工作已用此范式但 TTS 领域少见；(c) 用 SHAP 在评测数据而非模型预测数据上做归因，给出更具行为学意义的解释；(d) 在 7 系统 + 10 语言规模的真实数据上，首次系统量化了「评分者/句子」最小预算，并发现「排名稳定所需样本量」小于「分数精确估计所需样本量」这一非平凡结论（5 系统 ~200 评分者即 $\rho \geq 0.95$）。

实验结果

核心发现四组。① BT 总榜：Gemini 2.5 Pro TTS $1128.53 \pm 3$ 第一（胜率 70%），Eleven Labs v3、Sonic 3 CI 内并列（$1056 \pm 2$、$1051 \pm 3$），Indic F5 $805.75 \pm 3$ 垫底（胜率 19%），商云 vs 开源差 ~323 分。② 域级（Figure 2）：Gemini 16 域全胜，Speech 2.8 HD 在 Stress Test 第一，多系统 Tongue Twisters 并列。③ 输入类型（Table 4）：Gemini Code-mixed/Normalized/Symbolic 三子集分别 1135.45/1120.12/1143.68 全第一；Bulbul 在 Symbolic 升至 $1048.20$，对原始数字更鲁棒。④ 归因可靠性：SHAP 显示表达力 +1.01、可懂度 +0.62、生动度 +0.60、音质 +0.43、幻觉 +0.17、噪声 +0.10；XGBoost 在 5 个未见语种以 86.1% 准确率预测总体偏好，证评分标准跨语种稳定。

**Table 1**: Benchmark & Rater Demographics Statistics

**Table 2**: Granular perceptual axes used for pairwise evaluation

**Table 3**: Overall leaderboard based on Bradley-Terry scores

**Table 4**: Bradley-Terry scores (↑) across benchmark input types: Code-mixed, Normalized and Symbolic

**Figure 1**: Language-wise rankings of evaluated TTS systems based on Bradley-Terry scores with bootstrap CIs

**Figure 2**: System ranks shift across benchmark domains

**Figure 3**: Multi-dimensional perceptual performance of TTS systems measured by average win rates across six axes

**Figure 4**: Mean absolute SHAP values showing the relative contribution of each perceptual axis to overall preference

查看结构化数据

任务	指标	本文	基线	提升
10 语种 TTS 总体排名	Bradley-Terry Elo 类分数（↑，95% CI）	Gemini 2.5 Pro TTS = 1128.53 ± 3，胜率 70%	Eleven Labs v3 = 1056.28 ± 2，Sonic 3 = 1050.83 ± 3，Bulbul = 1021.91 ± 3，Speech 2.8 HD = 993.94 ± 6，GPT-4o-mini = 942.76 ± 4，Indic F5 = 805.75 ± 3	Gemini 较第二名领先约 72 分（远超 CI 宽度），相对垫底 Indic F5 领先约 323 分；在 10 语中 9 语第一，仅马拉地语与 Eleven Labs v3 接近持平。
Code-mixed 子集排名	BT 分数（↑）	Gemini = 1135.45 ± 3	Eleven Labs v3 = 1054.00 ± 3；Indic F5 = 812.54 ± 4	Gemini 在真实代码混合场景下仍稳居第一，相对 Indic F5 高出约 323 分。
Symbolic 子集排名	BT 分数（↑）	Gemini = 1143.68 ± 5	Bulbul V3 Beta = 1048.20 ± 5（升至第二）；Speech 2.8 HD = 958.15 ± 10	Gemini 仍第一，但 Bulbul 在 Symbolic 上显著超越 Eleven Labs v3（未在该子集列入前三），呈现系统级优势反转。
Normalized 子集排名	BT 分数（↑）	Gemini = 1120.12 ± 3	Sonic 3 = 1049.68 ± 3；Eleven Labs v3 = 1059.28 ± 3	归一化子集下 Gemini 仍保持约 60 分以上领先。
感知维度 → 总体偏好预测	分类准确率（5 语种留出集）	86.1%（范围 83.6% – 91.0%）	无监督基线 50%（随机）；未单独比较基线 XGBoost	在未见过的 5 种语言（孟加拉、卡纳达、马拉雅拉姆、马拉地、乌尔都）上准确率达 86.1%，证实评分标准跨语种迁移。
样本效率下限（5 系统）	Spearman ρ ≥ 0.95 所需评分者数	约 200 评分者（μCI = 17.36）	7 系统约 100 评分者（μCI = 21.47）；3 系统约 500 句即够	给出明确预算：5 系统 + 200 评分者 + 1000 句子即可达成可信排行榜。

局限与改进

作者明确承认的局限包括：仅在无风格条件（no style conditioning）的默认配置下评测，未涵盖各系统的全部能力（如情感预设或多说话人切换）；仅用 BT 模型，未与 Thurstone、Plackett-Luce、Elo 等其它排名模型对比；评分者均为印度本土母语者，未验证结论在非母语听众或跨方言群体上的迁移性；语料以 GEMINI-3-PRO-PREVIEW 翻译为主、辅以原生采集，翻译偏差无法完全排除；以及六大感知轴虽然合理，但「幻觉」与「噪声」CI 偏低导致归因灵敏度不足。从独立观察看，Indic F5 作为开源专科模型落后约 323 分差距巨大（且仅覆盖 1 个商业难以触达的低资源语种乌尔都），但作者并未深入探讨这种代差是否来源于训练数据量还是架构；评分者奖励按行业标准但梯度未公开，可能引入选择偏差；评测在非流式、无语境对话状态下进行，与 Chatbot Arena 式的真实对话 TTS 场景不同。

独立分析的弱点

独立视角看四点弱点：(1) 双阶段锁存虽然避免了「回头合理化」，但把 6 维打分推迟到第二阶段会引入顺序偏差——评分者已经知道谁赢，可能倾向给赢家更高分。建议改进：随机化阶段顺序或将整体偏好与分项放在两个独立评分会话中。(2) 「Both Good」与「Both Bad」选项让评分者放弃判断，可能稀释 BT 拟合信号，建议下一步把这两种情况通过单独问卷或 Norris 评分向 Bradley-Terry 模型扩展。(3) Indic F5 仅在乌尔都等长尾上独有，但评测时不同系统支持语言数差异极大（Gemini 10 语，Speech 2.8 HD 仅 2 语），比较时未做语言均衡加权，可能放大「主流语言强」的模型优势，建议引入加权 BT。(4) SHAP 归因基于 XGBoost 二分类模型，未用因果框架或反事实分析，无法回答「如果表达力下降一档，偏好变化多大」这样的边际效应问题，建议配合 AML 或因果森林做敏感性分析。

未来方向

作者提出的方向是：(a) 把评估范式扩展到更多语种与多说话人切换场景；(b) 融合对话上下文与情感预设扩展评测维度。基于本文成果可延伸的研究包括：(1) 用 LLM 作为「裁判模型」（LLM-as-a-judge）拟合 BT 分数并和人类评分做相关性分析，缩减小语种评测成本；(2) 把多维感知分数作为可控变量引入 RLHF，让 TTS 直接针对 Bradley-Terry 偏好而非似然做对齐；(3) 结合 Speech Arena 实时投票，把静态 BT 升级为在线 Plackett-Luce 流式排名；(4) 探索「跨语言迁移」机制——把高资源语种 BT 信号蒸馏到低资源语种，缓解 Indic F5 这类专科模型与商用通用模型之间的代差；(5) 在 6 轴之上引入可读性、性别偏见、文化适配等新增量纲，构建更立体的语音质量标准。

复现评估

复现可行性较高但有门槛。开源情况：基准与偏好数据已发布在 https://huggingface.co/datasets/ai4bharat/SpeechArenaBench/，但是具体评分界面代码、两阶段锁存工作流代码、BT 拟合脚本与 SHAP 分析脚本未在文中指明仓库链接，需要联系作者获取。数据规模：5,357 句 × 7 系统 ≈ 37K 段音频 + 120K 比较日志，预计 50-100 GB 存储。算力门槛：TTS 推理为一次性成本，按默认非流式设置 7 模型推理 5K 句，约需数十到数百 GPU 小时，主要看商用 API 配额；Bradley-Terry 拟合与 500 次自助重采样在普通 CPU 上可在数小时内完成，XGBoost+SHAP 训练仅需分钟级。难度：中等偏上，重现价值最大的环节是「双阶段锁存标注平台」与「显著性感知排名准则」，前者需要前端与状态机设计，后者只需统计库即可。建议复用 Speech Arena 已有开源基础设施加速落地。

语音优先国家的偏好：面向印度语言 TTS 的大规模成对评估与偏好分析 Preferences of a Voice-First Nation: Large-Scale Pairwise Evaluation and Preference Analysis for TTS in Indian Languages