PRiSM：语音模型中音素实现的基准评测 PRiSM: Benchmarking Phone Realization in Speech Models
首个开源音素识别基准，揭示专用模型仍优于大型音频语言模型
前置知识
Phone Recognition (PR，音素识别)
音素识别是将语音信号转录为国际音标（IPA）表示的音素单元的任务。与自动语音识别（ASR）不同，PR 关注的是语音的物理实现（phone realization），而非语言特定的音位系统。例如，同一个词 tell 在主流美式英语中可能被转录为 [thEë]，在苏格兰英语中为 [thEl]，但其音位形式始终是 /tEl/。PR 系统需要捕捉这些跨语言、跨口音的细微发音差异，因此是跨语言语音处理的基础接口。
PR 是本文评测的核心对象，理解 PR 与 ASR 的区别（物理实现 vs 语言音位）是理解本文动机和评测设计的关键。
CTC (Connectionist Temporal Classification)
CTC 是一种用于序列到序列任务的损失函数和解码框架，特别适合语音识别。它通过引入空白标记（blank token）来处理输入序列（音频帧）和输出序列（音素/字符）之间的时间对齐问题，无需显式的对齐信息。CTC 假设输出序列中每个位置的预测是条件独立的，这使得推理时可以用维特比解码或束搜索高效地找到最优序列。Encoder-CTC 架构只使用编码器，不使用解码器，因此参数更少、推理更快。
本文发现 Encoder-CTC 架构（如 ZIPA-CTC 系列）在音素识别任务上表现最稳定，理解 CTC 的工作原理有助于理解为什么这种架构在跨语言场景中表现优异。
Large Audio Language Models (LALMs，大型音频语言模型)
LALMs 是将音频编码器与大型语言模型结合的多模态模型，如 Gemini 2.5 Flash 和 Qwen3-Omni-Instruct。这类模型通常在大规模闭源数据上训练，能够处理多种音频任务（语音识别、音频理解等），并通过文本接口输出结果。与专用 PR 模型不同，LALMs 的内部表征通常不可直接访问或难以分析，且缺乏与输入语音的严格时间对齐。
本文的一个核心发现是 LALMs 在音素识别和下游任务上仍落后于专用 PR 模型，这对评估 LALMs 的语音能力具有重要参考价值。
PFER (Phonetic Feature Error Rate，音素特征错误率)
PFER 是本文采用的核心内在评测指标，与传统的 Phone Error Rate（PER）不同。PER 将每个音素视为一个独立的 token 计算编辑距离，而 PFER 在发音特征（如圆唇度、浊音性等）层面计算编辑距离。具体来说，PFER 计算参考转录和预测转录之间所有发音特征的编辑距离总和，除以总音素数。这使得 PFER 能够捕捉更细粒度的发音差异，例如两个音素可能在音素级别相同但发音特征不同。
PFER 是本文内在评测的核心度量，理解其设计原理有助于理解为什么本文选择它而非传统的 PER，以及它如何更准确地反映模型的音素感知能力。
Probe (探针)
探针是一种轻量级评估方法，用于测试预训练模型的表征质量。在本文中，探针分为两类：Transcript Probe（转录探针，TP）使用模型生成的音素转录作为输入，通过双向 GRU 进行下游任务预测；Representation Probe（表征探针，RP）使用模型最后一层的隐藏表征作为输入，通过注意力池化和 MLP 进行预测。探针的设计使得评估不依赖于模型的微调，而是测试模型固有的音素信息编码能力。
探针是本文外在评测的核心机制，理解 TP 和 RP 的区别有助于理解为什么不同模型在不同任务上表现差异（如 Whisper 在 RP 上表现优异但在 TP 上一般）。
研究动机
当前音素识别（PR）系统的评测存在严重的盲点。首先，现有评测仅关注表面层面的转录准确率，不同研究在语言覆盖范围、音素库存和评测指标上缺乏标准化，导致结果难以跨研究比较。例如，模型在语言覆盖和音素库存上存在差异（Zhu et al., 2025），评测指标也不统一（Li et al., 2025）。其次，虽然固定指标并扩展测试数据集是常见做法，但由于音素转录数据稀缺，这种方法的扩展性很差。更重要的是，转录错误率并不能真实反映模型的音素能力或实际效用：PR 中的错误率本质上比 ASR 更嘈杂，因为音素对应的是更低层次的、基于发音器官定义的声学信号抽象，而非词汇单元。此外，转录准确率与下游任务性能之间的联系往往是假设而非实证验证的。模型实际上通过两个通道利用音素信息：显式转录和潜在内部表征，而后者尤其强大，能够编码丰富的音素线索，但仅基于转录错误率的指标无法捕捉这些表征的完整效用。
本文的目标是本文的目标是建立 PRiSM，第一个开源的标准化基准，用于全面评测 PR 系统的能力。PRiSM 旨在通过内在评测（转录错误）和外在评测（临床、教育、多语言场景下的下游任务性能）来暴露 PR 系统的盲点。具体目标包括：标准化转录评测流程，使不同研究的结果可比；评估下游任务效用，揭示转录准确率与实际应用性能之间的关系；支持从专用 PR 模型到大型音频语言模型的广泛系统评测；开源代码、评测方案和数据集，推动领域向具有稳健音素能力的多语言语音模型发展。
与已有工作不同的是，本文的独特切入角度在于将音素识别评测从单一的转录准确率扩展到双通道的综合评估。现有工作要么只关注转录错误（内在评测），要么只在特定下游任务上测试（外在评测），而 PRiSM 首次将两者系统地结合。本文观察到，模型通过显式转录和内部表征两个通道利用音素信息，且这两个通道在不同任务上各有优势。例如，病理语音评估更依赖表征中的声学线索，而多语言任务更依赖结构化的转录信息。这种双通道视角揭示了单一转录指标的根本局限：即使两个模型的转录错误率相近，它们在下游任务上的表现可能差异很大。此外，PRiSM 还引入了针对音素特性的分析方法（如音位学与声学信号的消融实验），帮助理解模型行为背后的机制。
核心方法
PRiSM 的评测框架可以类比为对一个翻译系统的双重考核：不仅要检查它的译文是否准确（内在评测），还要看这些译文在实际应用中是否有用（外在评测）。整体技术路线分为三个层次：首先，内在评测使用 PFER 指标测量模型生成的音素转录与真实转录之间的距离，这直接反映模型的核心音素识别能力。其次，外在评测通过两种探针（转录探针和表征探针）在三类下游任务上评估模型效用：病理语音评估（构音障碍可懂度预测、儿童语音障碍检测）、第二语言语音评估（L1 分类、L2 评估）和多语言语音识别（语言识别、语音地理定位、音素库存归纳）。最后，PRiSM 还包含分析实验，探究模型行为的内在机制，如音位学依赖与声学信号依赖的平衡、零样本音素库存归纳能力等。这种三层设计使得研究者不仅能比较模型性能，还能理解性能差异的来源。
PRiSM 的核心创新在于揭示了音素识别评测中一个被忽视的关键事实：转录准确率并不能代表模型的全部音素能力。本文发现，模型通过两个互补通道利用音素信息——显式转录（人类可读的音素序列）和内部表征（模型隐藏层中的连续向量），而这两个通道在不同任务上各有优势。例如，在病理语音评估中，表征探针（RP）通常优于转录探针（TP），因为病理语音的关键特征（如音色、韵律）难以被离散的音素符号完全捕捉；而在多语言地理定位中，TP 优于 RP，因为音素序列的分布差异提供了更结构化的区分信号。这一发现意味着，仅用转录错误率评测 PR 系统是不充分的，必须同时评估两个通道的下游效用。与已有工作（如 SUPERB、Dynamic-SUPERB）相比，PRiSM 专门针对音素能力设计评测，覆盖了临床、教育和语言学等实际应用场景，而非通用语音任务。
方法步骤详情
PRiSM 评测框架的具体步骤如下：第一步，选择待评测的 PR 系统，本文涵盖三大类模型：Wav2Vec2Phs（基于 Wav2Vec2 的对比预训练模型）、ZIPAs（基于 Zipformer 的编码器-CTC 模型）和 POWSMs（基于 E-Branchformer 的编码器-解码器模型），以及 Gemini 2.5 Flash 和 Qwen3-Omni-Instruct 两个大型音频语言模型。第二步，内在评测：对每个测试集，使用模型生成音素转录，计算 PFER（公式 1），涵盖已知语言变体（TIMIT、L2-ARCTIC、Speech Accent Archive）和未知语言（DoReCo 45 种语言、VoxAngeles 95 种语言、Tusom2021）。第三步，外在评测 - 转录探针（TP）：将模型生成的音素转录作为输入，使用 2 层双向 GRU 加均值池化作为探针，在各下游任务上训练和评估。第四步，外在评测 - 表征探针（RP）：提取模型最后一层的隐藏表征，使用注意力池化后接 MLP 作为探针进行评估。第五步，分析实验：包括音位学与声学信号消融（在 TIMIT 上逐步遮蔽音素，观察 PFER 变化）、零样本音素库存归纳（在 DoReCo 上评估）、地理定位分析（在 Vaani-Hi 上评估）和 LALMs 偏差分析。所有实验使用 5 个随机种子报告均值和标准差。
技术新颖性
PRiSM 的技术新颖性体现在多个方面。首先，它是第一个专门为音素识别设计的开源基准，填补了该领域缺乏标准化评测框架的空白。与 SUPERB 和 Dynamic-SUPERB 等通用语音评测不同，PRiSM 专注于音素能力，覆盖了临床、教育和语言学等实际应用场景。其次，PRiSM 引入了双通道评测（转录探针 + 表征探针），揭示了单一转录指标的局限性。这一设计借鉴了 Turian et al. (2022) 的表征探针方法，但首次将其系统地应用于 PR 评测。第三，PRiSM 使用 PFER 替代传统的 PER 作为内在评测指标，能够捕捉更细粒度的发音特征差异。第四，PRiSM 包含针对音素特性的分析实验（如音位学消融），这些实验设计具有原创性，能够揭示模型行为的内在机制。最后，PRiSM 评测了从专用 PR 模型到 LALMs 的广泛系统，为不同技术路线的比较提供了公平的平台。
实验结果
本文的实验结果揭示了多个重要发现。在内在评测中（Table 3），ZIPA-CTC-NS 在已知语言变体和未知语言上均表现最佳，已知语言平均 PFER 为 10.6，未知语言平均为 19.0。一个重要趋势是语言暴露的重要性：MultiIPA 虽然在预训练阶段见过英语，但在微调阶段未见，导致其已知语言 PFER 为 15.2，显著高于其他模型。在未知语言上，LALMs 表现极差，Gemini 2.5 Flash 在 DoReCo 上 PFER 高达 105.3，Qwen3-Omni-Instruct 更是达到 150.2，这表明 LALMs 的音素识别能力严重不足。在外在评测中（Table 4），转录探针（TP）和表征探针（RP）呈现互补模式：ZIPAs 在 TP 上表现优异（综合得分 44.3），尤其在病理语音任务上（DYS-ez: 56.6, DYS-ua: 51.1），而 Whisper 在 RP 上表现最佳（综合得分 68.5），这表明大规模 ASR 预训练产生的表征保留了丰富的音素信息。一个关键发现是 TP 和 RP 的任务依赖性：病理语音更依赖 RP（平均提升约 15 分），多语言任务更依赖 TP，L2 语音介于两者之间。音位学消融实验（Figure 2）揭示了模型架构对音位学依赖的影响：Wav2Vec2Phs 在高遮蔽率下仍保持较低 PFER，表明其更依赖声学信号；而 ZIPAs 和 POWSM 在高遮蔽率下 PFER 显著上升，表明其更依赖音位学模式。零样本音素库存归纳实验（Figure 3）显示 POWSM-CTC 在精度上领先（约 0.55），ZIPA-CTC-NS 在召回率上领先（约 0.55），说明编码器-CTC 架构和多语言训练的结合对未知语言的泛化至关重要。地理定位分析（GEO-v）中，TP 显著优于 RP（平均误差 146 km vs 253 km），证明了音素序列的分布差异对细粒度方言区分的重要性。LALMs 偏差分析显示，Gemini 2.5 Flash 在 GEO-v 上出现严重的地理模式崩溃，约 65% 的预测集中在新德里附近的 3-4 个坐标簇，Hit@1 仅 6.5%；在 L1-eda 上，LALMs 对罗曼语口音有明显偏差，25.8% 的斯拉夫/巴尔干口音和 28.5% 的南亚口音被误分类为罗曼语。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 已知语言变体音素识别（PR-tmt/arc/saa 平均） | PFER ↓ | ZIPA-CTC-NS: 10.6 | MultiIPA: 15.2, Gemini 2.5 Flash: 13.7 | 相对 MultiIPA 降低 30.3% |
| 未知语言音素识别（PR-drc/vox/tsm 平均） | PFER ↓ | ZIPA-CTC-NS: 19.0 | Gemini 2.5 Flash: 53.8, Qwen3-Omni: 105.4 | 相对 Gemini 降低 64.7% |
| 构音障碍可懂度预测（DYS-ez，EasyCall） | Kendall's τ ↑ | TP ZIPA-CTC-NS: 56.6, RP ZIPA-CTC: 73.2 | TP Gemini 2.5 Flash: 27.9, RP Whisper: 74.8 | TP 相对 Gemini 提升 102.9% |
| L1 口音分类（L1-eda，EdAcc） | F1 ↑ | TP ZIPA-CTC-NS: 6.7, RP ZIPA-CTC: 13.9 | TP Gemini 2.5 Flash: 6.4, RP Whisper: 24.3 | RP Whisper 领先，ZIPA 在 TP 上略优于 Gemini |
| 语言识别（LID-fl，FLEURS-24） | F1 ↑ | TP ZIPA-CTC-NS: 95.9, RP ZIPA-CTC-NS: 96.8 | TP W2V2P-XLSR53: 94.1, RP Whisper: 96.3 | TP 提升 1.9%，RP 提升 0.5% |
| 综合外在评测得分 | PRiSM Score ↑ | TP ZIPA-CTC-NS: 44.2, RP Whisper: 68.5 | TP Gemini 2.5 Flash: 31.6, RP WavLM: 59.4 | TP 提升 39.9%，RP 提升 15.3% |
局限与改进
本文在 Limitations 章节坦诚地指出了多项局限性。首先，PRiSM 的评测覆盖受限于可用的标注数据集，导致语言、方言、口音和说话风格的覆盖不完整，可能反映底层语料库的偏差。其次，音素转录本身并非单一的客观真实值，它依赖于标注指南、标注者判断和选择的音素库存，基于 IPA 的接口可能遗漏或规范化掉语言特定或梯度的音素现象。第三，转录探针和表征探针各有局限：转录探针对数据集偏差或低质量转录可能过度拟合虚假线索（如序列长度），表征探针对池化策略敏感，音素信息可能分布在不同层中。第四，模型可能受益于任务特定的解码超参数和提示，但本文使用默认设置和仅包含关键指令的提示，以评估基础音素能力，这可能低估了模型的最佳性能。从我的观察来看，本文的外在评测主要集中在英语和少数语言上，对真正低资源语言的覆盖不足；此外，评测的下游任务（如地理定位、口音分类）在实际应用中的重要性可能因场景而异，缺乏更广泛的用户研究来验证评测结果的实际价值。
独立分析的弱点
从独立分析的角度，PRiSM 存在以下几个弱点和改进方向。首先，外在评测的探针设计可能过于简单：转录探针使用 2 层双向 GRU，表征探针使用注意力池化加 MLP，这种轻量级设计虽然便于标准化比较，但可能无法充分发挥某些模型表征的潜力。改进方向是引入更复杂的探针架构（如 Transformer 探针）或允许有限的微调，以更好地区分模型能力。其次，LALMs 的评测使用零样本提示而非微调，这可能不公平地限制了它们的性能。虽然作者的目的是评估基础音素能力，但考虑到 LALMs 在实际应用中通常通过提示工程优化，增加少量示例或微调条件下的评测会更有参考价值。第三，GEO-v 任务仅覆盖印地语方言，结论的泛化性有限，建议扩展到更多语言的方言数据。第四，音位学消融实验（Figure 2）的分析停留在模型层面，缺乏对具体语言或音素类别的细粒度分析，例如某些辅音簇或元音系统的变化可能揭示更多模型行为模式。第五，本文未评测模型的计算效率和推理速度，这对实际部署至关重要。
未来方向
未来研究方向可从多个维度展开。作者提出的包括：扩展语言、方言和口音的覆盖范围，收集更多音素转录数据以支持更全面的评测。基于本文成果可延伸的方向包括：首先，探索表征探针的最优架构，研究不同层的表征对不同下游任务的贡献，可能发现任务特定的最优表征层。其次，将 PRiSM 的评测框架扩展到连续语音的音素对齐（forced alignment）评测，这对语音学研究和语言文档化有重要价值。第三，研究 LALMs 的音素能力提升路径，包括通过音素特定的预训练目标或知识蒸馏从专用 PR 模型到 LALMs。第四，将评测扩展到更多临床场景（如语音治疗的效果评估）和教育场景（如发音教学的自动反馈）。第五，探索音素识别与其他语音任务（如情感识别、说话人识别）的联合评测，研究音素信息在这些任务中的作用。
复现评估
PRiSM 在可复现性方面表现优异。首先，本文完全开源，代码、评测方案和数据集均在 GitHub 上发布（https://github.com/changelinglab/prism），使用 MIT 许可证。其次，评测数据集大部分来自公开资源，如 TIMIT（LDC 许可）、DoReCo（CC0 1.0）、FLEURS-24（CC BY 4.0）等，数据获取门槛低。第三，实验设置清晰，所有探针实验使用 5 个随机种子报告均值和标准差，超参数明确（学习率 2e-4 用于表征探针，1e-3 用于转录探针，早停耐心 5 轮）。第四，计算资源需求合理：每个转录探针在单张 40GB GPU 上最多运行 15 分钟，每个表征探针最多 3 小时，总计约 1k GPU 小时可完成全部评测。然而，评测 LALMs 需要访问闭源 API（Gemini 2.5 Flash）或较大模型（Qwen3-Omni-Instruct），这可能对部分研究者构成障碍。此外，某些数据集（如 UASpeech）需要特殊许可，可能限制部分研究者的使用。
论文图表
图中展示了 W2V2P-LV60 模型在 GEO-v 任务上的一个样本的梯度归因图。红色区域支持正确的地理定位预测，蓝色区域反对。图中显示模型能够检测到双辅音（如 [ll] 和 [kk]），这是某些印地语方言的特征。
这张图展示了转录探针如何利用音素序列的分布差异进行细粒度方言区分，提供了模型决策的可解释性。