Pisets：面向讲座与访谈的鲁棒语音识别系统 Pisets: A Robust Speech Recognition System for Lectures and Interviews
三组件架构（Wav2Vec2+AST+Whisper）提升俄语长音频转录质量
前置知识
Wav2Vec2
Wav2Vec2 是由 Facebook AI 提出的自监督语音表征学习框架。它通过在大量无标注语音数据上进行预训练，学习到丰富的语音特征表征。模型采用对比学习目标，将遮蔽的语音片段与正确的量化表征进行匹配。在本文中，Wav2Vec2 被用作语音活动检测（VAD）的核心组件，作者称其为'增强版 VAD'（VAD on steroids），因为它能够利用上下文信息更精确地判断语音片段的边界，而非简单地依赖固定阈值。
理解 Wav2Vec2 的表征学习能力是理解本文第一阶段语音分段机制的关键，它决定了后续 Whisper 模型处理的输入质量。
Audio Spectrogram Transformer (AST)
AST 是一种基于 Transformer 架构的音频分类模型，在 Audioset 本体上进行训练。它将音频信号转换为频谱图（spectrogram），然后利用 Vision Transformer 的自注意力机制对音频事件进行分类。AST 能够捕捉音频信号中的显著声学特征，在噪声环境和复杂声学空间条件下表现尤为出色。本文将其用于过滤语音检测器产生的误报（false positive）输出，减少被错误识别为语音的非语音片段。
AST 作为第二阶段过滤组件，是本文区别于 WhisperX 的关键创新之一，理解其音频分类能力有助于把握整个系统减少幻觉的机制。
Whisper
Whisper 是 OpenAI 提出的通用语音识别模型，结合了声学特征提取与自回归语言建模。它直接从原始音频信号生成语法连贯、带标点的文本，无需级联子系统。Whisper 采用编码器-解码器架构，编码器处理音频输入，解码器自回归地生成文本标记。尽管性能优异，Whisper 仍存在幻觉（hallucination）和计算效率（逐标记解码延迟）等局限性。
Whisper 是本文系统的核心转录引擎，理解其优势与局限性是理解本文动机和改进策略的基础。
课程学习（Curriculum Learning）
课程学习是一种训练策略，借鉴了人类学习的渐进式特点。训练从简单样本开始，逐步引入更复杂的样本。在本文的语境中，复杂性由输入音频数据的多样性决定，包括不同口音、背景噪声和声学条件。作者从简单、标注良好的数据开始，逐渐引入更复杂的示例，帮助模型处理更广泛的语音片段。这种方法基于 Schmidhuber 的'趣味、创造力和内在动机的形式理论'。
课程学习是本文提升 Wav2Vec2 和 Whisper 模型鲁棒性的核心训练策略，理解其原理有助于把握模型泛化能力提升的原因。
贝叶斯不变风险最小化（BIRM）
BIRM 是一种结合贝叶斯推断与不变风险最小化（IRM）的算法。IRM 旨在学习跨不同环境（domain）不变的特征表示，从而提升模型在未见环境中的泛化能力。BIRM 在此基础上引入贝叶斯框架，提供不确定性估计。在本文中，作者使用 BIRM 对 Whisper 进行微调，通过构建包含高质量标注和多样化音频信号的训练环境，使模型更好地应对识别任务。
BIRM 是本文提升 Whisper 在不同声学环境下鲁棒性的关键技术，理解其不变性学习机制是理解系统泛化能力的关键。
不确定性建模（Uncertainty Modeling）
不确定性建模旨在量化模型预测的置信度。在语音识别中，不确定性信息可用于：高亮不确定位置以便快速人工校正、基于不确定性分数拒绝转录某些难以听清的短语、以及为后续语言模型纠错提供线索。本文比较了三种不确定性估计方法：Whisper 的标记分数（token scores）、Whisper 与 Wav2Vec2 之间的预测不一致、以及原始音频与拉伸音频的 Whisper 预测不一致（测试时增强 TTA）。
不确定性建模是本文的重要贡献之一，理解其评估方法和实际效果有助于把握系统在实际应用中的可靠性和可解释性。
研究动机
现有的自动转录系统在处理讲座和访谈录音时面临严峻挑战。Whisper 模型虽然是统一的神经架构，结合了声学特征提取与自回归语言建模，能够直接从原始音频生成语法连贯、带标点的文本，但仍存在两个关键局限性：首先是幻觉（hallucination）问题，模型偶尔会产生语义不一致或上下文不合理的输出，尽管语法上是正确的；其次是计算效率问题，自回归的逐标记解码带来显著延迟，阻碍了实时应用。WhisperX 虽然通过非自回归并行解码和约束波束搜索等优化策略在一定程度上缓解了这些问题，但其 VAD 实现仍采用固定阈值方法，对声学信号的分析不够精细，且缺少对误报输出的过滤机制。此外，现有系统普遍缺乏有效的不确定性建模机制，用户无法识别转录中的可疑位置，这在医疗或法律等敏感场景中可能导致严重后果。
本文的目标是本文旨在开发一个名为'Pisets'（俄语中'抄写员'的意思，取自古罗马速记员 Tiro 的典故）的离线语音识别系统，专门面向科学家和记者群体。系统的核心目标是：通过三组件架构（Wav2Vec2 语音分段 + AST 误报过滤 + Whisper 最终转录）显著提升长音频数据在各种声学条件下的转录质量，同时最小化与 Whisper 模型相关的错误和幻觉。此外，系统还致力于引入先进的不确定性建模技术，为用户提供转录质量的量化指标，使用户能够快速定位和修正不确定的转录位置。
与已有工作不同的是，本文的独特切入角度体现在三个方面。第一，在 VAD 实现上，区别于 WhisperX 采用的 pyannote.audio 固定阈值方法，本文使用 Wav2Vec2 进行语音活动检测，利用其上下文理解能力更精确地确定语音片段边界。第二，在架构设计上，本文在初始识别阶段之后增加了 AST 过滤步骤（而非像 WhisperX 那样仅在转录前应用 VAD），这增强了发送给 Whisper 进行最终转录的片段的有效性。第三，本文引入了 Whisper 与 Wav2Vec2 输出之间的一致性检查机制（这在 WhisperX 中是缺失的），通过比较两个模型的转录结果来进一步最小化错误。此外，本文还系统地比较了多种不确定性估计方法，并证明了 Whisper 标记分数在实际应用中的有效性。
核心方法
Pisets 系统采用三组件级联架构，形成从初始识别到最终输出的转换链。整体思路是：首先利用 Wav2Vec2 进行语音活动检测（VAD），将长音频分割为语音片段；然后通过 AST 对这些片段进行误报过滤，剔除被错误识别为语音的非语音片段；最后使用 Whisper 对经过预处理的音频进行最终转录。每个组件都针对特定环节进行了优化：Wav2Vec2 采用课程学习策略在多样化的俄语语音语料上训练，AST 利用 Audioset 本体训练的音频分类能力过滤误报，Whisper 则通过 BIRM 算法微调以提升在不同声学环境下的鲁棒性。这种三阶段设计的核心理念是通过逐步精炼音频输入来减少最终转录中的错误和幻觉。
本文的核心创新在于两个关键区别。首先，AST 过滤步骤的位置：与 WhisperX 仅在转录前应用 VAD 不同，本文在初始识别（Wav2Vec2）之后引入 AST 过滤。这意味着 AST 能够基于 Wav2Vec2 的初步识别结果进行更精准的过滤，而不是仅仅基于原始音频信号。其次，一致性检查机制：本文将 Whisper 的转录结果与 Wav2Vec2 的初始输出进行比较，验证转录的准确性。这种双重验证机制（AST 过滤 + 一致性检查）是 WhisperX 所不具备的，它显著减少了误报和错误。此外，本文还引入了不确定性建模的系统性比较，包括 Whisper 标记分数、模型不一致和音频拉伸（测试时增强）三种方法。
方法步骤详情
系统的工作流程包含以下步骤：（1）语音分段：Wav2Vec2 模型接收原始音频输入，输出语音片段的边界。该模型在多样化的俄语语音语料上通过课程学习策略训练，能够利用上下文信息精确识别语音边界。输出为一系列音频片段，每个片段不超过 30 秒。（2）误报过滤：AST 模型接收 Wav2Vec2 输出的语音片段，对每个片段进行音频事件分类。AST 基于 Audioset 本体训练，能够区分语音和非语音音频事件。输出为过滤后的语音片段，剔除了被错误识别为语音的噪声或音乐。（3）最终转录：Whisper 模型接收 AST 过滤后的语音片段，进行并行转录。Whisper 通过 BIRM 算法微调，在包含高质量标注和多样化音频信号的环境中训练。输出为每个片段的文本转录。（4）一致性检查：将 Whisper 的转录结果与 Wav2Vec2 的初始输出进行对齐比较，识别不一致之处。使用序列匹配算法找到所有差异（插入、删除、替换），并通过启发式规则和语言模型验证来减少错误。（5）不确定性估计：对最终转录中的每个词计算不确定性分数，方法包括 Whisper 标记概率的聚合（min、sum 或 mean 操作）以及模型不一致检测。
技术新颖性
本文的技术新颖性体现在多个层面。在架构层面，三组件设计形成了一个渐进式的精炼链：Wav2Vec2 负责粗粒度的语音分割，AST 负责中粒度的误报过滤，Whisper 负责细粒度的转录。这种分层处理策略与 WhisperX 的单步 VAD + 转录架构有本质区别。在训练策略层面，课程学习的引入使 Wav2Vec2 和 Whisper 都能够从简单样本逐步适应到复杂样本，提升了模型的泛化能力。BIRM 算法的应用则使 Whisper 能够学习跨不同声学环境的不变特征表示。在不确定性建模层面，本文首次系统地比较了三种不确定性估计方法（标记分数、模型不一致、音频拉伸），并证明了 Whisper 标记分数的有效性。此外，一致性检查机制的引入为语音识别系统提供了一种新的质量保障手段。
实验结果
本文在七个长时长（20-40 分钟）的俄语音频测试集上进行了全面的实验评估。测试集包含不同词汇和语音领域的俄语科学讲座，录音在相对安静的声学环境中进行，但存在粉笔敲击黑板等背景噪声。为模拟更嘈杂的条件，作者将录音与语音类噪声和音乐噪声混合，信噪比（SNR）为 1 dB。在 Whisper 模型变体的比较中（Table 1），Whisper-Large-V3 在安静噪声条件下 WER 为 0.0931，BERT-F1 为 0.9661；在嘈杂噪声条件下 WER 升至 0.2409，BERT-F1 降至 0.9151。Whisper-Podlodka-V3（专门针对俄语优化的模型）在安静条件下 WER 为 0.1199（略高于原版），但在嘈杂条件下 WER 降至 0.2119，BERT-F1 为 0.9169，显示出更强的噪声鲁棒性。在 Pisets 与 WhisperX 的直接比较中（Table 2），Pisets 的 WER 为 0.1065，显著低于 WhisperX 的 0.1683；BERT-F1 为 0.9652，高于 WhisperX 的 0.9479。这表明 Pisets 架构在转录质量上具有明显优势。在不同 ASR 流水线配置的消融实验中（Tables 3-4），使用 Wav2Vec2 智能分块的 Whisper 在安静噪声下 WER 为 0.1065，BERT-F1 为 0.9652，显著优于使用统一分块的 Whisper（WER 0.1995，BERT-F1 0.9102）。在嘈杂噪声下，智能分块的优势更加明显（WER 0.2119 vs 0.3825）。值得注意的是，加入 AST 过滤后（智能分块 + AST），WER 略有上升（0.1109 vs 0.1065），BERT-F1 略有下降（0.9588 vs 0.9652），这表明在当前测试条件下，AST 的过滤效果可能过于激进。在计算效率方面（Table 5），使用 Wav2Vec2 智能分块的 Whisper 在最大推理时间上优于统一分块（152.524 秒 vs 192.045 秒），平均推理时间相近（133.219 秒 vs 136.377 秒）。在不确定性建模方面，实验结果表明，当仅将约 5% 的词标记为不确定时，可以捕获 35% 的所有错误（不包括因遗漏词导致的错误）。这使得不确定性高亮在实际应用中非常实用。然而，没有一种模型不一致方法能够持续优于 Whisper 标记分数作为不确定性来源。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长音频讲座转录（安静噪声环境） | WER ↓ | 0.1065（Pisets） | 0.1683（WhisperX） | 相对降低 36.7% |
| 长音频讲座转录（安静噪声环境） | BERT-F1 ↑ | 0.9652（Pisets） | 0.9479（WhisperX） | 绝对提升 1.73 个百分点 |
| Whisper 模型变体比较（安静噪声） | WER ↓ | 0.0931（Whisper-Large-V3） | 0.1199（Whisper-Podlodka-V3） | Whisper-Podlodka 在嘈杂噪声下更优（0.2119 vs 0.2409） |
| ASR 流水线配置消融（安静噪声） | WER ↓ | 0.1065（Wav2Vec2 智能分块） | 0.1995（统一分块） | 相对降低 46.6% |
| ASR 流水线配置消融（嘈杂噪声 SNR=1dB） | WER ↓ | 0.2119（Wav2Vec2 智能分块） | 0.3825（统一分块） | 相对降低 44.6% |
| 计算效率 | 最大推理时间（秒）↓ | 152.524（智能分块） | 192.045（统一分块） | 相对降低 20.6% |
局限与改进
本文承认了几个重要的局限性。首先，系统在处理同音异义词和具有相似语音特征的单词或短语时表现不足。作者指出，要提升此类场景的识别效果，需要在系统中引入不仅语义层面、还要语用层面的理解能力。对于生成式自回归模型，语用层面可以通过指令（提示）来阐明局部对话上下文和说话者使用的关键术语，但 Whisper 类架构在遵循这些指令方面存在局限性。其次，作者计划引入大型多模态模型（如 Qwen-Audio）来解决语用理解的挑战。从独立观察来看，本文还存在以下局限性：（1）测试集规模有限，仅包含七个长时长俄语音频，这可能限制了实验结果的统计显著性和泛化性。（2）实验主要针对俄语，对其他语言（尤其是英语、中文等）的适用性尚不明确。（3）AST 过滤步骤在当前实验中并未带来明显收益（甚至略有下降），其在不同场景下的有效性需要进一步验证。（4）不确定性建模虽然实用，但作者承认仅使用了最直接的方法，更先进的方法（如 Monte Carlo Dropout）的比较留待未来工作。（5）系统是离线设计的，不适用于实时转录场景。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，AST 过滤步骤的效果存疑：在 Table 3 和 Table 4 的消融实验中，加入 AST 后 WER 略有上升（安静噪声：0.1109 vs 0.1065；嘈杂噪声：0.2133 vs 0.2119），BERT-F1 略有下降（安静噪声：0.9588 vs 0.9652；嘈杂噪声：0.9160 vs 0.9169）。这表明 AST 的过滤可能过于激进，剔除了部分有效语音片段。改进方向包括：调整 AST 的分类阈值，或引入自适应过滤策略，根据音频的声学特征动态调整过滤强度。其次，测试集的多样性不足。七个音频均来自俄语科学讲座，缺乏对访谈、会议、多人对话等场景的覆盖。改进方向是构建包含多种语音场景、多种语言、多种声学条件的大规模测试集。第三，不确定性建模方法的比较不够全面。作者仅比较了三种方法，且承认 Monte Carlo Dropout 等更先进的方法尚未纳入比较。改进方向是系统地比较更多不确定性估计方法，并探索它们的组合策略。第四，一致性检查机制的启发式规则（如俄英字母替换的丢弃规则）较为粗糙，可能在某些场景下导致误判。改进方向是引入更精细的语言学规则或训练专门的分类器来判断差异的性质。第五，系统缺乏端到端的评估指标。虽然 WER 和 BERT-F1 是标准指标，但它们无法完全反映实际用户体验。改进方向是引入用户满意度评估或下游任务（如信息提取、摘要生成）的性能指标。
未来方向
作者明确提出了几个未来研究方向。首先，扩展不确定性处理能力，包括更系统地比较 Monte Carlo Dropout 等测试时增强方法，以及探索基于不确定性分数的转录拒绝策略。其次，增强对多语言数据集的适应能力，特别是提升英语语音（由非母语者说出）、孟加拉语、西班牙语等语言的识别效果。第三，引入大型多模态模型（如 Qwen-Audio）来解决语用层面的理解挑战，通过指令阐明局部对话上下文和关键术语。基于本文的成果，还可以延伸以下研究方向：（1）将三组件架构扩展到其他语言和领域，特别是中文、日文等声调语言或医疗、法律等专业领域。（2）探索实时转录版本，通过流式处理和增量识别实现实时应用。（3）将不确定性建模与主动学习结合，利用不确定性信息指导人工标注的优先级。（4）研究 AST 过滤的自适应策略，根据音频的声学特征动态调整过滤强度。（5）将一致性检查机制与大语言模型结合，利用 LLM 的语言知识来判断不一致的性质并提供修正建议。（6）探索模型蒸馏或量化等技术，降低系统的计算成本，使其能够在移动设备上运行。
复现评估
本文在可复现性方面做得较好。源代码已在 GitHub 公开发布（https://github.com/bond005/pisets），采用 Apache 2.0 许可证。Wav2Vec2 和 Whisper 的微调模型也在 Huggingface 上公开。训练数据使用了多个公开的俄语语音语料库，包括 Golos、Russian Librispeech、RuDevices、Taiga Speech 和 Podlodka Speech。然而，复现仍面临一些挑战：（1）计算资源要求：训练 Wav2Vec2 和 Whisper 需要大量 GPU 计算资源，特别是课程学习策略需要多次训练迭代。（2）数据预处理：论文未详细说明数据预处理的具体步骤，如音频格式转换、标注对齐等。（3）超参数选择：课程学习的复杂性调度策略、BIRM 的环境构建方法等关键超参数的选择依据未充分说明。（4）测试集：七个测试音频的具体来源和标注方法未详细说明，可能影响结果的复现。总体而言，开源代码和模型的发布大大降低了复现门槛，但对于想要在不同语言或领域上复现本文方法的研究者，仍需要投入相当的时间和计算资源来理解并调整各个组件的配置。
论文图表
展示了基于模型不一致的不确定性估计在实际转录中的应用示例。图中显示了一段俄语转录文本，其中不确定的词或短语被高亮标记。这使得用户能够快速定位需要人工校正的位置，而无需通读整个转录。
这张图展示了不确定性建模的实际应用价值，证明了本文方法在提升转录可用性方面的实用性。