Typhoon ASR 实时：用于泰语自动语音识别的 FastConformer-Transducer 模型 Typhoon ASR Real-time: FastConformer-Transducer for Thai Automatic Speech Recognition
仅115M参数的流式泰语ASR模型，通过数据标准化实现与大型离线模型相当的准确率
前置知识
FastConformer-Transducer
FastConformer-Transducer 是一种专为流式语音识别设计的端到端架构。它由三个核心组件组成：（1）FastConformer 编码器，采用8×深度卷积下采样层将输入音频序列大幅压缩，相比标准 Conformer 提速约2.4倍；（2）Transducer（RNN-T）解码器，以帧同步方式逐帧生成输出，避免了自回归解码的延迟瓶颈；（3）联合网络（Joint Network），将编码器和解码器的表示进行融合并输出最终预测。这种架构支持真正的流式推理，是当前工业界高效流式ASR的主流选择。
本文的核心架构选择就是 FastConformer-Transducer，理解其工作原理是理解本文为何能在保持高准确率的同时实现45倍计算效率提升的关键。
文本标准化（Text Normalization）
文本标准化是将原始文本转换为规范形式的过程。在泰语ASR中尤为关键，因为同一书面形式可能对应多种口语表达。例如数字'10150'既可以作为邮编号码逐位读出（nueng sun nueng ha sun），也可以作为数量词读作一万零一百五十（nueng muen nueng roi ha sip）。标准化管道包括：数字读法消歧、重复标记（ๆ/mai yamok）展开、歧义符号处理（范围、减法、分隔符的消歧）以及外来词统一拼写等规则。
本文的核心论点是数据质量比模型规模更重要。标准化管道是本文最重要的技术贡献之一，直接决定了模型能否达到与大型模型相当的准确率。
伪标签（Pseudo-labeling）与共识转录
伪标签是一种半监督学习方法，利用已有模型为未标注数据自动生成标签。本文采用的共识转录管道更进一步：同时使用三个泰语 Whisper-Large 模型对同一音频进行转录，采用多数投票策略选出共识结果。当三个模型意见不一致时，默认采用性能最好的 Pathumma-Whisper-Large 的输出。所有选出的转录还需经过复杂度自动验证，含有阿拉伯数字或特殊标点的内容会被标记为'复杂'并送交人工审核。
这是本文构建11,000小时高质量训练数据的核心方法。没有大规模人工标注的情况下，共识转录是确保数据质量的关键。
课程学习（Curriculum Learning）
课程学习是一种训练策略，按照从易到难的顺序组织训练数据或分阶段调整训练目标。本文用于伊桑方言适应的两阶段课程学习：第一阶段对全模型进行低学习率（$\eta = 10^{-5}$）的10个epoch微调，主要调整编码器的声学滤波器以捕获伊桑方言的声调变化；第二阶段冻结编码器，仅用高学习率（$\eta = 10^{-3}$）微调解码器和联合网络15个epoch，专注于学习伊桑方言的词汇结构和方言特有助词。
两阶段课程学习是本文成功将模型扩展到伊桑方言同时避免灾难性遗忘的关键策略，消融实验表明第二阶段带来了5.57%的绝对CER提升。
字符错误率（CER）
字符错误率是衡量ASR系统准确性的核心指标，计算公式为 $CER = \frac{S + D + I}{N} \times 100\%$，其中 $S$ 为替换错误数，$D$ 为删除错误数，$I$ 为插入错误数，$N$ 为参考文本的字符总数。泰语没有词边界分隔符，因此使用字符级错误率比词错误率（WER）更为合理。CER越低表示模型性能越好。
本文所有实验结果均以CER为评估指标，理解其含义是解读实验结果的基础。
研究动机
当前泰语ASR领域面临的核心问题是：主流方案过度依赖Whisper等大型编码器-解码器模型，这些模型虽然离线转录精度高，但存在严重的延迟和计算效率问题。具体而言，Whisper Large-v3拥有约15.5亿参数，需要处理填充后的30秒音频块，自回归解码过程引入不可预测的延迟。在流式应用场景（如实时字幕、语音助手、客服系统）中，这种延迟是不可接受的。此外，泰语作为一种声调语言且不使用空格分词，带来了独特的挑战：同一书面形式可能对应多种口语表达（如数字'10150'的两种读法），重复标记（ๆ）的展开规则复杂，外来词拼写不一致。这些问题导致现有模型在实际部署中出现幻觉输出，尤其是在数字、日期和专业术语方面。
本文的目标是本文的具体目标是构建一个参数量仅为115M的流式泰语ASR模型，使其在计算效率上比Whisper Large-v3提升45倍的同时，保持与大型离线模型相当的识别准确率。更深层次的目标是验证一个假设：在低资源语言场景下，数据质量和一致性的重要性不亚于模型架构和规模。通过系统的数据标准化管道和共识转录策略，让一个紧凑模型就能达到甚至超越大型模型的效果。
与已有工作不同的是，本文的独特切入角度在于：不追求模型规模的扩展，而是将数据质量提升到'一等公民'的地位。现有的泰语ASR研究主要关注扩大模型参数或增加训练数据量，但忽略了训练数据中普遍存在的标准化不一致问题。本文认为，正是这些数据层面的系统性歧义（而非模型容量不足）导致了性能瓶颈。通过严格的文本标准化、共识转录和两阶段课程学习，本文展示了数据驱动的方法论可以在保持模型紧凑的同时实现高性能。此外，本文还发布了Typhoon ASR Benchmark和TVSpeech数据集，通过统一的评估规范解决了泰语ASR领域长期存在的'评估可复现性危机'。
核心方法
本文的方法论可以概括为：用数据质量弥补模型规模的不足。整体技术路线分为三大支柱：（1）数据构建——通过共识转录管道和严格标准化构建11,000小时高质量训练数据；（2）模型训练——基于预训练的英语FastConformer-Transducer，在标准化数据上微调；（3）方言扩展——通过两阶段课程学习将模型适应到伊桑方言。直觉上，如果能让训练数据中的目标文本完全遵循统一的规范化标准（例如所有数字都按口语形式书写、所有重复标记都正确展开），那么模型就无需学习多种等价表达，从而在有限参数下实现更高的准确率。这与'垃圾进垃圾出'的朴素认知一脉相承，但本文将其系统化、工程化到了极致。
本文的核心创新点有三个层面。第一个层面是共识转录管道：同时使用三个独立的泰语Whisper-Large模型对同一音频进行标注，采用多数投票策略选出共识结果，当无共识时默认采用性能最好的Pathumma-Whisper-Large。这种策略既保证了标注质量，又大幅降低了人工标注成本。第二个层面是系统化的文本标准化：针对泰语特有的歧义问题（数字读法、重复标记、歧义符号、外来词拼写）制定了一整套规范化规则，将所有训练目标转换为统一的'口语规范形式'。第三个层面是两阶段课程学习：对于方言适应，第一阶段低学习率全模型微调捕获声学特征，第二阶段冻结编码器仅微调解码器学习方言词汇。与已有方法的本质区别在于：其他方法主要通过扩大模型容量来提升性能，而本文通过数据质量控制实现了更高效的性能提升。
方法步骤详情
本文方法的具体步骤如下。第一步，共识转录管道：将原始音频同时送入Pathumma-Whisper-Large、Biodatlab-Distill-Whisper-Large和Internal-Whisper-Large三个模型，获得三份转录结果；通过多数投票选出一致的转录，无共识时采用Pathumma的输出；对选出的转录进行复杂度验证，含有阿拉伯数字或特殊标点的标记为'复杂'并送人工审核，其余直接入库。第二步，文本标准化：对所有转录应用标准化规则，包括数字标准化（将阿拉伯数字转换为口语泰语形式）、重复标记展开（将ๆ展开为重复词）、歧义符号消歧（根据上下文将'-'判断为范围、减法或分隔符）和外来词统一拼写。第三步，模型训练：初始化自预训练的英语FastConformer-Transducer（Large），在11,000小时标准化数据上微调一个epoch，使用AdamW优化器、余弦退火学习率调度（峰值0.001）、5000步热身、有效批量大小128，2×NVIDIA H100 GPU训练约17小时完成。第四步，伊桑方言适应：第一阶段用低学习率 $\eta = 10^{-5}$ 对全模型微调10个epoch捕获声学特征；第二阶段冻结编码器，用高学习率 $\eta = 10^{-3}$ 微调解码器和联合网络15个epoch学习方言词汇。
技术新颖性
本文的技术新颖性体现在多个方面。首先，共识转录管道的设计巧妙地利用了模型多样性来提高伪标签质量，这种'委员会投票'的思想在机器学习中并不新鲜，但本文将其系统化地应用于泰语ASR的数据构建，并设计了复杂度验证机制来自动识别需要人工审核的样本。其次，文本标准化管道的全面性是前所未有的，它不仅处理简单的数字转换，还解决了泰语中特有的上下文相关歧义（如重复标记的正确展开、范围符号的消歧），这些规则的制定基于Na-Thalang等人2025年提出的泰语转录指南。第三，两阶段课程学习的声学-语言学分离策略具有创新性：第一阶段让编码器适应新的声调系统，第二阶段让解码器学习方言特有词汇，这种分工避免了两个目标之间的冲突。最后，Typhoon ASR Benchmark通过统一的规范化标准解决了泰语ASR领域长期存在的评估不一致性问题，为后续研究提供了可靠的比较基准。
实验结果
本文的核心发现可以总结为三个方面。第一，在Gigaspeech2-Typhoon标准测试集上，Typhoon ASR Realtime（流式模型）实现了6.81%的CER，与Pathumma-Whisper Large-v3（离线模型，5.84% CER）仅差0.97个百分点，但计算成本降低了45倍。在TVSpeech真实场景测试集上，Typhoon ASR Realtime的CER为9.99%，甚至优于Pathumma的10.36%。第二，当使用相同的数据管道训练Whisper架构时，Typhoon Whisper Large-v3在Gigaspeech2上达到4.69% CER（相比Pathumma的5.84%降低了约20%相对误差），在TVSpeech上达到6.32% CER（相比Pathumma的10.36%降低了4.04%绝对值）。这证明了数据管道的贡献独立于模型架构。第三，伊桑方言适应的消融实验表明，两阶段课程学习的第二阶段（语言学适应）带来了5.57%的绝对CER提升（从16.22%降至10.65%）。值得注意的是，Gemini 3 Pro在本文的严格规范化基准上表现不佳（Gigaspeech2上12.50% CER，TVSpeech上10.95% CER），这表明通用基础模型难以满足高精度ASR的逐字转录要求。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 泰语标准语音识别（Gigaspeech2-Typhoon） | CER (%) | 6.81%（流式）/ 4.69%（离线Whisper） | Pathumma-Whisper Large-v3: 5.84% | 流式模型接近离线基线；离线模型相对降低20%误差 |
| 泰语真实场景识别（TVSpeech） | CER (%) | 9.99%（流式）/ 6.32%（离线Whisper） | Pathumma-Whisper Large-v3: 10.36% | 离线模型降低4.04%绝对CER，流式模型也优于基线 |
| 伊桑方言识别 | CER (%) | 10.65%（流式） | Whisper-Medium-Dialect: 17.72% | 降低7.07%绝对CER |
| FLEURS泰语子集（规范化后评估） | CER (%) | 5.69%（离线Whisper，规范化参考） | Gemini 3 Pro: 6.91% | 降低1.22%绝对CER |
局限与改进
本文存在以下几个值得关注的局限性。首先，文本标准化管道的刚性与可读性之间存在权衡：模型被训练为输出口语化泰语（如用泰语音译英语词汇'website'为'เว็บไซต์'，用文字书写数字'10'为'สิบ'），这种输出虽然消除了歧义，但不适合直接展示给终端用户，需要逆文本标准化（ITN）后处理。其次，代码混合场景支持不足：当前模型优化的是泰语为主的语音，在泰英混合（这在技术领域和企业环境中很常见）场景下会强制将英语映射为泰语音译，而非保留拉丁字母。第三，语义理解能力有限：115M参数的模型主要依赖声学线索，缺乏大型基础模型的'世界知识'来解决复杂语义歧义或上下文相关的同音词。在伊桑方言评估中，尽管CER相近（10.65% vs Gemini的10.20%），人类评估中Gemini的偏好率更高，这表明本文模型在语义连贯性方面仍有差距。最后，评估基准的局限性也值得注意：尽管本文引入了严格规范化的评估标准，但这可能导致对未在规范化数据上训练的基线模型不公平。
独立分析的弱点
从独立分析的角度看，本文存在以下几个弱点。第一，训练数据的多样性不足：11,000小时的训练数据中，Gigaspeech2占了93%以上（10,329.5小时），这意味着模型对其他数据源的覆盖可能不够充分。建议增加更多样化的内部数据源，特别是技术对话和商务会议等实际应用场景的数据。第二，方言适应的泛化能力待验证：当前仅测试了伊桑方言，未涉及泰北（Kam Mueang）和泰南（Pak Tai）方言，两阶段课程学习策略在这些方言上的效果尚不清楚。建议在更多方言上进行系统性实验。第三，逆文本标准化（ITN）的缺失是一个实际部署的关键瓶颈：模型输出的口语化文本需要转换回书面形式才能用于显示、搜索等下游任务，但本文未提供ITN方案。建议开发基于上下文的ITN系统。第四，多说话人场景未涉及：实际部署中经常遇到多人对话场景，但本文的模型和评估均未考虑说话人分离和重叠语音处理。建议与说话人分离系统集成进行端到端评估。
未来方向
本文作者提出了几个未来研究方向，基于现有成果还可以延伸更多。作者提出的方向包括：（1）逆文本标准化（ITN）——将口语化泰语转换回书面格式，根据上下文线索判断是邮编、日期还是货币；（2）上下文偏置——通过浅层融合或上下文偏置技术实现运行时的领域适应，无需重新训练整个模型；（3）多说话人场景——集成说话人分离系统处理多人对话；（4）泰语方言扩展——将伊桑方言的成功经验推广到泰北和泰南方言，研究统一的零样本方言识别与适应模型；（5）设备端部署——利用115M参数的效率优势，探索INT8/INT4量化和ONNX、CoreML优化，实现隐私保护的离线泰语ASR。基于本文成果可延伸的方向还包括：（6）数据飞轮——利用当前模型的输出反馈改进伪标签质量，形成迭代改进循环；（7）多模态融合——结合视觉信息（如唇部动作）提升嘈杂环境下的识别率；（8）低资源语言迁移——将本文的数据标准化方法论应用到其他低资源语言。
复现评估
本文在复现性方面做得非常好，堪称低资源语言ASR领域的标杆。在开源方面，作者公开了代码（https://github.com/scb-10x/typhoon-asr）、模型权重（https://huggingface.co/typhoon-ai/typhoon-asr-realtime）和网站。在数据方面，发布了Typhoon ASR Benchmark（包含Gigaspeech2-Typhoon标准测试集1000条音频和TVSpeech鲁棒性测试集570条音频），以及Isan方言测试集，所有测试集的标注都遵循统一的规范化标准。在算力方面，微调过程使用2×NVIDIA H100 GPU，约17小时完成，这对于学术研究是可接受的。在评估方面，本文明确了所有评估指标的计算方式、规范化标准和测试集划分，降低了'评估不一致'带来的比较困难。不过需要注意的是，共识转录管道依赖三个预训练的泰语Whisper-Large模型，其中Internal-Whisper-Large可能未公开，这可能影响完整的数据管道复现。
论文图表