Polyglot-Lion：通过平衡微调 Qwen3-ASR 实现新加坡高效多语言语音识别 Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR
用平衡微调策略在单GPU上训练出媲美10B模型的多语言ASR系统
前置知识
ASR（自动语音识别）
自动语音识别是将人类语音转换为文本的技术。现代ASR系统通常采用序列到序列的编码器-解码器架构，编码器将音频的声学特征（如log-Mel滤波器组）映射为高维表示，解码器基于这些表示自回归地生成文本token。评估指标包括WER（词错误率）和CER（字符错误率），分别基于编辑距离计算替换、删除和插入错误的数量。
本文核心就是构建ASR系统，需要理解其基本架构和评估指标才能读懂实验设计和结果。
WER/CER（词错误率/字符错误率）
WER = (S + D + I) / N，其中S是替换错误，D是删除错误，I是插入错误，N是参考词数。CER同理，但计算字符级别的错误。WER适用于英语、泰米尔语等有空格分隔的语言，而中文采用CER是因为缺乏明确的词边界。
论文的实验结果全部基于WER和CER，理解这些指标的计算方式是解读结果的基础。
平衡多语言采样
在多语言训练中，不同语言的数据量通常差异巨大。平衡采样通过对低资源语言数据进行上采样（复制多次）来确保每个语言在训练中获得相等的曝光度。具体而言，假设语言A有1000条数据，语言B有100条，则对语言B上采样10倍，使得每个batch中A和B的比例约为1比1。
本文的核心方法就是平衡采样策略，理解其原理和工作方式是掌握论文贡献的关键。
语言标签条件
在多语言ASR中，一种常见做法是在解码器输入前插入一个特殊的语言识别token（如en、zh），告诉模型当前输入是哪种语言。这可以提高准确率，但引入了对外部语言识别的依赖。当语言标签错误或缺失时，识别质量会急剧下降，这在新加坡这种多语言混用的场景中问题尤为突出。
本文的重要创新就是移除语言标签条件，实现语言无关解码，理解这个概念才能领会本文的独特价值。
研究动机
新加坡的多语言环境对ASR系统提出了独特挑战：英语、普通话、泰米尔语和马来语四种官方语言在日常生活中共存，经常在同一对话甚至同一句话中出现。再加上Singlish这种克里奥尔语言混合了所有四种语言的词汇和语音特征，以及说话人年龄、口音和语码转换行为的巨大差异，使得新加坡成为多语言ASR最困难的现实环境之一。现有通用多语言模型如Whisper和MMS虽然在99种语言上大规模预训练，但在泰米尔语、马来语等低资源语言以及新加坡口音英语上的准确率明显下降。音频语言模型如Qwen2.5-Omni虽然具备强大的多语言能力，但7B+的参数量使其微调和部署成本极高。专业系统如MERaLiON-2-10B-ASR虽然覆盖了四种语言并取得了强大的性能，但需要128块H100 GPU和估计18,862美元的训练预算，将大多数学术团队和小型企业拒之门外。
本文的目标是本文的具体目标是开发一套适合新加坡四种官方语言的紧凑型多语言ASR模型系列，通过公开可用的语音语料库对Qwen3-ASR-0.6B和Qwen3-ASR-1.7B进行微调，在保持接近SOTA准确率的同时，大幅降低训练和部署成本。具体而言，作者希望模型在12个跨语言基准测试上的平均错误率接近MERaLiON-2-10B-ASR的14.32%，但训练成本控制在单GPU几十美元的范围内，推理速度提升20倍以上。更重要的是，模型需要能够处理新加坡特有的语言混合场景，无需预先知道输入的语言类型。
与已有工作不同的是，本文的独特切入角度在于强调数据平衡和轻量化微调的重要性，而非单纯追求模型规模扩大。与现有工作相比，本文提出了一个看似简单但极其有效的观察：在训练数据严重失衡（英语和普通话占65%，马来语仅占8%）的情况下，语言平衡的上采样策略比大规模参数扩张更能提升低资源语言的性能。此外，本文挑战了多语言ASR中语言标签条件的传统做法，通过实验证明在充分平衡的数据上，中等规模模型可以仅凭声学特征实现可靠的隐式语言识别。这种做法打破了现有系统对显式语言识别的依赖，更适合新加坡语码转换频繁的现实场景。
核心方法
本文的方法整体思路非常清晰：从Qwen3-ASR系列的两个开源检查点出发，通过对公开语料库的精心平衡微调，构建适合新加坡四种语言的高效ASR系统。直觉上，论文认为多语言ASR的性能瓶颈往往不是模型规模，而是训练数据的分布失衡。现有模型在英语和普通话上表现良好，但在泰米尔语和马来语上崩溃，本质上是因为梯度更新被高资源语言主导。通过强制每个语言在训练中获得相等的曝光度，模型能够更均匀地学习四种语言的声学和语言模式。技术路线上，本文采用两阶段确定性上采样算法，先在每个语言内部平衡不同数据集，再跨语言平衡不同语言。同时，移除所有语言标签条件，让模型从头学习从声音信号中识别语言。
本文的核心创新点有两个，都与已有方法有本质区别。第一，平衡多语言采样策略。现有系统通常采用温度采样来平滑语言分布，但这需要调节超参数且无法保证精确的语言平等。本文采用确定性两阶段上采样：第一阶段在每个语言组内上采样较小的数据集到该语言最大数据集的规模，第二阶段上采样每个语言组到所有语言中最大的规模。最终结果正好是每个语言占25%。这种策略简单透明、无需调参、保证精确平等。第二，语言无关解码。现有多语言ASR普遍使用语言标签条件，本文完全移除它，强迫模型从声学特征和语言模式中隐式识别语言。这与MERaLiON等依赖大量数据打标签的做法形成鲜明对比，更适合新加坡语码转换频繁的场景。
方法步骤详情
本文的方法分为四个主要步骤。首先，数据准备阶段收集公开可用的语音语料库，覆盖四种官方语言。包括英语的Librispeech和NSC（258.41小时训练）、普通话的AISHELL-1/3、Common Voice 23和Fleurs（259.87小时）、泰米尔的SLR127、SLR65、Common Voice 23和Fleurs（215.58小时）、马来语的Mesolitica和Fleurs（58.98小时）。所有音频超过30秒的样本被丢弃，转录文本规范化为小写并去除标点。其次，两阶段平衡采样。对于语言集合，其数据集集合，样本数为。第一阶段计算每个语言内最大数据集大小，对每个数据集上采样倍，然后随机子采样到精确条。第二阶段计算跨语言最大值，对每个语言上采样倍，然后子采样到条。最终训练集包含条样本，每语言精确占25%。第三步，训练配置。两模型在单块NVIDIA RTX PRO 6000 GPU（48GB显存）上训练48小时，使用AdamW优化器、余弦退火学习率调度、峰值学习率2乘以10的负5次方、批大小8累积4步（有效批大小32）。最后，推理时完全不提供语言标签，模型必须自行识别语言并生成对应语言的文本。
技术新颖性
本文的技术新颖性在于重新审视了多语言ASR中两个被广泛接受的设计选择。首先，温度采样虽然常见，但其隐式的分布平滑在极端数据不平衡下仍然不够。本文的两阶段确定性上采样虽然简单，但提供了精确的控制和可重复性，这对于研究社区的复现和迭代开发非常重要。其次，语言标签条件虽然在语言已知场景下提升性能，但在现实部署中引入了脆弱性。本文证明，在充分平衡的数据上，1.7B参数模型可以实现可靠的隐式语言识别，这挑战了现有系统对显式语言识别的依赖。从工程角度看，本文展示了成本效益的极致：81美元的训练成本（单GPU 48小时）达到接近18,862美元训练成本（128 GPU）的性能，这233倍的差距不仅仅是数字，更是民主化技术的体现。
实验结果
本文在12个基准测试上的核心发现可以概括为三点。第一，Polyglot-Lion-1.7B实现了14.85的平均错误率，与MERaLiON-2-10B-ASR的14.32几乎持平，同时参数量减少6倍、推理速度快20倍、训练成本低233倍。第二，平衡采样对低资源语言的提升是惊人的。在泰米尔语Common Voice上，Qwen3-ASR-1.7B原始错误率139.96%，平衡微调后降至39.19%，相对减少72%。在马来语Mesolitica上，从39.00%降至21.51%，相对减少45%。第三，语言无关解码的可行性得到了验证。在没有显式语言标签的情况下，模型在英语Librispeech上达到2.10 WER，优于MERaLiON的2.54；在普通话AISHELL-1上达到1.45 CER，优于MERaLiON的3.09；在马来语Mesolitica上达到21.51 WER，优于MERaLiON的25.90。唯一显著落后的是泰米尔语，这与泰米尔语的形态学复杂性和基础模型预训练数据中泰米尔语暴露不足有关。Polyglot-Lion-0.6B也表现优异，16.52的平均错误率远超Whisper-v3-turbo的33.04，说明模型规模不是决定性因素，数据平衡才是关键。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 英语ASR (Librispeech) | WER | 2.10 | MERaLiON-2-10B-ASR: 2.54 | 优于基线17.3% |
| 英语ASR (NSC新加坡英语) | WER | 5.28 | MERaLiON-2-10B-ASR: 4.62 | 略逊于基线14.3% |
| 普通话ASR (AISHELL-1) | CER | 1.45 | MERaLiON-2-10B-ASR: 3.09 | 优于基线53.1% |
| 普通话ASR (Common Voice 23) | CER | 4.91 | MERaLiON-2-10B-ASR: 8.83 | 优于基线44.4% |
| 泰米尔语ASR (Common Voice 23) | WER | 39.19 | MERaLiON-2-10B-ASR: 31.78 | 落后基线23.2% |
| 泰米尔语ASR (SLR127) | WER | 26.83 | MERaLiON-2-10B-ASR: 22.42 | 落后基线19.7% |
| 马来语ASR (Mesolitica) | WER | 21.51 | MERaLiON-2-10B-ASR: 25.90 | 优于基线17.0% |
| 马来语ASR (Fleurs) | WER | 9.98 | MERaLiON-2-10B-ASR: 8.55 | 略逊于基线16.7% |
| 平均错误率 (12个基准) | WER/CER | 14.85 | MERaLiON-2-10B-ASR: 14.32 | 略逊3.7%，但参数量少6倍 |
| 推理速度 | 秒/样本 | 0.10 | MERaLiON-2-10B-ASR: 2.02 | 快20.2倍 |
| 训练成本 | 美元 | 81 | MERaLiON-2-10B-ASR: 18,862 | 节省233倍 |
局限与改进
本文的局限性主要在三个方面。首先，在英语NSC上的差距（5.28 vs 4.62 WER）说明新加坡特有的发音模式、韵律特征和Singlish混合构造在1.7B参数规模上仍然具有挑战性，这可能是因为本文仅使用公开语料库，而MERaLiON-2-10B-ASR可能包含更多新加坡本地训练材料。其次，在泰米尔语上的差距更为明显（39.19 vs 31.78 WER），这反映了泰米尔语的复杂性：作为黏着语，它有庞大的形态学范式、高度融合的语音学和显著的印度语与新加坡泰米尔语之间的方言差异。基础模型预训练数据中泰米尔语暴露不足，仅靠有限的有标语音数据难以充分学习。第三，也是最重要的，本文的评估完全未包含语码切换数据集，如SEAME语料库或CS-Singlish基准。在新加坡，语码切换是常态而非例外，说话人在同一话语中混合两种或多种语言。这提出了与单语ASR本质上不同的挑战：模型必须同时跟踪多个语音系统、在语言特定的声学模型之间突然转换、处理可能不存在于任何单一语言训练语料库中的混合语言序列。缺乏这个维度的评估是论文的显著局限。
独立分析的弱点
本文的弱点可以从几个具体场景分析。第一，泰米尔语性能不足。从39.19到31.78 WER的差距看似不大，但考虑到泰米尔语在实际应用中的重要性，这可能成为阻碍。改进方向包括：融入新加坡本地语音数据如National Speech Corpus进行持续的领域自适应预训练；通过语音-文本联合训练从泰米尔语文本语料库中应用跨语言迁移，以丰富模型的泰米尔语语言表示而无需额外的有标语音数据。第二，缺乏语码切换能力。在真实的新加坡对话中，英语、普通话、马来语、泰米尔语混合出现，Singlish更是将这些语言的词汇和语法系统融合在一起。当前模型完全未在这个场景下训练，推理时可能无法正确处理混合语言输入。改进方向是扩展评估到SEAME和CS-Singlish等语码切换基准，并探索语码感知的训练目标，如在损失函数中显式惩罚对混合语言输入的错误识别。第三，推理资源虽然相比MERaLiON大幅降低，但对于边缘部署场景如手机、IoT设备，0.6B模型仍然可能过大。可以考虑进一步蒸馏或量化，或者开发更小的专用模型。
未来方向
本文作者提出的未来工作方向包括：扩展评估到语码切换数据集、探索语码感知的训练目标、融入新加坡本地语音数据、应用跨语言迁移学习。基于本文的成果，可以延伸出更多方向。首先，从单GPU训练扩展到多GPU分布式训练，探索更大规模数据集上的平衡采样策略，看看能否进一步缩小与MERaLiON的差距。其次，可以研究更精细的语言平衡策略，比如基于任务难度或数据质量的动态上采样，而非简单的等量上采样。第三，可以将本文的平衡采样和语言无关解码理念推广到其他多语言任务，如机器翻译、文本生成等，看看是否能取得类似的效果。第四，可以探索零样本和少样本的场景，即在训练语言之外的新语言上的表现，这对于多语言系统的实用性至关重要。最后，可以研究模型的可解释性，特别是模型如何实现隐式语言识别的，这对于理解模型行为和设计更好的系统都有价值。
复现评估
本文的复现性评估相对较好。作者提供了GitHub代码仓库（https://github.com/knoveleng/polyglot-lion），包含数据集下载链接、训练脚本和评估代码。所有训练数据都是公开可用的，包括Librispeech、NSC、AISHELL系列、Common Voice 23、Fleurs、SLR127、SLR65、Mesolitica。论文详细报告了训练配置：单块NVIDIA RTX PRO 6000 GPU（48GB显存）、训练时长48小时、AdamW优化器、余弦退火学习率、峰值学习率2乘以10的负5次方、批大小8累积4步。这些参数都明确可复现。数据预处理流程（超过30秒丢弃、小写化、去除标点）也详细说明。唯一可能的难点是计算资源：虽然只需要单GPU，但RTX PRO 6000是专业级显卡，普通研究人员可能需要调整批大小或使用梯度检查点来适应更小的显存。另一个潜在的复现障碍是数据集下载的总大小接近1TB（968.83小时音频），需要足够的存储空间和网络带宽。总体而言，本文的复现难度中等偏易，代码和数据都公开，配置明确，但需要一定的硬件投入。
论文图表
