走向真正的多语言ASR：将语码转换ASR泛化到未见语言对 Towards Truly Multilingual ASR: Generalizing Code-Switching ASR to Unseen Language Pairs
研究语码转换ASR从已见语言对泛化到未见语言对的能力
前置知识
语码转换ASR（Code-Switching ASR, CS-ASR）
语码转换ASR是指识别包含多种语言交替出现的语音的系统。在单句话中，说话者可能在不同语言之间切换，例如我吃了lunch这种中英混合的表达。CS-ASR需要处理不同语言的声学模型、语言模型以及语言切换边界检测，比单一语言ASR复杂得多。核心挑战在于缺少多语言CS语音数据，因为对于N种语言，语言对数量是O(N²)，为每个对收集数据不现实。
本文研究CS-ASR，因此必须理解语码转换的定义和核心挑战（数据稀缺问题），才能理解作者为什么要研究泛化能力。
模型合并（Model Merging）
模型合并是一种无需重新训练就能组合多个独立微调模型能力的技术。核心思想是将不同任务的参数差分（delta）在权重空间中进行线性组合。Task Arithmetic是基础方法，将不同任务的参数差分线性组合；TIES-Merging进一步引入稀疏性和符号一致性的冲突解决；DARE则通过随机剪枝和重缩放提高合并鲁棒性。这些方法最初用于大语言模型，近期扩展到多模态和低资源场景。
本文核心贡献之一是探索模型合并能否让CS-ASR能力在语言对间迁移，需要理解合并的原理和不同方法的区别才能看懂Table 1的结果。
域泛化（Domain Generalization, DG）
域泛化是机器学习的一个研究方向，目标是在多个源域上训练，让模型在未见目标域上也能保持性能。DG方法通常假设不同域共享任务相关机制，而域特定特征会变化。从优化角度看，关键是在训练时让梯度在域间保持一致。Fish最大化不同域梯度的内积，Fishr对齐域级梯度方差，GGA（Gradient-Guided Annealing）通过早期梯度对齐防止过拟合。这些方法主要用于计算机视觉，本文首次系统评估它们在CS-ASR上的效果。
本文另一个核心方法是评估DG方法在CS-ASR跨语言对泛化中的效果，需要理解DG的假设才能理解为什么这些方法在CS-ASR上效果有限。
混合错误率（Mixed Error Rate, MER）
MER是评估语码转换ASR性能的指标，考虑了单个话语中不同语言特定的转录特征。与传统的词错误率（WER）不同，MER能够适应多语言混合场景，因为不同语言的分词、音素等不同。MER通常介于0到1之间，值越低表示识别越准确。例如Table 1中WHISPER-MEDIUM在KO-EN上的MER为0.26，表示26%的混合错误率。
本文所有实验都用MER作为评估指标，需要理解这个指标才能看懂Table 1中的结果和性能提升。
研究动机
语码转换ASR面临严重的数据稀缺问题。对于支持N种语言的多语言ASR模型，语言对的数量呈二次方增长，为每个对收集CS语音数据不现实。现有研究主要关注单个语言对（如中英、韩英），通过合成CS语音或对有限双语数据集进行对特定微调来提升性能。但这些方法存在本质的可扩展性限制：必须为每个语言对单独开发CS支持，无法泛化到未见语言对。例如，虽然已有韩英、日英、德英的CS数据，但韩日、韩德等非英语中心的语言对数据几乎不存在，导致这些语言对的CS识别能力严重缺失。
本文的目标是本文的具体目标是研究从有限已见语言对学习的CS-ASR能力能否泛化到未见语言对。具体而言，作者使用四种语言（英语EN、韩语KO、日语JA、德语DE），在三个已见语言对（KO-EN、JA-EN、DE-EN）上微调模型，然后在两个未见语言对（KO-JA、KO-DE）上评估性能。探索模型合并和域泛化方法能否减少对特定语言对CS数据的依赖，实现真正的多语言CS-ASR系统。
与已有工作不同的是，本文的独特切入角度是首次系统研究CS-ASR能力的跨语言对泛化问题，而非像前人那样专注于单个语言对的性能提升。作者构建了首个韩日和韩德CS-ASR评估数据集，填补了非英语中心语言对数据空白。更重要的是，作者从模型合并和域泛化的角度探索解决方案，而非继续依赖数据合成或对特定微调，这为CS-ASR研究开辟了新方向。
核心方法
方法整体思路分为三个阶段：首先在已见语言对上独立微调WHISPER-MEDIUM模型，然后探索模型合并将多个双语CS-ASR模型的能力组合，最后尝试用域泛化方法在训练时优化对未见语言对的泛化性能。直觉上，模型合并应该能组合不同语言对的CS能力，因为合并在权重空间进行线性组合；域泛化应该能学习语言对无关的CS表示，因为它优化跨域梯度一致性。技术路线上，作者系统评估了三种模型合并方法（Task Arithmetic、TIES、DARE）和三种域泛化方法（Fish、Fishr、GGA-L），并在自建的KO-JA和KO-DE评估数据集上验证效果。
核心创新点是将CS-ASR的跨语言对泛化问题建模为模型合并和域泛化问题，并提出CS-ASR的域特性与传统DG假设不匹配的见解。与已有方法的本质区别在于，前人通过合成数据或对特定微调提升单个语言对性能，而作者探索如何在不依赖特定语言对数据的情况下迁移CS能力。作者发现CS-ASR跨语言对不仅改变域，还改变输出分布（目标语言组合），因此传统DG方法假设任务机制共享、域特定特征变化的假设不成立，这解释了为什么DG方法效果有限。
方法步骤详情
方法步骤包括：1）数据准备：使用AI-Hub的KO-EN数据集、Shinnosuke等人的JA-EN数据集、Lee等人的DE-EN数据集作为已见语言对训练数据，构建450个KO-JA和387个KO-DE话语作为未见语言对评估数据。2）微调：对WHISPER-MEDIUM在每个已见语言对上独立微调，使用AdamW优化器，批量大小8，训练73步，学习率采用余弦衰减和10%线性预热。3）模型合并：使用MergeKit工具，对微调后的模型应用Task Arithmetic、TIES和DARE三种合并策略，包括两两合并和三模型合并。4）域泛化训练：在已见语言对上用Fish、Fishr、GGA-L方法训练，目标是优化跨语言对的梯度一致性。5）评估：使用混合错误率（MER）在已见和未见语言对上评估所有模型。
技术新颖性
技术新颖性体现在三个方面：首次系统研究CS-ASR的跨语言对泛化问题，填补了研究空白；构建首个韩日和韩德CS-ASR评估数据集，促进非英语中心语言对研究；发现CS-ASR的跨语言对泛化与传统域泛化假设不匹配，指出需要专门针对CS-ASR特性的方法。此外，Layer-wise MAV分析揭示CS适应主要集中在高层的语义和语言表示层，而非低层声学处理层，这为未来设计专门方法提供了理论指导。
实验结果
核心发现有三点。第一，单一语言对微调只能带来有限的跨语言对增益。如表1所示，在KO-EN上微调后，KO-JA的MER从0.44降至0.46（反而变差），KO-DE从0.39降至0.35（轻微改善）。只有在JA-EN上微调后，KO-JA的MER从0.44降至0.31（改善0.13），但KO-DE没有改善。这表明对特定微调的跨语言对迁移能力有限。第二，模型合并中TIES效果最好。TIES合并KO-EN+JA-EN后，已见对平均MER为0.14，未见对平均MER为0.32；而Task Arithmetic和DARE在三模型合并时严重退化（未见对平均MER为0.77）。第三，域泛化方法中只有Fishr略优于联合微调。Fishr在未见对上平均MER为0.33，比联合微调（MER为0.41）改善0.08，但绝对性能仍高于0.3，距离实用（已见对MER小于0.2）有较大差距。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语码转换ASR跨语言对泛化 | 混合错误率（MER） | TIES合并KO-EN+JA-EN，未见对平均MER为0.32 | 预训练WHISPER-MEDIUM，未见对平均MER为0.41 | 改善0.09（22%） |
| 域泛化在未见对上的效果 | 混合错误率（MER） | Fishr，未见对平均MER为0.33 | KO-EN+JA-EN+DE-EN联合微调，未见对平均MER为0.41 | 改善0.08（19.5%） |
| TIES合并的稳定性 | 三模型合并未见对平均MER | TIES，MER为0.34 | Task Arithmetic，MER为0.77；DARE，MER为0.77 | 改善0.43（56%） |
局限与改进
作者承认三个局限性：第一，未见语言对性能仍然有限，最佳方法（TIES）未见对平均MER为0.32，远高于已见对的MER小于0.2，距离实用部署有较大差距。第二，训练和评估数据数量和多样性有限。JA-EN训练集仅包含582个话语（单个说话者），KO-JA和KO-DE评估集每对仅两个说话者记录，限制了语言和说话者多样性。此外，未见对实验仅涉及训练时已见语言的组合，没有评估对全新语言（如法语或中文）的泛化。第三，实验仅限于WHISPER-MEDIUM模型，没有在更大的Whisper变体或最新的音频语言模型上评估，限制了对代码切换泛化的全面理解。我补充一个观察：本文只研究了英语中心的已见对（KO-EN、JA-EN、DE-EN），未见对也仅限KO-JA和KO-DE，没有测试完全不包含英语的语言对（如JA-DE），这可能影响结论的普适性。
独立分析的弱点
独立分析的弱点有四个。第一，数据规模小且说话者单一。JA-EN训练集仅582个话语、单个说话者，KO-JA和KO-DE评估集每对仅两个说话者，这可能导致模型过拟合到特定说话者，而非学习通用的CS能力。改进方向是收集更大规模、更多样化说话者的CS数据。第二，未见语言对性能与已见对差距大。最佳TIES合并未见对MER为0.32，而已见对MER为0.14，差距0.18。改进方向是设计专门针对CS-ASR特性的方法，而非直接应用现有的模型合并或DG技术。第三，实验仅限WHISPER-MEDIUM。WHISPER-MEDIUM是一个中等规模模型，可能不是最佳基线。改进方向是在更大模型（如WHISPER-LARGE）和最新音频语言模型上评估。第四，未见对评估仅限KO-JA和KO-DE，没有测试JA-DE等完全不包含英语的语言对。改进方向是构建更多样化的未见对数据集，验证方法的泛化性。
未来方向
作者提出的未来工作方向包括改进多语言CS数据质量和开发专门针对代码切换泛化的方法。基于论文成果可以延伸的方向有：第一，分析模型中负责CS行为的组件，设计针对性的架构修改。Layer-wise MAV分析显示CS适应集中在高层，可以在这些层引入语言对无关的适配器。第二，设计明确建模语言对迁移的域泛化目标，例如引入语言对嵌入或对比学习。第三，扩展训练和评估资源到更多语言对，包括非英语中心的组合。第四，在更大的Whisper变体和最新音频语言模型上评估，验证发现的普适性。第五，探索CS检测和识别的联合优化，先检测语言切换边界再识别，可能比端到端更易泛化。
复现评估
复现评估如下：开源情况方面，论文承诺开源KO-JA评估数据集（HuggingFace链接），但训练数据（AI-Hub KO-EN、Shinnosuke JA-EN、Lee DE-EN）可能需要单独申请。代码方面没有提到开源代码，但使用的是公开的MergeKit工具和PyTorch框架。数据方面，已见对训练数据规模不一，JA-EN仅582个话语，其他未明确；未见对评估集KO-JA 450个话语、KO-DE 387个话语。算力方面，所有实验在NVIDIA GeForce RTX 4090 GPU上用PyTorch 2.8.0完成，单对微调批量大小8、73步，合并和DG训练批量大小9、195步，总训练量不大。难度方面，中等。主要挑战是获取已见对训练数据（特别是AI-Hub需要申请），以及构建未见对评估集需要双语专家验证。但作者提供了详细实验设置（附录A），包括优化器、学习率调度等，便于复现。
论文图表