← 返回 2026-01-30

Qwen3-ASR 技术报告：全场景语音识别与强制对齐模型家族 Qwen3-ASR Technical Report

Xian Shi, Xiong Wang, Zhifang Guo, Yongqi Wang, Pei Zhang, Xinyu Zhang, Zishan Guo, Hongkun Hao, Yu Xi, Baosong Yang, Jin Xu, Jingren Zhou, Junyang Lin 📅 2026-01-29 👍 41 2026-07-13 08:35
多语言模型 大语言模型 开源模型 强制对齐 语音识别
arXiv HuggingFace PDF

Qwen3-ASR系列：52语言ASR+LLM强制对齐，开源SOTA

前置知识

自动语音识别（ASR）

自动语音识别是将语音信号转换为文本的技术。传统ASR采用端到端范式，如Transducer（基于序列到序列的转录器）和AED（注意力编码器-解码器）。近年来，大音频语言模型（LALM）范式兴起，模型先对音频信号形成高层理解，再基于此理解生成转录文本，而非仅依赖底层声学模式匹配。这种范式在长文本转录、噪声鲁棒性、多语言覆盖等方面具有天然优势。

本文提出的Qwen3-ASR正是基于LALM范式的新一代ASR系统，理解传统ASR与LALM范式的区别是理解本文技术创新的基础。

强制对齐（Forced Alignment）

强制对齐是将语音与对应文本进行精确时间对齐的任务，即确定每个词或字符在语音中的起止时间戳。传统工具如Montreal Forced Aligner（MFA）依赖语言特定的音素集和词典，需要为每种语言单独训练模型。该技术广泛应用于字幕生成、语音数据标注等场景。

本文提出的Qwen3-ForcedAligner是首个基于LLM的多语言强制对齐模型，突破了传统工具的语言限制，理解强制对齐任务的本质有助于把握这一创新的意义。

AuT（Audio Transformer）编码器

AuT是本文采用的音频编码器架构，属于注意力编码器-解码器（AED）结构。它对Fbank特征进行8倍下采样，产生12.5Hz的token速率音频编码。配合动态flash attention窗口（1-8秒），支持流式和离线推理。AuT编码器在Qwen3-ASR中作为语音信号的特征提取器，将原始音频转换为高层语义表示。

AuT编码器是Qwen3-ASR的核心组件之一，理解其架构和工作原理对于理解整个模型的语音处理流程至关重要。

非自回归（NAR）推理

非自回归推理与自回归推理相对，不需要逐token生成，而是并行预测所有输出。在Qwen3-ForcedAligner中，模型将时间戳预测重构为槽填充任务，对所有时间戳槽同时进行预测，而非逐个生成。这种方式大幅提升了推理效率，使模型在高并发下仍能保持接近0.001的实时因子（RTF）。

NAR推理是Qwen3-ForcedAligner实现高效推理的关键技术，理解其与自回归推理的区别有助于理解模型的效率优势。

Group Sequence Policy Optimization（GSPO）

GSPO是一种强化学习优化方法，用于进一步提升ASR模型的识别质量。在Qwen3-ASR的训练流程中，GSPO在监督微调（SFT）之后作为第四阶段使用，通过约50k条语音数据（35%中英文、35%多语言、30%功能数据）进行训练，显著提升了模型在噪声环境下的鲁棒性、转录稳定性以及处理困难案例的能力。

GSPO是Qwen3-ASR训练流程中的关键创新环节，理解其作用有助于理解为什么该模型在复杂环境下表现优异。

研究动机

当前ASR系统面临多重挑战。首先，传统ASR模型在开放基准测试上的分数差异很小，但在真实场景中质量差异显著，现有公开测试集的标注错误已接近模型性能上限。其次，现有强制对齐工具如MFA和NeMo Forced Aligner需要为每种语言单独训练模型，缺乏统一的多语言解决方案；在长语音场景下，这些工具的时间戳精度急剧下降（如WhisperX在300秒拼接语音上AAS高达2708.4ms）。此外，大多数开源ASR模型在复杂声学环境（如唱歌、极端噪声、方言）下的鲁棒性不足，难以满足实际部署需求。

本文的目标是本文旨在构建一个全面的语音识别模型家族Qwen3-ASR，包含两个高性能ASR模型（1.7B和0.6B参数）和一个创新的强制对齐模型。具体目标包括：实现52种语言和方言的统一ASR和语言识别；在复杂声学环境下保持鲁棒识别性能；提供最优的精度-效率权衡以支持设备端部署；以及填补多语言强制对齐工具的空白。同时，团队希望通过开源模型权重和完整的推理微调框架，加速社区的ASR研究。

与已有工作不同的是，本文的独特切入角度在于三个方面。第一，充分利用大音频语言模型（LALM）的能力，将ASR从传统的声学模式匹配提升到语义理解层面，使得噪声鲁棒性、命名实体识别、多语言覆盖等问题能更自然地解决。第二，首次将LLM引入强制对齐任务，通过槽填充（slot-filling）范式重新定义时间戳预测，摆脱了对语言特定音素集和词典的依赖。第三，采用四阶段训练流程（AuT预训练→Omni预训练→ASR监督微调→ASR强化学习），特别是RL阶段的引入，这在ASR领域是相对新颖的训练策略，显著提升了模型在困难案例上的表现。

核心方法

Qwen3-ASR家族的方法整体思路是基于Qwen3-Omni基础模型构建专用的语音识别系统。直觉上，大型语言模型具备强大的语言理解和世界知识，如果能有效利用这些能力处理语音信号，就能克服传统ASR的诸多局限。技术路线上，首先使用AuT编码器将语音信号转换为12.5Hz的音频token序列，然后通过投影层将音频表示与Qwen3语言模型的输入空间对齐。对于强制对齐任务，模型将时间戳预测重新定义为槽填充问题，在转录文本中插入[time]特殊token，由模型直接预测对应的时间戳索引。整个家族采用统一的架构设计，共享AuT编码器和Qwen3语言模型骨干，仅在输出头和训练策略上有所差异。

本文的核心创新点体现在三个层面。首先，Qwen3-ASR-1.7B和Qwen3-ASR-0.6B通过四阶段训练流程实现了全场景语音识别，特别是ASR强化学习（RL）阶段的引入，使用GSPO算法在约50k条精选数据上训练，显著提升了噪声鲁棒性和转录稳定性，这在ASR领域是相对前沿的训练策略。其次，Qwen3-ForcedAligner-0.6B首次将LLM引入强制对齐任务，采用非自回归的槽填充范式，与传统方法的本质区别在于：它不需要语言特定的音素集或词典，一个统一模型即可支持11种语言和跨语言场景；时间戳精度在长语音上不退化（300秒拼接语音AAS仅52.9ms vs MFA的1742.4ms）。第三，动态attention窗口机制（1-8秒）使同一模型天然支持流式和离线推理，无需额外的流式适配。

方法步骤详情

Qwen3-ASR的训练分为四个阶段。第一阶段是AuT预训练，使用约4000万小时的伪标签ASR数据（主要为中英文）训练注意力编码器-解码器框架下的预训练编码器，获得在动态attention窗口下通用稳定的音频表示。第二阶段是Omni预训练，使用预训练的Qwen3-Omni作为基础模型，在多任务音频、视觉和文本数据上训练，0.6B和1.7B模型均使用3万亿token，获得多模态理解能力。第三阶段是ASR监督微调（SFT），使用与预训练数据不相交的小规模多语言数据进行风格转换，将模型训练为专用ASR模型，输出格式为`language [LID结果][转录文本]`，同时引入非语音数据、流式增强数据和上下文偏置数据。第四阶段是ASR强化学习（RL），使用GSPO算法在约50k条语音（35%中英文、35%多语言、30%功能数据）上进一步优化。对于Qwen3-ForcedAligner，训练数据使用MFA生成的伪标签，采用因果训练（非移位的输出和标签序列）和动态槽插入策略，交叉熵损失仅在时间戳槽上计算。

技术新颖性

Qwen3-ASR的技术新颖性体现在多个方面。在架构设计上，AuT编码器的动态flash attention窗口（1-8秒）是一个巧妙的设计，使同一模型既能处理短chunk的流式推理，也能处理长达20分钟的离线推理。在训练策略上，四阶段训练流程中RL阶段的引入是ASR领域的前沿尝试，GSPO算法的使用使模型在噪声环境下的WER从SFT阶段的水平进一步显著下降。在强制对齐方面，将LLM应用于该任务本身就是开创性的工作，非自回归的槽填充范式完全不同于传统的CTC-based或HMM-based方法，时间戳索引通过将时间值除以80ms帧持续时间进行离散化，最大支持3750个类别（对应300秒语音）。在推理效率上，Qwen3-ASR-0.6B在并发128时可实现92ms的平均TTFT和2000秒/秒的吞吐量，这在开源ASR模型中是前所未有的效率水平。

Architecture of AuT (left) and the overview of Qwen3-ASR (right).
Figure 2: Architecture of AuT (left) and the overview of Qwen3-ASR (right).
Illustration of Qwen3-ForcedAligner-0.6B.
Figure 3: Illustration of Qwen3-ForcedAligner-0.6B.

实验结果

Qwen3-ASR在多个维度上取得了领先结果。在英语基准测试上，Qwen3-ASR-1.7B在GigaSpeech上达到8.45% WER（优于GPT-4o-Transcribe的25.50%），在CommonVoice-en上达到7.39%（优于Whisper的9.90%），在TEDLIUM上达到4.50%。在中文基准上，WenetSpeech的net和meeting子集分别达到4.97%和5.88% CER，远优于GPT-4o的15.30%和32.27%；AISHELL-2-test达到2.71% CER。在方言识别上，KeSpeech达到5.10% CER（GPT-4o为26.87%），WenetSpeech-Yue短/长语音分别达到5.82%/8.85% CER。在内部鲁棒性测试中，Qwen3-ASR-1.7B在极端噪声环境下WER为16.17%（GPT-4o为36.11%），口吃测试为2.44%（GPT-4o为20.87%）。在多语言评估中，Fleurs 30语言子集上达到12.60%平均WER。在歌唱语音识别上，M4Singer达到5.98% WER，整首歌曲（含伴奏）的英文和中文分别达到14.60%和13.91% WER。在强制对齐方面，Qwen3-ForcedAligner在人类标注测试集上的平均AAS为32.4ms，相比MFA的141.3ms和NFA的101.2ms有大幅提升。在效率方面，0.6B模型在并发128时RTF低至0.064，吞吐量达2000秒/秒。

Features of the Qwen3-ASR model family.
Table 1: Features of the Qwen3-ASR model family.
Efficiency of Qwen3-ASR family models.
Table 2: Efficiency of Qwen3-ASR family models.
Evaluation on English, Mandarin Chinese, and a range of Chinese dialect benchmarks.
Table 3: Evaluation on English, Mandarin Chinese, and a range of Chinese dialect benchmarks.
Evaluation on internal English and Chinese test sets covering multiple accents and dialects, as well as challenging acoustic conditions and difficult speaking scenarios.
Table 4: Evaluation on internal English and Chinese test sets covering multiple accents and dialects, as well as challenging acoustic conditions and difficult speaking scenarios.
Evaluation of multilingual ASR systems on a comprehensive set of benchmark datasets.
Table 5: Evaluation of multilingual ASR systems on a comprehensive set of benchmark datasets.
Language identification accuracy (%) on open-source multilingual test sets.
Table 6: Language identification accuracy (%) on open-source multilingual test sets.
Singing-voice and song-transcription results.
Table 7: Singing-voice and song-transcription results.
ASR performance of the two inference modes on three open-source benchmarks.
Table 8: ASR performance of the two inference modes on three open-source benchmarks.
Accumulated Average Shift (AAS, ms) of Qwen3-ForcedAligner-0.6B and competing forced-alignment methods on MFA-labeled and human-labeled test sets.
Table 9: Accumulated Average Shift (AAS, ms) of Qwen3-ForcedAligner-0.6B and competing forced-alignment methods on MFA-labeled and human-labeled test sets.
查看结构化数据
任务指标本文基线提升
英语语音识别（GigaSpeech） WER (%) Qwen3-ASR-1.7B: 8.45% GPT-4o-Transcribe: 25.50%, Whisper-large-v3: 9.76% 相比GPT-4o降低67%，相比Whisper降低13%
中文语音识别（WenetSpeech meeting） CER (%) Qwen3-ASR-1.7B: 5.88% GPT-4o-Transcribe: 32.27%, Gemini-2.5-Pro: 13.47% 相比GPT-4o降低82%，相比Gemini降低56%
中文方言识别（KeSpeech） CER (%) Qwen3-ASR-1.7B: 5.10% GPT-4o-Transcribe: 26.87%, Doubao-ASR: 5.27% 相比GPT-4o降低81%，与最强商业API持平
极端噪声环境（内部测试） WER (%) Qwen3-ASR-1.7B: 16.17% GPT-4o-Transcribe: 36.11%, Gemini-2.5-Pro: 29.06% 相比GPT-4o降低55%
多语言ASR（Fleurs 30语言） 平均WER (%) Qwen3-ASR-1.7B: 12.60% Whisper-large-v3: 8.16%, GLM-ASR-Nano: 24.83% 在开源模型中表现优异，但与Whisper在全30语言上仍有差距
语言识别（4个基准平均） 准确率 (%) Qwen3-ASR-1.7B: 97.9% Whisper-large-v3: 94.1% 提升3.8个百分点
强制对齐（人类标注平均） AAS (ms) ↓ Qwen3-ForcedAligner: 32.4ms MFA: 141.3ms, NFA: 101.2ms 相比MFA降低77%，相比NFA降低68%
推理效率（并发128） 吞吐量 (秒/秒) Qwen3-ASR-0.6B: 2000 Qwen3-ASR-1.7B: 1219.51 0.6B模型吞吐量提升64%

局限与改进

尽管Qwen3-ASR取得了显著成果，但仍存在一些局限性。首先，在Fleurs全30语言子集上，Qwen3-ASR-1.7B的平均WER为12.60%，而Whisper-large-v3为8.16%，表明在长尾语言和极端语言多样性场景下仍有改进空间。作者也承认，性能下降主要来自语言多样性增加和长尾语言的处理不足。其次，Qwen3-ForcedAligner目前仅支持11种语言，虽然相比传统工具已有大幅扩展，但与ASR模型支持的52种语言/方言相比仍有差距。第三，模型的训练依赖大规模数据（AuT预训练使用约4000万小时伪标签数据，Omni预训练使用3万亿token），这对计算资源要求极高，可能限制社区的复现和进一步研究。第四，虽然论文展示了在歌唱语音和含伴奏歌曲上的强大性能，但在某些特定歌唱基准（如Opencpop）上，Qwen3-ASR-1.7B略逊于FunASR-MLT-Nano（3.08% vs 2.98%），说明在某些细分场景下仍有优化空间。此外，论文未详细讨论模型在极端低资源语言上的表现，以及在实时流式场景下端到端延迟的详细分析。

独立分析的弱点

从独立分析的角度，Qwen3-ASR存在以下可改进的弱点。第一，在Fleurs全30语言测试中，Qwen3-ASR-1.7B的WER（12.60%）高于Whisper-large-v3（8.16%），这主要源于长尾语言（如捷克语47.67%、波斯语53.76%）的高错误率，改进方向可以是增加这些语言的训练数据或采用语言特定的微调策略。第二，Malay和Indonesian之间的语言识别混淆是剩余LID错误的主要来源，可以引入更细粒度的语言特征或声学建模来区分这两种高相似度语言。第三，Qwen3-ForcedAligner的NAR推理虽然高效，但在某些场景下可能牺牲了时间戳的精细度（相比自回归方法），可以探索混合NAR-AR的架构来平衡效率和精度。第四，模型的流式推理采用2秒chunk大小和5-token回退策略，这在某些对延迟极其敏感的实时应用中可能仍显不足，可以研究更小chunk下的性能保持方法。第五，歌唱语音识别虽然整体领先，但在Opencpop等特定基准上仍有小幅差距，可以通过歌唱语音专项数据增强来进一步提升。

未来方向

作者在结论中提出将继续推进该开放模型家族在精度和功能上的发展。基于现有成果，可以延伸以下研究方向。第一，扩展Qwen3-ForcedAligner的语言覆盖范围，从当前11种语言扩展到ASR模型支持的全部52种语言/方言，实现真正的统一多语言强制对齐。第二，探索将Qwen3-ASR与其他模态（如视觉、文本）的更深度融合，构建更强大的多模态语音理解系统。第三，研究更高效的模型压缩和量化技术，使0.6B模型能在更边缘的设备上部署，同时保持识别精度。第四，利用RL阶段的成功经验，探索更先进的强化学习算法在ASR中的应用，如基于人类反馈的强化学习（RLHF）。第五，将Qwen3-ASR的技术路线扩展到其他语音任务，如语音翻译、语音情感识别、说话人识别等，构建统一的语音处理框架。第六，研究如何利用Qwen3-ASR的上下文偏置能力实现更好的个性化ASR，如特定领域术语的准确识别。

复现评估

在复现性方面，Qwen3-ASR家族提供了良好的开源支持。三个模型的权重均在Apache 2.0许可证下发布，托管在HuggingFace和ModelScope上，可直接下载使用。团队提供了完整的开源代码库，支持多种推理特性（多粒度对齐、流式转录、多语言处理）以及可复现的微调方案。然而，完全复现训练过程面临较大挑战：AuT预训练阶段需要约4000万小时的伪标签数据，Omni预训练阶段需要3万亿token的计算量，这远超一般研究机构的算力预算。ASR SFT和RL阶段的数据规模相对较小（RL阶段约50k条），但仍需要高质量的多语言标注数据。推理方面，论文基于vLLM v0.14.0进行效率测试，使用CUDA Graph和bfloat16精度，这些配置在主流GPU上均可复现。整体而言，使用预训练模型进行推理和微调是可行的，但从头复现完整训练流程需要大量计算资源和数据。

论文图表

Qwen3-ASR family includes all-in-one ASR models with advantages in multilingual, noisy speech recognition, singing voice recognition and inference efficiency, so as to a novel multilingual speech forced alignment model for predicting timestamps of words or sentences in ASR results.
Figure 1: Qwen3-ASR family includes all-in-one ASR models with advantages in multilingual, noisy speech recognition, singing voice recognition and inference efficiency, so as to a novel multilingual speech forced alignment model for predicting timestamps of words or sentences in ASR results.

该图展示了Qwen3-ASR模型家族的整体概览，包括两个ASR模型（1.7B和0.6B）和一个强制对齐模型的核心能力：多语言支持、噪声鲁棒性、歌唱语音识别、推理效率以及多语言强制对齐。图中用可视化方式呈现了模型在不同场景下的应用。

这张图是论文的开篇总览，帮助读者快速理解Qwen3-ASR家族的组成和核心优势，是理解全文的起点。

Table A.1: Evaluation on English, Chinese and a range of Chinese dialect benchmarks.

附录表格补充了Qwen3-ASR-Flash-1208（API版本）的基准结果作为参考。Flash版本在大多数基准上略优于1.7B开源版本，如LibriSpeech达到1.33|2.40% WER，AISHELL-2-test达到2.53% CER。

这个表格提供了API版本的参考性能，帮助读者了解开源模型与商业API版本之间的性能差距。

Table A.2: Evaluation of Qwen3-ASR on open-source multilingual benchmarks.

附录表格提供了每个语言的逐语言详细结果，包括MLS、CommonVoice、MLC-SLM和Fleurs的30种语言各自的WER。数据显示模型在东亚语言（中日韩）上表现优异，在部分欧洲语言（如捷克语、匈牙利语）上错误率较高。

这个表格提供了逐语言粒度的性能分析，帮助识别模型的优势语言和需要改进的长尾语言。