Qwen-Audio-3.1-ASR 技术报告：融合说话人分离转录与通用音频理解的多语言语音识别模型家族 Qwen-Audio-3.1-ASR Technical Report

完整流程分六步。步骤一（编码器自监督预训练）：输入数千万小时无标注语音的 Log-Mel 特征，随机掩码后用 BEST-RQ 目标预测固定随机投影加冻结码书生成的离散码；编码器兼容 Transformer 层从 Qwen3 LLM 初始化，非流式编码器把因果注意力换成双向注意力。步骤二（AED 监督训练）：把预训练编码器接入注意力编解码模型，在中英文大规模标注数据（经 VAD、Paraformer-V2/Whisper-large-v3/SenseVoice 多系统伪标签与逆文本正则化管线处理）上以交叉熵训练，完成后丢弃 AED 解码器、保留编码器。步骤三（Audio LLM 预训练）：解码器初始化自 Qwen MoE 语言模型，冻结编码器，在约 2000 万小时 ASR 与文-音交错数据上联合训练适配器和解码器。步骤四（cooldown 适应）：约 100 万小时更高质量数据，重平衡语言与方言分布，用 VibeVoice 复识别做 WER>0.3 的质量过滤，混入音频理解、说话人分离与语音问答对话数据。步骤五（SFT）：按变体配置任务混合，全量更新编码器和适配器、LoRA 适配解码器；识别侧包含指定语言转写、领域实体增广（LLM 造句 + CosyVoice3 语音合成 + 实体级过滤）、原生润色（真实语音用文本 LLM 重生成监督 + LLM 注入填充词后 TTS 合成）、历史上下文条件化（真实会话按音频 ID 还原顺序 + 同音歧义实体合成）、分层热词（P0 高置信、P1 广候选，由 LLM 按语义匹配分桶）；说话人分离侧用影视字幕加语言识别/声事件检测/分离模型交叉验证，以及 LLM 生成话题、混响噪声仿真的模拟会议，目标序列化为 [SPK|start-end]text；随后做 speaker-ID 损失 ×10 重加权与 80ms 时间戳量化；理解侧加入描述、单区间定位/多区间检索、开放式与选择题问答数据。步骤六（RL + 蒸馏）：FunVerl 用 vLLM 对每个输入采 $G$ 个回答，按数据源路由奖励（ASR 的 $1-\mathrm{WER}$、关键词查准/查全、热词非对称 γ 加权、上下文实体命中、按幻觉长度成比例惩罚；分离任务的 DER、cpWER、tcpWER），GRPO 组内归一化更新策略；随后 MOPD 用四个任务路由教师对学生自采样回答做 k3 反向 KL 的 token 级蒸馏。

与现有工作的区别体现在四个层面。任务层面：MOSS-Transcribe-Diarize 和 VibeVoice-ASR 已证明联合建模转写、分离、时间戳可行，但本文进一步把方言 ASR/AST 选择、分层热词、原生润色、通用音频理解统一进同一个指令控制接口，输出空间的统一程度和覆盖面更高。方法论层面："先诊断监督分布、再修正训练目标"是可迁移的通用做法——用 token 频次与损失贡献统计定位欠监督类别（说话人 ID），用输出帧率约束监督精度（80ms 量化，1ms 精度反而拖慢收敛），两者都是零架构改动的纯目标工程，且论文给出了完整的统计依据。训练范式层面：把序列级 RL（GRPO，奖励即任务指标）与 token 级 on-policy 蒸馏（多教师 k3 反向 KL）串接，前者补指标短板、后者保多任务能力与语言流畅性，比常见的 SFT+RL 两段式多出一层能力合并机制。工程层面：FunVerl 的全异步设计（轨迹队列解耦生成与训练、策略版本阈值控制轨迹陈旧度、NCCL 权重同步避免全量重载）以及能力-变体支持矩阵的显式裁剪，是面向生产的系统级创新。总体上，这是一篇工程系统贡献大于算法理论贡献的技术报告。

第一，80ms 的时间戳粒度由 12.5Hz 帧率决定，虽有利于训练收敛，但对字幕精准打轴、逐词卡拉OK、词级时间对齐分析等场景不够细，改进方向是在量化目标之上加一个轻量的帧内偏移回归头，兼顾收敛速度与对齐精度。第二，说话人标签只在单条录音内一致，无法跨会话追踪同一说话人，也做不了"这是谁"的身份问答，改进方向是把声纹嵌入作为条件输入或在输出中联合预测说话人表征。第三，重叠语音只靠序列化约定表达（时间区间可重叠），缺少显式的重叠检测与词级归属监督，在争吵、抢话等重叠密集场景可能混淆归属，可在训练目标中加入重叠区间标注和词到说话人的置信度。第四，RL 与蒸馏都依赖强外部教师（用 Whisper/FireRed-ASR/SenseVoice 的一致性筛选难例、三个专精教师打分），学生上限受教师上限约束，教师都错的难例无从改进，可引入多教师分歧驱动的数据挖掘或半监督自我训练。第五，流式与非流式能力割裂，应用需要组合多个变体才能同时获得实时显示和分离/理解，增加集成复杂度，未来可探索在流式解码中渐进输出说话人标签与轻量理解。第六，评估对内部测试集和 LLM 评委依赖较重，公开可复现的评测面较窄，建议开源方言 AST 评审协议与 SDR 工具包并增加人工标注的公开基准。

作者提出的方向：继续扩展语言与方言覆盖，把说话人分离与音频理解逐步带到更多部署变体，并持续迭代热词、上下文、润色等生产控制能力。基于其成果可延伸的研究：一是词级/亚词级时间戳与显式重叠建模，把 80ms 网格量化与帧内偏移预测结合，服务字幕与逐词对齐需求；二是跨录音说话人一致性，引入声纹表征与说话人注册机制，从"分离"走向"识别"；三是整场长音频（小时级）的滑窗分段-全局合并解码策略，解决跨块说话人标签漂移问题；四是把 MOPD 多教师 on-policy 蒸馏推广到更多模态与任务族，系统研究教师数量、路由策略与学生规模的扩展规律；五是与 CosyVoice 类语音生成统一到同一模型，形成听说一体的全双工语音交互；六是把 RL 奖励从词错率类指标扩展到语义层面（如语义句准确率、关键信息完整性），减少对表面 n-gram 匹配的依赖；七是流式说话人分离与流式音频理解的低延迟架构探索，填补当前能力-变体矩阵的空白。

复现难度：高。本文是纯技术报告，截至发表未见模型权重或训练代码的开源声明；预训练语料为编码器数千万小时、Audio LLM 约 2000 万小时、cooldown 约 100 万小时的内部多语言数据，数据规模远超学术界可负担范围，训练算力与成本均未披露（仅提到延迟评测使用自托管 NVIDIA H100）。可复现的部分：作者承诺提供 SDR Evaluation Toolkit（含约 4 分钟分块方法与评估脚本），日语 CER 统一采用 Fun-ASR PR #165 的规范化协议，WeNetSpeech-net 采用 issue #63 修正参考文本，这些使评测侧可以对齐；基线多为商用 API（Doubao、腾讯、Azure、Gemini、Muse 等），个人或小团队可以低成本复跑对比实验。核心训练思想——speaker-ID 损失 ×10 重加权、80ms 帧对齐时间戳量化、GRPO 序列级奖励、k3 on-policy 蒸馏——均不依赖内部数据，可在 AISHELL-4、AliMeeting 等公开数据上小规模验证，这是普通团队最有价值的借鉴点。