端到端联合自动语音识别与说话者角色分离在儿童-成人对话中的应用 End-to-End Joint ASR and Speaker Role Diarization with Child-Adult Interactions
基于Whisper的端到端框架，联合建模ASR和儿童-成人说话者角色分离
前置知识
Whisper
OpenAI开发的大规模预训练语音识别模型，采用编码器-解码器Transformer架构，在68万小时多语言语音数据上训练。编码器提取音频特征，解码器自回归生成文本转录。Whisper具有强大的泛化能力，是当前最先进的开源ASR系统之一
本文基于Whisper架构进行扩展，理解Whisper的编码器-解码器设计对于理解本文方法至关重要
Serialized Output Training (SOT)
序列化输出训练是一种多说话者ASR框架，将多说话者对话表示为包含词汇和说话者标记的单一序列。使用多头注意力机制让模型在一个序列中同时处理不同说话者的内容，避免了重复编码器或解码器头
SOT是本文核心技术之一，用于在单一解码流中联合预测转录、说话者角色和时间戳
Speaker Diarization
说话者分离任务是确定音频中'谁在什么时候说话'。传统方法依赖模块化管道（语音活动检测+说话者嵌入+聚类），现代方法如EEND采用端到端神经网络直接预测帧级说话者活动
本文的目标是将说话者分离与ASR联合建模，理解传统分离方法的局限性有助于理解本文动机
LoRA (Low-Rank Adaptation)
低秩适应是一种参数高效微调方法，通过在Transformer的前馈层中添加低秩矩阵来调整预训练模型，仅训练少量新增参数。这在保持预训练模型知识的同时适应新任务，特别适合小数据场景
本文在基线方法中使用LoRA微调Whisper编码器进行说话者分离，理解LoRA有助于理解实验设计
mtWER (multi-talker Word Error Rate)
多说话者词错误率，是CHiME-8挑战赛提出的评估指标，扩展了传统WER，在转录准确性之外还评估说话者归属一致性。包含插入、删除、替换和说话者归属错误四类
这是本文的主要评估指标，理解其计算方式对于解读实验结果至关重要
研究动机
在发育研究和临床评估中，儿童-成人对话的准确转录和说话者分离至关重要，因为有意义的解读依赖于知道双方说了什么以及如何回应。手动转录极其耗力且难以大规模扩展。现有自动化系统通常采用级联管道（先分离后ASR或先ASR后分离），这导致错误传播：分离错误会损害后续转录质量，而转录错误会降低强制对齐和说话者归属的准确性。在儿童语音场景中，挑战更加严峻，因为儿童语音在音高、共振峰结构、发音和语言复杂性方面与成人语音存在显著差异，且自然场景中存在明显环境噪声和说话者表达能力差异大的问题
本文的目标是本文的目标是开发一个统一的端到端框架，在单一模型中联合执行ASR和儿童-成人说话者角色分离，生成可靠的、带说话者归属的转录和精确的时间边界。该框架应避免级联管道中的错误传播问题，同时在转录准确性和分离精度上都优于现有方法
与已有工作不同的是，本文的独特视角在于：（1）将Whisper这一强大的预训练ASR模型扩展为联合ASR-分离框架，而非从头训练分离模型；（2）采用序列化输出训练（SOT）在单一解码流中输出结构化序列（时间戳+说话者+文本），而非独立的模块化系统；（3）引入帧级分离头作为辅助监督，显式增强编码器的说话者区分能力；（4）针对SOT生成中常见的格式错误问题，提出基于状态机的强制解码机制保证输出结构有效性
核心方法
本文的方法可以类比为一个'多功能翻译官'：传统的做法是先请一位专家判断谁在说话，再请另一位专家记录内容，两位专家独立工作容易产生信息不一致。而本文的方法是训练一个'全能翻译官'，同时完成听、判断说话者、记录内容三项任务。技术路线是：以Whisper编码器-解码器架构为基础，在解码器端通过SOT方案输出结构化序列（时间戳+说话者标签+文本），在编码器端附加轻量级1D CNN分离头输出帧级说话者活动概率。编码器同时接收ASR损失和分离损失的联合优化，学习既具有时间对齐性又具有说话者区分性的表示
本文最核心的创新点是将帧级分离监督与序列级ASR监督整合到共享的编码器表示中，并通过状态机约束确保结构化输出的正确性。与传统SOT方法仅依赖解码器隐式学习说话者信息不同，本文引入显式的帧级分离头，使编码器能够同时捕捉时间边界信息和说话者身份信息。此外，静音抑制机制在推理时利用分离预测来引导解码，减少冗余时间戳token的生成。这四个组件（SOT、分离头、静音抑制、状态机解码）形成了一个完整的端到端框架，既保持了Whisper强大的转录能力，又获得了可靠的分离性能
方法步骤详情
（1）首先预训练分离头：在冻结的Whisper编码器上，使用所有编码器层的标量混合特征作为输入，训练一个包含3层1D CNN的分离头输出帧级说话者概率（儿童/成人/静音）。（2）联合训练阶段：解冻编码器和解码器，使用SOT格式训练，解码器输出结构化序列（<|t_start|> text <|t_end|>），同时分离头使用最后一层编码器特征继续优化，损失函数为 $\mathcal{L}_{total} = \mathcal{L}_{ASR} + \lambda_{diar} \mathcal{L}_{diar}$。（3）分离头微调阶段：冻结其他参数，仅微调分离头以提高静音预测准确性。（4）推理时：使用状态机约束强制解码，确保输出格式正确；同时利用分离预测的静音区域（$\hat{s}_{sil} < 0.7$）抑制对应的时间戳token生成
技术新颖性
本文与已有工作的本质区别体现在：（1）与传统级联方法不同，本文在单一模型中端到端联合学习，避免了模块间错误传播；（2）与Transcribe-to-Diarize等SOT方法不同，本文引入显式帧级分离监督而非仅依赖注意力模式隐式学习；（3）与SLIDAR、SOMSRED等通用分离方法不同，本文针对说话者角色分离（而非说话者身份分离），且在低资源临床数据上工作；（4）首次提出状态机强制解码机制解决SOT生成中的格式错误问题，在Playlogue上将缺失token错误率从17.8%降至0%
实验结果
本文在Playlogue和ADOS两个数据集上进行了全面评估。主要发现包括：（1）mtWER方面：联合模型在所有配置上都优于两个级联基线。在Playlogue上，Whisper-small的mtWER从ASR-First基线的41.4%降至37.4%（相对降低9.7%）；Whisper-large从38.8%降至34.3%（相对降低11.6%）。在ADOS上，Whisper-small从33.6%降至28.8%（相对降低14.3%）；Whisper-large从27.0%降至21.7%（相对降低19.6%）。（2）儿童vs成人语音：儿童语音的mtWER显著高于成人语音。在Playlogue上，Whisper-small儿童mtWER为53.1%，成人为21.7%；ADOS上分别为45.0%和12.5%。Whisper-large在两种语音上都优于Whisper-small。（3）DER方面：在ADOS上，联合模型的DER（Whisper-large为18.4%）甚至优于Diarization-First基线（19.2%），说明在干净数据上联合表示学习具有优势；但在噪声较大的Playlogue上，联合模型的DER（42.6%）高于Diarization-First基线（36.4%）。（4）临床应用：模型预测的会话指标（每分钟词数、每分钟话语数等）与人工标注高度相关，PCC在0.53-0.98之间，验证了系统在下游临床分析中的实用性
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Playlogue ASR | mtWER | 37.4% (Whisper-small) / 34.3% (Whisper-large) | 41.4% / 38.8% | 9.7% / 11.6% 相对降低 |
| ADOS ASR | mtWER | 28.8% (Whisper-small) / 21.7% (Whisper-large) | 33.6% / 27.0% | 14.3% / 19.6% 相对降低 |
| Playlogue 分离 | DER | 40.6% (Whisper-small) / 42.6% (Whisper-large) | 56.1% / 67.4% | 27.6% / 36.8% 相对降低 |
| ADOS 分离 | DER | 21.8% (Whisper-small) / 18.4% (Whisper-large) | 37.7% / 36.7% | 42.2% / 49.9% 相对降低 |
局限与改进
本文存在以下局限性：（1）在Playlogue数据集上，联合模型的DER（40.6%-42.6%）高于Diarization-First基线（35.7%-36.4%），说明在嘈杂、自然录音条件下，端到端模型的时间边界预测仍不如专用分离模型稳定；（2）儿童语音的识别难度显著高于成人语音，Whisper-small在Playlogue上儿童mtWER高达53.1%，表明模型对儿童语音的建模仍有较大提升空间；（3）研究仅限于儿童-成人二人对话场景，未涉及多人重叠语音等更复杂的场景；（4）ADOS数据集为私有数据，限制了其他研究者的复现和比较；（5）无限循环解码错误在强制解码后仍存在（Playlogue上为4.2%），虽然数量较少但仍需改进
独立分析的弱点
（1）在嘈杂自然场景下（如Playlogue），联合模型的分离精度仍低于专用分离模型。改进方向：可以在编码器中引入更强的噪声鲁棒性机制，或在分离头中添加更多噪声感知的特征；（2）儿童语音识别错误率仍然很高，特别是对于ASD儿童（高CSS组mtWER约49%）。改进方向：可以考虑在训练数据中增加更多儿童语音样本，或使用专门针对儿童语音的声学模型；（3）SOT格式对于长对话可能效率较低，因为每个token都需要按序生成。改进方向：可以探索流式处理或多头并行解码方案；（4）强制解码虽然消除了格式错误，但可能导致保守的输出，限制了模型的灵活性。改进方向：可以设计更灵活的状态转移规则或在置信度高时允许跳跃
未来方向
（1）扩展到更复杂的多人重叠语音场景，当前方法假设无重叠语音，这在实际临床环境中可能不成立；（2）将自动提取的会话指标（如每分钟词数、话语时长）与临床评估结果建立更紧密的联系，开发可解释的临床预测模型；（3）探索模型在不同年龄段儿童和不同临床条件（如ADHD、语言障碍）上的泛化能力；（4）开发轻量级版本以便在临床现场实时使用；（5）结合大语言模型进行转录后处理，进一步提高准确性；（6）探索无监督或半监督学习方法以利用大量未标注的儿童语音数据
复现评估
论文提供了代码和模型权重（GitHub: usc-sail/joint-asr-diarization-child-adult），Playlogue数据集公开可用。实验使用单张NVIDIA RTX A6000 48GB GPU，计算需求适中。然而，ADOS数据集为私有临床数据，无法获取，这限制了在该数据集上的复现。Whisper模型可从HuggingFace获取，LoRA和SOT实现基于标准框架。总体而言，在Playlogue数据集上的复现难度较低，但要完全复现论文结果需要访问ADOS数据或自行收集类似临床数据
论文图表
展示了三种配置（无时间戳、有时间戳、有时间戳+分离头）在Playlogue和ADOS数据集上的kNN分类准确率。添加时间戳略微降低准确率，但加入分离头后显著提升，在ADOS上达到81.29%
该图证明了分离头对编码器表示中说话者区分性的增强作用
详细报告了所有方法在Playlogue和ADOS数据集上的mtWER、WER、AER和DER指标，包含95%置信区间。联合模型在所有数据集和模型规模上都取得了最佳mtWER
这是论文最核心的结果表，展示了本文方法相对于所有基线的改进
报告了三种配置在0.3秒边界窗口上的F1分数和准确率。添加分离头后，儿童F1从70.68%提升至72.74%（Playlogue），成人从60.97%提升至63.46%
展示了时间戳和分离监督对编码器时间对齐能力的影响
对比了有无强制解码时的错误率。无强制解码时，Playlogue上17.8%的uterrance缺失token，ADOS上46.6%；有强制解码后，所有缺失token错误降为0%
证明了状态机强制解码对输出格式可靠性的关键作用
对比了人工标注和模型预测的5个会话指标（每分钟词数、每分钟话语数、平均话语词数、平均话语时长、语速）。每分钟词数的PCC高达0.975
验证了系统在下游临床应用中的实用价值