SE-DiCoW: 自注册式说话人分离条件化Whisper模型 SE-DiCoW: Self-Enrolled Diarization-Conditioned Whisper

SE-DiCoW的方法步骤如下：首先，输入混合语音 $X$ 通过Whisper编码器，在卷积下采样后、位置编码前应用第一个FDDT层，使用STNO掩码进行条件化。然后，编码器的每一层包含两个并行处理路径：主路径处理输入混合语音并使用STNO条件化，自注册路径处理自注册音频段 $X_{se}$ 并使用对应的 $STNO_{se}$ 条件化。在每一层 $l$，自注册路径的输出 $Z^{(l)}_{se}$ 作为Key和Value，主路径的前一层输出 $Z^{(l-1)}$ 作为Query，进行交叉注意力计算：$C^{(l)} = \text{CrossAttention}(Q = Z^{(l-1)}, K = Z^{(l)}_{se}, V = Z^{(l)}_{se})$。交叉注意力输出通过MLP与主路径表示拼接后相加：$Z^{(l)}_{aug} = \text{MLP}([Z^{(l-1)}; C^{(l)}]) + Z^{(l-1)}$，然后继续经过主路径的编码器层处理。最后，损失只在主输入的表示上计算，不计算自注册段的损失。自注册段的选择基于diarization输出的目标说话人概率，选择累积概率最高的固定长度区域。

SE-DiCoW的技术新颖性体现在以下几个方面：自注册机制是全新的概念，不同于传统的说话人嵌入或预先注册的方法，它自动从录音内部选择参考段，无需额外的注册过程；选择策略基于diarization输出的概率分布，能够自适应地找到目标说话人最清晰的音频区域；交叉注意力集成方式在编码器的每一层都注入参考信息，而非仅在特定层，这提供了更丰富的说话人特征注入；STNO掩码处理进行了改进，包括在卷积下采样后、位置编码前增加FDDT层，以及调整初始化参数（非目标和静音变换矩阵的对角缩放因子从0.1增加到0.5）；数据增强策略专门针对diarization误差设计，包括STNO掩码的高斯噪声扰动和段级类别翻转。

SE-DiCoW的弱点主要包括：对diarization质量的强依赖性——系统严重依赖diarization输出的质量，当diarization误差较大时（如在NOTSOFAR-1数据集上DER为12.6%），性能会显著下降，改进方向包括联合训练diarization和ASR系统，或设计更鲁棒的自注册选择策略；最多2个说话人的限制——DiariZen系统最多只能检测2个同时说话人，这限制了系统在多说话人场景的适用性，改进方向是开发支持更多同时说话人的diarization系统；固定长度自注册段——当前实现使用固定长度的自注册段，可能无法适应不同长度的说话人段落，改进方向是设计自适应长度的自注册机制；计算效率——自注册分支在编码器每一层都进行交叉注意力计算，增加了计算开销，改进方向是探索更高效的自注册集成方式。

作者提出的未来研究方向包括：联合微调diarization和TS-ASR系统，旨在缓解real diarization条件下的性能下降；将自注册机制扩展到其他ASR架构，如Parakeet-TDT模型；探索端到端多说话人建模，使用序列化输出训练。基于本文成果可以延伸的方向包括：将自注册机制应用于实时或流式ASR系统，解决实时场景下的说话人区分问题；探索自注册段的自动长度调整策略，根据不同录音条件动态选择最佳参考段长度；研究自注册机制在其他音频任务中的应用，如情感识别、声纹验证等；开发更鲁棒的STNO掩码处理方法，减少对diarization质量的依赖。

本文提供了良好的复现条件：代码开源——训练代码在 https://github.com/BUTSpeechFIT/TS-ASR-Whisper，推理代码在 https://github.com/BUTSpeechFIT/DiCoW；模型开源——SE-DiCoW模型在 https://huggingface.co/BUT-FIT/SE_DiCoW，DiCoW v3.3在 https://huggingface.co/BUT-FIT/DiCoW_v3_3；数据使用公开数据集（AMI、NOTSOFAR-1、LibriSpeech、Libri2Mix/3Mix）；训练配置明确：使用Whisper-large-v3-turbo作为骨干网络，学习率 $2 \times 10^{-6}$，batch size 96，2k预热步，40k总训练步，余弦衰减调度；评估协议标准化：使用CHiME-8文本规范化和EMMA MT-ASR基准评估协议。复现难度中等，主要挑战在于需要大量计算资源（96 batch size）和处理多个数据集的集成。