MOSS转录对齐：精确的带说话人识别和时间戳的端到端转录系统 MOSS Transcribe Diarize: Accurate Transcription with Speaker Diarization
首个端到端多说话人转录模型，支持90分钟长音频
前置知识
SATS (Speaker-Attributed, Time-Stamped Transcription)
说话人归属时间戳转录是一种复合任务，旨在同时识别语音内容、确定说话人身份并标记时间戳。与仅进行语音识别（ASR）不同，SATS需要输出格式如[0.11][S01]Good morning![1.03]这样的结构，既记录了谁说了什么，又记录了说的确切时间。这通常涉及两个子任务的联合优化：自动语音识别（ASR）和说话人分离（Diarization）。
这是本文的核心任务定义，理解SATS有助于理解为什么现有模块化方法存在局限以及端到端方案的优势。
cpCER (concatenated minimum-permutation CER)
连接最小排列字符错误率是一种同时评估ASR和说话人分离性能的指标。它通过寻找最优的说话人标签排列，使得预测的说话人归属转录与真实说话人转录之间的最小编辑距离。计算公式为cpCER = min_{π} EditDistance(pred_permuted, gold)，其中π是说话人标签的排列。与之相关的Δcp = cpCER - CER则量化了由说话人归属错误导致的额外性能下降。
这是本文使用的核心评估指标，理解cpCER和Δcp有助于理解模型性能的全面表现。
音频-文本投影模块
音频-文本投影模块是一个可学习的神经网络层，将音频编码器输出的声学嵌入映射到预训练文本大语言模型的特征空间。这个模块起到了模态对齐的作用，使得原本为文本设计的大语言模型能够理解和处理音频输入。通常采用多层感知机或线性变换实现，是连接音频编码器和文本LLM的关键桥梁。
这是MOSS Transcribe Diarize架构的核心组件，理解它有助于理解如何将音频能力注入到文本大语言模型中。
研究动机
现有的说话人归属时间戳转录（SATS）系统大多采用模块化管道设计，将自动语音识别（ASR）和说话人分离（Diarization）作为独立的子系统串联起来。这种设计存在三个关键问题：第一，错误会在不同阶段之间级联传播，例如ASR阶段的错误会干扰下游的说话人分离，而分离错误又会影响最终的转录质量。第二，全局上下文难以利用，由于各个模块独立训练和推理，无法在整个对话范围内保持说话人身份的一致性，导致身份漂移问题。第三，长音频处理受限，受限于上下文窗口大小，现有系统需要将长对话切分成短片段处理，这破坏了话语连续性，削弱了指代消解能力，并在时间戳标记时引入边界伪影。例如在AISHELL-4这样的会议场景中，长达40分钟的录音如果按传统方法切分处理，说话人身份可能会在数十轮对话后发生漂移。
本文的目标是本文的目标是构建一个统一的端到端多模态大语言模型MOSS Transcribe Diarize，能够在单次前向传播中同时完成词识别、说话人归属和时间戳预测三个任务。具体而言，该模型需要支持最长90分钟的连续音频输入而不需要分块处理，在AISHELL-4、Podcast和Movies等多个基准测试上超越Doubao、ElevenLabs、GPT-4o和Gemini等商业系统，并且在cpCER和Δcp指标上达到最优。更重要的是，模型需要学习到说话人身份的全局表示，能够在长时间跨度内保持身份一致性，并在存在口音、环境噪声、说话人重叠等挑战性条件下仍能保持鲁棒性能。
与已有工作不同的是，本文的独特切入点在于同时解决了三个现有方案的局限性：第一，与Sortformer等需要分阶段训练的方法不同，MOSS Transcribe Diarize在单次训练中联合优化词识别、说话人归属和时间戳预测，避免了跨阶段不匹配问题。第二，与SpeakerLM等受限于短音频上下文（50-90秒）的方案不同，MOSS Transcribe Diarize配备了128k token的上下文窗口，能够处理长达90分钟的连续音频，在会议规模的长对话中保持全局一致性。第三，与JEDIS-LLM等需要分块处理和缓存管理的流式方案不同，MOSS Transcribe Diarize采用单次通用的处理方式，原生输出分段级时间戳，避免了分块边界处的错误累积。这种长上下文、单次通用的SATS formulation使得模型能够在不同时长、不同说话人数量、不同对话结构的场景中保持一致的高性能。
核心方法
MOSS Transcribe Diarize的整体架构采用自回归语音大语言模型的设计思路，由音频编码器、投影模块和预训练文本大语言模型三部分组成。音频编码器负责将原始音频波形转换为声学嵌入，投影模块将这些嵌入映射到文本LLM的特征空间，使得文本LLM能够联合建模音频和文本模态。模型采用端到端的训练方式，在真实的多人对话音频和模拟的合成混合数据上联合优化词识别、说话人归属和时间戳预测三个目标。这种设计的核心优势在于通过共享上下文，模型能够建立说话人和词汇的全局表示，在处理指代消解、长程依赖等复杂语言现象时保持一致性，同时避免了模块化管道中的错误级联问题。
核心创新点在于采用文本化的时间编码策略，将时间信息显式表示为格式化的时间戳文本，并插入到音频编码器块之间。例如将时间0.11秒到1.03秒表示为[0.11]...[1.03]这样的文本标签，而不是绑定到绝对位置索引。这种设计的优势在于时间戳信息可以直接参与文本LLM的自回归生成过程，使得模型能够学习时间戳与说话人标签之间的联合分布，避免了在长时间跨度上位置索引变得稀疏和低效的问题。另一个核心创新是在训练数据中引入属性感知的模拟混合数据，通过可控概率模拟器构造具有可控说话人数量、重叠程度、轮换模式的合成对话，这大大增强了模型在真实世界中难以充分采样的边缘场景下的泛化能力。
方法步骤详情
方法步骤分为数据准备、模型训练和推理三个阶段。在数据准备阶段，首先从互联网收集多语言的真实对话音频，包括AISHELL-4会议录音、YouTube播客访谈、电影电视剧片段等，覆盖中英文及其他语言。然后从内部语料库中随机采样单说话人话语，使用可控概率模拟器构造合成多说话人对话：每轮对话随机选择2-12个不同说话人，每个说话人随机选择一个话语，将该话语按对数正态权重分割成连续的词组，然后将这些词组按高斯分布的间隙放置在单条时间线上，强制说话人交替但允许重叠（不超过较短片段的80%）。在模型训练阶段，音频编码器将音频转换为声学嵌入，投影模块将其映射到文本LLM特征空间，模型以教师强制的方式学习预测格式为[时间戳][说话人]内容[时间戳]的输出序列。在推理阶段，模型对输入音频进行单次前向传播，自回归生成完整的说话人归属时间戳转录结果。
技术新颖性
从技术新颖性角度分析，MOSS Transcribe Diarize在三个方面实现了突破。第一，这是首个真正端到端的SATS系统，与Sortformer的分阶段训练、DiarizationLM的后处理修正、JEDIS-LLM的分块处理等方案有本质区别，在单次前向传播中同时完成词识别、说话人归属和时间戳预测。第二，128k token的上下文窗口支持90分钟连续音频处理，这是目前公开报道中最长的SATS上下文能力，远超SpeakerLM的50-90秒限制。第三，文本化的时间编码策略避免了传统位置编码在长时间跨度上的稀疏性问题，同时使得时间戳能够参与自回归生成，这种设计在长音频时间戳生成方面具有明显优势。在数据策略上，属性感知的模拟混合数据也为处理稀有场景提供了新的解决方案，这在真实数据稀缺的多人重叠对话领域具有创新意义。
实验结果
实验结果在三个基准测试上全面验证了MOSS Transcribe Diarize的有效性。在AISHELL-4测试集上，模型达到CER=15.43%、cpCER=20.04%、Δcp=4.61%，相比Doubao的CER=18.18%、cpCER=27.86%、Δcp=9.68%，在cpCER上提升了约7.8个百分点，Δcp降低了一半以上，表明说话人归属错误显著减少。在Podcast基准上，模型达到CER=4.46%、cpCER=6.97%、Δcp=2.50%，相比ElevenLabs的CER=8.50%、cpCER=11.34%、Δcp=2.85%，在所有指标上均取得最优。在Movies基准上，模型达到CER=7.50%、cpCER=13.36%、Δcp=5.86%，相比GPT-4o的CER=14.37%、cpCER=23.67%、Δcp=9.31%，cpCER提升了约10个百分点。值得注意的是，GPT-4o和Gemini 3 Pro在AISHELL-4和Podcast等长音频基准上无法可靠运行，分别受限于音频输入长度和输出格式稳定性，这凸显了专用长上下文SATS系统的实用价值。MOSS Transcribe Diarize在保持低CER的同时实现了最小的Δcp，表明其在词识别和说话人归属两个任务上都达到了优秀的平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 会议转录（AISHELL-4） | cpCER (↓) | 20.04 | Doubao 27.86 | 降低7.82个百分点 |
| 会议转录（AISHELL-4） | Δcp (↓) | 4.61 | Doubao 9.68 | 降低5.07个百分点 |
| 播客访谈（Podcast） | CER (↓) | 4.46 | Gemini 2.5 Pro 7.38 | 降低2.92个百分点 |
| 播客访谈（Podcast） | cpCER (↓) | 6.97 | ElevenLabs 11.34 | 降低4.37个百分点 |
| 影视对话（Movies） | cpCER (↓) | 13.36 | GPT-4o 23.67 | 降低10.31个百分点 |
| 影视对话（Movies） | Δcp (↓) | 5.86 | GPT-4o 9.31 | 降低3.45个百分点 |
局限与改进
作者在论文中承认了一些局限性。第一，当前模型主要针对离线批处理场景设计，尚未支持流式实时转录，这对于某些低延迟应用场景可能不够适用。第二，时间戳评估粒度相对粗糙，目前主要在分段级别进行评估，未来需要更细粒度的时间戳评估指标。第三，多语言鲁棒性仍有提升空间，虽然模型在中英文上表现良好，但在韩语、日语、粤语等语言上的泛化能力还需要进一步加强。此外，从我的观察来看，模型在极端重叠场景（超过80%重叠）下的性能可能受限，因为训练数据中的重叠比例被控制在80%以下。另一个潜在的局限是计算开销，128k token的上下文窗口虽然提供了强大的长程建模能力，但也意味着较高的推理延迟和内存需求，这可能限制在资源受限环境中的部署。
独立分析的弱点
从独立分析的角度看，MOSS Transcribe Diarize存在几个可改进的弱点。第一，在计算效率方面，128k token的上下文窗口虽然解决了长音频处理问题，但也带来了显著的推理延迟和内存消耗，在实时会议转录等对延迟敏感的场景中可能不够实用。改进方向可以包括引入分块处理与跨块上下文融合的混合架构，或者开发更高效的注意力机制来降低长上下文的计算复杂度。第二，在极端场景下的鲁棒性方面，当说话人数量超过训练分布（如超过12人）或在高度嘈杂的环境（SNR低于0dB）中，模型性能可能会显著下降。改进方向可以包括扩充极端场景的训练数据，或者引入领域自适应机制来处理未见过的声学条件。第三，在跨语言说话人一致性方面，当对话中混合多种语言时，模型可能在说话人身份的跨语言追踪上遇到困难，这需要更强大的语言无关的说话人表示学习。
未来方向
作者提出了几个未来研究方向，包括流式SATS、更细粒度的时间戳评估和更广泛的多语言鲁棒性。基于现有成果，可以延伸出更多有价值的方向。第一，流式SATS是一个重要的方向，可以借鉴JEDIS-LLM的Speaker Prompt Cache机制，但需要与MOSS Transcribe Diarize的长上下文能力结合，设计既支持流式处理又能保持全局一致性的架构。第二，说话人自适应是一个有前景的方向，可以引入说话人注册功能，允许用户预先提供说话人样本，从而在特定说话人识别上获得更高精度。第三，情感和副语言特征的融合可以丰富转录信息，例如在输出中标记情感状态、语调变化等，这对于会议分析和情感计算应用很有价值。第四，跨模态检索可以成为自然延伸，基于生成的说话人归属时间戳转录，用户可以快速定位到特定说话人的特定发言，或者基于内容检索相关的音频片段。
复现评估
从复现性角度评估，MOSS Transcribe Diarize的开源情况相对完善。模型主页和在线演示已经公开，论文承诺将内部构建的Podcast和Movies数据集在Hugging Face上开源，这为社区提供了宝贵的测试资源。然而，训练数据的完整复现仍存在挑战，真实对话音频来自互联网收集，涉及版权和隐私问题，模拟数据的构建细节也需要更详细的描述。在算力需求方面，128k token上下文窗口的训练和推理都需要大量GPU内存，估计需要多张A100或H100级别的GPU才能高效训练，这对研究机构构成了较高的门槛。难度方面，模型架构相对清晰，但音频编码器-投影模块-文本LLM的组合训练需要精心的超参数调整，特别是多任务损失函数的权重平衡。总体而言，模型的推理复现相对容易（通过API或开源权重），但完整训练复现的难度中高，适合有充足计算资源的研究团队。
论文图表