VibeVoice-ASR-Streaming：基于大语言模型的流式说话人归属语音识别技术报告 VibeVoice-ASR-Streaming Technical Report
首个基于LLM的端到端流式说话人归属ASR，单一模型边听边输出谁说了什么
前置知识
说话人归属ASR（Speaker-Attributed ASR）
在转写每个句子的同时标注说话人身份的任务，即输出"谁在什么时候说了什么"。传统做法把语音识别（ASR）与说话人分离/日志（diarization）作为两个独立任务级联，先用聚类把音频按说话人分段，再逐段识别；端到端方案则让单一模型直接生成带说话人标签的文本。
本文的核心贡献就是把这两个任务统一进一个流式LLM的自回归生成过程，理解这个任务定义才能明白它在和哪条技术路线竞争。
cpWER（拼接最小置换词错率）
评估说话人归属转写质量的指标：先把假设与参考中属于同一说话人的文本分别拼接，再在所有说话人排列组合中取错误率最小者。它同时惩罚识别错误和说话人标签错乱，比只看词错率（WER）更严格，通常用MeetEval工具包按此协议计算。
论文的主张几乎全部建立在cpWER/cpCER上（如13个设定中12个最佳），不懂这个指标就无法判断说话人归属到底好在哪里。
流式ASR与Lookahead（前瞻）
流式ASR要求音频到达时即输出转写，而非等录音结束。系统按固定大小的块（chunk）消费音频，块之间可引入少量未来帧作前瞻（lookahead），让模型在跨越块边界提交文本前多读一点右上下文，以极小的额外延迟换取边界处识别精度的显著提升。
本文的延迟承诺完全由块契约决定：预期延迟为块长的一半加前瞻时长（$C/2 + T_{lookahead}$），lookahead消融（L=0/2/4）是论文的关键实验之一。
语音分词器（Acoustic/Semantic Tokenizer）
把连续波形离散化为潜在帧序列的前端模块。本文复用VibeVoice的预训练双分词器：Acoustic分词器基于σ-VAE设计，保留频谱细节；Semantic分词器输出与文字内容对齐的确定性特征。两者均对24kHz波形做3200倍下采样，每帧对应133.3ms（每秒7.5帧），在共同时间网格上提供声学与语义信息。
块大小和lookahead都以潜在帧为单位（22帧=2.9秒），不了解帧率就无法理解论文中所有延迟数字的来源。
语音-文本交错自回归生成
Speech-LLM流式识别的基本配方：把语音块与已生成的文本组织成交错序列$[X_1, Y_1, X_2, Y_2, \ldots]$放进同一个LLM上下文，新的音频到达时，模型基于之前所有语音和文本自回归地续写当前块的转写。这样历史上下文被完整保留，供后续块参考。
这正是VibeVoice-ASR-Streaming的方法骨架，论文的关键论点是：这份被完整保留的历史正是固定说话人身份的机制，而非可有可无的辅助信息。
研究动机
实时场景下"谁说了什么"的转写长期存在能力空缺。传统说话人归属ASR把识别与说话人分离做成两个独立任务级联，误差会互相传播；近期的端到端统一模型如VibeVoice-ASR、MOSS Transcribe Diarize（128k上下文、支持90分钟）、SoulX-Transcriber和SpeakerLM虽然用单个生成模型同时输出文本与说话人，但都必须先读完整段录音才开始输出，延迟以分钟计，无法满足实时语音助手和agent的需求——当语音agent与多人对话时，必须在对方还在说话时就判断出说话人，才能正确处理信息并降低响应延迟。另一条流式多说话人线路（SURT、t-SOT到Streaming Sortformer）虽然延迟低，但都依赖额外组件：要么在转写器内加token级说话人嵌入或辅助说话人分支，要么把在线分离（如Sortformer）与识别器级联，都不能由单一模型直接产出说话人归属转写。
本文的目标是本文的目标是构建首批基于LLM的端到端流式说话人归属ASR系统：随着语音逐块到达，单模型直接输出带说话人标签的转写，不设独立分离阶段。具体量化目标包括三点：其一，识别精度上，7B模型要在四个会议基准（AliMeeting、AISHELL-4、AMI-SDM/IHM）加九语言MLC-Challenge共五个测试集上取得对比流式系统最低的平均WER/CER；其二，说话人归属上，在13个评测设定中做到最佳或并列最佳cpWER/cpCER，且归属延迟压缩到约2秒——远低于Azure ConversationTranscriber实测8.21秒和Google STT的9.12秒；其三，发布1.5B和7B模型权重与vLLM推理代码，并系统性回答块大小、lookahead、模型规模、标签位置等设计选择的影响。
与已有工作不同的是，本文的独特切入角度来自一个被两条已有路线各自忽略的观察：说话人归属对"保留历史"的要求与普通ASR有本质不同。普通流式ASR里，前文上下文只是帮助语言与声学建模；而说话人归属要求当前块中新出现的说话人若在几分钟前首次出现过，仍必须拿到同一个标签——保留的历史不只是有帮助，它就是固定整段对话说话人身份的机制。流式Speech-LLM配方（SpeechLLM-XL、Uni-ASR的增量输入加携带上下文）天然把这份历史带在上下文里，但此前只被用于单说话人转写；流式多说话人系统则反过来，需要外挂说话人组件。本文填补的正是这个交叉空白：把交错语音-文本生成配方首次扩展到多说话人归属，用一个模型替代"识别器+说话人组件"两个部件，让分离不再是独立阶段。
核心方法
直觉上，这篇工作把“边听边写、同时记住谁在说话”统一为一个自回归序列生成问题。语音经VibeVoice预训练双分词器编码：Acoustic分词器按σ-VAE设计保留频谱细节，Semantic分词器输出语义对齐特征，两者均对24kHz波形做3200倍下采样，得到每秒7.5帧、每帧133.3ms的共同时间网格；两路特征拼接后投影进Qwen2.5 LLM骨干的嵌入空间。语音块$X_k$与生成的说话人归属文本$Y_k$按$[X_1, Y_1, X_2, Y_2, \ldots]$交错排布于同一上下文，历史语音与文本完整保留。每块后附固定$L=4$帧（0.5秒）lookahead，文本生成条件分布为 $p(Y_k \mid X_{$收尾，该token在每个块边界（含空文本块）受监督，由模型自行决定何时把控制权交还音频流。开源权重对应22帧（2.9秒）块，预期归属延迟为 $C/2 + T_{lookahead} \approx 2.00$ 秒。
核心创新是把说话人身份的维护完全内化进LLM的上下文，而非外置组件。与级联系统的本质区别：这里没有外部嵌入库、说话人缓存或离线聚类，历史语音与转写不压缩、不丢弃地留在上下文中——丢弃历史的系统必须以某种形式重新引入它，那恰恰恢复了本方案移除的独立阶段。与流式Speech-LLM（SpeechLLM-XL、Uni-ASR）的区别：它们确立的增量输入配方此前只服务单说话人转写，本文证明同一配方能承载"谁说了什么"。一个反直觉的发现强化了这一立场：把说话人标签放在段首（发布配置）或段尾精度完全等价——五集平均cpWER 31.55对31.56，段尾WER反而差0.98。级联系统的直觉预测段尾更好（声学聚类依据的语音越多标签越准，Google STT事后修正标签确实把cpWER降低27.0到32.2点），但端到端模型是同时产出转写的，说话人身份从词汇与对话证据中与文本一起被确定，两个to三秒的块内证据就足够了。
方法步骤详情
训练分三阶段，区别只在样本构造。Stage 1非流式训练：离线设定，完整录音可见后再生成转写，用约42万小时中英文建立基础多说话人识别与归属能力。Stage 2流式预训练：架构与目标不变，仅把样本改为交错格式——每条录音切块、每块配自己的归属转写、生成文本前拼接固定4帧lookahead，让流式格式成为模型的常态工作条件。Stage 3流式微调：换成约1.3万小时精选混合（公开训练划分+合成数据），打磨转写规范、标签一致性与热词跟随。数据准备统一用Qwen3-ForcedAligner-0.6B做词级对齐，再按规则切成逐块目标；合成部分生成带领域术语的会议式多说话人对话，口语形式驱动合成、书面形式作ASR目标（数字、缩写说得自然但写成规范形），再叠加重叠混音与房间脉冲响应卷积，标签与对齐同步更新，共产出50884条、4519.6小时数据。推理沿用训练相同的块+lookahead契约，当前块在语音结束token$<|object\_ref\_end|>$闭合后立即解码。15帧与22帧两种配置独立训练，均从同规模非流式检查点初始化。
技术新颖性
技术新颖性有四层。第一，任务层面：这是首批LLM端到端流式说话人归属ASR之一，证明了交错语音-文本生成可以支撑长音频流式识别并同时保证识别与归属精度，此前的并发工作（JEDIS-LLM、G-STAR）仍是给长音频识别器外挂说话人缓存。第二，机制层面：用"完整保留历史的自回归上下文"替代显式说话人组件，把diarization内化为生成的一部分，并给出论据——标签位置消融显示标签放段首段尾等价（cpWER 31.55对31.56），说明归属不是纯声学决策。第三，实验层面：对块大小、lookahead深度、模型规模、标签位置做了系统性消融，绘制出该配方的设计空间地图，发现块长与模型规模对cpWER的影响（块15帧增至22帧降4.06点、1.5B增至7B降12.76点）远大于对WER的影响（1.46与4.69点），即更长块与更大骨干主要提供说话人证据而非词汇证据。第四，工程层面：给出服务成本分析——7B/15帧配置在单张A100 80GB上vLLM bfloat16解码每块仅146到208ms，实时率不超过0.104，证明该配方可实际部署。
实验结果
识别方面（Table 1、Figure 1）：在四个会议基准加MLC-Challenge九语言的五集平均上，7B/22帧配置取得24.66，优于Gemini 3.5 Transcribe Live的25.23、GPT Realtime Whisper的39.31、GPT Live Transcribe的40.55和ElevenLabs Scribe v2的41.39；在AISHELL-4（22.76对30.09）、AliMeeting（33.83对35.29）、AMI-IHM（19.83对19.85）上最佳，仅AMI-SDM（29.81对27.18）和MLC平均（17.09对13.73）输给Gemini。说话人归属（Table 2）：13个设定中12个最佳或并列最佳cpWER/cpCER，会议基准较Azure CT改善2.39至12.45点（AliMeeting cpCER 39.80对52.25、AISHELL-4 28.70对32.51），MLC平均22.75对27.06；归属延迟仅2.00秒，Azure CT实测8.21秒，Google STT首标9.12秒、事后修正（Dfin）需51.06秒才把cpWER再降27.0至32.2点。单说话人（Table 3）：四集平均5.76与最强X-ASR的5.77持平。消融（Table 4-7）：流式化使WER升0.75至3.53点、cpWER升5.13至6.67点；块15帧增至22帧平均降1.46 WER/4.06 cpWER；1.5B增至7B降11.61至12.76 cpWER；lookahead从0到4帧使平均WER从27.18单调降至24.66、cpWER从35.88降至31.55；服务成本上（Table 8）7B/15帧每块解码146至208ms，RTF最高0.104。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 流式识别ASR（四会议基准+MLC五集平均） | WER/CER（越低越好） | 24.66（7B，22帧块） | Gemini 3.5 Transcribe Live 25.23；GPT Realtime Whisper 39.31；GPT Live Transcribe 40.55；ElevenLabs Scribe v2 Realtime 41.39 | 五集平均最优，比第二名Gemini低0.57点 |
| 流式说话人归属ASR（13个评测设定） | cpWER/cpCER（MeetEval协议） | 12/13个设定最佳或并列最佳；MLC九语平均22.75 | Azure ConversationTranscriber（MLC平均27.06）；Google STT（D0/Dfin两个操作点） | 会议基准较Azure CT提升2.39至12.45点，MLC平均改善4.31点 |
| AliMeeting（中文会议，CER） | CER / cpCER | 33.83 / 39.80 | Gemini 35.29；Azure CT 29.40 / 52.25 | 识别CER最优；cpCER较Azure CT大幅改善12.45点 |
| AISHELL-4（中文会议，CER） | CER / cpCER | 22.76 / 28.70 | Gemini 30.09；Azure CT 24.03 / 32.51 | 识别与归属两项均为全表最佳 |
| 说话人归属延迟（算法预期） | 延迟秒数（$C/2 + T_{lookahead}$，越低越好） | 2.00秒（22帧块）；1.53秒（15帧块） | Azure CT实测8.21秒；Google STT 9.12秒（D0）/ 51.06秒（Dfin） | 比云端商用系统快4倍以上，且标签一经输出不再回改 |
| 单说话人短音频（AISHELL-1+LibriSpeech+GigaSpeech四集平均） | CER/WER | 5.76（7B，22帧） | X-ASR 5.77；Voxtral-Mini-4B-Realtime 6.41；Nemotron-3.5-ASR 8.79 | 与最强系统持平，无单项第一但无短板 |
局限与改进
作者承认四点局限：一是多语言覆盖仅10种语言，受训练所需的Qwen3-ForcedAligner-0.6B词级对齐器支持语言限制；二是长时间多人重叠说话时性能退化，因为解码器必须把重叠语音串行化为单一输出流；三是发布检查点仅支持最长8分钟录音，限制主要来自上下文线性增长的算力成本而非架构；四是首包延迟高——2.00秒是稳态预期，首块输出需整块加lookahead，22帧配置要3.5秒、15帧要2.5秒。我的补充观察：流式转换的代价并不小，Table 4显示cpWER统一上升5.13至6.67点，说明低延迟与归属精度之间仍有实质权衡；MLC九语识别平均仍明显落后Gemini（17.09对13.73），尤其日语27.85对16.54、葡萄牙语28.15对20.83，中文CER外的语言泛化是短板；所有评测录音被截到480秒以匹配检查点上限，数小时真实会议场景的表现完全未验证；说话人用首现顺序的序数标签，若早期块判错标签，错误会随上下文延续且没有更正机制。
独立分析的弱点
独立分析有五个弱点。其一，上下文线性增长使录音上限仅8分钟，数小时会议不可行，改进方向是引入说话人登记式的压缩记忆：把已确认说话人的声学与词汇证据摘要化，滑动窗口只保留近期原始上下文，配合新说话人检测触发登记查询。其二，长时重叠退化源于单流串行输出，可借鉴分离感知表示或多流解码，让重叠段按说话人并行生成。其三，流式化使cpWER统一上升5.13至6.67点，可设计低代价的局部回溯修订——保持首标延迟2秒不变，但允许在后续块提供强反证时修订刚输出的标签，类似Google STT的Dfin但延迟预算小得多。其四，序数标签的错误传播：首块归属错误无法纠正，改进方向是支持已知说话人名单的注册机制（SpeakerLM已有类似思路），或输出软性说话人置信度供下游修正。其五，语言覆盖被对齐器卡死在10种，可用多语言对齐器或弱监督（伪标签自训练）扩展，作者自己也把更广覆盖列为未来工作。此外，单说话人场景它没有任何单项第一（Table 3），作为通用ASR并不划算，产品定位应明确为多说话人流式专用。
未来方向
作者明确提出的方向包括：扩展语言覆盖（受制于对齐器，可用新对齐器或多语言数据重训）；解决长时重叠（分离感知表示或多流解码）；降低首包延迟（在不牺牲大块精度的情况下压缩3.5秒的启动延迟）。基于其成果还可延伸：一是层级化长录音处理，把8分钟检查点串接成小时级系统，用已固定的说话人标签做跨窗口的一致性锚点；二是与语音agent栈整合，作为前端与TTS、对话策略联合优化，2秒归属延迟正好匹配轮次检测节奏；三是蒸馏到1.5B以下规模做端侧部署，Table 8显示15帧配置RTF仅0.104，小模型在手机上实时运行可行；四是热词上下文提示（继承自VibeVoice-ASR）与流式场景的系统评测，论文只提到能力保留但未给流式热词数据；五是非自回归或推测解码进一步压低RTF，为多路并发服务降低成本；六是把"标签位置等价"的发现推广为对Speech-LLM中说话人信息编码方式（专用token、嵌入、文本标签）的系统研究。
复现评估
复现条件总体友好。开源情况：1.5B和7B权重、vLLM高性能推理代码均已发布（GitHub：microsoft/VibeVoice；Checkpoint：microsoft/VibeVoice-Collection），并提供在线demo。推理复现门槛低：单张A100 80GB、vLLM bfloat16、批大小1即可实时（每块146至208ms，RTF不超过0.104）。评测完全可复现：AliMeeting、AISHELL-4、AMI、MLC-Challenge、LibriSpeech、GigaSpeech均公开，打分用MeetEval开源协议，论文声明只用官方训练划分、无评测语句泄漏，并对商用API统一采用2.9秒分块流式设置。难点在训练复现：Stage 2需约42万小时中英文语音、Stage 3约1.3万小时，合成数据管线（Qwen3-ForcedAligner-0.6B对齐、RIR卷积、重叠混音）描述清楚但算力远超学术实验室；GPU时长与总预算未披露，从零复现训练不现实，可行路径是基于开源检查点做微调或评测。
论文图表
