Voxtral Realtime：亚秒级延迟的原生流式语音识别模型 Voxtral Realtime
4.4B参数原生流式ASR，480ms延迟媲美离线Whisper
前置知识
自动语音识别 (ASR)
ASR 是将音频信号转换为文字序列的技术。传统离线 ASR 系统（如 Whisper）在处理完整音频后一次性输出转录结果，而流式 ASR 则在音频持续输入的同时实时产出文字，对延迟有严格要求。衡量 ASR 系统的核心指标是词错误率（WER），即转录结果中错误词数占总词数的比例。
本文的核心就是流式 ASR 系统，理解 ASR 的基本概念、离线与流式的区别、以及 WER 指标是阅读本文的基础。
流式架构 (Streaming Architecture)
流式架构是指模型在接收音频输入的同时逐步生成文字输出，而非等到完整音频处理完毕。这要求模型具有因果性（causal），即每个输出只依赖于当前和过去的输入，不能看到未来信息。常见的流式架构实现方式包括：通过分块（chunking）或滑动窗口限制右上下文、使用 RNN-Transducer 架构、或本文采用的延迟流建模（DSM）框架。
本文的核心贡献就是设计了一种原生流式架构，理解流式与离线架构的本质区别是理解本文技术创新的前提。
延迟流建模 (Delayed Streams Modeling, DSM)
DSM 是由 Zeghidour 等人（2025）提出的流式 ASR 框架。其核心思想是将音频流和文本流对齐，用一个 decoder-only 的 Transformer 在每个时间步同时消费音频嵌入和上一步生成的文本嵌入的融合表示，然后预测下一个 token。通过引入占位符 token（padding token）让模型等待直到有足够的声学证据才开始生成文字。本文的架构直接建立在 DSM 之上。
Voxtral Realtime 的架构设计基于 DSM 框架，理解 DSM 的延迟对齐机制和占位符设计是理解本文方法的关键。
Ada RMS-Norm (自适应 RMS 归一化)
Ada RMS-Norm 是本文提出的一种延迟条件注入机制。标准 RMSNorm 是一种简化版的 LayerNorm，用均方根进行归一化而不减均值。Ada RMS-Norm 将目标延迟 $\tau$ 通过正弦嵌入和 MLP 映射为一个调制向量 $g(\tau) \in \mathbb{R}^d$，然后以乘性方式注入到 Transformer 每个 block 的 FFN 分支的归一化空间中：$r_{\text{ffn}} = \text{FFN}(\text{RMSNorm}(h) \odot (1.0 + g(\tau)))$。这使得单个模型能在推理时以任意延迟（80ms 的倍数）运行。
Ada RMS-Norm 是本文最核心的技术创新，使得一个模型同时支持多种延迟设置，消除了为不同延迟训练多个模型的需要。
因果音频编码器 (Causal Audio Encoder)
传统离线 ASR 的音频编码器使用双向注意力，可以看到整个音频的上下文。因果音频编码器则只使用因果注意力（causal attention），每个时间步只能看到当前和过去的输入。本文的因果编码器从零训练，采用 RMSNorm、SwiGLU、RoPE 和滑动窗口注意力（窗口大小 750 帧，即 15 秒），使用因果卷积 stem 对输入做 2 倍下采样后输出 50Hz 的嵌入。
因果音频编码器是实现真正流式推理的基础组件，从零训练一个高质量的因果编码器是本文的重要技术贡献。
词错误率 (Word Error Rate, WER)
WER 是语音识别领域最常用的评估指标，计算公式为 $WER = \frac{S + D + I}{N} \times 100\%$，其中 $S$ 为替换错误数，$D$ 为删除错误数，$I$ 为插入错误数，$N$ 为参考文本的总词数。WER 越低表示转录质量越高。本文在多个基准上报告宏平均 WER。
WER 是本文所有实验结果的核心度量指标，理解 WER 的含义才能准确评估模型性能。
研究动机
现有多数流式 ASR 方法通过将离线模型进行分块处理来实现流式推理，但这种策略存在根本性的训练-推理不匹配问题。离线模型（如 Whisper）在训练时使用双向注意力，可以访问完整的音频上下文，但在流式推理时被迫在只有部分音频可见的情况下生成输出。当延迟要求降低到亚秒级别时，这种不匹配会急剧恶化，导致识别精度大幅下降。例如，DSM 框架在 500ms 延迟下英语短文任务的 WER 高达 12.26%，远高于 Whisper 的 8.39%（离线）。Nemotron Streaming 在 560ms 延迟下英语长文 WER 达 14.29%，实用性受限。此外，现有开源流式模型大多只支持英语或少量语言（如 DSM 仅支持英语和法语），无法满足多语言实时转录的需求。
本文的目标是本文的目标是构建一个原生流式的 ASR 模型，在亚秒级延迟下达到离线转录系统的质量水平，同时支持 13 种语言。具体来说，研究者希望在 480ms 延迟下匹配 Whisper 和 Scribe v2 Realtime 的准确率，并在更高延迟下（如 960ms）超越这些强基线系统。此外，目标还包括将模型作为开源权重发布（Apache 2.0 许可），推动高质量流式 ASR 的研究和部署。
与已有工作不同的是，本文的独特切入角度在于三个方面的创新组合。第一，不复用现有的离线编码器，而是从零训练一个专门设计的因果音频编码器，采用 RMSNorm、SwiGLU、RoPE 和滑动窗口注意力等现代架构选择，从根本上消除训练-推理不匹配。第二，提出 Ada RMS-Norm 机制，将延迟信息以乘性方式注入模型的归一化空间，使得单一模型能以任意延迟运行，而无需为每个延迟设置训练单独的模型或使用特殊的文本流注入方式。第三，直接在预训练语言模型（Ministral 3B）之上训练，通过精心设计的目标构造（词分组策略）保留预训练模型的文本生成能力，而非从零训练一个语言模型。这种将因果编码器、延迟自适应调制和预训练语言模型三者结合的方案在以前的工作中尚未被探索。
核心方法
Voxtral Realtime 的整体架构遵循延迟流建模（DSM）框架的流式同步设计。直觉上，可以将其理解为一个边听边写的系统：音频流和文本流以相同的帧率（12.5 Hz）同步推进，模型在每个时间步将当前的音频嵌入和上一步生成的文本嵌入融合后送入 Transformer 解码器，决定是发出一个文字 token 还是等待更多音频证据。技术路线分为三个组件：（1）因果音频编码器将原始音频波形转换为 50Hz 的嵌入序列；（2）MLP 适配器层将 50Hz 的音频嵌入下采样到 12.5Hz，与文本流对齐；（3）基于预训练 Ministral 3B 的 Transformer 解码器在每步消费融合嵌入后自回归生成输出 token。延迟 $\tau$ 通过 Ada RMS-Norm 注入解码器的每一层，使模型在推理时可以灵活选择 80ms 到 2400ms 之间的任意延迟。
本文的核心创新是 Ada RMS-Norm 延迟条件机制，它与 DSM 原始的求和注入方式和特殊 token 注入方式有本质区别。DSM 原始方法将延迟嵌入直接与音频-文本融合嵌入相加，这种方式将延迟信息与输入信息混在同一空间中，模型需要额外学习如何解耦两者。本文的 Ada RMS-Norm 则将延迟向量 $g(\tau)$ 作为乘性调制因子注入到每个 Transformer block 的 FFN 分支的归一化空间中：$$r_{\text{ffn}} = \text{FFN}(\text{RMSNorm}(h) \odot (1.0 + g(\tau)))$$，而注意力分支保持不变。这种设计将延迟作为一种增益信号，调节模型对音频信号的敏感程度——高延迟意味着模型可以等待更多声学证据，低延迟则需要更积极地推测。消融实验表明，Ada RMS-Norm 在英语、法语和德语上均比求和注入和特殊 token 方式收敛更快、WER 更低。此外，另一核心创新是词分组（word grouping）策略：当多个词在同一个发射帧内完成时，不插入额外的词边界 token [W]，让子词序列自然衔接，从而保留了预训练语言模型学到的文本分布。
方法步骤详情
Voxtral Realtime 的训练和推理包含以下步骤：（1）音频预处理：将原始波形转换为 128 维 Mel 频谱图（hop length 160 样本，即 16kHz 下 10ms），送入因果卷积 stem 做 2 倍时间下采样。（2）因果编码：卷积 stem 输出后经过 32 层因果自注意力层（RMSNorm、SwiGLU、RoPE、750 帧滑动窗口），输出 50Hz 的嵌入序列，每帧代表 20ms 音频。（3）适配器下采样：一个 2 层 MLP 将 50Hz 的编码输出 4 倍下采样到 12.5Hz，每帧代表 80ms 音频。（4）延迟采样与条件注入：训练时 $\tau$ 从 80ms 到 2400ms 均匀采样（80ms 步长，共 30 个值），通过正弦嵌入和 MLP（内维度 32）投影为 $g(\tau) \in \mathbb{R}^{3072}$。（5）目标构建：利用 (音频, 文本, 词级时间戳) 三元组构建帧同步目标序列，引入 [P] 填充 token 和 [W] 词边界 token。当音频帧无文字输出时目标为 [P]，当词完成且延迟条件满足时输出 [W] 后跟子词 token。同一帧内完成的多个词不分组插入 [W]，保留预训练文本分布。（6）两阶段训练：前 5% 训练冻结解码器、仅训练编码器和适配器（学习率 $4 \times 10^{-4}$）；后 95% 全模型联合训练（学习率 $6 \times 10^{-5}$），batch size 370 小时，使用 AdamW 优化器。为防止 logit 幅度无限增长，加入 z-loss 惩罚项约束 softmax 归一化器接近零。（7）推理服务：在 vLLM 框架中实现分页注意力（处理编码器 50Hz 和解码器 12.5Hz 的异构 KV 缓存）、可恢复流式请求和 WebSocket 实时 API。
技术新颖性
Voxtral Realtime 的技术新颖性体现在多个层面。首先，它是首个在 DSM 框架下使用 Ada RMS-Norm 进行延迟条件注入的工作，该机制将延迟信息作为乘性增益信号而非加性偏置，消融实验证明其在收敛速度和最终精度上均优于已有方案。其次，本文设计并从零训练了一个 970M 参数的现代因果音频编码器，采用 RMSNorm、SwiGLU、RoPE 和 750 帧滑动窗口注意力，取代了 Whisper 使用的 LayerNorm + GELU + 正弦位置编码方案，这是第一次在流式 ASR 中系统性地应用这些现代架构选择。第三，词分组（word grouping）策略是一个简单但有效的技巧：当多个词在相同帧完成时不插入额外的 [W] token，从而保留预训练语言模型的子词序列分布，消融实验显示这一策略对收敛速度和最终精度都有显著提升。第四，本文将 3.4B 参数的 Ministral 语言模型作为解码器初始化，通过精心的两阶段训练策略（编码器热身 + 端到端联合训练）和 z-loss 惩罚项解决了 logit 幅度增长和音频-文本嵌入不平衡的问题。第五，在工程层面，本文为 vLLM 框架贡献了支持异构 KV 缓存的分页注意力后端、可恢复流式请求和 WebSocket 实时 API，使得流式 ASR 能在生产环境中高效部署。
实验结果
Voxtral Realtime 在多个基准上展示了亚秒级延迟下达到离线转录质量的能力。在 FLEURS 多语言基准（13 种语言）上，240ms 延迟时 WER 为 10.80%，480ms 时降至 8.72%，960ms 时进一步降至 7.70%，2400ms 时达到 6.73%，仅比 Voxtral Mini Transcribe V2 的 5.90% 高不到 1 个百分点。英语短文任务上，480ms 延迟下 WER 为 8.47%，与 Whisper 的 8.39% 几乎持平，优于 GPT-4o mini Transcribe 的 7.93%。英语长文任务上，480ms 延迟下 WER 为 7.73%，与 Whisper 的 7.97% 相当甚至略优。在 Mozilla Common Voice 上，480ms 延迟下 WER 为 15.24%，显著低于 Scribe v2 Realtime 的 20.85%。与开源流式基线相比，Voxtral Realtime 优势明显：DSM 1B En-Fr 在 500ms 延迟下英语短文 WER 为 12.26%，Nemotron Streaming 在 560ms 延迟下英语长文 WER 为 14.29%，均远高于 Voxtral Realtime 的对应结果。消融实验方面，Ada RMS-Norm 在英语、法语和德语上一致优于求和注入和特殊 token 方式；词分组策略比逐词插入 [W] 收敛更快、WER 更低；左填充从 0 增加到 16 帧在所有任务上均有提升，32 帧进一步改善（MCV 除外）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FLEURS 多语言（13 语言宏平均） | WER (%) | 6.73（2400ms）/ 8.72（480ms） | Whisper 8.23 / Scribe v2 Realtime 8.34 | 480ms 下已接近 Whisper，2400ms 下超越所有离线和在线基线 |
| 英语短文（宏平均） | WER (%) | 7.72（2400ms）/ 8.47（480ms） | Whisper 8.39 / GPT-4o mini 7.93 | 480ms 下与 Whisper 持平，2400ms 下超越 Whisper 达 8% |
| 英语长文（宏平均） | WER (%) | 6.93（2400ms）/ 7.73（480ms） | Whisper 7.97 / GPT-4o mini 7.97 | 480ms 下已优于 Whisper，2400ms 下领先约 13% |
| Mozilla Common Voice（多语言宏平均） | WER (%) | 10.47（2400ms）/ 15.24（480ms） | Whisper 14.25 / Scribe v2 Realtime 20.85 | 480ms 下已优于 Whisper，2400ms 下大幅领先 Scribe v2 Realtime |
| DSM 1B En-Fr 对比（英语短文） | WER (%) | 9.95（240ms） | DSM 1B 12.26（500ms） | 更低延迟下 WER 低约 19% |
| Nemotron Streaming 对比（英语长文） | WER (%) | 7.73（480ms） | Nemotron 14.29（560ms） | 相似延迟下 WER 低约 46% |
局限与改进
尽管 Voxtral Realtime 取得了令人印象深刻的成果，论文中也隐含着若干值得审视的局限性。首先，模型总参数量为 4.4B（其中解码器 3.4B），这比 Whisper Large-v3 的约 1.5B 参数大得多，意味着更高的计算和内存开销，在端侧部署或资源受限场景中可能面临挑战。其次，虽然模型声称支持 13 种语言，但论文中并未提供每种语言的单独 WER 数据（仅在 Table 7 中给出，正文未展开），语言之间的性能差异可能很大，某些低资源语言的实际效果有待验证。第三，模型依赖词级时间戳来构建训练目标，这意味着它需要带有精确时间标注的训练数据，数据获取成本较高，而论文未详细说明训练数据的具体来源和规模。第四，评测基准主要集中在标准测试集上，对真实场景中的噪声、口音、方言、重叠语音等复杂条件的表现未做充分验证。第五，左填充消融实验表明模型对初始化有一定敏感性（32 帧在 MCV 上反而不如 16 帧），暗示模型的鲁棒性仍有提升空间。第六，论文未与 Google 的 USM 或 Meta 的 MMS 等其他大规模多语言模型进行直接对比，比较范围相对有限。
独立分析的弱点
从独立分析的角度来看，Voxtral Realtime 存在以下几个可以改进的弱点。第一，模型规模偏大：4.4B 参数的总规模使得在移动设备或嵌入式系统上部署几乎不可能。改进方向包括知识蒸馏到更小的学生模型、结构化剪枝、或者使用更高效的注意力机制（如线性注意力）来压缩模型。第二，编码器的 750 帧滑动窗口（15 秒）虽然在实验中表现良好，但在需要更长上下文的场景（如长段落转录中的指代消解）中可能不够用，可以探索多尺度滑动窗口或层级化注意力机制。第三，延迟调节粒度为 80ms 的倍数，虽然这与适配器下采样率一致，但某些应用可能需要更精细的延迟控制，可以考虑在适配器层面引入更灵活的下采样率。第四，z-loss 惩罚项的引入虽然解决了 logit 幅度增长问题，但这是一个打补丁式的解决方案，更根本的方案可能需要重新设计编码器和解码器的嵌入融合机制。第五，论文未讨论模型在连续运行数小时后是否会退化（如长时间对话中的注意力漂移），这在实际部署中是重要问题。
未来方向
论文作者和基于本文成果可以延伸的未来研究方向包括以下几个方面。首先，作者提到左填充可能起到类似注意力汇（attention sink）的作用，但将深入研究留给了未来工作，理解这一机制有助于进一步优化模型的初始化策略。其次，本文的架构可以扩展到其他流式语音任务，如流式语音翻译（在音频输入的同时实时翻译为另一种语言的文字）、流式语音摘要、或流式情感分析。第三，将 Ada RMS-Norm 的延迟条件化思想应用到其他需要连续可调性能-延迟权衡的任务中，如流式图像描述或视频字幕。第四，探索更小规模的 Voxtral Realtime 变体（如 1B 或 500M 参数版本）以支持边缘部署，同时保持合理的转录质量。第五，结合主动学习或强化学习，让模型根据实时的置信度动态调整延迟——在模型确信时快速输出，在不确定时等待更多声学证据。第六，将模型与端点检测（endpoint detection）和说话人分离（speaker diarization）集成，构建完整的实时会议转录系统。
复现评估
本文在可复现性方面表现较好。模型权重以 Apache 2.0 许可在 HuggingFace 开源发布（mistralai/Voxtral-Mini-4B-Realtime-2602），任何人均可下载使用。论文详细描述了模型架构（Table 1 给出了每层的精确维度、头数、滑动窗口大小和参数量）、训练超参数（两阶段学习率、batch size、优化器设置）和目标构建方式（延迟采样范围、词分组策略）。在工程实现方面，论文贡献了 vLLM 框架的实时流式支持（包括异构 KV 缓存的分页注意力后端、可恢复请求和 WebSocket API），这些代码应当可以通过 vLLM 的开源仓库获取。主要的复现门槛在于算力需求：4.4B 参数模型在 370 小时 batch size 下训练，需要大规模 GPU 集群（论文未指定具体硬件配置）；此外，训练数据的具体来源和预处理流程未在论文中完整公开，可能需要额外的逆向工程或联系作者获取。对于推理复现，由于模型权重已开源且 vLLM 提供了官方支持，学术和工业用户可以相对容易地进行评测和部署。
论文图表
