FireRedASR2S：工业级一体化语音识别系统，集成ASR、VAD、语言识别与标点恢复 FireRedASR2S: A State-of-the-Art Industrial-Grade All-in-One Automatic Speech Recognition System
工业级一体化语音识别系统，整合四大模块
前置知识
端到端语音识别（ASR）
直接将音频波形或声学特征映射到文字序列的建模方法，常用架构包括基于注意力的编码-解码器（AED）和基于大语言模型的 Encoder-Adapter-LLM 框架。与传统 HMM/GMM + 声学-发音-语言模型的级联方案不同，端到端模型用单一神经网络联合优化所有组件，简化了训练和部署。
FireRedASR2 的两个变体 FireRedASR2-AED（1B+ 参数）和 FireRedASR2-LLM（8B+ 参数）正是基于端到端架构，理解 AED 与 LLM 增强方案的差异是看懂本文技术路线的关键。
语音活动检测（VAD）
判断音频中哪些时段包含人声、哪些是静音或非语音的技术，是长音频处理流水线的第一道环节。传统做法多采用信号处理能量阈值或用 ASR forced alignment 派生弱监督标签训练神经网络；本文 FireRedVAD 则改用数千小时人工标注的事件数据直接监督。
VAD 是把长音频切成 ASR 可处理段的前提，其切分质量直接影响下游识别准确率和计算量。理解 DFSMN 这类轻量级时序网络的结构对评估 FireRedVAD 的工程价值至关重要。
语种识别（LID）与中文方言
在多语言或带方言的真实音频中，需要先识别语种（甚至细分方言）再路由到对应的 ASR。中文方言如粤语、吴语、闽语等与普通话在声母韵母上差异显著，统一模型识别时混淆率高，因此需要专门的方言识别模块。
FireRedLID 通过两级层次化标签（先语言，再方言）处理 100+ 语言和 20+ 中文方言，是其支撑中文方言 ASR 高准确率（平均 CER 11.55%）的关键。
DFSMN（深度前馈序列记忆网络）
一种用深度可分离 1D 卷积（带 dilation）实现时序记忆的轻量级神经网络，相比 LSTM 更适合工业级流式推理。本文 VAD 模块基于 8 个 DFSMN block 堆叠，仅 0.6M 参数即可达到 97.57% F1。
理解 DFSMN 的结构有助于把握 FireRedVAD '超轻量级 + 高准确率' 的工程定位。
Encoder-Adapter-LLM 架构
将音频编码器（如 Conformer）输出通过轻量 Adapter 映射到大语言模型 token 空间，再由冻结或 LoRA 微调的 LLM 自回归生成转写文字的端到端架构。优势是可继承 LLM 的语言先验，提升对长尾词、口语化的建模能力。
FireRedASR2-LLM 的 8B+ 参数规模以及相比 Fun-ASR 等商业 API 的优势正是源于这一架构的数据扩展能力。
研究动机
尽管 ASR 本身随着端到端建模和 LLM 集成已取得快速进展，但在真实工业部署中，单独一个 ASR 模型远远不够。实际音频通常包含长录音、静音与非语音片段、背景音乐、歌唱、多语种混合以及中文方言（如粤语、吴语、闽语等）混杂的情况。要在这些条件下输出可读的转写文本，需要一条完整流水线：先做 VAD 切分、再做 LID 路由、然后 ASR 转写、最后做标点恢复。然而，业界普遍的解决方案是从不同供应商拼接 VAD/LID/ASR/Punc 模块，这导致接口不一致、可复现性差、错误跨模块传播。更严重的是许多工业 VAD 是用 ASR forced alignment 派生弱监督训练，缺少对歌唱、音乐等非语音事件的显式建模，在复杂声学条件下鲁棒性下降。本文给出明确证据：FireRedVAD 在 FLEURS-VAD-102 上达到 99.60% AUC-ROC 和 97.57% F1，显著优于 Silero-VAD（97.99%/95.95%）、TEN-VAD（97.81%/95.19%）、FunASR-VAD（90.91% F1）和 WebRTC-VAD（52.30% F1）。
本文的目标是本文目标是发布一套开源、工业级、一体化的语音识别系统 FireRedASR2S，把 ASR、VAD（包含流式、多标签 mVAD）、LID（支持 100+ 语言和 20+ 中文方言）、标点预测四个模块纳入统一接口和流水线，同时允许每个模块独立部署。整个系统名为 '2S' 表示第二代 FireRedASR 扩展为 System。作者明确给出三个具体技术目标：(1) FireRedASR2 相比第一代在准确率和方言覆盖上明显提升，要求在 24 个公开测试集上的平均 CER 优于 Doubao-ASR、Qwen3-ASR、Fun-ASR；(2) 用人类标注的事件数据训练 VAD，避免 weak supervision 带来的鲁棒性问题；(3) 用层次化标签建模 LID，先预测语言再预测中文方言，提升稳定性。
与已有工作不同的是，与已有工作相比，FireRedASR2S 的独特切入角度在于'统一系统设计 + 数据规模 + 人类监督'三点合一。具体而言：(a) 与商用 API（豆包、Fun-ASR）相比，全套开源、可复现，不存在服务端版本漂移问题；(b) 与 FireRedASR 第一代相比，监督训练数据从 70k 小时扩展到约 200k 小时，覆盖更广的语言、方言和领域，并新增 AED 变体的时间戳支持；(c) 与采用 forced-alignment 派生标签的 VAD（如 FunASR-VAD 训练数据本身缺乏显式事件标注）相比，FireRedVAD 使用数千小时人类标注的事件数据，使 mVAD 能显式区分 speech/singing/music 三类事件；(d) LID 上把 100+ 语言和 20+ 中文方言纳入一个层次化解码框架，最大解码长度仅 2 个 token，推理开销可忽略。
核心方法
FireRedASR2S 采用模块化流水线设计：FireRedVAD 在原始波形时间线上检测语音段并过滤非语音区域，FireRedLID 对每个段预测语种标签（中文时附加方言标签），FireRedASR2 转写为文本并给出置信度（AED 变体还返回 token/word 级时间戳），FireRedPunc 恢复中英文标点。整体思路是'分工协作 + 独立可用'——每个模块都能独立部署，但默认配置串成端到端管道。直觉上，长音频必须先切分才能被 ASR 处理，而 VAD 切分质量决定了下游 ASR 接收到的声学条件；多语种混合场景必须先识别语种再选模型，否则单一 ASR 会因语言混淆而出错；ASR 输出缺乏标点会严重影响可读性，尤其在字幕、机器翻译等下游应用中。所有四个模块的设计都围绕'工业级鲁棒 + 高准确率 + 轻量级部署'展开，ASR 两个变体（LLM 8B+ 和 AED 1B+）覆盖准确率-效率 trade-off，VAD 仅 0.6M 参数支持百万级并发。
FireRedASR2S 的核心创新体现在四个模块的协同设计上，每个模块都做了针对性的工程优化：FireRedASR2 保留原架构，把训练数据从 70k 小时扩展到约 200k 小时，从而在保持模型结构的同时大幅提升识别准确率和方言覆盖；FireRedASR2-AED 还新增'后置 CTC 分支'用于时间戳预测，先训练 AED 主干再冻结 encoder/decoder，仅优化轻量级 CTC 投影头；FireRedVAD 用 DFSMN 替代常见的 forced-alignment 弱监督，改用人类标注的事件标签，并同时支持非流式、流式、多标签三种使用模式；FireRedLID 把语言和方言预测建模为最多 2 token 的层次化解码任务，先预测语言，语种为 zh 时再预测方言聚类；FireRedPunc 用 LERT 初始化的 BERT 风格 encoder，在大规模多领域中英文语料上微调。本质区别于已有工作的不是单点算法突破，而是'在每个模块上做最稳妥的工业优化 + 把它们缝合成一套可部署系统'。
方法步骤详情
FireRedASR2S 的标准推理流水线分四步：(1) FireRedVAD 阶段，输入原始波形，用 DFSMN 模型输出 frame 级 posterior（流式 0 look-ahead，非流式 20 look-ahead），经平滑滤波 + 阈值 + 有限状态后处理（最小语音/静音时长约束）输出带时间戳的语音段列表；(2) FireRedLID 阶段，对每个语音段送入 Conformer Encoder + Transformer Decoder，beam search 解码最长 2 token 的层次化标签序列（如 'zh mandarin'、'en'），输出语种标签及置信度；(3) FireRedASR2 阶段，对每段音频提取 80 维 FBank（25ms 窗口、10ms 帧移 + CMVN 归一化），送入 AED 或 LLM 模型生成 token 序列；AED 变体通过后置 CTC 分支做 forced alignment 推算 token 级时间戳，再按 BPE 合并规则生成 word 级时间戳，并按 token 后验的几何平均输出 utterance 级置信度；(4) FireRedPunc 阶段，把 ASR 输出用 LERT tokenizer 分词，BERT 风格 encoder 输出每个 token 的标点标签（5 类：空/逗号/句号/问号/感叹号），按 token 位置插入标点。训练方面：FireRedASR2-AED 用约 200k 小时多语种/方言监督数据，词汇表 8667，中英混合分词；FireRedASR2-LLM 的 encoder 从 FireRedASR2-AED encoder 初始化，Adapter 把声学表征映射到 LLM 嵌入空间，LLM 通过 LoRA 微调；FireRedVAD 用数千小时人工标注的事件数据训练三个独立 DFSMN 模型（VAD、mVAD、流式 VAD），共享 8 个 DFSMN block + 投影层结构，hidden=256、projection=128；FireRedLID 用约 200k 小时多语种数据训练，encoder 从 FireRedASR2-AED 初始化；FireRedPunc 用 18.57B 中文字符 + 2.20B 英文词的语料训练。所有模块都开源在 https://github.com/FireRedTeam/FireRedASR2S。
技术新颖性
技术新颖性主要不在单点算法突破，而在系统层面把若干已知技术做出工业级落地：(1) 把 Encoder-Adapter-LLM 与传统 AED 并存形成双变体，覆盖不同算力预算；(2) AED 变体的'后置 CTC 头'设计，在保持主模型识别精度的前提下附加时间戳能力，是兼顾识别准确率和对齐质量的工程取舍；(3) FireRedVAD 完全用人工标注事件数据训练而非 ASR 派生标签，引入 0.6M 参数级别 DFSMN 实现流式/非流式/多标签三种 VAD，覆盖工业高并发 + 边缘部署两种场景；(4) FireRedLID 把 100+ 语言 + 20+ 中文方言统一为'先语言再方言'的两 token 层次化解码，最大解码长度仅 2，推理开销几乎可忽略；(5) FireRedPunc 用 LERT 初始化 + 多领域大规模语料，相比 FunASR-Punc 在英文上提升近 25 个绝对百分点 F1；(6) 端到端输出结构化结果（带时间戳、置信度、语种标签），可被下游字幕生成、机器翻译等直接消费。
实验结果
实验在 24 个公开 ASR 测试集 + 1 个 FLEURS-VAD-102 VAD 集 + 2 个 LID 集 + 2 个内部标点集上进行，所有结果均非流式。ASR：FireRedASR2-LLM 在 Avg-All-24 上 CER 为 9.67%，FireRedASR2-AED 为 9.80%，明显优于 Doubao-ASR（12.98%）、Qwen3-ASR（10.12%）、Fun-ASR（10.92%）。在 4 个 Mandarin 集上 LLM 达 2.89%（AED 3.05%），优于 Doubao 3.69%、Qwen3 4.76% 和 Fun-ASR 4.16%；在 19 个方言集上 LLM 达 11.55%（AED 11.67%），优于 Doubao 15.39%、Qwen3 11.85%、Fun-ASR 12.76%；歌唱歌词集 opencpop 上 LLM 仅 1.12% CER，明显优于其他方案（最接近的 Qwen3-ASR 为 2.57%）。逐数据集看：aishell1 上 AED 最低 0.57%，ws-net 上 LLM 4.44%，kespeech 上 LLM 3.08%，ws-chuan-hard 上 LLM 20.71% 是方言集里最难的一项。值得注意的是 md-shanghai-conv 上 Fun-ASR API 反而最低 25.49%（作者指出 Fun-ASR 可能用了相关私有数据），md-wuhan 上 Fun-ASR 也只有 4.34%，暴露出某些方言上开源方案的不足。VAD：在 FLEURS-VAD-102 上 FireRedVAD 达到 99.60% AUC-ROC、97.57% F1、2.69% FAR、3.62% MR，全面优于 Silero-VAD（97.99%/95.95%/9.41%/3.95%）、TEN-VAD（97.81%/95.19%/15.47%/2.95%）、FunASR-VAD（90.91%/44.03%/0.42%）和 WebRTC-VAD（52.30%/2.83%/64.15%）。FunASR-VAD 极低 MR 是以高 FAR 为代价，会造成过度切分增加下游 ASR 负担。LID：FireRedLID 在 FLEURS 82 语言上达 97.18%，超过 Whisper 79.41% 和 SpeechBrain 92.91%；CommonVoice 74 语言上 92.07%，超过 Whisper 80.81% 和 SpeechBrain 78.75%；中文方言上 88.47%，超过 Dolphin 69.01%。Punc：FireRedPunc 在多领域中文上 82.96% F1，超过 FunASR-Punc 75.62%；英文上 74.83% F1，超过 FunASR-Punc 49.91%；平均 78.90%，超过 FunASR-Punc 62.77%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ASR（24 个公开集平均） | CER (%) ↓ | FireRedASR2-LLM 9.67 / AED 9.80 | Doubao-ASR 12.98, Qwen3-ASR 10.12, Fun-ASR 10.92 | LLM 相对最强开源基线 Qwen3-ASR 提升 0.45 个绝对百分点，相对 Doubao 提升 3.31 |
| Mandarin ASR（4 集平均） | CER (%) ↓ | FireRedASR2-LLM 2.89 / AED 3.05 | Doubao-ASR 3.69, Qwen3-ASR 3.76, Fun-ASR 4.16 | LLM 比 Doubao 提升 0.80，比 Fun-ASR 提升 1.27 |
| 中文方言 ASR（19 集平均） | CER (%) ↓ | FireRedASR2-LLM 11.55 / AED 11.67 | Doubao-ASR 15.39, Qwen3-ASR 11.85, Fun-ASR 12.76 | LLM 比 Doubao 提升 3.84 个绝对百分点，比 Qwen3 提升 0.30 |
| 歌唱歌词识别（opencpop） | CER (%) ↓ | FireRedASR2-LLM 1.12 / AED 1.17 | Doubao-ASR 4.36, Qwen3-ASR 2.57, Fun-ASR 3.05 | LLM 比 Doubao 提升 3.24，比 Qwen3 提升 1.45 |
| VAD（FLEURS-VAD-102） | AUC-ROC (%) ↑ | FireRedVAD 99.60 | Silero-VAD 97.99, TEN-VAD 97.81 | 比 Silero 提升 1.61 个百分点；F1 上提升 1.62 |
| VAD（FLEURS-VAD-102） | F1 (%) ↑ | FireRedVAD 97.57 | Silero-VAD 95.95, TEN-VAD 95.19, FunASR-VAD 90.91, WebRTC-VAD 52.30 | 比 Silero 提升 1.62，比 WebRTC 提升 45.27 |
| 多语种 LID（FLEURS 82 语言） | Utterance Accuracy (%) ↑ | FireRedLID 97.18 | Whisper 79.41, SpeechBrain 92.91 | 比 Whisper 提升 17.77，比 SpeechBrain 提升 4.27 |
| 多语种 LID（CommonVoice 74 语言） | Utterance Accuracy (%) ↑ | FireRedLID 92.07 | Whisper 80.81, SpeechBrain 78.75 | 比 Whisper 提升 11.26，比 SpeechBrain 提升 13.32 |
| 中文方言 LID（KeSpeech + MagicData 合并） | Utterance Accuracy (%) ↑ | FireRedLID 88.47 | Dolphin 69.01 | 比 Dolphin 提升 19.46 |
| 标点预测（中文 + 英文平均） | F1 (%) ↑ | FireRedPunc 78.90 | FunASR-Punc 62.77 | 平均提升 16.13 个百分点；英文单项从 49.91 提到 74.83，提升 24.92 |
局限与改进
作者在文中明确指出的局限：(1) ws-chuan-hard 仍达 20.71% CER、md-shanghai-conv 达 28.70%、md-changsha 达 23.18%，说明川渝、上海、长沙等南方口音仍有较大识别误差；(2) 商用 API 在某些方言子集（md-shanghai 25.49%、md-wuhan 4.34%）反而更强，作者承认这些差距可能源于 API 厂商拥有未公开的相关私有训练数据，开源模型在数据多样性上仍有差距；(3) ASR baseline 的 API 版本（豆包 2026-02、Fun-ASR 2025-11）会随服务端更新而漂移，结果不严格可复现；(4) LID 评估在中文方言集上使用内部合并样本，未公开完整协议；(5) 标点评估集为内部数据，未来计划开源但当前无法独立复现；(6) 对 VAD 和 ASR 的真流式性能未给出端到端指标；(7) 8B+ 的 LLM 变体对部署算力要求较高，未提供延迟/吞吐数字。我自己的观察：(a) 没有给出推理速度 RTF 或延迟数据，对工业部署评估不够友好；(b) mVAD 三事件后处理中各事件的阈值未公开，调参对实际效果影响可能很大；(c) 时间戳仅在 AED 变体支持，LLM 变体未给出对齐方案。
独立分析的弱点
(1) **算力门槛不均衡**：LLM 变体 8B+ 参数对推理硬件要求高，但文中未给出 RTF、延迟、显存占用等部署指标，工业用户在评估是否能上线时缺乏依据。改进方向：发布量化版本（如 INT8/INT4）或蒸馏到 1B 级别的学生模型，并提供标准硬件上的推理 benchmark。(2) **部分方言仍弱**：ws-chuan-hard 20.71%、md-shanghai 系列 24-29% 暴露训练数据覆盖不足，应针对这些方言定向扩充数据或加入无监督方言适应。(3) **时间戳能力不完整**：只有 AED 变体支持 token/word 级时间戳，LLM 变体不支持对齐，对需要长上下文场景的字幕生成不友好。改进方向：在 LLM 变体上加入类似 Whisper 的 cross-attention 时间戳头或后置 CTC 对齐。(4) **API 复现性陷阱**：Doubao 和 Fun-ASR 的结果依赖采样时间，未来 API 更新后本文给出的具体数字将很快失效；改进方向：把对比实验固定为可下载的开源 checkpoint（Qwen3-ASR、Fun-ASR-Nano 已开源），并附上复现脚本和 hash。(5) **Punc 评估集不公开**：虽然承诺开源，但当前评测在内部数据上，无法独立验证；改进方向：立刻随代码一起发布测试集和评测脚本。(6) **VAD 阈值不透明**：mVAD 三个事件的后处理阈值、最大静音时长、最小语音时长等超参未给出，工业用户调优门槛高；改进方向：在代码中提供 dev 集调参工具和默认配置文件。(7) **错误传播未量化**：流水线式设计的失败模式（如 LID 错导致路由错误）未做 ablation 测量。
未来方向
作者在结尾明确提到未来会'继续提升性能、扩展更多语言'。基于成果可延伸的方向包括：(1) 把 200k 小时训练语料进一步扩大到 500k+ 小时，覆盖更多小语种和低资源方言；(2) 把 FireRedASR2-LLM 的时间戳能力补齐，支持字幕生成场景；(3) 将 FireRedVAD 的 mVAD 三事件扩展到更细粒度的声学事件分类（咳嗽、键盘声、笑声等）；(4) 在 LID 端加入 few-shot 方言适应能力，使模型能快速学习未见方言；(5) 探索跨模块联合训练，避免错误传播，例如把 VAD、LID、ASR 联合优化；(6) 集成说话人分离（diarization）模块，把 VAD 切分与说话人聚类合并；(7) 探索 LLM 变体的模型压缩（INT4 量化、MoE 化）和推理优化（speculative decoding、chunked prefill），把延迟降到流式 ASR 水平；(8) 把 FireRedPunc 扩展到更多语言（目前仅中英）；(9) 发布统一的端到端评测基准，把 FLEURS-VAD-102、Fun-ASR 内部标点集等一并开源，使社区能横向比较。
复现评估
复现性整体较好：(1) **代码与权重**：作者明确在 https://github.com/FireRedTeam/FireRedASR2S 公开模型权重和代码，相比 Doubao-ASR、Fun-ASR 等 API 方案显著更可复现；(2) **数据合规**：作者声明训练数据中不包含 MagicData 中文方言集，所有 MagicData 子集均仅用于评测，避免数据污染；(3) **API baseline 不可复现**：Doubao-ASR 在 2026-02 调用、Fun-ASR 在 2025-11 调用，未来 API 服务端更新后这些数字可能漂移，因此应主要参考与开源 checkpoint（Qwen3-ASR、Fun-ASR-Nano）的对比；(4) **未公开**：VAD/LID/Punc 的部分测试集（特别是中文方言 LID、内部标点集）作者承诺会开源但当前未随论文发布，复现需要等待；(5) **算力门槛**：8B+ 参数的 LLM 变体需要至少 A100 80G × 多卡才能跑推理，1B AED 变体和 0.6M VAD 在消费级 GPU 甚至 CPU 上即可运行；(6) **复现难度**：训练代价高（200k 小时数据需要数十张 A100 跑数周），但推理复现门槛较低，普通团队可以下载权重 + GitHub 代码 + 公开测试集复现 90%+ 的实验结论。综合来看，作为技术报告，本文的可复现性明显优于商用 ASR 系统，但完整复现仍受限于部分数据集尚未公开。
论文图表