Confucius4-R2T2：面向真·实时转写的稳定前缀流式语音识别模型 Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription
冻结编码器＋最长稳定前缀训练，让流式语音识别输出永不回改且逼近全上下文精度
前置知识
流式 ASR 与分块解码
流式自动语音识别要求音频持续到达时边收边出文字。常见做法是把音频切成固定长度块（如 160ms），每来一块就对累计音频解码一次。分块大小 Δ 决定模型每次能看到多少新上下文，是精度与延迟之间的核心旋钮。
R2T2 支持 80ms–2s 可配置分块，主实验全部在 160ms 分块下进行，理解分块机制才能读懂精度-延迟权衡与表 3、图 6 的实验设置。
前缀序与最长公共前缀（LCP）
若串 u 可由串 v 截去尾部得到，则记 $u \preceq v$（u 是 v 的前缀）。$\mathrm{lcp}(a,b)$ 表示两串共享的最长公共前缀，如 $\mathrm{lcp}(\text{abcx},\text{abde})=\text{ab}$。前缀序刻画了『输出只增不改』这一性质。
稳定前缀定义 $y_t \preceq y_{t'}$ 与 LSP 标签的构造全部建立在这两个概念上，论文的核心定理都在证明前缀序下的单调性与一致性。
WER 与 CER
词错误率（WER）用于英文，字符错误率（CER）用于中文，均为编辑距离除以参考长度，衡量识别文本与标准答案的差距，数值越低越好。本文的宏平均对 13 个测试集等权平均后汇总。
所有精度结论都以 WER/CER 表述，例如 R2T2 总宏平均 5.76 对比基座离线 5.15，需要理解该指标口径才能正确比较各系统。
GRPO（组相对策略优化）
一种省去价值网络的强化学习算法：对同一 prompt 采样一组轨迹，用组内奖励的相对排名计算优势函数。本文在 SFT 之后用 GRPO 继续优化识别质量与等待行为，rollout 覆盖 1/2/4 个流式轮次。
R2T2 训练的第二阶段就是 GRPO，八维奖励驱动模型抑制幻觉、重复与语言不一致，是流式行为从『能用』到『好用』的关键。
自蒸馏
教师与学生为同一模型的训练范式：用基座模型在全上下文模式下的输出 $\bar{y}$ 作监督锚点，从它对递增音频的非稳定输出中抽取最长稳定前缀作标签，避免跨模型蒸馏的分布错配。
R2T2 的 LSP 标签完全来自 Qwen3-ASR-1.7B 自身，不依赖外部教师或人工时间戳，这是与以往对齐式流化方法的本质差别。
投机解码验证与 KV 缓存
投机解码用小模型快速起草 token，大模型一次前向并行验证草稿，一致则整段接受。KV 缓存把已计算过的注意力键值存下来避免重算。本文把验证思想反向用于检查上一轮遗留的 U 个临时 token。
第 7 节的 pre-fill 验证直接复用该思想：以上一轮后缀作草稿，正确则零解码步，错误才回退；缓存复用则是实时率达标的前提。
研究动机
流式语音识别的消费方正从人变成机器：同传系统、实时字幕、语音 Agent 都在逐 token 消费部分转写结果，早出的 token 一旦被修改，下游就要丢弃或重做已建立的工作，Agent 甚至可能基于被推翻的文字做出错误动作。这种『闪烁/修订/假设不稳定』是流式 ASR 的经典顽疾：McGraw & Gruenstein (2012)、Shangguan et al. (2020)、Niehues et al. (2018) 都记录过早期 token 随音频到来被反复改写的现象。现有对策分两派：推理期承诺规则（local agreement、hold-n、mask-k 等）只在显示层冻结公共前缀，底层识别器仍在悄悄改写，一致性是规则凑出来的而非学出来的；prefix training、self-training 等训练手段能降低修订率，但都不保证早期 token 永不修改。更麻烦的是残差干扰：把音频渐进喂给全上下文模型时，新到的尾部会扰动先前已正确的 token，正确 token 数并不随时间单调增长，直接用时间戳截断音频做训练标签会强迫模型在声学证据不足时乱猜。
本文的目标是论文要把一个强全上下文 ASR 模型改造成满足稳定前缀定义的流式模型：对任意音频 $x$ 与任意 $t \le t'$，都有 $y_t \preceq y_{t'}$，即已发出的文字永远不会被后续输出修改。同时不能牺牲其他指标：识别精度要接近同规模全上下文模型；最小分块下发射延迟低于 500ms；分块长度 $\Delta$ 在 80ms 到 2s 之间可配置且改配置不需要重训；同一模型既可流式也可全上下文双模式运行，后者要恢复大部分离线质量。作者的立场是稳定性、精度、延迟三者正交：沉默到句尾的系统绝对稳定但不可用，永远输出固定串的系统稳定但无用，因此把稳定性当作必须满足的硬约束，在此约束下继续优化精度与延迟。
与已有工作不同的是，本文的独特切入是把稳定性定义为纯行为性质（定义 1 只约束输出序 $y_t \preceq y_{t'}$），不涉及因果编码器、分块注意力等机制——作者论证这些机制既不充分（因果编码器照样可能回改）也不必要（双向编码器配不回退的承诺规则也能稳定）。在这个定义下，作者提出最长稳定前缀（LSP）：从全上下文模型自身对递增音频的全部历史输出中，挑出『整体恰好是最终输出 $\bar{y}$ 前缀的最长者』作为训练标签。与 McGraw 的 all-future 标签和 Hoang et al. 的 final-anchored 标签相比，LSP 额外要求模型可采纳性——标签必须等于某一次真实的历史输出，而非多个输出的拼接或截断，因此监督的是模型『在当前音频下确实会说出』的内容。再配合冻结编码器、只调解码器的自蒸馏路线，同时绕开了因果化编码器的精度代价与交叉模型蒸馏的分布错配。
核心方法
整体思路是『不改架构，只改监督』。基座 Qwen3-ASR-1.7B 由 Qwen3-1.7B 语言解码器、投影层和 300M 参数的 AuT 音频编码器组成：Fbank 特征经 8 倍下采样得到 12.5Hz 的 token 率。R2T2 完全冻结编码器与投影层，只后训练解码器，数据是 1500 小时中英文音频。记号上，全上下文输出 $\bar{y}=M(x)$，$t$ 时刻对前缀音频的输出 $y_t=M(x_{\le t})$，两者最长公共前缀长 $\ell_t=|\mathrm{lcp}(y_t,\bar{y})|$。核心动作分三步：先定义并计算每个时间点的 LSP 标签 $L_t=\bar{y}_{1..m_t}$，其中 $m_t=\max_{j\le t} n_j\cdot\mathbb{1}[y_j\preceq\bar{y}]$；再把它与 Wait token 一起做成监督目标，SFT 教会模型『什么可发、何时该等』；最后用 GRPO 精修识别质量与等待时机。推理侧再配缓存复用、Wait 截断解码、有界上下文与 pre-fill 验证四项优化控制开销。
核心创新是 LSP 标签的定义及其可证性质。定义 2：$L_t$ 是 $\bar{y}$ 的前缀中『恰好等于某次历史输出 $y_j$（$j\le t$）整体』的最长者，即 $m_t=\max_{j\le t} n_j\cdot\mathbb{1}[y_j\preceq\bar{y}]$。作者证明它前缀序下单调、与全音频输出一致、且在此类标签中最长。与相关定义的本质区别在记账方式：McGraw 的 all-future 标签要求前缀被所有后续输出共享，一次中途偏离再回归就会把它砍短（例 2 中 'a b' 因 $y_{t+1}=\text{a c}$ 被砍成 'a'）；Hoang 的 final-anchored 标签取历史输出与 $\bar{y}$ 公共前缀的最大值，可能点名一个从未被整体说出的串（例 1 中 'a b c' 只来自 $y_1=\text{a b c x}$ 的分歧头部），监督它等于奖励模型当时并未确定的中间态。LSP 用全有或全无的记账换取标签永远可采纳：一个 token 分歧就把该步记账清零，代价是偏向更晚发射，作者接受保守性以换取监督诚实。
方法步骤详情
第一步，测可流化性：按 80ms 步长递增喂音频，画归一化 LSP 曲线；1860 条 Buckeye 语料上 Qwen3-ASR-1.7B 的 $s(M)=0.493$ 最高。第二步，LSP 标注：逐帧喂音频，记录稳定区间 $I_i=[s_i,e_i]$。第三步，构数据：1500 小时中英文做噪声注入（SNR 10–35dB）、混响、语言标签翻转；训练时随机取切点 $t$ 截断音频，区间内标签为 $\mathrm{LSP}(M,x,t)$，区间外追加 Wait，$t=T$ 时用完整参考转写保留离线目标。第四步，SFT：交叉熵，1 epoch，AdamW 学习率 $10^{-5}$，2% warmup，batch 64，只调解码器；10% 用完整句、90% 用前缀切分，切点一半落稳定区间、一半落间隙。第五步，GRPO：采样 1/2/4 轮流式轨迹，八维奖励以 CER 为主并罚重复、语言不一致等，总奖励 $R=\tanh(3R_{raw})$。第六步，推理：8s 窗编码器缓存＋KV 复用、Wait 截断解码、$W=1$ 有界上下文、$U$ token 的 pre-fill 验证。
技术新颖性
技术新颖性集中在四点。其一，无需任何架构改动就把全上下文模型转成稳定流式模型：不加因果掩码、不加层、不加头，Wait 只是普通词表 token，与 F-DSM 的因子化预测头形成对照；流式行为是学出来的涌现性质而非结构强加。其二，LSP 是首个被证明『可从非稳定模型中提取、用于训练稳定模型』的标签（定理 1 给出最长性，命题 1–4 给出单调性与一致性），把『何时发射』的监督对齐到全上下文模型将来会说的话，而不是像 Speech ReaLLM、Voxtral Realtime 那样对齐声学时间戳——后者会强迫模型在声学证据不足时猜词。其三，冻结编码器保留了赋予基座精度的双向表征；文中引用 Krichli et al. 的结论：在大于约 300ms 的分块下，LoRA 因果化 Whisper 编码器反而更差，说明本文路线在精度上是更优解，其代价（每轮重编码活跃窗）由缓存与 Wait 截断在工程上偿还。其四，稳定前缀定义纯行为化，使同一 checkpoint 可通过参数 $U$ 在质量档（U=1）与延迟档（U=0）之间切换而无需重训。
实验结果
主实验（表 3）：R2T2 在 160ms 分块、U=1 时 13 个测试集总宏平均错误率 5.76，与基座全上下文的 5.15 仅差 0.61pp，为所有排名配置最低，超过 AssemblyAI 8.27、Comm. A 6.23、Comm. B 6.01 三个商业 API；U=0 时为 6.40。对比未适配基座同设置（160ms U=1）的 21.01，误差削减近四分之三。VoxPopuli 上 R2T2 的 2.29 反超基座离线的 3.12；CN-RealSI 3.27 对离线 2.91，在 RealSI 两语种队列上领先所有开源基线。（图 5）R2T2 中英文平均发射滞后均低于三个商业 API，后两者的中文精度优势伴随更晚的文本稳定。推理权衡（图 6）：160ms 下 U=1 比 U=0 错误低约十分之一、滞后多零点几秒；80ms U=0 可把平均滞后压到 0.5s 内。图 1 显示基座 $s(M)=0.493$ 最高，因果化的 WhisperRT 反而低于其全上下文基线。跨语言迁移（表 8）：仅中英后训练，10 个额外语言的全部 18 个测试集上错误率均低于基座同设置。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 13 个中英文测试集总宏平均 | WER/CER (%) | 5.76（160ms, U=1）；U=0 时 6.40 | 基座全上下文离线 5.15；未适配基座 160ms U=1 为 21.01 | 与离线差距仅 0.61pp；较未适配流式基座降低约 72.6% |
| 英文 VoxPopuli | WER (%) | 2.29（160ms, U=1） | 基座全上下文 3.12；X-ASR 3.54 | 流式反超离线参考 0.83pp |
| 中文 CN-RealSI（真实同传长语音） | CER (%) | 3.27（160ms, U=1） | 基座离线 2.91；X-ASR 3.98；Comm. B 3.64 | 所有参与排名配置中的开源最低 |
| 对比专有 API（AssemblyAI / Comm. A / Comm. B） | 总宏平均 WER/CER (%) | 5.76 | 8.27 / 6.23 / 6.01 | 超过全部三个商业 API，同时平均发射滞后更低 |
| 发射延迟（中英文平均回顾滞后） | 秒（音频时间轴） | 低于三个商业 API；80ms U=0 平均滞后 <0.5s | Comm. A/B 中文文本稳定更晚；基座 2s U=5 隐藏临时后缀后滞后大增 | 同精度档下滞后最低 |
| 跨语言迁移（10 个未训练语言） | 18 个测试集 WER/CER | 160ms U=1 时全部 18 集优于基座同设置 | Qwen3-ASR-1.7B 160ms U=1 | 所有测试集一致改进，证明流化行为可迁移 |
局限与改进
作者承认的局限：LSP 全有或全无的记账带来保守性，模型偏向更晚发射；$s(M)$ 只验证了对全上下文 ASR 流化潜力的预测有效，能否推广到同声传译等一般流化任务尚属开放问题；采用自蒸馏，更强外部教师能否带来更强流式模型也未验证。回顾滞后指标只统计经 Levenshtein 对齐匹配上的单元、剔除高错误率语句，且不含执行/排队/传输耗时，对 API 的音频时间只能按供给量近似估计（服务端缓冲未知），因此滞后数字须连同 WER/CER 一起解读；分块时长本身不决定响应性，词边界与停顿分布影响承诺时机。我的补充观察：1500 小时训练音频是私有数据未开源；BPE 分词下固定 $U$ 个 token 对应的毫秒延迟随语速与语言浮动，部署需按场景重新标定；上下文裁剪固定 $W=1$，未报告小时级超长流的精度衰减；全文未给出实测 RTF 与端到端服务延迟，实时性主张停留在音频时间轴上。
独立分析的弱点
独立分析几点弱点。第一，LSP 清零式记账过于保守：一个 token 分歧就抹掉整步监督，可能让模型在『其实已可确定』的边界上习惯性等待，损失发射及时性；改进方向是保留可采纳性约束的同时引入分级信用，或像论文那样把时机微调完全交给 RL 奖励处理。第二，回顾滞后存在幸存者偏差：只对最终被匹配上的词计滞后，识别错误的词直接从延迟统计中消失，高错误语句被整体剔除，噪声场景下会系统性低估延迟；改进是补报词级覆盖率与闪烁率。第三，双向编码器每 160ms 要重编码活跃窗（最长 100 个位置）并重新 pre-fill 全部保留文本，虽然开销有界，但多路并发服务下的 RTF 压力未量化；改进方向是把冻结编码器蒸馏为块内因果变体，同时靠承诺规则维持稳定前缀保证。第四，仅中英文后训练，跨语言迁移只是『低于未适配基座』的相对结论，缺少与各语言专用流式模型的绝对对比；应在代表性语言上补基准。第五，LSP 标注强依赖教师输出质量，教师自身的幻觉会污染稳定区间标签；可加入置信度过滤或人工抽检环节。
未来方向
作者明确列出的开放方向：可流化性度量 $s(M)$ 能否作为同声传译等一般流化任务的可靠指标；更强的跨模型教师能否产生更强的流式学生；部署环境下的性能与更广泛的泛化验证。基于其成果可自然延伸：把 LSP 学习搬到同声传译与语音 Agent，让『已承诺译文永不回改』成为流式翻译的训练目标；在 GRPO 奖励中加入显式延迟项以缓解 LSP 的保守偏置；研究 $U$、$\Delta$ 与语速/语言的联合自适应调度，用小型预测器按当前语音动态调参；检验稳定前缀性质与说话人分离、标点恢复、副语言事件标签共存时单调性是否保持；在小时级超长音频上绘制有界上下文 $W=1$ 的质量衰减曲线；以及把 LSP 曲线做成基座自动选型工具——论文只测了 4 个模型，扩展到模型库自动筛选很有工程价值。
复现评估
复现条件评估：模型权重与代码已开源（HuggingFace netease-youdao/Confucius4-R2T2 与同名 GitHub 仓库），基座 Qwen3-ASR-1.7B 公开，评测集（AMI、GigaSpeech、LibriSpeech、VoxPopuli、Earnings-22、TED-LIUM、WenetSpeech、SPEECHIO、RealSI、Buckeye 等）均为公开基准。但 1500 小时中英文训练音频是网易有道私有数据，LSP 标注需要对每条语料按 80ms 步长做几十到上百次前向解码，标注算力约为常规 SFT 数据准备的几十倍；SFT 本身只调 1.7B 解码器、1 epoch、batch 64、学习率 $10^{-5}$，单机多卡即可完成；GRPO 阶段每个 prompt 采样多条流式轨迹，是算力大头。推理侧四项优化（窗口缓存、Wait 截断、有界上下文、pre-fill 验证）论文描述足够详细，开源代码可直接复用。总体判断：用自有数据复现完整流水线难度中等偏高，门槛在标注算力与数据质量；仅拿开源权重做推理评测则非常容易。
论文图表
汇总 RL 阶段使用的八个奖励组件：CER 提供主要识别信号；Tail 与 Cut Marker 两项抑制无依据续写并监督 Wait 位置；其余组件惩罚重复、语言不一致、无语音输入时的幻觉输出等模式。各组件加权得 $R_{raw}$，附空输出、完全匹配等特殊规则，最终经 $R=\tanh(3R_{raw})$ 平滑。
RL 阶段是 R2T2 从『能用』到『好用』的关键一步，此表定义了模型被优化的完整目标，理解它才能分析各类失败模式如何被抑制。
在 10 个未参与后训练的语言上，160ms U=1 的 R2T2 在全部 18 个测试集上识别错误均低于基座模型同设置的结果，表明 LSP 训练带来的流化收益不限于中英文两种后训练语言。
证明该方法学到的是『等待与承诺』的通用行为而非语言特定技巧，是泛化性主张的直接证据。