将转录策略作为隐变量：激活可控逐字语音识别与词级时间戳 Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing

完整流程如下。① Mode tag 设计：verbatim 用 5 个 token（[verbatim 1,2,3] 控不流利、[sound 1,2] 控副语言），intended 用 5 个 token，多 token 前缀比单 token 提供更强、更可组合的条件信号。② Coverage-aware 分区：每条训练样本只挂其标注覆盖范围对应的 tag——只有 disfluency 标签的语料用 [verbatim 1..3]，只有注入声音的 30000 条干净样本用 [sound 1,2]，全标注语料挂五个，从而把「缺失标注」归因于数据而非音频。③ 词表扩展与配对训练：同一段音频在 verbatim/intended 两种模式间随机切换、各自监督对应转写，编码器表示决定「能说什么内容」，mode tag 决定「该输出什么」。④ 监督 cross-attention：对每个 token $y_t$ 所属词的时间区间 $[s_{\pi(t)},e_{\pi(t)}]$ 构造二值目标 $g_t(f)=\mathbf{1}[\lfloor s_{\pi(t)}/\Delta\rfloor \le f \le \lfloor e_{\pi(t)}/\Delta\rfloor]$（$\Delta=0.02$s）；贪婪地按边际增益选 10 个头 $H$，计算其平均注意力 $\bar{a}_t=\frac{1}{|H|}\sum_{h\in H}a_t^{(h)}$，最小化余弦距离损失 $\mathcal{L}_{\text{timing}}=\frac{1}{T}\sum_t(1-\frac{\bar{a}_t\cdot g_t}{\|\bar{a}_t\|\|g_t\|})$（权重 0.2）。⑤ 推理抽时戳：用 utterance 归一化 mel 能量构造虚拟 blank 概率 $p(\text{blank}|f)=\max(0,\min(1,1-\frac{E_{\text{mel}}(f)-p_{10}}{p_{90}-p_{10}}))$，对注意力做温度锐化 $\text{attn}'_{ij}=(\text{attn}_{ij})^\tau/\sum_k(\text{attn}_{ik})^\tau$（$\tau=3$），log-sum-exp 聚合到词级，最后在「blank/word 严格交替」状态空间上做 Viterbi 对齐。⑥ Verbatimize：提示格式为 [verbatim 1..5] intended text ，目标是从音频插入不流利并逐字复制 prompt 内容；为防幻觉用 verbatimize-copy（干净样本 prompt=target），为强迫关注 prompt 做对称大小写扰动。⑦ 两阶段训练：Stage 1 冻结主干只训新 embedding 1 epoch（lr $5\times10^{-4}$）；Stage 2 解冻 decoder 训 3 epoch（lr $1\times10^{-5}$），缓解灾难性遗忘。

技术新颖性体现在多处。首先，把转录风格、词级时间戳、规模化逐字标注这三件以往分散处理的事统一在「隐变量激活」框架下，并提出 timing-policy 耦合这一新视角。其次，coverage-aware tag partitioning 是解决「异构标注产生矛盾梯度」的原创手段——它让模型把缺失标注归咎于数据而非音频，这在以往 ASR 训练里很少被显式建模。第三，监督对象是 averaged attention 而非单头：作者用消融证明 averaged-head loss（ah）一致优于 per-head loss（ph）（TIMIT 36 vs 45ms、FluencyBank 102 vs 119ms），因为它允许不同头在互补的声学特征上特化、而非各自为政，这一「协同特化」的设计是对标准交叉注意力训练的修正。第四，推理时用 energy-based pause model 解耦停顿检测，绕开 CrisperWhisper 那种依赖 tokenizer 改动（显式空格 token）的方案，从而保留跨语言泛化并避免推理变慢。最后，verbatimize 把「转录条件化生成」变成一种新任务，开辟了用 abundant intended 反推稀缺 verbatim、并以弱监督方式滚动生产高质量语料的路径。

第一，跨语言泛化的证据单薄——只测了德语一种且与英语亲缘很近，对形态丰富或非字母文字的语言（如日语、阿拉伯语）未知，且 GDS 由作者自录、规模仅 202 条，eF1 数字方差大、可信区间宽。改进方向：补充类型距离更大的语言对、引入更大规模第三方评测集。第二，时间戳监督存在循环依赖——用 MFA 生成的对齐作为 cross-attention 的监督目标，但 MFA 在不流利语音上恰好是论文要超越的对象，监督信号本身可能有偏。改进方向：在子集上用人工标注边界做校准，或从头训练专用 alignment head。第三，mode tag 是粗粒度二选一，Reverb 的连续 verbatimicity 能表达「半逐字」中间态，本文丢失了这一自由度。改进方向：把 tag 升级为连续或可插值的策略嵌入。第四，verbatimize 假设 intended 是 verbatim 的 subsequence，对存在拼写/词形差异（屈折变化、口语缩略）的情况可能失效，且依赖上游 intended 完全正确。改进方向：引入软对齐或允许编辑操作。第五，仅以 Whisper-medium 为骨架，未验证对更大 backbone（large-v3）或纯非自回归模型是否同样适用「能力已存在、只需激活」。改进方向：跨模型规模扩展验证。

作者提出的方向有三：(1) 把 mode-tag 条件化与说话人日志（speaker diarization）统一，用说话人 embedding 作为额外 decoder 前缀，联合控制风格与归属；(2) 时间戳方面，从头训练专用 alignment head 而非改造预训练 cross-attention，并引入带 VAD/停顿检测的更精细损失以提精度；(3) 用 verbatimize 配合 beam search 与启发式过滤，大规模自举一致的 verbatim 语料，反向解锁更高质量的弱监督数据，反哺 verbatim ASR、语音分析与表达性 TTS。基于本文成果可延伸的方向还包括：把 coverage-aware tag partitioning 推广到更多事件类型与多任务标注、把 CLR/WER−CLR 分解确立为对话 ASR 评测的新标准（呼应 [35] 的 style-agnostic 评测倡议）、以及探索 mode tag 在流式/低延迟解码（如 Futami 等 [26] 的 streaming）中的可控激活，从而把「能力激活」范式迁移到实时场景。

复现友好度较高。作者开源了模型、数据与评测代码（https://github.com/nyrahealth/CrisperWhisper），并提供了自建德语评测集 GDS 与详细的训练细节：基座为官方 Whisper-medium，Stage 1 lr $5\times10^{-4}$ 训 1 epoch，Stage 2 解冻 decoder lr $1\times10^{-5}$ 训 3 epoch，batch size 160 配 4 步梯度累积，fp16，单卡 NVIDIA A100 即可完成，timing loss 权重 0.2。数据侧大多公开（ICSI、AMI、CORAAL、LibriSpeech、Common Voice、TIMIT、Thorsten、FluencyBank、VocalSound、Nonspeech7k），intended 转写用 GPT-4o 生成、30000 条干净样本用 MFA 找 >200ms 停顿后注入声音，流程可复刻。主要摩擦点在于：少量德语 verbatim 样本来自「proprietary in-house」数据集（虽非必要、FT0 已很强）；时间戳伪标签需先跑 MFA（多一道对齐流水线）；NSC 仅取 40h 子集需自行筛「高质量 verbatim 标签」；稀有词评测集依赖 GPT-4o 筛选+人工核验 1843 处。整体难度中等偏上，核心机制（mode tag + 监督 attention + verbatimize）可在公开数据与单卡上复现。