超越固定帧率：动态字符对齐的语音分词 Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization
字符级软对齐实现可变帧率语音分词，用更少 token 保持重建质量
前置知识
神经音频编解码器 (Neural Audio Codec)
神经音频编解码器是一类将连续语音波形映射为离散 token 序列的端到端模型。编码器将波形压缩为低维连续表征，量化器将其离散化为有限码本中的索引，解码器再从离散 token 重建波形。典型的编解码器如 EnCodec、DAC、FocalCodec 等，通常以固定的帧率（如 50 Hz 或 75 Hz）均匀地在时间轴上产生 token，每个 token 对应一个固定时长的时间窗口。这些离散 token 可以被语言模型直接处理，从而实现语音理解和生成。
DyCAST 的核心贡献就是改进了这一固定帧率范式，理解传统编解码器的工作方式是理解本文创新点的基础。
自监督语音表征 (Self-Supervised Speech Representation)
自监督语音模型如 WavLM、HuBERT、wav2vec 2.0 等，通过在大量无标注语音数据上进行掩码预测等自监督任务来学习通用的语音表征。这些模型的中间层特征同时包含丰富的语义信息（如音素、词汇）和细粒度声学细节（如说话人特征、音色）。研究表明，不同层的表征具有不同的信息特性，第 6 层左右的表征在语义丰富度和声学细节之间取得了较好平衡。
DyCAST 使用冻结的 WavLM-large 第 6 层作为编码器提取特征，理解这些表征的特性对于理解为什么选择该层以及如何利用这些表征至关重要。
CTC 对齐 (CTC Alignment)
CTC（Connectionist Temporal Classification）是一种用于序列到序列学习的损失函数，特别适用于输入序列远长于输出序列的场景（如语音识别中帧序列到文本序列的映射）。CTC 通过引入空白符号 blank 来处理输入输出长度不匹配的问题。在强制对齐（forced alignment）中，给定输入语音和已知文本，CTC 的帧级后验概率可以用来确定每个字符对应的精确时间边界，从而得到字符级的时长信息。
DyCAST 使用冻结的 MMS 模型（基于 CTC 的 ASR 模型）作为字符对齐器，为训练提供字符级边界监督信号。理解 CTC 对齐机制是理解 DyCAST 如何获得字符级时长信息的关键。
量化 (Quantization) 与码本 (Codebook)
在神经编解码器中，量化是将连续的浮点向量映射到离散码本中有限个码字的过程。二值球面量化（BSQ）将每个维度量化为 +1 或 -1，隐式码本大小为 $2^L$（$L$ 为维度）。有限标量量化（FSQ）将每个维度独立量化到有限个标量级别。量化引入了信息瓶颈，码本越大、维度越高，可表达的信息越多，但比特率也越高。在低帧率下，每个 token 需要承载更多信息，因此量化器的设计尤为关键。
DyCAST 提出了标量球面量化（SSQ），将 BSQ 从二值扩展到多级标量（K=4），以在低帧率下获得更大的隐式码本容量，理解量化机制对于理解这一创新至关重要。
离散时间风险模型 (Discrete-Time Hazard Model)
风险模型（hazard model）源自生存分析，用于建模事件发生的时间分布。在离散时间设定下，给定当前时刻 $t$，风险率 $h_t$ 表示事件在该时刻发生的条件概率。下一个边界在第 $k$ 帧出现的概率为 $P(T=k|t) = \prod_{i=0}^{k-1}(1-h_{t+i}) \cdot h_{t+k}$。这种建模方式天然地考虑了时间依赖性——距离上一个边界越远，下一个边界出现的概率越大，这比独立的逐帧二分类更适合稀疏边界预测。
DyCAST 使用风险模型来预测字符边界，这是实现动态分块的核心技术组件。理解风险模型的工作原理有助于理解 DyCAST 如何学习产生合理的 chunk 边界。
研究动机
现有的神经音频编解码器几乎全部采用固定帧率设计，以均匀的时间间隔产生离散 token。这种设计存在一个根本性的不匹配问题：语音的时间结构本质上是非均匀的——静音段和稳态区域（如长元音、鼻音延续）信息密度低，而快速变化的辅音过渡、音素边界等区域信息密度高。固定帧率分词导致信息贫乏的区域浪费了大量 token，而信息密集的区域却可能因分辨率不足而丢失关键细节。具体来说，主流编解码器如 EnCodec（75 Hz）、DAC（50 Hz）、WavLM6-KM（50 Hz）等产生的序列非常长，对于 10 秒的语音，会产生 500-750 个 token。这不仅增加了存储和传输开销，更重要的是给下游的自回归语言模型带来了巨大的序列建模负担——长序列导致注意力计算复杂度二次增长，暴露偏差（exposure bias）加剧，长距离依赖建模更加困难。
本文的目标是本文的核心目标是设计一种能够根据语音内容动态调整帧率的分词框架，使得每个离散 token 大致对应底层转录中的一个字符，从而在保持竞争性重建质量和下游任务性能的同时，显著减少 token 序列长度。具体而言，作者希望在 6-18 Hz 的帧率范围内工作（相比主流的 50-75 Hz），同时在语音重合成质量（UTMOS、dWER、说话人相似度）、下游辨别任务（ASR、SI、SER）和生成任务（TTS）上达到与固定帧率编解码器可比甚至更优的性能。
与已有工作不同的是，本文的独特切入角度在于将语音分词与字符级语言结构进行软对齐。此前的可变帧率工作（如 CodecSlime、TFC、VARSTok、FlexiCodec）大多依赖启发式的帧合并或聚类策略，缺乏语言学结构的支撑；而文本对齐的方法（如 TASTE、TASLA）则需要在推理时提供转录或对齐信息，限制了其在纯语音场景中的应用。DyCAST 通过学习式的字符级软对齐和显式的时长建模，在不需要推理时文本信息的前提下，实现了与语言结构自然对齐的可变帧率分词。此外，作者还注意到字符级表征天然产生极低帧率（6-18 Hz），给波形重建带来了新的挑战，因此提出了检索增强解码（RAD）作为辅助机制，在不增加比特率的前提下提升重建质量。
核心方法
DyCAST 的整体思路可以用一个类比来理解：想象传统编解码器像一个以固定速度拍照的摄像机，不论场景是否变化都以相同频率拍摄；而 DyCAST 则像一个智能摄像机，在场景快速变化时加快拍摄，在静止画面时放慢拍摄，而且每次拍摄的内容都大致对应画面中的一个有意义的单元（字符）。技术路线上，DyCAST 延续了 FocalCodec 的压缩器-量化器-解压缩器模块化架构，但增加了专门的动态分块模块。系统的核心流程是：首先使用冻结的 WavLM-large 第 6 层提取 1024 维帧级表征（50 Hz），然后通过轻量压缩器将其投影到 32 维潜在空间。接着，边界预测器利用离散时间风险模型识别语义上有意义的 chunk 边界，将连续帧分组为可变长度的 chunk。每个 chunk 内的帧级特征被池化为紧凑的 chunk 级表征，再由标量球面量化器（SSQ）离散化为离散 token。解码阶段则逆向执行：时长预测器估计每个 token 对应的帧数，上采样器将 token 级表征扩展回帧级，解压缩器重建原始维度，最后由 Vocos 解码器重建波形。
DyCAST 的核心创新在于两个互补的设计：字符级软对齐和显式时长建模。与已有方法最本质的区别在于，DyCAST 不依赖启发式的帧合并规则，也不需要推理时的文本信息，而是通过学习式的边界预测来实现语义感知的动态分块。具体来说，边界预测器使用离散时间风险模型来建模「下一个字符边界何时出现」这一问题。给定帧级表征，模型在每一帧估计一个边界概率 $h_t$，下一个边界在第 $k$ 帧出现的概率通过累积未命中概率和命中概率的乘积来计算：$P(T=k|t) = \prod_{i=0}^{k-1}(1-h_{t+i}) \cdot h_{t+k}$。这种建模方式的关键优势在于它天然地建模了时间依赖性——距离上一个边界越远，下一个边界出现的概率逐渐增大，这与语音中字符持续时间的分布特性高度吻合。此外，风险模型天然保证每个 chunk 只产生一个边界，避免了独立帧分类可能导致的多边界问题。另一个关键创新是解码端的时长预测器，它使用负二项分布来建模每个 token 的持续时长，允许在推理时显式控制时长，从而支持多种解码模式（带时长解码、带语句长度解码、纯 token 解码）。
方法步骤详情
DyCAST 的完整方法流程分为编码和解码两个阶段。编码阶段：(1) 冻结的 WavLM-large 编码器处理输入波形，提取 1024 维帧级表征，帧率为 50 Hz；(2) 轻量压缩器（基于焦点调制模块）将 1024 维特征投影到 32 维潜在空间；(3) 边界预测器（同样基于焦点调制模块）在 1024 维 WavLM 特征上运行，对每一帧输出边界概率 $h_t$；(4) 根据解码超参数（hazard 阈值 $\tau_h$、最小间隔 min_gap、最大间隔 max_gap）确定 chunk 边界，可以采用贪心解码或顺序采样；(5) 动态下采样器选取每个 chunk 的最后一帧作为该 chunk 的表征；(6) 标量球面量化器（SSQ）将 32 维连续向量离散化，每个维度取 4 个标量级别之一，产生 32 个并行的索引序列。解码阶段：(1) 时长预测器处理量化后的 token 序列，使用负二项分布预测每个 token 的持续帧数，支持自由解码模式（预测总长度）和预算约束模式（给定目标长度）；(2) 动态上采样器通过帧重复将 token 级表征扩展回帧级；(3) 解压缩器（焦点调制上采样模块）重建 1024 维特征；(4) Vocos 解码器从重建的 WavLM 特征恢复时域波形。此外，检索增强解码（RAD）在量化后、解压缩前可选地插入，通过从候选池中检索相似的连续潜在向量来替换离散潜在向量，从而在不增加比特率的前提下提升重建质量。
技术新颖性
DyCAST 的技术新颖性体现在多个层面。首先，在分块策略上，与 CodecSlime 的多阶段后处理合并、TFC/VARSTok 的码本内隐式时长编码、FlexiCodec 的精炼合并流程不同，DyCAST 采用端到端学习的边界预测，直接从 WavLM 特征中学习何时应该切分。这种设计的优势在于边界预测器可以利用 WavLM 特征中丰富的语义信息来做出更准确的切分决策，而不是依赖量化后的低维潜在表征。其次，在边界建模上，风险模型的应用是一个关键创新——相比独立的逐帧二分类，风险模型显式建模了「等待时间」的分布，天然适应稀疏边界预测的场景。第三，标量球面量化（SSQ）是 BSQ 的自然推广，通过将二值约束放松为多级标量约束（K=4），在保持球面几何结构的同时大幅扩展了隐式码本容量（从 $2^{32}$ 到 $4^{32}$），并通过因式分解表示使高基数码本在实践中可行。第四，检索增强解码（RAD）是一种全新的解码端机制，利用自监督编码器潜在空间的局部性来改善低帧率下的重建质量，无需修改编码器或增加比特率。最后，DyCAST 支持多种编码和解码模式的灵活组合，这种可控性在现有编解码器中是前所未有的。
实验结果
DyCAST 在多个维度上展示了令人信服的实验结果。在语音重合成任务中，DyCAST 的四个变体（DyCAST-CA 约 14 Hz、DyCAST-BP1 约 17.5 Hz、DyCAST-BP3 约 9 Hz、DyCAST-BP5 约 6.2 Hz）在使用 3-8 倍更少 token 的情况下，达到了与固定帧率编解码器可比的性能。以 LibriSpeech 测试集为例，DyCAST-CA 的 UTMOS 为 3.99（FocalCodec 为 4.05，BigCodec 为 4.11），dWER 为 3.32（FocalCodec 为 2.18，Stable Codec 为 4.97），说话人相似度为 97.4（FocalCodec 为 97.4）。在多语言语音重合成上，DyCAST 保持了稳健的性能，尽管其仅在英语数据上训练，这表明所学习的离散表征具有良好的跨语言泛化能力。在噪声条件下（VoiceBank、Libri1Mix），DyCAST 的表现也具有竞争力。在检索增强解码实验中，中等相似度阈值（$\tau \in [95, 97]$）带来了一致的改善，特别是对低帧率变体效果更显著。例如 DyCAST-BP1 的 dWER 从 3.61 降至 3.36（$\tau=97$），说话人相似度从 97.6 升至 98.0。在下游辨别任务中，DyCAST-CA 在 ASR 上取得了所有编解码器中最好的 WER（13.05），优于 FocalCodec（17.63）、Mimi（22.98）等，这突显了字符对齐分词在保留语言信息方面的优势。在 TTS 任务中，DyCAST-CA 表现尤为突出，取得了 UTMOS 4.20、dWER 11.57、Sim 96.2 的最佳成绩，这得益于其字符级对齐支持的非自回归架构，完全消除了顺序 token 预测，在有限数据场景下特别有效。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语音重合成 (LibriSpeech) | UTMOS ↑ | DyCAST-CA: 3.99, DyCAST-BP1: 3.92, DyCAST-BP3: 3.95, DyCAST-BP5: 3.97 | FocalCodec: 4.05, BigCodec: 4.11, Stable Codec: 4.32 | 在帧率低 3-8 倍（6-18 Hz vs 50-80 Hz）的情况下保持接近的自然度 |
| 语音重合成 (LibriSpeech) | dWER ↓ | DyCAST-CA: 3.32, DyCAST-BP1: 3.61, DyCAST-BP3: 4.66, DyCAST-BP5: 8.84 | FocalCodec: 2.18, BigCodec: 2.55, EnCodec: 8.08 | DyCAST-CA/BP1 与高帧率基线可比，DyCAST-BP5 与 EnCodec（75 Hz）相当 |
| 语音重合成 (LibriSpeech) | 帧率 (Hz) | DyCAST-CA: ~14.4, DyCAST-BP1: ~17.5, DyCAST-BP3: ~9.0, DyCAST-BP5: ~6.2 | EnCodec: 75.0, DAC: 50.0, FocalCodec: 50.0, BigCodec: 80.0 | 帧率降低 3-13 倍 |
| ASR 探测 (LibriSpeech) | WER ↓ | DyCAST-CA: 13.05 (最佳), DyCAST-BP1: 19.98 | FocalCodec: 17.63, SpeechTokenizer: 14.97, Mimi: 22.98 | DyCAST-CA 取得所有编解码器中最佳 ASR WER |
| TTS (LibriSpeech) | UTMOS ↑ | DyCAST-CA: 4.20 (最佳), DyCAST-BP1: 3.91 | FocalCodec: 4.11, Mimi: 3.11 | DyCAST-CA UTMOS 4.20 为所有编解码器最佳，显著优于其他方法 |
| TTS (LibriSpeech) | Sim ↑ | DyCAST-CA: 96.2 (最佳) | FocalCodec: 93.3, Mimi: 93.6 | 说话人相似度 96.2，大幅领先所有基线 |
局限与改进
尽管 DyCAST 展示了令人鼓舞的结果，但存在以下局限性。首先，帧率降低不可避免地导致重建质量的下降，特别是在最激进的压缩设置（DyCAST-BP5，约 6.2 Hz）下，dWER 显著升高（8.84），表明在极低帧率下语音可懂度会受到明显影响。其次，DyCAST 的比特率并未显著低于固定帧率基线——虽然 token 数量大幅减少，但每个 token 需要 32 个 2-bit 索引（总 64 bits/token），加上帧率信息的开销，实际比特率（0.40-1.12 kbps）与某些高效固定帧率编解码器（如 WavLM6-KM 的 0.45 kbps）相当。第三，检索增强解码（RAD）需要维护一个大规模的连续潜在向量池（本文使用约 2000 万向量），这带来了额外的存储和检索计算开销，且检索质量依赖于候选池的多样性和覆盖度。第四，边界预测器在 1024 维 WavLM 特征上运行而非压缩后的低维特征，增加了编码阶段的计算量。第五，作者仅在英语数据上训练编解码器，虽然展示了跨语言泛化能力，但对非拉丁文字语言（如中文、阿拉伯文）的字符对齐效果尚未验证。最后，训练过程涉及 4 个阶段，增加了工程复杂度。
独立分析的弱点
从独立分析的角度，DyCAST 存在以下几个值得关注的弱点。第一，字符级对齐假设底层存在明确的字符级转录，这对于英语等字母语言是自然的，但对于中文等没有明确词边界的语言，字符的定义和对齐质量可能成为问题。改进方向是探索音素级或音节级的对齐单元，或者使用语言无关的声学单元发现方法。第二，当前的边界预测器和时长预测器是分开训练的，边界预测器在 WavLM 特征上运行而时长预测器在量化后的潜在表征上运行，这种设计虽然实用但可能不是最优的。一个潜在的改进是探索端到端联合训练，让分块和时长预测相互促进。第三，检索增强解码依赖于预构建的静态候选池，在实际部署中可能面临隐私、存储和时效性问题。改进方向包括探索在线增量更新的检索策略，或使用生成式检索替代基于向量相似度的检索。第四，SSQ 量化器的因式分解表示（32 个并行流，每个 4 个级别）虽然计算高效，但可能限制了维度间的交互建模。探索混合量化策略或学习式的码本结构可能是有价值的。
未来方向
作者在结论中指出 DyCAST 为下一代语音分词奠定了有希望的基础。基于本文的成果，可以延伸出多个有价值的研究方向。首先，将 DyCAST 的可变帧率设计与流式（streaming）编解码器结合，实现实时的自适应帧率语音处理，这对于实时对话系统非常有价值。其次，探索 DyCAST 离散 token 在大规模语音语言模型中的应用——更短的 token 序列可以直接降低自回归建模的计算复杂度，使得更长上下文的语音理解成为可能。第三，将字符级对齐扩展到多语言和跨语言场景，特别是对于形态丰富的语言（如土耳其语、芬兰语），字符级粒度可能不够合适，需要探索更灵活的对齐单元。第四，改进检索增强解码机制，例如使用学习式的检索器替代基于向量相似度的检索，或探索在压缩域而非潜在空间中进行检索。最后，将 DyCAST 的设计思想应用到其他模态（如音乐、环境声）的可变帧率分词中，验证其通用性。
复现评估
从复现评估来看，DyCAST 的复现条件相对有利。作者承诺在 https://github.com/lucadellalib/dycast 公开代码和检查点，这对于社区验证和后续研究非常重要。数据方面，DyCAST 仅使用 LibriTTS（585 小时）进行训练，这是一个公开可获取的标准数据集，复现门槛较低。算力方面，作者使用 NVIDIA H100 GPU 进行训练，下游评估在单卡上完成，但完整的 4 阶段训练流程（特别是解码器的约 300 万步训练）需要显著的计算资源。架构方面，所有组件均基于标准的 Transformer/焦点调制模块，使用 SpeechBrain 工具包实现，技术栈成熟。主要的复现难点在于：(1) 4 阶段训练的顺序和超参数调整需要仔细设置；(2) MMS 字符对齐器是一个 1B 参数的模型，需要额外的推理资源；(3) RAD 的候选池构建和索引优化需要额外工程工作。总体而言，对于具备中等算力资源的研究团队，DyCAST 的核心方法应该是可复现的。
论文图表