RubatoCodec：预算约束的内容自适应语音分词与流式解码 RubatoCodec: Budgeted Adaptive Speech Tokenization with Streaming Decoding
预算精确、位置自适应的语音编解码器，码-时长事件表示兼顾重建质量与流式TTS
前置知识
神经语音编解码器与残差向量量化（RVQ）
把连续波形压缩为离散 token 的神经网络，代表 SoundStream、EnCodec、DAC。残差向量量化用多层 VQ 级联：第 0 层量化输入，第 1 层量化残差，依次类推；激活层数（深度 $D$）决定每个位置携带的信息量与码率。token 再交语言模型生成（AudioLM、VALL-E）。
RubatoCodec 建立在 X-Codec-2 之上，而 X-Codec-2 继承 DAC/SoundStream 路线；本文的混合残差量化器、对抗训练方案与"深度-码率"权衡分析（0.15–2.40 kbit/s）都直接沿用这一框架，不懂 RVQ 就无法理解量化深度如何成为可调维度。
语义蒸馏与 w2v-BERT 特征
用自监督语音模型（w2v-BERT 2.0、WavLM 等）的中间层特征作为冻结教师，约束编解码器第一层码本去预测这些特征，使 token 偏向携带语言学内容而非纯声学细节。SpeechTokenizer、Mimi、X-Codec-2 均采用此思路；教师特征还常与声学特征拼接融合作为编码器输入。
本文第一层 FSQ 由冻结 w2v-BERT 2.0 第 16 层特征在事件起点处监督（式 (14)），这是其 dWER/dCER 可懂度优势的关键来源；融合后的潜特征 $h_t$ 同时是发射信号的输入，理解该机制是读懂第 3.2、3.4 节的前提。
连续积分发放（CIF）
CIF 为每帧学习一个标量权重，沿时间累积，累积量每跨一个阈值就“发放”一次、产生一个边界；训练时用目标长度归一化权重总和控制发放次数。最初用于 ASR 的声学-文本对齐，后被动态分词器借用做 token 数量控制。
Adaptive Firing 的累积阈值分配直接借用 CIF 的积分发放原理，但有两点关键差异：发射信号是确定性统计量而非学习参数，且只决定边界、不参与特征加权池化。了解 CIF 才能看清本文在哪些维度上做了本质修改。
FSQ 与 VQ 码本
有限标量量化（FSQ）把连续向量各维直接取整到固定级别（如 $[8,8,8,8]$ 即 4096 个码字），无需学习码本、规避码本坍塌；向量量化（VQ）维护可学习码本，最近邻查找并配合 commitment/codebook 损失训练。现代编解码器常混合使用两者。
RubatoCodec 的第 0 层是 FSQ $[8,8,8,8]$（4096 个语义索引，接受 w2v-BERT 蒸馏），第 1–15 层是 DAC 式 VQ；第一层与后续残差层的语义/声学分工是理解其量化设计与 TTS 首码本头设计的基础。
dWER / dCER 可懂度指标
分别用 ASR（英语/日语 Whisper-large-v3、中文 Paraformer-zh）转录重建音频与原始音频，计算两份转录间的词错率（dWER）或字错率（dCER），衡量编解码器保留了多少 ASR 层面的语言内容；因消除了 ASR 自身错误，比绝对 WER 更公平。
本文的核心卖点是"可比码率下最佳可懂度保持"：LibriSpeech 上 dWER 低至 0.75%（深度 8）、JVNV 情感语音上 dCER 1.92% 对次优 5.44%，全部结论用该指标定义；不懂 dWER/dCER 就无法解读所有主表。
因果解码与流式合成
因果解码器只允许当前帧及其之前的帧参与计算（因果注意力、左填充卷积、右裁剪转置卷积），因此拿到前缀 token 就能立即产出音频前缀。流式系统还需维护重叠相加的波形/窗归一化缓冲，周期性丢弃缓存并从最近事件起点重建历史状态，再用交叉淡化拼接，以限制长序列外推误差。
RubatoCodec 的解码路径全部因果化（12 层因果 Transformer + ISTFT 逐帧输出），才能实现逐事件 11.07 ms 解码约 80 ms 音频的实时流式合成；这也是它与 DAC、BigCodec 等非因果编解码器的关键差异，是其面向 TTS 的立身之本。
研究动机
现代语音生成系统（AudioLM、VALL-E、Moshi、Qwen3-TTS 等）先把波形离散成 token 序列再用语言模型建模，编解码器的帧率直接决定序列长度：10 秒语音在 50 Hz 帧率下是 500 个位置，12.5 Hz 低帧率下每个 token 横跨 80 ms。降帧率能缩短序列、降低建模成本，但固定网格不感知内容——快速音素过渡可能被压进单个 token，静音却与关键过渡消耗同样多的 token。变帧率（VFR）编解码器试图按内容分配 token，但主流方案基于阈值：DTM-Codec 用累积潜变化阈值、FlexiCodec 用特征相似度阈值、DyCAST 依赖对齐或边界预测器，token 数量因此由内容决定。论文实测一个公开阈值式编解码器在单一固定阈值下，五个评测集上的事件率从 46.1 到 81.5 events/s 不等，FlexiCodec 也在 7.0–8.5 events/s 波动。这意味着即使音频时长相同，下游模型要生成的序列长度也无法预知；数据分布偏移时平均码率还会漂移，算力成本无法仅凭时长估计。
本文的目标是本文目标是构造一个"预算约束的内容自适应"语音编解码器：把事件（token）数量与放置位置解耦——数量由保留率 $R$ 与整句时长精确决定（默认 $R=0.25$，即从 50 Hz 潜网格得到平均 12.5 events/s），位置随语音内容变化，且无需可学习边界预测器或码率惩罚项。同时每个事件携带离散码本索引与显式时长，并配一个因果解码器，使下游 TTS 模型能逐事件预测、边生成边流式合成音频。作者还希望在匹配训练条件下定量回答三个问题：自适应分配相对固定下采样在低事件率下是否带来重建增益；增益中有多少来自"内容自适应放置"本身；这种码-时长表示用于训练 TTS 时是否比固定码率表示更容易生成清晰可懂的语音。最终在英/日/中三语约 37.5 万小时数据上训练，与十余个主流编解码器在五个评测集上对比，验证重建质量与可懂度优势及流式解码的工程可行性。
与已有工作不同的是，现有 VFR 方案在"数量控制、放置方式、时长表示、训练流程"四个维度各有取舍：TFC 与 CodecSlime 能保证精确事件数，但分别依赖波形熵分层选择或动态规划搜索分段且多为多阶段训练；FlexiCodec 与 DTM-Codec 用阈值调整放置但数量随内容漂移；VARSTok 把时长编进 token ID，DyCAST 支持显式或预测时长但需四阶段流水线与冻结 WavLM。RubatoCodec 的独特切入是：用确定性的"发射信号"（潜特征多尺度余弦差异 + 波形 log-mel 谱通量）做预算归一化的累积分配——借鉴 CIF 的积分发放思想但只用于定界、不加权特征池化；边界既非学习预测也非阈值搜索，而是通过有界增量的二分搜索与单调位置修正，以每次迭代 $O(T)$ 的代价严格保证恰好 $K$ 个互异事件起点。可训练组件从零开始、自适应分配全程激活、单阶段训练，这与 CodecSlime 的三阶段 Melt-and-Cool 或 DyCAST 的四阶段方案形成鲜明对比；码-时长对的事件接口还为流式生成提供了原生支持。
核心方法
直觉上语音是非平稳信号：停顿和稳态元音变化缓慢、过渡段剧烈，均匀网格必然错配。RubatoCodec 保留 X-Codec-2 的声学/语义双编码器（50 Hz 潜网格、冻结 w2v-BERT 2.0 特征融合投影到 2048 维），在其上做四处改造：第一，Adaptive Firing 用多尺度潜差异与 log-mel 谱通量之和作发射信号，经有界增量累积发放把 $T$ 个潜帧精确划分为 $K=\mathrm{round}(RT)$ 个事件；第二，区间聚合器把事件编码为起始帧特征加 MLP 修正；第三，混合残差量化器（FSQ $[8,8,8,8]$ 加 15 层 DAC 式 VQ，每层 12 bit、4096 项）以 $Q=16$ 层量化事件向量，深度 $D$ 可调码率；第四，因果解码器把去量化事件向量放到起始帧、其余帧用可学习空向量加偏移嵌入，经 12 层因果 Transformer、3 倍上采样到 150 Hz、Vocos 式谱头加 ISTFT 输出 44.1 kHz 音频，支持逐事件流式解码。编解码器约 246.1M 参数，加冻结 580M w2v-BERT 共约 826M。
核心创新是“预算化自适应分配”：把 token 数量与放置解耦。对每个位置 $t$ 计算发射信号 $s_t=\mathcal{N}(s^{\mathrm{latent}})_t+\mathcal{N}(f)_t$，由多尺度潜差异 $\ell^{a,b}_t=\max\{0,1-\cos(h_{t-a},h_{t+b})\}$ 与 log-mel 谱通量归一化求和。给定预算 $K$，二分搜索 $\alpha$ 使有界增量 $\delta_t=\min(\alpha s_t,1)$ 之和恰为 $M=K-1$，累积量 $C_t=\sum_{u\le t}\delta_u$ 首次跨越阈值 $j-\tfrac12$ 的位置即事件起点，加单调位置修正保证起点严格互异。与 DTM-Codec 固定阈值、FlexiCodec 相似度合并、CodecSlime 动态规划搜索不同，归一化累积分配用确定性统计量同时取得精确数量与内容自适应放置，且边界与表示解耦——发射信号只定边界、不加权特征，聚合器另行组合起始特征、均值与时长。名字取自 rubato：局部时值伸缩而整体速度不变。
方法步骤详情
流程分五步。①编码：16 kHz 波形经步幅 2,2,4,4,5 的卷积编码器得 50 Hz 特征，与冻结 w2v-BERT 特征融合为 2048 维 $h_t$。②分配：由式 (3)–(6) 算发射信号，按 $K$ 定预算，经式 (8) 有界增量二分搜索与式 (9) 位置修正得严格递增的事件起点 $p_i$ 与时长 $d_i$，保证 $\sum_i d_i=T$。③聚合与量化：$g_i=h_{p_i}+\mathrm{MLP}[h_{p_i};\bar h_i;E_d(\min(d_i,64))]$，经 FSQ+15 层残差 VQ 得 16 个 12 bit 索引，取前 $D$ 层即可调码率。④解码：$\hat g_i^{(D)}$ 置于起始帧、事件内其余帧放空向量加偏移嵌入，经 12 层因果 Transformer、3 倍上采样与 ISTFT 逐帧输出 44.1 kHz 音频，流式时周期性重建历史并交叉淡化。⑤训练：$\mathcal{L}_G$ 由 mel 重建、语义蒸馏、VQ、对抗与感知损失加权组成，按 10%/75%/15% 三阶段渐次启用，语义头只在事件起点蒸馏第一层。
技术新颖性
技术新颖性有四点。其一，精确预算与内容自适应的兼容：此前两者几乎不可兼得——阈值法自适应但数量漂移（DTM-Codec 80 Hz 档实测 46.1–81.5 events/s），精确计数法（TFC、CodecSlime）依赖分层选择或 DP 搜索；归一化累积分配用确定性统计量同时取得两者，边界既非学习预测也非搜索结果。其二，发射信号只定界不加权：与 CIF 不同，发射权重不参与特征池化，聚合器以起始特征为残差基底、由 MLP 注入均值与时长，避免池化被信号幅度扭曲。其三，码-时长生成接口：每个事件显式携带 $D$ 个索引与时长 $d_i$，因果解码器按事件增量渲染（实测 11.07 ms 解码 80 ms 音频），下游可逐事件预测并即时合成；区别于把时长编进 token ID（VARSTok）或独立预测帧长的两段式方案（FlexiCodec、DyCAST）。其四，单阶段从零训练、分配全程激活：分配算子不可微，梯度只经事件表示回传，边界随特征演化而无需码率损失项，工程上比 CodecSlime、DyCAST 的多阶段流水线显著简化。
实验结果
受控实验：12.5 Hz 下自适应全面优于固定下采样——深度 16 时 PESQ-WB 2.556 对 2.442、dWER 0.62% 对 0.72%；6.25 Hz 增益更明显（PESQ 1.932 对 1.812），25 Hz 时优势收窄。放置消融证明自适应边界全程提高 SIM，单码本 dWER 11.64% 对 17.00%。等码率下 12.5 Hz@D8 接近 25 Hz@D4，6.25 Hz@D16 明显落后。37.5 万小时多语种模型取得英语与日语可比码率下最低 dWER/dCER：LibriSpeech 0.75%（次优 0.83%），JVNV 1.92% 对次优 5.44%；但对手在 PESQ、SIM 上更高（D16 SIM 0.928 对 MOSS 0.954）。解码 446.8× 实时、流式 11.07 ms/事件。匹配 TTS：WER 3.10% 对 3.20%，UTMOS 4.162 对 4.080，SIM 持平 0.392；生成器无码率约束下学会预算规则——88.3% 事件数恰为 $\mathrm{round}(0.25T)$，99.9% 误差不超一个事件。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语音重建受控对比（12.5 Hz，深度 16，LibriSpeech test-clean） | PESQ-WB | 2.556（自适应架构） | 2.442（固定下采样对照，同训练条件） | +0.114，同时 dWER 0.72%→0.62%、UTMOSv2 3.363→3.444，SIM 仅低 0.003 |
| 语音重建受控对比（6.25 Hz，深度 16，LibriSpeech test-clean） | PESQ-WB | 1.932（自适应） | 1.812（固定） | +0.120，dWER 1.24%→1.08%；低事件率下自适应增益最大，与 25 Hz 时优势收窄形成对照 |
| 放置消融（仅改边界放置，12.5 Hz，单码本 D1） | dWER | 11.64%（累积自适应放置） | 17.00%（均匀步长对照，其余组件完全相同） | 相对下降约 31.5%；SIM 在所有深度更高（D16：0.914 对 0.913） |
| 英语重建（37.5 万小时多语种模型，LibriSpeech test-clean，D8，1.23 kbit/s） | dWER | 0.75% | 0.83%（FlexiCodec τ=1）/ 0.89%（MOSS-Audio-Tokenizer D10）/ 0.86%（MiMo-Audio D6） | 0.8–1.5 kbit/s 比较带内最低，UTMOSv2 3.478 亦为带内最高 |
| 日语情感语音重建（JVNV，含非语言发声，D8） | dCER | 1.92% | 5.44%（MOSS-Audio-Tokenizer，次优） | 相对降低约 65%；D16 时 1.54% 对次优 3.01%，可懂度优势在情感语音上最显著 |
| 匹配条件 TTS 零样本克隆（seed-tts-eval 英语 1,088 句，8 码本，12.5 Hz） | WER | 3.10%（自适应编解码器训练的 TTS） | 3.20%（固定码率编解码器训练的 TTS） | SIM 持平 0.392，UTMOS 4.080→4.162，UTMOSv2 3.239→3.295 |
| 流式/整句解码吞吐（44.1 kHz，H200 单卡，batch 1） | 解码 RTFx | 446.8×（D8）/ 427.4×（D16） | 271.9×（X-Codec-2，同解码骨干） | 约 1.64 倍；逐事件流式解码 11.07 ms/事件，对 80 ms 平均事件时长具备实时裕量 |
局限与改进
作者承认的限制：每个配置只训练一个模型、放置对比仅单种子且只用英语朗读语音；发射信号消融用早期低码率设计，结论可能随训练规模改变；所有评测语言都在训练混合中，无法证明未见语言迁移；外部编解码器训练资源与运行点不可控；TTS 证据仅覆盖英语有声书与 D=8 受控编解码器；缺少人工听测。我的观察：信号保真度与说话人相似度系统性落后于最强对手——LibriSpeech D16 SIM 0.928 对 MOSS 0.954、PESQ 3.029 对 3.536，普通话 dCER 0.50% 也不及 MOSS 0.38%，“可懂度领先、保真度落后”模式高度一致；UTMOSv2 超过原始录音（3.486 对 GT 3.233）提示预测型指标可能偏爱其音色风格而非忠实度；16 kHz 输入意味着 44.1 kHz 输出只是推断合成；时长嵌入截断到 64 帧，训练需剔除约 0.07% 语料，且 TTS 中出现短语内不自然长停顿。
独立分析的弱点
弱点一：保真度短板，MOSS-Audio、Qwen3-TTS 在 PESQ/STOI/SIM 上持续领先，根源可能是 FSQ+残差 VQ 串行链路把语义与声学细节挤在同一量化通道，且事件内部细节只能靠空向量加偏移嵌入恢复；可为声学层引入并行通路或提高解码网格利用率。弱点二：utterance 级预算要求整句缓冲，在线场景须改用窗口化预算，牺牲精确性；可探索流式预算调度。弱点三：等时长语料获得同等预算，声学复杂度差异未被考虑；可加内容感知的预算微调但仍保证上下界。弱点四：语义监督只在事件起点施加，长事件内部语言信息可能欠采样（单码本 dWER 仍达 11.64%–14.41%）；可做事件内多点语义锚定。弱点五：TTS 长事件集中于句首（9.0%）句尾（2.9%），且出现短语内不自然停顿，停顿的表示与自然性建模脱节；可引入显式停顿 token 或标点对齐监督。
未来方向
作者提出的方向：改进低事件率下的信号保真度——用更好的声学表示与重建目标缩小 PESQ/STOI 差距，并回答何时才真正需要更细的时间分辨率；多保留率混合训练以扩展推理时的码率容忍（附录 A.5 显示升码率有益、大幅降码率即使加深量化也急剧劣化）；在线编码需要因果声学-语义路径与窗口化/滚动预算，在缓冲延迟与放置质量间权衡；用多语种编解码器、更广数据与更大骨干做大规模 TTS，显式时长可支持句长与停顿控制；把 Adaptive Firing 迁移到其他编解码骨干以及音乐、环境声。基于本文成果可延伸的研究：其一，把码-时长接口接入层级式生成器（Moshi/Qwen3-TTS 风格），系统评估"时间主干步数 vs 事件内码本预测"的算力分配；其二，利用预算规则做韵律控制，用显式时长实现可控停顿、语速与句长编辑；其三，与无语义教师的联合目标（MOSS-Audio 路线）结合，检验语义蒸馏对可懂度优势的因果贡献；其四，针对 SIM 差距引入事件级声学残差或说话人对抗损失；其五，补充人工 MOS/偏好测试，特别是解释 UTMOSv2 超 GT 的现象与停顿自然性。
复现评估
代码与权重已开源（GitHub 与 HuggingFace third-intelligence/RubatoCodec），附录 D 汇总全部公开 checkpoint、数据与评测工具链接，开源程度在同类工业论文中很高。但完整多语种模型需约 37.5 万小时语音且含公司内部数据，外部只能用公开部分近似；训练 150 万步、batch 160，估算需多卡 H100/H200 级 GPU 数周，属工业级算力门槛。受控对比模型亲民得多：约 5,000 小时 HiFiTTS-2 英语子集、10 万步、batch 64、6 秒裁剪，单节点多卡可复现；放置对比需 100 万步。评测协议详尽：dWER/dCER 的 ASR 与归一化口径、SIM 用微调 WavLM-Large、码率含时长经验熵的估计式 $B_{\mathrm{total}}=B_{\mathrm{content}}+(K/\tau)\hat H(d)$ 均已给出；发射信号与预算分配是纯确定性算法（式 (3)–(9)），无需训练即可独立验证。总体：小规模受控实验复现难度中等，旗舰模型复现难度高，但推理与评测路径完全开放。
论文图表
