T5Gemma-TTS 技术报告：基于编码器-解码器架构与PM-RoPE的多语言零样本语音合成 T5Gemma-TTS Technical Report

完整步骤分四步。第一步数据准备：把 16 kHz 音频送入 XCodec2 编码成 50 Hz 的 token 序列（vocab=65536），并预留 5 个特殊 token（、、、silence、prompt-separator）。参考音频的 token 序列作为 prefix 拼接到目标 token 序列前，用 prompt-separator 隔开。第二步文本编码：T5Gemma encoder（26 层，$d=2304$）对 SentencePiece 子词序列做双向编码，输出 $H_{enc}$，不引入任何额外适配层。第三步训练 decoder：26 层 T5Gemma decoder 在每层 cross-attention 上启用 PM-RoPE，目标函数是标准的 next-token 交叉熵 $\mathcal{L} = -\sum_{t=1}^{S} \log p_\theta(y_t | y_{<t}, H_{enc})$。优化器 AdamW，$\eta = 10^{-4}$，weight decay $10^{-2}$，2% warmup + linear decay，总步数约 143000，每 GPU 限 30K tokens，8 GPU 有效 batch 约 240K tokens，bf16 混合精度，梯度裁剪到单位 norm，2 周训完。第四步推理：先用 $\hat{D} = \frac{D_{ref}}{N_{ref}} \cdot N_{tgt}$ 估算目标时长（不同语种用不同 phoneme 工具：英语 espeak-ng、日语 pyopenjtalk、中文用 Unicode 字符数），再换算成目标 token 数 $\hat{S} = \lfloor \hat{D} \times 50 \rfloor$；每一步 decoder 进度 ID 设为 $p_{dec_j} = \frac{j}{\hat{S}-1} \cdot s$，top-k=30, top-p=0.9, T=0.8 采样。

技术新颖性体现在三个层面。架构层面：第一次把 T5Gemma（2B+2B encoder-decoder 改造自 Gemma 2）用于 codec LM 形式的 TTS，相比之前 Llasa 等 decoder-only 工作解决了文本条件稀释问题。机制层面：第一次在大规模多语言（170k 小时，3 种语言）和 4B 参数规模上验证 PM-RoPE 的有效性，并证明该机制无需修改即可从英文单调场景迁移到多语种场景。数据层面：第一次展示「训练语种 + 词表覆盖 + 类型学邻近性」三者配合可实现完全未见语种（韩语）的零样本合成（OOV 率 0%）。需要客观指出的是：PM-RoPE 本身、T5Gemma backbone、XCodec2 都不是本文发明，本文的贡献在于把它们拼起来并在 6 种语言上做了系统性 ablation 与对比。

独立看，本文有几个值得改进的弱点。(1) 时长估算器过于粗放：phoneme-count 与 $\Delta_{EN}=0.085$ s/phoneme、$\Delta_{JA}=0.10$ s/phoneme 等常数是粗启发式，论文也承认「估算误差会贡献于时长相关质量退化」，应改用基于 reference encoder 的 duration predictor 或在训练中加 duration token。(2) PM-RoPE ablation 不充分：作者自己强调需要从零训一个无 PM-RoPE 的对照组才能真正证明 PM-RoPE 的因果贡献，目前的 flag-switch 结果只能说明 inference 时刻的依赖。(3) UTMOS 自然度落后：作为 4B 模型，UTMOS 4.01 仍低于 Kokoro 4.51 和 CosyVoice 2 4.32，主要受 codec 量化限制；改进方向是加 latent diffusion 后处理或换用更高保真度 codec。(4) 跨语种鲁棒性受限于词表和类型学：法语/德语 WER 高说明单纯靠 SentencePiece 词表覆盖和「相似语种」加持不够，需要 continual pretraining 显式扩展语言集合。(5) 没有情感/风格控制：Table 1 中 × 标记，且只支持 3 种训练语种内的跨语种克隆，限制了下游应用。(6) RTF 0.8–2.0 在实时场景不可用，需要蒸馏或 speculative decoding。(7) ECAPA-TDNN 本身的说话人空间在未见语种上可能校准不准，作者也提到了这点。

作者在文末明确给出三个方向：(1) 用蒸馏或 speculative decoding 把 RTF 降到实时可用；(2) 加 latent diffusion 或 flow-matching 后处理模块提升自然度；(3) 做 continual pretraining 扩展到更多语种。基于成果我还能想到几个可延伸方向：(4) 把 PM-RoPE 思路拓展到「情感进度」或「韵律进度」编码，让 decoder 显式追踪风格轨迹；(5) 在 encoder 端引入显式时长/韵律 prompt 解析，实现可解释的 prosody control；(6) 把 T5Gemma-TTS 当作 strong teacher 蒸馏到小模型（~0.5B）以同时获得 encoder-decoder 优势 + 实时 RTF；(7) 研究 subword vs phoneme 输入对 PM-RoPE 有效性的影响（作者明确说没做这个 ablation）；(8) 探索 ECAPA-TDNN 之外的语种无关 speaker embedding（如 x-vector、ResNetSE）以更公平评估跨语种 SIM；(9) 在多说话人对话 TTS、歌声合成等更复杂任务上验证 encoder-decoder + PM-RoPE 的可扩展性。

复现条件较好。模型权重和代码已开源：HF 上是 Aratako/T5Gemma-TTS-2b-2b，GitHub 仓库为 https://github.com/Aratako/T5Gemma-TTS。训练数据来源清晰：LibriHeavy（公版 LibriVox 衍生）和 Emilia（开源多语种数据），T5Gemma backbone 遵循 Gemma Terms of Use，作者提醒用户自负合规责任。训练硬件为 8 张 AMD MI300X GPU，耗时约 2 周；本文也指出 RTF 在 MI300X float16 下测得 0.8–2.0，与 A100 上的基线 RTF 不可直接比较。关键超参都列得很全：AdamW $\eta=10^{-4}$、weight decay $10^{-2}$、2% warmup、~143K steps、batch ~240K tokens、bf16 + float32 master weights、gradient clip 1.0；推理用 top-k=30, top-p=0.9, T=0.8；PM-RoPE 缩放常数 $s=2000$；duration 估算的语种默认速率常数也给出。复现难点主要在算力门槛（8×MI300X 训 2 周）和日语 XCodec2 变体的 decoder 微调。评测 pipeline 用了 Whisper large-v3、ECAPA-TDNN (spkrec-ecapa-voxceleb)、UTMOS22 strong 等标准工具，加上 10000 次 bootstrap CI 和固定 seed 42，实验可复现性高。