Fish Audio S2 技术报告：基于多奖励强化学习对齐的开源可控制语音合成系统 Fish Audio S2 Technical Report
开源TTS系统，通过双自回归架构与多奖励RL实现自然语言指令控制
前置知识
Residual Vector Quantization (RVQ)
残差向量量化是一种多层级的离散化技术，用于将连续的音频特征压缩为离散的 token 序列。其核心思想是：第一层码本（codebook）对原始信号进行粗糙量化，随后每一层对前一层的残差进行更精细的量化，逐步逼近原始信号。Fish Audio S2 采用 10 层 RVQ，第一层作为语义码本捕获语言和韵律信息，其余 9 层捕获更细粒度的声学细节。这种层级结构使得语义建模和声学建模可以解耦处理，是 Dual-AR 架构的物理基础。
RVQ 是理解 Fish Audio S2 双自回归架构的前提——Slow AR 负责生成第一层语义 token，Fast AR 负责生成剩余 9 层声学 token，这种分工直接源于 RVQ 的层级设计。
Dual-Autoregressive (Dual-AR) 架构
双自回归架构是 Fish Audio S2 的核心建模策略，将音频生成分解为两个独立的自回归过程：Slow AR（慢速自回归）沿时间轴逐帧生成语义 token，Fast AR（快速自回归）在每个时间步沿码本深度轴逐层生成声学 token。Slow AR 使用 Qwen3-4B 大语言模型骨干，负责语义规划和粗粒度韵律；Fast AR 仅使用 4 层 Transformer，通过轻量级网络快速补充细粒度声学细节。这种不对称设计——4B 参数沿时间轴建模、4 层网络沿深度轴建模——在保证生成质量的同时极大提升了推理效率。
直接展平 10 层 RVQ 会使序列长度膨胀 10 倍，Dual-AR 通过解耦时间建模和深度建模解决了这一维度爆炸问题，是理解本文推理性能（RTF 0.195）的关键。
Group Relative Policy Optimization (GRPO)
GRPO 是一种无需价值网络的强化学习算法，源自 DeepSeek 的研究。其核心思想是：对同一个提示（prompt）独立采样 G 个候选输出 \{y_1, ..., y_G\}，计算每个候选的奖励 R_i，然后以组内均值 ?ar{R} 作为基线计算优势 A_i = R_i - ?ar{R}。这种方法避免了 PPO 中维护大型价值模型的内存开销，特别适合音频生成这类超长序列任务。Fish Audio S2 还采用了 Dr.GRPO 的改进，移除了组内标准差归一化以避免低方差样本的梯度爆炸问题。
GRPO 的变体是 Fish Audio S2 后训练阶段的核心算法，使得在超长音频序列上进行 RL 对齐成为可能，直接解决了幻觉、token 跳过和音色漂移等自回归生成的顽疾。
语义蒸馏 (Semantic Distillation)
语义蒸馏是一种训练音频编解码器的技术，旨在确保 RVQ 的第一层码本捕获丰富的语言和音素信息。具体做法是在编解码器训练时引入一个辅助语义预测头，将预训练的 w2v-BERT 2.0 模型第 16 层的激活作为监督信号，通过回归损失将第一层码本的量化特征与语义表示对齐。这使得第一层码本成为语义码本，其 token 既包含声学信息又编码了语言结构，从而让下游的 Slow AR 能够像处理文本 token 一样规划语音的语义内容和粗粒度韵律。
语义蒸馏是 Dual-AR 架构成立的前提——只有第一层码本真正编码了语义信息，Slow AR 才能有效地进行语义规划，否则它只是在处理无意义的声学 token。
指令跟随控制 (Instruction-Following Control)
Fish Audio S2 的核心能力之一是通过自然语言描述直接控制语音生成的各个方面。与传统的全局风格提示（global style prompt）不同，S2 将描述性指令（如 [whisper]、[angry]、[laugh]、[emphasis]）直接插入到文本序列中的特定词或短语位置，实现精确的局部声学控制。这些指令通过大规模自回归训练被模型自然内化，不需要专用控制 token。论文报告在 Fish Audio Instruction Benchmark 上，S2 的内联标签激活率（TAR）达到 93.3%，质量评分 4.51/5.0。
这是 Fish Audio S2 相比前代 S1 和其他 TTS 系统的核心差异化能力，理解这一点才能理解为什么论文花大量篇幅讨论数据管线中的 rich-transcription ASR 和 RL 后训练中的指令跟随奖励。
研究动机
当前高质量可控文本转语音（TTS）系统面临三大核心挑战。首先，现有大规模 TTS 系统虽然采用了两阶段范式——先生成离散语音 token 再通过声学解码器重建波形——但在可控性方面仍有明显不足。许多系统依赖全局风格提示来控制语音特征，无法实现对特定词或短语的精细局部控制，这在有声书旁白、视频配音和个性化聊天机器人等实际应用场景中严重限制了实用性。其次，数据管线是关键瓶颈：将微妙的声学属性（如情感、韵律、说话人切换）映射为自然语言指令的过程难以规模化，需要大量人工标注。论文指出，generating fine-grained natural-language instructions for vocal features at scale remains a major bottleneck。第三，强化学习方法如 DPO、PPO 和 GRPO 虽然已成为大语言模型领域的标准后训练技术，但在 TTS 领域的采用仍然有限，主要原因是音频生成涉及极长序列，标准 PPO 因需要维护大型价值模型而计算成本过高。此外，RL 对齐通常依赖独立于预训练管线训练的奖励模型，这会在预训练数据和后训练目标之间引入分布偏移（distribution shift），削弱对齐效果。
本文的目标是Fish Audio S2 的目标是构建一个开源的、生产就绪的文本转语音系统，实现三个层面的突破。在可控性层面，系统应支持通过自由形式的自然语言描述实现广义和细粒度的语音生成控制，使用户能够精确指定特定位置的情感、韵律和风格特征。在生成能力层面，系统需要原生支持多说话人、多轮对话生成，能够在单次推理中生成涉及多个不同说话人的复杂交错对话，捕获自然对话的动态变化。同时，系统需要支持稳定的长篇语音合成，在扩展时间内保持连贯性和一致性。在工程层面，系统需要在生产部署中实现超低延迟（首音频时间低于 100ms）和高吞吐量（RTF 低于 0.5），同时保持实时流式合成能力。最终，论文希望开源模型权重、微调代码和推理引擎，降低高质量 TTS 开发的门槛。
与已有工作不同的是，Fish Audio S2 的独特切入角度在于提出了一个统一的数据管线与强化学习对齐框架，这是前代工作所没有的。具体而言，论文的核心创新是 dual-purpose design：同一个语音质量评估模型和 rich-transcription ASR 模型在预训练阶段充当严格的数据过滤器和标注器，在 RL 后训练阶段直接复用为奖励模型。这种设计从根本上消除了预训练和后训练之间的分布偏移——传统方法中，奖励模型独立训练，其评分标准可能与预训练数据的分布不一致，导致优化方向偏离。此外，论文构建了一个多维度、正交且防作弊的奖励系统，联合优化语义准确性、声学质量和说话人相似度三个维度，这在 TTS 领域的 RL 对齐中尚属首次。在架构层面，Dual-AR 设计将 4B 参数的语言模型与 4 层轻量级 Transformer 配合，实现了 4B 参数沿时间轴建模、4 层网络沿深度轴建模的高度不对称设计，这在效率和质量之间找到了新的平衡点。
核心方法
Fish Audio S2 的方法可以分为四个相互关联的组件。第一个组件是基于 Descript Audio Codec (DAC) 的音频 tokenizer，它采用 10 层残差向量量化（RVQ）将 44.1kHz 的音频信号压缩为约 21Hz 的离散 token 序列。为了适配低延迟 TTS 任务，tokenizer 引入了因果卷积、Transformer 瓶颈和扩展下采样（总下采样比 2048），并使用 EVA-GAN 解码器替代原始 DAC 解码器以提升重建质量。通过语义蒸馏确保第一层码本编码丰富的语言信息。第二个组件是 Dual-AR 生成架构，由 Qwen3-4B 作为 Slow AR（慢速自回归）沿时间轴生成语义 token，4 层轻量级 Transformer 作为 Fast AR（快速自回归）沿码本深度轴生成声学 token。第三个组件是三阶段数据管线：源分离与分割、质量过滤、富转录标注，其中语音质量模型和 rich-transcription ASR 模型在预训练和 RL 后训练中双重复用。第四个组件是基于 GRPO 变体的多奖励 RL 后训练，联合优化语义准确性、声学质量和说话人相似度。
Fish Audio S2 最核心的创新在于两个层面。第一是多用途数据管线（Multi-Purpose Data Pipeline）：论文构建了一个以语音质量评估模型和富转录 ASR 模型为核心的三阶段数据处理管线。在预训练阶段，这两个引擎充当严格的过滤器和标注器——质量模型评估信噪比、说话人一致性、录音质量和可懂度来过滤低质量样本，ASR 模型则同时转录文本内容并标注声学特征（如情感、韵律、副语言特征）和说话人切换。在 RL 后训练阶段，这两个模型被直接复用为奖励模型——质量模型作为声学质量奖励，ASR 模型作为语义准确性和指令跟随奖励。这种设计与已有方法的本质区别在于：传统 RL 对齐中奖励模型独立训练，存在分布偏移；而 Fish Audio S2 通过复用预训练阶段的模型作为奖励信号，从根本上消除了这种不一致性。第二是多奖励 RL 对齐（Multi-Reward RL Alignment）：论文实现了 GRPO 的一个变体，联合优化三个正交维度——语义准确性 R_STT、声学偏好 R_Pref 和音色相似度 R_SIM，并为每个维度设计了防作弊机制。
方法步骤详情
Fish Audio S2 的完整训练流程分为四个阶段。第一阶段是音频 tokenizer 训练：基于 DAC 架构训练 446M 参数的 tokenizer，使用复合 GAN 损失框架（多周期判别器、多分辨率判别器、多尺度 STFT 判别器），训练 1M 步，将 44.1kHz 音频压缩为约 21Hz 的 10 层离散 token 序列。第二阶段是预训练：将音频 token 与 Qwen3-4B 基础模型对齐，分两个子阶段——第一阶段最大上下文长度 8,192 token 建立跨模态对齐，第二阶段扩展到 16,384 token 支持长篇合成和多轮对话。预训练使用超过 1000 万小时原始音频覆盖约 80 种语言和方言。损失函数包含 Slow AR 损失和 Fast AR 损失，其中 Slow AR 损失通过参考掩码控制哪些 token 参与梯度计算（系统提示和参考音频 token 被掩码），Fast AR 损失则监督 N-1 个声学 token 的深度自回归生成。预训练使用 FSDP 分布式训练和 WSD 学习率调度策略。第三阶段是监督微调（SFT）：在内部高质量标注数据上进一步提升表达力和可控性，此时移除语义 token 预测并应用渐进衰减的码本权重策略，使训练与推理设置更好对齐。第四阶段是 RL 后训练：采用 GRPO 变体，对每个提示独立采样 G 个候选输出，通过多维度奖励系统计算优势值 A_i = R_i - R_mean，然后优化 Slow AR 和 Fast AR 的策略损失。为高效计算 KL 散度惩罚，论文设计了 LoRA 权重交换机制——参考策略作为 LoRA 权重备份存储在 CPU 内存中，在梯度计算时动态交换到 GPU，使用 rank-stabilized LoRA（r=16, alpha=64）仅更新 MLP 层。
技术新颖性
Fish Audio S2 的技术新颖性体现在多个维度。首先，Dual-AR 架构虽然在 Fish Audio S1 中已有原型，但 S2 通过将 Slow AR 升级为 Qwen3-4B 并引入 Multi-Codebook Fusion (MCF) 机制显著提升了建模能力。MCF 将 N 个码本嵌入与语义 token 嵌入求和作为下一步输入，其中语义 token 贡献两种独立参数化的表示（Slow AR 的 token 嵌入和码本嵌入），捕获同一 token 的互补方面。其次，数据管线的 dual-purpose 设计是全新的：将预训练阶段的质量评估和标注模型直接复用为 RL 奖励模型，这在 TTS 领域尚属首次，从根本上消除了分布偏移问题。第三，RL 后训练中的多维度奖励系统设计了 token 加权掩码机制，对错误的说话人 ID 标签施加更强惩罚，对遗漏的声学指令施加额外惩罚，这种防作弊设计确保了指令跟随的严格性。第四，推理引擎基于 SGLang 框架，通过多 token 索引键扩展 RadixCache 以支持语义和声学 token 的联合索引，并利用 MPS 实现 LLM 解码和声学解码器的 GPU 共调度，这些工程创新使得 prefix-cache 命中率平均达到 86.4%、峰值超过 90%。此外，音频 tokenizer 在 DAC 基础上引入了因果卷积、Transformer 瓶颈和扩展下采样（2048x），并采用 EVA-GAN 解码器，这些改进使其在 21Hz 帧率下实现了高质量的流式编解码。
实验结果
Fish Audio S2 在多个基准测试中展现了全面领先的表现。在 Seed-TTS-Eval 语音克隆可懂度测试中，S2 在中文（test-zh）上达到 0.54% WER，英文（test-en）达到 0.99% WER，在中文困难集（zh-hard）上达到 5.99% WER，其中中英文 WER 均为所有对比模型中最优，中文困难集也优于 Seed-TTS（7.59%）和 CosyVoice 3（5.83%）。在 CV3-Eval 9 语言多语言测试中，S2 的平均 WER 为 3.01%，相比 S1 的 3.96% 相对降低了 23.9%，在所有报告语言上均取得最佳错误率。在 MiniMax 24 语言测试集上，S2 在 11/24 种语言上取得最低 WER，在 17/24 种语言上取得最高说话人相似度（SIM）。在长篇音频测试中，S2 的英文 WER 为 4.38%（对比 S1 的 6.26%、Qwen3-TTS 的 7.69%），中文 CER 为 5.95%，说话人相似度均值（SIM-Mean）英文 0.523、中文 0.557，标准差（SIM-Std）分别为 0.0761 和 0.0923，表明音色在长篇生成中保持高度稳定。在 Audio Turing Test 中，S2 的后验均值为 0.483，指令重写后提升至 0.515，超过前 SOTA（Seed-TTS 0.417）约 23.5%。在 EmergentTTS-Eval 上，S2 取得 81.88% 的整体胜率，其中副语言特征（91.61%）、疑问句（84.41%）和句法复杂度（83.39%）维度表现尤为突出。在自建的 Fish Audio Instruction Benchmark 上，S2 的标签激活率（TAR）中文 0.984、英文 0.881，自然度中文 4.40、英文 4.21，表达力中文 4.94、英文 4.50。推理性能方面，在单张 NVIDIA H200 GPU 上实现 RTF 0.195、首音频时间低于 100ms、高并发下吞吐量 3000+ 声学 token/秒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Seed-TTS-Eval 中文语音克隆 | WER (%) | 0.54 | CosyVoice 3: 1.12, Qwen3-TTS: 0.77, Seed-TTS: 1.12 | 相比 Seed-TTS 降低 51.8%，相比 Qwen3-TTS 降低 29.9% |
| Seed-TTS-Eval 英文语音克隆 | WER (%) | 0.99 | CosyVoice 3: 2.21, Qwen3-TTS: 1.24, Seed-TTS: 2.25 | 相比 Seed-TTS 降低 56.0%，相比 CosyVoice 3 降低 55.2% |
| CV3-Eval 9 语言多语言测试 | 平均 WER (%) | 3.01 | Fish Audio S1: 3.96 | 相对降低 23.9% |
| MiniMax 24 语言测试集 | 最优 WER 语言数 | 11/24 语言最低 WER | MiniMax: 6/24, ElevenLabs: 7/24 | 在最多语言上取得最优 WER |
| Long-TTS-Eval 英文长篇生成 | WER (%) | 4.38 | Fish Audio S1: 6.26, Qwen3-TTS: 7.69, VibeVoice: 28.0 | 相比 S1 降低 29.9%，相比 Qwen3-TTS 降低 43.0% |
| Audio Turing Test（含指令重写） | 后验均值 | 0.515 | Seed-TTS: 0.417, MiniMax: 0.387, GPT-4o: 0.138 | 相比前 SOTA（Seed-TTS）提升 23.5% |
| EmergentTTS-Eval 整体胜率 | Win Rate (%) | 81.88 | gpt-4o-mini-tts: 50.00 (baseline), Gemini-2.5-Flash: 79.10 | 超过基线 31.88 个百分点，超越所有对比系统 |
| Fish Audio Instruction Benchmark 中文 | TAR / Naturalness / Expressiveness | 0.984 / 4.40 / 4.94 | Fish Audio S1: 0.942 / 4.15 / 4.65 | TAR +4.5%, Naturalness +6.0%, Expressiveness +6.2% |
| 推理性能（单卡 H200） | RTF / TTFA / 吞吐量 | 0.195 / <100ms / 3000+ tokens/s | 行业通常 RTF > 0.5 | RTF 远低于实时阈值，TTFA 低于 100ms 达到生产级延迟 |
局限与改进
论文在结论部分坦诚讨论了多个局限性。首先，尽管 S2 在多语言测试中表现强劲，但在某些低资源语言（如印地语 WER 14.64%、罗马尼亚语 WER 10.74%）上仍落后于 MiniMax 和 ElevenLabs，论文指出这些语言通常训练数据不足 1000 小时，暗示数据规模仍是瓶颈。其次，长篇生成受限于 8,192 token 的最大上下文长度（预训练第一阶段设定），超过此限制的样本需要在句子边界截断，这限制了超长内容（如整本书朗读）的连续生成能力。第三，论文引入的 Fish Audio Instruction Benchmark 虽然填补了细粒度控制评估的空白，但该基准由 Gemini 3 Pro 作为评判者，其评估一致性未经充分验证，且基准本身的构建细节在主文中未完整披露（仅在附录 A 中详述）。第四，论文未提供模型参数量的完整公开——Slow AR 使用 Qwen3-4B（4B 参数）、Fast AR 为 4 层 Transformer、tokenizer 为 446M 参数，但完整的端到端参数量和计算成本（如 FLOPs）未明确报告，这使得与其他系统的公平比较存在一定困难。此外，尽管论文声称开源了模型权重和推理代码，但训练数据集的规模（10M 小时）和具体组成未公开，这限制了完全复现的可能性。
独立分析的弱点
从独立分析的角度看，Fish Audio S2 存在以下几个值得关注的弱点。第一，Fast AR 的 4 层 Transformer 虽然保证了推理效率，但其表征能力可能成为细粒度声学建模的瓶颈——尤其在需要极端情感表达或复杂声学效果（如多人同时说话、环境音效融合）的场景中，4 层网络可能不足以捕获全部声学细节。改进方向包括探索动态 Fast AR 架构，根据生成内容的复杂度自适应调整层数或注意力范围。第二，论文的 RL 后训练使用了外部语音纹声模型计算音色相似度奖励 R_SIM，但该模型的细节和训练数据未充分说明，如果该模型本身存在偏见或覆盖不足，可能将系统性误差引入训练过程。改进方向是开源该模型并提供消融实验验证每个奖励维度的贡献。第三，数据管线中的 rich-transcription ASR 模型基于 Qwen3-Omni-30B-A3B 微调，这是一个 30B 参数的模型，其推理成本在大规模数据处理中可能成为瓶颈。论文未报告数据管线的处理效率和成本，这影响了方法的可扩展性评估。改进方向包括探索更高效的 ASR 模型或蒸馏方法。第四，论文在多说话人生成方面的评估主要依赖客观指标（WER、SIM），缺乏针对多人对话自然度、轮次切换流畅度和情感连贯性的专门主观评估，这使得多说话人能力的实际用户体验难以准确评估。
未来方向
论文在结论部分提出了几个未来研究方向，结合已有成果可以进一步延伸。首先，论文提到的低资源语言性能差距（如印地语、罗马尼亚语）提示了多语言数据扩展和跨语言迁移学习的研究机会——可以探索利用高资源语言的预训练知识通过少样本适配提升低资源语言性能。其次，当前系统的最大上下文长度限制在 16,384 token（约 8 分钟音频），未来可以探索更高效的注意力机制（如线性注意力或稀疏注意力）将上下文扩展到数十分钟甚至小时级别，支持有声书和播客等长篇内容的完整生成。第三，论文的 RL 后训练框架可以进一步扩展奖励维度——当前仅优化语义准确性、声学质量和音色相似度，未来可以加入情感一致性、语速控制、口音偏好等更多细粒度控制维度。第四，Fish Audio S2 的 Dual-AR 架构展示了在音频领域复用 LLM 骨干的可行性，未来可以探索将这一范式扩展到音乐生成、环境声合成等更广泛的音频生成任务。最后，论文开源了 SGLang 推理引擎的适配代码，这为社区构建基于 SGLang 的音频服务系统提供了基础，未来可以探索更高级的调度策略如请求感知的动态批处理和优先级队列。
复现评估
在复现评估方面，Fish Audio S2 做出了相对积极的开源承诺，但存在关键限制。论文声称在 GitHub 和 Hugging Face 上开源了模型权重（fishaudio/s2-pro）、微调代码和基于 SGLang 的推理引擎，这为社区使用和评估提供了基础。推理引擎的性能数据在单张 NVIDIA H200 GPU 上验证，RTF 0.195 和 TTFA <100ms 的指标具有明确的硬件基准。然而，训练侧的复现面临重大障碍：预训练使用了超过 1000 万小时的原始音频数据覆盖约 80 种语言，这一数据规模远超大多数研究机构的资源能力，且数据集的具体组成和来源未公开。SFT 阶段使用的内部高质量标注数据同样未公开。RL 后训练的计算成本未报告，但考虑到需要维护 Qwen3-4B 模型、运行多维度奖励评估、并在 CPU 上管理 LoRA 权重备份，其硬件需求可能相当可观。数据管线中的两个核心模型——语音质量评估模型和 rich-transcription ASR 模型——虽然在方法部分有详细描述，但未明确是否开源。此外，论文使用 Gemini 3 Pro 作为 LLM-as-a-Judge 的评估方式引入了对闭源 API 的依赖，社区无法完全复现评估流程。总体而言，使用预训练权重进行推理和微调是可行的，但从头复现完整训练流程在当前条件下几乎不可能。
论文图表