Stable Audio 3：面向变长音乐与音效生成及修复的快速潜空间扩散模型族

支持变长生成与修复的快速潜空间扩散音频模型族

前置知识

潜空间扩散模型 (Latent Diffusion)

先用自编码器把音频压缩到低维潜空间，再在潜空间里做扩散去噪生成，最后解码回波形。相比直接在波形上扩散，潜空间序列短、计算量小得多，是本文整个生成框架的基底。

理解这点才能理解为什么要设计压缩比高达 4096× 的 SAME 自编码器，以及为什么变长机制要在潜空间而非波形上做。

流匹配 (Flow Matching)

一种训练连续生成模型的方法，学习一个速度场 $v_\theta(x_t,t)$ 定义常微分方程，把噪声 $\epsilon$ 沿路径传输到数据 $x_0$。相比固定加噪过程的传统扩散，它优化更直接的传输路径，收敛更快。

本文基础模型用流匹配预训练，是后续蒸馏预热和对抗后训练两个阶段的起点，理解它才能理解少步生成的演化逻辑。

对抗后训练 (Adversarial Post-Training)

用一个判别器评估生成样本的真实性，提供分布级别反馈。相比蒸馏依赖教师模型，它直接对比真实数据 $x_0$，让一步生成器突破教师的质量上限，把推理步数从 50 降到 8 甚至 1。

这是本文实现亚秒级推理的关键阶段，理解它能解释为什么 8 步 ping-pong 就能出高质量音频，以及为什么质量反而超过 50 步基线。

语义-声学自编码器 SAME

一种 transformer 自编码器，把 44.1kHz 立体声以 4096× 压缩成 256 维潜向量（约 10.76Hz）。它同时用频谱/对抗损失保声学保真度，用色度、双耳声级差、对比损失注入语义结构。

如此激进的压缩是模型能在消费级硬件上生成长达数分钟音频的前提，也是本文区别于传统 VAE 潜空间的关键。

Inpainting（音频修复/编辑）

给定一段音频和一个二值掩码（1=保留，0=重新生成），模型只生成被掩码区域。本文支持单段、多段编辑和因果式续写三种掩码模式，全程靠随机掩码训练，无需额外标注。

这是本文除文生音频外的重要可控性能力，掩码机制贯穿训练损失拆分与推理条件通路，读懂它才理解编辑实验。

研究动机

现有的音频潜空间扩散模型几乎都是固定长度的：训练与推理时序列长度被钉死在某个最大值（如 Stable Audio 2.5 的 190s），短样本只能用静音补齐。这带来一个具体而昂贵的后果——用 small-music 生成 9 秒音效，模型仍要跑满 2 分钟（120s）的全长计算，绝大多数算力花在生成无意义的静音补齐上。表6的对照实验显示，若强行让定长模型在更短序列上推理，Stable Audio 2.5 在 20s 时 FAD 从 0.149 恶化到 0.731、CLAP 从 0.389 跌到 0.285，说明它无法泛化到变长推理。其次，传统扩散需 50–100 步去噪，响应延迟高，不利于创意工具的实时交互。最后，先前音频自编码器下采样比仅 1024–2048×，潜序列过长，使得生成长达数分钟的音频在消费级 GPU 甚至笔记本上几乎不可行。

本文的目标是Stable Audio 3 的目标很明确：打造一族（small/medium/large）快速、原生支持变长的潜空间扩散模型，既能生成器乐也能生成音效，还能做掩码式音频编辑。性能上要在 H200 上用不到 2 秒生成最长 6 分 20 秒的立体声 44.1kHz 音频，并在 MacBook Pro M4 上用几秒跑完 small；可部署性上 small 峰值显存要低于 2.5GB、medium 约 6.5GB，使之能跑在 RTX 3050/4060 这类消费级显卡上。同时只使用授权数据和 Creative Commons 数据训练以消除版权顾虑，并开源 small 与 medium 的权重及训练推理流程，让艺术家和开发者直接可用。最终目标是既超越现有开源基线、又能真正在普通硬件上跑起来的实用音频生成系统。

与已有工作不同的是，本文的独特切入在于把图像扩散领域已完成的两次范式转移一次性搬到音频：一是变长生成——图像扩散从早期的分辨率条件+裁剪转向靠位置编码有机消化任意尺寸，而音频扩散仍卡在定长补齐，Stable Audio 3 据作者所知是首个原生实现音频变长扩散的工作；二是语义潜空间——图像领域已证明在语义结构化的高维潜空间里做扩散收敛更快、质量更好，但音频仍局限于只做声学重建的低维 VAE 潜空间，本文首次用 4096× 压缩同时保留声学保真与语义结构。此外在少步生成上它没有走纯蒸馏老路，而是用蒸馏预热+对抗后训练组合，并刻意在对抗阶段丢弃教师、直接对真实数据优化，从而突破教师的质量天花板。

核心方法

可以把它想象成一个'蓝图—设计—施工'三段式流水线。首先 SAME 自编码器像建筑测绘师，把冗长的 44.1kHz 立体声以 4096× 的极端比例压成一份 256 维的紧凑'语义蓝图'（约 10.76Hz），既保真又带语义。接着扩散 transformer 像设计师，从纯噪声出发，依据 T5Gemma 文本嵌入、时长和可选的修复掩码，逐步把蓝图'画'出来——条件信息分三条通路注入：AdaLN 调制扩散步与时长、cross-attention 对齐文本与时长、逐块叠加局部修复信号。最后 SAME 解码器像工匠把蓝图还原成完整波形。训练也分三段递进：流匹配预训练学速度场、蒸馏预热把多步 ODE 压成一步去噪、对抗后训练用判别器把'回归到均值'的糊感换成贴近真实分布的锐度。

全文最核心的创新是把'原生变长'+'语义-声学超压缩潜空间'+'丢弃教师的对抗后训练'三者焊在一起。其中变长机制最为本质：作者观察到独立加噪时长序列因相邻元素冗余会保留更多可恢复结构，固定噪声调度会相对欠噪长序列，于是引入逐元素的 logistic 时间步平移 $t' = 1 - \frac{e^{-\mu}}{e^{-\mu} + 1 - t}$（$\mu$ 随序列长度从 0.5 插值到 1.15），配合变长注意力+掩码损失和静音增广，让模型无需为短样本支付全长算力。对抗后训练则更进一步：判别器复用生成器架构（取第 14 层特征），在 $x_0$ 空间用相对损失 $D(x^{real}_{t_D}) - D(x^{fake}_{t_D})$ 比较成对的真实/生成样本（共享文本），并把教师完全丢掉，使一步生成器 $x_t \to \hat{x}_0$ 能超越教师上限。

方法步骤详情

第一步离线编码：SAME 把音频编码成 256×T 潜序列。第二步流匹配预训练：构造 $x_t=(1-t)x_0+t\epsilon$，模型预测速度 $v=\epsilon-x_0$，损失按修复掩码拆成生成项与上下文保持项；用 minibatch 最优传输耦合（Sinkhorn）配对噪声与数据，时间步采样自截断 logit-normal 分布并按序列长度平移；随机抽全掩码(80%)、随机分段(10%)、因果掩码(10%)三类掩码联合训练。第三步蒸馏预热：教师用 DPM++ 15 步、CFG 5 生成轨迹，学生用 MSE 直接回归轨迹端点 $\hat{x}_0$，把多步 ODE 压成一步映射。第四步对抗后训练：生成器损失 $\mathcal{L}_G=\mathcal{L}_R+\mathcal{L}_{CLAP}$，判别器损失 $\mathcal{L}_D=\mathcal{L}_R+\mathcal{L}_C$。第五步推理：8 步 ping-pong 在 logSNR 均匀的 $[-6.2,2.0]$ 区间取点，去噪后再以更低噪声重噪，无需 CFG。

技术新颖性

与 ReFlow 相比，本文不重新训练流匹配模型来连接耦合端点，而是让学生直接把任意中间态 $x_t$ 映射到端点 $\hat{x}_0$；与 Consistency Distillation 相比，它不靠'局部一致性链+边界条件锚定'，而是直接回归教师端点，代价是曲率大时端点估计不准（因此需 ping-pong 采样纠错）。与 ARC 等纯对抗方法相比，它多了蒸馏预热作平滑初始化，避免直接进入对抗目标的不稳定。结构上也有新意：用 Transformer Resampling Block（TRB，交错可学习嵌入+transformer）替代卷积做 16× 上下采样；diffusion transformer 引入 differential attention（双 Q/K 对相减抵消公共模式）、64 个全局 memory embedding、AdaLN-Single 的时长+步长条件；判别器复用生成器主干，天然能处理带噪数据并提供 $x_0$ 空间判别。

实验结果

器乐生成（SDD 120s）上 large 拿到 FAD 0.101、CLAP 0.393、音乐性 MUS 4.30、0.81s 出片；medium FAD 0.107、MUS 4.15，两者音乐性都明显超过此前最强的 Stable Audio 2.5（FAD 0.106 但 MUS 仅 3.70），也优于 ACE-Step 1.5、DiffRhythm 2 等开源基线；190s 长曲 large FAD 进一步降到 0.100，几乎不掉点。音效（BBC 5s）上 large FAD 0.358、CLAP 0.370，全面优于 Woosh Flow（FAD 0.580）与 TangoFlux（FAD 0.760）。变长方面 SA2.5 误用变长时 20s FAD 暴涨到 0.731，而 SA3 medium 在 20–380s 全程稳定（120s 0.107、380s 0.156）。对抗后训练让 large 音乐基线 50 步 FAD 0.116 反转为后训练 8 步的 0.101、推理 3.90→0.81s，但 1 步生成 FAD 恶化到 0.273。

查看结构化数据

任务	指标	本文	基线	提升
器乐生成 (SDD 120s)	FAD ↓	large 0.101 / medium 0.107	Stable Audio 2.5 0.106	FAD 略优；音乐性 MUS 4.30 vs 3.70 提升明显
器乐生成 (SDD 120s)	音乐性 MUS ↑	large 4.30 / medium 4.15	Stable Audio 2.5 3.70	约 +0.45~0.60 MOS 分
音效生成 (BBC 5s)	FAD ↓	large 0.358 / medium 0.369	Woosh Flow 0.580	FAD 降低约 0.22
推理速度 (190s 音乐)	推理时间 (H200)	large 0.93s / medium 0.88s	Stable Audio 2.5 0.85s；ACE-Step 9.21s	比 ACE-Step 快约 10×，质量更优
对抗后训练消融 (120s 音乐)	FAD ↓	后训练 8 步 large 0.101	基线 50 步 large 0.116	步数 50→8、时间 3.90→0.81s，FAD 反降 0.015
变长生成 (20s 音乐)	FAD ↓	medium 0.163 / large 0.171	SA2.5 误用变长 0.731	原生变长彻底解决定长补齐失效问题

局限与改进

作者承认的局限：small 因参数和 CPU 优化的小自编码器，过渡不如大模型平滑（FAD_full 差于 FAD_inpaint），且小模型音效数据会损害器乐连贯性，只能拆成 small-music 与 small-sfx 两个模型。在极短（20s）和极长（380s）时长上质量下滑：短样本多为 loop 而非完整曲目造成分布失配，长样本以环境/古典为主，时长条件会偏向生成环境乐而忽略文本提示。一步生成（$\epsilon\to\hat{x}_0$）仍困难，FAD/CLAP 显著退化，只能靠 8 步 ping-pong 折中。范围上只覆盖器乐和音效，不做带人声歌曲、不做指令式或歌词编辑。我的观察：CLAP 分数随时长单调下降说明长程语义保持仍是软肋；FAD 随时长变好部分源于长样本声学复杂度低（环境录音），指标可能带偏；评测全自动，听感仍需更多主观验证。

独立分析的弱点

其一，长程结构保持弱：CLAP 在 380s 跌到 0.275，说明模型难以在数分钟内持续贴合提示，改进方向是引入分层/段落级条件或更长上下文的记忆机制。其二，时长条件与数据内容耦合：长样本多是环境/古典乐，导致模型把'长时长'等同于'环境氛围'，可通过对训练时长与曲风去相关、或显式曲风条件来缓解。其三，一步生成未达标、仍依赖 8 步，可探索更强的蒸馏（如 MeanFlow）或专门的一步对抗目标。其四，评测全自动且 FAD 对带宽敏感（Woosh 因限带被罚分），建议补充更多主观 MOS 和对带宽不敏感的指标。其五，仅支持器乐/音效、无歌词人声，迁移到带词歌曲需额外对齐机制。其六，small 强行拆成音乐/音效两个模型，部署时需二选一，可考虑用条件前缀或专家混合统一。

未来方向

作者隐含的延伸包括：通过微调（LoRA、ControlNet）加入推理时控制、全局参考信号控制、时变控制与歌词编辑，因为这些只需在已发布权重上继续训练即可。基于本文成果可进一步探索：把 SAME 的语义潜空间用于检索/分类等下游任务；将变长机制与 ping-pong 采样推广到语音和带词音乐；研究更激进的一步生成以消除对 8 步的依赖；在 TRB 与 differential attention 基础上引入线性/滑动窗口注意力支持超长生成；用更大算力开源 large 或扩展到多模态生成。

复现评估

可复现性较好：small 与 medium 的权重、训练与推理流程均已开源（stable-audio-tools、stable-audio-3 两个仓库），仅 large 闭源。训练数据来源清晰（AudioSparx 806,284 条授权音频 + Freesound 的 CC-0/CC-BY/CC-Sampling+ 共约 47 万条），但 AudioSparx 为商业数据、Freesound 子集有版权过滤流程，普通用户难以完全复刻训练集。关键超参（d/D/H、$\mu$ 范围 0.5–1.15、ping-pong 8 步、logSNR 区间 $[-6.2,2.0]$、Muon+AdamW、EMA $\beta=0.9995$）均有交代。复现 small 推理门槛低（MacBook 即可），但从零复现训练需大量算力（medium/large 在 H200 级别），且三段训练加对抗的调参成本不低。

Stable Audio 3：面向变长音乐与音效生成及修复的快速潜空间扩散模型族 Stable Audio 3