Woosh：一种面向音效生成的开放基础模型套件 Woosh: A Sound Effects Foundation Model
Sony AI 发布音效基础模型，集成音频编解码、文本对齐、文本到音频与视频到音频扩散生成
前置知识
潜在扩散模型（Latent Diffusion Model, LDM）
LDM 首先用一个预训练的自编码器把高维数据（例如图像、音频波形）压缩到一个低维潜在空间，然后在这个潜在空间上训练扩散模型。生成时先在潜在空间采样，再用解码器重建出原始域的样本。LDM 大幅降低了训练和推理的计算量，是 Stable Diffusion、Stable Audio 等模型的核心范式。
Woosh 的 Woosh-Flow 与 Woosh-VFlow 都建立在 LDM 之上，必须先理解 Woosh-AE 是如何把音频压成潜码的，才能理解后续扩散过程为什么在 100Hz 的 128 维潜码序列上工作。
流匹配（Flow Matching）与 MeanFlow 蒸馏
流匹配把扩散过程形式化为常微分方程 $\frac{dx_t}{dt} = v_\theta(x_t, t)$，其训练目标是让网络 $u_\theta$ 估计从数据 $x_0$ 到噪声 $x_1$ 之间的"速度场"，损失函数为 $\mathcal{L}_{FM}(\theta) = \mathbb{E}_{x_0,x_1,t}\|u_\theta(x_t, t) - (x_1 - x_0)\|^2$。MeanFlow 进一步引入平均速度 $u_{t,r} = \frac{1}{t-r}\int_r^t v_\tau d\tau$，用 JVP 操作实现时间导数，使得单步生成可以跨越较大时间区间，从而把推理 NFEs 从 100 降到 4。
Woosh-Flow 使用流匹配训练 Woosh-Flow，蒸馏版本 Woosh-DFlow 使用 MeanFlow 损失 $\mathcal{L}_{d,CFG}^{MF}$，这是其 4 步推理的关键。
CLAP（Contrastive Language-Audio Pretraining）
CLAP 用对比学习把文本和音频映射到同一个共享向量空间，使正样本对的余弦相似度拉大、负样本对推远。训练后文本编码器可以作为扩散模型的语义条件信号。Woosh-CLAP 选用了 RoBERTa-Large 作为文本塔，PaSST 作为音频塔，再分别用线性头投影到 1024 维共享空间。
Woosh-Flow 的条件信号不是简单文本嵌入，而是 Woosh-CLAP 倒数第二层 token 序列，这种"token 级条件"比池化向量保留更细粒度语义，是模型理解 prompt 的关键。
VOCOS 声码器架构
VOCOS 是一个基于 GAN 的高保真神经声码器，工作在短时傅里叶变换（STFT）的复数系数域。它不像 EnCodec/DAC 那样做离散量化，而是直接由 ConvNeXt 块预测幅度和相位，通过一步 iSTFT 上采样到波形。由于避开了转置卷积带来的混叠伪影，VOCOS 在高采样率音频重建上表现优异。
Woosh-AE 直接采用了 VOCOS 的级联 ConvNeXt 编码/解码骨架，并改进了复数 STFT 系数的预测方式（用实部虚部代替相位以避免相位包裹），是其在 AudioCaps 上取得 20.79 dB SI-SDR 的基础。
多模态 DiT 与 MM-DiT 块设计
FLUX-Kontext 提出的多模态 DiT 在一个 transformer 块内同时维护多个模态流（文本 token、噪声 latent、视觉 token），MultiStream 块对每个模态分别做自注意力和 FFN，SingleStream 块则在时间维度拼接所有模态做联合自注意力，借此实现隐式的跨模态条件化。
Woosh-Flow 与 Woosh-VFlow 都基于这种多模态 DiT 设计，分别引入文本和视频作为附加模态流，Woosh-VFlow 通过新增 Q/K/V 投影和专属 FFN 把视频流接入现有框架。
研究动机
当前开源的文本到音频生成生态存在两大痛点。第一，可用性差：AudioLDM2、StableAudio-Open、TangoFlux 等模型虽然权重开放，但多数仅以 16 kHz 采样率生成，无法满足专业音效后期所需的 48 kHz 高保真要求；且大多数方法不针对"瞬时音效"（foley）这一专业场景，生成结果常常出现混响、背景噪声、源-响混合等不适合剪辑的瑕疵。第二，数据与评估脱节：LAION-CLAP、AudioCaps、VGGSound 等公开数据集的内容多为自然录音或众包标注，描述冗长、噪声偏多，与商业音效库使用的"关键词化、技术化"标签风格差异巨大，导致在公开指标上优秀的模型迁移到商业场景时性能大幅下降，例如论文中 LAION-CLAP 在 InternalSFX 上的 T2A-R@10 仅为 0.188，而 Woosh-CLAP-Private 可达 0.655。
本文的目标是Sony AI 公开了一整套面向瞬时、高质量音效生成的基础模型，目标包括：（1）发布一个 48 kHz、单声道、221M 参数的音频编解码器 Woosh-AE，作为社区可复用的潜码生成器；（2）发布一个 1024 维共享空间的 CLAP 模型 Woosh-CLAP，提供语义对齐的条件信号；（3）发布文本到音频潜在扩散模型 Woosh-Flow（337M 参数）以及蒸馏版本 Woosh-DFlow（仅需 4 步推理）；（4）发布视频到音频生成模型 Woosh-VFlow（413M）以及蒸馏版 Woosh-DVFlow。所有权重在 GitHub 开源用于非商业用途。
与已有工作不同的是，本文的独特切入角度是"专业音效垂直化 + 完整四件套 + 蒸馏到 4 步"。区别于 StableAudio-Open 同时支持音乐和通用音频、TangoFlux 主打 16kHz 通用音频、MMAudio 偏重视频同步，Woosh 自底向上针对 foley 设计，并把编解码、对齐、扩散、蒸馏四阶段一次性开源，使下游开发者可在同一框架内替换任意模块。此外，论文还公开了基于商业音效库训练的私有版本，并通过公开 vs 私有数据的对照实验，量化证明了"数据域"对专业应用的关键影响。
核心方法
Woosh 的整体方法可以概括为"四模块级联，端到端可控"。首先用 Woosh-AE 把 48 kHz 音频编码为 100Hz 帧率、128 维的潜码序列；然后用 Woosh-CLAP 把文本描述编码为与音频对齐的 token 序列作为条件信号；接着用 Woosh-Flow（多模态 DiT + 流匹配）在潜码空间学习从噪声到数据的生成过程；最后通过 MeanFlow 蒸馏得到仅需 4 NFEs 的 Woosh-DFlow。视频到音频分支 Woosh-VFlow 在此基础上加入 SynchFormer 提取的 24Hz 视频特征流，并在 MultiStream 块中新增 Q/K/V 投影和专属 FFN 接入视频模态。直觉上，这是把"专业音效生成"拆成"压缩、对齐、生成、加速"四个工程子问题，每个子问题用对应领域的成熟架构解决，再通过 DiT 的多模态条件化无缝串联。
Woosh 的核心创新在于三个层面。第一，AE 阶段用预测 (x′, y′) 实部虚部代替直接预测相位，再用 softplus(m) 加权得到复数 STFT 系数 $\hat{S} = \mathrm{softplus}(m) \cdot (x + jy)$，从而避免相位包裹问题并改善重建。第二，扩散阶段采用 MM-DiT（FLUX-Kontext 风格）配合流匹配损失，把文本 token 序列与噪声潜在流在 SingleStream 块中通过"时间维度拼接 + 联合自注意力"实现隐式跨模态条件化，这是与 TangoFlux 等使用 cross-attention 的 LDM 的本质区别。第三，蒸馏阶段把 MeanFlow 的平均速度与对抗蒸馏结合，将 CFG 烘焙进学生网络，并冻结教师作为判别器附加卷积头，最终把 NFEs 从 ~140（Woosh-Flow + CFG）压到 4，推理速度提升约 35 倍。
方法步骤详情
Woosh 训练流程可分为四步。第一步是 Woosh-AE 训练：输入 1 秒随机音频块，编码器输出 128 维潜码，再由解码器预测 (m, x′, y′) 三元组，损失为 $\mathcal{L} = 15\mathcal{L}_{spec} + \mathcal{L}_{adv} + 2\mathcal{L}_{FM}$，使用 8 个判别器（5 个 MPD + 3 个 MBMS-STFT），STFT 参数 nFFT=960、nhop=480，得到 3.75 倍压缩比。第二步是 Woosh-CLAP 训练：把 RoBERTa-Large 和 PaSST 各自加线性头投影到 1024 维，用 4×112 批量在 4 块 GPU 上做对称 InfoNCE 对比损失 $\mathcal{L} = \frac{1}{2N}\sum_{i=1}^{N}(\log\frac{e^{E_t^i\cdot E_a^i/\tau}}{\sum_j e^{E_a^j\cdot E_t^j/\tau}} + \log\frac{e^{E_a^i\cdot E_t^i/\tau}}{\sum_j e^{E_t^i\cdot E_a^j/\tau}})$，温度 $\tau=0.2$。第三步是 Woosh-Flow 训练：取 5 秒潜码序列与 Woosh-CLAP 倒数第二层 token 序列作为多模态输入，用流匹配损失 $\mathcal{L}_{FM}(\theta) = \mathbb{E}_{x_0,x_1,t}\|u_\theta(x_t, t) - (x_1 - x_0)\|^2$ 训练 300 epoch，Adam 优化器，lr=$10^{-4}$，t 在 [0.001, 1] 均匀采样，EMA 衰减 0.999。第四步是 MeanFlow 蒸馏：用教师网络的预测 $v_{tgt}(x_t, t)$ 替代真实速度目标，损失为 $\mathcal{L}_{d,CFG}^{MF}(\theta) = \mathbb{E}_{x_0,x_1,t,r,w}\|u_\theta(x_t, c, t, r) - v'_{tgt}(x_t, c, t) + (t-r)\frac{d}{dt}u_{\theta^-}(x_t, t, r)\|^2$，其中 $v'_{tgt}$ 已包含 CFG 权重 $w\in[1,9]$；同时冻结教师作为判别器，加 4 个卷积头做 hinge 对抗损失，权重 0.5。视频分支额外把 SynchFormer 24Hz 特征线性投影到 DiT 维度，并在 MultiStream 块为视频流新增 Q/K/V 投影和 FFN。
技术新颖性
从技术新颖性看，本文并非提出全新生成范式，而是在工程系统层做了一系列有针对性的设计。最有特色的两点是：（1）MM-DiT 替代 cross-attention 文本条件化——SingleStream 块通过时间维拼接实现隐式跨模态注意力，相比传统 cross-attention 在长 prompt 和多模态扩展上更灵活，这正是 Woosh-VFlow 能低成本接入视频流的原因。（2）MeanFlow + 对抗蒸馏 + CFG 烘焙的三合一方案：与 SANA 不同，作者直接从 t 反推到 r（而非 t→0 再加噪回 r），使得蒸馏更稳定；并且把 CFG 直接烘焙到学生模型中，推理时不再需要两倍 NFEs。CLAP 阶段选择 RoBERTa+PaSST 的组合虽不新颖，但 4×112 的大批量与 $\tau=0.2$ 固定温度的设定提供了可靠的实证基础。AE 阶段的"实部虚部替代相位"虽是小改动，却在 SI-SDR 上带来 1-3 dB 的稳定提升。
实验结果
论文在四个模块上分别做了系统评测。AE 评测（Table 1）显示，Woosh-AE-Public 在 AudioCaps-Test 上 MelDist 仅 0.032、STFTDist 1.18、SI-SDR 20.79 dB，相比 SAO-VAE 的 0.217/1.55/-0.08 全面碾压，相对 MelDist 降低 85%；在 InternalSFX-Test 上 Woosh-AE-Public 仍保持 MelDist 0.021、SI-SDR 12.7 dB，显著优于 SAO-VAE 的 0.121/-2.92。CLAP 评测（Table 2）揭示了数据域的重要性：LAION-CLAP 在 AudioCaps 上 T2A-R@10 最高（0.618），但在 InternalSFX 上骤降至 0.188；Woosh-CLAP-Private 则相反，在 AudioCaps 上仅 0.167（说明商业标注对自然录音 caption 几乎"对不上"），但在 InternalSFX 上 T2A-R@10 达到 0.655，相对 LAION-CLAP 提升 248%。T2A 评测（Table 3）显示 Woosh-Flow-Public 在 AudioCaps 上 FD=109.1 优于 SAO（150.1）和 TangoFlux（131.9），CLAP 得分 0.3719 比 SAO 的 0.1457 高 156%，同时 KL 1.599 也最低；蒸馏版 Woosh-DFlow 仅用 4 NFEs 仍维持 FD=132.1、CLAP=0.3229，差距在可接受范围。V2A 评测（Table 4）显示在 FoleyBench 上 Woosh-VFlow 取得 FD=24.136、KL=1.774、CLAP=0.325，全部优于 MMAudio-M 的 30.480/1.983/0.292；在 OGameData 上优势更明显，Woosh-VFlow 的 FD=11.150 vs MMAudio-M 的 87.186，下降 87%，不过作者承认这是因为 Woosh 直接在 OGameData250k 上训练，属于域内优势。Woosh-DVFlow 在 4 步推理下基本保留了 Woosh-VFlow 的指标。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音频重建（AudioCaps-Test） | MelDist (↓) | Woosh-AE-Public: 0.032 | SAO-VAE: 0.217 | 相对降低 85.3% |
| 音频重建（AudioCaps-Test） | SI-SDR (dB, ↑) | Woosh-AE-Public: 20.79 dB | SAO-VAE: -0.08 dB | 超过 20 dB，体现非量化重建优势 |
| 音频重建（InternalSFX-Test） | MelDist (↓) | Woosh-AE-Public: 0.021 | SAO-VAE: 0.121 | 相对降低 82.6% |
| 文本-音频检索（InternalSFX-Test） | T2A R@10 (↑) | Woosh-CLAP-Private: 0.655 | LAION-CLAP: 0.188 | 相对提升 248% |
| 文本到音频生成（AudioCaps-Test） | FD (↓) | Woosh-Flow-Public: 109.1 | SAO: 150.1; TangoFlux: 131.9 | 比 SAO 低 27.3%，比 TangoFlux 低 17.3% |
| 文本到音频生成（AudioCaps-Test） | CLAP (↑) | Woosh-Flow-Public: 0.3719 | SAO: 0.1457; TangoFlux: 0.3471 | 相对 SAO 提升 155% |
| 文本到音频生成（InternalSFX-Test） | FD (↓) | Woosh-Flow-Private: 246.9 | SAO: 341.0; TangoFlux: 378.1 | 比 SAO 低 27.6%，比 TangoFlux 低 34.7% |
| 视频到音频生成（FoleyBench，TC） | FD (↓) | Woosh-VFlow: 24.136 | MMAudio-M: 30.480 | 相对降低 20.8% |
| 视频到音频生成（FoleyBench，TC） | CLAP (↑) | Woosh-VFlow: 0.325 | MMAudio-M: 0.292 | 相对提升 11.3% |
| 视频到音频生成（OGameData-Test，TC） | FD (↓) | Woosh-VFlow: 11.150 | MMAudio-M: 87.186 | 相对降低 87.2%（域内训练） |
| 视频到音频生成（FoleyBench） | 4 步蒸馏 NFEs | Woosh-DVFlow: FD 24.422 / CLAP 0.303 | Woosh-VFlow (~140 NFEs): FD 24.136 / CLAP 0.325 | 速度提升 ~35 倍，质量几乎不损失 |
局限与改进
作者明确指出了两个局限。其一，Woosh-AE 仅支持单声道音频，因此无法直接处理立体声需求，而专业音效后期常需要立体声场。其二，SynchFormer 同步指标（DeSync）在 Woosh-VFlow 上不够可靠，论文中明确指出该指标甚至给真实视频打出比生成样本更高的同步得分，论文认为这是 MMAudio 的"架构设计偏向 SynchFormer 嵌入插值"所导致的伪高分；手动定性检查未发现明显同步问题，但这一局限性削弱了自动评估的说服力。我自己观察到的额外局限包括：（1）Woosh-Flow-Private 在 AudioCaps 上的表现较差（FD=213.8，比 Public 差近一倍），说明商业音效库训练会损害通用音频生成能力，存在显著的过拟合或域漂移风险；（2）蒸馏版 Woosh-DFlow-Public 相比 Woosh-Flow-Public 各项指标都有可观测的退化（FD 109.1→132.1、CLAP 0.3719→0.3229），4 步推理并非"无损"；（3）CLAP 的私有 vs 公开性能剧烈反转（AudioCaps 0.167 vs InternalSFX 0.655）说明对齐模型高度依赖训练域，缺乏域无关的语义锚点。
独立分析的弱点
独立分析来看，Woosh 在三方面有可改进的弱点。第一，AE 仅支持单声道，且压缩比 3.75 意味着潜码序列仍然较长（5 秒音频对应 500 个 token），相比 SAO-VAE 的 0.03 压缩比信息密度低，导致扩散模型的序列长度压力更大，未来可通过潜码帧率自适应或分组矢量量化缓解。第二，Woosh-Flow-Private 在公开测试集上出现严重性能回退，表明模型容量或正则化不足，建议引入领域自适应（DoDo 或 GradReversal）或在私有数据中混入 10-20% 的开放数据以保持泛化。第三，蒸馏版与完整版之间存在可见的指标退化（FD 上升 21%、CLAP 下降 13%），且蒸馏过程依赖教师网络作为判别器，训练成本并不低；可以考虑直接训练一致性模型（Consistency Model）或采用渐进式蒸馏（Progressive Distillation）来减轻对教师模型的依赖。第四，视频分支的 V2A 训练数据集中 OGameData 占比较高，论文未给出 VGGSound-Test 上的完整对照（仅在 Appendix B 简要列出），使得域内优势无法被严格剥离；补充与 Seeing-and-Hearing、Frierza 等模型的对比会更具说服力。
未来方向
作者在第 6 节明确列出了六类后续工作：（1）添加细粒度创意控制，例如基于时间轴的响度或频谱编辑，可通过 cross-attention 或 AdaLN 实现；（2）基于现有音效的变体生成，可通过潜码加噪或采样反转实现，用于游戏脚步等需要多样性的场景；（3）音频 inpainting，即在已有音频中插入与之时间对齐的新声音，需要专门训练 masked-only 的生成器；（4）少样本个性化，如 Dreambooth 或 TokenVerse 风格的 finetune；（5）基于语义描述的音频"形态融合"，从噪声潜码出发向目标 prompt 采样；（6）循环生成，通过在采样前循环噪声潜码。基于本文成果还可延伸的方向包括：扩展到立体声或多通道（用多通道 STFT 替代单通道）、把 SynchFormer 替换为更鲁棒的视频特征提取器（如 ImageBind 或 Video-LLAVA）、用 RLHF 或音频质量评估模型对生成结果做偏好对齐、引入频带级或事件级的时间控制 token 等。
复现评估
复现性方面表现良好但门槛不低。代码与权重已开源在 https://github.com/SonyResearch/Woosh，演示页 https://sonyresearch.github.io/Woosh/ 提供生成样本。训练数据分公开与私有两类：公开数据可获取（Freesound、AudioCaps、WavCaps、VCTK），私有数据（Wapy 合成数据集、Internal Music、Internal SFX）则无法访问，这意味着完整复现 Woosh-Flow-Private / Woosh-CLAP-Private 不可能。算力方面，CLAP 训练需要 4 块 GPU、批量 448，扩散模型 300 epoch + 50 epoch 蒸馏，单次训练估计在 8×A100 量级；蒸馏的 JVP 操作非常耗时，作者明确指出"从零训练 MeanFlow 较慢"，因此采用了教师蒸馏+对抗损失方案。复现难度评估：复现公开版本为中等难度（数据和代码齐全但算力门槛高）；复现私有版本几乎不可能。
论文图表
