Audio-Omni：将多模态理解拓展至全场景音频生成与编辑

首个统一声音、音乐、语音三大域理解、生成、编辑的端到端多模态框架。

前置知识

多模态大语言模型 (MLLM)

MLLM 是在 LLM 基础上同时接受文本、图像、音频、视频多种模态输入并能跨模态推理的模型，代表作 Qwen2.5-Omni-3B。它通过统一 tokenizer 把多模态转成 token 序列再用 Transformer 做联合理解。Audio-Omni 中 MLLM 被完整冻结作为推理中枢。

Audio-Omni 整体设计建立在复用现成 MLLM 知识这一前提上，没有 MLLM 提供的语义基底，后续的跨语言、知识增强等能力都无法继承。

扩散 Transformer (DiT)

DiT 是用 Transformer 替代 UNet 作为扩散模型主干的架构，在潜空间反复去噪生成高保真样本。配合 Rectified Flow 训练稳定高效。Audio-Omni 用的 DiT 36 层/隐藏 2048/32 头，总参 7.9B、可训练 3.05B。

DiT 是该框架唯一的生成器，所有音乐、声音、语音的合成最终都通过 DiT 的去噪过程完成，理解其输入拼接和 cross-attention 注入方式是看懂论文的关键。

Rectified Flow (RF) 训练目标

Rectified Flow 把数据 $x_0$ 到噪声 $x_1$ 的转移建模为直线 ODE，中间状态 $x_t=(1-t)x_0+tx_1$。网络 $v_\theta$ 预测常速度 $v=x_1-x_0$，目标是最小化 $\|v_\theta(x_t,t,c)-(x_1-x_0)\|^2$。

RF 让 Audio-Omni 用同一个损失函数统一训练所有任务（理解、生成、编辑），论文中所有 FAD/IS 指标的提升都依赖这一稳定的目标函数。

混合条件注入 (Hybrid Conditioning)

把 MLLM 特征与 mel、视频同步特征拆两条流：高层走 cross-attention 注入 DiT；低层与时间嵌入相加后沿通道拼到噪声 latent，提供帧级对齐。

这是 Audio-Omni 在架构上区别于 AudioX、MMAudio 等单一条件模型的核心创新，是论文 Table 6 消融实验的重点验证对象。

指令引导的音频编辑四类任务

音频编辑包含 Add（叠加目标声源）、Remove（去除目标声源）、Extract（仅保留目标声源）、Style Transfer（保留内容但改变音色/风格）四类指令性任务，每一类都需要模型理解要操作什么和保留什么。AudioEdit 数据集为这四类任务分别构造了配对样本和测试集。

四类编辑任务的数据需求、评价指标（LSD 保真度、CLAP 语义对齐度）各不相同，理解任务定义是看懂 AudioEdit 流水线（Figure 2）和 Table A3 详细结果的前提。

研究动机

音频模态天然横跨 general sound、music、speech 三大子域，三者在时频结构、节奏规律、声学属性上差异巨大。现有研究高度碎片化：Tango2、AudioX 只能做通用声音文本到音频；MusicGen、VidMuse 专注于音乐；F5-TTS、MaskGCT、CosyVoice 只能做语音合成；ZETA、SDEdit、Audit 只能做编辑且不能反向输出文本理解。这种一个任务一个专家模型的格局带来三个具体痛点。第一，没有端到端模型能同时在 47 个口语任务（MMSU）和 27 个音频推理任务（MMAU）上表现出色——Ming-Omni 在 MMAU 上拿到 70.80 但 MMSU 只有 47.53，Unified-IO2 两者均崩盘（30.74/3.20）。第二，工具调用型方案（AudioGPT）缺乏端到端优化。第三，音频编辑领域完全没有公开的大规模指令配对数据集，已有工作只能把孤立音频片段线性混音造数据，与真实音频多声源交织的复杂性存在显著 domain gap。

本文的目标是本文目标是构建首个覆盖声音、音乐、语音三大域、横跨理解、生成、编辑三类任务的统一端到端框架 Audio-Omni。具体来说，要在 11 个公开基准（MMSU/MMAU/AudioCaps/MusicCaps/VGGSound/V2M-bench/Seed-TTS/AudioEdit 等）上同时取得匹配或超过专门模型的指标，让 7.9B 参数的单一端到端模型替代当前一个任务一个专家的碎片化格局。同时让 MLLM 内置的世界知识、跨语言、上下文学习等能力被生成模块零成本继承（无需重新训练），并通过 MLLM 冻结策略保证理解能力不衰减。

与已有工作不同的是，作者的独特切入角度有三点：(1) 提出冻结 MLLM 加可训练 DiT 的解耦架构，把任务拆成语义推理和信号合成两个独立子系统，从而既保住 MLLM 的能力又给生成留出充足可学习容量；(2) 设计混合条件机制，把高层语义与低层信号分别通过 cross-attention 和 channel-wise concatenation 注入 DiT，让同一架构能兼容 T2A/T2M/V2A/V2M/TTS 等差异极大的子任务；(3) 针对编辑数据稀缺问题，构建超过 1M 样本的 AudioEdit 数据集并提出真实数据挖掘加程序合成双管线，从 VGGSound 出发用 Gemini 2.5 Pro 识别声源类别、SAM-Audio 做源分离、CLAP 做语义过滤，最终 9.2% 通过率（约 50K 真实对），同时用 Scaper 工具合成 150K 样本保证规模与多样性。

核心方法

Audio-Omni 采用解耦加混合条件双模块设计。理解端冻结 Qwen2.5-Omni-3B MLLM（5fps 视频/16kHz 音频）输出可复用语义特征。生成端是 36 层/2048 维/32 头 DiT（7.9B 总参、3.05B 可训练）配合 Rectified Flow 去噪。DiT 输入由两条流拼成：高层 $c_{high}=\mathrm{Concat}(F_{mm},F_{trans})$ 走 cross-attention，$F_{mm}$ 取 MLLM 倒数第二层（声学语义更丰富），$F_{trans}$ 由 4 个 ConvNeXtV2 块 Transcript Encoder 字符级编码；低层 $c_{low}=\mathrm{Concat}(F_{sync},F_{mel})$ 中 $F_{sync}$ 来自 Synchformer（25fps），$F_{mel}$ 是 100 维 mel-spectrogram，与时间嵌入相加后沿通道拼到噪声 latent。VAE Decoder（Stable-Audio-Open）还原波形。

核心创新在两点。第一是解耦即能力继承：冻结 MLLM 让 Qwen2.5-Omni 自带的 5fps 视频、16kHz 音频联合理解、跨语言、in-context 能力直接迁移到生成器，作者在 Figure 4 给出四个示例，包括知道 Jimi Hendrix 演奏电吉他的知识增强生成、按钢琴参考音色合成新曲调的上下文学习、零样本声音转换、零样本文本编辑——这些能力都来自 MLLM 而非显式监督。第二是语义与信号分而治之：高层特征（语义指令）需要 DiT 灵活查询每一生成步，所以走 cross-attention；低层特征（mel/video sync）需要帧级硬对齐，所以与噪声 latent 沿通道拼接。这一设计区别于 AudioX（仅低层）、MMAudio（同步特征拼接）等单一条件方案。

方法步骤详情

训练分四步。第一步数据：T2A 1.4k/T2M 17k/V2A 0.7k/V2M 16k/Speech 6k/Editing 3k 小时。第二步 MLLM 推理：Qwen2.5-Omni-3B 提倒数第二层 $F_{mm}\in\mathbb{R}^{L_{mm}\times D_{mm}}$，Transcript Encoder 同步编码 $T_{trans}$ 得 $F_{trans}$。第三步低层编码：Mel Encoder 从 $A_{ref}$（编辑）或 $S_{prompt}$（VC）提 $F_{mel}$，Synchformer 从 $V_{in}$ 提 $F_{sync}$。第四步 DiT 训练：VAE 编码目标音频为 $x_0$，采 $x_1\sim\mathcal{N}(0,I)$，按 $L=\mathbb{E}_{t,x_0,x_1,c}\|v_\theta(x_t,t,c)-(x_1-x_0)\|^2$ 优化。语音用 F5-TTS 随机遮蔽（mask 20%-75% prompt mel）迫使模型从片段推断音色。推理 100 步 ODE+CFG 6.0。

技术新颖性

技术新颖性体现在三个层面。架构层，首次将 MLLM 完全冻结、仅训练 DiT 加条件器的单向解耦用于全谱音频任务，与 Ming-Omni（语音为主）、Unified-IO2（跨模态但音频弱）、MuMuLLaMA（仅音乐）形成差异化定位。条件层，论文 Table 6 用四组对照实验定量证明了高层用 cross-attention 加低层用 channel concat 是最优组合——把高层改为拼接 T2A FAD 从 1.86 飙到 40.91，把低层改为 cross-attention TTS WER 从 19.33 升到 25.88，这是少有的把语义/信号分类注入做到工业级消融的工作。数据层，AudioEdit 的双管线（VAD 加 CLAP 双过滤加 Scaper 程序合成）解决了真实编辑对稀缺难题，9.2% 通过率下人类验证 83% 一致性，相对以往混合孤立片段的工作更接近真实声学场景。

**Fig. 2**: Overview of the hybrid pipeline for constructing our AudioEdit dataset.

实验结果

Audio-Omni 在 11 个基准系统验证。理解（Table 2）：MMSU 56.83、MMAU 63.30 与 Qwen2.5-Omni-3B 持平，超过 Ming-Omni (47.53/70.80)、Unified-IO2 (30.74/3.20) 等所有统一模型。生成（Table 3）：T2A FAD 1.86 与 AudioX 并列最优；T2M 1.94 略低 AudioX 1.53；V2A 1.71 弱于 MMAudio 2.04；V2M 1.58 优于 VidMuse 2.46；TTS WER 1.77 超过所有专门模型。编辑（Table 4）：AE_FAD 3.27/AE_LSD 2.27/CLAP 0.32 全面超 ZETA/SDEdit/MMEDIT，LSD 领先 40% 以上。Table A3 显示 Style Transfer LSD 仅 2.82。Table A2 跨语言 CN/ES/DE/FR/JP FAD 2.26/4.32/2.92/4.21/3.13，零样本优于多个英文专家。

**Table 1**: Statistics of our proposed audio editing dataset AudioEdit.

**Table 2**: Quantitative results on multimodal understanding benchmarks.

**Table 3**: Quantitative results on multimodal generation benchmarks.

**Table 4**: Quantitative results on audio editing benchmarks.

**Table 5**: Ablation study on dataset composition for audio editing training.

**Table 6**: Ablation study on conditioning injection strategies.

**Table 7**: Ablation study on the source of conditional features from the MLLM.

**Fig. 4**: Qualitative showcase of Audio-Omni's capabilities.

查看结构化数据

任务	指标	本文	基线	提升
MMSU 音频理解	准确率	56.83	Qwen2.5-Omni-3B 56.83 / Audio Flamingo 3 61.40	与冻结基线持平，超过 Unified-IO2 26.09 点
MMAU 音频推理	准确率	63.30	Ming-Omni 70.80 / Audio Flamingo 3 72.42	低于纯理解专家，但在统一模型中达到 SOTA
Text-to-Audio	FAD	1.86	AudioX 1.86 / Tango2 3.20	与最优专门模型持平
Text-to-Music	FAD	1.94	AudioX 1.53 / MusicGen 3.94	略弱于 SOTA 但显著优于其他统一模型
Video-to-Audio	FAD	1.71	AudioX 1.13 / MMAudio 2.04	弱于 SOTA 但优于 VATT 2.55
Video-to-Music	FAD	1.58	VidMuse 2.46 / AudioX 2.12	超过所有基线
Text-to-Speech (Seed-TTS en)	WER	1.77	F5-TTS 1.83 / CosyVoice3 2.46	超过所有专门 TTS 系统
Audio Editing 平均	FAD / LSD	3.27 / 2.27	ZETA 3.81/3.80 / SDEdit 3.51/4.40 / MMEDIT 3.95/4.05	FAD 提升 14% 到 17%，LSD 提升 40% 到 48%
Audio Editing 平均	CLAP Score	0.32	ZETA 0.30 / SDEdit 0.22 / MMEDIT 0.15	指令对齐度提升 6.7% 到 113%
跨语言 T2A (CN)	FAD	2.26	Tango2 英文 3.20 / Stable-Audio 英文 3.15	零样本中文能力超过多个英文专家

局限与改进

论文承认的局限有三点：(1) 推理时需用 100 步 ODE 求解器加 CFG 6.0，单条音频生成延迟较高，未给出具体 FPS 或 GPU 资源消耗；(2) 编辑数据集的测试集每类仅 500 条，规模偏小，可能不足以反映极端场景的鲁棒性；(3) 跨语言 T2A 在 ES、FR 等小语种上 FAD 上升到 4.32 和 4.21，与英文 1.86 有明显差距，说明非英语提示词的语义对齐仍有改进空间。我自己的额外观察：(4) V2A FAD 1.71 弱于专门的 MMAudio 2.04 和 AudioX 1.13，因为冻结 MLLM 无法针对视频-音频对齐做端到端微调；(5) 7.9B 总参数加 80k 步加 batch 5120 的训练规模对一般研究者门槛较高，附录 Table A4 列出 T2A 1.4k、T2M 17k、V2M 16k 小时数据加在一起需要数十 TB 存储；(6) 论文未讨论实时流式生成（如对话场景）和推理显存占用。

独立分析的弱点

独立分析有五点弱点。第一，MLLM 冻结带来语义天花板：V2A 任务 FAD 落后于 AudioX/MMAudio，可引入 LoRA 形式低秩适配末几层。第二，Style Transfer 仍依赖 ZETA 离线生成 target 后混合（Figure 2），是分阶段训练妥协，应引入 disentangled VAE 在 latent 空间直接分离 timbre/pitch/content。第三，AudioEdit 合成分支用 Scaper 简单混合 ESC-50 加 AudioCaps 背景，缺少混响、空间位置、动态 SNR 建模，对真实编辑泛化有限。第四，跨语言能力靠 MLLM 继承，训练数据中 Speech 仅 6k 小时英文 Audio-FLAN，导致 ES/FR FAD 比英文高 1 到 2.5 倍，应引入多语种 TTS 数据。第五，100 步 ODE 求解加 7.9B 参数使推理慢，缺少 latency/throughput 数据，可采用 consistency model 或 distillation 压缩到 4 到 8 步。

未来方向

作者明确提出的方向包括：将模型扩展到视频原生同步（已在 V2A/V2M 上验证）、发布更大规模编辑数据集、推动通用生成式音频智能研究。基于成果可延伸的方向有：(1) 把 Audio-Omni 的冻结理解加训练生成范式推广到 3D 音频、空间音频、医学音频等更细分子域；(2) 探索 in-context 编辑——给定 1 到 2 条参考编辑对，无需重新训练即可泛化到新编辑类型；(3) 把解耦架构用于可控音乐创作，让 MLLM 的乐理知识（和弦进行、调式）直接驱动 DiT 生成；(4) 与 RLHF/DPO 结合，让编辑模型对齐人类审美和指令意图；(5) 联合训练 Video LLM 与 Audio DiT，实现真正统一的视听生成与编辑。

复现评估

复现性整体较好。代码、模型权重、AudioEdit 数据集全部公开（项目页 https://zeyuet.github.io/Audio-Omni）。架构：DiT 36 层/2048 维/32 头，VAE 来自 Stable-Audio-Open，MLLM Qwen2.5-Omni-3B（5fps/16kHz），Synchformer 25fps，Mel Encoder 100 维 44.1kHz/FFT 1024/hop 256，Transcript Encoder 4 个 ConvNeXtV2 块。超参：AdamW lr 5e-5、β=(0.9, 0.999)、wd 1e-3、batch 5120、80k 步、CFG 6.0、ODE 100 步。数据（Table A4）：T2A 1.4k/T2M 17k/V2M 16k/V2A 0.7k/Speech 6k/Editing 3k 小时，总计约 44k 小时。算力门槛：7.9B 模型加 batch 5120 跑 80k 步在 8 卡 H100/A100 也需 2 到 4 周。AudioEdit 1M 样本存储约 2 到 3 TB。

Audio-Omni：将多模态理解拓展至全场景音频生成与编辑 Audio-Omni: Extending Multi-modal Understanding to Versatile Audio Generation and Editing