HeartMuLa：一系列开源音乐基础模型 HeartMuLa: A Family of Open Sourced Music Foundation Models
首个可复现Suno级别商业系统的开源音乐基础模型家族，支持长达6分钟的可控歌曲生成
前置知识
残差向量量化（RVQ）
RVQ是一种将连续向量离散化的技术，通过多层级联的码本逐步量化残差误差。具体来说，第一层码本对原始向量进行粗粒度量化，后续每一层对前一层的量化误差进行细化。在音频编解码器中，RVQ常用于将音频特征压缩为离散token序列，每个token对应一个码本索引。RVQ的层数K和码本大小V决定了表示的精度和效率。
HeartCodec使用8层RVQ（K=8，V=8192）将音频压缩为离散token，这是理解其低帧率设计的关键。RVQ的质量直接决定了下游生成模型的性能上限。
Flow Matching
Flow Matching是一种生成模型框架，通过学习一个向量场$v_\theta$将简单的先验分布（如高斯噪声$z_0 \sim \mathcal{N}(0, I)$）逐步变换为目标分布。与扩散模型类似，但它直接建模概率流而非得分函数。训练时，模型学习预测从噪声到目标的插值路径上的速度场。推理时，通过ODE求解器从噪声生成目标样本。
HeartCodec的解码器使用Flow Matching从离散token重建连续音频latent，这是实现高保真重建的核心技术。论文还使用Reflow蒸馏将采样步数从50步减少到10步。
层次化自回归建模
这是一种将序列生成分解为粗粒度和细粒度两个阶段的建模策略。在音乐生成中，Global Transformer先预测每个时间帧的基础token（捕捉长期语义结构），然后Local Transformer在同一帧内预测剩余的精细token（补充声学细节）。这种分解显著降低了计算复杂度，因为大型Global Transformer只需预测基础token而非全部多层token。
HeartMuLa采用Global-Local层次化架构，Global Transformer（3B参数）预测第0层token，Local Transformer（300M参数）预测剩余7层token。这是实现高效长序列生成的关键设计。
直接偏好优化（DPO）
DPO是一种将强化学习目标转化为监督学习的方法，通过偏好数据对直接优化策略模型，避免了传统RLHF中训练奖励模型和在线采样的开销。给定偏好对$(A_{wn}, A_{ls})$，DPO优化目标为：$$\mathcal{L}_{DPO}(\theta) = -\mathbb{E} [\log \sigma (\beta \cdot \Delta_\theta)]$$其中$\Delta_\theta$是策略模型和参考模型的对数概率差。这使得模型能够从人类偏好中学习，而无需显式的奖励函数。
HeartMuLa使用DPO作为第四阶段训练，通过构建三种偏好数据集（基于MuQ相似度、PER、AudioBox/SongEval分数）来提升歌词清晰度、风格一致性和整体质量。
Classifier-Free Guidance（CFG）
CFG是一种在生成模型中增强条件控制的技术。训练时随机丢弃条件输入（以一定概率），使得模型同时学习条件生成和无条件生成。推理时，通过线性组合条件和无条件预测来放大条件信号：$$\hat{\epsilon} = \epsilon_\theta(z_t) + s \cdot (\epsilon_\theta(z_t, c) - \epsilon_\theta(z_t))$$其中$s$是指导尺度，$c$是条件。CFG尺度越高，生成结果越贴合条件，但可能降低多样性。
HeartMuLa在推理时使用CFG尺度1.5来增强对歌词和风格标签的遵循。HeartCodec也使用CFG尺度1.25来提升重建质量。
研究动机
当前音乐生成领域面临三个核心问题。首先，许多先进的音乐模型依赖闭源数据集和私有流水线，如Suno、Udio等商业系统虽然效果出色，但技术细节不公开，严重限制了学术界的可复现性和下游研究。其次，现有开源模型在精细控制方面存在明显不足：它们通常只能提供粗粒度的音乐属性控制，缺乏对歌词、风格描述和参考音频之间稳健的对齐能力。例如，MusicGen等模型虽然支持文本条件生成，但难以精确控制歌曲的结构（如前奏、主歌、副歌）和歌词内容。第三，在长序列生成方面，现有系统普遍难以维持超过短片段的长程音乐连贯性。由于音频编解码器通常采用25-50Hz的高帧率，生成一首5分钟的歌曲需要建模数万个token，这对自回归模型的计算效率和长程依赖建模都是巨大挑战。
本文的目标是本文的目标是构建一个完全开源的音乐基础模型家族，首次证明使用学术规模的数据和GPU资源可以复现Suno级别的商业级音乐生成系统。具体目标包括：（1）提供统一的开源生态系统，覆盖音乐-文本对齐（HeartCLAP）、音乐tokenization（HeartCodec）、歌词识别（HeartTranscriptor）和可控歌曲生成（HeartMuLa）四个核心能力；（2）实现低帧率（12.5Hz）高保真的音乐编解码，在保持重建质量的同时将序列长度降低到现有方法的1/2到1/4；（3）支持长达6分钟的高质量音乐生成，同时保持结构连贯性和表现力多样性；（4）提供细粒度的音乐属性控制，允许用户使用自然语言指定不同歌曲段落的风格。
与已有工作不同的是，本文的独特切入角度在于三个方面。第一，系统性思维：不同于以往专注于单一组件（如仅编解码器或仅生成模型）的工作，HeartMuLa提供了一个端到端的完整生态系统，四个组件相互协同——HeartCodec为HeartMuLa提供高质量token，HeartCLAP提供风格对齐能力，HeartTranscriptor提供歌词识别能力。第二，低帧率设计理念：在现有方法普遍采用25-50Hz帧率的情况下，本文大胆采用12.5Hz的超低帧率，通过多层级RVQ和Flow Matching解码器来补偿信息损失，在效率和质量之间找到新的平衡点。第三，渐进式训练范式：采用四阶段训练（预热、预训练、监督微调、DPO），每阶段专注于不同的能力培养，特别是DPO阶段使用三种针对性的偏好数据集分别优化歌词清晰度、风格一致性和整体质量。
核心方法
HeartMuLa的架构可以类比为一个「音乐制作团队」：HeartCodec是「录音师」，负责将原始音频压缩为高质量的离散token；HeartMuLa是「作曲家」，根据歌词和风格描述创作新的音乐token序列；HeartCLAP是「风格顾问」，确保生成的音乐符合指定的风格；HeartTranscriptor是「歌词校对」，确保歌词被准确演唱。整个系统的工作流程是：用户输入歌词和风格描述→HeartMuLa生成音乐token序列→HeartCodec将token解码为音频波形。技术路线的核心创新在于：（1）HeartCodec采用「语义编码器→超低帧率压缩器→高保真解码器」三段式架构，将48kHz立体声压缩为12.5Hz的离散token；（2）HeartMuLa采用Global-Local层次化架构，Global Transformer（3B参数）预测基础token捕捉长期结构，Local Transformer（300M参数）预测精细token补充声学细节；（3）四阶段渐进式训练从短片段到全长歌曲逐步提升能力。
本文最核心的创新点是「超低帧率音乐tokenization + 层次化语言建模」的协同设计。传统音乐编解码器采用25-50Hz帧率，导致5分钟歌曲需要数万个token，这对自回归模型是巨大负担。HeartMuLa的关键洞察是：通过将帧率降低到12.5Hz（每2帧合并为1帧），同时增加RVQ层数（从通常的1-4层增加到8层），可以实现「帧率降低但信息密度增加」的效果。具体来说，12.5Hz × 8层RVQ = 每秒100个token，而25Hz × 4层RVQ = 每秒100个token，总token数相当，但12.5Hz设计使得Global Transformer只需预测基础token（每秒12.5个），显著降低了长序列建模的复杂度。这种设计的优势在于：（1）Global Transformer处理更短的序列，更容易捕捉长程依赖；（2）Local Transformer在帧内预测，计算开销小且可以并行化；（3）整体推理效率提升，支持实时流式生成。这是HeartMuLa能够在学术资源下复现商业系统的关键技术突破。
方法步骤详情
HeartMuLa的完整工作流程包含以下步骤： **Step 1: 音频tokenization（HeartCodec编码）** 输入原始48kHz立体声音频$x \in \mathbb{R}^{T \times 2}$，首先通过多编码器提取语义特征：MuEncoder第11层特征（音乐语义）、WavLM第6-9层均值特征（语音学）、Whisper编码器嵌入（声学）、MuEncoder第2层特征（精细声学）。这些特征被重采样到25Hz后通道拼接，通过线性投影融合为$y_h \in \mathbb{R}^{T_{fh} \times C}$。然后应用基于查询的量化策略：每两个连续帧后插入可学习的查询token，通过Transformer编码器处理后保留查询位置的嵌入，将帧率降低到12.5Hz。最后通过8层RVQ（码本大小8192）离散化，得到token序列$A \in [V]^{T_{fl} \times K}$。 **Step 2: 条件编码** 歌词通过Llama-3.2 tokenizer分词并嵌入为$C_{lyrics}$。风格标签（如genre、mood、instrument等）通过选择概率采样后嵌入为$C_{tag}$。参考音频通过MuQ-MuLan提取风格嵌入$C_{muq}$。这三个条件序列拼接为$C = [C_{tag}, C_{muq}, C_{lyrics}]$。 **Step 3: Global Transformer生成基础token** 给定条件$C$和已生成的帧嵌入$h_{<l}$，Global Transformer预测当前帧的第0层token $a_{l,0}$，捕捉粗粒度的语义信息和长期结构。 **Step 4: Local Transformer生成精细token** 给定Global Transformer的隐藏状态$\theta_{glo}(h_{<l})$和已生成的局部token $h_{l,<k}$，Local Transformer预测当前帧的剩余token $a_{l,k}$（$k=1,...,K-1$），补充声学细节。 **Step 5: 音频解码（HeartCodec解码）** 将生成的token序列通过RVQ码本查找并求和得到量化嵌入$\hat{y}_l$，然后通过Flow Matching解码器从高斯噪声生成连续latent，最后通过SQ-Codec解码器重建波形。
技术新颖性
HeartMuLa的技术新颖性体现在以下几个方面： **1. 超低帧率音乐编解码器** 现有音乐编解码器如EnCodec（50Hz）、DAC（40Hz）、SemantiCodec（25-100Hz）都采用相对较高的帧率。HeartCodec首次将帧率降低到12.5Hz，通过基于查询的量化策略实现：每两个连续帧插入可学习查询token，Transformer编码器后保留查询位置嵌入。这种设计在保持重建质量的同时显著降低序列长度，实验显示HeartCodec在VISQOL（3.72）、FAD（0.27）、FD（11.06）等指标上全面超越现有方法。 **2. 多编码器语义融合** 不同于使用单一编码器，HeartCodec同时利用MuEncoder（语义和声学）、WavLM（语音学）、Whisper（声学）四个编码器的互补特征。这种多层级表示捕获了从语音学、音乐语义到精细声学的完整信息谱，为下游生成提供了更丰富的条件。 **3. Global-Local层次化生成架构** 现有音乐语言模型通常在单一层次上建模所有RVQ token。HeartMuLa将建模分解为Global Transformer（预测第0层token，捕捉长期语义）和Local Transformer（预测剩余层token，补充声学细节），实现了「先规划后细化」的生成策略。这种分解使得Global Transformer只需处理1/8的token序列，显著提升了长序列建模能力。 **4. 针对性DPO优化** 不同于使用单一奖励模型的传统RLHF，HeartMuLa构建了三种专门的偏好数据集：MuQ相似度数据集（优化风格一致性）、PER数据集（优化歌词清晰度）、AudioBox/SongEval数据集（优化整体质量）。每种数据集独立训练后通过线性合并融合，实现了多维度的精细优化。
实验结果
HeartMuLa在多个维度上取得了显著成果： **HeartCodec重建质量**：在客观评估中，HeartCodec（SQ Ft.）在VISQOL指标上达到3.72，显著超越所有基线方法（SemantiCodec 2.24-2.28、XCodec 2.23-2.35、MuCodec 3.07、LeVo 3.24-3.26）。在FAD指标上，HeartCodec达到0.27，远低于其他方法（SemantiCodec 1.88-2.32、XCodec 0.70-1.88、MuCodec 1.02、LeVo 1.03-1.45）。在FD指标上，HeartCodec达到11.06，同样大幅领先（其他方法在14.73-24.51之间）。主观评估中，HeartCodec在语音相似度（VS 3.90）、伴奏相似度（AS 4.00）、混音相似度（MS 3.33）等7个维度上均获得最高分。 **歌词清晰度优势**：HeartMuLa在歌词清晰度（PER）上展现出压倒性优势。在英语测试中，HeartMuLa的PER仅为0.09，远低于Suno-v5（0.13）、Suno-v4.5（0.14）、MiniMax-2.0（0.13）、DiffRhythm 2（0.28）、ACE-Step（0.21）。在中文测试中，PER为0.12，同样优于所有基线。在日语（0.20）、韩语（0.16）、西班牙语（0.13）测试中也保持最低PER。 **整体音乐质量**：在SongEval指标上，HeartMuLa在英语测试中达到平均4.48分（满分5分），与Suno-v5（4.54）、Suno-v4.5（4.51）处于同一水平，显著优于开源基线如LeVo（3.45）、YuE（2.64）、DiffRhythm 2（3.87）。在AudioBox指标上，HeartMuLa的PQ分数为8.14，与商业系统相当。 **推理加速效果**：通过KV-cache对齐、FlashAttention和CUDA Graph的协同优化，推理延迟从基线的398.3秒降低到73.4秒，实现5.4倍加速。流式推理进一步降低到67.95秒，同时保持生成质量（PER从0.1008改善到0.0778）。 **多语言稳定性**：与许多开源模型在非英语任务上性能下降不同，HeartMuLa在5种语言上保持稳定的性能表现，SongEval分数在4.34-4.51之间波动，展现了出色的跨语言泛化能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音乐编解码器重建质量 | VISQOL | 3.72 | LeVo 3.26 | 14.1%相对提升 |
| 音乐编解码器重建质量 | FAD | 0.27 | LeVo 1.03 | 73.8%相对降低 |
| 歌词清晰度（英语） | PER | 0.09 | Suno-v5 0.13 | 30.8%相对降低 |
| 整体音乐质量（英语） | SongEval Avg | 4.48 | Suno-v5 4.54 | 仅差1.3% |
| 推理效率 | 平均延迟（秒） | 73.4 | 398.3 | 5.4倍加速 |
| 音频-文本检索 | Text-to-Music R@10 | 16.80% | MuQ-MuLan 12.11% | 38.7%相对提升 |
| 歌词识别 | WER（英语） | 0.1873 | Whisper-Large-V3 0.2139 | 12.4%相对降低 |
局限与改进
尽管HeartMuLa取得了显著成果，但仍存在以下局限性： **1. 与商业系统的差距**：虽然论文声称可以复现Suno级别系统，但在主观评估中，HeartMuLa的整体MOS分数（69.93）仍明显低于Suno-v4.5（76.08），差距约8%。特别是在音乐性（69.55 vs 78.10）、和声（71.06 vs 75.14）、结构（73.44 vs 78.80）等维度上，商业系统仍保持明显优势。这表明在纯粹的音乐质量和艺术表现力方面，开源模型与商业系统之间仍存在可观的差距。 **2. 训练数据规模限制**：HeartMuLa使用约100,000小时的训练数据，而商业系统（如Suno）可能使用了数百万小时的数据。数据规模的差异可能是性能差距的重要原因之一。此外，论文未公开训练数据的具体来源和构成，这在一定程度上影响了完全复现的可能性。 **3. 计算资源需求**：尽管论文强调使用「学术规模」资源，但训练过程仍需要64块A100 GPU进行预训练阶段，这对大多数学术团队来说仍是相当可观的资源投入。推理阶段虽然经过优化，但生成一首5分钟歌曲仍需约73秒（优化后）到398秒（基线），距离实时生成仍有距离。 **4. 长序列生成的局限**：虽然论文声称支持6分钟生成，但实验评估主要集中在较短的片段上。对于更长的音乐作品（如10分钟以上），模型维持结构连贯性和音乐多样性的能力尚未得到充分验证。 **5. 细粒度控制的局限**：虽然模型支持对不同歌曲段落的风格控制，但这种控制的精度和灵活性仍有提升空间。用户无法精确指定具体的音乐元素（如特定的和弦进行、节奏模式），控制主要停留在高层语义描述层面。
独立分析的弱点
基于对论文的深入分析，我识别出以下弱点和改进方向： **1. HeartCodec的Flow Matching解码器计算开销** Flow Matching解码器（1.5B参数）是HeartCodec中最重的组件，即使经过Reflow蒸馏将采样步数从50减少到10，其计算开销仍然显著。改进方向包括：（1）探索更轻量的解码器架构，如使用知识蒸馏进一步压缩模型；（2）研究单步生成方法，如Consistency Models，将采样步数减少到1步；（3）优化Flow Matching的ODE求解器，使用更高阶的数值方法减少步数。 **2. Global-Local架构的信息瓶颈** 当前架构中，Local Transformer仅依赖Global Transformer的隐藏状态和当前帧的局部token。这种单向信息流可能导致局部细节与全局结构的不一致。改进方向：（1）引入跨注意力机制，允许Local Transformer访问Global Transformer的完整历史；（2）设计迭代细化策略，在Global和Local Transformer之间进行多轮信息交换；（3）探索非自回归的局部生成方法，如使用扩散模型在帧内并行生成所有精细token。 **3. DPO训练的偏好数据质量** 当前DPO使用自动指标（MuQ相似度、PER、AudioBox/SongEval）构建偏好数据，这些指标可能无法完全反映人类的主观偏好。改进方向：（1）引入人类标注的偏好数据，特别是针对音乐性、创意性等难以量化的维度；（2）设计更精细的偏好粒度，如针对特定音乐元素（旋律、和声、节奏）的偏好；（3）探索在线DPO方法，在训练过程中动态生成偏好对。 **4. 多语言支持的不均衡** 虽然模型支持5种语言，但论文未详细说明各语言的训练数据比例。从实验结果看，日语和韩语的PER（0.20和0.16）明显高于英语（0.09）和中文（0.12），表明多语言能力仍有提升空间。改进方向：（1）平衡各语言的训练数据比例；（2）针对低资源语言进行专门的数据增强；（3）探索跨语言迁移学习策略。 **5. 推理效率的进一步优化** 虽然实现了5.4倍加速，但生成5分钟歌曲仍需约73秒。改进方向：（1）探索推测性解码（Speculative Decoding），使用小型草稿模型加速大型模型的推理；（2）研究并行解码方法，如在帧内并行生成多个token；（3）优化CUDA Graph的捕获范围，减少Python端开销。
未来方向
基于HeartMuLa的成果，可以延伸以下研究方向： **1. 多模态音乐理解与生成** 当前模型主要处理音频和文本，未来可以扩展到更多模态：（1）结合MIDI、乐谱等符号化音乐表示，实现更精确的音乐控制；（2）引入视觉信息，如根据视频内容生成匹配的背景音乐；（3）支持音乐风格迁移，如将一首歌曲转换为另一种风格。 **2. 交互式音乐创作系统** 利用HeartMuLa的流式生成能力，可以构建实时交互的音乐创作工具：（1）支持用户在生成过程中实时调整参数（如风格、情绪、节奏）；（2）实现「无限音乐」生成，根据用户反馈动态调整音乐走向；（3）集成到数字音频工作站（DAW）中，作为智能作曲助手。 **3. 音乐编辑与修复** 基于HeartCodec的离散表示，可以探索音乐编辑任务：（1）局部替换，如修改特定段落的歌词或旋律；（2）风格融合，将不同歌曲的风格元素组合；（3）音乐修复，如补全损坏的音频片段或去除噪音。 **4. 个性化音乐生成** 结合用户偏好学习，实现个性化的音乐生成：（1）根据用户的听歌历史推荐和生成音乐；（2）学习用户的音乐品味，生成符合个人喜好的作品；（3）支持用户微调模型，创建个人专属的音乐风格。 **5. 音乐教育应用** 利用模型的音乐理解能力，开发教育工具：（1）自动分析歌曲的结构、和声、旋律等要素；（2）生成练习素材，如针对特定技巧的练习曲；（3）提供实时反馈，帮助学习者改进演奏或创作。
复现评估
HeartMuLa在可复现性方面做出了重要努力，但仍存在一些挑战： **开源情况**：论文声称将开源模型权重和评估协议，GitHub仓库（https://github.com/HeartMuLa/heartlib）和演示页面（https://heartmula.github.io/）已经建立。然而，截至论文发表，完整的训练代码和数据处理流水线尚未完全公开。 **数据集**：训练数据包含约100,000小时的高质量音乐，但论文未公开数据的具体来源和获取方式。数据处理流水线（包括质量过滤、歌词对齐、风格标注等）的详细步骤需要进一步文档化。HeartBeats-Benchmark作为评估基准已经构建，包含5种语言共80首歌曲，但规模相对较小。 **算力需求**：训练过程分多个阶段，资源需求如下：HeartCodec预训练和微调需要8块A100 GPU训练15个epoch；HeartMuLa预热阶段需要8块A100 GPU训练5个epoch；预训练阶段需要64块A100 GPU训练5个epoch；SFT阶段需要8块A100 GPU训练3个epoch；DPO阶段需要8块A100 GPU训练3个epoch。总计算量估计在数百到数千GPU小时之间，这对大多数学术团队来说是可承受的，但仍需要相当的资源投入。 **复现难度**：中等偏高。主要挑战包括：（1）多编码器（MuEncoder、WavLM、Whisper）的集成和特征提取需要仔细的工程实现；（2）四阶段训练范式的超参数调优需要大量实验；（3）DPO偏好数据的构建需要设计合适的评估指标和阈值。论文提供了相对详细的实现细节（如学习率、batch size、训练epoch等），有助于复现。 **依赖组件**：复现需要以下预训练模型：MuEncoder（需要进一步微调）、WavLM、Whisper、SQ-Codec、Llama-3.2 tokenizer、MuQ-MuLan、Demucs、SongFormer、Qwen2.5-Omni。这些组件大多已开源，但集成和适配工作仍需投入。
论文图表
