← 返回 2026-07-15

MuScriptor：一个开放的多乐器音乐转录模型 MuScriptor: An Open Model for Multi-Instrument Music Transcription

Simon Rouard, Michael Krause, Axel Roebel, Carl-Johann Simon-Gabriel, Alexandre Défossez 📅 2026-07-09 👍 20 2026-07-19 18:30

Transformer 多乐器建模开放权重模型强化学习自动音乐转录音频处理

arXiv HuggingFace PDF

开放权重多乐器音乐转录模型，结合合成数据预训练、真实数据微调与强化学习后训练

前置知识

自动音乐转录（Automatic Music Transcription, AMT）

自动音乐转录是将一段音乐的音频录音转换为符号表示（通常是 MIDI）的任务。MIDI 表示音符的音高、起始时间、持续时长和乐器类别，是音乐信息检索（MIR）的基础工具。AMT 的难点在于真实音乐制作极其复杂：多件乐器在频谱上高度重叠、效果器（如电吉他失真）会扭曲音色、混音会掩盖细节。单乐器转录（如钢琴 Onsets and Frames）已有较好方案，但多乐器、跨流派的通用转录长期是开放难题。

本文的全部工作都围绕 AMT 展开，理解这个任务的目标、难度和评价方式，是读懂论文动机、方法和实验的前提。

序列到序列（Seq2Seq）与 MIDI 类 token 化

现代 AMT 把转录建模为语言建模任务：模型不再对每个时频单元分类，而是自回归地输出一串离散的 MIDI 类 token，编码音高、时间和乐器。MT3 是这一范式的代表，用编码器-解码器 Transformer 把音频频谱图映射为 token 流。本文沿用 MT3 风格的 token 化方案，但把 128 个 MIDI 乐器按 MT3_FULL_PLUS 分类法归并为 36 个子组，以降低输出空间复杂度。

理解 token 化方案和 Seq2Seq 建模，才能明白模型如何输出转录、为什么会出现重叠音符无法同时发音的限制，以及 36 类乐器分组的由来。

解码器-only Transformer 与 teacher forcing

本文采用解码器-only 的标准 Transformer 架构（类似语言模型），而非 MT3 的编码器-解码器结构。模型以 mel-频谱图和乐器条件作为前缀，自回归预测下一 token。训练时用 teacher forcing：每个时间步用真实 token 作为输入而非模型自己的预测，配合标准交叉熵损失。作者对比了 60M、100M、300M、1.3B 四种规模，验证了缩放规律。

理解架构选择和训练方式，才能看懂论文为何放弃复杂架构改动、专注于数据与训练策略，以及 RL 后训练为何能在这个框架上叠加。

GRPO 类强化学习后训练

GRPO（Group Relative Policy Optimization）是 DeepSeekMath 提出的策略梯度算法。它为每个输入采样一组 G 个输出，用组内奖励的标准化作为优势 $\hat{A}_{i,g} = (r_{i,g} - \mu_i)/(\sigma_i + \varepsilon)$，再用 REINFORCE 目标更新策略。本文做了简化：没有重要性采样裁剪，也没有对冻结参考策略的 KL 惩罚。奖励是三个音符级 F1 分数之和 $r = F_{onset} + F_{frame} + F_{offset}$。

RL 后训练是本文提升最终质量的关键一环，也是论文声称的文献首创点（音乐转录领域此前未用过类似 GRPO 的对齐方法）。

Classifier-Free Guidance（CFG）

Classifier-free guidance 是一种推理时技术，通过组合有条件和无条件的模型预测来增强条件信号的影响。强度参数 $\alpha_{CFG}$ 控制引导程度，$\alpha_{CFG}=1$ 等于关闭。本文对 mel-频谱条件和乐器条件同时应用 CFG，$\alpha_{CFG}=2$ 时多数指标提升，例如仅用合成数据训练的模型 Onset F1 从 26.1 跳到 34.5。RL 后训练的模型则几乎不再受益于 CFG。

CFG 是本文推理流程的重要组成部分，理解它才能解释表 1 中 $\alpha_{CFG}=1$ 与 2 的对比，以及为何最终 RL 模型可省去第二次前向传播。

研究动机

自动音乐转录（AMT）在单乐器场景（钢琴、吉他、鼓）已有长足进展，但多乐器、跨流派的通用转录仍是开放难题。核心瓶颈是缺乏带对齐音符标注的真实音乐音频。以 MT3 为代表的方案用合成数据补足数据缺口：它混合约 1500 小时合成数据与仅 250 小时（且多为单乐器）真实数据训练。结果是在合成测试集上表现尚可，但迁移到真实世界音频时性能急剧退化——存在严重的合成-真实域偏移，输出质量低到无法用于下游应用。专业音乐制作的复杂性（乐器频谱重叠、效果器、混音）进一步放大了这一问题，导致现有通用 AMT 模型普遍不可用。

本文的目标是本文的目标是训练并公开发布一个能在真实世界多乐器音乐录音上有效工作的通用转录模型 MuScriptor，权重与推理代码全部开放。具体目标包括：跨越从古典到重金属的多种音乐流派、处理多乐器混音；系统分析合成数据用于预训练的真实价值与局限，给出合成数据到底有多少用的定量结论；通过强化学习对齐到一小批高质量转录（DRL 的 300 条）以进一步提升结果；并支持基于乐器是否在场的条件化，让用户能定制转录输出（例如只转录某些乐器，或保持跨片段的乐器指派一致）。作者刻意放弃复杂架构改动，专注数据规模与训练流程。

与已有工作不同的是，本文的独特切入角度在于把重点从架构改进转移到数据规模与类型上。此前工作（如 YourMT3+、MIROS）多在编码器架构、MoE、音频基础模型上做精雕细琢，但仍难以应对真实数据。本文则：第一，收集了一个 17 万条（1.1 万小时）带对齐音符标注的真实音乐数据集，规模远超以往；第二，系统对比「仅真实数据」与「合成预训练+真实微调」两种范式，给出合成数据到底有多少用的定量结论；第三，首次在音乐转录文献中引入 GRPO 类的强化学习后训练；第四，引入乐器条件化机制。这些组合使其与纯架构路线形成本质区别。

核心方法

MuScriptor 的整体思路是「简单架构 + 精心设计的数据与训练流程」。模型把转录建模为自回归语言建模：给定一段 5 秒音频的 mel-频谱图和（可选）在场乐器集合作为前缀条件，解码器-only Transformer 逐步输出 MIDI 类 token 流。训练分三阶段：先在 145 万合成 MIDI（DSynth）上预训练，再在 17 万真实录音（DReal）上微调，最后用 GRPO 类强化学习在 300 条高质量转录（DRL）上后训练。架构刻意保持简单——不做复杂改动，而是靠数据规模（合成 145 万 + 真实 17 万条）和训练策略取胜。推理时对频谱和乐器条件同时施加 $\alpha_{CFG}=2$ 的 classifier-free guidance。

核心创新点有三层。第一，对合成数据作用的重新定位：作者证明合成数据对预训练很有用（尤其真实数据稀缺时），但单独使用远不够，必须与真实数据微调结合——这推翻了「合成数据即可」的隐含假设。第二，把强化学习对齐引入音乐转录：用 GRPO 在高质量转录上后训练，把音符级 F1 作为奖励，这是该文献此前未探索的技术。第三，乐器条件化：把整曲出现的乐器集合作为条件（而非局部片段），配合条件 dropout 训练，既能稳定跨片段的乐器指派，又能让用户按需定制。这三者叠加，使模型在真实多乐器混音上取得大幅领先。

方法步骤详情

方法分三步。数据准备：DSynth 收集 145 万 MIDI 文件用 250+ 个 soundfont 在线合成，叠加符号级增强（移调、变速、力度、乐器随机化）与音频级随机失谐；DReal 是 17 万条真实录音（1.1 万小时），经音频-符号同步（条线插值 + chroma/onset 动态时间规整）获得对齐标注并按距离阈值过滤。模型训练：音频经 STFT（$n_{FFT}=2048$，hop=160，512 mel bin）转频谱图，投影到潜在维度并与乐器嵌入拼接为前缀；目标按 MT3 风格 token 化并归并为 36 个乐器子组；训练 100 万步、批 64，AdamW（$\beta_1=0.9,\beta_2=0.95$），学习率 $1\times10^{-4}$，2000 步预热接余弦退火，条件以 0.2 概率丢弃。RL 后训练：每片段采样 $G=8$ 条转录（$\tau=0.75$），奖励 $r=F_{onset}+F_{frame}+F_{offset}$，组内标准化得优势 $\hat{A}_{i,g}$，用 REINFORCE 更新，无裁剪与 KL 惩罚。

技术新颖性

技术新颖性体现在多个层面。架构层面反潮流地选择简单解码器-only Transformer，放弃编码器改进、MoE、音频基础模型等复杂改动，把工程精力投入数据与训练，这是一种务实的去繁就简。数据层面，17 万条真实带标注数据是同类中规模最大的之一，且系统量化了合成预训练的边际收益（Figure 4）。训练流程层面，首次把 GRPO 类 RL 对齐用于 AMT，用音符级 F1 作奖励，证明了小规模高质量数据（300 条）的后训练价值。推理层面，乐器条件化配合 classifier-free guidance，既提升跨片段一致性又支持用户定制，且发现 RL 后训练后可省去 CFG 的第二次前向传播。这些组合在 AMT 文献中是新的。

实验结果

核心发现如下。第一（Table 1，DTest），每阶段都提升：仅 DSynth 已与基线 YourMT3+ 在 Frame F1 上相当（48.9 vs 45.54），微调 DReal 后跃升约 20 个百分点，RL 再提升——最终模型 Onset 60.4、Frame 72.4、Offset 48.6、Multi 47.8（$\alpha_{CFG}=2$），YourMT3+ 仅 32.52/45.54/17.79/21.9。第二（Figure 4），合成预训练在真实数据稀缺时收益巨大（1% DReal 时 Offset F1 9.9→33.4），但单独不够、真实越多越好，二者结合最佳。第三（Table 2），在 Bach10、Dagstuhl ChoirSet、RWC 系列上大幅领先但 Onset/Offset 偏低。第四（Table 3），乐器条件化提升各项（Multi 38.7→40.5）。第五（Table 4/5），模型越大越好但 60M 仍达 Frame 65.7，且 mel-频谱图优于 CQT/Encodec/MERT。

**Table 1**: Comparison of results on DTest for MuScriptor across different training stages and CFG settings

**Table 2**: Per-dataset comparison of YourMT3+ and MuScriptor (1.3B, trained on DSynth + DReal + DRL, αCFG = 2)

**Table 3**: Impact of instrument conditioning on a MuScriptor model trained exclusively on DReal, αCFG = 2

**Table 4**: Performance comparison across different model scales, trained exclusively on DReal, αCFG = 2

**Figure 1**: Piano roll for the guitar notes in a song from our test set DTest

**Figure 4**: Impact of pre-training on DSynth across different sizes of the fine-tuning set DReal (αCFG = 2)

查看结构化数据

任务	指标	本文	基线	提升
DTest 多乐器转录（综合）	Multi F1（越高越好）	47.8（DSynth+DReal+DRL，αCFG=2）	21.9（YourMT3+）	约 +25.9 分（翻倍以上）
DTest 起音转录	Onset F1	60.4	32.52（YourMT3+）	约 +27.9 分
DTest 帧级转录	Frame F1	72.4	45.54（YourMT3+）	约 +26.9 分
Dagstuhl ChoirSet 跨域泛化	Frame F1	80.7	51.0（YourMT3+）	约 +29.7 分
合成预训练收益（1% 真实数据）	Offset F1	33.4（有 DSynth 预训练）	9.9（无预训练）	约 +23.5 分

局限与改进

作者明确承认的限制有两点。第一，token 化方案不允许同一乐器、同一音高的多个音符同时发声，因此在评测前必须从 DTest 中删除较短的重叠音符；若保留这些音符，1.3B 模型的 Onset F1 从 60.4 跌到 51.8、Offset 从 49.0 跌到 41.9、Multi 从 48.2 跌到 42.0，说明现实音乐中这种情况频繁发生，当前方案无法表达。第二，模型处理固定 5 秒片段，长曲需分段转录再拼接，作者在结论中提到未来需扩展片段长度以加速推理并改善一致性。从我的观察看还有更多局限：合成数据集偏向流行与西方古典，对非西方、电子、实验音乐覆盖可能不足；DReal 依赖音频-符号同步自动对齐，虽有过滤但仍有噪声，会污染监督信号；测试集 DTest 仅 372 条且都源自 DReal 的「高标注质量」子集，可能存在选择偏置，未必代表最困难的真实场景；Onset/Offset F1 在某些数据集（如 Dagstuhl ChoirSet 11.5/11.5、Bach10 43.1/36.0）仍偏低，说明精确时间标注对风格化音乐仍是硬骨头。

独立分析的弱点

第一个弱点是 token 化的表达力上限：同一乐器同音高并发音符无法表达，这直接导致评测前的音符删除，引入了与真实任务的偏差。改进方向是设计支持并发的 token 化方案（如引入声部/音轨 ID 或连续时长的 token）。第二个弱点是固定 5 秒片段的窗口限制，长曲转录需分段且跨段乐器指派可能不一致（虽乐器条件化有缓解），改进方向是增大或动态调整片段长度、引入跨段记忆机制。第三个弱点是训练数据的领域偏向（流行与西方古典），对全球音乐多样性覆盖不足，改进方向是扩充非西方、民族、电子等语料，并做领域均衡采样。第四个弱点是 DReal 的自动对齐噪声，改进方向是用更强的对齐模型或半监督/主动学习清洗。第五个弱点是 RL 奖励仅基于音符级 F1，未覆盖节奏、结构、听感等高层音乐质量，改进方向是引入更丰富的奖励信号或多目标 RL。

未来方向

作者在结论中提出的方向包括：扩展乐器词汇表、允许单乐器类的并发音符活动、扩大片段尺寸以加速推理。基于本文成果还可延伸：把强化学习后训练推广到更大规模的高质量数据；研究合成数据配比的课程化策略（在训练不同阶段动态调整 DSynth/DReal 比例）；探索用音频基础模型（如改进版 MERT）作编码器并联合微调，而非固定表示；把 MuScriptor 作为下游任务（和弦/调性识别、乐谱重建、音乐编辑、检索）的特征提取器；研究条件化的可控生成（如仅提取人声轨、或分离式转录）；把方法迁移到实时转录与交互式音乐工具。

复现评估

复现性总体良好。作者公开了模型权重和推理代码（https://github.com/muscriptor/muscriptor），并明确声明这是首个有效的开放权重跨流派音乐转录模型。合成数据集来源（Lakh MIDI 等）与生成管线（soundfont、增强、失谐）描述清楚，可大致复现。但 DReal（17 万条真实录音）为内部数据集，依赖商业数据提供方与音频-符号同步流程，无法直接获取，这是复现的最大障碍——后续研究者只能用自己的真实数据替代，未必能完全复现指标。训练细节给出较充分（100 万步、批 64、AdamW 超参、学习率调度、条件 dropout、CFG 强度、RL 的 $G=8$/$\tau=0.75$）。计算开销方面，作者未明确训练硬件与时长，但 1.3B 模型、100 万步、批 64 意味着需要显著算力。综合看，方法可复现、权重可下载，但 DReal 的不可得性与训练算力要求构成了实际门槛。

论文图表

**Figure 2**: Instrument frequency across DReal (grouped according to MT3_FULL_PLUS schema)
柱状图展示了真实数据集 DReal 中各乐器子组（按 MT3_FULL_PLUS 分类法）的出现频率。分布呈长尾：钢琴、人声、原声吉他等出现最频繁，而大号、定音鼓、竖琴等罕见。但至少有 17 个乐器子组在超过 5% 的曲目中出现，说明数据集乐器覆盖相当多样。

这张图说明了真实数据集的多样性与长尾特性，是理解模型为何能在多乐器混音上泛化、以及为何选择 36 类分组的数据基础。

**Figure 3**: Distribution of active instruments per track across datasets
箱线图比较了 DSynth、DReal、DRL、DTest 四个数据集中每条曲目的活跃乐器数量分布。DSynth 含大量单乐器曲目（因合成时随机分配乐器），而 DTest 专注于多乐器曲目，箱体中位数更高、分布更宽，更贴近真实世界的多乐器应用场景。

这张图解释了为何作者要自建 DTest：现有评测集缺乏覆盖多乐器的多样性，而真实应用恰是多乐器混音，理解这一分布差异对评估方法的可信度很重要。

Table 5: Performance comparison for different audio input representations. MuScriptor (300M) models trained exclusively on DReal, αCFG = 2

表格比较四种音频输入表示：mel-频谱图（默认）、magnitude CQT、Encodec 神经音频编解码器、MERT 音频嵌入，对应 Multi F1 为 39.7/38.2/28.9/36.8。mel-频谱图最优，Encodec 最差，说明贴近信号物理特性的简单表示反而胜过学习型表示。

该表为「为何坚持用 mel-频谱图」提供了实证依据，反驳了「更高级的神经表示必然更好」的直觉，对方法选型有指导意义。