PianoKontext：基于死板上下文的表现性演奏渲染 PianoKontext: Expressive Performance Rendering from Deadpan Context
提出潜在空间流匹配模型，从乐谱生成可变长度的表现性钢琴演奏。
前置知识
Flow Matching (流匹配)
流匹配是一种生成建模范式，通过在噪声分布 $p_0$ 和数据分布 $p_1$ 之间连续插值来学习生成过程。它构造中间状态 $x_t = (1-t)x_0 + tx_1$，其中 $t \in [0,1]$，并学习一个速度场 $u_t(x_t)$ 来诱导一个常微分方程，使得从噪声出发的轨迹能够到达数据分布。在实践中，我们学习条件速度场 $u_t(x|x_1) = (x_1 - x)/(1-t)$，并通过最小化期望速度损失 $\mathcal{L}_{CFM}(\theta) = \mathbb{E}_{t,x_1,x_t}\|u_{\theta,t}(x_t) - u_t(x_t|x_1)\|^2$ 来近似边际速度场。
流匹配是本文的核心生成建模方法，PianoKontext 基于流匹配框架在潜在空间中学习从死板乐谱到表现性演奏的条件分布 $p(x|y)$，理解流匹配对于理解整个方法架构至关重要。
Dynamic Time Warping (动态时间规整)
动态时间规整是一种用于对齐两个可能具有不同长度或时间伸缩的序列的算法。DTW 通过动态规划寻找一个最优对齐路径，使得两个序列之间的累积距离最小。在音乐中，DTW 可以将乐谱音符序列与表演音频序列对齐，处理速度变化、弹性节奏等表现性时序差异。DTW 路径一旦预计算完成，不会增加训练过程中的计算开销，使得在训练时可以高效地采样对应相同音乐内容的配对数据段。
DTW 是 PianoKontext 数据预处理的关键步骤，它使得模型能够学习乐谱和演奏之间的依赖关系，同时支持生成不同持续时间的表演，这是本文区别于其他音频编辑模型的重要特性。
2D Rotary Position Embedding (二维旋转位置编码)
2D RoPE 是一种用于编码相对位置信息的技术，最初为图像领域引入以处理多轴位置信息。不同于语言建模中的原始 RoPE，2D RoPE 通过将元素位置编码为 $(i, s)$，其中 $i$ 是二进制指示器（$i \in \{0,1\}$ 表示上下文或表演元素），$s$ 是时间位置（$s \in \{0,1,\ldots,S\}$）。这种编码允许自注意力机制同时建模时间维度和上下文/表演维度，使得 DiT 块能够联合处理上下文和目标序列，捕获它们之间的复杂依赖关系。
2D RoPE 是 PianoKontext 架构的关键创新点，它使得模型能够在单个自注意力机制中同时处理上下文和表演序列，学习它们之间的依赖关系，这是实现高质量表现性渲染的重要技术基础。
Latent Space Audio Encoding (潜在空间音频编码)
潜在空间音频编码是指使用神经音频编解码器将原始音频压缩到紧凑的连续潜在表示空间。这些表示通常具有比原始音频低得多的采样率和维度，同时保持感知质量。Music2Latent 是一个预训练的音乐音频编码模型，它将音频映射到约 $11\text{Hz}$ 采样率的 64 维潜在序列。在潜在空间中进行生成可以大幅降低计算成本，因为潜在序列比原始音频短得多，同时避免了符号化过程中可能出现的信息损失。
潜在空间编码是 PianoKontext 的基础，整个方法在 Music2Latent 的潜在空间中进行，理解潜在空间表示有助于理解为什么模型能够高效处理可变长度的音乐序列，以及为什么能够生成高质量的音频。
研究动机
现有的音乐编辑方法主要关注修改具有相同持续时间的音乐样本对（如音色转换），较少关注表现性时序这一核心音乐表现维度。符号音乐模型虽然能够建模每个音符的属性（如时序、速度、发音），但忽略了乐器的声学特性和空间特性，限制了其应用。另一方面，音频编辑模型通常只能操作相同持续时间的同步音乐样本，这意味着它们无法理解弹性速度、rubato 等表现性时序现象，而这些正是人类音乐表演的灵魂。此外，现有的端到端表现性演奏渲染模型（如 GuitarFlow）需要在完美对齐的音乐示例上训练，这阻碍了它们对表现性时序的建模能力。
本文的目标是本文的目标是提出一个能够在潜在空间中生成可变长度钢琴表演片段的流匹配渲染模型，该模型以死板的乐谱潜在上下文作为输入。具体来说，模型需要学习从乐谱到表现性演奏的条件分布 $p(x|y)$，其中 $y$ 是死板上下文，$x$ 是生成的表现性表演。生成的表演应该在保持音乐内容的前提下，具有不同的持续时间，以展示对表现性时序的控制能力。同时，模型需要比无监督基线方法具有更好的音频保真度和更低的幻觉率。
与已有工作不同的是，本文的独特切入点是将图像编辑领域的技术（FLUX Kontext）迁移到音乐表现性渲染任务中，通过在潜在空间中使用 DTW 对齐的配对数据来训练模型。与现有方法不同，PianoKontext 不需要在完美对齐的数据上训练，而是通过 DTW 预处理构建配对数据，这允许模型学习表现性时序。此外，本文引入了额外的 RoPE 轴来分离表演元素和上下文元素，使得自注意力机制能够联合建模乐谱和表演之间的依赖关系。这种方法在乐器上是无偏的，可以很容易地扩展到其他音乐类型。
核心方法
PianoKontext 的整体思路是在预训练的 Music2Latent 模型的潜在空间中，使用引导流匹配学习从死板乐谱到表现性演奏的条件分布。方法分为两个主要阶段：数据预处理阶段和模型训练阶段。在数据预处理阶段，原始乐谱和表演音频通过 Music2Latent 编码器编码为潜在序列，然后使用 DTW 算法计算对齐路径。在模型训练阶段，从预计算的 DTW 路径中采样随机子路径，确保两个段的长度不超过最大序列长度 $S=128$（对应约 $11$ 秒音频）。然后将高斯噪声注入目标表演 $x$，将 $y$ 和 $x$ 与可学习的 EOS 嵌入拼接，形成输入 $(y, x)$。模型采用 DiT 架构，使用 2D RoPE 编码位置信息，通过自注意力机制联合建模 $(y, x)$，学习乐谱和表演之间的依赖关系。模型输出表演速度场，上下文元素在输出时被丢弃。
PianoKontext 的核心创新点在于将 FLUX Kontext 的图像编辑思想迁移到音乐表现性渲染任务中，并引入了额外的 RoPE 轴来分离上下文和表演元素。与已有的 CFG Bridge 基线相比，PianoKontext 不是通过轨迹反演和分类器自由引导来实现条件生成，而是直接在训练中学习条件速度场。这意味着 PianoKontext 能够更好地捕捉乐谱和表演之间的依赖关系，而不是依赖于反演过程中可能出现的不稳定性。另一个关键创新是使用 DTW 预处理构建配对数据，这使得模型能够学习表现性时序，因为 DTW 路径允许乐谱和表演具有不同的长度和速度变化。
方法步骤详情
PianoKontext 的方法步骤如下：首先，使用预训练的 Music2Latent 编码器将原始乐谱和表演音频编码为潜在序列，采样率约为 $11\text{Hz}$，每个元素的维度为 64。其次，使用 DTW 算法计算潜在乐谱和表演序列之间的对齐路径，DTW 路径只需要预计算一次，不会增加训练开销。第三，从预计算的 DTW 路径中采样随机子路径，确保两个段的长度不超过最大序列长度 $S=128$（对应约 $11$ 秒音频），同时设置下界以避免极短样本。第四，根据公式 $x_t = (1-t)x_0 + tx_1$ 向目标表演 $x$ 注入高斯噪声，其中 $t$ 从 $[0,1]$ 均匀采样。第五，将 $y$ 和 $x$ 与可学习的 EOS 嵌入拼接，形成输入 $(y, x)$，EOS 嵌入用于增强由于可变长度序列带来的时间一致性。第六，将输入传入 DiT 块，DiT 块使用 2D RoPE 编码位置信息，其中元素位置编码为 $(i, s)$，$i \in \{0,1\}$ 是上下文/表演的二元指示器，$s \in \{0,1,\ldots,S\}$ 是时间位置。第七，DiT 块通过自注意力机制联合建模 $(y, x)$，学习乐谱和表演之间的依赖关系，模型输出表演速度场，上下文元素被丢弃。最后，使用 Heun ODE 求解器的 64 步生成表演。
技术新颖性
PianoKontext 的技术新颖性体现在多个方面。首先，这是第一个将 FLUX Kontext 的图像编辑思想迁移到音乐表现性渲染任务中的工作，通过引入额外的 RoPE 轴来分离上下文和表演元素，使得自注意力机制能够联合建模乐谱和表演之间的依赖关系。其次，PianoKontext 使用 DTW 预处理构建配对数据，这使得模型能够学习表现性时序，因为 DTW 路径允许乐谱和表演具有不同的长度和速度变化。第三，与 CFG Bridge 基线相比，PianoKontext 直接在训练中学习条件速度场，而不是依赖于轨迹反演和分类器自由引导，这使得模型能够更好地捕捉乐谱和表演之间的依赖关系。最后，PianoKontext 的设计在乐器上是无偏的，可以很容易地扩展到其他音乐类型，这为未来的研究提供了广阔的空间。
实验结果
PianoKontext 在多个评估指标上显著优于 CFG Bridge 基线模型。在音频保真度方面，PianoKontext 的 FAD 为 $2.96$，而 CFG Bridge 为 $4.69$，提升了约 $37\%$；KAD 为 $0.91$，而 CFG Bridge 为 $1.68$，提升了约 $46\%$。在内容保存方面，PianoKontext 的 Pitch DTW 为 $0.888$，略高于 CFG Bridge 的 $0.856$，接近人类水平的 $0.883$。更显著的是对齐精度和召回率，PianoKontext 的 Alignment Precision 为 $0.630$，Recall 为 $0.666$，而 CFG Bridge 分别为 $0.466$ 和 $0.373$，提升了约 $35\%$ 和 $79\%$。这些结果表明 PianoKontext 生成的表演更忠实于乐谱，偏离更少。Figure 2 展示了 PianoKontext 使用不同持续时间因子（$0.8$、$1$、$1.2$）生成表演的示例，DTW 路径显示模型成功地生成了不同速度的表演，突出了框架的可控性。然而，PianoKontext 仍然缺乏期望的发音，如颤音、装饰音等表现性细节。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音频保真度评估 | Frechet Audio Distance (FAD) | 2.96 | 4.69 (CFG Bridge) | 提升约 37%，值越低越好 |
| 音频保真度评估 | Kernel Audio Distance (KAD) | 0.91 | 1.68 (CFG Bridge) | 提升约 46%，值越低越好 |
| 内容保存评估 | Pitch DTW (余弦相似度) | 0.888 | 0.856 (CFG Bridge) | 略优于基线，接近人类水平 0.883，值越高越好 |
| 对齐精度评估 | Alignment Precision | 0.630 | 0.466 (CFG Bridge) | 提升约 35%，值越高越好 |
| 对齐召回率评估 | Alignment Recall | 0.666 | 0.373 (CFG Bridge) | 提升约 79%，值越高越好 |
局限与改进
作者承认 PianoKontext 存在多个局限性。首先，模型缺乏期望的发音，如颤音、装饰音等表现性细节，这些是钢琴演奏的重要组成部分。其次，模型的序列长度限制在 $S=128$，对应约 $11$ 秒音频，这意味着模型无法生成完整长度的表演。第三，模型在 DTW 对齐精度和召回率上仍然低于人类水平（人类精度为 $0.829$，召回率为 $0.794$），这表明模型仍然可能偏离乐谱。第四，模型只在古典钢琴音乐上进行了评估，在其他乐器和音乐类型上的泛化能力尚未验证。最后，模型依赖于 DTW 预处理，这意味着对于没有对齐参考的表演，模型可能无法正常工作。
独立分析的弱点
PianoKontext 的主要弱点在于序列长度限制和发音细节的缺失。序列长度限制意味着模型无法生成完整长度的表演，这在实际应用中是一个严重的限制。一个可能的改进方向是采用分块生成策略，将长表演分成多个块分别生成，然后通过重叠区域平滑过渡。另一个改进方向是引入 outpainting 技术，使得模型能够从已有的表演片段生成新的片段，从而实现无限长度的表演生成。发音细节的缺失表明模型可能没有充分捕捉到钢琴演奏的细微差异，这可以通过引入更丰富的训练数据（包含更多表现性细节的表演）或者通过引入显式的发音建模来解决。此外，模型的评估主要依赖于客观指标，缺乏主观的音乐性评估，这可能导致模型在客观指标上表现良好，但在主观听感上仍然不够理想。
未来方向
作者提出了多个未来研究方向。首先，探索采用其他乐器如何影响模型对表现性的理解，以及如何将模型扩展到其他音乐类型。其次，扩展序列长度和引入 outpainting 技术以促进完整长度表演的生成。第三，进行更严格的音乐性评估，包括主观听感测试和专业钢琴演奏家的评价。基于当前的成果，还可以探索以下方向：将 PianoKontext 与其他音乐生成技术结合，如音乐补全、音乐编辑等；研究如何将模型应用于音乐教育，帮助学生理解表现性演奏；探索如何将模型与其他艺术形式结合，如视觉艺术、舞蹈等，创造跨艺术形式的作品。
复现评估
PianoKontext 的复现难度中等。论文提供了详细的实验设置，包括数据集来源、模型架构、训练超参数等。数据集由 MAESTRO（44.1-48 kHz 高质量钢琴表演）和 ASAP（乐谱）构建，使用 YDP Grand Piano soundfont 将 ASAP 乐谱合成为音频作为死板上下文。论文提供了数据集统计信息（训练集 118 个乐谱、399 个表演、34.21 小时；验证集 21 个乐谱、46 个表演、3.34 小时；测试集 39 个乐谱、74 个表演、5.91 小时），但没有提供数据集的下载链接。模型架构为 8 个 DiT 块，隐藏大小为 512，MLP 扩展比为 1，CFG Bridge 有 16 个注意力头，PianoKontext 有 8 个注意力头以增加每头维度。训练使用 AdamW 优化器，初始学习率为 $5 \times 10^{-4}$，权重衰减为 $0.01$，批大小为 128，使用指数移动平均。PianoKontext 训练了 120k 迭代，CFG Bridge 训练了 240k 迭代，训练在单个 NVIDIA RTX 4090 GPU 上进行。论文提供了演示页面链接，但没有提供代码链接，这增加了复现难度。
论文图表