TuneJury：改进音乐生成偏好对齐的开放指标 TuneJury: An Open Metric for Improving Music Generation Preference Alignment
基于人类成对偏好的音乐奖励模型，支持推理优化和后训练
前置知识
奖励模型（Reward Model）
奖励模型是深度强化学习中引入的设计，用于预测人类偏好。它接收输入（如文本提示和音频），输出一个标量分数，反映人类对该输出的偏好程度。在语言模型对齐中，奖励模型提供RLHF（从人类反馈中强化学习）的训练信号。音乐奖励模型的目标是预测听众对两个音频片段中哪一个更偏好的概率。
本文核心就是训练一个音乐奖励模型，理解奖励模型的工作原理对于理解 TuneJury 的目标、训练方法（RankNet成对逻辑损失）和下游应用（best-of-N选择、潜在优化、专家迭代）至关重要。
RankNet成对学习
RankNet是一种学习排序方法，采用共享权重的成对逻辑损失。对于一对样本（A, B），模型分别输出分数 s(A) 和 s(B)，然后计算 A 优于 B 的概率 P(A ≻ B) = σ(s(A) - s(B))，其中 σ 是 sigmoid 函数。训练时最小化这个概率与真实标签（0 或 1）之间的二元交叉熵损失 L = -log P(A ≻ B)。
TuneJury 的训练完全基于 RankNet 成对范式，损失函数的移位不变性使得分数无需固定锚点，这是理解模型校准特性和为何需要锚点校准技术的基础。
DITTO风格潜在优化
DITTO（Differentiable Text-to-Image Optimization with Feedback）是一种推理时优化方法，它不更新模型权重，而是通过反向传播优化初始噪声潜在变量。具体来说，在扩散模型的去噪过程中，每个去噪步骤都计算输出对奖励信号的梯度，然后更新噪声潜在向，使最终输出获得更高的奖励分数。
这是 TuneJury 的 Mode 2 应用，展示了如何将冻结的奖励信号通过采样链进行反向传播来优化生成结果。理解这种方法的原理有助于理解 TuneJury 在推理阶段如何改进音乐质量。
专家迭代（Expert Iteration）
专家迭代是一种自训练方法，包含三个步骤：1）从当前模型生成多个候选样本；2）使用外部评估器（如奖励模型）对这些样本进行评分，筛选出得分最高的子集（专家样本）；3）使用这些专家样本对模型进行有监督微调。这个过程可以迭代多次，让模型逐步学习产生更高奖励的样本。
这是 TuneJury 的 Mode 3 应用，展示了如何用冻结的奖励模型驱动生成模型的权重更新。论文中观察到的奖励-保真度权衡（reward-fidelity trade-off）是 reward hacking 的经典表现，理解这个机制对评估奖励模型的真实性很重要。
Bradley-Terry 模型
Bradley-Terry 模型是用于成对比较的概率模型，它假设每个项目有一个潜在能力参数 β_i，项目 i 击败项目 j 的概率为 P(i ≻ j) = exp(β_i) / (exp(β_i) + exp(β_j))。在锚点校准中，它在 TuneJury 的原始分数之上为每个生成系统添加一个偏置项，使得分数在新系统上重新对齐。
本文提出的锚点校准技术基于 Bradley-Terry 模型，它解决了新发布的音乐生成系统分数系统性偏移的问题，用远少于重新训练所需的数据就能恢复准确性，是论文的重要贡献之一。
研究动机
音乐偏好是主观的，这使得文本到音乐（TTM）系统的评估变得异常困难。现有的主流指标如 Fréchet 音频距离（FAD）及其编码器特定变体实际上并不直接解决偏好问题——它们测量的是与参考集在编码器空间中的相似性，而非人类偏好，并且它们描述的是整个集合而非单个片段。即使同一个 TTM 系统，不同生成的质量也存在显著变化。要选择听众更偏好的生成版本、追踪模型在不同提示词和流派上的表现，或者挑选哪些样本用于下一次微调，都需要一个能够反映人类偏好的每个片段的评估指标。另一种替代方案是绝对平均意见分数（MOS）回归，但这假设评分者共享一个评分标准，这个假设在主观评分任务中很脆弱，因为评分标准在不同会话和个体之间会发生漂移，对音乐而言这种漂移尤其强烈。
本文的目标是本文旨在引入 TuneJury，一个开放、实例级的成对奖励模型，用于文本到音乐生成。它接收文本提示和音频片段作为输入，预测音乐偏好分数。模型在公开可用的人类偏好标签上训练，覆盖竞技场风格投票、度量对齐偏好对、众包成对比较和专家审美评级等多个来源。训练出的模型能够在保持测试集上的良好校准的同时，推广到分布外的基准测试，并为推理时选择、潜在优化和专家迭代后训练三个下游应用提供一致的奖励轴增益。
与已有工作不同的是，本文的独特切入角度在于提出了一个精简的奖励模型设计，只评分（提示词、音频）数据点，不需要歌词或参考音频输入，并且仅使用约17.5K人类成对标签进行训练，无需伪标签增强。这与之前最直接的可比工作 CMI-RewardModel 形成鲜明对比，CMI-RM 消耗文本、歌词、参考音频和候选音频四个输入，输出两维（对齐度、质量）分数，在约6.6K人类成对对基础上还增加了约110K LLM伪标签。本文探究了两个核心问题：一个更精简的奖励模型能否在相同任务上达到可竞争的性能？仅用人类成对标签而非伪标签增强训练的模型能否达到竞争的准确率？
核心方法
TuneJury 采用共享权重的成对逻辑框架，在冻结的音频和文本编码器之上训练一个小的 MLP 头，将单个（提示词、音频）数据点映射到标量偏好分数。模型的直觉是通过学习人类在成对比较中的偏好模式，捕捉音乐偏好的群体层面概率而非绝对质量。技术路线上，输入使用三个预训练编码器的嵌入拼接：1024维 MERT-v1-330M 音频嵌入提供音乐预训练的音频表示，512维 LAION-CLAP 音频嵌入和512维 LAION-CLAP 文本嵌入提供配对的文本/音频特征。这2048维拼接向量通过一个四层 MLP 头（宽度[1024, 512, 256, 128]，约2.8M可训练参数），输出标量分数。训练使用 RankNet 成对逻辑损失，两个片段通过共享权重的头各前向传播一次，计算获胜概率 P(A ≻ B) = σ(s(A) - s(B))，最小化与偏好标签的二元交叉熵。
核心创新点在于设计了一个精简但有效的奖励模型架构。与 CMI-RM 相比，TuneJury 减少了输入维度（从 TLRA 四个输入减少到 TA 两个输入）、输出维度（从二维对齐-质量对减少到单一偏好标量）、模型规模（约2.8M参数 vs 约30M参数），并且完全依赖人类标注数据而不使用伪标签增强。这种精简设计在音乐场景（主要是器乐）中是合理的，因为歌词和参考音频在器乐生成中经常不被使用。另一个关键创新是锚点校准技术，一种事后、按系统的 Bradley-Terry 校准方法，允许 TuneJury 适应训练截止后发布的新的 TTM 系统，无需重新训练，仅用约1/25的校准数据就能达到与从头重新训练相当的准确性上限。
方法步骤详情
训练过程包含以下步骤：首先是特征提取，对每个音频片段分别提取 MERT-v1-330M 的1024维音频嵌入（最后一层隐藏状态的时间均值）和 LAION-CLAP-Music 的512维音频嵌入（模型默认池化）；对文本提示提取 LAION-CLAP 的512维文本嵌入（同样使用默认池化）。对于没有提示词的输入（如 SongEval 数据集），文本分支接收512维零向量。然后将三个嵌入按顺序 [CLAP音频, MERT音频, CLAP文本] 拼接成2048维向量。接下来通过共享权重的 MLP 头进行前向传播，输出标量分数 s(·)。对于训练对中的两个片段 A 和 B，计算获胜概率 P(A ≻ B) = σ(s(A) - s(B))，其中 σ 是 sigmoid 函数。最后计算损失 L = -log P(A ≻ B)（对于平局使用软标签0.5），使用 AdamW 优化器最小化损失，并基于验证损失进行早停。推理时只需要单个片段的前向传播，输出分数 s(·) 即可直接使用或与其他片段的分数进行比较。
技术新颖性
技术新颖性体现在三个方面：首先是精简设计哲学，通过大幅减少输入维度、输出维度和模型规模，证明了仅约2.8M参数和约17.5K人类成对标签就能训练出一个与需要约30M参数和约116.6K（人类+伪）标签的 CMI-RM 相竞争的奖励模型。其次是多头编码器鲁棒性，MLP 头模板对音乐预训练编码器的选择具有鲁棒性，保持头模板、训练过程和训练混合（排除 Music Arena，保留三个数据集）固定，将 CLAP+MERT 交换为 MuQ-MuLan-large 的1024维联合嵌入，在五个 OOD 轴中的四个上匹配或击败 CLAP+MERT 基线。第三是锚点校准的提出，针对新系统发布的现实问题，通过在冻结的 TuneJury 分数之上拟合每个系统的 Bradley-Terry 偏置项，仅用约100个截止后校准对就能恢复约5个百分点的准确率，而 K=10 的锚点已经匹配了需要 K=250 的从头重新训练的准确性上限。
实验结果
在内部评估上，TuneJury 在四个数据源汇聚的2,035对保留测试集（排除平局）上达到0.7086的成对准确率，期望校准误差（ECE）为0.0339。分数边距作为置信信号有效：随着预测边距 m = |s(A)-s(B)| 的增加，经验准确率从 m≤0.13 时的约0.46提升到 m≥2.64 时的约0.97。每个训练数据集都有贡献（留一排除重训练），移除一个数据集在其自己的测试集上损失0.029（MusicPrefs）到0.093（SongEval）的准确率。在外部 CMI-RewardBench 评估上，TuneJury 在 PAM（500片段）、MusicEval（413片段）、CMI-Pref（500对）和 Music Arena（1340对）四个测试分割上分别达到0.610、0.669、0.714和0.719。在无伪标签增强的匹配设置下，TuneJury 在约17.5K人类成对对和约2.8M参数的条件下，PAM SRCC 比 CMI-RewardBench 自己的无伪 CMI-RM 消融实验（6,647人类对，约30M参数）高+0.17，MusicEval 音乐性 SRCC 高+0.17。三个下游应用展示了冻结 TuneJury 的一致奖励轴增益：Mode 1 best-of-N 选择在四个冻结开放权重主干上严格单调，Top-1奖励在 N=32 之前随着 N 的增加而增加，每个主干每个加倍的增益在 N=4→8 时为[+0.178, +0.291]，在 N=16→32 时衰减到[+0.060, +0.144]。Mode 2 DITTO 风格潜在优化在 SAO-small 和 TangoFlux 上都提升了平均 TuneJury 奖励，低奖励的 TangoFlux（从-0.978提升到+0.578，增益+1.557）MAD 下降-2.214，CLAP分数上升+0.043，而高奖励的 SAO-small（从+0.159提升到+0.404，增益+0.245）MAD 上升+0.500，CLAP分数下降-0.007，暴露了经典 reward-exploitation 模式。Mode 3 专家迭代在 FluxAudio-S 主干上的学习率扫描映射了可调的奖励-保真度帕累托权衡，奖励增益随学习率单调增长（+0.166 → +0.369 → +0.416），MAD 显示阶梯模式：10^-6 和 5×10^-6 基本持平（+0.293和+0.284），10^-5 进一步显著上升（+0.669），CLAP分数基本持平小幅正偏移（+0.019 / +0.027 / +0.023），漂移是分布性的而非文本对齐损失。锚点校准用约100个截止后校准对恢复了约5个百分点的准确率，而 K=10 的锚点已经匹配了需要 K=250 的从头重新训练的准确性上限。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CMI-RewardBench PAM 音乐性评估 | SRCC（Spearman等级相关系数） | 0.6100 | PAM score (zero-shot) | TuneJury仅使用A-only部署时达到0.6731，比PAM score的0.6098高约0.063 |
| CMI-RewardBench MusicEval 音乐性评估 | SRCC | 0.6687 | PAM score (zero-shot) | TuneJury A-only为0.6618，与PAM score的0.6733基本持平 |
| CMI-RewardBench CMI-Pref 成对准确率 | 二元准确率 | 0.7140 | CMI-RM (full with pseudo) | 比完整CMI-RM的0.7343低约2个百分点，但匹配设计空间消融中-MA变体的0.7380 |
| CMI-RewardBench Music Arena 成对准确率 | 二元准确率 | 0.7194 | CMI-RM (full with pseudo) | 与SongEval-RM的0.7388和CMI-RM的0.7343在2个百分点内 |
| 内部测试集成对准确率 | 二元准确率（2035对） | 0.7086 | N/A（内部基准） | 人类上限探针中两位作者与发布投票的一致性为0.633和0.700，作者间一致性为0.867 |
局限与改进
作者承认的局限性包括： TuneJury 的校准和等级相关性依赖于四数据集混合和 LAION-CLAP+MERT 堆栈。真实音乐与 AI 音乐的校准信号稀疏（只有 AIME 的 MTG-Jamendo 子集），导致每系统 PAM 诊断显示真实音乐被低估（PAM 音乐性 MOS 排名第一但 TuneJury 均值排名第三）。声乐音乐覆盖较弱（主要是 Music Arena 和 SongEval）。竞技场片段（典型10-30秒）与 SongEval 完整曲目（中位数约3.4分钟）长度不同，推理时平均，因此丢失了长形式曲目内变化。校准箱边界是混合特定的。TuneJury 训练于2026年2月前的 Music Arena，在截止后分割上的一致性下降到约0.54（2026年2-3月）和约0.64原始（2026年4月）。另一个重要观察是 TuneJury 与 PAM 的音乐性 MOS 相关性（SRCC 0.610）远强于与文本对齐 MOS（SRCC 0.253），反映了训练标签的结构：竞技场风格成对偏好将多个评分者的考虑折叠成一个获胜者，MusicPrefs 在标注中排除对齐，SongEval 只评估审美轴，标量学习的复合轴更偏向音乐性而非对齐。
独立分析的弱点
独立分析的弱点首先是真实音乐校准不足，由于训练混合中真实与 AI 校准信号稀疏（只有 AIME 的 MTG-Jamendo 子集），且即使在那里 AIME 众包工作者对真实音乐的偏好仅弱于随机（在附录 F 中 MTG-Jamendo 真实音频基线赢得约59%的比较），学习到的标量对真实音乐相对于 AI 的缩放监督有限。改进方向是增加专门的真实与 AI 校准对，或在训练混合中加入更多包含真实音乐的基准。其次是声乐音乐覆盖弱，主要依赖 Music Arena 和 SongEval，限制了模型在声乐场景下的泛化能力。改进方向是扩展声乐能力主干用于 Mode 1，添加声乐音乐参考集用于分布性度量，收集真实与 AI 校准对来解决这个限制。第三是长度差异问题，竞技场片段（10-30秒）与 SongEval 完整曲目（中位数约3.4分钟）的长度差异导致长形式曲目内变化丢失。改进方向是考虑时间维度的建模或分段评分后聚合。第四是音乐性-对齐不对称，TuneJury 训练出的复合轴更偏向音乐性而非对齐，这可能不适合需要强文本对齐的应用。改进方向是在训练中明确加入对齐监督或设计多轴输出。
未来方向
作者提出的开放方向包括：混合实例级和成对监督的带对齐目标训练：将 SongEval 作为5轴实例级回归同时保留竞技场风格来源的成对目标，并在规模化上添加对齐监督头训练。扩展奖励驱动后训练：用 GRPO 替换 Mode 3 专家迭代应用于额外开放权重主干，并将 Mode 2 DITTO autograd 扩展到报告中两个之外的主干。声乐音乐范围扩展：用于 Mode 1 的声乐能力主干，用于分布性度量的声乐音乐参考集，以及解决声乐音乐覆盖限制所需的真实与 AI 校准对。基于成果可延伸的方向包括：伪标签增强的系统性研究，以测试对齐探头（附录 E 中 SRCC 在约900片段对齐标签 MOS 池的上限处尚未平台）的趋势是否继续；多轮专家迭代的稳定性研究，附录 H 中学习率 10^-6 的多轮探针显示奖励逐轮崩溃且 MAD 进一步漂移（第三轮降至基线以下），探索如何防止这种崩溃；奖励-保真度权衡的显式建模，将分布性或对齐侧面度量编码到专家过滤器中，以缓解 reward hacking；以及更精细的锚点校准策略，探索如何动态适应系统发布的时间分布而非固定的月度刷新。
复现评估
复现评估方面，论文完全开源：检查点、代码、聆听演示和七个开源集合上预计算的奖励分数都已公开发布（附录 I）。GitHub 仓库在 https://github.com/yonghyunk1m/TuneJury。训练数据来自四个公开来源（Music Arena、MusicPrefs、AIME、SongEval），全部在2025年新发布。模型架构清晰，仅 MLP 头约2.8M可训练参数，编码器使用标准预训练检查点。完整运行在单个中端 GPU 上几分钟内完成。超参数详细记录在附录 J。实验设置明确，包括 Mode 1 的 SDD-100 100提示内部子集、Mode 2 的 SAO-small（30提示子集）和 TangoFlux（完整100提示集）、Mode 3 的 FluxAudio-S 主干和专家迭代设置。分布性度量使用标准方法（FAD-CLAP、FAD-MERT、MAD），参考分布 SDD-706 明确指定。然而，Music Arena 数据依赖于持续更新的竞技场，复现者需要注意时间切分（2025年7月至2026年1月）和 bench-overlap 移除（移除所有出现在 CMI-RewardBench 1340对 Music Arena 测试分割中的 battle_uuid）。总体而言，复现难度较低，适合在单个 GPU 上运行。
论文图表
