APEX：面向AI生成音乐的大规模多任务美学感知流行度预测框架 APEX: Large-scale Multi-task Aesthetic-Informed Popularity Prediction for AI-Generated Music
首个用MERT冻结嵌入同时预测AI音乐流行度与5维美学评分的多任务框架
前置知识
MERT自监督音乐编码器
MERT是一种音乐版BERT式预训练Transformer,采用声学教师(RVQ-VAE)与音乐教师(CQT)双教师框架,可从原始音频提取捕获低层声学与高层音乐结构的多层隐藏态表征。
APEX的整个特征提取环节都建立在冻结的MERT-v1-95M之上,若不熟悉其多层表征含义,就无法理解为何作者选取第3、6、9与最末四层做Conv1d聚合。
多任务学习与损失加权
多任务学习用一个共享骨干同时学习多个相关目标;常见损失加权包括等权求和、人工权重、以及Kendall等人提出的同方差不确定性加权$\mathcal{L}_{total}=\sum_i \frac{1}{2\sigma_i^2}\mathcal{L}_i+\log\sigma_i$。
APEX在24组消融中对比了等权、手工加权($w=5.0/1.0$)、不确定性加权三种策略,最优的不确定性策略是文章核心发现之一。
SongEval五维美学评分
SongEval是面向AI生成歌曲的美学基准,提供1–5分的连贯性(coherence)、音乐性(musicality)、记忆性(memorability)、清晰度(clarity)、自然度(naturalness)五维专家评分。
APEX的5个辅助任务分支正是预测这五个维度的分数,整个消融表2都围绕如何更好预测它们展开,必须先理解五维语义才能解读结果。
音乐流行度预测与Hit Song Science
Hit Song Science研究用音频/歌词/元数据预测歌曲流行度,2014年Herremans等用有监督方法预测舞曲榜单以来,从手工特征、CNN、Lyrics-LM到LSTM的演进已积累近20年文献。
APEX属于该领域的最新工作,但场景从商业音乐切换到AI生成音乐,缺少艺人/厂牌等传统信号,因此motivation部分必须先理解既有方法体系。
分布外泛化与Music Arena偏好评估
Music Arena是文本到音乐模型的众包盲评基准,每条battle记录人类对同prompt下两首AI生成曲目的偏好。评估完全在训练时未见的生成系统上进行,是典型的分布外(OOD)测试。
APEX在Suno/Udio训练却在Music Arena上做偏好预测并取得AUC 0.642的SVM,OOD泛化能力是文章最重要的卖点之一。
研究动机
现有音乐流行度预测工作几乎都建立在商业发行曲库上,严重依赖艺人身份、营销曝光、历史听众行为等元数据信号。然而Suno、Udio等AI生成音乐平台每天产出海量歌曲,这些传统信号几乎完全缺失,模型被迫只能依赖音频本身。更棘手的是,学术界虽然已经为AI音乐开发出SongEval、AudioBox Aesthetics等多维美学评价基准,以及FAD、MuQ-Eval等自动化指标,但几乎所有客观美学指标与人类音乐偏好的对齐度都较差(Kader & Karmaker 2025综述指出),更没人研究过『美学质量』与『流行度』在AI音乐上是否相关,这是一个巨大的未解之谜。具体到数据,商业曲库的样本量(万级)与AI音乐平台(十万级以上)也差了一到两个数量级,使得传统CNN/LSTM模型在AI音乐上的扩展性受限。
本文的目标是本文提出APEX,目标有三:(1)构建首个针对AI生成音乐的大规模(211k首、约10k小时)流行度预测框架,证明仅凭音频嵌入就足以从Suno/Udio歌曲中学习流行度信号;(2)通过多任务学习同时预测两路流行度(streams/likes评分)与SongEval五维美学分数,系统研究『美学是否能辅助流行度预测』这一开放问题;(3)在Music Arena分布外基准上,用11个训练时从未见过的生成系统(包含Sonauto、ACEStep、ElevenLabs、MusicGen、Riffusion、Lyria等)的人类偏好battle验证APEX所学表征的泛化能力,证明美学特征对人类偏好预测有独立贡献。
与已有工作不同的是，本文独特切入角度是把『美学』显式建模为流行度预测的辅助任务,而非事后评估。具体而言,作者用Kendall不确定性损失让网络自动学习任务权重,让5维美学与2维流行度共享一个768→512→(384)→256的骨干;并在24组消融(3损失×2层数×2输入模式×2任务配置)中,以SongEval模型离线推断的5维分数作为伪标签,而非依赖昂贵的众包打分。这条『伪标签多任务+冻结音频预训练骨干』的技术路线,既绕过了美学标签稀缺,又让模型学到可迁移到全新生成架构的通用音乐表征,这是此前Hit Song Science研究不曾涉足的交叉领域。
核心方法
APEX的总体思路是『冻结MERT编码器+轻量多任务回归头』。先用一个在大规模商业音乐上自监督预训练的MERT-v1-95M Transformer作为通用音频特征提取器,把每首30秒片段转成768维向量;再让若干全连接共享层把多个任务的表征压到256维,最后并行接7个轻量回归头(2个流行度+5个美学)。训练在211k首Suno/Udio歌曲的SongEval伪标签上进行,采用3种损失加权策略×2种共享层深度×2种片段聚合模式×2种任务集合=24种配置,选出最优组合Model C。推理时再把APEX的7维预测用于Music Arena的1259场人类偏好battle,验证其分布外泛化能力。
APEX的核心创新是『把美学作为流行度的互补信号,在统一的多任务框架下学习』,与既有方法形成三方面本质区别:其一,主流Hit Song Science只用音频/歌词/元数据等单模态特征预测单任务,APEX则冻结MERT后让7个任务共享骨干,使美学与流行度互相正则化;其二,既有多任务工作多采用等权或手工加权损失,APEX系统对比了Kendall不确定性加权,在Model C上得到最低的streams MSE 700.56与最高likes Pearson 0.41;其三,既有AI音乐美学工作只评估生成质量,不与下游偏好关联,APEX是首个在Music Arena OOD偏好预测中明确证明『加入美学特征让SVM AUC从0.614升至0.642』的研究,这一差距约2.8个百分点的提升虽小但跨所有5个分类器都稳定存在。
方法步骤详情
方法分四步。第一步,音频切分与嵌入:每首歌曲转24 kHz单声道并以30秒无重叠窗切片,每段经MERT-v1-95M取第3、6、9与最末四层隐藏态做时间维mean-pool,得4个768维向量,再用Conv1d聚合成单一768维片段向量。第二步,多任务骨干:配置A/B/C(2层768→512→256)与D/E/F(3层768→512→384→256)两种共享层(Linear+BN+GELU+Dropout),接7个独立头(256→128→64→1),2个流行度头sigmoid到[0,100],5个美学头sigmoid到[1,5]。第三步,多任务损失:对比等权、手工权$w_i\in\{5,1\}$、Kendall不确定性权,AdamW(lr=1e-4)+余弦退火,batch=512,4×V100 DDP+混合精度+早停。第四步,下游使用:最佳Model C的7维预测喂给5种分类器做Music Arena的1259场偏好battle。
技术新颖性
技术新颖性体现在四点。其一,设计了『百分位幂函数』的流行度评分$s=(p/100)^\alpha \times 100$($\alpha=\ln 0.5/\ln 0.8\approx3.106$),把raw stream count映射到[0,100]并刻意压缩长尾,使第80百分位=50分,该评分可跨数据集迁移并支持DPO/RL训练。其二,提出SongEval伪标签驱动多任务的『零人工标注』方案,利用公开的SongEval评估模型对21万首Suno/Udio自动打分,避开了AI音乐美学标签稀缺的最大瓶颈。其三,设计了3×2×2×2=24组系统消融,从损失函数、骨干深度、片段聚合、任务集合四个维度并行扫参,得出『Model C(不确定损失+2层共享+Song mode+Full task)』这一最优配置,这一网格化实验设计在AI音乐领域尚属首次。其四,在完全分布外(11个未见生成系统)的1259场人类偏好battle上,AUC 0.642的SVM结果实证了『AI音乐学到的MERT表征能跨架构迁移』,这是对MERT泛化性的新证据。
实验结果
APEX在24组配置中表现强一致。流行度(Table 1):streams MSE 700.4–714.0、Pearson 0.33–0.35;likes MSE 659.2–677.2、Pearson 0.40–0.42;最佳Model C streams MSE 700.56、likes MAE 19.97。Song mode稳定优于segment mode约10个MSE;3层共享层仅带来0.4 MSE边际;不确定性加权优于等权与手工加权,后者在美学Pearson掉到0.59–0.64。美学(Table 2):MSE 0.166–0.289、Pearson 0.59–0.75,Model C以coherence MSE 0.166、Pearson 0.734领跑,naturalness最好预测、memorability最难。人类偏好(Table 3):SVM加入美学后AUC从0.614升至0.642(F1 0.524→0.595),5个分类器均稳定提升;instrumental子集AUC 0.686显著高于vocal子集0.560,印证美学有独立贡献。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AI音乐流行度预测(Streams Score) | MSE / MAE / Pearson (test set, ~25k songs) | Model C: MSE 700.56 / MAE 20.98 / Pearson 0.35 | 等权2层song-mode popularity-only: MSE 702.62 / MAE 21.00 / Pearson 0.34 | MSE-2.06, MAE-0.02, Pearson+0.01;最佳Model C相对pop-only基线在保持Pearson不变前提下稳定降低误差 |
| AI音乐流行度预测(Likes Score) | MSE / MAE / Pearson | Model C: MSE 661.76 / MAE 19.97 / Pearson 0.41 | 等权2层song-mode popularity-only: MSE 662.20 / MAE 20.00 / Pearson 0.41 | MSE-0.44, MAE-0.03;但加权Model B在likes上更优(MSE 660.42)说明likes对权重不敏感 |
| SongEval五维美学预测(以coherence为例) | MSE / MAE / Pearson | Model C: MSE 0.166 / MAE 0.304 / Pearson 0.734 | Model E(加权+3层+full): MSE 0.236 / MAE 0.362 / Pearson 0.592 | MSE-30%, Pearson+0.14;验证不确定性损失+轻量骨干对美学预测的显著优势 |
| Music Arena人类偏好battle预测(10折CV) | AUC / F1 (overall, instrumental, vocal) | SVM with aesthetics: AUC 0.642 / F1 0.595 (instr 0.686, vocal 0.560) | SVM without aesthetics: AUC 0.614 / F1 0.524 (instr 0.638, vocal 0.572) | Overall AUC+2.8, F1+7.1;所有5个分类器在加入美学特征后均稳定提升 |
| Naive规则基线偏好预测 | AUC (overall) | All features rule: AUC 0.535 | Likes only rule: AUC 0.518 | AUC+1.7,证明即便不用ML分类器,直接把7维分数求和也已超过单特征 |
| 输入模式消融(Song vs Segment) | Streams MSE | Song mode (Model A): MSE 702.62 | Segment mode (Model A): MSE 713.98 | MSE-11.36,降低~1.6%,说明片段级平均后再回归比逐片段回归再平均更有效 |
| 损失策略消融(以Model C/D为例,aesthetic coherence Pearson) | Pearson | Uncertainty(C): 0.734 | Equal(D): 0.643 / Weighted(E): 0.592 | Uncertainty比Equal高+0.091,比Weighted高+0.142,证明手工上调流行度权重反而损伤美学预测 |
局限与改进
作者明确承认三点:其一,虽然Model C在流行度与美学上同时SOTA,但full task与popularity-only的流行度差距几乎为0(Pearson同为0.35,MAE仅差0.02),意味着美学辅助任务在分布内并未转化为可测的流行度提升,辅助价值仅在OOD偏好预测上显现;其二,vocal子集AUC 0.560远低于instrumental 0.686,作者归因为AI生成歌声存在声学伪影,音频嵌入难以捕捉,在没有歌词/语义模态的情况下难以解决;其三,SongEval伪标签本身有上限,21万首Suno/Udio的标签来自一个SongEval模型而非人类评分,标签天花板会传导到APEX。作者未讨论但实际存在的局限:论文未报告训练集拟合情况,无法判断欠拟合还是已饱和;24组消融中『segment vs song』与『popularity vs full』未正交解耦,任务设置对片段聚合的隐含影响未单独分析;表3中naive rule和5个分类器F1均不高(0.4–0.6),意味着1259场battle对APEX预测只是弱信号而非决定性证据。
独立分析的弱点
独立分析的具体弱点:第一,流行度主任务的绝对指标偏低(streams Pearson 0.35、likes 0.41),说明MERT冻结嵌入对『流媒体消费行为』的解释力仍有限,改进方向是引入歌词/艺人匿名统计等弱模态。第二,SongEval伪标签存在同模型自训练式的『标签泄露』风险(SongEval模型本身也用音频嵌入),改进方向是用小规模人类评分校准或Multi-rater聚合。第三,21万首歌仅来自Suno和Udio两个平台,虽然Music Arena OOD给出间接证据,但在更广生成系统集合(如ACE-Step、YuE、Stable Audio 2)上是否依然领先未验证,改进方向是引入更多元化的AI音乐数据源。第四,论文没有消融『为什么MERT多层聚合用Conv1d优于平均』,也未比较不同预训练音频编码器(Jukemir/CLAP/MusicFM),改进方向是替换encoder做head-to-head对照。第五,OOD评估仅用1259场battle且prompt未公开,可能高估泛化性,改进方向是在更大规模公开benchmark上复现。
未来方向
作者提出的方向:一是开发『人声感知』专用模块以缩小vocal/instrumental之间的性能gap,可能需要在MERT之上加语音质量分支或歌词-音频对齐模块;二是把APEX预测作为奖励信号,通过DPO/RLHF微调文本到音乐生成模型,把『美学感知』嵌入到生成端而非仅评估端。基于本文成果可延伸的方向:(1)将伪标签多任务范式扩展到视频配乐、播客音乐等长尾场景,验证MERT通用音乐表征的边界;(2)把APEX的7维分数与可控生成(如Mubert、Stable Audio)接口,让用户能以『我希望这首歌更连贯、更自然』作为prompt引导生成;(3)将百分位幂函数评分$s=(p/100)^\alpha\times100$作为通用『难度归一化』工具用到推荐系统排序、冷启动评估等下游任务,使其跨数据集/跨时间窗可比;(4)利用APEX在11个未见生成系统上仍然work这一事实,做AI音乐模型的『零样本排名』应用,直接服务生成模型选型;(5)与LLM结合做『音乐评论自动化』,把7维分数反推为人类可读的『这首歌在连贯性8/10但自然度6/10』式报告。
复现评估
复现评估整体良好:作者开源代码(https://github.com/AMAAI-Lab/apex)与模型权重(https://huggingface.co/amaai-lab/apex);MERT-v1-95M、SongEval评估模型、Udio-126K与Suno-307K子集均为公开资源可直接下载;5种分类器(LR/RF/XGB/AdaB/SVM)与10折CV可由sklearn/XGBoost一行命令复现。算力门槛:训练使用4×V100 DDP,batch=512+混合精度意味着单卡A100也可训练,完整跑完24组消融约需数天到一周。难度评估:中等偏上——(a)音频嵌入提取需要resample到24 kHz、30秒切片、Conv1d聚合等预处理pipeline,代码未提供端到端脚本;(b)SongEval伪标签依赖外部模型有版本兼容风险;(c)Music Arena的battle需按月增量拉取并复现4个月过滤逻辑;(d)24组消融的完整调参空间未公开。对有PyTorch+Audio经验的研究者2–3周可复现核心结论,工程量集中在数据预处理与训练编排。
论文图表