基于大语言模型的多模态音乐推荐系统 Multimodal Music Recommendation System using LLMs
提出融合音频、歌词、语义元数据和用户参与度信号的多模态音乐推荐框架，在LLaMA-3-70B等大模型上验证了多模态特征可提升Recall达95%、NDCG达79%
前置知识
序列推荐
序列推荐是根据用户历史行为的时序顺序预测下一个交互物品的推荐范式。与传统协同过滤不同，它假设用户偏好随时间动态演化，需要建模物品间的转移模式和长期依赖关系。常用模型包括SASRec（基于Transformer的自编码器）、BERT4Rec（双向编码器）和GRU4Rec（循环神经网络），它们将用户历史视为序列并学习从上下文到下一个物品的映射函数。
本文核心是在序列推荐框架上集成多模态内容特征，需要理解序列建模的基本原理才能把握LLM如何处理时序用户行为。
多模态融合
多模态融合是将来自不同模态（如音频、文本、图像）的特征表示整合成统一表示的技术。常见策略包括拼接（简单连接特征向量）、加权求和（学习各模态权重）、交叉注意力（用查询模态选择性关注其他模态）和FiLM调制（用特征对表示进行仿射变换）。有效融合需要解决模态对齐、噪声过滤和互补信息利用等挑战，避免简单拼接引入噪声。
本文核心贡献是系统比较了四种融合策略在音乐推荐中的效果，理解融合机制对于分析为何某些组合表现不佳至关重要。
MGPHot标注模式
MGPHot是一个音乐学标注框架，将流行音乐的声学、歌词和结构特征归纳为58个属性，分为7个大类：歌词（情感维度如Angry、Sad、Happy）、人声（音域、音色、呼吸感）、和声（调式、复杂度）、节奏（速度、摇摆感、切分）、器乐配器（鼓组、吉他、钢琴）、音色（现场/录音、原声/电子）、作曲（主唱焦点、旋律焦点）。每个属性用0-5的李克特量表评分，提供可解释的音乐特征描述。
本文使用LLM生成MGPHot风格的语义元数据，这个模式定义了音乐的高维语义空间，是超越简单流派标签的关键创新。
零样本学习
零样本学习是指模型在没有特定任务训练数据的情况下，仅通过预训练知识或指令提示直接完成新任务的能力。在LLM推荐场景中，零样本意味着不针对推荐任务微调LLM参数，而是将预训练的物品表示注入LLM输入空间，利用模型的通用语言理解能力进行推理。这种方式避免了昂贵的大模型微调，但性能高度依赖提示设计和特征对齐质量。
本文同时评估了零样本和微调设置，对比显示零样本下多模态特征效果不稳定，而微调后增益更稳健，这揭示了LLM利用内容特征的机制。
研究动机
现有音乐推荐系统主要将歌曲视为不透明的标识符，依赖用户交互历史的协同信号，忽略了歌曲本身的音频特征、歌词内容和语义属性。在数据稀疏或冷启动场景下，纯ID-based方法无法捕获歌曲间的声学相似性（如相似配器、相似能量）或语义关联（如相似情感主题、相似叙事视角）。虽然一些工作探索了LLM增强、多模态或文本增强的序列推荐，但尚未有研究在统一的LLM序列推理框架中同时建模语义、声学和参与度三种信号，并将推荐真正锚定在歌曲的实际内容上。
本文的目标是本文目标是构建一个基于LLM的多模态音乐推荐框架，系统性地研究如何将音频嵌入、歌词嵌入、LLM生成的语义元数据和用户听歌完成度信号整合到序列推荐任务中。通过扩展E4SRec框架并在LastFM-1K数据集上构建大规模多模态基准，作者希望回答：内容特征能提供多少超越协同信号的增量信息？不同模态应该如何融合？零样本和微调设置下多模态增益有何差异？
与已有工作不同的是，本文的独特切入角度在于系统性地构建端到端多模态数据管道，从原始LastFM-1K交互数据出发，通过音频下载、歌词爬取、LLM标注和完成度计算生成丰富的歌曲表示，然后在统一的LLM推荐框架下系统评估每种模态的贡献。与现有工作相比，本文不仅融合多种模态，还系统比较了四种融合策略、三个序列编码器、三个LLM骨干网络在零样本和微调设置下的组合，提供了当前最全面的多模态音乐推荐基准分析。
核心方法
方法整体思路是从用户交互序列出发，为每首歌构建多模态表示，然后通过LLM进行序列推理预测下一首歌。具体来说，作者首先处理LastFM-1K数据集，过滤用户少于1000次交互、歌曲少于7次播放的记录，按20分钟间隔分割会话，得到814个用户、421396个会话、295957首唯一歌曲。接着为Top-50K最热门歌曲提取四类特征：（1）音频特征：通过CLAP、MERT、Music2Vec、EnCodec等预训练模型提取的声学嵌入和Librosa计算的63维手工特征；（2）歌词特征：通过MiniLM、BGE-M3、MPNet等文本编码器提取的歌词语义嵌入；（3）语义元数据：使用GPT-5按MGPHot标注模式生成的58个音乐学属性评分，以及扩展的叙事结构、韵律复杂度等特征；（4）参与度信号：听歌完成度，区分完整播放和快速跳过。
核心创新点是将E4SRec框架扩展为支持多模态输入的通用架构，并在统一框架下系统评估了四种融合策略（拼接、加权求和、交叉注意力、FiLM调制）、三种序列编码器（SASRec、BERT4Rec、GRU4Rec）和三种LLM骨干（LLaMA-3-70B、LLaMA-2-13B、Qwen2.5-7B-Instruct）的组合。与现有方法相比，本文不依赖原始音频波形访问，而是使用外部提取的嵌入实现可扩展建模；同时发现简单拼接并非最优，LLM生成的结构化元数据比Spotify的数值属性更有用，完成度信号对不同编码器效果不同，这些发现揭示了多模态推荐的微妙之处。
方法步骤详情
方法步骤的完整描述如下：首先进行数据预处理，从LastFM-1K原始记录构建会话数据集，按90百分位时间戳切分训练集（80%会话）、验证集（10%用户）和测试集（10%最新交互）。然后进行特征提取，音频方面计算MFCC、频谱质心等手工特征并用预训练模型生成嵌入，歌词方面爬取文本并用多个文本编码器生成嵌入，元数据方面用GPT-5对每首歌曲的标题、艺术家和歌词进行MGPHot标注，得到58个属性的0-5评分。接着进行多模态融合，将物品ID嵌入、音频嵌入、歌词嵌入、元数据嵌入通过四种策略融合：拼接直接连接向量后线性投影，加权求和学习标量权重加权组合各模态，交叉注意力以ID嵌入为查询、内容嵌入为键值计算注意力，FiLM用内容嵌入生成缩放和偏移参数对ID嵌入进行仿射调制。最后进行参与度感知建模，将完成度与融合后的歌曲表示组合得到参与度感知表示，输入到序列编码器得到用户状态向量，最终通过评分函数预测下一首歌。
技术新颖性
技术新颖性体现在三个方面：首先构建了大规模多模态音乐推荐基准，这是首个同时整合音频、歌词、LLM生成元数据和参与度信号的数据集，包含50,029首歌曲、94.2%音频覆盖率、42种语言和81种流派，支持未来研究。其次是系统性的多模态融合分析，在统一框架下评估了18种配置（3个LLM乘以3个编码器乘以4种融合策略），发现不同融合策略的优劣依赖于LLM骨干和编码器组合，FiLM在微调设置下最稳健，而交叉注意力在零样本下更有效。最后是元数据生成的创新，通过GPT-5批量标注MGPHot属性并验证其与人工标注的一致性（平均Spearman相关系数0.40以上），证明LLM可以生成高质量的音乐学描述，为冷启动推荐提供了可解释的语义信号。
实验结果
核心发现体现在三个维度：零样本实验中，多模态特征增益高度依赖配置，LLaMA-3-70B与BERT4Rec组合时音频加歌词加元数据将Recall@20从0.089提升到0.124（39%）、NDCG@20从0.033提升到0.048（45%），但与SASRec组合时添加完成度反而将Recall@20从0.119降至0.091，表明完成度信号对不同编码器效果不同。微调实验中增益更稳健，LLaMA-2-13B微调后Audio加Lyric加Metadata配置使SASRec的Recall@20达到0.404、NDCG@20达到0.177，比ID-only基线的0.398和0.174分别提升1.5%和1.7%，虽然绝对提升不大但方向一致。嵌入器比较显示EnCodec在音频嵌入中表现最佳（Recall@20等于0.121），MPNet在歌词嵌入中最稳健（NDCG@10等于0.050），而BGE-M3和BERT在紧截断点接近零失效，说明对齐质量差异巨大。元数据分析发现MGPHot生成标签平均Recall@20等于0.122、NDCG@10等于0.024，优于Spotify属性的0.099和0.018，且两者简单拼接降至0.016，表明结构化语义标签比数值属性更易被LLM解释。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 会话音乐推荐 | Recall@20 | 0.404 (LLaMA-2-13B微调 + SASRec + Audio+Lyric+Meta) | 0.398 (ID-only基线) | +1.5% |
| 会话音乐推荐 | NDCG@20 | 0.177 (LLaMA-2-13B微调 + SASRec + Audio+Lyric+Meta) | 0.174 (ID-only基线) | +1.7% |
| 零样本推荐 | Recall@20 | 0.124 (LLaMA-3-70B + BERT4Rec + Audio+Lyric+Meta+CR) | 0.089 (ID-only基线) | +39% |
| 零样本推荐 | NDCG@20 | 0.048 (LLaMA-3-70B + BERT4Rec + Audio+Lyric+Meta+CR) | 0.033 (ID-only基线) | +45% |
局限与改进
局限性分析体现在四个方面：首先多模态增益并非始终正向，在零样本设置下某些组合（如LLaMA-3-70B加SASRec添加完成度）导致性能下降，说明内容特征与LLM的预训练知识存在对齐问题。其次音频嵌入覆盖率仅94.2%，歌词爬取成功率可能更低，冷启动歌曲可能缺乏完整特征，限制了多模态方法的全局适用性。第三LLM生成元数据的质量依赖模型对歌曲的先验知识，对于冷门或新歌可能产生幻觉，虽然MGPHot验证显示平均相关系数0.40，但节奏和作曲类属性相关性仅0.30左右。第四实验数据来自2005-2009年的LastFM-1K，可能无法反映当前流行音乐的特征分布和用户偏好模式，且实验仅评估了短期会话推荐，未测试长期用户画像建模或跨会话迁移能力。作者还承认未深入分析多语言场景下的表现差异，虽然数据集包含42种语言但主实验可能以英语歌曲为主。
独立分析的弱点
独立分析的弱点体现在三个场景：冷启动场景中，新歌既无交互历史又可能缺乏高质量音频或歌词数据，当前依赖LLM生成元数据的方法可能不可靠，因为模型对未见过歌曲的先验知识有限，改进方向是利用跨模态检索从相似歌曲推断元数据，或训练专门的音乐属性预测模型。多语言场景中，当前歌词嵌入主要基于英语预训练模型，对非英语歌词的语义捕捉可能不足，且LLM生成的元数据可能受英语文化偏见影响，改进方向是使用多语言文本编码器和训练数据更均衡的LLM。计算效率方面，当前方法需要提取和存储多模态嵌入，推理时计算复杂度随模态数增加，对于实时推荐系统可能成为瓶颈，改进方向是研究模态重要性预测机制，动态选择最相关的子集特征或通过知识蒸馏压缩多模态模型。另一个关键弱点是缺乏对负面样本建模，当前仅使用完成度区分强弱偏好，但用户主动跳过和被动被中断可能是不同信号，改进方向是引入显式的跳过行为建模和更细粒度的参与度特征。
未来方向
未来研究方向包括：探索更鲁棒的跨模态对齐和融合策略，当前简单拼接和加权求和效果有限，可以借鉴对比学习或跨模态Transformer对齐音频、歌词和元数据空间，或者学习任务感知的模态权重组合。研究更大规模的多语言设置，扩展数据集覆盖更多语种和文化背景，评估多模态特征在跨语言迁移学习中的表现，以及如何利用语言无关的音频信号弥补语言缺失。在冷启动推荐场景下系统评估多模态方法的性能，特别是对于完全新歌如何仅从音频或元数据预测其推荐潜力，以及如何结合零样本学习和协同过滤快速积累新歌的交互信号。评估用户长期偏好建模，将短期会话推荐扩展到长期用户画像，研究多模态特征在捕获用户品味演化中的作用，例如如何从音频偏好预测用户对新兴流派或艺术家的接受度。最后可以探索生成式推荐范式，利用LLM生成推荐理由或个性化歌单介绍，将推荐从黑盒预测转向可解释的对话式交互。
复现评估
复现评估：作者已将多模态基准数据集发布在Zenodo（DOI:10.5281/zenodo.20431748），包含处理后的LastFM-1K交互记录、音频嵌入、歌词嵌入、LLM生成元数据和完成度信号，这大大降低了复现门槛。代码未明确开源但论文提供了详细的超参数设置和评估协议，包括训练/验证/测试切分方法（90百分位时间戳）、评估指标（Recall@K、NDCG@K在K等于5/10/20）和基线配置（E4SRec复现）。计算资源方面，LLM推理需要4-bit量化的LLaMA-3-70B或类似规模模型，估计需要至少24GB显存（可能需要A100），音频提取需要YouTube下载和预处理管道，歌词爬取需要网页解析，整体复现难度中等偏高。数据依赖方面，音频下载可能受版权或地区限制，部分歌曲可能无法获取，且Spotify和ReccoBeats API的调用需要访问权限，这些外部依赖可能影响完整复现。综合来看，核心实验（给定多模态特征的推荐性能评估）复现难度适中，但端到端数据构建管道复现较复杂，建议直接使用作者发布的基准数据集。
论文图表
