CMI-RewardBench：基于组合多模态指令评估音乐奖励模型 CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction

CMI-RM 的方法流程分为以下步骤：（1）数据准备：从 12 个开源模型和 11 个商业 API（包括 Suno v3.5-v5、Stable Audio 2.0、Minimax-Music-2.0、Mureka 等）生成音频，构建 CMI-Pref-Pseudo（110k 伪标签对）和 CMI-Pref（4,027 人工标注对）。伪标签通过 Qwen3-Omni 的双向评估（正序和反序）获得，仅保留两次判断一致的样本。（2）编码阶段：给定组合提示 $P = (t, l, a_{\text{ref}})$，文本 $t$ 和歌词 $l$ 分别通过 MuQ-MuLan 文本编码器获得 $E_t$ 和 $E_l$，参考音频 $a_{\text{ref}}$ 通过音频编码器获得 $E_{a_{\text{ref}}}$，评估音频 $a_{\text{eval}}$ 通过音频编码器获得 $E_{a_{\text{eval}}}$。空模态填零。（3）提示融合：通过 4 层 Prompt Transformer 融合提示组件：$h_{\text{prompt}} = \text{PromptTF}([E_t; E_l; E_{a_{\text{ref}}}])$。（4）交互建模：通过单层 Joint Transformer 建模提示与评估音频的交互：$[h_{\text{prompt}}; h_{\text{eval}}] = \text{JointTF}([h_{\text{prompt}}; E_{a_{\text{eval}}}])$。（5）得分预测：提取评估音频对应的隐藏状态，经时间池化和 MLP 投影得到 $(s_{\text{ALI}}, s_{\text{MUS}}) = \text{MLP}(\text{Pool}(h_{\text{eval}}))$。（6）Stage 1 预训练：在 CMI-Pref-Pseudo 上用 Bradley-Terry 损失训练 2k 步，batch size 48，标签平滑 $\varepsilon = 0.2$。（7）Stage 2 微调：在 CMI-Pref 训练集 + MusicEval 训练集的混合数据上微调，对成对偏好用 Bradley-Terry 损失，对标量评分用 MSE 回归损失 $\mathcal{L}_{\text{reg}} = \text{MSE}(2\tanh(as+b)+3, y)$，通过早停选择最优检查点。

CMI-RM 的技术新颖性体现在多个层面。首先，在任务定义层面，本文首次提出了「组合多模态指令对齐」的评估框架，将音乐评估从单一模态条件扩展到文本、歌词、参考音频的任意组合，这在音乐 AI 领域是全新的。其次，在数据构建层面，CMI-Pref-Pseudo 的位置一致性过滤策略（正序+反序双向评估，仅保留一致样本）有效缓解了 LLM 伪标签中的位置偏差——实验显示原始分布中 Musicality 的 A 胜率从 51.96% 波动到 59.27%，过滤后稳定在 57.80%。第三，在模型架构层面，30M 参数的轻量级设计（仅训练奖励头，编码器全部冻结）使得模型在参数效率上远优于直接使用通用多模态 LLM（如 Gemini Pro 系列），同时在特定任务上表现更优。第四，在训练策略层面，两阶段训练中的标签平滑机制使伪标签预训练真正有效：无平滑时预训练后微调仅达 75.2%/71.0%（Musicality/Alignment），加入平滑后提升到 77.8%/74.0%，验证了缓解过度自信决策边界对跨分布迁移的关键作用。

从独立分析角度看，CMI-RM 存在几个值得关注的弱点。第一，编码器完全冻结的设计限制了跨模态融合能力。Flan-T5 替换实验表明，当前瓶颈在于跨模态音频-文本融合而非文本编码器容量，但完全冻结意味着模型无法学习更深层的跨模态交互。一个可能的改进方向是对编码器进行 LoRA 微调或使用更先进的跨模态注意力机制（如 Perceiver Resampler）来增强融合能力。第二，推理时长的处理不够灵活。实验显示仅使用前 10 秒音频（first 10）在某些子集上可达 77.6% 准确率，但与完整 120 秒推理的 LCC 仅 0.8728，说明短音频对长程音乐结构的捕捉不足。可以探索分层推理策略或长程注意力机制来改善这一问题。第三，伪标签来源单一（主要依赖 Qwen3-Omni）。虽然混合 Qwen+Gemini 伪标签的消融显示效果不稳定，但可能需要探索更系统的多教师蒸馏策略（如加权投票或教师置信度加权）。第四，模型仅输出 Musicality 和 Alignment 两个维度的得分，而 SongEval 有五个美学维度（coherence, memorability, naturalness, clarity, overall），AudioBox 有四个维度（PQ, PC, CE, CU）。更细粒度的评估维度可能提供更丰富的训练信号和更精细的模型诊断能力。

本文作者和基于本文成果可以延伸出多个研究方向。作者提出的方向包括：将 CMI-RewardBench 扩展到更多现有数据集（如 AIME、MusicPref、SongEval）作为额外训练集；探索更可靠的长程结构和文本-音乐关系的利用方式。基于本文成果可以延伸的方向包括：第一，将 CMI-RM 应用于完整的 RLHF 流程（如 PPO 或 DPO）来优化音乐生成模型，而非仅用于推理时过滤；第二，开发实时的、支持流式输入的奖励模型，适配 Magenta RealTime 等实时音乐生成系统；第三，将组合多模态指令评估框架扩展到视频配乐、游戏音效等更复杂的多模态场景；第四，研究奖励模型的可解释性——CMI-Pref 已包含人类标注的理由文本（rationale），可以利用这些文本来训练可解释的奖励模型；第五，探索跨文化音乐偏好的建模，当前数据以英语为主，未来可以扩展到多语言、多文化背景下的音乐审美差异研究。

本文的复现条件相对友好。代码已在 GitHub 开源，模型权重以 CMI-RM 名称发布，数据集 CMI-Pref-Pseudo 和 CMI-Pref 以 CC-BY-NC-SA 许可证发布。架构上 CMI-RM 仅约 30M 可训练参数，训练分两阶段：Stage 1 在 110k 样本上训练 2k 步（batch size 48），Stage 2 在 6,647 样本上早停（约 250 步），整体训练成本较低，单张消费级 GPU 即可完成。编码器全部冻结，进一步降低了显存需求。但复现存在几个挑战：第一，训练数据来自 23 个模型/API 的生成结果，其中包含商业 API（如 Suno v3.5-v5），完整复现数据构建流程需要这些 API 的访问权限；第二，人工标注数据（CMI-Pref）由 31 名标注者构建，复现同等质量的标注需要组建专业标注团队并遵循严格的标注协议；第三，评估基准整合了 PAM、MusicEval、Music Arena 等外部数据集，部分数据集的获取和预处理可能需要额外工作。总体而言，模型训练本身易于复现，但数据构建和评估生态的完整复现需要中等程度的资源投入。