← 返回 2026-02-13

NarraScore：通过层级情感控制桥接视觉叙事与音乐动态 NarraScore: Bridging Visual Narrative and Musical Dynamics via Hierarchical Affective Control

Yufan Wen, Zhaocheng Liu, YeGuo Hua, Ziyi Guo, Lihua Zhang, Chun Yuan, Jian Wu 📅 2026-02-09 👍 46 2026-07-13 08:35
多模态生成 情感计算 视觉语言模型 视频配乐生成 音乐生成
arXiv HuggingFace PDF

用冻结VLM提取情感曲线，双分支注入实现长视频叙事配乐生成

前置知识

Valence-Arousal (VA) 情感模型

Valence-Arousal 是心理学中描述情感状态的二维连续空间模型。Valence（效价）表示情感的正负极性，从消极到积极；Arousal（唤醒度）表示情感的激活程度，从平静到激动。在本文中，VA 被用作从视频帧中提取叙事情感轨迹的核心表示，每个时间步的情感状态被映射为二维连续向量 $e_t \in \mathbb{R}^2$，取值范围裁剪到 $[-1, 1]$。这种连续表示比离散情感标签更适合捕捉长视频中渐变的叙事张力。

本文的核心贡献之一就是将视频的视觉内容映射到 VA 空间，作为控制音乐生成的中间情感表征，理解这一模型是理解整个框架的关键。

Vision-Language Model (VLM)

视觉语言模型是经过大规模图文对训练的多模态模型，能够同时理解视觉和语言信息。本文使用 VideoLlama-3 作为视觉骨干网络，该模型能够处理视频序列并进行跨模态推理。关键的是，本文不微调 VLM 的主干参数，而是将其视为冻结的情感传感器，仅训练轻量级探针头来提取情感特征，从而利用 VLM 预训练中获得的丰富语义先验知识。

论文的核心创新在于发现冻结的 VLM 具有涌现的叙事理解能力，能够从原始像素流中推理出深层的叙事张力和情感演变，这是传统情感识别模型难以做到的。

自回归音乐生成模型 (MusicGen)

MusicGen 是一种基于 Transformer 的自回归音乐生成模型，能够从文本描述生成高质量音乐。它使用神经音频编解码器 EnCodec 将音频离散化为多码本的 token 序列，然后通过自回归方式逐 token 生成。本文采用 MusicGen-Small 作为声学解码器，保持其参数冻结，仅通过外部注入条件信号来引导生成过程。

本文的声学合成完全依赖 MusicGen 的生成能力，理解其自回归生成机制和交叉注意力条件注入方式，是理解双分支注入策略如何工作的基础。

交叉注意力 (Cross-Attention) 条件注入

交叉注意力是 Transformer 架构中的一种注意力机制，允许一个序列查询另一个序列的信息。在条件生成中，生成模型通过交叉注意力层来关注外部条件信号（如文本嵌入或语义描述），从而将条件信息融入生成过程。本文利用 MusicGen 原有的交叉注意力机制注入全局语义锚点 $S_{global}$，确保音乐的整体风格与叙事一致。

全局语义锚点通过交叉注意力注入是保持音乐风格稳定性的关键机制，与通过残差注入的局部情感适配器形成互补的双分支设计。

残差注入 (Residual Injection)

残差注入是一种将外部控制信号以加性偏置形式直接添加到神经网络隐藏状态的技术，公式为 $h^{(l)\prime}_t = h^{(l)}_t + \gamma \cdot C_{local,t}$。与修改模型架构不同，残差注入保持原始模型结构不变，仅通过可学习的缩放因子 $\gamma$ 控制注入强度。本文将此技术用于 Token 级情感适配器，将密集的情感控制信号注入到声学解码器的浅层 Transformer 块中。

这种极简的注入方式避免了复杂的架构克隆，以极低的参数开销实现了精细的叙事张力调制，是本文方法高效性的技术基础。

膨胀卷积 (Dilated Convolution)

膨胀卷积是一种在卷积核元素之间插入间隔的卷积操作，能够在不增加参数量的情况下扩大感受野。膨胀率越大，感受野越大，能够捕捉更长时间范围的依赖关系。本文在时间超分辨率适配器中使用膨胀卷积堆栈来平滑从稀疏视觉情感信号到密集声学 token 的上采样结果，扩展时间感受野以确保情感过渡的流畅性。

视觉帧率（1Hz）与声学 token 率之间存在显著的分辨率差异，膨胀卷积是弥合这一差距、避免阶梯状音乐过渡的关键技术组件。

研究动机

为长视频生成连贯的背景配乐是多媒体内容创作中的核心挑战，现有方法面临三个关键瓶颈。在计算可扩展性方面，基于密集帧级注意力的方法（如 MuVi、VMAS、GVMGen）在处理分钟级视频时面临二次方内存成本的限制，注意力稀释导致关键叙事线索被视觉冗余淹没。在时间连贯性方面，标准自回归模型缺乏全局语义锚点，导致严重的风格漂移，音乐身份在时间推移中逐渐碎片化。在语义理解方面，现有方法严重依赖表面层视觉表示（如 CLIP 特征），导致语义盲视——无法捕捉深层叙事逻辑，如逐渐上升的紧张感或情感释放，而这恰恰是电影级叙事配乐的核心需求。具体而言，Video2Music 依赖 CLIP 进行帧级情感分类，FAD 高达 14.954；GVMGen 的光谱分析显示高频区域存在大量随机噪声，表现为无序的像素级伪影；Caption2Music 的管线方案虽然使用了先进的视觉和音频模型，但信息瓶颈导致情感动态一致性评分仅为 2.66（5 分制）。

本文的目标是本文的具体目标是建立一个完全自主的长视频配乐生成范式，能够自动从原始视觉流中推断出连续的情感演变曲线，并以此为基础生成在全局风格稳定性和局部情感动态性上均达到专业水准的背景音乐。具体而言，系统需要实现：（1）从视频中自主提取叙事感知的 Valence-Arousal 连续情感轨迹，无需人工标注或外部分类器；（2）在保持整体音乐风格和结构连贯性的同时，使音乐能够动态响应视觉叙事的节奏和强度变化；（3）以极低的计算开销实现分钟级长视频的端到端配乐生成，避免现有方法的二次方内存瓶颈。实验表明，本文方法在 FAD 指标上达到 1.923，较最优基线 VidMuse 的 2.459 降低了 21.8%，同时在主观评估的所有五个维度上均获得最高评分。

与已有工作不同的是，本文的独特切入角度基于一个核心洞见：情感是深层叙事逻辑的高密度压缩。不同于现有方法依赖不稳定的外部分类器或昂贵的人工标注，本文提出潜在语义探测范式，利用冻结 VLM 的涌现能力作为连续情感传感器。这一角度的独特性体现在三个方面：首先，与依赖表面视觉特征的方法不同，本文利用 VLM 的深层推理能力来区分表面视觉冗余和深层叙事线索；其次，与需要外部情感分类器或人工标注的方法不同，本文通过指令驱动的语义引导，将 VLM 的通用目标识别能力转化为细腻的情感分析能力；最后，与将长视频简单视为扩展序列的方法不同，本文通过层级框架将宏观风格建模与微观张力追踪解耦，既保证了全局音乐身份的一致性，又实现了局部叙事同步的精细控制。

核心方法

NarraScore 是一个层级框架，核心思想是将视频到音乐的生成任务分解为两个正交维度：宏观尺度的氛围建模和微观尺度的张力追踪。从直觉上看，专业配乐师在创作时会同时考虑两个层面——全局的音乐风格和结构（如古典、电子、爵士）以及局部的情感起伏（如紧张、舒缓、高潮）。本文将这一专业工作流程形式化为计算框架：首先从视频流中提取两个解耦的先验——全局语义锚点 $S_{global}$ 和帧级情感轨迹 $E_{local}$，然后通过不同的条件路径将它们注入到冻结的声学解码器中。技术路线分为三个阶段：（1）叙事感知情感推理，使用冻结的 VLM 作为情感传感器提取连续的 VA 轨迹；（2）整体音乐概念化，通过 VLM 的结构化指令生成全局音乐描述；（3）层级声学合成，通过双流注入策略将两个层级的控制信号整合到预训练的 MusicGen 骨干中。生成过程被形式化为自回归序列预测：$$p(\mathbf{A} | V) = \prod_{t=1}^{T_a} p(a_t | a_{<t}, S_{global}, E_{local})$$。

本文的核心创新点是双分支注入策略，这一设计与已有方法存在本质区别。现有方法通常采用单一的条件注入机制，要么依赖密集帧级注意力（如 MuVi、GVMGen），要么依赖文本描述（如 Caption2Music），前者导致计算瓶颈和注意力稀释，后者导致信息瓶颈和时间粒度不足。NarraScore 的双分支设计将全局风格控制和局部情感调制解耦为两个独立但互补的通道：全局语义锚点 $S_{global}$ 通过 MusicGen 原有的交叉注意力机制注入，确保整体音乐结构和配器风格的一致性；局部情感适配器通过 Token 级残差注入 $h^{(l)\prime}_t = h^{(l)}_t + \gamma \cdot C_{local,t}$ 直接调制隐藏状态，实现精细的叙事张力控制。关键的技术选择是将情感注入限制在浅层 Transformer 块中（75% 的块），这一设计基于音乐生成模型中信息层级分布的观察——浅层负责对齐生成轨迹与连续情感约束，深层专注于优化声学保真度和和声连贯性。可学习缩放因子 $\gamma$ 初始化为零，确保训练初期模型保持原始分布。

方法步骤详情

NarraScore 的完整流程包括以下步骤：（1）叙事感知情感推理：将视频流离散化为 1Hz 的均匀序列，与文本语义时钟 $\tau_t$（格式为 Time:t s）交错排列，构建输入表示 $X = [T_{inst}, \tau_1, V_1, \tau_2, V_2, \ldots, \tau_T, V_T]$，其中 $T_{inst}$ 是优化后的系统指令，用于激活高层叙事推理路径。将此序列输入冻结的 VideoLlama-3，提取视觉 token 对应的上下文化隐藏状态 $Z_t \subset H^{(L)}$，通过空间平均池化获得帧级表征，再经两层 MLP 投影到 VA 平面，得到连续情感轨迹 $e_t = \text{Clip}_{[-1,1]} \text{MLP}_M(\frac{1}{|Z_t|} \sum_{z \in Z_t} z)$。（2）整体音乐概念化：利用 VLM 的指令遵循接口，强制其生成包含四个音乐维度的结构化描述——流派风格、配器纹理、情感氛围、节奏韵律，通过抑制视觉名词的引用实现模态解耦。（3）时间超分辨率：对稀疏的情感轨迹进行线性插值对齐到声学序列长度，再通过膨胀卷积堆栈平滑局部抖动，得到密集控制信号 $C_{local} = F_\phi(\text{Interp}(E_{local}))$。（4）双流注入：全局锚点通过交叉注意力注入，局部信号通过残差注入到浅层 Transformer 块。（5）滑动窗口推理：使用重叠滑动窗口策略处理长视频，前一窗口的末尾声学 token 作为下一窗口的提示前缀，确保音乐连续性。

技术新颖性

NarraScore 的技术新颖性体现在多个层面。首先，潜在语义探测范式是首次验证冻结 VLM 具有从原始像素流中推断连续情感轨迹的涌现能力，绕过了传统情感识别模型的数据瓶颈——这些模型受限于面部表情数据集（如 AFEW-VA、Aff-Wild2）的领域偏差，无法捕捉观众感知的诱发情感而非演员表达的表演情感。其次，极简投影策略采用 Token 级残差注入而非架构克隆，仅引入可忽略的参数开销（轻量级 MLP 探针和膨胀卷积适配器），却实现了精细的叙事张力调制，这与 ControlNet 等需要复制整个网络架构的方法形成鲜明对比。第三，分层注入策略基于音乐生成模型信息层级分布的观察，将情感控制限制在浅层（75% 的块），这一设计在控制精度和音频质量之间达到了最优平衡——实验表明，50% 和 100% 的注入比例均导致性能下降。最后，语义锚定的时间对齐策略使用语言学时钟而非刚性时间嵌入，有效利用了预训练骨干的架构先验，建立了连续的时空上下文用于情感推理。

Overview of our framework
Figure 2: Overview of our framework
Our Method of Token-Wise Control Injection
Figure 3: Our Method of Token-Wise Control Injection

实验结果

本文在客观和主观评估中均取得了最优性能。在客观评估中（Table 1），NarraScore 的 FAD 为 1.923，较最优基线 VidMuse 的 2.459 降低了 21.8%，较 GVMGen 的 2.362 降低了 18.6%；KLD 为 0.320，与 GVMGen 的 0.350 相比降低了 8.6%；IB 分数为 0.219，接近 GVMGen 的 0.213。值得注意的是，FD 指标为 36.411，高于 GVMGen 的 41.466 但低于 VidMuse 的 29.946，这可能反映了在分布匹配和语义对齐之间的权衡。在主观评估中（Table 2，长视频场景），NarraScore 在所有五个维度上均获得最高评分：情感动态一致性 (EDC) 2.86、全局风格匹配 (GSM) 3.02、长期连贯性 (LTC) 3.15、音乐质量 (MQ) 3.41、总体偏好 (OP) 3.06，其中 LTC 和 OP 的优势最为显著。在短视频场景中（Table 3），NarraScore 同样全面领先，EDC 3.11、GSM 3.36、LTC 3.24、MQ 3.52、OVR 3.32。消融实验（Table 4）揭示了各组件的贡献：去除 NAR 模块导致 FAD 从 1.923 升至 3.009（增加 56.5%），去除 HMC 模块导致 FAD 升至 2.235（增加 16.2%），验证了情感推理的核心重要性。使用 Gemini2.5pro 作为骨干时 FAD 为 2.322，但去除 HMC 后降至 1.906，表明大模型本身具有跨模态理解能力，HMC 反而可能约束其表达。75% 的注入比例是最优选择，50% 和 100% 均导致性能下降。

Quantitative comparison with state-of-the-art methods on objective metrics
Table 1: Quantitative comparison with state-of-the-art methods on objective metrics
Subjective Evaluation of Video-to-Music Generation on Long-form Videos
Table 2: Subjective Evaluation of Video-to-Music Generation on Long-form Videos
Subjective Evaluation of Video-to-Music Generation on Short- and Mid-length Videos
Table 3: Subjective Evaluation of Video-to-Music Generation on Short- and Mid-length Videos
Ablation study on key components and different LLM backbones
Table 4: Ablation study on key components and different LLM backbones
Visualization of the generated spectrograms and the corresponding narrative emotion curves
Figure 4: Visualization of the generated spectrograms and the corresponding narrative emotion curves
查看结构化数据
任务指标本文基线提升
长视频配乐生成 FAD (↓) 1.923 VidMuse 2.459 / GVMGen 2.362 较最优基线 VidMuse 降低 21.8%
长视频配乐生成 KLD (↓) 0.320 GVMGen 0.350 / VidMuse 0.734 较最优基线 GVMGen 降低 8.6%
长视频配乐生成 IB (↑) 0.219 GVMGen 0.213 / VidMuse 0.202 较最优基线 GVMGen 提升 2.8%
长视频主观评估 情感动态一致性 EDC 2.86 VidMuse 2.29 / GVMGen 1.65 较最优基线 VidMuse 提升 24.9%
长视频主观评估 总体偏好 OP 3.06 VidMuse 2.18 / GVMGen 1.34 较最优基线 VidMuse 提升 40.4%

局限与改进

作者承认的主要局限性包括：（1）情感控制的时间粒度有限，无法实现与快速视觉事件的逐帧完美同步，这是因为视觉帧率（1Hz）与声学 token 率之间存在显著的分辨率差异，尽管时间超分辨率适配器通过膨胀卷积进行了平滑处理，但对于瞬间的视觉冲击仍可能产生延迟响应；（2）级联设计存在误差传播风险，上游情感推理的错误会传递到下游音乐生成，这在复杂叙事场景中可能被放大。从个人观察来看，还有以下局限性：（3）实验规模有限，仅使用 884 分钟的视频数据集和 1351 分钟的音乐数据集，对于需要捕捉多样化叙事风格的通用配乐系统来说数据量可能不足；（4）用户研究仅涉及 10 名参与者，样本量较小可能影响主观评估的统计显著性；（5）论文未充分讨论对不同类型视频（如纪录片、动画、广告）的泛化能力，这些场景的叙事结构差异较大；（6）全局语义锚点依赖 VLM 生成的文本描述，这引入了语言空间的信息瓶颈，可能丢失某些细粒度的音乐直觉。

独立分析的弱点

本文存在几个值得关注的弱点：（1）情感轨迹提取的单向性：当前框架仅从视频提取情感轨迹来控制音乐生成，但忽略了音乐本身的情感反馈对叙事节奏的反向影响，真实的专业配乐创作是一个迭代调整的过程。改进方向可以探索双向情感对齐机制，让音乐生成结果反过来微调视觉情感的解读。（2）全局语义锚点的静态性：虽然局部情感是动态的，但全局锚点在整段视频中保持不变，对于具有多个场景转折的长视频（如电影预告片），单一的全局描述可能无法涵盖风格的演变。改进方向可以引入分段全局锚点或层次化风格描述。（3）情感空间的二维简化：VA 模型将复杂的情感状态压缩为两个维度，可能丢失如悲伤中的温暖或紧张中的期待等细腻情感层次。改进方向可以探索更高维的情感表征或混合离散-连续情感模型。（4）缺乏节奏和节拍的显式控制：当前框架通过情感轨迹隐式影响节奏，但缺乏对 BPM、节拍模式等音乐结构元素的直接控制，这可能导致生成的音乐在某些场景中缺乏精确的节奏同步。改进方向可以引入节奏先验作为额外的控制维度。

未来方向

作者提出和基于成果可延伸的未来研究方向包括：（1）端到端联合优化：当前级联设计存在误差传播风险，未来可以探索视频理解和音乐生成的端到端联合训练，通过梯度反向传播优化整个管道，同时需要解决两个模态之间的梯度冲突问题。（2）知识蒸馏压缩视觉骨干：VideoLlama-3 的计算开销仍然较大，可以通过知识蒸馏将其叙事推理能力迁移到更轻量的模型中，降低推理延迟以支持实时应用。（3）扩展情感控制粒度：探索亚秒级的情感控制，结合事件检测技术实现与快速视觉事件的精确同步，如动作场景中的打击点或恐怖场景中的惊吓时刻。（4）多模态情感数据集构建：当前连续情感标注数据的稀缺是整个领域的瓶颈，可以探索弱监督或自监督方法从电影配乐中自动提取情感标注。（5）用户可控的风格编辑：在自动推理的基础上增加用户干预接口，允许用户在全局风格和局部情感两个层级上进行精细调整，实现人机协作的配乐创作。（6）多语言和多文化扩展：探索不同文化背景下情感-音乐映射的差异，使系统能够生成符合不同文化审美的配乐。

复现评估

从复现角度来看，本文提供了相对完整的信息：（1）数据方面，论文使用了公开可用的基准数据集，包括用于视频情感预测的连续电影数据集和用于情感到音乐映射的音乐情感数据集，预处理流程清晰（Demucs 源分离、30 秒片段切分、15 秒重叠、静音比超过 40% 的样本被丢弃）；（2）模型方面，VideoLlama-3 和 MusicGen-Small 均为公开可获取的预训练模型，训练细节明确（Projector 150 epoch、Adapter 50 epoch、dropout 0.1）；（3）评估方面，客观指标（FAD、FD、KLD、IB）均为标准评估协议，主观评估的五个维度定义清晰。然而，存在一些复现障碍：（4）论文未明确说明是否开源代码和训练好的模型权重，这对于社区验证和扩展至关重要；（5）情感标注数据集的具体来源和获取方式未在论文中明确说明，仅提到使用公开数据集但未给出具体名称或链接；（6）主观评估仅涉及 10 名参与者，未说明参与者的专业背景和评估标准的详细定义，这可能影响评估结果的可比性；（7）论文提到的参数量和训练时间等计算资源需求未明确说明，对复现的硬件要求评估造成困难。

论文图表

Narrative-aware video background music generation
Figure 1: Narrative-aware video background music generation

该图展示了叙事感知视频配乐生成的概念对比。左侧显示基线方法仅依赖表面视觉特征，无法捕捉叙事张力或隐藏潜台词；右侧展示了本文方法如何利用全局剧情 $S_{global}$ 和局部情感 $E_{local}$ 来生成时间连贯且叙事共鸣的配乐。图中用曲线展示了情感轨迹如何从视觉叙事中提取并映射到音乐动态。

这张图是理解本文核心思想的入口，直观地展示了传统方法的局限性和本文方法的优势——从表面视觉特征到深层叙事逻辑的范式转变。