时间回响：解锁视频到音频生成模型的长度泛化能力

提出MMHNet框架，训练短片段测试长视频，实现5分钟以上音频生成

前置知识

Video-to-Audio (V2A)

视频到音频生成任务，旨在从无声视频输入生成真实且语义对齐的音频。这对于增强音效工作流程很有潜力，特别是在电影和游戏领域。现有方法主要针对8-10秒的短格式音频生成，依赖于Transformer架构，通过扩散或自回归方式进行生成。V2A的核心挑战是实现音频与视频在语义和时序上的双重对齐，确保生成的声音既符合视觉内容又在时间上同步

本文核心问题是如何让训练在短片段上的模型能够泛化到长视频，这是V2A任务的实际应用瓶颈，直接关系到电影配音、游戏音效等场景的实用性

Positional Embeddings

Transformer模型需要位置嵌入来为token提供位置感知能力，因为self-attention本身是置换不变的。常见的位置嵌入方法包括RoPE（旋转位置编码）、绝对位置编码等。这些嵌入在训练时通常是固定的或基于可学习的参数，在推理时当序列长度超出训练范围时泛化能力差，需要通过NTK（Neural Tangent Kernel）缩放或位置插值等技术来扩展时间范围，但这些方法往往无法完全解决问题

论文的核心观察就是位置嵌入导致Transformer-based V2A模型难以泛化到长序列，这是MMHNet选择Mamba架构而非Transformer的关键原因

Mamba/Mamba-2

Mamba是一种基于状态空间模型（SSM）的序列建模架构，能够在$O(n)$时间内处理序列，无需显式位置嵌入。Mamba-2引入了更高效的参数化：$h_\ell = \alpha_\ell h_{\ell-1} + \gamma_\ell B_\ell x_\ell$，$y_\ell = C^\top h_\ell$，其中$\alpha_\ell = e^{\Delta_\ell A_\ell} \in (0, 1)$和$\gamma_\ell = \Delta_\ell$。矩阵形式为$Y = M \odot CB^\top X$，其中$M$是结构化掩码矩阵。Non-Causal Mamba-2允许全向信息流，使得全局隐藏状态可以同时组合所有模态，而不受扫描顺序约束

MMHNet选择Non-Causal Mamba-2替代Transformer的核心原因就是避免位置嵌入，实现更好的长度泛化，同时支持多模态的非因果融合

Flow Matching

Flow matching是一种生成式建模目标，通过学习条件速度向量场$v_\theta(t, c, x)$来生成样本。在推理时，从标准正态分布采样噪声$x_0$，然后用ODE求解器从$t=0$到$t=1$数值积分，生成样本。训练时最小化目标$\mathbb{E}_{t,(x_0,x_1,c) \sim q(x_0)q(x_1,c)} \|v_\theta(t, c, x_t) - u(x_t | x_0, x_1)\|^2$，其中插值点$x_t = t x_1 + (1-t) x_0$，真实速度$u(x_t | x_0, x_1) = x_1 - x_0$。本文在潜在空间执行flow matching以提高效率

本文采用flow matching作为生成目标，这是当前最先进的生成建模方法之一，比传统扩散模型更稳定高效

Hierarchical Routing

分层路由机制通过选择性地将重要token传递到主处理网络来减少token冗余。包括时间路由：基于相邻token相似度$p_\ell = \frac{1}{2}(1 - \text{sim}(q_\ell, k_{\ell-1}))$选择具有不同时间信息的token，保留时间边界处的token；多模态路由：基于跨模态相似度$p_\ell = (1 + \text{sim}(q^M_\ell, k^{M'}_\ell))^{-1/2}$选择关键token，其中相似度高于0.5的token被选中。这种路由通过压缩空间处理减少计算量，同时保留关键信息

这是MMHNet提高长视频处理效率、保持跨模态对齐的核心技术手段，使得模型能够处理超长序列而无需线性增加计算复杂度

研究动机

现有视频到音频生成模型，如MMAudio、Diff-Foley、FoleyCrafter、V-AURA等，主要针对8-10秒的短格式音频生成进行训练和优化。这些模型大多基于Transformer架构，依赖于位置嵌入如RoPE来提供位置感知。当应用于长视频到音频（LV2A）任务时，训练在固定长度片段（如8秒）上的模型难以在测试时适应更长的序列生成（如40秒、60秒甚至500秒），从而限制了在现实场景中的有效性。在公开的长音视频数据集如UnAV100和LongVale上，视频时长分布大多只覆盖到1分钟左右，但实际应用中电影片段、游戏场景往往需要数分钟的音频生成。现有模型在超过1分钟的视频上表现显著下降，音质和连贯性出现明显退化，图2(c)显示MMAudio在UnAV100上从10秒到60秒，分布匹配（FDP ANN）和多模态对齐（IB-Score）分数下降3-4分。此外，分段处理长视频虽然是一个替代方案，但往往导致音频体验碎片化，过渡不连贯，声效不匹配，因为无法捕捉长视频的全局语义连贯性

本文的目标是本文的核心目标是解决训练短片段、测试长视频的长度泛化问题。作者希望开发一个能够仅使用短片段训练数据（8秒）就能在推理时生成高质量、语义对齐的长视频音频（可达5分钟以上）的模型。具体来说，要在UnAV100（约2K视频，10-60秒）和LongVale（约1K视频，10-500秒）等长视频基准上取得state-of-the-art性能，在分布匹配（FD）、音质（IS）、语义一致性（IB-Score）和时间同步（DeSync）等多个维度上超越现有方法。模型需要具备两个关键能力：一是能够泛化到训练未见过的时长，二是能够在长视频上保持多模态对齐的质量，避免现有方法在长序列上出现的性能衰减

与已有工作不同的是，现有工作的主要切入点要么是改进短格式V2A模型的质量（如MMAudio的混合MMDiT架构，结合多模态和单模态DiT块），要么是专门为长视频设计的LoVA（基于DiT架构，但在超过1分钟后性能下降），或者是分段处理的agent-based方法（需要为每段提供准确文本描述并控制过渡）。本文的独特切入角度是重新审视问题本身——不再假设训练和测试的时长一致，而是明确将问题定义为多模态对齐在可变token长度之间的任务。通过系统性分析发现Transformer的位置嵌入是泛化的根本障碍（Figure 2的实证分析），作者选择从架构层面彻底解决问题，而非在推理时进行修补（如NTK缩放）。这种训练短、测试长的视角转换是本文的核心创新角度，首次将长度泛化作为V2A任务的明确研究目标

核心方法

MMHNet的整体思路是结合多模态视频到音频模型与分层网络架构，将任务重新定义为跨不同token长度的多模态对齐问题。方法采用直觉为先的分层框架：首先识别长视频音频中存在大量冗余信息，例如相似帧和相同时段的声音事件，然后通过路由机制只选择最重要的token进行处理，从而在保持关键信息的同时降低计算复杂度。技术路线上，作者采用MMAudio作为基础架构（遵循MM-DiT块架构，支持多流模态和单模态块），但其核心网络用Non-Causal Mamba-2替换Transformer的attention模块以避免位置嵌入问题。然后引入分层框架（HNet架构的扩展），包括压缩空间的多模态块处理和原始空间的细节处理，通过时间路由和多模态路由实现高效token选择。最后使用flow matching目标进行训练，在潜在空间执行以提高采样效率

核心创新点体现在三个方面：第一，用Non-Causal Mamba-2替代Transformer的attention模块，彻底避免位置嵌入带来的泛化问题，同时支持全向信息流以实现多模态的同时融合；第二，引入分层路由机制，包括时间路由（基于相邻token余弦相似度$ ext{sim}(q, k) = \frac{q^\top k}{\|q\|\|k\|}$选择不同时间信息的token）和多模态路由（基于跨模态相似度如Synchformer同步特征选择关键token）；第三，采用分块和去块策略，在早期层操作压缩空间减少token数量，后期层在原始空间恢复细节处理。这与现有方法的本质区别在于，不再依赖固定长度训练或分段处理（如agent-based方法），而是从架构设计上支持可变长度泛化，通过无位置嵌入的序列建模和分层token选择实现高效一致的长格式生成

方法步骤详情

方法的完整步骤如下：输入阶段接收视频特征（CLIP语义特征和Synchformer同步特征）、文本条件（CLIP文本表示）和噪声音频，通过自适应层归一化（adaLN）注入全局条件向量$c_g \in \mathbb{R}^{1 \times D}$。第一步是分块下采样：根据路由概率$p_\ell$选择边界标记，压缩编码器输出$x_s$为减少的向量集$x_{s+1}$。第二步是压缩空间处理：N个多模态块和N'个单模态块处理减少的token。时间路由层使用$p_\ell = \frac{1}{2}(1 - \text{sim}(q_\ell, k_{\ell-1}))$选择不同时间信息的token，多模态路由层使用$p_\ell = (1 + \text{sim}(q^M_\ell, k^{M'}_\ell))^{-1/2}$选择高相似度跨模态token，仅处理$b_\ell = 1_{\{\text{sim}(q_\ell, k_\ell') \geq 0.5\}}$的token。第三步是去块上采样：使用ST E（Straight-Through Estimator）$\text{STE}(a_\ell) = a_\ell + \text{stopgrad}(1 - a_\ell)$恢复token到原始维度，$\text{Upsampler}(\tilde{x}, a)_\ell = \text{STE}(a_\ell) \cdot \tilde{x}_\ell$。第四步是原始空间处理：再次经过N个多模态块和N'个单模态块进行细节处理。第五步是输出块：生成最终的速度向量场，用于flow matching的ODE求解器采样

技术新颖性

技术新颖性主要体现在四个方面：第一，首次系统性地将Mamba架构应用于长视频音频生成任务，证明了Non-Causal Mamba-2在多模态对齐中的优势，其无位置嵌入的特性天然支持长度泛化；第二，提出的分层路由机制（时间路由+多模态路由）是首次在V2A任务中通过token选择实现跨模态冗余减少，不同于传统的固定窗口或随机采样；第三，分块和去块策略与压缩空间的引入实现了效率和质量的平衡，在压缩空间进行多模态对齐减少token冗余，在原始空间恢复细节处理保证生成质量；第四，非因果建模支持全局感受野，利用视频条件的非因果特性（视频帧可离线获取）保持高质量音频合成。作者还进行了详细的消融实验验证每个组件的贡献，包括Transformer vs Causal Mamba-2 vs Non-Causal Mamba-2（Table 3）、分层vs非分层（Table 4）、以及路由阈值的敏感性分析（Table 5）

**Figure 3**: Overview of proposed framework

实验结果

实验结果显示MMHNet在UnAV100和LongVale数据集上全面超越现有方法。在UnAV100上，MMHNet-L（1.09B参数）的IB-score达到36.82，比次优的HunyuanVideo-Foley-XXL（5.13B）提高3.9分，比MMAudio-L+NTK提高6.03分；DeSync分数为0.410，明显优于LoVA（1.232）、MMAudio-L（0.593）和V-AURA（1.191）；FD_PANNs为5.29，优于所有基线。在LongVale上（视频最长500秒），MMHNet-L的FD_VGG=3.23，显著优于MMAudio-L（7.20）、LoVA（7.62）和HunyuanVideo-Foley-XXL（14.56），DeSync为0.465，比LoVA的1.233大幅降低0.768。消融实验验证了关键设计：Table 3显示Non-Causal Mamba-2在IB-Score（36.82）和DeSync（0.439）上最优；Table 4显示分层方法的FD_PANNs（5.87）和IB-Score（36.82）明显优于非分层（6.31、35.00）；Table 5显示路由阈值0.5时FD_VGG=1.80、IB-Score=36.27为最优。Figure 5的时长分析显示，MMAudio的FD_PANNs从10秒到60秒下降3.5分，而MMHNet能够稳定保持性能，证明了长度泛化能力。在VGGSound上（训练测试时长相同），MMHNet表现与MMAudio相当，验证了优势主要体现在泛化场景

**Table 1**: Comparison of methods on UnAV100 and LongVale

**Table 2**: Comparison on VGGSound with fixed ~10 seconds audio length

**Table 4**: Hierarchical vs non-hierarchical method comparison

**Table 5**: Comparison of various threshold values

**Figure 4**: Audio spectrogram visualization comparison

**Figure 5**: Performance across various duration splits

查看结构化数据

任务	指标	本文	基线	提升
UnAV100 LV2A	IB-Score (多模态对齐, 越高越好)	36.82 (L版)	HunyuanVideo-Foley-XXL	+3.9
UnAV100 LV2A	DeSync (时间同步, 越低越好, 秒)	0.410 (L版)	LoVA	-0.822
UnAV100 LV2A	FD_PANNs (分布匹配, 越低越好)	5.29 (L版)	HunyuanVideo-Foley-XXL	-4.99
LongVale LV2A	FD_VGG (分布匹配, 越低越好)	3.23 (L版)	MMAudio-L	-3.97
LongVale LV2A	DeSync (时间同步, 越低越好)	0.465 (L版)	LoVA	-0.768
LongVale LV2A	IB-Score (多模态对齐, 越高越好)	30.00 (L版)	MMAudio-L+NTK	+6.57

局限与改进

作者承认的局限性包括：第一，方法在VGGSound上（训练测试时长相同约10秒）表现与MMAudio相当（Table 2），FD_VGG=2.09略差于MMAudio-L的0.97，表明MMHNet的优势主要体现在长度泛化场景而非所有场景；第二，长视频生成仍可能存在语义漂移问题，虽然比自回归模型（如V-AURA）要好但未完全解决，作者提到这是一个持续挑战。我自己观察到的局限性：第一，论文未提供推理时间对比，分层路由虽然减少token数量但额外的相似度计算和分块去块操作可能增加预处理开销，对于实时应用可能成为瓶颈；第二，多模态路由依赖于预训练特征（Synchformer、CLIP）的质量，这些特征本身的限制会影响性能，例如在特殊视角、低光照或罕见物体场景下，预训练特征可能失效导致路由选择不准确；第三，最长测试时长为500秒（约8.3分钟），虽然比现有方法好，但更长的视频（如30分钟电影）是否适用仍需验证；第四，消融实验（Table 3）显示Causal Mamba-2在某些指标如FD_VGG（2.28）上甚至优于Non-Causal Mamba-2（3.35），表明设计选择并非在所有维度上绝对最优，可能存在权衡

独立分析的弱点

第一个独立分析的弱点是计算效率问题。虽然分层路由减少了token数量，但额外的相似度计算和分块去块操作增加了预处理开销。对于实时应用（如直播、游戏音效），这可能成为瓶颈。具体来说，时间路由需要计算相邻token的余弦相似度，多模态路由需要计算跨模态相似度，这些操作在长视频上累积起来可能抵消token减少的收益。改进方向可以是学习路由策略（使用小型MLP预测而非计算相似度）或预计算路由图，或者探索更高效的路由近似方法。第二个弱点是对预训练特征的依赖。多模态路由依赖于Synchformer和CLIP特征，如果这些特征在某些视频类型上失效（如特殊视角、低光照场景、罕见物体），路由选择会受影响，导致重要token被过滤或冗余token被保留。改进方向是引入自适应特征学习（与主网络联合训练特征编码器）或fallback机制（当相似度置信度低时回退到全token处理）。第三个弱点是阈值敏感性。Table 5显示路由阈值对性能影响较大，0.5最优但0.3-0.7变化导致FD_VGG从3.24到15.03，DeSync从0.460到1.210。这意味着方法需要针对不同数据集调参，缺乏鲁棒性。改进方向是学习阈值（使用可学习参数并梯度优化）或采用自适应阈值策略（基于相似度分布动态调整）

未来方向

作者提出的未来方向包括：第一，探索更长的视频时长（超过8分钟）以验证方法的极限，特别是对于电影完整场景或游戏过场动画的实际应用；第二，研究其他模态的组合（如深度、光流、动作识别特征）以增强对齐能力。基于成果可延伸的方向包括：第一，将MMHNet框架应用于其他多模态生成任务，如视频到音乐生成、图像到音频生成、音频到视频的反向生成任务；第二，结合自回归方法的优势，探索混合架构以兼顾长序列能力和细节生成，例如在粗粒度使用Mamba架构，在细节生成阶段使用自回归refinement；第三，研究端到端的路由学习而非基于预训练特征的启发式路由，允许路由策略与主任务联合优化；第四，探索在生成过程中动态调整token粒度的自适应分块策略，根据视频内容复杂度自动选择压缩级别；第五，将分层思想扩展到音频到视频的反向生成任务，实现双向的多模态理解与生成

复现评估

论文提供了项目页面https://echoesovertime.github.io，但正文未明确说明代码开源状态。训练数据使用VGGSound（8秒音视频数据）和多个文本到音频数据集，评估在UnAV100（约2K视频，10-60秒）和LongVale（约1K视频，10-500秒）数据集。模型有两个版本：S版157M参数（N=5个多模态块，N'=4个单模态块），L版1.09B参数（N=10，N'=7）。算力需求未明确说明，但考虑到参数规模和flow matching训练，应该需要多GPU配置，估计训练时间在数天到数周。实验设置相对清晰，包括架构细节、评估指标（FD使用VGGish/PaSST/PANNs，KL使用PANNs/PaSST，IS使用PANNs，IB-Score使用ImageBind，DeSync使用Synchformer在4.8秒窗口）和对比基线。补充材料提到提供架构细节和更多实验。复现难度中等，主要挑战在于数据集获取（UnAV100和LongVale可能需要申请）和计算资源。关键超参数如路由阈值0.5、flow matching的T步数等有明确说明，有利于复现

时间回响：解锁视频到音频生成模型的长度泛化能力 Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models