LoL：比更长还长，将视频生成扩展至小时级 LoL: Longer than Longer, Scaling Video Generation to Hour
通过多头RoPE抖动解决自回归视频生成中的注意力坍塌问题，首次实现12小时连续流式视频生成
前置知识
Rotary Position Embedding (RoPE)
旋转位置编码是一种将位置信息注入Transformer注意力机制的方法。对于位置索引 $t$ 和通道维度 $i$，RoPE通过旋转矩阵 $R(t, i) = \begin{pmatrix} \cos(t\theta_i) & -\sin(t\theta_i) \sin(t\theta_i) & \cos(t\theta_i) \end{pmatrix}$ 对查询和键向量进行旋转，其中 $\theta_i = \theta^{-2i/d}$ 是基础频率。这种设计使得注意力分数 $\langle q'_m, k'_n \rangle = \langle q_m, R(n-m) k_n \rangle$ 仅依赖于相对位置差 $n-m$，天然编码了相对位置信息。RoPE因其优秀的相对位置建模能力已成为现代Transformer架构中最广泛使用的位置编码方案。
本文的核心发现是RoPE的周期性本质导致了长时间生成中的注意力坍塌问题，理解RoPE的工作原理是理解问题根源和解决方案的关键。
Attention Sink（注意力汇聚）
注意力汇聚最初在StreamingLLM中提出，用于解决大语言模型在窗口注意力下的性能退化问题。其核心思想是保留初始token的KV缓存不被驱逐，这些token会自然地吸收大量注意力权重。在自回归视频生成中，初始帧被保留为"汇聚帧"（sink frames），用于增强生成的对齐性和稳定性。LongLive和Self-Forcing++等方法采用3个汇聚帧配合12帧的局部注意力窗口来支持分钟级视频生成。
汇聚帧虽然是稳定长视频生成的关键技术，但同时也是导致注意力坍塌的根本原因，理解其机制对于理解本文要解决的问题至关重要。
自回归视频生成
与传统的双向扩散模型不同，自回归视频生成通过从先前生成的帧预测下一帧来实现流式生成。这种方法利用KV缓存实现高效推理，支持更长的时间建模。代表性方法包括CausVid（非对称蒸馏）、Self-Forcing（分布对齐）、LongLive（注意力汇聚）和Self-Forcing++（扩展DMD公式）。这些方法通常基于双向教师模型进行蒸馏，训练短期窗口的学生模型用于流式推理，在单张H100上可以20fps的速度生成视频。
自回归范式是实现长视频生成的关键技术路线，但本文发现这种范式存在独特的注意力坍塌问题需要解决。
Distribution Matching Distillation (DMD)
分布匹配蒸馏是一种将双向扩散模型蒸馏为快速生成器的技术。其核心是计算反向KL散度损失 $\nabla_\theta \mathcal{L}_{DMD} \approx -\mathbb{E}_t \mathbb{E}_{z_i} \left[ s_T^\Phi(G_\theta(z_i), t) - s_S^\Phi(G_\theta(z_i), t) \right] \frac{dG_\theta(z_i)}{d\theta}$，通过匹配生成分布和数据分布来训练模型。Self-Forcing++将此公式扩展到长视野建模，结合窗口化自生成长序列和反向噪声初始化。
DMD是LongLive和Self-Forcing++等最先进方法的训练基础，理解它有助于理解这些方法的训练范式及其局限性。
多头注意力机制
Transformer的核心组件，通过在多个子空间并行计算注意力来捕获多样化的表示。每个头 $h$ 有独立的查询、键、值投影矩阵，计算 $\text{Attention}(Q_h, K_h, V_h) = \text{softmax}(Q_h K_h^T / \sqrt{d_k}) V_h$。多头设计使得模型能够同时关注不同类型的特征和关系，是现代Transformer架构的基础。
本文的核心创新是发现注意力坍塌源于多头注意力的同时同质化，并提出通过多头RoPE抖动来打破这种同步性。
研究动机
当前最先进的自回归长视频生成方法（如LongLive和Self-Forcing++）在使用注意力汇聚帧时遭遇一个严重的失败模式，本文称之为"汇聚坍塌"（sink-collapse）。具体表现为生成的内容反复回退到初始汇聚帧，导致突然的场景重置和循环运动模式。实验数据显示，LongLive在潜帧索引132和201处发生精确的坍塌，最大距离下降达73.06，平均下降30.54；Self-Forcing++同样在相同位置坍塌，最大下降68.07，平均下降34.11。这种坍塌与输入噪声或提示词无关，是一个系统性的问题。现有方法如RIFLEx虽然解决了双向模型中的重复问题，但将其归因于单一时间维度，在自回归设置中效果有限。更关键的是，位置插值（PI）虽然能缓解坍塌，但会导致动态度从34.62骤降至0.035，视频运动几乎停滞。
本文的目标是本文的具体目标是：（1）系统分析自回归视频生成中汇聚坍塌现象的根本原因；（2）提出一种轻量级、无需训练的方法来有效抑制坍塌；（3）在保持生成质量的同时将流式视频生成扩展到无限长度。最终目标是实现实时、流式、无限长度的视频生成，且质量衰减极小。作者成功生成了长达12小时的连续视频，据他们所知这是流式视频生成中最长的公开演示结果。
与已有工作不同的是，本文的独特切入角度在于发现了汇聚坍塌的根本原因不是单一位置编码维度的问题，而是RoPE周期性与多头注意力机制之间的固有冲突。具体而言，当多个注意力头同时对汇聚帧表现出高相位浓度时，会发生"跨头注意力同质化"现象，导致所有子空间同时从汇聚帧复制信息。这种洞察不同于RIFLEx将重复归因于单一时间维度的做法，而是揭示了多维度、多头协同导致的全局退化。基于此，本文提出通过多头RoPE抖动打破这种同步性，通过在不同注意力头的基础频率上引入微小扰动，使各头的相位对齐点错开，从而避免同时坍塌。
核心方法
本文的方法称为LoL（Longer than Longer），整体思路是先诊断问题根源再对症下药。首先，作者通过可视化分析发现汇聚坍塌发生在RoPE相位浓度达到局部最大值的时刻，这意味着多个频率分量与汇聚帧发生相位同步。其次，作者观察到坍塌时多个注意力头同时对汇聚帧分配异常高的权重，而正常帧则表现出多样化的注意力分布。基于这两个关键观察，解决方案自然浮现：通过在不同注意力头的RoPE基础频率上引入随机扰动（jitter），打破各头之间的相位对齐，从而避免同时坍塌。此外，作者还利用因果VAE的滑动窗口解码和RoPE的相对位置特性，实现了真正的无限长度流式生成。
本文的核心创新点是发现并解决"跨头注意力同质化"问题。与RIFLEx等方法认为重复源于单一时间维度不同，本文证明汇聚坍塌是所有RoPE维度共同作用的结果，通过相位相干核 $C(\Delta) = \frac{1}{K} \sum_{i=1}^{K} e^{j\omega_i \Delta}$ 度量的相位浓度在坍塌点达到局部最大值。更重要的是，问题不在于单个注意力头，而在于多头同时表现出对汇聚帧的强相似性。本文的本质区别在于：（1）将问题从单一维度扩展到多维度协同；（2）从单头分析扩展到多头同质化；（3）提出了一种简单但有效的解决方案——多头RoPE抖动，只需改变不同头的基础频率即可，完全无需训练。
方法步骤详情
LoL方法的具体步骤如下：（1）输入查询和键张量 $Q, K \in \mathbb{R}^{B \times T \times H \times D}$，基础频率 $\theta_0$ 和抖动尺度 $\sigma_\theta$；（2）计算频率指数 $\nu_i = -2i/d_{time}$，其中 $i = 0:D/2-1$；（3）对每个注意力头 $h = 1...H$，采样随机扰动 $\epsilon_h \sim U[-1, 1]$；（4）计算该头的扰动基础频率 $\hat{\theta}_h = \theta_0(1 + \sigma_\theta \epsilon_h)$；（5）生成该头的频率向量 $\omega_h = [\hat{\theta}_h^{\nu_0}, ..., \hat{\theta}_h^{\nu_{D/2-1}}]$；（6）使用头特定的频率执行RoPE旋转 $(Q'_h, K'_h) = \text{RoPERotate}(Q_h, K_h, \omega_h)$；（7）拼接所有头的结果 $Q' = [Q'_1, ..., Q'_H]$，$K' = [K'_1, ..., K'_H]$。对于无限生成，还需动态采样初始噪声和RoPE，并使用因果VAE的滑动窗口解码策略。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在问题定义上，首次系统识别并命名了自回归视频生成中的"汇聚坍塌"现象，区别于双向模型中的重复问题。其次，在原因分析上，创新性地引入"相位相干核"和"汇聚相对相位浓度"等概念来量化分析坍塌机制，揭示了RoPE周期性与多头注意力的固有冲突。第三，在解决方案上，多头RoPE抖动是一种极其轻量的方法——只需在每个头的RoPE频率上添加均匀分布的随机扰动，无需额外训练或架构修改。第四，在评估指标上，采用更严格的"汇聚坍塌最大值"和"汇聚坍塌平均值"指标来度量问题的严重程度。最后，在系统实现上，整合了因果VAE解码和动态噪声采样，实现了真正意义上的无限长度流式生成。
实验结果
本文的实验结果全面验证了方法的有效性。在LongLive模型上，LoL将汇聚坍塌最大值从73.06大幅降低至16.67（降低77.2%），平均值从30.54降至3.93（降低87.1%），同时保持动态度35.27（与基线34.62相当）。在Self-Forcing++上，最大值从68.07降至22.70（降低66.7%），平均值从34.11降至6.12（降低82.1%），动态度保持81.20（与基线83.32接近）。与位置插值（PI）相比，LoL在显著缓解坍塌的同时保持了相近的运动动态，而PI的动态度几乎降至零。与RIFLEx相比，LoL的坍塌分数大幅改善（RIFLEx的分数与直接外推相当）。在与其他自回归模型的对比中，LongLive(LoL)在100秒视频上的文本对齐27.80、时间质量88.69、动态度35.27均优于或接近原始LongLive。Self-Forcing++(LoL)的时间质量达到92.91（超过原始90.87），动态度81.20也表现优异。最关键的是，作者成功生成了长达12小时的连续流式视频，质量衰减极小。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LongLive长视频生成（100秒） | Sink-Collapse Max ↓ | 16.67 | 73.06 (PE), 4.97 (PI), 70.95 (RIFLEx) | 比PE降低77.2%，比RIFLEx降低76.5%，接近PI水平 |
| LongLive长视频生成（100秒） | Sink-Collapse Avg ↓ | 3.93 | 30.54 (PE), 2.27 (PI), 29.93 (RIFLEx) | 比PE降低87.1%，比RIFLEx降低86.9% |
| LongLive长视频生成（100秒） | Dynamic Degree ↑ | 35.27 | 34.62 (PE), 0.035 (PI), 35.11 (RIFLEx) | 保持与PE和RIFLEx相当的动态度，远优于PI |
| Self-Forcing++长视频生成（100秒） | Sink-Collapse Max ↓ | 22.70 | 68.07 (PE), 17.07 (PI), 66.56 (RIFLEx) | 比PE降低66.7%，比RIFLEx降低65.9% |
| Self-Forcing++长视频生成（100秒） | Dynamic Degree ↑ | 81.20 | 83.32 (PE), 1.95 (PI), 82.36 (RIFLEx) | 保持与PE和RIFLEx相当的高动态度 |
| 与自回归模型对比（75秒视频） | Temporal Quality ↑ | 88.78 (LongLive-LoL), 93.08 (SF++-LoL) | 88.64 (LongLive), 91.00 (SF++) | Self-Forcing++-LoL时间质量提升2.1% |
局限与改进
本文承认的局限性包括：（1）虽然方法无需训练，但微调或重训练可能进一步提升整体性能；（2）生成质量受限于底层模型（Wan2.1-T2V-1.3B，仅1.3B参数），模型从未在真实数据集上训练，性能受限于教师模型；（3）维持长时记忆仍然具有挑战性，特别是对于多小时视频；（4）给定RoPE的固有周期性，未来可能需要探索替代嵌入方案或高级训练策略；（5）目前模型在单GPU上以约16FPS的速度流式生成，效率仍有提升空间。从我的观察来看，方法依赖于特定的模型架构（因果VAE、局部注意力），可能难以直接迁移到其他架构；抖动尺度 $\sigma_\theta=0.8$ 的选择基于经验，缺乏理论指导；对于极端长视频（超过12小时），累积的相位扰动可能带来新的问题。
独立分析的弱点
本文存在几个值得关注的弱点。首先，多头RoPE抖动虽然有效，但其理论分析不够深入——为什么特定的抖动尺度0.8效果最佳？扰动分布选择均匀分布 $U[-1, 1]$ 是否最优？这些都缺乏理论支撑，仅通过实验验证。其次，方法的可解释性有限，虽然可视化了注意力热图，但对于抖动如何改变梯度流和训练动力学没有深入分析。第三，评估指标存在局限——"汇聚坍塌最大值"和"平均值"仅衡量与初始帧的距离，无法捕捉更复杂的质量退化模式（如逐渐模糊、色彩漂移等）。第四，实验仅在1.3B参数的小模型上验证，对于更大规模模型（如7B、13B）是否同样有效存疑。改进方向包括：（1）建立抖动尺度与RoPE频率分布的理论关系；（2）探索自适应抖动策略，根据生成进度动态调整；（3）设计更全面的长视频质量评估指标；（4）在更大规模模型上验证方法的可扩展性。
未来方向
作者提出了多个有前景的未来研究方向。首先，探索非周期性位置嵌入方案，从根本上解决RoPE周期性导致的问题，这可能需要设计全新的位置编码架构。其次，研究高级训练策略，如在检测到重复时遮蔽汇聚帧，或设计专门的长视频训练损失。第三，使用更强的基础模型，当前基于Wan2.1-T2V-1.3B的性能受限，更大的模型可能带来显著的质量提升。第四，整合更强的控制信号以提升可控性，如运动控制、风格控制等。第五，引入稀疏或线性注意力机制以提升可扩展性，支持更高分辨率和更长视频。基于本文成果可延伸的方向包括：（1）将多头抖动思想应用到其他序列建模任务（如长文本生成）；（2）研究抖动与模型剪枝、量化的协同效应；（3）探索分布式流式生成架构，支持多GPU并行生成超长视频；（4）开发交互式长视频编辑工具。
复现评估
从复现评估来看，本文具有较好的可复现性。方法本身是训练无关的（training-free），只需在推理阶段对RoPE频率进行简单的随机扰动，实现复杂度极低。作者基于开源的LongLive和Self-Forcing++模型进行实验，这些模型的代码和权重均可获取。实验设置清晰：局部注意力窗口12帧、汇聚帧3帧、基础频率10000、抖动尺度0.8。评估使用标准的VBench基准（128个提示词）和自定义的汇聚坍塌指标。然而，完整复现存在一些挑战：（1）需要单张H100 GPU（80GB显存）以20fps运行推理；（2）生成12小时视频需要大量计算时间；（3）LongLive和Self-Forcing++的训练代码可能不完全开源；（4）部分评估指标（如动态度）的具体计算细节需要从其他论文获取。总体而言，核心方法的复现难度低，但完整实验验证需要显著的计算资源。
论文图表
