滚动水槽：弥合自回归视频扩散模型中有限时域训练与开放时域测试的鸿沟

仅用5秒视频训练，测试时可生成长达30分钟的高质量自回归视频

前置知识

自回归视频扩散模型（AR Video Diffusion）

与传统视频扩散模型使用双向注意力同时去噪所有帧不同，自回归视频扩散模型将视频生成分解为一系列条件分布 $p_\theta(\boldsymbol{y}_i | \boldsymbol{y}_{[0,i)}, c)$，每一步基于之前生成的帧来预测下一帧（或下一帧块）。每个生成步骤本身是一个去噪扩散过程，通过多步迭代从噪声中恢复干净帧。这种架构天然支持流式生成和开放式生成。

本文的核心方法建立在自回归视频扩散模型之上，理解其工作原理是理解论文的关键前提。

暴露偏差（Exposure Bias）

这是序列生成模型中的经典问题。训练时模型看到的是真实的前序数据（teacher forcing），但测试时必须依赖自己生成的、可能不完美的输出。这种训练-测试分布的不匹配会导致错误累积。在本文中，作者将AR视频扩散模型在长时域生成时的质量退化重新诠释为一种暴露偏差——有限时域训练与开放时域测试之间的不匹配。

这是论文对AR漂移问题的理论解释框架，理解暴露偏差有助于理解为什么现有方法在长视频生成中失败。

自回归缓存（AR Cache）

在自回归视频生成中，模型需要记住之前生成的内容作为条件输入。这个「记忆」就是AR缓存——它存储了之前生成帧的干净潜在表示（clean latent），在每一步生成时被拼接到当前帧的token中，通过自注意力机制影响新帧的生成。缓存的维护方式直接决定了生成视频的质量和一致性。

本文的核心创新在于如何维护这个缓存，使其在测试时保持与训练时一致的特性，这是理解整篇论文的关键。

Attention Sink

借鉴自大型语言模型的经验，Attention Sink是指将最初生成的一些token（sink blocks）固定在缓存中不被替换。这些早期生成的token通常质量最高、漂移最小，因为它们是在训练分布内生成的。在视频生成中，这相当于保留视频开头的几帧作为稳定的参考锚点。

这是本文方法的起点，也是现有方法（如LongLive）使用的技术，理解它的优缺点是理解Rolling Sink改进的关键。

RoPE位置编码

旋转位置编码（Rotary Position Embedding）通过旋转矩阵将位置信息编码到注意力机制中。每个token的位置由一个角度决定，不同频率维度的旋转速度不同。在长序列生成中，高频维度会快速饱和（角度转回起点），低频维度变化太慢，都无法提供有效的位置信息，这可能导致长时域生成中的时序不稳定。

论文讨论了RoPE在长序列中的局限性以及通过sliding indices策略来缓解这个问题的方法。

研究动机

当前自回归视频扩散模型虽然架构上支持开放式生成，但由于训练时使用的是固定时长的短视频片段（如Self Forcing仅用5秒、16FPS训练），当测试时生成超过训练时长的视频时，会出现严重的视觉质量退化，即所谓的「AR漂移」。这种退化具体表现为：主体身份不一致（人物外观随时间变化）、颜色过饱和（色彩越来越鲜艳失真）、动态消失（运动逐渐停滞）以及结构崩塌（场景几何结构扭曲变形）。更具体地说，在1分钟的视频生成中，通常会在约33秒和50秒处出现两次显著的帧闪烁，之后生成往往会坍缩为重复帧。这种问题的本质是一种暴露偏差——模型在训练时从未见过超过5秒的序列，因此在更长的序列上缺乏足够的正则化，导致预测逐渐偏离正确分布。

本文的目标是本文的目标是提出一种无需额外训练的方法，能够在测试时将仅用5秒视频训练的AR视频扩散模型扩展到超长时域（如5-30分钟），同时保持与训练窗口内相同的高质量生成效果。具体而言，生成的视频需要满足：主体身份一致性（人物/物体外观不随时间变化）、颜色稳定性（不出现过饱和）、结构连贯性（场景几何不变形）以及运动平滑性（动态自然流畅）。同时，该方法需要保持Self Forcing的流式生成效率——使用相同的严格有界缓存大小和相同的少量步去噪步数。

与已有工作不同的是，本文抓住了一个被现有工作忽视的关键洞察：AR漂移的根本原因不在于错误累积本身，而在于AR缓存在训练时和测试时的行为不匹配。具体来说，现有方法（如Attention Sink）虽然能稳定颜色，但忽略了两个重要特性：时间索引的滑动性和语义内容的滑动性。当测试时长超过训练时长时，固定索引的sink blocks与不断增长的时间轴之间会产生越来越大的偏差，导致模型无法正确理解时序关系。同时，固定的语义内容无法反映视频应有的持续演变。本文的独特视角是将缓存维护问题分解为三个层次：最小漂移、索引滑动、语义滑动，并系统性地分析每个层次的效果，最终提出Rolling Sink作为完整解决方案。

核心方法

想象你在看一部电影，但你的「记忆窗口」只能记住最近几秒的内容。当你需要生成超过记忆窗口的视频时，最早的记忆会逐渐变得不可靠，就像一个人在长途旅行中逐渐忘记了出发时的细节。传统方法（Attention Sink）的解决方案是「永远记住开头的几帧」，就像旅行时随身携带一张出发地的照片。但这有两个问题：第一，你记住了照片，但你的「时间感」会混乱（不知道现在是第几天）；第二，你一直看着同一张照片，但旅途中的风景应该不断变化。Rolling Sink的核心思想是：不仅记住开头，还要让这个「记忆」随时间滚动更新——就像在旅行中不断翻看之前拍的照片，同时保持时间感的正确。技术上，方法分为三步：首先建立Attention Sink基线，然后引入滑动索引（让时间戳随时间移动），最后引入滑动语义（让记忆内容也滚动更新）。整个过程无需额外训练，仅通过修改推理时的缓存维护策略实现。

本文最核心的创新在于提出了「滚动语义」（Sliding Semantics）的概念。现有方法都假设：只要缓存中的内容是「干净的」（最小漂移的），就能保证长时域生成的质量。但论文发现这只是必要条件而非充分条件。真正的关键在于缓存内容需要像一个「滑动窗口」一样，其语义内容应该对应于一个无限长的、无漂移的全局视频流形上的一个移动切片。由于有限长度的训练无法自然实现这一点，Rolling Sink用一个巧妙的近似来模拟：在每个AR步骤中，从训练时长内的历史帧中提取一个滚动片段作为sink内容，并在前向和反向顺序之间交替更新。具体而言，给定训练时长内的K个块 $\boldsymbol{x}_{[0,K)}$，在第i步生成时，sink的语义内容从这个集合中按循环方式抽取，同时保持时间索引的滑动。这种设计让模型在生成超长视频时，始终「看到」的是一个不断更新的、但质量稳定的历史窗口，而不是一个固定不变的开头。

方法步骤详情

方法的完整流程可以分为三个逐步递进的阶段，每个阶段都是对前一阶段的改进。第一步是建立Attention Sink基线：将最初生成的S个块固定在缓存的前S个位置，条件分布为 $p_\theta(\boldsymbol{x}_i | \texttt{Cat}(\boldsymbol{x}_{[0,S)}, \boldsymbol{x}_{[i-(K-S),i)}))$。这能有效稳定颜色，但仍有帧闪烁问题。第二步引入滑动索引：将sink块的时间索引视为一个全局轴 $i \in [0, \infty)$ 上的滑动窗口，在每个AR步骤i，sink块的时间索引被设置为 $[i-K, i-(K-S))$，即让时间索引随当前生成位置移动。这进一步减少了闪烁，但仍有不一致问题。第三步引入滑动语义（即完整的Rolling Sink）：sink的语义内容也从训练时长内的历史帧中滚动抽取。具体操作是定义一个滚动函数 $\texttt{Roll}(\boldsymbol{x}_{[0,K)})$，它将K个块按循环顺序排列，偶数次循环用正序，奇数次循环用反序（以保持连贯性）。在每个AR步骤，sink内容从这个滚动序列中提取长度为S的片段。最终缓存大小保持不变（K=6），sink比例设置为83%（S=5）。

技术新颖性

Rolling Sink的技术新颖性体现在三个层面。首先，在理论层面，论文将AR视频扩散模型的长时域漂移重新诠释为暴露偏差问题，这为理解问题提供了新的视角——不是简单的错误累积，而是训练-测试分布不匹配。其次，在方法层面，「滚动语义」是一个全新的概念。现有工作要么使用固定的attention sink（如LongLive），要么完全不使用sink（如原始Self Forcing），但从未考虑过让sink内容动态滚动。这种设计巧妙地利用了训练时长内生成的高质量帧作为「素材库」，通过循环复用来支撑超长时域生成。第三，在分析层面，论文提供了系统性的消融研究，逐步验证每个改进步骤的效果：从静态sink到滑动索引再到滑动语义，每一步都带来可量化的质量提升。这种分析方法本身也为社区提供了有价值的方法论参考。

实验结果

论文通过大量实验验证了Rolling Sink的有效性。在定性比较中（Figure 7及补充材料Fig. S9-S18），当生成超过训练时长的视频时，基线方法（Self Forcing和LongLive）出现了明显的视觉退化，包括颜色过饱和、结构崩塌和主体不一致。相比之下，Rolling Sink在相同条件下保持了稳定的身份、连贯的结构和平滑的运动。在定量评估中，使用VBench-Long基准在1分钟和5分钟两个设置下进行了全面比较。在1分钟设置下（Table 1），Rolling Sink在16个评估维度中有10个取得最佳分数，平均排名为1.3750，显著优于Self Forcing（2.4375）和LongLive（2.1875）。特别值得注意的改进包括：物体类别（object_class）从0.8680提升到1.0000，多物体（multiple_objects）从0.3639提升到0.6998，空间关系（spatial_relationship）从0.7121提升到1.0000。在更具挑战性的5分钟设置下（Table 2），Rolling Sink的优势更加明显，平均排名为1.3125，而Self Forcing为2.6250，LongLive为2.0625。此时Self Forcing的性能大幅下降（如物体类别仅0.3339，空间关系仅0.3570），而Rolling Sink保持了接近完美的分数（物体类别1.0000，空间关系1.0000）。在与LongLive（w/ LoRA，使用1分钟视频进一步训练）的比较中（Table S3, S4），尽管Rolling Sink仅使用5秒训练，其平均排名仍优于LongLive（w/ LoRA），验证了缓存维护策略比延长训练时长更有效。

查看结构化数据

任务	指标	本文	基线	提升
1分钟AR视频合成	subject_consistency	0.9858	Self Forcing: 0.9679	+1.8%
1分钟AR视频合成	object_class	1.0000	Self Forcing: 0.8680	+15.2%
1分钟AR视频合成	spatial_relationship	1.0000	Self Forcing: 0.7121	+40.4%
1分钟AR视频合成	average_rank	1.3750	Self Forcing: 2.4375	最优
5分钟AR视频合成	object_class	1.0000	Self Forcing: 0.3339	+199.5%
5分钟AR视频合成	spatial_relationship	1.0000	Self Forcing: 0.3570	+180.1%
5分钟AR视频合成	average_rank	1.3125	Self Forcing: 2.6250	最优

局限与改进

作者坦诚地指出了Rolling Sink的主要局限性。首先，该方法主要针对单镜头、固定提示词的长视频合成场景。在更一般的长视频生成场景（如电影）中，需要多个镜头来持续引入新的语义内容，而不是忠实地维持和外推现有内容。例如，论文中走路女性周围的建筑最好能持续更新为新的语义，而不是一直保持与早期合成内容一致。其次，由于有限时长的训练，训练-测试之间的不匹配永远无法完全消除，仍然会有残余的不匹配存在。从我的观察来看，虽然Rolling Sink在VBench-Long上取得了优异成绩，但该基准主要评估的是固定提示词下的单镜头生成质量，对于需要语义演变的场景（如故事情节推进）的评估尚不充分。此外，论文未讨论生成速度和计算成本的具体比较，考虑到每个AR步骤仍需4步去噪，超长视频的生成时间可能仍然较长。

独立分析的弱点

基于我对论文的独立分析，Rolling Sink存在以下几个值得关注的弱点。首先，滚动语义策略本质上是在循环复用训练时长内生成的有限素材，这意味着生成的超长视频在语义上可能是高度重复的——虽然视觉上一致，但内容上缺乏真正的演变和进展。在实际应用中（如生成5分钟的故事视频），观众期望看到情节的推进和场景的变化，而不仅仅是同一场景的持续。改进方向可以是引入可控的语义注入机制，允许用户在特定时间点提供新的提示词来引导内容演变。其次，sink比例83%（S=5, K=6）意味着缓存中大部分位置被sink占据，仅保留1个位置用于最近生成的块，这可能限制了模型对局部上下文的感知能力。可以探索更灵活的sink比例自适应策略，根据生成内容的变化程度动态调整。第三，论文主要在单一基准（VBench-Long）上评估，该基准可能无法全面反映长视频的叙事连贯性和语义一致性。

未来方向

论文和基于成果可以延伸出多个有价值的研究方向。作者明确提出的未来方向是将漂移缓解原则扩展到多镜头设置，实现连贯平滑的镜头切换，同时保持长时域稳定性和高视觉质量。这是一个极具挑战性的问题，因为多镜头生成不仅需要维持镜头内的一致性，还需要在镜头转换时处理语义和视觉的过渡。基于Rolling Sink的成果，还可以探索以下方向：第一，将缓存维护策略与其他视频增强技术（如超分辨率、帧插值）结合，进一步提升长视频的质量。第二，研究如何在滚动语义的基础上引入用户可控的语义演变，使模型能够生成有故事性的长视频。第三，探索缓存维护策略在其他自回归生成任务（如音频生成、3D场景生成）中的应用。第四，研究更高效的缓存压缩和检索方法，进一步降低长视频生成的计算成本。

复现评估

从复现的角度来看，Rolling Sink具有较好的可复现性。首先，该方法建立在开源的Self Forcing代码库之上，且无需额外训练，只需修改推理时的缓存维护逻辑，这大大降低了复现门槛。论文提供了详细的实现细节：缓存大小K=6，sink比例S/K=83%，每个AR步骤使用4步视频扩散采样器，基于CausVid和Wan模型构建。评估使用了公开的VBench-Long基准，提示词列表也在补充材料中完整列出。然而，复现仍面临一些挑战：需要16块NVIDIA A40 GPU进行约8周的完整评估实验，计算成本较高。此外，论文未开源代码（截至论文发布时），虽然方法描述足够详细，但精确复现可能需要仔细对齐一些实现细节（如滚动函数的具体索引计算）。总体而言，对于有足够计算资源的研究团队，复现难度为中等。

滚动水槽：弥合自回归视频扩散模型中有限时域训练与开放时域测试的鸿沟 Rolling Sink: Bridging Limited-Horizon Training and Open-Ended Testing in Autoregressive Video Diffusion