面向测试时长视频生成的分布内强制框架 In-Distribution Forcing for Long Video Generation at Test Time
对齐KV缓存与条件的训练分布，免训练扩展短视频模型到分钟级生成
前置知识
自回归视频扩散（AR Video Diffusion）
把长视频分解为若干块（chunk），按 $p(x_{0:M}|c)=\prod_j p(x_j|x_{<j},c)$ 逐块生成：每块由少步去噪器 $G_\theta$ 从纯噪声经 $T$ 步去噪得到，并以之前所有已生成内容的 KV 缓存为注意力条件。相比双向注意力的视频扩散，成本随长度线性增长且支持流式输出。
本文的全部问题与方法都建立在'逐块生成 + KV 条件'这一范式上，理解块、条件窗口与 KV 缓存的关系是读懂论文的前提。
KV 缓存（KV Caching）与 KV 条件化（KV Conditioning）
KV 缓存指块生成后用 $\kappa_i = E(x_i; \kappa_{<i})$ 把该块的 key-value 状态写入缓存，写入时注意到的既有条目集合称为其来源（provenance）；KV 条件化指生成新块时读取缓存中的哪些条目、以何种位置编码读取。写入和读取是两个独立可控的操作。
本文的核心论点是：先前工作只治理'读取'，而漂移的真正源头在'写入'。分清这两个概念才能理解 KV-provenance 问题。
漂移（Drifting）与曝光偏差
自回归生成中，模型把自己的输出反馈为下一步的条件，任何偏离训练分布的误差都会沿滚动累积。在长视频上表现为颜色与纹理逐渐偏移、运动动态衰减、画面趋向冻结。训练时做自 rollout（如 Self-Forcing）能缓解，但只在有限训练视野内有效。
漂移是本文要解决的目标问题，论文的两个自建指标 Color Drift 与 Motion Drift 就是用来量化它的。
RoPE 旋转位置编码
对 query 和 key 施加与其位置成正比的旋转变换，使注意力得分只依赖相对位置差。视频模型在时间轴上使用 RoPE，每个块占据若干连续时间槽位；$R_{\Delta}$ 表示把已存 key 重旋转 $\Delta$ 帧以改变其相对位置。∞-RoPE、MemRoPE 等方法通过重排时间索引保持推理时的偏移在训练范围内。
ID-Forcing 读取侧的关键一步是在窗口滚动时对保留条目做重旋转 $R_{-f}$，使窗口内所有时间距离都落在训练见过的范围内。
Attention Sink（注意力汇聚）
流式模型中保留若干最早的 KV 条目作为'锚点'的经验技巧，可稳定无限长度生成（如 StreamingLLM、Deep Forcing）。其动机是稳定注意力的统计行为，并不要求保留的条目在分布上不可替代。
ID-Forcing 也保留第一个块 $\kappa_0$，但给出了与 attention sink 不同的分布性论证：因果 3D-VAE 对首帧的编码方式独一无二，逐出 $\kappa_0$ 本身就是分布外操作。
分布内/分布外（ID/OOD）
分布内指输入配置落在模型训练时见过的数据分布之内；分布外则偏离该分布。深度网络对 OOD 输入的行为没有保证，误差会被下游步骤继承并放大。测试时外推的本质困难就是推理配置超出训练分布。
本文的方法论可以概括为一句话：让测试时的每一次 KV 操作都是训练执行过的操作，即全程保持分布内。
研究动机
现代自回归（AR）视频扩散模型把长视频拆成若干块依次生成，每生成新块 $x_i$ 都以已生成内容的 key-value（KV）缓存为注意力条件。这类模型在训练视野内（如 Self-Forcing 约 5 秒量级）质量很高，但外推超过训练长度就会发生漂移（drifting）：颜色与纹理逐渐偏移、运动动态持续衰减，画面最终趋向冻结。论文的量化结果触目惊心：以 Self-Forcing 为基座生成 120 秒视频时 Color Drift 仅 25.54、Motion Drift 仅 46.88，Dynamic Degree 从 30 秒的 44.58 塌缩到 240 秒的 29.61；即使专为长视频训练的 LongLive，Dynamic Degree 也从 45.10 降到 39.79。现有方案集中在 KV conditioning 读取侧：用 attention sink 保留早期条目（Deep Forcing）或重排时间位置编码（∞-RoPE、MemRoPE）。但这些方法都隐含一个未经检验的假设——缓存中的 KV 条目本身仍在训练分布内，而论文证明该假设在训练视野之外并不成立。
本文的目标是本文的目标是提出一个完全免训练（training-free）的测试时框架 ID-Forcing，使推理期间的每一次 KV 操作——写入（KV caching）与读取（KV conditioning）——都严格与训练时的配置对齐，从源头消除分布外状态，从而把只有几秒训练视野的短视频模型无缝扩展到分钟级（120 秒乃至 240 秒）生成，同时保持主体一致性、颜色保真度与活跃的运动动态。具体衡量目标包括：在 VBench-Long 各项指标上与最强测试时外推方法持平或更优；在漂移专属指标 Color Drift、Motion Drift 与 Dynamic Degree 上大幅超越 Deep Forcing、∞-RoPE、MemRoPE 等先前工作；并通过 20 名参与者的 2AFC 用户研究验证改进可被人类感知。
与已有工作不同的是，本文的独特切入是提出并刻画了 KV-provenance（KV 来源）问题：一个 KV 条目是否在分布内，不只取决于它自身的内容，还取决于它被写入时注意力所到的其他条目集合，即其'来源'。训练视野之外，滚动窗口使每个块都在训练中从未见过的上下文组合下被缓存，写出的 KV 条目本身就是分布外（OOD）的；而来源在缓存那一刻就被固定，任何后验的 KV conditioning 策略都无法挽回这一偏离。这解释了为何仅靠 sink、重旋转等读取侧干预不足以阻止漂移，也把问题从'读什么'扩展为'写与读都要在分布内'。Fig. 2 的控制变量实验提供了干净证据：同样的条件窗口 $\kappa_{1:6}$，仅改变 $x_6$ 的缓存方式，$x_7$ 是否漂移就截然不同——自缓存无漂移，Self-Forcing 式缓存退化，sink 缓存也无济于事。
核心方法
方法的直觉非常朴素：漂移源于测试时 KV 操作偏离训练分布，那就让测试时的每一步 KV 操作都是训练时执行过的。技术上分两级控制。第一级是写入侧的自缓存（self-caching）：对长度为 $L$ 的条件窗口，前 $\ell$ 个条目缓存时只注意自身，记作 $E(x_j;\varnothing)$；其余 $L-\ell$ 个条目在最后一个自缓存条目之上自回归缓存，完全复刻训练中 $\kappa_1$ 在 $\kappa_0$ 之上缓存的模式（公式 4），杜绝任何未见过的来源组合。第二级是读取侧：把第一个块 $\kappa_0$ 永久保留为持久条件——因果 3D-VAE 将首帧单独编码而后续帧聚合多帧，$\kappa_0$ 在分布上不可替代；窗口总长严格约束在 $L \le N-1$，滚动时逐出最旧的非 sink 条目并对剩余条目重旋转 $R_{-f}$（公式 5）。整个框架就是'普通滚动窗口 + 写读各一条规则'，免训练即可把 5 秒模型扩展到分钟级。实现基于 Wan2.1-T2V-1.3B，4 步去噪（时间步 {1000, 750, 500, 250}），Self-Forcing 用 $L=3, \ell=2$，LongLive 用 $L=3, \ell=3$。
核心创新是把漂移的根源从'读取侧信息丢失'重新定位为'写入侧来源污染'，即 KV-provenance 问题：每个 KV 条目由其缓存时注意到的既有条目集合唯一决定，同一个干净块 $x_i$ 在不同来源下会映射到 KV 空间的不同点；当来源包含训练未见过的上下文时，写出的条目即 OOD，而来源在缓存瞬间固定，后续任何读取策略都无法修正。与已有工作的本质区别在于：Deep Forcing、∞-RoPE、MemRoPE 只干预 KV conditioning，默认缓存内容本身可靠；ID-Forcing 同时治理写入与读取，两条规则相互配套——self-caching 让每个条目的来源都是训练执行过的配置，固定 $\kappa_0$ 加有界滚动窗口让每次读取的窗口形状与训练一致。另一个细致洞察是 $\kappa_0$ 不可逐出的分布必然性：它与 attention sink 出于经验稳定效果而保留多个早期条目的做法在动机和形式上都不同，本文只保留恰好第一个块。自缓存与滚动窗口还存在互锁关系：自缓存条目没有外部来源可供丢失，因此逐出旧上下文不会使其表示偏离训练分布，这正是'精确滚动窗口'得以成立的前提。
方法步骤详情
算法 1 的流程如下。初始化：先在训练视野内生成 $N$ 个块（此时窗口自然增长，行为与原模型一致），KV 存入缓存。对每个超出视野的块 $i \ge N$ 循环四步。第一步组装读取窗口：$W = [\kappa_0] + \mathrm{rerope}(\kappa_{i-L+1:i})$，即 sink 加最近 $L-1$ 个条目，后者统一重旋转到训练见过的相对位置范围。第二步重缓存尾部：对窗口下标 $j$ 从 $n_{\text{self}}$ 到 $L$ 的条目，用当前窗口重新计算 $W[j] = E(X[i-L+j],\, W[n_{\text{self}}-1:j])$，使前 $\ell$ 个条目为自缓存、其余在其上自回归缓存。第三步 KV 条件化生成：从纯噪声 $x \sim \mathcal{N}(0, I)$ 出发，按 $x = G(x, t, W)$ 执行 $T=4$ 步去噪（1000→750→500→250），得到干净块 $x_i$。第四步自缓存写入：以 $E(x_i, \varnothing)$ 把新块自缓存进 KV 库，不依赖任何旧条目。如此每步缓存与读取都与训练分布一致，循环直到目标长度 $M$（120 或 240 秒对应的块数），读取窗口始终有界且时间距离全部落在训练范围内。
技术新颖性
技术新颖性有四点。其一，问题刻画新：首次提出 KV-provenance 问题，把 OOD 分析从注意力读取扩展到缓存写入，填补先前文献的盲区，并给出两条观察——条件窗口是漂移进入生成的唯一路径；窗口内条目仅在来源为训练配置时才分布内。其二，机制极简且免训练：整个方法可总结为'普通滚动窗口 + 写读各一条规则'，不引入新参数或新模块，却在 120/240 秒上全面领先，Fig. 2 的同条件异来源对照为其提供了干净的因果证据。其三，对 sink 的理论化：不同于 Deep Forcing 把 sink 当经验技巧，本文论证恰保留第一个块 $\kappa_0$ 的分布必然性（因果 3D-VAE 首帧独特编码），把经验手段升级为分布对齐的结论。其四，自缓存使精确滚动成为可能：只有无外部来源的条目才能在被逐出上下文后保持分布内。消融（Table 4）量化了各组件贡献：仅加 sink 将 Color Drift 从 25.54 提到 48.65，加重旋转到 60.66，最后加自缓存到 72.37，说明自缓存是不可替代的最后一块拼图。
实验结果
主实验（Table 1）在 Self-Forcing 与 LongLive 两基座上，用 MovieGen 前 128 个提示生成 480×832 的 120/240 秒视频。120 秒、Self-Forcing 基座下，ID-Forcing 的 Color Drift 达 72.37（Self-Forcing 25.54、Deep Forcing 59.65、∞-RoPE 54.15、MemRoPE 59.25），Motion Drift 89.06（基座 46.88），Dynamic Degree 65.65 全场最高，Aesthetic Quality 58.23 亦领先；唯一落后的 Motion Smoothness 被归因于该指标偏向低动态度的冻结画面。240 秒时优势扩大：Color Drift 70.34 对基座 20.98，Dynamic Degree 64.76 几乎不随长度衰减（30 秒为 65.94）。LongLive 基座同样领先：120 秒 Color Drift 70.94、Dynamic Degree 55.01（基座 42.55）；240 秒 Color Drift 71.76、Dynamic Degree 56.13（基座 39.79）。附录 Table 3 的 30/60 秒结果趋势一致。用户研究（Table 2，20 人 × 20 提示，2AFC + 拉丁方）中 Overall Preference 对四个基线分别为 100%/95%/93%/86%。消融（Table 4，120 秒）显示三组件递进有效：+Sink 把 Color Drift 提到 48.65、+Re-rotation 到 60.66、+Self-Caching 到 72.37，Aesthetic Quality 相应从 49.95 升至 58.23。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 120秒长视频生成（Self-Forcing 基座） | Color Drift（首尾帧 HSV 直方图距离，越高越稳定） | 72.37 | Self-Forcing 25.54；最强基线 Deep Forcing 59.65 | 较基座 +46.83，较最强基线 +12.72 |
| 120秒长视频生成（Self-Forcing 基座） | Motion Drift（首尾 5 秒 Dynamic Degree 之差） | 89.06 | Self-Forcing 46.88；Deep Forcing 71.88 | 较基座 +42.18，较最强基线 +17.18 |
| 120秒长视频生成（Self-Forcing 基座） | Dynamic Degree（运动活跃度） | 65.65（全场最高） | Self-Forcing 30.04；基线最高 MemRoPE 62.90 | 较基座 +35.61，较最强基线 +2.75 |
| 240秒长视频生成（Self-Forcing 基座） | Color Drift | 70.34 | Self-Forcing 20.98；MemRoPE 61.41 | 较基座 +49.36，且几乎不随时长衰减（30 秒时 72.13） |
| 240秒长视频生成（LongLive 基座） | Dynamic Degree | 56.13 | LongLive 39.79；Deep Forcing 46.02 | 较基座 +16.34 |
| 2AFC 用户研究（20 人 × 20 提示） | Overall Preference（偏好率） | 对 Self-Forcing 100%、Deep Forcing 95%、∞-RoPE 93%、MemRoPE 86% | 四个 Self-Forcing 系基线两两对比 | 六个维度（颜色/背景/主体一致性、动态度、闪烁、总体）全面获偏好 |
局限与改进
作者承认 Motion Smoothness 是唯一系统性落后的指标（120 秒 Self-Forcing 基座下 97.77 对基座 98.26），但指出该指标天然偏向动态度低、帧间近乎冻结的方法；Background Consistency 也偶有微弱劣势（96.13 对基座 96.17）。此外评价用的 Color Drift 仅比较首尾帧的 HSV 色相直方图，Motion Drift 只比较首尾各 5 秒的 Dynamic Degree，无法捕捉中途漂移又恢复的情形。我自己的观察：其一，窗口超参 $L$、$\ell$ 依赖训练视野 $N$（要求 $L \le N-1$），迁移到其他模型需重新整定；其二，重缓存尾部条目要对窗口内多个 KV 条目做额外前向，带来推理开销，论文未报告延迟或显存对比；其三，实验仅覆盖 Wan2.1-T2V-1.3B 一个架构家族与文生视频提示分布，对更大模型、图生视频或交互式条件下的泛化未验证；其四，方法假设漂移主因是 KV 来源 OOD，但去噪器自身的误差累积同样会贡献漂移，两类因素的交互未被讨论。
独立分析的弱点
第一，时间抖动风险：自缓存带来高 Dynamic Degree，但用户研究中 Temporal Flickering 对 MemRoPE 仅 89%，说明长程高频运动下的帧间稳定性仍有改进空间，可引入轻量时间一致性正则或在窗口中保留低噪声历史状态。第二，重缓存开销：算法 1 每步要对 $L - n_{\text{self}}$ 个尾部条目重新前向缓存，窗口较大时代价显著，可与 KV 压缩（如 MemRoPE 的记忆 token）结合，在压缩前先完成分布内缓存。第三，超参敏感性：$L \le N-1$ 与 $\ell$ 的选择缺乏自动化准则，可研究按训练窗口统计量自适应选取，或对不同层使用不同的 $\ell$。第四，评测盲区：首尾帧直方图式的 Color Drift 会漏掉周期性漂移-回弹——论文 Fig. 5 显示仅加 sink 时视频会'周期性重置到早期场景'，这类动态无法被现有指标捕获，未来可引入逐帧滑动窗口的漂移轨迹指标。第五，文本遵循：分钟级生成中提示条件的持续遵循未被量化，长生成中模型可能逐渐忽略细粒度文本约束，可结合字幕对齐或 CLIP 分数逐段评估。
未来方向
作者指出测试时外推与更长训练视野的训练方法（LongLive、Self-Forcing++、Context Forcing 等）正交，最直接的延伸是把 ID-Forcing 叠加到更强基座上，或把 self-caching 引入训练阶段的自 rollout 进一步对齐训练-推理分布。基于本文成果还可延伸：把'分布内 KV 操作'原则推广到交互式世界模型与流式生成（如 Lyra、StreamDiT），那里用户输入会造成训练未见过的上下文切换，provenance 控制同样适用；研究 provenance 的连续度量，用 KV 统计量在线检测 OOD 并自适应切换缓存策略；将该框架扩展到多模态自回归生成（音频、3D 场景）与图生视频；从理论上刻画 OOD 程度与漂移速率的关系，给出窗口长度 $L$、自缓存长度 $\ell$ 与漂移之间的定量联系。另外，Dynamic Degree 从 30 秒的 65.94 到 240 秒的 64.76 几乎不衰减，提示该方法有望支撑任意长生成，值得在小时级生成与在线流式服务中验证稳定性与成本。
复现评估
复现条件总体友好。方法免训练，核心只是修改 KV 缓存与窗口管理逻辑，算法 1 以十余行伪代码完整给出；实现基于开源的 Wan2.1-T2V-1.3B 与 Self-Forcing/LongLive 权重，单张高端 GPU（A100/4090 级）即可运行。评测协议完全可复现：MovieGen 前 128 个提示经 Qwen2.5-7B-Instruct 精炼；指标用公开的 VBench-Long 加上附录 B 定义的两个漂移指标（首尾帧 HSV 色相 180 bins 直方图的 L1 距离、首尾各 5 秒 Dynamic Degree 之差，按 $100(1-d/d_{\max})$ 校准到 0-100）；用户研究采用标准 2AFC 与拉丁方平衡设计。项目页 in-distribution-forcing.github.io 提供全部时长的完整视频结果。论文未明确说明代码是否开源：若未放出，需按算法 1 自行实现，工作量主要在正确复现重缓存与重旋转细节，估计一到两周；超参仅 $L=3$、$\ell=2/3$ 两组，搜索空间很小。
论文图表
门面对比图：在'白橘猫在花园奔跑'提示下，上排 Self-Forcing 随时间出现颜色漂移（Color drift）与运动衰减（Motion drift），下排 ID-Forcing 凭借分布内的 KV 缓存与 KV 条件操作，颜色纹理保持、动态持续，Overall drift 曲线在 20-60 秒区间显著更低。
一眼展示论文核心卖点：同一个自回归模型，仅改变 KV 操作即可在训练视野外稳定生成分钟级视频，帮助读者在进入技术细节前建立直觉。