MIGA：增强无训练的无限帧一致长视频生成方法

两阶段对齐+双重一致性，无需训练实现无限帧长视频生成

前置知识

FIFO-Diffusion（先进先出扩散）

一种帧级自回归视频生成框架。它维护长度等于去噪步数 $T$ 的潜在帧队列，噪声水平沿帧维度递增；每次推理让队列内所有潜在帧噪声降一级，队首变干净后出队保存，队尾追加新的高斯噪声，从而以恒定内存反复滚动，支持无限帧生成。

MIGA 正是基于该框架改进，理解它的队列结构与滑动窗口去噪，是读懂 TTA 与 DCE 两个核心机制的前提。

训练-推理差距（Training-Inference Gap）

扩散模型训练时每次只对同一时间步（同一噪声水平）的潜在帧做去噪，而 FIFO 式推理却要求模型同时处理跨多个噪声等级的潜在帧。这种输入分布偏移会抑制基础模型的生成潜力，引发内容漂移（content drift）与视觉伪影。

MIGA 的第一项贡献——两阶段对齐——专门用来缩小这个 gap，理解它才能理解 TTA 的设计动机。

噪声跨度（Noise Span）

指一次推理中模型所看到的潜在帧覆盖的噪声等级范围。FIFO-Diffusion 理论上证明自回归误差被噪声跨度约束，跨度越大误差越大。本文通过锯齿结构与统一去噪，把推理时的噪声跨度压缩到接近训练时的单一水平。

整个 TTA 机制都围绕'减小噪声跨度'展开，是把握方法本质的关键概念。

测试时缩放（Test-Time Scaling, TTS）

借鉴自大语言模型（DeepSeek-R1、o1），在推理阶段投入更多算力——生成多个候选样本并评估筛选——来提升输出质量。MIGA 的自我反思机制把 TTS 思想迁移到长视频生成，针对一致性异常点做扩大搜索与纠正。

自我反思是 MIGA 双重一致性机制之一，其本质是视频版 TTS，理解 TTS 才能理解其算力-质量权衡。

VAE 潜空间可解释性

经大规模预训练的 VAE 把视频帧编码为紧凑潜在表示，潜在帧之间的距离（如余弦相似度）能反映对应视频帧的差异程度。MIGA 据此直接用潜在帧相似度作为一致性度量，省去额外外部评估模型。

这是自我反思能在早期高噪声潜在帧上低成本评估一致性的理论基石，读懂它才知道 MIGA 为何不用 DINO。

研究动机

现有 train-free 长视频生成方法可分为两类，各有硬伤。第一类以 FreeNoise、FreeLong、FreePCA 为代表，通过重排初始化噪声或在频域、PCA 域融合全局与局部信息来扩展长度，但它们需要把所有潜在帧喂进基础模型，显存随帧数线性增长，最多只能生成分钟级视频，无法真正无限延伸。第二类以 FIFO-Diffusion 为代表的帧级自回归框架，用恒定内存支持无限帧，却留下两大短板。其一，存在显著的训练-推理差距：基础模型训练时每次只见过单一噪声水平的 $f_0$ 帧，推理时却被要求处理跨 $f_0$ 个噪声等级的潜在帧；FIFO-Diffusion 虽理论证明误差受噪声跨度约束，其最终方案仍要求模型处理 $f_0$ 跨度，导致内容漂移与视觉伪影。其二，长期一致性建模不足，仅靠 lookahead denoising 在相邻 chunk 间交互，缺乏远程帧依赖的显式建模，长视频质量次优。两问题叠加，使基础模型的潜力在长视频场景被严重抑制。

本文的目标是本文目标是在严格保持 FIFO-Diffusion'恒定内存、可无限帧'两大优点的前提下，以完全训练免训练（train-free）的方式缓解上述两大短板，让现成基础模型（VideoCrafter2、Wan2.1-1.3B）能稳定生成 1000+ 帧、时序高度一致、叙事丰富的长视频。具体可量化目标有三：第一，把推理时喂入模型的噪声跨度从 $f_0$ 进一步压缩到接近训练时的单一水平，且不增加显存开销；第二，专门为长视频设计一致性增强机制，在 VBench 上把 Subject Consistency、Background Consistency 相对 FIFO-Diffusion 分别提升约 4.7% 和 2.0%；第三，在长叙事基准 NarrLV 上取得新 SOTA，证明方法不仅保一致还能支持多段叙事。

与已有工作不同的是，本文切入角度与已有工作有三点本质区别。其一，针对噪声跨度：已有方法默认'噪声跨度无法进一步缩小'，只在误差界内打补丁；MIGA 抓住'能否主动减小噪声跨度'这个被忽视的点，把生成拆成锯齿迭代与统一去噪两阶段，从'模型究竟看到什么输入分布'层面直接消解差距。其二，针对长期一致性：ScalingNoise 等方法依赖 DINO 等外部评估模型，引入冗余算力与额外 VAE 解码开销；MIGA 发现 VAE 潜空间本身高度可解释，潜在帧余弦相似度与干净帧一致性在高噪声下仍强相关，从而用'自相似'度量免去外部模型。其三，把 TTS 从'每步搜索（ScalingNoise）或固定步搜索'升级为'按需触发'——只在一致性异常点扩大搜索，实现质量与算力的精准权衡，而非无差别地烧算力。

核心方法

直觉上，可把扩散模型想象成一个'只学过一次煮一锅同火候菜'的厨师：训练时他只见过统一噪声水平的 $f_0$ 帧，而 FIFO 式推理硬塞给他一排火候递增的食材，超出训练经验自然煮乱。MIGA 的思路分两层。第一层是'让推理贴合训练'：先把火候按锯齿（zigzag）分组，每 $L_{zig}$ 帧共用一个火候，让模型看到的火候跨度被压缩 $L_{zig}$ 倍（Stage 1 缓慢推进火候）；等所有食材都被收到同一火候 $\tau_{e-1}$ 后，再用统一火候收尾（Stage 2），噪声跨度退化为 1，完全贴合训练分布。第二层是'显式增强一致性'：自我反思（Self-Reflection）负责早期高噪声潜在帧的异常检测与扩大搜索纠正，远程帧引导（Long-Range Frame Guidance）负责把队列头部的低噪声潜在帧拼进当前滑动窗口去引导局部去噪。TTA 主纵轴（队列级推理），DCE 主横轴（单步内的帧级去噪），两者在统一框架内协同。

核心创新有两条。其一，两阶段训练-推理对齐（TTA）：把噪声队列从'逐帧变噪声'改为'$L_{zig}$ 帧一组共用噪声'的锯齿结构，噪声跨度被压缩 $L_{zig}$ 倍；待队列内全部潜在帧被去噪到同一时间步 $\tau_{e-1}$ 后，再做统一噪声水平的最后 $e-1$ 步去噪，使推理噪声跨度等于训练时的单一水平。这是从'喂给模型的输入分布'层面直接消解差距，而非事后补偿。其二，双重一致性增强（DCE）：自我反思利用 VAE 潜空间可解释性，用潜在帧余弦相似度 $C_{score}$ 度量一致性，当相邻 chunk 间 $C_{score}$ 跌落超过阈值 $\delta_{adju}$ 即触发对尾部少量潜在帧的渐进式引导重采样；远程帧引导则从队列早期均匀采样 $m_{guid}$ 个低噪声潜在帧，拼接进当前窗口输入 $q_{input}=[z_1,\dots,z_{m_{guid}},z_l,\dots]$。两者与已有方法（外部 DINO 评估、固定步搜索）本质不同，全程不引入额外模型。

方法步骤详情

完整流程含初始化与两阶段生成。初始化（Alg. 4）：先用基础模型生成 $f_0$ 个干净潜在帧作为队尾种子，按锯齿宽度 $L_{zig}$ 为每组分配合适时间步并注入噪声，再利用这些已建立语义的潜在帧渐进引导队首剩余潜在帧的初始化（区别于 FIFO-Diffusion 简单复制首帧）。Stage 1 锯齿迭代去噪（Alg. 5 上半）：每次对整个队列执行一次 $\Phi(\cdot)$ 推理（内部用滑动窗口），队首出队 $L_{zig}$ 个已被部分去噪到 $\tau_{e-1}$ 的潜在帧并保存，队尾追加 $L_{zig}$ 个高斯噪声；重复 $\lceil N/L_{zig}\rceil$ 轮直到累计 $N$ 帧。Stage 2 统一噪声去噪：把已保存的 $N$ 帧视作同处 $\tau_{e-1}$ 的队列，做 $e-1$ 轮滑窗去噪使其全部降到 $\tau_0$，得到最终视频。生成过程中，每次队列推理前调用自我反思（Alg. 6）做异常评估与按需纠正；每次推理内的滑动窗口调用远程帧引导（Alg. 7）注入远程低噪声潜在帧。三模块串行协作，且整个流程仍是恒定内存的滑动窗口。

技术新颖性

技术新颖性体现在三处。其一，TTA 把'减小噪声跨度'从理论分析推进为可操作的两阶段流程，使推理输入分布首次与训练严格对齐，而 FIFO-Diffusion 仅在误差界内做 lookahead 补偿、并未主动压缩跨度。其二，自我反思把 TTS 从'每步搜索（ScalingNoise）或固定步搜索（Scaling-Image-Video）'升级为'按需触发'，并首次实证证明 VAE 潜空间的余弦相似度在高噪声下仍与干净帧强相关（噪声级 40、最大 50 时仍强相关，见 Fig. 3d），从而免去 DINO 等外部评估模型和额外 VAE 解码。其三，远程帧引导以极低算力（额外推理步约 $\lceil m_{guid}/l_{stride}\rceil$）实现跨距离潜在帧交互，而 FreeLong/FreePCA 需要频域或 PCA 全局融合、内存随帧数增长。三者都紧扣'恒定内存、可无限帧'前提，不破坏框架既有优势。

**Figure 2**: FIFO-Diffusion 与本文两阶段训练-推理对齐（TTA）机制的推理框架对比

**Figure 3**: 自我反思机制的建模洞察：干净潜在帧与加噪潜在帧的相似度计算及相关系数分析

**Figure A1**: 双重一致性增强（DCE）机制框架：远程帧引导（a）与自我反思（b）

实验结果

VBench（Table 1）VideoCrafter2-based MIGA 综合分 O.S. 97.82 全面 SOTA，相对 FIFO-Diffusion（95.02）+2.80；主体一致性 S.C. 97.66（+4.74）、背景 B.C. 96.99（+1.98）。Wan2.1-based MIGA 相对 FIFO-Diffusion S.C. +3.79、O.S. +1.95；其 S.C./B.C. 略低于 VideoCrafter2 版，因前者写实风格一致性维持更难、后者偏动画更易保持。NarrLV（Table 2）Wan2.1-based MIGA 在最难 TNA=4 下场景/目标/动作属性达 75.05/72.31/62.90，远超 FIFO-Diffusion 的 57.43/56.10/53.89，叙事优势显著。消融（Table 3）TTA、DCE 单独分别 +2.03、+1.73 O.S.，组合互补达 +2.80。效率上无 DCE 时每帧仅比 FIFO 多 0.05s 即换 +1.73 O.S.，显存生成 2000 帧仅 +0.66%，恒定内存成立。

**Table 1**: MIGA 与基线在 VBench 上的定量结果（最优加粗）

**Table 2**: MIGA 与基线在 NarrLV 不同 TNA 设定下的叙事能力定量结果

**Figure 1**: MIGA 以训练免训练方式实现时序一致的无限帧（∞）视频生成，展示三个 1000+ 帧长视频，骨干模型 Wan2.1-1.3B 默认仅支持 81 帧

**Figure 4**: 消融可视化：从基线依次加入 Stage 1、Stage 2 与 DCE 的效果

**Figure 5**: 调整阈值 $\delta_{adju}$ 的消融：对 O.S.、纠正率 $R_{corr}$ 与成功率 $R_{succ}$ 的影响

查看结构化数据

任务	指标	本文	基线	提升
VBench（VideoCrafter2 骨干）主体一致性	Subject Consistency (%)	97.66	FIFO-Diffusion 92.92 / FreeLong 95.72	相对 FIFO +4.74 个百分点，相对 FreeLong +1.94
VBench（VideoCrafter2 骨干）综合分	Overall Score (%)	97.82	FIFO-Diffusion 95.02 / FreeLong 96.95	相对 FIFO +2.80，新 SOTA
VBench（Wan2.1-1.3B 骨干）主体一致性	Subject Consistency (%)	96.46	FIFO-Diffusion 92.67	+3.79 个百分点
NarrLV 叙事（Wan2.1，TNA=4）场景属性	satt (%)	75.05	FIFO-Diffusion 57.43	+17.62 个百分点，叙事能力大幅领先
消融：TTA 机制贡献	Overall Score (%)	97.05（仅 TTA）	FIFO-Diffusion 95.02	+2.03，且不增加显存（7.53s/帧 vs 7.48s）

局限与改进

作者在附录 C 承认：视频越长，模型出现'非预期行为'的风险越高，并给出 Fig. A5 的失败案例——一只猫从左走到右，若干帧后头和尾巴突然互换位置，这被归为视频幻觉（hallucination）或底层物理知识缺失，且认为是整个视频生成领域的共同挑战。作者也明确指出架构迁移局限：基于 MMDiT 架构（CogVideoX-5B、HunyuanVideo）的基础模型难以套用本框架，因为其文本特征无法在帧级区分，强行注入帧级噪声条件会产生异常输出（Fig. A3）。我额外观察到三点：其一，自我反思的纠正依赖随机高斯重采样，本质是'碰运气找更好解'，可能多次触发仍无法纠正；其二，显存虽名义恒定，但 Stage 2 的队列长度随视频线性增长，超长视频下中间变量存储的隐性开销会被放大（Table A3 已显示 2000 帧 +0.66%）；其三，所有实验仅基于 1.3B 的 Wan2.1 与较老的 VideoCrafter2，未在更大模型或更新架构（如 Rectified Flow 流匹配）上验证。

独立分析的弱点

弱点一：自我反思触发依赖单一阈值 $\delta_{adju}$ 与相邻 chunk 余弦相似度，对'慢漂移'型不一致（连续小幅跌落、单次均未超阈值）无能为力——改进方向是引入滑动窗口累积跌落检测或动态自适应阈值。弱点二：扩大搜索的 $n_{samp}$ 个候选全用随机高斯初始化，多样性有余但效率不足，可改用基于参考潜在帧的扰动或学习式提议分布以提升命中率。弱点三：远程帧引导仅在'有足够前序潜在帧'时启用（队首 $l\le m_{guid}$ 时跳过），导致长视频开篇一致性弱——可引入 anchor 帧、全局记忆库或可回溯的全局 token 缓解。弱点四：方法对扩散架构强耦合，MMDiT 类模型无法直接迁移（Fig. A3），可设计帧级条件适配器或在文本流注入可学习帧级 token 来扩大适用面。弱点五：未对长视频施加物理/因果约束导致幻觉频发，可结合 world-model reward 或物理常识损失。弱点六：超参敏感（$\delta_{adju}$ 从 0.001 到 0.07 时 O.S. 从 97.11 降到 95.80），实际部署需重调，可研究自动调参。

未来方向

作者明确提出：未来引入文本之外的额外条件信号（如布局、深度、轨迹、物理约束）以抑制幻觉、生成更真实的长视频。基于本成果可延伸的方向包括：其一，把自我反思的'按需 TTS'范式推广到图像生成、3D 生成等其他扩散任务，验证其普适性；其二，探索自适应 $L_{zig}$、$\tau_e$、$\delta_{adju}$ 的强化学习或元学习调度器，替代手工调参；其三，与训练类方法（Self-Forcing、LongLive）结合，先用 MIGA 做推理端增强、再做小成本微调——Table A5 显示 MIGA 已接近训练类 SOTA，叠加训练有望超越；其四，针对 MMDiT 架构设计帧级噪声条件注入机制，扩大方法适用面；其五，引入显式记忆模块缓存历史关键帧，缓解超长视频漂移；其六，将多提示控制（App. A.3）扩展为脚本级长视频导演系统，支持复杂镜头叙事。

复现评估

项目主页 https://xiaokunfeng.github.io/miga_homepage/ 提供可视化与代码；论文附完整伪代码（Alg. 1-8）、关键超参（VideoCrafter2 版 $T{=}64,L_{zig}{=}4,\tau_e{=}10,\delta_{adju}{=}0.01,m_{guid}{=}6$；Wan2.1 版 $T{=}54,L_{zig}{=}7,m_{guid}{=}4$）、详尽消融与显存/耗时数据（Table A3/A4）。基础模型 VideoCrafter2、Wan2.1-1.3B 均开源，单卡约 10GB 显存即可跑 VideoCrafter2 版（500 帧仅 9929 MiB）。主要难点：自我反思与帧级自回归需对 $\epsilon_\theta(\cdot)$ 与采样器做帧级噪声时间步改写，Wan2.1 的 UniPC 高阶采样器还需维护前序步信息；超参敏感（$\delta_{adju}$ 0.001→0.07 时 O.S. 97.11→95.80）换骨干需重调。整体属可复现工作，调参需耐心。

MIGA：增强无训练的无限帧一致长视频生成方法 Enhancing Train-Free Infinite-Frame Generation for Consistent Long Videos