路径级测试时校正用于自回归长视频生成 Pathwise Test-Time Correction for Autoregressive Long Video Generation
用首帧锚定采样轨迹，免训练稳定自回归长视频生成
前置知识
蒸馏自回归扩散模型
将传统的多步扩散采样过程通过知识蒸馏压缩为极少步（如4步）的快速采样器，同时保持自回归的逐帧生成范式。具体来说，这类模型从高斯噪声出发，通过迭代的去噪-重噪（denoise-re-noise）过程生成每一帧或每一帧组。每次去噪步骤利用网络预测干净的潜在表示，然后注入噪声以推进到下一个扩散时间步。这种设计使模型能够实现实时视频合成，但也引入了固有的随机性——中间状态不再是确定性的，而是受到注入噪声影响的可变潜在状态。代表模型包括 CausVid 和 Self-Forcing，它们均基于 Wan2.1-T2V-1.3B 架构。
本文的核心方法 TTC 正是针对这类蒸馏模型的采样特性而设计的，利用其内在随机性来实现轨迹校正，因此理解蒸馏模型的去噪-重噪机制是理解 TTC 的前提。
错误累积（Error Accumulation）
在自回归视频生成中，每一帧的生成都依赖于之前生成的帧作为条件上下文。如果早期帧存在微小的语义、外观或运动偏差，这些偏差会在后续帧的生成中不断传播和放大，导致时间漂移（temporal drift）和长程一致性退化。在蒸馏模型中这一问题尤为严重，因为少步采样器的固有随机性使得中间状态更容易偏离正确轨迹。论文指出，这导致蒸馏自回归模型的稳定生成长度仅限于几秒钟。
错误累积是本文要解决的核心问题，理解其产生机制（级联条件依赖 + 蒸馏模型随机性）对于理解为什么现有方法不足以及 TTC 为何有效至关重要。
测试时优化（Test-Time Optimization, TTO）
一类在推理阶段通过辅助参数更新来提升生成质量的方法，无需修改预训练模型权重。典型代表如 HyperNoise 和 AutoRefiner，它们通过 LoRA 微调在测试时调整模型行为。TTO 通常定义一个奖励函数来引导优化方向，使生成结果与预定义的质量目标对齐。然而，论文通过玩具实验揭示了 TTO 在长视频生成中的双重瓶颈：一是难以为长程一致性定义有效的奖励函数，二是蒸馏模型对测试时梯度极其敏感，容易导致奖励坍塌。
TTO 是 TTC 的直接前驱方法，论文通过分析 TTO 的失败模式来论证为什么需要从参数空间优化转向采样空间干预，这一对比是理解论文动机的关键。
Sink-collapse 现象
在自回归视频生成中，当模型过度依赖某个固定的参考帧（sink frame）作为条件时，后续生成的帧会反复回归到与该参考帧相似的状态，无法自然地推进场景演变。这导致视频运动被严重抑制，时间动态退化。论文指出，如果在整个去噪过程中都使用 sink frame 作为可见上下文，模型会过度条件化，生成内容在视觉和结构上都过于接近 sink frame，从而限制了运动和场景变化。
理解 sink-collapse 有助于理解 TTC 的设计选择——为什么不能简单地在整个采样过程中使用首帧作为参考，而必须在全局结构稳定后才引入校正，并在之后恢复使用演化上下文。
扩散采样轨迹的功能相变
在扩散模型的采样过程中，不同噪声水平阶段具有不同的功能角色。高噪声阶段主要决定全局结构（场景布局、空间关系），因为此时去噪过程需要从噪声中恢复整体框架；低噪声阶段则主要进行外观细化（局部纹理、精细视觉细节），此时全局结构已基本固定，模型专注于在稳定布局下合成细节。这一功能相变行为为 TTC 的校正策略提供了理论基础——校正应在外表细化阶段引入，此时模型对结构变化不敏感，可以在不影响布局的情况下调整视觉属性。
这一概念是 TTC 校正时机选择的核心理论依据。论文据此确定在噪声水平 500 和 250 处引入校正步骤，因为这些时间步对应全局结构已稳定的外观细化阶段。
研究动机
蒸馏自回归扩散模型虽然实现了实时视频合成，但在长序列生成时面临严重的错误累积问题。由于每一帧都以先前生成的帧为条件，早期微小的语义、外观或运动偏差会不断级联放大，导致时间漂移和视觉退化，将稳定生成长度限制在几秒钟。现有的测试时优化（TTO）方法，如基于 LoRA 微调的 HyperNoise 和 AutoRefiner，在短片段上有效，但论文的玩具实验揭示了它们在长视频场景下的双重失败模式：基于重建损失的 TTO 会迅速坍塌为平凡解，后续帧变成首帧的近似副本，运动完全丧失；基于语义一致性目标的 TTO 则无法有效减少长程误差累积，生成视频仍然表现出与基线相似的时间漂移。此外，蒸馏模型对测试时梯度极其敏感，即使无穷小的梯度更新也常触发奖励坍塌。这些结果表明，无论是基于低层重建还是高层语义的朴素 TTO 都不足以实现稳定的长程生成。
本文的目标是本文的具体目标是：在不进行任何模型重训练或参数修改的前提下，仅通过推理时的干预，将蒸馏自回归扩散模型的稳定生成长度从几秒钟扩展到 30 秒以上，同时保持与资源密集型训练方法（如 Rolling Forcing 和 LongLive）可比的视觉质量。更具体地说，论文希望找到一种通用的、免训练的推理时方案，能够无缝集成到 CausVid、Self-Forcing 等不同的蒸馏模型中，以最小的计算开销（从 15.79 fps 降至 10.53 fps）实现显著的长程稳定性提升。
与已有工作不同的是，本文的独特切入角度在于将范式从参数空间优化（TTO）转向采样空间随机干预（TTC）。论文的关键洞察是：少步蒸馏采样器本质上是随机的，它们在中间步骤注入噪声，这意味着中间预测并非固定的最终结果，而是可塑的潜在状态，可以通过后续扩散步骤进行校正以与全局初始上下文对齐，同时保持底层采样分布不变。这一洞察打开了全新的设计空间——不需要更新模型参数或搜索最优奖励函数，而是利用模型本身的随机性，在采样路径上进行有针对性的校正干预。与现有的 sink-based 方法（在整个去噪过程中使用固定参考帧）不同，TTC 只在全局结构稳定后的外观细化阶段引入校正，然后恢复使用演化上下文，从而避免了 sink-collapse 问题。
核心方法
TTC 的整体思路可以用一个直觉来理解：想象一位画家在画一幅长卷，前几笔确定了整体构图和色彩基调（高噪声阶段的全局结构），后续笔触在此基础上逐步细化细节（低噪声阶段的外观细化）。如果发现后续笔触逐渐偏离了最初的构想，画家不需要重画整幅画（重训练），也不需要完全用最初的草图覆盖后续内容（sink-collapse），而只需在关键位置参考最初的草图进行局部修正（校正），然后继续正常作画。技术路线上，TTC 在蒸馏模型的去噪-重噪采样路径中插入稀疏的校正步骤。在选定的时间步，TTC 执行三步操作：（1）用当前演化上下文 $S_t$ 进行去噪得到干净预测；（2）将演化上下文替换为稳定的首帧上下文 $S_0$ 进行参考条件去噪，得到校正后的预测；（3）将校正后的预测重新注入噪声到当前时间步的噪声水平，然后恢复使用演化上下文 $S_t$ 继续正常去噪。整个过程完全在采样路径内完成，所有修改的中间状态都通过有效的扩散转换产生。
TTC 的核心创新点在于从参数空间优化转向采样空间随机干预，这一转变带来了根本性的方法论差异。与 TTO 方法不同，TTC 不更新任何模型参数，不定义奖励函数，不需要实例级训练——它完全利用蒸馏模型固有的随机性来实现校正。关键的技术区别在于：TTC 不是简单地用首帧预测替换当前预测（这会导致单点校正的时序不连续），而是在校正后将预测重新注入噪声，使其回到当前时间步的噪声水平，然后从这个重噪状态重启采样过程。这种路径级校正（path-wise correction）确保所有中间状态都符合预期的噪声分布，避免了硬替换导致的闪烁和时序不稳定性。此外，TTC 只在全局结构稳定后（对应噪声水平 750、500、250）的外观细化阶段引入校正，而不是在整个采样过程中施加约束，这既避免了 sink-collapse 又保留了运动动态性。
方法步骤详情
TTC 的完整步骤可以形式化描述如下。输入包括：噪声调度 $\{T_J > \cdots > T_0 = 0\}$、生成器 $G_\theta$、演化上下文 $S_t$、参考上下文 $S_0$（即首帧）、校正索引集合 $J^\star$、以及扩散前向过程 $\Psi$。首先，采样初始高斯噪声 $x_t^{T_J} \sim \mathcal{N}(0, I)$。然后，从 $j = J$ 到 $j = 1$ 循环执行去噪步骤。在每一步 $j$：（1）使用演化上下文 $S_t$ 进行初始预测 $\hat{x}_{t,0}^{T_j} = G_\theta(x_t^{T_j}; S_t, j)$；（2）采样噪声 $\epsilon_t^{T_{j-1}} \sim \mathcal{N}(0, I)$；（3）如果 $j-1 \in J^\star$（即当前步骤在校正集合中），则进入校正流程：Phase A 将当前预测通过前向扩散映射到下一噪声水平 $x_t^{T_{j-1},c} = \Psi(\hat{x}_{t,0}^{T_j}, \epsilon_t^{T_{j-1}}, T_{j-1})$，然后用参考上下文 $S_0$ 去噪得到校正预测 $\hat{x}_{t,0}^{T_{j-1},c} = G_\theta(x_t^{T_{j-1},c}; S_0, j-1)$；Phase B 采样新噪声 $\tilde{\epsilon}_t^{T_{j-1}} \sim \mathcal{N}(0, I)$，将校正预测重噪 $x_t^{T_{j-1}} = \Psi(\hat{x}_{t,0}^{T_{j-1},c}, \tilde{\epsilon}_t^{T_{j-1}}, T_{j-1})$，然后用演化上下文 $S_t$ 完成该步骤 $\hat{x}_{t,0}^{T_{j-1}} = G_\theta(x_t^{T_{j-1}}; S_t, j-1)$；（4）如果 $j-1 \notin J^\star$，则执行标准去噪-重噪流程。最终输出 $\hat{x}_{t,0}^{T_0}$ 为最终干净预测。
技术新颖性
TTC 的技术新颖性体现在以下几个层面。首先，范式创新：这是首个提出在采样空间而非参数空间进行推理时干预的工作，避免了 TTO 的所有固有问题（奖励设计困难、优化不稳定、计算开销大）。其次，机制创新：路径级校正（path-wise correction）通过将校正预测重新注入噪声并沿原始轨迹继续去噪，确保了所有中间状态都通过有效的扩散转换产生，这与单点校正（直接替换潜在表示）形成了鲜明对比——论文的消融实验表明，单点校正会导致 t-LPIPS 边界失真指标从 0.176 恶化到 0.205，动态度从 60.2 降至 57.0。第三，时机创新：基于扩散采样轨迹的功能相变理论（高噪声决定结构、低噪声细化外观），TTC 选择在全局结构稳定后才引入校正，避免了对场景布局的破坏。最后，通用性创新：TTC 是完全免训练的，不修改模型参数，可无缝集成到 CausVid、Self-Forcing 等不同架构中，展示了跨模型的鲁棒性。
实验结果
论文的实验结果全面验证了 TTC 的有效性。在 30 秒视频生成的主实验中（Table 1），TTC 与 Self-Forcing 结合后，主题一致性从 92.5 提升至 94.0，背景一致性从 93.2 提升至 94.2，美学质量从 63.4 提升至 63.8，同时运动平滑度保持在 98.3。与 CausVid 结合后，动态度从 50.8 大幅提升至 69.5，表明 TTC 不仅不抑制运动，反而增强了场景动态。在时间一致性评估中（Table 2），TTC 显著改善了颜色偏移指标——与 Self-Forcing 结合后，Color-shift L1 从 1.028 降至 0.644，相关性从 0.479 提升至 0.710；JEPA 方差从 0.0145 降至 0.0108，差异从 0.191 降至 0.170。与测试时缩放方法的对比（Table 3）表明，TTC 在推理效率上具有压倒性优势——Best-of-N 和 Search-over-Path 的吞吐量仅 3.16 fps，而 TTC 保持 10.53 fps，同时在各项 VBench 指标上全面领先。消融实验（Table 4）验证了校正步骤选择的鲁棒性：在噪声水平 750、500、250 处分别引入校正均优于基线，其中 500+250 组合（默认配置）在质量和效率间取得最佳平衡。与 sink-based 方法的对比表明，TTC 在保持更高动态度的同时实现了更好的一致性，避免了 sink-collapse 导致的运动抑制。在 5 秒短视频生成中（Table 6），TTC 也展现出一致的改进，证明其通用性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 30秒提示条件视频生成 | 主题一致性 (Subject Consistency) | Self-Forcing + TTC: 94.0; CausVid + TTC: 93.2 | Self-Forcing: 92.5; CausVid: 91.2 | Self-Forcing +1.5; CausVid +2.0 |
| 30秒提示条件视频生成 | 背景一致性 (Background Consistency) | Self-Forcing + TTC: 94.2; CausVid + TTC: 93.3 | Self-Forcing: 93.2; CausVid: 91.4 | Self-Forcing +1.0; CausVid +1.9 |
| 30秒提示条件视频生成 | 动态度 (Dynamic Degree) | Self-Forcing + TTC: 60.2; CausVid + TTC: 69.5 | Self-Forcing: 62.5; CausVid: 50.8 | CausVid +18.7; Self-Forcing 保持竞争力 |
| 30秒提示条件视频生成 | 运动平滑度 (Motion Smoothness) | Self-Forcing + TTC: 98.3; CausVid + TTC: 97.6 | Self-Forcing: 98.0; CausVid: 98.1 | Self-Forcing +0.3; CausVid 基本持平 |
| 30秒提示条件视频生成 | 美学质量 (Aesthetic Quality) | Self-Forcing + TTC: 63.8; CausVid + TTC: 63.5 | Self-Forcing: 63.4; CausVid: 63.5 | Self-Forcing +0.4; CausVid 持平 |
| 30秒提示条件视频生成 | Color-shift L1 ↓ | Self-Forcing + TTC: 0.644; CausVid + TTC: 0.607 | Self-Forcing: 1.028; CausVid: 1.047 | Self-Forcing -37.4%; CausVid -42.0% |
| 30秒提示条件视频生成 | JEPA 方差 ↓ | Self-Forcing + TTC: 0.0108; CausVid + TTC: 0.0157 | Self-Forcing: 0.0145; CausVid: 0.0199 | Self-Forcing -25.5%; CausVid -21.1% |
| 30秒提示条件视频生成 | 推理吞吐量 (fps) | TTC: 10.53 fps | Self-Forcing: 15.79 fps | 33.3% 速度降低，但远优于 BoN/SoP 的 3.16 fps |
局限与改进
论文存在以下几个值得关注的局限性。首先，TTC 的推理效率代价不可忽视——从 15.79 fps 降至 10.53 fps，约 33% 的吞吐量损失，虽然远优于 Best-of-N（3.16 fps）等测试时缩放方法，但对于严格的实时应用场景（如直播视频生成）仍可能构成瓶颈。其次，论文的评估局限于 30 秒的视频长度，对于更长时长（如分钟级或小时级）的生成，TTC 是否能维持同样的效果尚未验证，随着序列长度进一步增加，错误累积的模式可能发生质变。第三，论文仅在基于 Wan2.1-T2V-1.3B 的 CausVid 和 Self-Forcing 两个基线上进行验证，虽然这两个基线具有代表性，但 TTC 在其他架构（如离散自回归模型或多步扩散模型）上的适用性需要进一步探索。第四，论文承认 TTC 的动态度指标在某些配置下略低于基线（如 Self-Forcing + TTC 的 60.2 vs 基线的 62.5），这暗示首帧校正在一定程度上仍然会对运动多样性产生微弱约束。此外，论文的校正步骤选择（噪声水平 500 和 250）虽然通过消融实验验证了有效性，但缺乏自适应机制来根据视频内容动态调整校正策略。
独立分析的弱点
论文存在几个可以深入改进的弱点。第一，校正策略的自适应性不足：当前 TTC 使用固定的校正时间步（噪声水平 500 和 250），不考虑视频内容的动态特性。对于运动剧烈的场景可能需要更频繁的校正，而对于静态场景则可能校正过于激进。改进方向是设计基于内容感知的自适应校正调度，例如通过监测相邻帧间的变化幅度来动态调整校正频率和强度。第二，首帧锚定策略过于单一：TTC 始终使用第一帧作为唯一的参考上下文，这在长视频中可能导致首帧与当前帧的语义差异过大时校正效果下降。可以考虑维护一个滑动参考窗口或选择语义最近的关键帧作为校正锚点。第三，缺乏对校正效果的实时评估机制：TTC 无法在采样过程中判断校正是否真正改善了当前帧的质量，也无法在检测到校正失败时回退。引入轻量级的一致性评估网络可能有助于实现更智能的校正决策。第四，论文未充分探讨 TTC 与其他技术（如显式记忆机制或规划模块）的结合可能性，这些组合可能产生协同效应。
未来方向
基于论文的成果，未来研究方向可以从以下几个维度展开。首先，将 TTC 扩展到更长时长的视频生成是自然的下一步——探索在分钟级甚至小时级视频中，TTC 是否需要引入层次化的校正策略（如在不同时间尺度上使用不同的参考锚点）。其次，研究 TTC 与显式记忆机制（如 WorldPlay 的世界模型记忆或 LongLive 的窗口化 DMD）的结合，可能进一步提升长程一致性。第三，探索自适应校正策略——通过轻量级网络或启发式规则根据当前生成状态动态决定校正时机和强度，而非使用固定的噪声水平阈值。第四，将 TTC 的思想推广到其他自回归生成任务，如长文本生成、长音频合成或 3D 场景生成，验证采样空间校正的通用性。第五，研究 TTC 与模型架构改进的协同效应——如果未来的蒸馏模型在设计时就考虑到 TTC 的校正接口，可能会实现更紧密的集成和更好的效果。最后，探索 TTC 的理论基础，形式化分析在什么条件下路径级校正优于参数空间优化，为方法选择提供理论指导。
复现评估
从复现角度来看，论文的实验设置具有较好的可复现性。两个基线模型（CausVid 和 Self-Forcing）均基于公开的 Wan2.1-T2V-1.3B 架构，该模型具有开源实现。论文使用 VBench 作为标准评估框架，VBench 本身是公开可用的评估工具。评估使用的 128 个提示词随机采样自 MovieGen 数据集，该数据集也是公开资源。额外评估指标（Color-shift、JEPA、t-LPIPS）虽然较为专业，但均有公开的实现或论文引用。然而，论文未明确说明是否开源了 TTC 的完整实现代码，这可能影响精确复现。计算资源方面，论文报告的 10.53 fps 吞吐量表明 TTC 可以在单张高端 GPU 上运行，硬件门槛相对适中。总体而言，如果作者开源代码，复现难度较低；如果仅依赖论文描述，核心算法（Algorithm 1）足够清晰，中等经验的研究者应能在数天内完成复现。
论文图表
对比了两种基于 LoRA 微调的玩具 TTO 实验结果：去噪重建损失变体和语义一致性损失变体。去噪损失变体导致后续帧坍塌为首帧副本（运动丧失），语义损失变体未能有效减少误差累积（仍出现时间漂移）。
这张图是论文动机的核心证据——它通过实验直观展示了 TTO 在长视频生成中的双重失败模式，为提出 TTC 提供了强有力的动机支撑。