HL-OutPaint：面向高分辨率长视频的粗到细视频外扩方法

提出两阶段粗到细框架，通过全局粗略引导和全局-局部帧交换机制，实现高分辨率长序列视频的时空一致外扩。

前置知识

视频扩散模型（Video Diffusion Model）

视频扩散模型是一种生成式模型，通过逐步去噪过程从随机噪声生成视频。它利用预训练的视频先验知识，能够在部分观测的视频区域基础上生成缺失内容。模型通常基于扩散变换器（DiT）架构，在潜在空间中操作。对于视频任务，模型需要同时处理空间和时间维度，通常使用3D VAE将视频编码为压缩表示。

本文的核心生成模块基于视频扩散模型，理解其去噪机制、时间建模能力和条件控制方式是理解本文方法的基础。

LoRA（Low-Rank Adaptation）

LoRA是一种参数高效的微调技术，通过在预训练模型的权重矩阵旁添加低秩分解矩阵来实现适配。对于原始权重W，LoRA学习两个低秩矩阵A和B，使得适配后的权重变为W + BA。这种方法只需要训练少量参数（如rank=128），就能显著改变模型行为，同时保持原始预训练知识不变。

本文采用两阶段LoRA训练策略，分别为GCG构建和GCG引导的视频外扩训练不同的LoRA模块，这是方法能够高效适配不同任务的关键。

时空切片（Spatio-Temporal Tiling）

时空切片是一种处理高分辨率或长视频的计算策略。将输入视频分割为在空间和时间上重叠的若干切片，每个切片独立处理，最后在重叠区域进行混合。权重函数通常在切片中心分配较高值，在边界分配较低值，以减少边界伪影。这种方法使模型能够处理任意分辨率和长度的视频。

本文的GCG构建和最终高分辨率外扩都依赖时空切片策略来克服扩散模型的长度和分辨率限制，这是实现端到端长视频处理的核心技术。

研究动机

视频外扩在实际应用中需要同时解决两个挑战：大范围的空间扩展和长时间序列的时间一致性。现有方法只能处理其中一个维度。Infinite-Canvas通过分片策略处理大空间扩展，但其局部生成策略限制了全局连贯性，可能导致重复或不一致的结构。M3DDM通过对长视频序列进行子采样形成压缩片段并使用结果关键帧作为长期引导，但当输入包含快速运动时，关键帧之间的时间间隔变大，频繁导致时间不一致性。因此，大规模和长序列视频外扩仍然具有挑战性，尚无现有统一解决方案同时解决这两个维度。

本文的目标是本文的目标是提出一个统一的框架，能够在单一模型中同时支持长持续时间和大空间扩展比例的视频外扩。确保在大时空范围内保持全局连贯性，实现稳定、连贯的大空间扩展和长视频序列生成。

与已有工作不同的是，本文的独特切入角度是采用粗到细的两阶段策略。首先构建全局粗略引导（GCG），这是一个时空低分辨率但全局连贯的整个视频序列的外扩表示。通过在时空降低分辨率下构建GCG，允许扩散模型在其注意力跨度内整体优化完整序列，从而建立一致的结构基础。然后，第二阶段使用基于分片的扩散策略进行高分辨率细化。为了将长视频带入这样的单一处理流程，不可避免的激进降采样会导致丢弃大部分中间帧。虽然这种压缩视角对确保全局连贯性有效，但本质上丢失了细粒度的时间线索，如对象在局部窗口内出现或消失，这些线索对保持运动完整性至关重要。为此，本文引入了全局-局部帧交换机制来弥合这一差距。

核心方法

HL-OutPaint采用粗到细的两阶段策略。第一阶段构建全局粗略引导（GCG），捕获全局空间结构、长期时间连贯性和局部时间结构。从填充视频和掩码开始，空间下采样到扩散模型支持的分辨率，均匀采样K个关键帧（K是扩散模型单次前向传播能处理的最大帧数）。每个关键帧作为时间锚点捕获整个视频的全局结构，但激进的时间下采样不可避免地移除了细粒度时间动态。为此，为每个关键帧I↓ki构建局部时间窗口Li，每个窗口包含以ki为中心、以小时间步长δ采样的K帧。这些窗口捕获了仅由关键帧无法捕捉的短期时间线索。然后使用全局-局部帧交换策略并行去噪所有轨迹。在早期去噪步骤后，将关键帧集合中每一帧的潜在表示替换为其对应局部时间窗口中同一帧的潜在表示。这种交换允许全局结构和细粒度时间线索被共享和传播。完成后，得到与全局和局部时间结构联合一致的GCG IGCG。第二阶段进行GCG引导的高分辨率视频外扩。首先进行时间完成，在GCG引导下在降低的空间分辨率下合成缺失区域；然后进行空间细化，将每帧恢复到原始分辨率同时保留粗糙阶段建立的时间一致性。

核心创新点是全局-局部帧交换机制。这一机制将稀疏全局关键帧与局部时间窗口耦合，在扩散去噪步骤期间交换信息。通过在全局关键帧和局部时间窗口之间交换信息，全局关键帧可以从局部窗口继承否则会在降采样表示中丢失的详细时间观测。这种双向流动确保GCG既保持全局稳定又保持局部准确，为高分辨率合成提供强大的锚点。另一个关键创新是多尺度迭代GCG构建过程，通过在现有关键帧之间的时间中点插入额外的关键帧，形成更密集的关键帧集合，并重新应用相同的GCG构建过程，直到相邻关键帧之间的时间间隔低于预定义阈值τ，从而捕获全局时间结构和细粒度时间连续性。

方法步骤详情

方法分为两个主要阶段。第一阶段GCG构建：输入填充视频I和掩码M，空间下采样得到I↓和M↓。均匀采样K个关键帧，索引为K = {ki}K(i=1)，关键帧集合G = {I↓k}k∈K。为每个关键帧I↓ki构建局部时间窗口Li，包含以ki为中心、以步长δ采样的K帧。初始化关键帧集G和每个局部时间窗口Li的潜在表示。使用扩散算子D并行去噪所有轨迹。在早期去噪步骤后，将关键帧集合中每一帧的潜在表示替换为其对应局部时间窗口中同一帧的潜在表示（全局-局部帧交换）。完成后得到GCG IGCG = {Î↓ki}ki∈K。对于极长视频，采用多尺度迭代细化：在现有关键帧之间的时间中点插入额外的关键帧，使用先前构建的指导作为初始化，重新应用GCG构建过程，直到相邻关键帧间隔低于阈值τ。第二阶段GCG引导的视频外扩：时间完成：构建低分辨率视频Ī↓，当可用时用对应的指导帧替换帧，构造掩码M↓。将视频分割为重叠的时间切片，使用扩散算子D并行合成缺失区域，在每个扩散步骤后混合重叠的潜在区域，得到时间完成的低分辨率视频Î↓。空间细化：使用双三次插值将Î↓上采样到原始空间分辨率，得到中间视频Ĩ。注入适量高斯噪声，使用SDEdit风格的扩散生成从中间扩散步骤去噪，使用填充视频I和掩码M作为条件信号，应用时空分片策略，在每个去噪迭代中混合相邻切片的重叠区域，得到最终外扩视频Î。

技术新颖性

技术新颖性体现在多个方面：首先，全局-局部帧交换机制是首次在视频外扩中提出的双向信息交换策略，它允许稀疏关键帧和局部时间窗口相互补充，解决了激进时间降采样导致的信息丢失问题。其次，多尺度GCG构建策略通过迭代的中点插入和细化，能够处理任意长度的视频序列，同时确保全局时间连贯性。第三，两阶段LoRA训练策略针对不同的时间稀疏性（稀疏关键帧 vs 密集帧序列）进行专门优化，使用rank=128的LoRA模块分别适应GCG构建和GCG引导的视频外扩，学习率为1×10^-4。第四，针对稀疏关键帧的3D VAE处理，利用当输入为单帧时不应用时间压缩的结构特性，对每帧独立编码，避免了标准时空压缩将不相关帧沿时间轴合并导致的信息稀释问题。

**Fig. 2**: Overall framework of proposed HL-OutPaint. (a) HL-OutPaint consists of two stages: Global Coarse Guidance Construction and GCG-Guided Video Outpainting. (b) Global Coarse Guidance Construction generates GCG from spatio-temporally compressed video; at every diffusion timestep t, we perform global-local frame swapping between global keyframes and their local temporal windows to align local and global contexts, producing a globally consistent yet locally well-aligned GCG. (c) GCG-Guided Video Outpainting outpaints large-scale video employing GCG.

**Fig. 6**: Sparse keyframes and the local temporal window centered at the n-th keyframe (Top). Outpainted n-th keyframe without (left) and with (right) global-local frame swapping, highlighting how local window information resolves structural inconsistencies in the keyframe (Bottom). The input videos are from the DAVIS dataset [Pont-Tuset et al. 2017] (car-roundabout).

**Fig. 7**: Outpainting results using GCG compressed along different spatial and temporal axes. Yellow boxes denote the original video region. The input videos are from the DAVIS dataset [Pont-Tuset et al. 2017] (hockey).

**Fig. 8**: Qualitative comparison between (a) bicubic upsampling of the temporally completed low-resolution video Î↓and (b) spatial refinement results applied to the bicubic-upsampled video. The input videos are from the DAVIS dataset [Pont-Tuset et al. 2017] (cow, hockey).

实验结果

在多个数据集上的实验表明HL-OutPaint取得了最先进的性能。在DAVIS数据集（25-104帧）上，从512×512扩展到1280×720，本文方法在PSNR、SSIM、FVD、SC、BC和AQ等指标上均达到最佳或接近最佳：PSNR为16.87，SSIM为0.619，FVD为202.4，SC为0.890，BC为0.910，AQ为0.502。在更具挑战性的DAVIS-20数据集（20个视频，平均68帧）上，从512×512扩展到1920×1080，本文方法PSNR为15.32，SSIM为0.620，FVD为564.6，优于所有基线方法。在YouTube-VOS数据集上，从256×256扩展到512×512，本文方法PSNR达到22.15，SSIM达到0.821，显著超过基线（次佳PSNR为16.71，SSIM为0.592）。在Long-Video数据集（20个视频，平均481帧）上，从512×512扩展到1280×720，本文方法SC为0.889，BC为0.912，AQ为0.555，表现最佳。在Short-Form数据集（9个竖屏视频，约500帧）上，从416×720扩展到1280×720（竖屏转横屏），本文方法SC为0.920，BC为0.930，AQ为0.574，均超过基线。消融实验表明全局-局部帧交换带来一致改进：在Long-Video数据集上，有交换时PSNR为16.60，无交换时为16.21；SSIM从0.6304提升到0.6332；SC从0.8872提升到0.8887；BC从0.9109提升到0.9122。时空压缩对比显示联合压缩优于单一压缩：空间-only压缩PSNR为15.08，时间-only压缩PSNR为12.77，联合压缩（本文）PSNR为15.32。用户研究显示，在视觉质量、时间一致性、主体质量和背景质量四个标准上，本文方法分别获得95%、97%、93%和95%的投票率，显著超过所有基线方法。

**Table 1**: Quantitative comparisons with previous video outpainting methods on the DAVIS [Pont-Tuset et al. 2017], DAVIS-20, YouTube-VOS [Xu et al. 2018], Long-Video, and Short-Form datasets, along with a user study. Input–output resolutions are denoted using arrow notation to indicate spatial extrapolation. The best and second-best scores are marked in bold and underline, respectively.

**Table 2**: Quantitative comparison with and without global-local frame swapping on the Long-Video dataset. Best results are shown in bold.

**Table 3**: Effect of global-local frame swapping schedule. We vary the number of denoising steps where swapping is applied (out of 40 total steps). Best results are shown in bold.

**Table 4**: Quantitative ablation on spatial and temporal compression in GCG. Best results are shown in bold.

**Table 5**: Inference time comparison on a 500-frame 720 × 1280 video using an A100-80GB GPU. Best results are shown in bold.

**Table 6**: User study results. We report vote percentages across 20 participants and 10 videos.

**Fig. 3**: Qualitative comparison on the DAVIS [Pont-Tuset et al. 2017] dataset with outpainting expansions of (a) 512 × 512 →1280 × 720 and (b) 512 × 512 →1920 × 1080. The yellow dashed box marks the original region before outpainting. The red box highlights regions where competing methods fail while our method produce coherent results.

**Fig. 4**: Qualitative comparison on the Long-Video dataset with outpainting expansion of 512 × 512 →1280 × 720. The yellow dashed box marks the original region before outpainting. For better visualization, we center-crop the outpainted results to a 720 × 720 region.

**Fig. 5**: Qualitative comparison on the Short-Form dataset with an outpainting expansion of 416 × 720 →1280 × 720. The yellow dashed box denotes the original region before outpainting. The red arrow highlights regions where competing methods fail to maintain long-term temporal coherence, while our method produces stable results.

查看结构化数据

任务	指标	本文	基线	提升
DAVIS视频外扩（512×512→1280×720）	PSNR (↑)	16.87	VACE: 16.63	+0.24 (1.4%)
DAVIS-20视频外扩（512×512→1920×1080）	PSNR (↑)	15.32	VACE: 14.89	+0.43 (2.9%)
YouTube-VOS视频外扩（256×256→512×512）	PSNR (↑)	22.15	Infinite-Canvas: 16.71	+5.44 (32.6%)
Long-Video时间一致性	SC (↑)	0.889	VACE: 0.888	+0.001
Short-Form竖屏转横屏	BC (↑)	0.930	VACE: 0.911	+0.019
全局-局部帧交换消融	PSNR (↑)	16.60	无交换: 16.21	+0.39

局限与改进

作者承认的局限性：HL-OutPaint不适合实时应用，因为它在单次推理过程中联合生成所有帧。此外，方法可能在极大或极长的情况下失败。对于极大的空间扩展，输入视频必须在GCG构建期间被重度下采样到扩散模型支持的分辨率，可能导致关键信息丢失。例如，当将视频从512×512扩展到5760×5760时，输入可能需要被下采样到768×768来构建GCG。尽管原始区域由于来自输入帧的强条件能够在细化阶段恢复细细节，但外扩区域仅依赖GCG。因此，GCG构建期间丢失的高频细节无法在上采样和细化期间有效恢复，通常导致过度平滑或模糊的合成区域。对于极长视频，关键帧和局部窗口也可能无法完全覆盖整个序列，难以维持时间连贯性。作者自己的观察：方法依赖于预训练的Wan2.2-14B-I2V视频扩散模型作为骨干，这限制了方法的可访问性。两阶段训练和推理过程增加了实现的复杂性。时空切片的重叠区域混合策略虽然有效，但在极端情况下可能仍可见边界伪影。对于包含快速复杂运动的视频，即使使用δ=1的小步长，局部时间窗口可能仍无法充分捕捉所有动态变化。

独立分析的弱点

第一，计算资源需求高。虽然推理时间相对基线有优势（105分钟 vs VACE的143分钟，在500帧720×1280视频上），但对于实际部署仍然过长。改进方向：探索更高效的分片策略、渐进式推理优化，或知识蒸馏将两阶段模型压缩为单阶段模型。第二，对极长视频的覆盖限制。关键帧和局部窗口可能无法完全覆盖超长序列，导致时间连贯性下降。改进方向：自适应关键帧采样策略，根据运动复杂度动态调整关键帧密度；或引入层次化时间建模，对超长视频进行分段后进行跨段一致性约束。第三，极空间扩展下的细节丢失。当空间扩展比例过大时（如512×512→5760×5760），GCG构建期间的激进降采样导致高频细节不可恢复。改进方向：多分辨率GCG构建，在不同空间分辨率下分别构建局部和全局引导；或引入超分辨率先验模型专门处理外扩区域的高频细节恢复。第四，对快速运动的适应性有限。即使使用δ=1的小步长，局部时间窗口可能仍无法充分捕捉极快运动的动态变化。改进方向：基于光流的自适应窗口大小和采样策略；或引入运动显式建模模块，在GCG构建期间显式编码运动场信息。

未来方向

作者提出的未来方向：支持实时应用，需要探索渐进式推理或流式处理架构。基于成果可延伸的方向：将框架扩展到其他视频编辑任务，如视频修复、视频重定向、视频稳定等；探索更高效的架构，如通过神经渲染技术减少对密集像素级生成的依赖；研究自适应的GCG构建策略，根据视频内容和运动复杂度动态调整时空压缩比例；结合用户交互，允许用户在GCG构建阶段提供关键帧或草图指导，提高可控性；研究零样本或少样本适应能力，使方法能够快速适应新领域或新风格的视频外扩；探索端到端的单阶段架构，避免两阶段流水线带来的复杂度和潜在误差累积。

复现评估

复现评估：论文提供了详细的算法伪代码（Algorithm 1-5）和实现细节，包括训练数据集（约17,000个来自OpenVid-1M的视频，加上270个来自REDS的视频）、分辨率（768×768，49帧）、LoRA配置（rank=128，学习率1×10^-4）、超参数（全局-局部帧交换在前8/40步应用，阈值τ=20，步长δ根据运动程度选择为1或5）。论文提供了项目页面链接（https://koyy001.github.io/Publications/hl-outpaint），但没有明确声明是否开源代码。数据集使用公开可用的OpenVid-1M和REDS，Long-Video和Short-Form数据集的视频URL在论文附录中提供（ Tables 7和8），均来自Pexels免费许可。硬件要求：A100-80GB GPU，500帧720×1280视频的推理时间为105分钟。复现难度：中等偏高。需要理解复杂的两阶段流水线和多个算法，需要大量计算资源进行训练和推理。LoRA模块的训练需要访问预训练的Wan2.2-14B-I2V模型。缺乏开源代码会增加复现难度。

HL-OutPaint：面向高分辨率长视频的粗到细视频外扩方法 HL-OutPaint: Coarse-to-Fine Video Outpainting for High-Resolution Long-Range Videos