← 返回 2026-03-18

SparkVSR：基于稀疏关键帧传播的交互式视频超分辨率 SparkVSR: Interactive Video Super-Resolution via Sparse Keyframe Propagation

Jiongze Yu, Xiangbo Gao, Pooja Verlani, Akshay Gadde, Yilin Wang, Balu Adsumilli, Zhengzhong Tu 📅 2026-03-17 👍 18 2026-07-13 08:36

交互式图像处理关键帧传播扩散模型时空一致性视频超分辨率

arXiv HuggingFace PDF

通过稀疏关键帧引导，将视频超分辨率从黑盒转变为用户可控的交互式过程

前置知识

视频超分辨率（VSR）

从低分辨率视频序列恢复高质量高分辨率帧的技术。核心挑战是在重建高频细节的同时保持帧间的时间一致性。早期方法依赖隐式时间聚合，后来引入光流和可变形卷积等显式对齐机制，最近 Transformer 和扩散模型在视觉质量上取得突破。VSR 本质上是一个不适定问题，同一个 LR 输入可能对应多个合理的 HR 重构结果。

本文工作的核心领域，理解现有 VSR 方法的黑盒特性和局限性是理解 SparkVSR 创新的基础

图像超分辨率（ISR）

从单张低分辨率图像重建高分辨率图像的技术。现代 ISR 方法（如 Nano-Banana-Pro、PiSA-SR）利用大规模扩散模型的生成先验，能够合成高保真的纹理和细节。支持文本提示或空间引导的交互式 ISR 允许用户主动塑造输出结果。但在视频序列上独立应用 ISR 会忽略跨帧动态，导致严重的时间闪烁和结构不一致。

SparkVSR 利用外部 ISR 模型生成高质量关键帧参考，理解 ISR 的优势及其在视频中的局限是方法设计的出发点

关键帧（Keyframe）

视频序列中被选中的代表性帧，用于引导整个视频的处理。在视频压缩中，I 帧包含完整的画面信息而不依赖其他帧。关键帧选择策略包括手动选择、编解码器 I 帧提取和随机采样。少量关键帧可以强烈约束整体结果，同时保持编辑的实用性，因为监督少数锚帧比监督每一帧要实用得多。

SparkVSR 的核心创新是将关键帧作为可编辑的控制信号，理解关键帧的作用机制是理解方法交互性的关键

分类器自由指导（CFG）

一种在扩散模型中增强条件信号强度的技术。通过同时计算条件预测和无条件预测，然后按比例组合。数学公式为：v_hat = v_theta(Z_uncond) + s * (v_theta(Z_cond) - v_theta(Z_uncond))，其中 s 是可调节的指导尺度。s 大于 1 会放大条件信号，s 等于 1 是标准生成，s 小于 1 则减弱条件影响。这种机制允许用户在遵循条件和模型内部先验之间灵活平衡。

SparkVSR 借鉴 CFG 提出参考自由指导（RFG）机制，这是实现灵活推理和可调控制的理论基础

潜在空间和像素空间训练

两阶段训练策略。第一阶段在 VAE 编码的潜在空间训练，使用 MSE 损失优化，效率高，能快速捕捉语义布局。第二阶段在像素空间训练，引入感知损失（如 DISTS）和一致性损失，用于消除时间闪烁、细化感知纹理。像素空间训练计算开销大但能提升视觉质量。DOVE 等工作证明了这种两阶段范式的有效性。

SparkVSR 采用的两阶段训练策略是保证训练效率的同时实现高质量输出的关键技术

研究动机

现有的视频超分辨率方法（如 STAR、DOVE、SeedVR2、FlashVSR）在推理时表现得像黑盒。一旦训练完成，用户几乎无法影响推理结果，模型完全决定输出。即使通过文本提示提供控制（如描述视频内容的文本），也只能提供粗糙的高层次指导，无法满足用户需要精确的帧级控制的场景。在现实的内容创作工作流中，主观偏好和针对性修正是不可或缺的，听天由命的推理范式限制了 VSR 模型的实用性。根本原因在于超分辨率本质上是不适定的，同一个 LR 输入可以对应多个合理的 HR 重构结果，在纹理、锐度和精细外观上存在差异，在这些合理输出中选择更多是用户意图问题而非学习问题。此外，VSR 模型在每帧视觉质量上往往落后于最佳帧级 ISR，因为 VSR 被迫同时学习空间先验和复杂的时间一致性。

本文的目标是提出 SparkVSR，一个通过稀疏关键帧传播实现交互式视频超分辨率的框架。将 VSR 转变为人机协作过程：用户或自动策略选择少量关键帧，使用任意现成的 ISR 模型生成高质量 HR 关键帧参考，然后 SparkVSR 将这些参考先验传播以重构时间一致的 HR 视频。在引入可控制性的同时，通过分类器自由指导（CFG）训练，当参考帧不存在或有噪声时能够调整条件强度。结合现代 ISR 的进步，在获得更强每帧质量的同时保持时间一致性。支持灵活的关键帧选择（手动、编解码器 I 帧等），提供可在关键帧遵循和盲目恢复之间权衡的方法。

与已有工作不同的是，现有方法要么完全不考虑用户控制（黑盒 VSR），要么仅通过文本提示提供粗糙的高层指导。生成方法利用关键帧引导时间合成，但这些方法往往产生偏离原始运动约束的内容，导致 VSR 严格要求的 LR 到 HR 映射中的严重失真。SparkVSR 的独特切入角度是引入关键帧条件潜在-像素训练策略，将现代 ISR 模型的高质量先验（通过稀疏关键帧）与保留的 LR 潜在显式结合，为模型配备强大的时间传播能力，同时严格将输出锚定到视频的原始结构动态。将 VSR 从确定性端到端映射函数转变为交互式重建过程，让稀疏、可编辑的关键帧充当可控锚点。

核心方法

SparkVSR 的核心思想是打破传统 VSR 的确定性黑盒映射，引入高质量外部参考帧来显式引导视频生成。整体架构基于 CogVideoX1.5-5B 图像到视频（I2V）模型的预训练权重，设计双编码机制分别处理连续视频序列和稀疏关键帧。推理流程分为三个阶段：（1）关键帧选择：使用手动选择、编解码器 I 帧提取或随机采样策略提取 LR 关键帧；（2）HR 参考生成：通过交互式（任务/内容提示引导）或盲目 ISR 模型将选定帧上放为 HR 参考关键帧；（3）条件视频重建：基于 Diffusion Transformer 的 VSR 模型融合 HR 关键帧和 LR 视频潜在以引导最终 HR 视频生成。训练采用两阶段策略：第一阶段在潜在空间使用 MSE 损失学习特征对齐，第二阶段在像素空间引入感知损失和一致性损失优化视觉质量。

核心创新是将稀疏、可编辑的关键帧作为视频超分辨率的控制信号。与现有方法的关键区别在于：（1）显式引入外部 ISR 模型生成的高质量关键帧先验，而不是依赖 VSR 模型自己学习空间先验；（2）关键帧条件潜在-像素两阶段训练策略，融合 LR 视频潜在与稀疏编码的 HR 关键帧潜在，在保持结构保真度的同时学习强大的跨空间传播；（3）参考丢弃策略和参考自由指导（RFG）机制，允许模型在参考帧缺失或噪声时通过调整指导尺度 s 来平衡关键帧遵循和盲目恢复；（4）灵活的关键帧选择和提示引导交互，支持用户精确控制恢复过程。本质上，SparkVSR 将 VSR 从纯学习问题转化为学习加用户意图的混合问题，通过少量用户编辑实现全局可控。

方法步骤详情

方法分为训练和推理两个流程。训练阶段分为两个阶段：第一阶段（潜在空间训练）：从 Ground Truth 视频中稀疏随机选择关键帧（数量上限 T/4，时间索引间隔严格大于 VAE 的 4 倍时间下采样率），应用严重增强（ColorJitter、高斯模糊、噪声）模拟外部 ISR 输出。VAE 编码器将 LR 视频编码为潜在 Z_LR，空间编码器将 HR 关键帧编码为稀疏参考潜在 Z_ref（仅在关键帧位置有值，其他为零）。拼接 Z_in 作为条件输入，初始化去噪过程为 Z_t = Z_LR（timestep t = 399），优化目标是最小化预测潜在 Z_sr 与 HR Ground Truth 潜在 Z_hr 之间的 MSE 损失。引入参考丢弃策略（概率 p_drop = 0.1）将 Z_ref 替换为零张量，强制模型学习参考自由的盲目恢复。第二阶段（像素空间训练）：视频分支使用与第一阶段相同的稀疏关键帧选择和编码策略，输出视频用组合损失监督：L_s2-video = L_mse + lambda1 * L_dists + lambda2 * L_frame，其中 lambda1 = lambda2 = 1。图像分支处理单张 LR 图像，显式拼接编码的图像潜在与零潜在，用 L_mse 和 L_dists 优化。推理阶段：（1）关键帧选择：手动选择、编解码器 I 帧提取或随机采样；（2）HR 参考生成：使用 Nano-Banana-Pro（交互式）或 PiSA-SR（盲目）生成 HR 关键帧 X_ref；（3）稀疏编码：Z_ref(i) = E_sparse(X_ref(i)) 如果 i 属于 K（关键帧索引集合），否则为零；（4）特征融合和去噪：Z_in = Concat(Z_LR, Z_ref)，Z_t = Z_LR，t = 399，通过 Diffusion Transformer v_theta 去噪得到 Z_sr；（5）解码：x_sr = D(Z_sr) 得到最终 HR 视频。使用 RFG 机制：v_hat = v_theta(Z_uncond) + s * (v_theta(Z_cond) - v_theta(Z_uncond))，其中 Z_cond = Concat(Z_LR, Z_ref)，Z_uncond = Concat(Z_LR, 0)，s 是用户可调的指导尺度。

技术新颖性

技术新颖性体现在四个方面：（1）首次将 VSR 明确表述为交互式重建过程，引入稀疏关键帧作为可编辑控制信号，打破了传统 VSR 的黑盒范式；（2）关键帧条件潜在-像素两阶段训练策略，融合 LR 视频潜在与稀疏 HR 关键帧潜在，在像素空间联合训练视频和图像分支，既保留 LR 视频信息又有效传播高质量先验；（3）参考丢弃策略和参考自由指导（RFG）机制，通过训练时随机丢弃参考和推理时可调尺度，实现参考遵循和盲目恢复的连续权衡；（4）提示引导的交互式恢复机制，将提示分为任务文本提示和内容文本提示（例如上放并去模糊至 4K 照片级质量加顶部的大型标题 PARIS），实现精确的帧级控制。泛化能力新颖性体现在无需任务特定重训练即可应用于老电影修复和风格化视频生成等零样本任务。

**Figure 1**: Overall inference framework of SparkVSR

**Figure 2**: Keyframe-conditioned two-stage training pipeline of SparkVSR

实验结果

在五个多样化的基准数据集上，SparkVSR 持续实现优异性能。UDM10 数据集上，无参考的 SparkVSR 星号实现最高保真度（PSNR 26.62、SSIM 0.7756），表明模型的盲目恢复能力强。引入参考先验后，SparkVSR 剑号（Nano-Banana-Pro 参考）和 SparkVSR 双剑号（PiSA-SR 参考）在感知和视频质量评估（VQA）指标上建立新的最先进结果。在真实世界 MovieLQ 数据集上，SparkVSR 双剑号主导感知评估：MUSIQ 68.88、CLIP-IQA 0.6361、FasterVQA 0.8028、DOVER 0.6212，证明参考引导方法处理复杂真实世界降级的鲁棒性。消融实验验证两阶段训练策略的有效性：仅第一阶段（S1）在零参考条件下达到 PSNR 26.73，但感知质量次优；引入第二阶段（S1 加 S2）显著提升所有感知评估。参考帧数量影响显著：从 0 个参考到 1 个参考（索引 [1]），MUSIQ 从 56.34 提升到 61.73；增加到 3 个参考（[1,96,192]），MUSIQ 提升到 64.84；4 个参考（I 帧 [1,48,96,144]）达到 65.76。X-T 切片轮廓分析表明 SparkVSR 方法产生接近 Ground Truth 的锐利边缘和高度直线连续的时间轨迹，有效合成高频细节的同时严格保持时间一致性并抑制帧间闪烁。X-T 切片中平滑连续的垂直纹理表示高时间稳定性，而锯齿或模糊线条揭示闪烁和不一致。SPMCS 和 YouHQ40 数据集上，STAR 和 DOVE 等基线产生连续但过度模糊的切片，无法恢复锐利的结构边界。SeedVR2-7B 和 FlashVSR-Full 等方法恢复更精细的空间细节，但 X-T 切片显示波浪和锯齿边缘，表明帧间不稳定和时间抖动。泛化能力实验显示，SparkVSR 可应用于老电影修复和风格化视频生成等零样本任务，无需任务特定重训练。

**Table 1**: Quantitative comparison of our method against state-of-the-art methods across multiple datasets

**Table 2**: Ablation of training strategies on the UDM10 dataset

**Table 3**: Ablation of the number and positions of reference frames on the MovieLQ dataset

**Table 4**: Ablation study of the impact of various reference sources and varying RFG scales on the UDM10 dataset

**Figure 3**: Qualitative visual comparisons on the MovieLQ dataset

**Figure 4**: Qualitative visual comparisons on the SPMCS and YouHQ40 datasets

**Figure 6**: X-T slice profiles comparing different methods on SPMCS and YouHQ40 datasets

**Figure 7**: Visual ablation study of different reference sources and varying RFG scales

**Figure 8**: Visual ablation study of the number and temporal positions of reference frames

查看结构化数据

任务	指标	本文	基线	提升
Video Super-Resolution	CLIP-IQA (UDM10)	0.6252 (SparkVSR 双剑号)	0.5016 (DOVE)	+24.6%
Video Super-Resolution	DOVER (UDM10)	0.6411 (SparkVSR 剑号)	0.5317 (DOVE)	+20.6%
Video Super-Resolution	MUSIQ (RealVSR)	75.44 (SparkVSR 双剑号)	71.69 (SeedVR2-7B)	+5.2%
Video Super-Resolution	PSNR (UDM10, 无参考)	26.62 (SparkVSR 星号)	25.44 (FlashVSR-Full)	+1.18
Video Super-Resolution	SSIM (UDM10, 无参考)	0.7756 (SparkVSR 星号)	0.7583 (FlashVSR-Full)	+0.0173

局限与改进

作者承认的局限性包括：外部 ISR 模型的质量直接影响最终结果，如果关键帧参考包含伪影，这些伪影可能传播到整个视频。在极端降级情况下，即使使用参考帧，模型仍可能难以完美恢复所有细节。模型需要额外的关键帧生成步骤，增加了流水线复杂度。此外，用户需要交互式选择关键帧的界面和工具，这在实际应用中需要额外开发和用户培训。我自己观察到的局限：RFG 机制的调节需要用户经验，s 值的选择影响显著，新手用户可能难以找到最佳平衡点。关键帧选择的策略（数量和位置）对结果影响较大，自动化选择策略仍有优化空间。计算开销方面，虽然使用一步扩散（t=399）减少计算，但仍需要编码 LR 视频、编码关键帧、融合和去噪多个步骤，对于长视频或高分辨率视频的计算成本较高。模型基于 CogVideoX1.5-5B（5B 参数），对内存和计算资源要求高，限制了在消费级硬件上的部署。

独立分析的弱点

独立分析的弱点包括：（1）关键帧质量依赖性：方法高度依赖外部 ISR 模型输出的质量。如果外部模型产生幻觉或伪影，这些错误会通过潜在传播机制扩散到整个视频。改进方向：开发关键帧质量评估和自动修正机制，或在训练中引入对抗鲁棒性训练以降低对参考质量的敏感性；（2）长视频处理：当前方法主要在短序列（33 帧）上训练和评估，对于长视频（如电影、长纪录片）的传播效果和累积误差问题尚未充分研究。改进方向：引入层次化关键帧选择策略（粗粒度加细粒度），或开发分块处理和边界平滑机制；（3）极端降级场景：论文实验主要针对常见降级（模糊、噪声、压缩），对于极端情况（如严重损坏、缺失区域）的表现有限。改进方向：引入更强大的鲁棒训练（如更严重的增强）或结合修复（inpainting）机制；（4）用户体验优化：当前交互方式需要用户选择关键帧和编写提示，对非专业用户门槛高。改进方向：开发智能关键帧自动推荐系统（基于质量评估或语义重要性）和自然语言交互界面，降低用户操作复杂度；（5）计算效率：基于 5B 参数的基础模型，推理速度和内存占用可能限制实时应用。改进方向：探索模型蒸馏、量化或更高效的架构（如轻量级 DiT）。

未来方向

作者提出的未来方向：扩展到更多视频编辑任务，如老电影修复和风格化视频生成已经展示，未来可探索视频修复、去雨雪、去抖动等任务。开发自动关键帧选择策略，基于视频质量评估、语义重要性或时间采样算法，减少人工干预。基于成果可延伸的方向：（1）多模态交互：结合音频、文本、手势等多种输入模态，提供更丰富的控制接口。例如，用户可以通过语音描述期望的修改，系统自动选择和处理关键帧；（2）层次化控制：支持不同粒度的控制，从全局风格到局部细节（如仅修改面部区域），利用语义分割和注意力机制实现精细化编辑；（3）自适应指导机制：开发自动 RFG 尺度调节，根据视频内容、降级类型和用户反馈动态调整 s 值，实现感知-失真权衡的自动化；（4）实时交互：探索更高效的网络架构和推理优化（如模型并行、KV cache），实现实时或近实时的交互式视频处理；（5）用户学习：引入用户偏好学习机制，通过收集用户反馈和编辑模式，逐渐学习用户风格，提供个性化的恢复建议；（6）评估标准：开发更全面的交互式视频处理评估指标，不仅测量视觉质量，还测量控制性、用户满意度和操作效率。

复现评估

开源情况：论文提供了项目主页，但截至论文发表时未明确说明代码和数据开源情况。模型基于开源的 CogVideoX1.5-5B I2V 模型，这为复现提供了基础。数据集：训练数据组合了 HQ-VSR（2055 个高分辨率视频片段，通过 RealBasicVSR 降级）和 DIV2K（900 张图像，通过 Real-ESRGAN 降级）。评估数据集包括合成基准（UDM10、SPMCS、YouHQ40）和真实世界数据集（RealVSR）。作者还提出了新数据集 MovieLQ（10 个来自 1940-1950 年代的 360p 老电影片段，8 秒 24fps，共 192 帧）。算力要求：使用四块 NVIDIA A100-80GB GPU（总批次大小 8）进行两阶段微调。第一阶段训练 10000 次迭代，学习率 2 乘以 10 的负 5 次方；第二阶段训练 500 次迭代，学习率 5 乘以 10 的负 6 次方。推断时需要足够的内存加载 5B 参数的模型和编码视频潜在。复现难度：中等偏高。虽然基础模型是开源的，但具体的微调策略、数据预处理和增强方案需要详细实现。需要访问 HQ-VSR、DIV2K、UDM10、SPMCS、YouHQ40、RealVSR 等数据集。对于研究者来说，复现需要较强的硬件资源（至少一块高端 GPU）和深入的扩散模型经验。对于工业界应用，可能需要额外的优化和部署工作。

论文图表

Figure 5: Perception-distortion trade-off

该图展示了感知-失真权衡比较，以 PSNR 和 SSIM 作为失真指标，DOVER 作为感知指标。图中绘制了 STAR、SeedVR2-3B、SeedVR2-7B、FlashVSR-Tiny、FlashVSR-Full、DOVE、SparkVSR（Nano-Banana-Pro ref）、SparkVSR（PiSA-SR ref）在不同指导尺度下的性能曲线。主要发现：SparkVSR 在相同的失真水平下实现更好的感知质量，有效地推动了这一权衡的边界。图中标注了不同指导尺度（g=0、g=0.5、g=0.8、g=1.0、g=1.2、g=1.5）下的性能点，显示随着指导尺度增加，感知质量（DOVER）提升但失真（PSNR/SSIM）下降。

这张图对理解论文的 RFG 机制的价值至关重要，因为它可视化地展示了感知-失真权衡的 Pareto 前沿。通过与其他方法的对比，图清楚地展示了 SparkVSR 在任何给定的失真水平下都能实现更好的感知质量，这是方法的核心优势之一。图中的尺度标注也直观地展示了 RFG 机制的连续可调性。