← 返回 2026-07-10

基于视频扩散模型的长视事件相机视频重建、预测与帧插值 LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

Cheng-De Fan, Chun-Wei Tuan Mu, Chen-Wei Chang, Chin-Yang Lin, Kun-Ru Wu, Yu-Chee Tseng, Yu-Lun Liu 📅 2026-07-09 👍 31 2026-07-15 18:30

事件相机帧插值视频扩散模型视频重建视频预测

arXiv HuggingFace PDF

利用预训练视频扩散先验统一解决事件流视频重建、预测和帧插值三大任务

前置知识

事件相机

事件相机是一种仿生传感器，与传统相机不同，它不按固定帧率捕获完整图像，而是异步响应像素亮度的变化。当某个像素的亮度变化超过阈值时，事件相机会记录一个事件，包含位置坐标$(x,y)$、时间戳$t$和极性$p$（亮度增加或减少）。事件相机具有微秒级时间分辨率、高动态范围（$140$dB vs 传统相机的$60$dB）、低延迟和低功耗等优势，特别适合高速运动场景。事件输出是稀疏的、没有绝对强度的，只记录相对亮度变化，这使得从中恢复高质量视频成为一个不适定问题。

论文的核心就是从这些稀疏的事件流中恢复高质量视频，理解事件相机的工作原理和输出格式（$e_i = (x_i, y_i, t_i, p_i)$）是理解整个方法的基础。只有理解了事件相机的输出特性，才能明白为什么需要预训练视频扩散模型的强大先验来解决这个问题。

视频扩散模型

视频扩散模型是一类生成模型，通过逐步去噪来生成高质量视频。训练时，模型学习从加噪的潜在表示$Z_t$预测噪声$\epsilon$，目标是最小化损失函数$\mathcal{L} = \mathbb{E}_{Z_0, t, C, \epsilon} \|\epsilon - \epsilon_\theta(Z_t, t, C)\|_2^2$，其中$C$是条件信号。推理时，从随机高斯噪声开始，迭代去噪生成干净的潜在表示，再通过解码器得到像素空间视频。CogVideoX等基础模型使用$3$D VAE（$4$倍时间压缩、$8$倍空间压缩）和Diffusion Transformer架构。这些模型在大规模视频数据集上预训练，具有强大的视频生成先验。

LongE2V的核心创新就是利用预训练视频扩散模型的强大先验来解决事件到视频的映射问题，理解其工作原理对于理解本文的fine-tuning策略和条件注入方式至关重要。只有理解了扩散模型的训练和推理机制，才能明白如何通过微调将事件条件注入其中。

事件体素

事件体素是将异步事件流转换为体素网格$V \in \mathbb{R}^{B \times H \times W}$的方法，用于帧级处理。对于每个事件$e_i = (x_i, y_i, t_i, p_i)$，通过线性插值将其极性$p_i \in \{\pm 1\}$累积到$B$个时间箱中：$V(t, y, x) = \sum_i p_i \max(0, 1 - |t - t_i^*|) \delta(x-x_i, y-y_i)$，其中$t_i^* \in [0, B-1]$是归一化时间戳，$\delta$是Kronecker delta函数。这种表示方法使得事件流可以通过VAE的标准$3$通道输入处理。本文设置$B=3$，这样事件流可以方便地与视频帧对齐。

事件体素是本文将异步事件流与视频扩散模型对接的关键表示方式，理解其构造方式对于理解模型输入和条件注入机制很重要。事件体素的选择直接影响模型对事件信息的利用效率和最终的视频生成质量。

自回归展开

自回归展开是一种训练策略，用于解决长序列生成中的误差累积问题。传统方法训练时使用Ground Truth上下文，但推理时必须使用自己的预测，导致域错配。自回归展开通过迭代训练来桥接这个gap。首先用GT上下文训练模型至收敛，然后激活展开机制，用训练集上的预测替换上下文进行微调。这个过程重复$T$次（本文$T=3$），强迫模型适应自己的预测误差，使训练分布与推理行为对齐。这种策略特别适用于视频扩散模型，因为它们对条件变化非常敏感。

这是本文解决长序列时间漂移的核心技术之一，理解这个训练-推理gap及其解决方案对于理解本文方法的有效性至关重要。只有理解了自回归展开的工作原理，才能明白为什么本文方法能够在长序列生成中保持时间一致性。

研究动机

事件相机输出的是稀疏的、缺乏绝对强度信息的异步事件流，从中恢复高质量视频是一个不适定问题。现有的基于回归的方法（如E2VID）存在回归到均值问题，生成的图像纹理模糊，细节丢失。例如在HQF数据集上，E2VID+的LPIPS达到$0.256$，FireNet+达到$0.314$，说明感知质量不佳。另一方面，直接将视频扩散模型应用于长序列生成会导致严重的误差累积和时间漂移，颜色和纹理逐渐偏离真实值。此外，现有的帧插值方法在处理快速、复杂运动时会产生重影伪影，无法准确捕捉中间动态。更关键的是，许多现有方法针对单个任务定制，重建、预测和帧插值需要不同的架构，缺乏灵活性。

本文的目标是本文的目标是提出一个统一的框架，利用预训练视频扩散模型的强大先验，同时解决事件相机视频重建、预测和帧插值三大任务。具体而言，就是从稀疏事件流中重建高保真纹理（Reconstruction），从单一起始帧生成长时间序列且保持时间一致性（Prediction），以及在零样本设置下生成中间帧（Frame Interpolation）。目标是在这三个任务上都达到或超越现有的SOTA方法，同时保持高数据效率和良好的泛化能力。通过单一模型解决三个任务，可以大大简化系统架构，提高部署效率。

与已有工作不同的是，本文的独特切入角度是利用预训练视频扩散模型作为统一基础，通过事件体素提供显式的运动引导，这与文本到视频生成中隐式学习运动的方式不同。现有方法要么是回归架构（如E2VID、FireNet），要么是针对插值专门设计（如CBMNet、TLXNet），没有一个方法能同时处理这三个任务。本文的核心创新在于：通过Autoregressive Unrolling和Adaptive Context Switching解决长序列的时间漂移；通过Reencoding Alignment和Cross Residual Correction解决插值的双向时间对齐问题；通过Event Voxel Density Augmentation实现跨传感器分辨率的鲁棒性。这些技术的组合使得单一模型能够在三大任务上都达到SOTA性能。

核心方法

LongE2V的整体思路是微调预训练的视频扩散模型（CogVideoX I2V），使其能够以事件体素为条件生成高质量视频。方法框架包含三个核心部分：训练策略、条件注入和任务适配。训练策略上，采用Autoregressive Unrolling桥接训练-推理gap，结合Adaptive Context Switching动态更新上下文以减少误差累积。条件注入方面，将事件体素、起始帧和上下文帧通过3D VAE编码后，在通道维度上拼接作为条件。任务适配上，通过调整输入条件使同一模型适应重建、预测和插值三种任务：重建只用事件流，预测加起始帧，插值加起始和结束帧。整个方法在BS-ERGB训练集上训练，然后在ECD、MVSEC、HQF等多个真实世界数据集上评估，展示了强大的泛化能力。

核心创新点在于将事件相机的问题转化为条件视频生成问题，并巧妙地解决了两个关键挑战：长序列的时间漂移和插值的双向一致性。对于时间漂移，本文提出的Autoregressive Unrolling让模型在训练时就适应自己的预测误差，而不是依赖Ground Truth，而Adaptive Context Switching则根据注意力权重$\mu_{attn}$动态决定是否更新上下文，避免无效更新导致的误差累积。对于插值的双向一致性，Reencoding Alignment通过解码-翻转-重编码的操作解决了3D VAE中潜在空间和像素空间翻转的不对齐问题（$Flip_{lat}(Z_t) \neq E(Flip_{pix}(D(Z_t)))$），Cross Residual Correction则通过跨分支残差注入恢复高频细节，促进时间一致性。

方法步骤详情

方法步骤包含数据准备、模型训练和任务推理三个阶段。数据准备阶段，将异步事件流$\{e_i\}_{i=1}^N$转换为事件体素$V$，公式为$V(t, y, x) = \sum_i p_i \max(0, 1 - |t - t_i^*|) \delta(x-x_i, y-y_i)$，设置$B=3$。应用Event Voxel Density Augmentation，随机缩放事件体素在$[S_{min}, S_{max}]$范围内。模型训练阶段，使用冻结的3D VAE将所有输入编码为潜在表示，通过通道维度拼接上下文潜在、噪声潜在和事件潜在。扩展第一投影层从$W_{in} \in \mathbb{R}^{D \times 2C_{vae} \times K \times K}$到$W_{in}^* \in \mathbb{R}^{D \times 3C_{vae} \times K \times K}$。采用LoRA（$r=64$）微调DiT块，全量微调第一投影层。应用Autoregressive Unrolling：首先用GT上下文训练$3000$步，然后进行$3$轮迭代。任务推理阶段，根据任务类型初始化：重建用零张量，预测重复起始帧$20$次，插值重复起始和结束帧各$10$次。

技术新颖性

技术新颖性体现在四个方面：首次将预训练视频扩散模型统一应用于事件相机视频重建、预测和帧插值三大任务，实现了跨任务泛化；Autoregressive Unrolling创新性地让模型在训练时就适应自己的预测误差，这是对传统Scheduled Sampling和Professor Forcing的改进，更适合扩散模型的特性；Adaptive Context Switching基于注意力权重动态决定上下文更新策略，相比固定更新策略更智能；Reencoding Alignment和Cross Residual Correction的组合专门解决了3D VAE时间压缩导致的潜在空间翻转不对齐问题。这些技术的组合使得单一预训练模型能够在三个任务上都达到SOTA，且具有零样本泛化能力，这是前所未有的突破。

**Fig. 1**: Event-based video generation. We leverage pre-trained video diffusion priors to address three distinct inverse problems within a single architecture. Depending on the input condition, our model performs: (a) Video Reconstruction, recovering high-fidelity textures from sparse event streams, (b) Video Prediction, generating long-term sequences from a single start frame with minimal drift via our autoregressive unrolling strategy, and (c) Video Frame Interpolation, achieving zero-shot adaptation to synthesize intermediate frames by leveraging event dynamics as temporal guidance.

**Fig. 3**: Autoregressive Unrolling. To bridge the domain gap between training and inference, we employ an iterative training strategy. Initially, the model is trained with Ground Truth context frames for convergence (left). Subsequently, we activate the unrolling mechanism by performing an inference pass to generate predictions, which then replace the Ground Truth context frames for fine-tuning (right). This iterative feedback loop forces the model to adapt to its own generation errors, mitigating error accumulation during long video generation.

**Fig. 4**: Overview of our training pipeline. To enhance robustness against sensor variations, input event voxels undergo Event Voxel Density Augmentation, and the first frame, context frames, and current video frames are synchronously resized and cropped to ensure spatial alignment. All inputs are encoded into latents via a frozen 3D VAE. These latents are aligned and fused through frame dimension concatenation and channel dimension concatenation. Finally, we expand and fully fine-tune the First Projection Layer to accommodate the additional event channels, while the DiT backbone is efficiently fine-tuned using LoRA.

**Fig. 5**: Reencoding Alignment and Cross Residual Correction. To address temporal misalignment caused by the discrepancy between latent-space and pixel-space flipping, we propose Reencoding Alignment. The denoised latents are decoded into pixel space, flipped temporally, and then re-encoded via the 3D VAE to yield the aligned latents. To mitigate information loss inherent in this re-encoding process, we employ Cross Residual Correction. We calculate the residual difference between the original and the re-encoded latents and inject this detail信息 into the opposite branch. This symmetric Cross Injection mechanism promotes temporal consensus between branches while preserving fine-grained details. Light-colored boxes represent information loss.

实验结果

核心发现包括：在重建任务上，LongE2V在LPIPS指标上全面超越SOTA方法，在ECD数据集上达到$0.139$（vs HyperE2VID的$0.157$），在MVSEC上达到$0.405$（vs HyperE2VID的$0.434$），在HQF上达到$0.240$（vs HyperE2VID的$0.257$）；在预测任务上，显著超越VDM-EVFI，在ECD上PSNR从$20.33$提升到$24.40$，LPIPS从$0.244$降到$0.110$，在MVSEC上PSNR从$15.46$提升到$18.18$；在插值任务上，零样本性能优于专门训练的CBMNet-Large和TLXNet+，在BS-ERGB上LPIPS达到$0.124$，在HQF上LPIPS达到$0.105$且PSNR达到$25.39$；消融实验显示每个组件都有贡献；长期时间一致性评估显示重建达到$0.7204$，预测达到$0.7187$；展示了文本引导的事件视频着色能力。

**Table 1**: Quantitative results on ECD, MVSEC, and HQF. Comparing our method against SOTA baselines (Red: best; blue: second). In Reconstruction, we consistently achieve the best LPIPS scores, indicating superior perceptual quality compared to regression-based methods. In Prediction, our method significantly outperforms VDM-EVFI across all metrics and datasets, validating our robust long-term generation capabilities.

**Table 2**: Interpolation (31 skips) on ERGB and HQF. Comparing our zero-shot method vs. supervised baselines (Red: best; blue: second), we excel in LPIPS and generalization. Unlike regression baselines, which blur textures to boost PSNR, our generative approach preserves high-frequency details.

**Table 3**: Ablation of reconstruction components on HQF dataset. The pretrained prior is essential for convergence. Including context, Autoregressive unrolling, Adaptive Context Switch effectively mitigates long-term drift, allowing the full method to achieve the best performance across all metrics.

**Table 4**: Ablation of interpolation components on BS-ERGB dataset. Reencoding Alignment is critical for structural fidelity, while Cross Residual Correction enhances perceptual quality (LPIPS). Event Voxel Density Augmentation improves robustness, with the full method achieving superior results.

**Table 5**: Ablation of Different Backbones on HQF dataset.

**Table 6**: Quantitative comparison on VBench Subject Consistency on HQF dataset.

**Table 7**: Comparison of inference speed.

**Fig. 6**: Qualitative comparisons on ECD, MVSEC, and HQF datasets. Our LongE2V recovers high-frequency textures where regression baselines suffer from blurring (Row 1). In prediction tasks, we avoid the severe noise accumulation and ghosting artifacts seen in VDM-EVFI (Rows 2-3), maintaining superior structural fidelity and temporal stability.

**Fig. 7**: Zero-shot interpolation on BS-ERGB and HQF. Baselines suffer from structural collapse or blur under large motion (Top), whereas our LongE2V captures accurate dynamics. On fine text (Bottom), our Reencoding Alignment eliminates the ghosting seen in baselines, ensuring legibility.

**Fig. 8**: Qualitative ablation on reconstruction. Top: Ablated variants; Bottom: Full Method. w/o Pretrained prior yields noise; w/o Context causes structural ambiguity; w/o Autoregressive unrolling leads to point artifacts (drift); and w/o Adaptive context switch causes grid artifacts. Our method ensures stable, high-fidelity results.

**Fig. 9**: Visual ablation on interpolation. w/o Reencoding Alignment causes ghosting due to latents misalignment; w/o Cross Residual Correction blurs fine details due to VAE loss; and w/o Event Voxel Density Augmentation yields artifacts from density mismatch. Our Full Method restores sharp, coherent details comparable to Ground Truth.

**Fig. 10**: Text-Guided Event Video Colorization. Left to Right: Input events; standard reconstruction (geometry baseline); text-stylized frames; and a temporal XT-slice (at red line). The results demonstrate our model effectively decouples event-driven motion from text-defined appearance, while the XT-slice confirms the generated textures are temporally coherent.

**Fig. 11**: Additional qualitative comparisons on ECD, MVSEC, and HQF datasets.

**Fig. 12**: Additional zero-shot interpolation results on BS-ERGB and HQF datasets.

查看结构化数据

任务	指标	本文	基线	提升
视频重建（HQF数据集）	LPIPS（越低越好）	0.240	HyperE2VID: 0.257	提升6.6%
视频重建（ECD数据集）	LPIPS（越低越好）	0.139	HyperE2VID: 0.157	提升11.5%
视频预测（ECD数据集）	PSNR（越高越好）	24.40	VDM-EVFI: 20.33	提升20.0%
视频预测（ECD数据集）	LPIPS（越低越好）	0.110	VDM-EVFI: 0.244	提升54.9%
帧插值（HQF数据集）	LPIPS（越低越好）	0.105	CBMNet-Large: 0.166	提升36.7%（零样本）
帧插值（HQF数据集）	PSNR（越高越好）	25.39	CBMNet-Large: 24.55	提升3.4%（零样本）
长期一致性（HQF预测）	VBench Subject Consistency（越高越好）	0.7187	VDM-EVFI: 0.6279	提升14.5%

局限与改进

作者承认的局限性包括：当输入事件流高度稀疏或质量较差时，方法难以重建高质量帧；方法对事件条件中的噪声敏感，特别是热像素往往被错误保留或放大。此外，从论文中可以观察到的其他局限包括：推理速度较慢，约$3.6$秒/帧，虽然比VDM-EVFI的$5.4$秒/帧快，但仍远无法满足实时应用需求；模型需要较大的GPU内存（在RTX A6000上运行），限制了在资源受限设备上的部署；虽然零样本插值性能良好，但训练仅针对重建和预测任务；Event Voxel Density Augmentation虽然提高了鲁棒性，但可能无法完全覆盖所有传感器类型和场景深度的极端情况；Adaptive Context Switch的阈值$\tau=0.05$是经验设定的。

独立分析的弱点

独立分析的弱点包括：计算复杂度高，推理速度约$3.6$秒/帧，远无法满足实时应用需求，改进方向包括知识蒸馏、模型量化和更高效的采样策略；对事件稀疏性和噪声敏感，在极端情况下性能下降明显，改进方向包括增强事件预处理（去噪、稀疏性补偿）和多模态融合（结合IMU等传感器）；上下文长度固定为$20$帧，对于超长序列可能不够，改进方向包括引入外部记忆模块或分层上下文管理；Adaptive Context Switch的阈值是静态的，改进方向可以基于序列动态特性自适应调整；插值任务仅靠双向生成融合，没有显式建模中间时间点的精确运动，改进方向可以结合光流引导；评估指标主要集中在重建质量，缺乏对时间一致性的定量评估。此外，方法依赖预训练视频扩散模型，如果基础模型有偏见，这些偏见可能会传播到生成结果中。

未来方向

作者提出的未来工作方向包括加速推理和探索高效的长期一致性机制。基于论文成果可延伸的方向包括：扩展到更多事件相机应用，如事件相机超分辨率、去模糊、三维重建等；探索更高效的长视频生成机制，如分层生成、流式推理、内存高效的attention机制；结合运动控制（如Trajectory Control）实现更精细的视频生成控制；研究跨传感器泛化，支持更多类型的事件相机（DAVIS、CeleX等）；开发轻量级版本，支持移动设备和嵌入式部署；研究自监督或无监督学习，减少对合成数据或标注的依赖；研究多模态融合，如事件+RGB、事件+文本、事件+音频的联合生成；开发实时版本，发挥事件相机的低延迟优势；研究理论性质，如扩散模型在事件到视频映射中的表达能力、误差界等。

复现评估

论文提供了项目页面，但未明确说明代码和数据是否开源。实现细节相对完整，包括训练配置（AdamW优化器、余弦学习率调度、学习率$0.003$、权重衰减$0.01$、batch size $1$、梯度累积$4$步）、模型架构（CogVideoX I2V、LoRA rank $64$）、训练策略（$3$轮Autoregressive Unrolling，每轮$3000$步）。数据集使用BS-ERGB训练集（$7,636$帧）训练，在ECD（$1,855$帧）、MVSEC（$11,321$帧）、HQF（$15,499$帧）上评估，这些都是公开数据集。硬件要求在NVIDIA RTX PRO $6000$上训练，在RTX A6000上评估推理速度。复现难度中等，主要挑战在于计算资源（需要高端GPU）和训练时间。如果作者开源代码，复现应该可行；如果不公开，重新实现有一定难度但可以实现。

论文图表

**Fig. 2**: Challenges in event-based video generation. We highlight failure cases in state-of-the-art methods: (a) Reconstruction: Regression-based methods suffer from regression-to-the-mean, causing blurry textures and detail loss. (b) Prediction: Direct video diffusion on long sequences suffers from error accumulation, leading to severe color temporal drift. (c) Interpolation: Existing networks fail to capture complex intermediate motion, producing significant ghosting artifacts. Our method leverages video diffusion priors to ensure high-fidelity and stable generation across all tasks.
这张图展示了现有SOTA方法的失败案例。图(a)显示基于回归的方法在重建任务中的模糊结果，对比Ground Truth的清晰纹理；图(b)显示直接视频扩散在预测任务中的颜色时间漂移，从箭头处可见颜色逐渐偏离；图(c)显示现有网络在插值任务中的重影伪影，特别是在快速运动区域。每个子图都给出了失败案例和Ground Truth的对比，清晰展示了现有方法的具体问题。

这张图对理解论文的动机很重要，因为它直观地展示了现有方法的具体问题：模糊、漂移、重影。这些视觉证据有力地支持了论文提出的问题陈述，让读者理解为什么需要新的方法。同时，通过对比可以预见LongE2V需要解决的具体挑战。这张图为论文的问题定义提供了直观的证据。

Fig. 13: Limitations. (a) Failure cases under sparse or low-quality event streams. (b) Sensitivity to noise where hot pixel is preserved or amplified in the reconstructed frames.

这张图展示了论文承认的局限性。图(a)显示在稀疏或低质量事件流下的失败案例，重建结果质量差。图(b)显示对噪声的敏感性，hot pixel在重建帧中被保留或放大。每个子图都给出了Event Image和Reconstruction结果，清晰地展示了方法的失败场景。

这张图对理解论文的局限性很重要，因为它诚实地展示了方法的失败案例。这有助于读者评估方法的适用范围，并指导未来的改进方向。这种诚实性增加了论文的可信度，展示了作者对方法局限性的认识。这张图为论文的局限性讨论提供了直观的视觉支持。