基于时空似然的无训练生成视频检测

零样本检测AI生成视频，联合建模帧内和帧间统计特性，无需训练即可泛化到未见过的生成模型

前置知识

白化变换

白化变换是一种线性变换，将数据映射到具有零均值和单位协方差矩阵的空间。给定数据矩阵X，首先计算均值μ和协方差Σ，然后进行特征分解Σ=VΛV⊤，得到白化矩阵W=Λ^-1/2V⊤。变换后的数据y=W(x-μ)满足均值为0、协方差为单位矩阵，使得各个维度相互独立且具有相同的尺度。在本文中，白化变换被用于处理DINOv3视觉编码器提取的帧嵌入，使得处理后嵌入的坐标近似服从标准正态分布N(0,Id)，从而可以通过计算欧几里得范数来获得封闭形式的对数似然估计。

本文的核心方法依赖于高斯似然建模来区分真实和生成视频。只有理解白化变换如何将视觉嵌入转化为近似高斯分布，才能掌握为什么简单的范数计算可以作为视频真实性的判别指标。白化变换是实现零样本检测的关键预处理步骤，它使得我们可以利用真实视频的统计特性来定义决策边界，而无需任何训练过程。

Maxwell-Poincaré定理

Maxwell-Poincaré定理描述了高维空间中均匀分布在单位球面上的向量在低维投影上的渐近行为。具体来说，如果Ud是在d维单位球S^(d-1)上均匀分布的随机向量，那么对于任意固定的k个坐标，当维度d趋于无穷大时，√d乘以这些坐标构成的向量收敛于标准多元正态分布N(0,Ik)。收敛速度与维度成反比关系：总变差距离上界为2(k+3)/(d-k-3)。这个定理的一个扩展版本表明，如果向量的模长具有集中性质，即使不是精确在单位球面上，只要模长的随机极限存在，类似的渐近高斯性仍然成立。在本文中，这个定理为归一化后的帧间差分向量服从高斯分布提供了理论基础。

本文的时间似然建模依赖于一个关键观察：通过ℓ2归一化将帧间差分向量投影到单位球面后，其坐标应该近似服从高斯分布。Maxwell-Poincaré定理为这一观察提供了严格的理论保证，解释了为什么高维视觉特征中的方向信息可以被有效建模为高斯变量。理解这个定理有助于认识到，本文的时间似然并非启发式设计，而是基于高维几何的坚实数学基础。

零样本检测

零样本检测是指在没有目标类别（这里是生成视频）的训练样本情况下，通过利用已知类别（真实视频）的统计特性来构建检测器。本文中的零样本具有两层含义：第一，不需要任何生成视频样本来训练检测器；第二，不需要针对特定生成模型进行微调或适配。零样本方法通过在预训练阶段仅使用真实视频数据建立参考分布，在推理时将待测视频与该分布进行比较，从而判断其是否属于分布外。这种方法的优势在于能够泛化到训练时未见过的生成模型，因为判断标准不依赖于特定生成器的伪影特征，而是基于真实数据的内在统计规律。

本文的核心贡献是提出了一种零样本生成视频检测器，这与传统的监督式检测方法有本质区别。理解零样本学习的思想框架，特别是它如何避免对合成数据的依赖，对于评估本文方法的实用价值至关重要。零样本方法解决了生成视频领域快速发展的痛点——新模型不断涌现，传统监督检测器需要持续重新训练才能跟上。理解零样本检测的原理和优势，能够帮助读者判断本文方法在实际应用场景中的适用性和局限性。

研究动机

随着文本生成和图像生成技术的重大突破，视频生成领域也迅速发展，产生了高度逼真且可控的视频序列。这些进步为创意工作流、内容生产和媒体自动化带来了强大工具，但同时也引发了严重的虚假信息、欺诈、冒充和知识产权侵权风险。传统的图像检测器在处理视频时存在根本性局限：它们逐帧操作并忽略时间动态，因此无法捕捉帧间的不一致性和运动异常。监督式视频检测器虽然性能较好，但需要大量标注数据集，且对新出现的生成模型泛化能力差——这是一个严重缺陷，因为新模型正在快速涌现。例如，在GenVideo基准测试中，许多监督检测器在面对Sora、Veo3等前沿生成模型时性能显著下降，甚至在某些情况下AUC值低于0.5，意味着决策边界完全反转。这些问题表明，现有方法无法应对生成视频技术快速发展的挑战。

本文的目标是本文的目标是开发一种零样本、训练自由的视频检测器，能够在不依赖任何生成训练数据的情况下，准确区分真实视频和AI生成的视频。具体来说，这个检测器应该同时考虑空间（帧内）和时间（帧间）两个维度的信息，因为生成视频可能在帧内看起来逼真，但在时间维度上表现出不自然的运动模式。该方法需要具备强大的泛化能力，能够检测来自训练时未见过的生成模型的视频，包括最新的商业系统如Sora和Veo3。同时，方法应该是轻量级和高效的，适合实时或大规模应用场景。从理论角度看，目标是基于数学上严格定义的概率框架，而不是依赖启发式的经验假设，这样可以为调试和分析边缘情况提供可解释和可测量的工具。

与已有工作不同的是，本文的独特切入角度在于从概率统计的角度重新思考生成视频检测问题，而不是将其视为一个监督分类任务。现有方法要么是监督式的，需要大量合成训练数据；要么是零样本但仅关注空间线索（图像检测器），忽略时间维度；要么是仅关注时间动态（如D3），忽略帧内视觉内容。本文的核心洞察是，真实视频在视觉编码器的嵌入空间中应该遵循特定的统计分布，而生成视频即使看起来逼真，其嵌入分布也会偏离真实数据的统计特性。通过同时建模空间和时间两个维度的似然度，本文方法能够捕捉到仅从单一维度无法发现的不一致性。这种方法的理论基础是Maxwell-Poincaré定理和高维几何，而不是依赖手工设计的伪影特征或特定的生成模型假设，这使得它具有更强的理论保证和更好的泛化能力。

核心方法

STALL（Spatial-Temporal Aggregated Log-Likelihoods）方法的核心思想是将生成视频检测问题转化为概率分布拟合问题。方法假设真实视频在预训练视觉编码器的嵌入空间中遵循特定的统计分布，而生成视频的嵌入会偏离这个分布。方法分为两个并行分支：空间分支分析每帧的嵌入特征，时间分支分析相邻帧之间的差分特征。在预处理阶段，从真实视频的校准集中估计空间和时间两个维度的统计参数（均值和协方差矩阵），然后使用白化变换将嵌入映射到近似标准正态分布的空间。在推理时，对于待测视频，分别计算其帧嵌入的似然度和帧间差分的似然度，然后通过百分位归一化和融合得到最终的检测分数。整个过程不需要任何训练，仅依赖于真实视频的统计特性，因此是零样本的。

本文的核心创新点在于提出了一个统一的概率框架来同时建模视频的空间和时间特征。与现有方法的关键区别在于：（1）理论基础的严格性：方法基于Maxwell-Poincaré定理和高维几何的数学理论，而不是启发式的经验假设；（2）双维度联合建模：同时考虑空间（帧内）和时间（帧间）似然度，捕捉两个维度的交互产生的不一致性；（3）完全零样本：仅使用真实视频建立参考分布，不依赖任何生成训练数据；（4）训练自由：所有参数都是从真实视频中离线估计的统计量，推理时只需要简单的矩阵运算和对数似然计算。这种设计使得方法不仅性能优异，而且具有理论上的可解释性——可以清晰地解释为什么某个视频被判定为生成的（是因为空间似然度低、时间似然度低，还是两者都低）。

方法步骤详情

方法分为校准和推理两个阶段。在校准阶段，首先从包含33,976个真实视频的VATEX数据集中提取所有帧，使用DINOv3视觉编码器将每帧编码为1024维嵌入向量。对于空间分支，从每个视频中随机采样一帧，计算所有采样帧的均值μ和协方差矩阵Σ，然后通过特征分解Σ=VΛV⊤得到白化矩阵W=Λ^-1/2V⊤。对于时间分支，计算所有视频中相邻帧的差分向量Δt=xt+1-xt，然后进行ℓ2归一化得到归一化差分˜Δt=Δt/∥Δt∥，最后计算这些归一化差分的均值μΔ和协方差ΣΔ，同样得到白化矩阵WΔ。此外，还需要计算校准集上所有空间分数和时间分数的分布，用于后续的百分位归一化。在推理阶段，对于待测视频v={ft}Tt=1，首先使用相同的DINOv3编码器提取每帧的嵌入xt=E(ft)。空间分支通过yt=W(xt-μ)得到白化嵌入，然后使用公式ℓ(yt)=-1/2(d·log(2π)+∥yt∥²)计算每帧的对数似然，最终取最大值作为空间分数sspatial=max{ℓ(yt)}。时间分支计算相邻帧差分Δt=xt+1-xt，归一化为˜Δt=Δt/∥Δt∥，通过zt=WΔ(˜Δt-μΔ)得到白化差分，然后计算对数似然ℓ(zt)，最终取最小值作为时间分数stemp=min{ℓ(zt)}。最后将两个分数转换为相对于校准集分布的百分位，使用公式svideo=1/2(percspatial+perctemp)得到最终检测分数。

技术新颖性

本文的技术新颖性体现在多个方面。首先，在视频检测领域首次引入了基于高斯似然的严格概率框架，这使得方法的决策过程具有可解释性——可以直接指出视频在哪个维度上表现出异常。其次，方法巧妙地利用了高维几何的性质：通过对帧间差分进行ℓ2归一化，将方向信息投影到单位球面，然后利用Maxwell-Poincaré定理保证归一化后的向量坐标近似服从高斯分布，从而可以使用相同的似然计算框架。第三，方法采用了百分位归一化而非原始分数融合，这使得空间和时间两个维度的分数具有可比较的尺度，同时减少了对极端异常值的敏感性。第四，方法引入了新的基准数据集ComGenVid，包含来自最新商业生成模型Sora和Veo3的3,500个视频，为未来研究提供了更具挑战性的评估平台。最后，大量的消融实验表明方法对各种超参数选择、数据扰动和校准集选择都具有很强的鲁棒性，这在零样本检测方法中是比较少见的。

**Figure 1**: Spatio-temporal likelihoods per video. Blue: real; red: fake (ComGenVid). Joint spatio-temporal likelihoods clearly separate real and fake videos; examples illustrate high/low spatial likelihood (frame realism) and temporal likelihood (motion naturalness).

**Figure 2**: Qualitative comparison of ZED, D3, and our method (STALL). Each row shows a video clip with natural or unnatural spatial and temporal behavior, together with the corresponding predictions.

**Figure 3**: Method overview. A video is split into frames and encoded into embeddings. The spatial branch scores the likelihood of each frame embedding; the temporal branch normalizes inter-frame differences and scores their likelihood analogously. The two scores are then fused into a unified measure that separates AI-generated from real videos.

**Figure 4**: Correlations among spatial and temporal aggregation methods. Values computed on VATEX, which is not used in our evaluations.

**Figure 5**: Temporal embedding coordinates. Raw coordinates of temporal embeddings (frame differences) are not Gaussian; after normalization, each coordinate is approximately Gaussian.

实验结果

本文在三个基准测试上进行了全面评估：VideoFeedback（包含约33,000个来自11个生成模型的视频和约4,000个真实视频）、GenVideo（包含约8,500个来自10个生成模型的视频和约10,000个真实视频）以及新引入的ComGenVid（包含约3,500个来自Sora和Veo3的视频和约1,700个真实视频）。实验设置为所有视频统一采样到8 FPS、2秒时长（16帧），只有HotShot-XL和MoonValley生成的1秒视频例外，使用8帧进行评估。评估指标包括AUC（ROC曲线下面积）和AP（平均精度）。在VideoFeedback基准上，STALL平均AUC为0.83，平均AP为0.85，显著优于其他零样本方法（AEROBLADE AUC 0.58、RIGID 0.63、ZED 0.54、D3 L2 0.54）。在GenVideo基准上，STALL平均AUC为0.80，平均AP为0.80，同样优于所有对比方法。在最具挑战性的ComGenVid基准上，针对Sora和Veo3这两个最新商业模型，STALL平均AUC为0.85，平均AP为0.86。值得注意的是，所有其他方法在某些生成器上都会出现AUC低于0.5的情况，意味着决策边界完全反转，而STALL在所有生成器上都保持AUC>0.5，显示出一致的分离能力。在效率方面，方法平均处理每个视频仅需0.223秒，是最快的方法之一（与D3相当），内存占用也适中（模型加载GPU内存1167MB，推理峰值160MB），适合实际部署。

**Table 1**: Zero-shot detection results. Comparison of image- and video-based detectors on three benchmarks.

**Table 11**: Average AUC for different calibration datasets across all three benchmarks.

**Figure 6**: Comparison of detectors and calibration data.

**Figure 7**: Robustness to calibration set size and image perturbations.

**Figure 8**: Temporal ablations. Our method remains robust under all temporal variations.

查看结构化数据

任务	指标	本文	基线	提升
VideoFeedback基准检测	AUC	0.83	AEROBLADE: 0.58, RIGID: 0.63, ZED: 0.54, D3 L2: 0.54	相比最佳基线RIGID提升32%，相比平均基线提升64%
VideoFeedback基准检测	AP	0.85	AEROBLADE: 0.58, RIGID: 0.62, ZED: 0.54, D3 L2: 0.57	相比最佳基线RIGID提升37%，相比平均基线提升56%
GenVideo基准检测	AUC	0.80	AEROBLADE: 0.59, RIGID: 0.65, ZED: 0.55, D3 L2: 0.72	相比最佳基线D3 L2提升11%，相比平均基线提升30%
GenVideo基准检测	AP	0.80	AEROBLADE: 0.61, RIGID: 0.63, ZED: 0.57, D3 L2: 0.74	相比最佳基线D3 L2提升8%，相比平均基线提升27%
ComGenVid基准检测(Sora+Veo3)	AUC	0.85	AEROBLADE: 0.69, RIGID: 0.57, ZED: 0.55, D3 L2: 0.73	相比最佳基线D3 L2提升16%，相比平均基线提升44%
ComGenVid基准检测(Sora+Veo3)	AP	0.86	AEROBLADE: 0.64, RIGID: 0.59, ZED: 0.57, D3 L2: 0.71	相比最佳基线D3 L2提升21%，相比平均基线}%46%
推理速度	秒/视频(16帧)	0.223	AEROBLADE: 2.527, ZED: 1.139, RIGID: 0.436, T2VE: 1.995, AIGVdet: 5.422, D3 L2: 0.222	与最快的基线D3相当，比监督方法快4-24倍

局限与改进

本文承认了一些局限性。首先，方法依赖于校准集的代表性，如果测试视频的领域与校准集相差很大（例如监控或航拍视频），性能可能会下降。其次，方法假设真实视频的嵌入服从高斯分布，虽然大量实验验证了这一假设的合理性，但在某些极端情况下可能不成立。第三，方法对视频时长和帧率有一定的假设（校准时使用8 FPS、2秒），虽然消融实验显示方法对这些因素较为鲁棒，但在极端情况下（如非常低帧率的视频）可能需要重新校准。第四，方法无法检测深度伪造（face swap、lip-sync等操作），因为这类技术编辑的是真实内容，而非完全生成视频。从我自己的观察来看，方法在处理静态或接近静态的视频时可能面临挑战，因为如果所有帧都相同（f1=f2=...=fT），时间差分为零，无法计算时间似然度，方法会退化为纯空间检测器。此外，对于某些生成质量极高的模型（如Sora和Veo3），虽然整体性能仍优于基线，但AUC（0.81-0.86）相比其他模型（如VideoCrafter2的AUC 0.93）有所下降，这说明随着生成技术的进步，检测难度会增加。

独立分析的弱点

从独立分析的角度，我认为方法存在几个潜在的弱点。首先，方法完全依赖于预训练视觉编码器的特征质量，如果编码器本身对真实和生成视频的区分能力有限，或者编码器在某些场景下失效（例如极端光照条件、非常规视角），检测性能可能会受到影响。其次，方法对视频的时空分辨率变化可能不够鲁棒，虽然论文做了帧率消融，但没有充分测试分辨率变化的影响，特别是高分辨率（4K、8K）视频。第三，方法对生成模型使用不同编码器的情况考虑不足——如果生成模型使用的视觉编码器与检测器使用的不同，或者生成模型内部进行了一些编码器无关的优化，可能使得方法的有效性降低。针对这些弱点，改进方向包括：（1）集成多个不同的视觉编码器，利用它们的互补性；（2）引入分辨率归一化或多尺度特征融合；（3）研究编码器无关的特征提取方法，使得检测不依赖于特定的预训练模型；（4）考虑高阶时间差分或更复杂的时序建模（如使用RNN或Transformer），以捕捉更精细的运动模式。

未来方向

作者提出的未来研究方向包括：探索更复杂的时间建模方法，如使用高阶差分或连续时间模型；研究跨域适应方法，使得检测器能够快速适应新的视频领域（如监控、航拍）；探索可解释性更强的检测方法，不仅给出是否生成的判断，还能解释哪些帧或哪些时序片段最可疑。基于本文的成果，可以延伸的方向包括：（1）将方法扩展到其他生成内容模态，如音频生成、3D内容生成等；（2）研究如何将方法与生成模型训练过程结合，开发既能生成高质量内容又能有效检测的统一框架；（3）探索主动学习方法，从检测到的生成视频中学习新的特征，持续改进检测器；（4）研究方法的鲁棒性改进，例如对抗攻击下的防御能力；（5）开发轻量化版本，使得方法能够在边缘设备上运行；（6）与监管机构和内容平台合作，将方法部署到实际的内容审核系统中。特别值得注意的是，随着生成模型质量的不断提高，检测器与生成器之间的军备竞赛将持续，因此需要研究检测器如何能够自适应地跟进最新的生成技术。

复现评估

本文在复现性方面做得比较好。作者已经开源了完整的代码、数据集和预计算的白化参数。实验使用的硬件配置是Intel Core i9-7940X CPU和NVIDIA GeForce RTX 3090 GPU，这是相对常见的高端配置。对于基线方法，作者尽可能使用了官方实现，对于没有官方实现的RIGID和ZED，作者按照论文规范重新实现了这些方法。数据集方面，作者提供了完整的数据获取脚本和采样列表，包括从Kaggle、Hugging Face等平台下载的具体命令。唯一可能影响复现的因素是D3方法的评估协议差异：作者指出了D3原始论文中使用的两个系统差异（测试集类别不平衡和通过帧复制提高帧率），这解释了为什么本文报告的D3性能低于原始论文。作者提供了详细的消融实验，包括校准集大小、校准集来源、视频编码器选择、视频时长、帧率、时间步长等多个方面，这使得其他研究者能够深入理解方法的边界条件。总体来说，如果读者有类似的硬件配置，应该能够复现本文的主要结果。对于资源受限的研究者，作者还提供了轻量级编码器（MobileNetV3）的实验结果，显示即使使用较小的模型，方法仍然保持较好的性能（AUC 0.82）。