SemanticMoments：基于三阶矩特征的无训练运动相似度度量

利用预训练语义特征的高阶时间统计量（均值、方差、偏度）实现无需训练的运动感知视频检索

前置知识

视频表示学习（Video Representation Learning）

将视频映射到紧凑的向量表示，用于下游任务如检索、分类等。现有方法包括监督学习（动作识别）、多模态学习（CLIP等）和自监督学习（VideoMAE、V-JEPA等），但这些方法往往过度依赖静态外观而非运动动力学。

理解现有方法的局限性是本文的核心动机，论文通过系统性分析揭示了现有方法的外观偏置问题

时间矩（Temporal Moments）

统计学中的矩概念应用于时间序列。一阶矩 $\mu^{(1)}_p = \frac{1}{T}\sum_{t=1}^{T} f_{t,p}$ 表示平均外观；二阶矩 $\mu^{(2)}_p = \frac{1}{T}\sum_{t=1}^{T}(f_{t,p} - \mu_p)^2$ 捕捉时间变化的幅度（运动能量）；三阶矩 $\mu^{(3)}_p = \frac{1}{T}\sum_{t=1}^{T}(f_{t,p} - \mu_p)^3$ 反映变化的方向不对称性（运动极性）。

这是论文方法的核心数学工具，通过计算高阶矩而非仅使用均值池化来捕获运动信息

DINOv2特征

Meta开发的自监督视觉Transformer模型，学习到的特征具有强语义对应性，能跟踪有意义的物体部件作为特征空间中的轨迹。DINO特征在时间上保持稳定的语义对应，适合用于提取逐patch的运动信息。

论文选择DINOv2作为主要的特征提取器，利用其语义对应能力来实现运动感知

动作识别偏置（Action Recognition Bias）

现有动作识别数据集（如Kinetics）的标签定义存在缺陷：相同动作可有不同的运动表现，不同动作可有相似的动力学。模型学会利用数据集偏置，从单帧静态线索（如背景、物体、服装）识别动作类别，而非学习真实的时间结构。

这是论文要解决的根本问题，现有方法因训练目标和数据的局限而过度依赖外观

研究动机

现有的视频表示方法在运动相似度检索任务上存在严重的外观偏置问题。具体表现为：监督方法（如SlowFast、TimeSformer）在Kinetics等数据集上训练时，模型往往可以从单帧图像识别动作类别（如通过识别大提琴判断'Playing Cello'、通过篮球场判断'Dunking basketball'），导致模型学习到的是静态外观特征而非真正的运动动力学。自监督方法（如VideoMAE、VideoMoCo）虽然尝试学习运动，但其训练目标（如帧预测、对比学习）往往使得学习外观一致性成为最小化损失的最简单路径。光学流方法（如I3D、CoCLR）虽然对鲁棒但缺乏语义信息，且对物体形状和视角敏感。在SimMotion-Synthetic基准测试中，CLIP4Clip仅获得42.2%的平均准确率，DINOv2原始特征也只有44.4%，表明现有方法在保持运动不变性方面表现不佳。

本文的目标是本文的目标是开发一种简单、无需训练的视频表示方法，能够捕捉语义运动信息而非静态外观，用于运动中心的视频检索任务。具体来说，该方法应该：1）能够在外观变化（如风格、视角、物体身份）下保持运动相似性的稳定表示；2）不需要额外的训练数据或标注；3）与现有预训练模型兼容，作为即插即用的增强模块。

与已有工作不同的是，本文的独特切入角度在于：首次系统性地分析并量化了现有视频表示的外观偏置问题，通过构建控制变量的SimMotion基准测试（合成和真实世界），专门测试模型在外观变化下保持运动不变性的能力。核心洞察是：标准的时序聚合方法（如均值池化，即一阶统计量）虽然能捕获平均外观，但丢失了特征如何随时间变化的丰富动力学信息。论文创新性地将统计学中的高阶矩（方差、偏度）应用于预训练语义特征的时间维度，形成结构化的视频描述符。这种训练无关的方法可以直接应用于任何现成的预训练骨干网络，具有广泛的兼容性。

核心方法

SemanticMoments方法的整体思路是：首先利用预训练的语义模型（如DINOv2）提取视频每帧的patch级特征，然后计算这些特征在时间维度上的高阶统计量（三个矩：均值、方差、偏度），最后通过空间聚合和加权拼接得到最终的运动感知视频表示。直觉上，均值捕获平均外观，方差捕获运动能量（变化幅度），偏度捕获运动极性（变化方向的不对称性）。这种设计的核心优势在于：语义模型的特征具有时间上的一致性（能跟踪相同的物体部件），而高阶矩能捕获这些语义特征如何随时间变化，从而得到运动敏感而非外观敏感的表示。

与现有方法的本质区别在于：1）现有方法通常使用均值池化（一阶矩）来聚合时间信息，这等同于计算平均外观，会丢失时间动态信息；本文使用三个矩的加权拼接，显式捕获运动能量和方向不对称性。2）现有光学流方法在像素空间计算运动，缺乏语义信息且对物体形状敏感；本文在预训练语义特征空间计算运动，既保持语义意义又对物体外观变化鲁棒。3）现有自监督方法需要额外训练来学习运动；本文完全训练无关，直接利用预训练模型的特征统计。数学上，最终表示为 $\phi_{video} = [\alpha_1 M^{(1)}, \alpha_2 M^{(2)}, \alpha_3 M^{(3)}] \in \mathbb{R}^{3d}$，其中 $\alpha_1=1, \alpha_2=8, \alpha_3=4$，强调方差（运动能量）的贡献。

方法步骤详情

方法包含四个主要步骤：1）Patch特征提取：对视频均匀采样T=32帧，使用预训练模型（如DINOv2）处理每帧，得到每帧P个patch的d维特征 $F_t \in \mathbb{R}^{P \times d}$，记patch p在时刻t的特征为 $f_{t,p} \in \mathbb{R}^d$。2）Patch级时间矩计算：对每个patch位置计算三个时间矩——均值 $\mu^{(1)}_p = \mu_p = \frac{1}{T}\sum_{t=1}^{T} f_{t,p}$；方差 $\mu^{(2)}_p = \frac{1}{T}\sum_{t=1}^{T}(f_{t,p} - \mu_p)^2$；偏度 $\mu^{(3)}_p = \frac{1}{T}\sum_{t=1}^{T}(f_{t,p} - \mu_p)^3$。3）空间聚合：对每个矩顺序k，在空间维度上平均，得到每个时刻序的全局描述符 $M^{(k)} = \frac{1}{P}\sum_{p=1}^{P} \mu^{(k)}_p \in \mathbb{R}^d$。4）加权拼接：将三个矩描述符按权重 $\alpha_1, \alpha_2, \alpha_3$ 拼接，得到最终的3d维视频表示。

技术新颖性

技术新颖性体现在：1）首次将统计学中的高阶矩概念系统性地应用于视频表示学习，用于显式捕获运动动力学而非仅平均外观；2）提出在语义特征空间（而非像素空间）计算时间统计，利用预训练模型的语义对应能力，既保持语义意义又避免光学流的局限性；3）设计了完全训练无关的方法，作为即插即用模块可应用于任何预训练骨干网络（DINOv2、VideoMAE、VideoPrism、V-JEPA2等）；4）通过SimMotion基准测试首次系统性量化了现有方法的外观偏置问题，为运动感知视频表示研究提供了标准化评估框架。

**Figure 3**: Controlled variation in SimMotion-Synthetic

**Figure 4**: Motion-focused similarity with moment statistics

实验结果

实验结果表明SemanticMoments在多个基准测试和骨干网络上均显著优于现有方法。在SimMotion-Synthetic（合成基准）上，SemanticMoments_DINO获得最佳平均准确率86.4%，相比原始DINOv2的44.4%提升42个百分点，相比最佳基线I3D的84.4%仍高出2个百分点，且不使用任何光学流。在五个子类别中，SemanticMoments在Dynamic Object（78% vs I3D的74%）和View（82% vs I3D的74%）上优势明显，表明其对物体身份和视角变化的鲁棒性。在SimMotion-Real（真实世界基准）上，SemanticMoments_DINO获得42.5%的准确率，远超第二名I3D的27.5%和V-JEPA2的27.5%，提升15个百分点。在Jester手势分类基准上，SemanticMoments_V-JEPA2在多数投票准确率达到28.6%，相比原始V-JEPA2的12.5%提升16.1个百分点，表明方法能改善手势级别的语义可分性。消融实验表明：多阶矩组合优于单阶矩；patch级操作优于帧级；在原始patch特征上计算矩优于在patch差分上计算。

**Table 1**: Synthetic motion-similarity on SimMotion-Synthetic

**Table 2**: Real-world motion retrieval on SimMotion-Real-1K

**Table 3**: Gesture classification on Jester benchmark

**Figure 6**: Motion vs. Appearance Bias

查看结构化数据

任务	指标	本文	基线	提升
SimMotion-Synthetic合成基准（5个子类别平均）	检索准确率（%）	86.4（SemanticMoments_DINO）	84.4（I3D）、79.2（VideoPrism）	相比原始DINOv2提升42.0%，相比最佳基线I3D提升2.0%
SimMotion-Real真实世界基准（1000候选）	检索准确率（%）	42.5（SemanticMoments_DINO）	27.5（I3D、V-JEPA2）	提升15.0个百分点
Jester手势分类（多数投票）	Top-1准确率（%）	28.6（SemanticMoments_V-JEPA2）	26.8（I3D）、25.8（I3D的kNN）	相比原始V-JEPA2的12.5%提升16.1个百分点
SimMotion-Synthetic Dynamic Object子类别	检索准确率（%）	80（SemanticMoments_V-JEPA2）	74（I3D、SlowFast）	提升6个百分点
SimMotion-Synthetic View子类别	检索准确率（%）	82（SemanticMoments_DINO、SemanticMoments_VideoMAE）	78（VideoMAE）	提升4个百分点

局限与改进

论文和作者承认的局限性包括：1）对极其微妙的动力学（如呼吸）和由运动缺失定义的动作（如等待）效果不佳；2）作为训练无关方法，无法像针对特定数据集微调的方法那样适应细粒度的边界情况（如精细手势、长时间动作、多智能体交互）；3）缺乏强大的通用视频表示模型，方法性能上限受限于所用预训练骨干网络的质量；4）在SimMotion-Real上的绝对准确率（42.5%）表明真实世界运动相似度检索仍是开放问题。个人观察：5）论文未讨论计算成本，计算三个矩相比均值池化增加约3倍计算量；6）权重选择（α1=1, α2=8, α3=4）缺乏理论依据，可能需要针对不同任务调整；7）仅在中等规模数据集上评估，未验证在大规模视频库上的可扩展性；8）缺乏与最新视频基础模型（如V-JEPA2更大版本）的对比。

独立分析的弱点

论文存在以下可改进的弱点：1）权重选择缺乏自适应机制：当前固定权重（1,8,4）可能不适合所有场景，可开发学习权重或根据视频内容自适应调整的机制；2）矩的阶数限制：仅使用前三阶矩，更高阶矩（如四阶峰度）可能捕获更细粒度的运动特征，但需要平衡计算成本和表示维度；3）空间聚合过于简单：全局平均丢失空间位置信息，可考虑基于注意力的空间聚合或保持空间结构；4）缺乏时序建模：将时间维度完全压缩为统计量，丢失了时序顺序信息，可考虑滑动窗口矩或分段矩；5）依赖单个预训练模型：单一骨干网络的能力有限，可融合多个模型（如DINOv2+VideoMAE）的特征。

未来方向

基于本文成果可延伸的未来方向包括：1）开发视频原生的预训练模型，专门为运动感知设计训练目标，可能显著提升SemanticMoments的性能上限；2）将高阶矩思想应用于视频生成任务，如运动迁移、视频编辑，利用运动表示指导生成过程；3）扩展到视频理解的其他任务，如动作识别、视频captioning、时序定位；4）开发端到端可训练的矩计算模块，结合训练无关和可训练的优势；5）构建更大规模、更多样化的运动相似度基准测试，覆盖更广泛的真实世界场景；6）探索自适应矩选择，根据视频内容动态决定需要计算哪些矩；7）研究矩的组合策略，如加法、拼接、注意力融合等。

复现评估

复现评估：论文具有良好的可复现性。1）开源情况：作者承诺将SimMotion基准测试和代码完全开源，包括合成数据集的生成流程；2）数据可用性：SimMotion-Synthetic可通过提供的生成流程复现，SimMotion-Real需要人工标注但作者会提供标注数据；3）算力需求：方法本身训练无关，仅需推理计算，使用DINOv2提取32帧的patch特征并计算矩，计算成本相对较低；4）实现复杂度：方法实现简单，核心逻辑约50行代码，无需特殊依赖；5）依赖项：仅需PyTorch和预训练模型权重（DINOv2等均可公开获取）；6）实验设置清晰：帧采样数T=32、权重α1=1, α2=8, α3=4等超参数均已明确说明。

SemanticMoments：基于三阶矩特征的无训练运动相似度度量 SemanticMoments: Training-Free Motion Similarity via Third Moment Features