看见快与慢：学习视频中的时间流

把时间做成可学习概念，教会模型感知并按指定播放速度生成视频

前置知识

自监督学习

自监督学习利用数据自身的结构作为监督信号来训练模型，例如通过预测被遮蔽的部分、从不同视角对齐表示等。在本文中，作者把音频音高变化和时间重采样的等变性当作免费标签，避免昂贵的人工标注。

本文最核心的速度检测与估计模型都基于自监督目标，理解自监督损失函数的形式是看懂方法的关键。

视频扩散模型 (Video Diffusion)

扩散模型通过逐步去噪过程从随机噪声生成视频，主流方案（如 Wan2.1）在时空潜空间上训练 3D U-Net 或 Transformer。本文的速度条件生成和超分辨率模型都基于 Wan2.1-I2V 和 Wan2.1-VACE。

本文的速度条件生成和时间超分辨率都建立在扩散模型之上，LoRA 微调和对潜空间特征的调制都依赖于这一基础。

时间超分辨率 (Temporal Super-Resolution)

时间超分辨率指通过插值在原有帧之间合成新帧，从而提升视频帧率的任务。本文把它和去运动模糊耦合在一起处理，输入是低帧率模糊视频，输出是高帧率清晰视频，目标倍率高达 $8\times$。

它是本文的第二个核心生成任务，并展示了 SloMo-44K 数据集的实用价值。

LoRA (Low-Rank Adaptation)

LoRA 是一种参数高效微调方法，在冻结的预训练权重旁追加低秩矩阵进行训练。本文对 Wan2.1 Transformer 的关键线性层施加 LoRA，保持基模型能力的同时快速适配到速度控制任务。

训练成本可控的 LoRA 是本文能用有限算力完成两类生成任务微调的关键技术选择。

时间-频率缩放 (Time-Frequency Scaling)

这是音频信号处理中的经典性质：当一段声音被加速播放（时间压缩）时，其频谱会上移（音调变高），反之亦然。本文利用这一耦合关系把音高变化点当作视频速度变化点的免费监督。

这是速度变化检测器的核心洞察，没有它就只能依赖昂贵的人工标注或不可靠的光流。

等变性 (Equivariance)

等变性指对输入施加某种变换 $T$ 时，模型输出会发生对应的可预测变化。例如本文要求 $f_\theta(V_k) = k \cdot f_\theta(V)$，即视频被加速 $k$ 倍后，预测的播放速度也应等比放大 $k$ 倍。

这是自监督速度估计器的目标函数基础，没有这种结构性约束，纯靠视觉无法唯一确定绝对速度。

研究动机

尽管人类能凭直觉判断一段视频是否被加速或减速过（看到水滴下落的节奏不对劲、人物动作不自然地迟缓），但现代视频模型——包括 Gemini 2.5、Sora、Wan 等顶级的视觉语言模型和视频扩散模型——几乎都不具备这种时间推理能力。论文中给出具体证据：Gemini 2.5 在速度估计任务上 Spearman 相关系数仅 $r_s=0.308$，RMSE 高达 $1.568$（对数空间），速度变化检测准确率只有 $59.5\%$；当被要求生成特定速度的视频时，Wan2.1 即便被加上 ultra slow-motion 等文本修饰，输出视频的光流幅值在不同速度档位之间几乎看不出区别。根本原因是这些模型训练数据集中在 $24$–$60$ FPS 的标准帧率范围，从未真正接触覆盖整个速度连续谱的视频，导致它们对快和慢的理解极为有限。

本文的目标是本文的核心目标是把时间提升为一个可学习、可操控的视觉维度。具体包括四项能力：(1) 自动定位视频中播放速度发生变化的时刻（speed-change detection）；(2) 估计任意片段的绝对播放速度（playback-speed estimation）；(3) 根据用户指定的速度条件生成视频（speed-conditioned video generation）；(4) 把低帧率模糊视频升格为高帧率清晰视频（temporal super-resolution）。最终成果是构建目前最大的通用慢动作数据集 SloMo-44K 和两套配套的速度可控生成模型。

与已有工作不同的是，已有工作的切入角度都过于局限：Pulse-of-Motion 等速度感知方法只在 $\{1/2, 1, 2, 4\times\}$ 的窄范围内训练，且只用到 8 段 120 FPS 视频和 118 段 240 FPS 视频；SpeedNet 用节奏分类做预训练但只能给出快/中/慢这种粗标签；现有慢动作数据集（Adobe240fps、YouTube240、X4K1000FPS）规模太小（$\le 1000$ 视频）且场景单一（多为运动或城市）。本文的关键差异化是：(a) 利用音频-视觉跨模态耦合获得完全免费的速度变化标签；(b) 用时间重采样等变性自监督估计绝对速度，覆盖从 $0.01\times$ 到 $1.0\times$ 的宽广连续谱；(c) 把这套感知能力反哺到 $44{,}632$ 段 $18{,}235$ 个源视频、共 $1{,}800$ 万帧的 SloMo-44K 数据集，是当前同类数据集视频数的 $70\times$、帧数的 $150\times$。

核心方法

本文方法分两阶段。第一阶段训练两个自监督感知模型——基于音高线索的速度变化检测器（基于 VideoMAEv2 微调）和基于时间重采样等变性的播放速度估计器——它们无须任何人工标签就能听见/看出速度。第二阶段利用这两个感知模型从 YouTube、Vimeo、Flickr 抓取的真实视频中自动标注并筛选出 SloMo-44K（$44{,}632$ 段慢动作视频，$18$M 帧，最高原始帧率 $>10{,}000$ FPS），再基于 Wan2.1-I2V 和 Wan2.1-VACE 两个扩散基座，分别训练速度条件视频生成（用速度桶编码 + 帧级条件调制）和 $8\times$ 极端时间超分辨率（带运动模糊鲁棒性）。

和已有方法相比，本文最本质的创新是把感知与操控打通：先用跨模态免费信号让模型理解时间，再把理解沉淀成 $44$K 段高质量标注慢动作数据，最后用这套数据去控制生成模型的时序行为。技术核心是两条结构性约束——音频音高与视频速度变化的时间-频率缩放律、以及 $f_\theta(V_k) = k \cdot f_\theta(V)$ 的等变性目标——它们绕过了绝对速度无法从单一视频推断这一根本难题。前者解决哪里变，后者解决变了多少。

方法步骤详情

检测器：自动用音高突变给 $8{,}000+$ 视频打标，finetune VideoMAEv2 + 二元交叉熵；推理只用视觉。估计器：对原片段 $V$ 与加速 $k$ 倍 $V_k$（$k \sim \mathcal{N}(1, 2)$）过同一编码器 $f_\theta$，最小化等变性损失；用 Adobe240FPS 校准绝对刻度；迭代预测（IP）把极慢视频逐步放回 $1\times$ 重估三次。 SloMo-44K 构建：TransNetv2 切镜，OCR 滤字幕，Qwen2.5-VL 滤 CGI，Q-Align 滤低质；检测器切匀速段，估计器打速度标签，InternVL3 做密集描述。速度条件生成：速度对数离散到 $10$ 个桶，套正弦位置编码过 MLP 加到 timestep embedding，并对每帧做速度调制；基座 Wan2.1-I2V，仅微调线性投影 + LoRA。时间超分辨率：合成时把 $8$ 帧时序均值再下采样模拟低帧率模糊；基座 Wan2.1-VACE + LoRA，同时实现去模糊与帧插值。

技术新颖性

三点新颖性：(1) 首次把音频音高跳变作为速度变化检测的免费监督信号，避开了光流噪声和人工标注；(2) 首次在等变性框架下做自监督 + 少量有标的速度估计，并辅以迭代预测把慢动作估计精度拉高到接近人类水平；(3) 把感知能力反哺为 SloMo-44K 数据集和带速度条件注入的扩散生成管线，验证了高帧率原始数据对可控生成的关键作用——文中表 6/表 8 证明只用标准帧率视频做训练，模型速度预测和生成质量都会明显退化。三者结合让时间第一次成为一个在感知、理解和生成三个层面都可被显式控制的视觉维度。

**Figure 2**: Audio spectrogram for speed change detection

**Figure 3**: Self-supervised learning of speed prediction

实验结果

速度变化检测：自建测试集准确率 $92.4\%$，显著超 Gemini 2.5 ($59.5\%$) 与光流基线 ($80.4\%$)，可定位 X-Men 时间解冻瞬间。速度估计（表 2）：$\rho=0.735$、$r_s=0.706$、RMSE $=0.649$，对比 Pulse-of-Motion ($\rho=0.508$) 提升一个数量级，但仍略低于人类 ($\rho=0.880$)。 $8\times$ 时间超分辨率（表 3、4）：DAVIS 干净输入 FloLPIPS $=0.242$、FVD $=394.0$ 均优于 FILM/LDMVFI/GI/Wan2.1；SloMo-44K-Test 模糊输入 FVD $134.3$ 相对 Wan2.1 ($436.1$) 下降 $69\%$，真实低帧率视频用户偏好 $>90\%$。速度条件生成（表 5、图 6a）：FID $=68.4$、FVD $=1114.1$ 优于 Wan2.1/ATI，光流幅值随控制值严格递增，表 6/8 消融证明 SloMo-44K 不可替代。

**Table 1**: Comparison with existing high-frame-rate datasets

**Table 2**: Video speed prediction results

**Table 3**: Temporal super-resolution from clear inputs (DAVIS & SloMo-44K-Test)

**Table 4**: Temporal super-resolution results on motion-blurred videos (SloMo-44K-Test)

**Table 5**: Speed-controlled video generation results

**Table 6**: Speed-conditioned video generation with different training data

**Table 7**: Ablation on iterative prediction (IP)

**Table 8**: Playback-speed prediction using different training data

**Figure 4**: Speed-conditioned video generation qualitative results

**Figure 5**: Temporal super-resolution qualitative results under blurred input

**Figure 6**: Quantitative and user study analyses

**Figure 7**: Speed-conditioned generation with different training data

查看结构化数据

任务	指标	本文	基线	提升
播放速度估计（对数空间）	Pearson ρ / Spearman rs / RMSE	0.735 / 0.706 / 0.649	Gemini 2.5: 0.426 / 0.308 / 1.568；Pulse-of-Motion: 0.508 / 0.525 / 1.181；人类专家: 0.880 / 0.783 / 0.492	相对最强基线 Pulse-of-Motion 在 ρ 上 +0.227、RMSE 减半（1.181→0.649），仍比人类略低约 0.077（rs）
速度变化检测	准确率	92.4%	Gemini 2.5: 59.5%；光流阈值法: 80.4%	超过 Gemini +32.9 个百分点，超过光流基线 +12.0 个百分点
时间超分辨率（DAVIS 干净输入）	FloLPIPS / FVD	0.242 / 394.0	FILM: 0.252 / 711.3；LDMVFI: 0.307 / 916.0；GI: 0.353 / 552.1；Wan2.1: 0.316 / 634.5	FVD 相对 Wan2.1 下降 38%（634.5→394.0），FloLPIPS 也低于全部基线
时间超分辨率（SloMo-44K-Test 模糊输入）	FloLPIPS / LPIPS / FID / FVD	0.067 / 0.058 / 12.4 / 134.3	FILM: 0.099/0.080/20.3/250.0；Wan2.1: 0.126/0.095/28.5/436.1	FVD 相对 Wan2.1 下降 69%（436.1→134.3），模糊场景下优势更显著
速度条件视频生成	FID / FVD（48 段有 GT 的测试样本）	68.4 / 1114.1	Wan2.1 (prompt 调制): 72.2 / 1266.8；ATI (轨迹条件): 73.4 / 1473.5	FID 相对 Wan2.1 降 5.3%，FVD 降 12.1%，且光流强度按控制值严格单调递增
用户偏好（时间超分辨率，真实低帧率输入）	用户偏好率	≥90%（相对所有基线）	FILM / LDMVFI / GI / Wan2.1 均显著低于本文	在真实场景下用户偏好领先幅度最大，超过 90% 的胜率
训练数据消融（速度估计）	ρ / RMSE（有无 IP）	SloMo-44K + IP: 0.735 / 0.649	SloMo-44K 无 IP: 0.680 / 0.917；仅标准视频 + IP: 0.632 / 0.737	广速度谱训练数据 + IP 是必须，缺一即退步

局限与改进

作者明确承认三点局限：(1) 速度感知模型在缺乏明显运动线索的场景（如静态物体、刻意慢动作的人为动作）下容易被误导，因为模型本质依赖光流/运动幅度；(2) 速度条件生成和时间超分辨率都依赖 Wan 系列的预训练权重，仅做了 LoRA 微调，没有尝试架构层面创新或全参数微调；(3) 时间超分辨率受算力限制仅做了 $8\times$ 上采样，更高倍率（$16\times$、$32\times$）尚未验证。从读者视角还可补充：(4) SloMo-44K 虽大，但所有数据都来自互联网，自动标注的错误会通过自举传播到下游模型，缺乏人审视频估计真实噪声率；(5) 评估数据集只有 111 段、56 段等小规模，规模可能不足以揭示长尾失败模式；(6) 模型对刻意慢动作的人为动作和正常速度的快速运动可能存在系统性混淆，二者光流特征类似但物理含义截然不同。

独立分析的弱点

(1) 自监督目标 $f_\theta(V_k) = k \cdot f_\theta(V)$ 只保证倍率正确，不能保证绝对刻度正确，因此必须依赖少量有真值视频做校准；可探索用更多视频元数据（如 YouTube 公开的 fps、duration 字段）做无监督刻度锚定，或用基础物理先验（重力加速度、声音在空气中传播速度）做硬约束。(2) 速度桶用对数离散 + 正弦编码是简单粗暴的做法，没有显式把速度作为连续的潜变量引入扩散过程；可借鉴 CFG 思路做速度引导采样或用归一化流建模连续速度分布。(3) 时间超分辨率目前只能去模糊 + 帧插同时做，没有显式的两阶段流水线，可能在某些场景出现去模糊不足或插帧不准；可拆分为先去模糊再帧插的两阶段网络。(4) 训练数据用运动模糊合成模拟真实场景，但真实世界的曝光、卷帘快门、传感器噪声远复杂于简单时序均值；可引入更复杂的合成管线（如基于物理的渲染）或真实成对数据。(5) 评估几乎全在英文 YouTube/Vimeo/Flickr 数据上，未测试跨文化、跨场景（如监控、自动驾驶、医疗影像）的泛化能力。

未来方向

作者展望的方向包括：(a) 把时间流建模扩展到视频编辑（如 BulletTime、SpaceTimePilot 那样的时空编辑），实现速度连续可调的视频重定向；(b) 把时间理解嵌入世界模型，让 AI 不仅理解物体在动，也理解物体动得多快，从而提升物理推理和长时序预测；(c) 用于时间取证（temporal forensics），检测视频是否被篡改或变速；(d) 把 SloMo-44K 释放给社区，作为训练基础模型的高帧率原始素材。基于成果还可延伸：(e) 把速度条件思想拓展到事件密度条件——让生成模型按指定密度复现事件流；(f) 把自监督速度估计器当作视频检索的特征提取器，实现按运动节奏而非视觉内容找视频；(g) 结合摄像头 IMU 等传感器数据做多模态速度估计，进一步降低对纯视觉的依赖；(h) 把方法推广到 $4$D 重建（3D + 时间），得到带可调时间轴的动态三维场景。

复现评估

复现难度偏高。论文承诺开源项目页 https://seeing-fast-and-slow.github.io/ 和 SloMo-44K，但 arXiv v1 (2026-04) 尚未给出完整代码和数据下载链接，需等官方 release。可复现组件：基座 Wan2.1-I2V/VACE 均开源；速度估计器基于 VideoMAEv2 微调，可复用其权重；DAVIS、SloMo-44K-Test、Adobe240FPS 均公开。算力门槛：Wan2.1 全参数微调需多卡 A100/H100，论文用 LoRA 把训练开销降到可控范围；自监督数据预训练需处理 $44{,}632$ 段视频，涉及 YouTube/Vimeo/Flickr 抓取 + TransNetv2 + Qwen2.5-VL + InternVL3 + OCR + Q-Align 流水线，工程量大。最大复现难点在于 SloMo-44K 的版权与清洗流程，以及 $8{,}000+$ 音频标签需重跑自动标注管线。

看见快与慢：学习视频中的时间流 Seeing Fast and Slow: Learning the Flow of Time in Videos