通过语义进度函数进行视频分析与生成

用语义进度函数量化并线性化视频中的语义变化节奏

前置知识

SigLIP语义嵌入

SigLIP（Sigmoid Loss for Language Image Pre-Training）是一种基于sigmoid损失的图文预训练模型，能将图像映射到高维语义嵌入空间，使图像间的点积可直接衡量语义相似度。本文的SPF正是基于此类语义嵌入器来计算帧间语义距离。

SPF的构造依赖语义嵌入来度量帧间意义变化，而非依赖像素级差异。这是整个方法能否捕捉'语义'节奏而非'外观'节奏的关键。

RoPE旋转位置编码

RoPE（Rotary Position Embedding）是一种通过频率相关旋转变换来编码序列位置的位置编码方案，在现代视频扩散Transformer（如Wan2.2、LTX-2）中被广泛用于时间轴。本文通过对RoPE时间索引进行非线性重映射实现语义线性化。

ReTime技术的核心即修改RoPE时间嵌入而无需重新训练模型。理解RoPE的频率分带结构是把握frequency-aware warping设计的前提。

加权最小二乘

加权最小二乘通过为每个约束项分配不同权重，将一个可能冲突的线性系统$\min \|Ax-b\|_W^2$的求解转化为正定方程$(A^TWA)^{-1}A^TWb$。本文用其拟合语义进度函数$S$，权重$w_{ij}$按时间距离的高斯函数衰减。

SPF的拟合公式$\hat{S} = (A^TWA + \lambda I)^{-1}A^TWb$直接来源于此。理解目标函数的凸性（$\lambda>0$保证严格凸）有助于理解为何能给出闭式解。

视频潜空间压缩

视频扩散模型通常先将视频编码到时间维度被压缩的潜空间（如Wan使用4×时间压缩），然后在该空间去噪。潜空间第$i$个时间步对应原始视频的若干连续帧（如Wan对应$[4(i-1)+1, 4i]$的中间帧）。

ReTime需要把帧级warped位置$\tau_k$重采样到潜空间分辨率。这一'latent-space mapping'步骤决定warping是在模型真正看到的时间坐标系上生效的。

研究动机

现有图像变形（morphing）、视频生成和首尾帧条件模型（包括DiffMorpher、FreeMorph、Wan、LTX-Video等）在产生'渐进式过渡'时，普遍存在语义节奏不均匀的问题：长时间几乎无变化的'平台期'之后是突然的语义跳跃（abrupt semantic jumps）。例如图1中珠子突变成蜜蜂的几帧。这种非线性语义演变会损害感知连贯性、降低可控性，并给下游视频编辑带来麻烦。现有方法如LoViC的RoPE调制、VideoRoPE、RIFLEx只针对'拉长/压缩上下文长度'，TempoControl需要人工空间掩码标注，二者都没有一种原则性的工具能够量化语义变化率、定位突变发生的位置、跨生成器比较语义节奏。

本文的目标是本文提出两个目标：(1) 引入一个名为语义进度函数（Semantic Progress Function, SPF）的一维诊断工具，刻画视频中'意义'如何随时间累积演化，其斜率反映瞬时语义变化率，使其偏离直线的程度即可揭示语义节奏的不均匀性；(2) 基于SPF设计两种语义线性化（semantic linearization）方法，让语义变化以恒定速率展开，分别针对生成时（通过RoPE时间位置重参数化）和已有视频（通过分段重生成），使过渡更平滑、更可预测，同时不需任何模型微调或人工标注。

与已有工作不同的是，与LoViC、VideoRoPE、RIFLEx等RoPE调制方法不同，本文不针对'拉长/压缩上下文长度'而是针对'修正语义节奏'，并通过per-band frequency控制区分全局与局部时序结构；与TempoControl等注意力引导方法相比，SPF无需用户提供空间掩码即可自动识别并修正节奏问题；与DiffMorpher/FreeMorph等morphing方法相比，本文首次给出一维可量化的语义节奏度量，使得跨模型、跨场景的语义节奏比较成为可能。其独特切入点是'用一个标量函数把复杂视觉变换降维为可解释的语义轨迹'。

核心方法

整体思路分三步：(1) 帧级语义距离——用SigLIP把每帧编码为$\ell_2$归一化的嵌入$z_i \in \mathbb{R}^d$，再计算angular距离$d_{ij} = \arccos(z_i^T z_j)$，为效率仅取$|i-j|\le 30$的近邻对；(2) 拟合SPF——把累积进度$S \in \mathbb{R}^T$建模为最小化$\min_S (AS-b)^TW(AS-b) + \lambda S^T S$的解，其中$A$编码帧对关系、$b$收集距离，权重$w_{ij} = \exp(-(i-j)^2/2\sigma^2)$强调局部约束，给出闭式解$\hat{S} = (A^TWA + \lambda I)^{-1}A^TWb$；(3) 用SPF干预时间轴——对生成模型通过频率感知的RoPE warp重写时间位置，对已有视频则分段后用Wan2.2/LTX-2在首尾帧约束下逐段重生成。

核心创新是将'语义节奏'显式地形式化为一维标量函数SPF，使其与具体生成器解耦，从而可作为通用诊断和干预工具。在干预层面，与传统naive时间warping的'一刀切'不同，本文提出frequency-aware warping $p_t^{(b)} = (1-\alpha_b)t + \alpha_b\tau_t$，其中$\alpha_b$按频率分带指数衰减（$\alpha_b = \alpha_{high} + (\alpha_{low}-\alpha_{high})e^{-\kappa b/(B-1)}$），低频段（全局结构）严格跟随目标schedule以修正整体节奏，高频段（局部细节）保持接近线性以避免抖动；再叠加timestep-dependent调制$\gamma(\tilde{t}) = (e^{3\tilde{t}}-1)/(e^3-1)$让warping集中作用于早期去噪阶段（结构形成期）。这种'分频段+分时步'的精细化设计是区别于简单RoPE重参数化的本质特征。

方法步骤详情

流程：(1) SigLIP编码得到$\ell_2$归一化嵌入$z_i$；(2) 构造近邻对$P=\{(i,j):|i-j|\le 30\}$，计算angular距离$d_{ij} = \arccos(z_i^Tz_j)$；(3) 构建$A$与$b$编码帧对关系与距离；(4) 求解$\hat{S} = (A^TWA+\lambda I)^{-1}A^TWb$得SPF，$w_{ij} = \exp(-(i-j)^2/2\sigma^2)$；(5) 对生成视频：min-max归一化$S$到$[0,1]$，反演得$\tau_k = S^{-1}(k/(T-1))$，按$p_t^{(b)} = (1-\alpha_b)t + \alpha_b\tau_t$替换RoPE时间索引，resample到4×latent中心帧后迭代3次refinement；(6) 对已有视频：用segmented least squares切$S$为$K$段，每段用Wan2.2（首尾约束）或LTX-2（关键帧列表）重生成后拼接。

技术新颖性

技术新颖性体现在三个层面。第一，'一维语义轨迹'的形式化本身具有概念性突破——以往视频分析要么停留在像素差/光流（无法捕捉语义），要么是CLIP相似度比较（局部），SPF第一次把语义演化降维为可微可拟合的标量函数。第二，'frequency-aware + timestep-dependent'双轴warping是工程上对RoPE机制的关键创新：作者通过ablation（图4）发现flat schedule产生不自然加速、linear schedule模糊中间帧，仅其exponential decay schedule在对比中胜出，证实了分频段设计的必要性。第三，'segmented least squares + 关键帧列表'为闭源/已有视频的语义线性化提供了一条不依赖外部morphing模型上限的路径，方法可推广到任何支持keyframe condition的现代视频扩散模型。

**Fig. 2**: ReTime Overview — 输入序列的语义进度函数在突变处出现不连续（右上），通过对RoPE时间嵌入的warping使输出时间戳线性化（红色），下方为线性化后的视频与直线状SPF（右下）

**Fig. 3**: Frequency-Aware Retiming — 顶部retiming schedule（灰）在突变处形成平台期；中段波形显示低频段（红，$\alpha=0.77$）严格跟随schedule以修正全局节奏、高频段（蓝，$\alpha=0.20$）保持近线性以保留局部运动；底部为输入视频

**Fig. 6**: SPF Segmentation — Fig. 5电影视频的SPF曲线与分段最小二乘结果（虚线），陡升段对应突变区域，捕获了视频的不同阶段

**Fig. 8**: Non-Linear Retiming — 不做线性化，而是将视频重时化为匹配上升/下降指数曲线，标记帧显示太阳进入画面时刻的加减速

实验结果

含四项核心实验。(1) 合成验证（图9）：旋转Keenan小球的恒速/上升指数/下降指数三种angular profile下，SPF（虚线）几乎完美拟合ground truth（实线），证实SPF忠实反映非均匀节奏而不依赖像素运动。(2) Frequency schedule消融（图4）：linear schedule出现模糊中间帧、flat schedule不自然加速、仅本文exponential decay schedule产出最平滑过渡。(3) 策略对比（图7）：strawberry→bird剧烈跳变下，线性像素插值出现ghosting，LTX-2 keyframe插值受模型生成上限限制，本文直接操作输入模型特征避免外部瓶颈。(4) VBench定量评估（表1，N=128）：Wan2.2上0.626/0.987/0.978 vs 原0.630/0.987/0.978，LTX-2上0.656/0.993/0.990 vs 0.660/0.994/0.990，所有指标在1个标准差内，user study显示88%受试者偏好本文结果。

**Table 1**: Video Quality Preservation — VBench evaluation on N=128 retimed videos per model，retimed结果在所有metric上与原输入保持等效质量

**Fig. 4**: RoPE Frequency Schedule Ablation — 不retiming（顶部）突变剧烈且不均匀；flat schedule异常加速；linear schedule中间帧模糊；本文exponential decay schedule（底部）产出平滑渐变且中间状态连贯

**Fig. 5**: Cinematic Video Linearization — Netflix剧集《怪奇物语》Vecna段落的两个采样帧条：原始（顶）由闪电驱动的突变，线性化（底）将语义变化在时间上重新分配，呈现平滑的中间阶段

**Fig. 7**: Retiming Strategy Comparison — 草莓→鸟的剧烈跳变示例，线性像素插值（第二行）出现ghosting；LTX-2外部keyframe插值（第三行）受模型生成能力上限限制；本文（底部）直接在输入模型特征上操作，无外部质量瓶颈

$Synthetic Validation — 旋转小球基准：恒速/上升/下降三种angular velocity profile下，angular位置$\theta(t)$（实线）与恢复的SPF（虚线）几乎重合$

Fig. 9: Synthetic Validation — 旋转小球基准：恒速/上升/下降三种angular velocity profile下，angular位置$\theta(t)$（实线）与恢复的SPF（虚线）几乎重合

**Fig. 10**: SPF Ablation Study — 顶：四种embedder（OpenCLIP、SigLIP、DINO、像素L2）的SPF对比，L2无法捕捉man→gorilla语义跳变，SigLIP最敏感；底：distance power $p$的对比，$p$越大曲线对比度越强

**Fig. 11**: Qualitative Results on Wan2.2 — 在Wan2.2上的定性结果集锦：马卡龙→兔子、圆锥→狐狸等object morphing及Jenga塔倒塌等物理动力学场景

**Fig. 12**: Complex Scene Linearization — 全局光照变化（顶部：风景）到细粒度结构演化（底部：人脸）的不同语义尺度场景

查看结构化数据

任务	指标	本文	基线	提升
视频质量保持（Wan2.2）	VBench Aesthetic Quality	0.626 ± 0.090	0.630 ± 0.093	-0.004（在1个标准差内，无显著损失）
视频质量保持（Wan2.2）	VBench Motion Smoothness	0.987 ± 0.010	0.987 ± 0.010	0（完全保持）
视频质量保持（Wan2.2）	VBench Temporal Flickering	0.978 ± 0.019	0.978 ± 0.019	0（完全保持）
视频质量保持（LTX-2）	VBench Aesthetic Quality	0.656 ± 0.087	0.660 ± 0.085	-0.004（在1个标准差内）
视频质量保持（LTX-2）	VBench Motion Smoothness	0.993 ± 0.005	0.994 ± 0.003	-0.001（在1个标准差内）
视频质量保持（LTX-2）	VBench Temporal Flickering	0.990 ± 0.009	0.990 ± 0.008	0（完全保持）
用户偏好度	盲选胜率	88%	12%	+76个百分点

局限与改进

作者在第6节承认两点限制：(1) SPF依赖帧级语义嵌入，会被快速相机运动、强光照变化干扰——此时估计的进度函数混入感知变化而非纯语义演化；局部高斯权重仅部分缓解，完全解耦motion/appearance/semantics仍是开放问题。(2) 迭代refinement会逐步把RoPE时间嵌入推离训练分布，迭代过多会降质（'3次已足够'是经验值）。我的额外观察：(a) 对SigLIP选择敏感——pixel L2无法捕捉语义突变，embedder替换需重新校准$p$；(b) segmented regeneration质量受$K$影响；(c) 仅展示Wan2.2/LTX-2两种backbone，对Sora、CogVideoX的泛化性需进一步验证；(d) 长视频推理成本与segment数线性相关。

独立分析的弱点

独立分析有四个可改进方向。(1) 嵌入空间选择单点：仅用SigLIP，对含强motion的场景如人体动作可能失效；可考虑DINOv3（自监督，文中仅作消融对比）或运动-解耦的video embedding替代，并在训练时jointly优化semantic和motion子空间。(2) Frequency schedule中$\alpha_{high}$、$\alpha_{low}$、$\kappa$为手工超参，应在更多数据集上做grid search并加入自适应调度——例如让$\kappa$随输入视频的SPF曲率自动调整。(3) Latent-space mapping仅处理4×压缩，未来VAE采用不同压缩比时需重新校准中心帧位置；可改为在pixel-level pre-warp再encode以简化流程。(4) 拼接边界的segmented regeneration可能产生可见接缝，应在拼接处加blending mask或在segmentation时留overlap区以保证平滑过渡。

未来方向

作者明确提出的方向含：(a) 引入motion-aware或temporally grounded embedding提升动态场景鲁棒性；(b) 扩展到多维semantic progress——解耦identity、style、geometry；(c) 作为跨生成器temporal behavior的基准；(d) 用于keyframe video summarization、semantic thumbnailing；(e) 构造线性化morph训练edit-strength受控模型。我的延展设想：(f) 扩展到audio-visual joint generation——为音频拟合独立audio-progress function与video-SPF联合优化（论文已提及LTX-2扩展但缺定量验证）；(g) 与RLHF结合，把human-perceived semantic pace作为reward signal；(h) 应用于video editing接口，允许用户实时拖拽目标pacing曲线；(i) 用SPF linearity score作为长视频生成的语义单调性正则项。

复现评估

复现评估中等偏难。优点：(1) 论文给出SPF拟合闭式解(式6)、RoPE warp公式(式9-11)、latent mapping规则，无需训练即可复现；(2) 关键消融（图4、9、10）数据透明，$\alpha_{high}=0.20$、$\alpha_{low}=0.77$、$\kappa$等参数明确；(3) Wan2.2与LTX-2模型权重开源，RoPE索引修改属inference-time hack。难点：(1) 表1的N=128需大量Wan2.2/LTX-2推理算力，128视频×2模型×2版本开销巨大；(2) SigLIP、OpenCLIP、DINOv3等embedding model需预下载；(3) 论文未明示是否开源完整pipeline代码，仅在supplementary提及'implementation details'；(4) User study具体协议需查supplementary。

通过语义进度函数进行视频分析与生成 Video Analysis and Generation via a Semantic Progress Function