SAMA：用于指令引导视频编辑的分解语义锚定和运动对齐 SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing
将视频编辑分解为语义锚定和运动对齐，实现高精度指令跟随和强时序一致性
前置知识
Flow Matching
Flow Matching是一种用于训练生成模型的框架，它定义了一个概率路径来连接噪声分布和目标分布。与DDPM等扩散模型不同，Flow Matching直接学习向量场 v_theta(x, t) = dx/dt，使得通过积分ODE可以从噪声恢复到目标数据。论文中使用的是流匹配损失 L_FM = E[t,x0,x1]||v_theta(x_t, t) - (x_1 - x_0)||_2^2，其中 x_1 是目标视频，x_0 是高斯先验，x_t = t x_1 + (1-t) x_0。
本文的SAMA框架基于Wan2.1-T2V-14B视频扩散模型，该模型使用Flow Matching范式训练，理解Flow Matching是把握整个模型训练目标和推理过程的基础。
Diffusion Transformer (DiT)
DiT是一种使用Transformer架构替代传统U-Net作为噪声预测器的扩散模型。它将图像或视频的潜在表示分块并展平为token序列，然后通过标准的Transformer处理。DiT具有良好的扩展性，可以通过增加模型参数量显著提升生成质量。本文采用14B参数量的DiT作为骨干网络。
SAMA的核心创新是在DiT内部同时注入语义token和运动对齐目标，理解DiT的架构细节对于把握语义token如何注入、type embedding如何工作等关键技术点至关重要。
Pretext Task
Pretext Task是自监督学习中常用的技术，指设计一个不需要人工标注的代理任务来训练模型。通过完成这个代理任务，模型被迫学习到有用的表示。本文中的Motion Alignment使用了三种pretext任务：Cube Inpainting（补全缺失区域）、Speed Perturbation（恢复正常速度）、Tube Shuffle（恢复正确时序）。
Motion Alignment是SAMA的核心组件之一，它通过pretext任务让模型从大规模无标注视频中学习运动动态，而不是依赖配对的编辑数据。理解pretext任务的设计思路有助于把握如何在没有编辑监督的情况下学习运动表示。
In-Context Learning
In-Context Learning指模型通过在推理时输入示例来学习新任务，而不需要显式训练。在扩散模型中，这通常通过将源图像/视频和目标图像/视频拼接成一个序列输入模型来实现。本文使用in-context V2V formulation，将源视频token和目标视频token拼接为 z = [z_s; z_t]，让模型从源视频中学习运动模式。
SAMA使用in-context formulation进行视频编辑，源视频作为运动参考，目标视频进行编辑。理解这个机制有助于把握模型如何同时保留源视频运动和生成编辑后的内容。
Type Embedding
Type Embedding是用于区分token角色的一种可学习向量。在SAMA中，每个token都有一个type embedding：type id 0对应源视频潜在token，type id 2对应目标视频潜在token，type id 1对应语义token。这种设计使模型能够清晰区分不同来源的token，避免混淆。作者发现使用type embedding比常用的shifted RoPE方案收敛更快。
Type embedding是SAMA的一个技术细节，对于理解语义token如何与视频token区分处理、以及训练策略中的细节设计都很重要。
研究动机
当前的指令引导视频编辑模型在同时满足精确语义修改和忠实运动保持这两个要求时面临根本性困难。在现有模型中，这两个要求常常相互冲突：激进的语义修改会导致局部伪影、身份漂移和纹理弹出，而强制时间一致性又会稀释预期的编辑效果并降低指令保真度。现有方法普遍采用注入显式外部先验（如VLM提取的语义条件或骨骼、深度图等结构信号）来缓解这些问题，但这种过度依赖构成了显著的瓶颈，限制了扩散骨干网络学习内在的语义-运动表示的能力，无法实现精确的语义编辑和与源视频动态忠实的运动对齐。在实际应用场景中，比如在VIE-Bench这样的精细编辑任务中，模型需要处理在左侧位置添加一个带有交替浅色和深色头发的女性坐在盒子里这样的复杂指令，同时保持背景的运动连贯性，这非常具有挑战性。
本文的目标是本文的目标是提出一个能够同时实现高精度指令跟随和强时序一致性的视频编辑框架，减少对脆弱外部先验的依赖。具体来说，SAMA旨在让扩散模型内在化语义结构规划和运动建模两个互补能力，通过分解学习范式，在不需要大量配对编辑数据的情况下就能获得强大的视频编辑能力。在实际目标上，SAMA要在VIE-Bench、OpenVE-Bench和ReCo-Bench等多个基准测试上达到开源模型中的最优性能，并且要与Kling-Omni、Runway等领先的商业系统具有竞争力。
与已有工作不同的是，本文的独特切入角度是提出了一个分解的视角来看待指令引导视频编辑，将语义规划与运动建模分离。作者观察到语义编辑通常是稀疏且时间稳定的：少量的锚定帧就足以确定期望的视觉修改。相比之下，运动一致性遵循物理和时间动态，可以从大规模原始视频中学习，而不需要显式的编辑监督。基于这个观察，SAMA将视频编辑分解为两个互补的子问题：语义锚定和运动对齐。这与现有方法有本质区别——现有方法要么在统一框架中同时处理语义和运动，要么依赖外部先验来弥补模型能力的不足。SAMA的创新在于让模型内在化这两项能力，而不是从外部注入。
核心方法
SAMA的整体思路是将指令引导视频编辑分解为两个互补的学习任务：语义锚定和运动对齐。从直觉上讲，语义编辑只需要在少数关键帧上确定要改什么，而运动一致性需要知道怎么保持原有的运动模式。SAMA通过Semantic Anchoring在稀疏的锚定帧上预测语义token，为编辑提供稳定的语义锚点；通过Motion Alignment在以运动为中心的视频恢复预训练任务上训练模型，让模型从原始视频中学习时序动态。技术上，SAMA建立在基于Flow Matching的视频扩散Transformer（Wan2.1-T2V-14B）之上，使用in-context V2V formulation将源视频和目标视频token拼接，引入type embedding区分token角色，然后通过两阶段训练策略——首先进行分解预训练学习内在的语义-运动表示，然后进行监督微调与配对编辑数据对齐。
SAMA的核心创新点在于提出了一个分解的学习范式，将语义锚定和运动对齐作为两个独立但互补的学习目标。与现有方法的本质区别在于：现有方法通常依赖VLM等外部模型提取语义条件，或者通过复杂的结构条件注入来保持时序一致性，这构成了对模型能力的限制。而SAMA让扩散骨干网络内在化这两项能力——Semantic Anchoring通过预测语义token而不是直接使用外部提取的语义特征，这允许模型学习到与任务更贴合的语义表示；Motion Alignment通过pretext任务从无配对编辑数据的视频中学习运动动态，而不是依赖配对的编辑监督。这种分解设计还有一个重要发现：仅仅通过分解预训练（阶段0），模型就已经展现出强大的零样本视频编辑能力，这表明一旦模型学会联合推理语义意图和时间动态，鲁棒的指令引导视频编辑能力就会自然涌现。
方法步骤详情
SAMA的完整流程包括三个主要部分：Semantic Anchoring、Motion Alignment和两阶段训练。首先在Semantic Anchoring中，对于视频样本，从目标视频中均匀采样N帧作为锚定帧（实验中N等于1），用SigLIP图像编码器编码得到patch级别的语义特征，然后通过池化聚合为M个局部语义token和1个全局token（M等于64），这些token通过两层MLP投影到与VAE latent token相同的嵌入空间。在推理时，这些语义token被prepend到目标latent序列上，应用相同的前向噪声过程，输入DiT后从最终层读出语义token的位置，通过语义预测头得到预测的语义token，监督使用L1损失。其次在Motion Alignment中，对源视频应用运动中心化变换T得到扰动后的视频，包括三种变换：Cube Inpainting（mask连续时间块）、Speed Perturbation（时间加速）、Tube Shuffle（将视频分割为2乘2乘2时空管并随机打乱），目标侧保持不变。为了使目标显式化，每个变换对应一个任务token，如[Complete the missing regions in the video.]。最后在两阶段训练中，阶段0（分解预训练）从强T2V先验开始，在图像编辑对和大规模T2V数据上训练，应用SA于图像和视频，MA仅应用于视频流；阶段1（监督微调）在配对视频编辑数据集（Ditto-1M、OpenVE-3M、ReCo-Data）上训练，继续启用SA以保持稳定语义锚定。整体损失为流匹配损失加上lambda乘以语义损失，其中lambda等于0.1。
技术新颖性
SAMA的技术新颖性体现在多个方面。首先是将语义对齐从图像/视频生成领域创新性地应用到指令引导视频编辑，与图像生成中的REPA、VideoREPA等方法不同，SAMA不是简单的特征对齐，而是通过预测语义token来学习语义表示，这是一种更active的学习方式。其次是在视频编辑中引入了以运动为中心的pretext任务，这与传统的self-supervised video representation learning（如VideoMAE）不同，SAMA的pretext任务专门设计用于恢复运动动态，而不是学习通用表示。三是type embedding的设计，虽然概念简单，但作者发现它比shifted RoPE收敛更快，这是一个实用的工程创新。四是最重要的发现：分解预训练就能产生零样本编辑能力，这挑战了传统的需要大量配对数据才能训练编辑模型的认知，为理解语义-运动解耦如何促进编辑能力提供了新见解。
实验结果
SAMA在多个基准测试上取得了state-of-the-art的开源模型性能，与商业系统竞争力强。在VIE-Bench上，SAMA在Add/Swap/Change任务中的Instruction follow得分为8.711，Motion preservation得分为9.514，Quality得分为8.771，平均分为9.340；在Remove任务中Instruction follow得分为9.144，Motion preservation得分为9.189，Quality得分为8.711，平均分为9.259。这些指标在开源模型中是最优的，与Kling-Omni（平均分9.194和9.133）和Runway（平均分8.447和9.161）等商业系统非常接近。在OpenVE-Bench上，SAMA在7个编辑类别中均表现优秀，Global Style得分4.05，Background Change得分2.59，Local Change得分3.93，Local Remove得分3.32，Local Add得分2.54，Subtitle Edit得分3.63，Creative Edit得分3.11，整体优于Ditto、UniVideo、OpenVE-Edit等开源方法。在ReCo-Bench上，SAMA在4个任务类别中的平均得分均领先：Add任务8.92，Replace任务9.10，Remove任务8.09，Style任务9.25，证明了其在不同编辑类型上的全面优势。消融实验显示，单独添加MA将baseline平均分从6.312提升到6.711（提升0.399），单独添加SA提升到6.696（提升0.384），同时添加SA和MA提升到7.095（提升0.783），证明两个组件是互补的。作者还发现SA加速了收敛，训练损失下降更快且方差明显更小。零样本实验显示，仅通过阶段0训练，模型在Replace/Add/Remove/Style/Hybrid等任务上就能产生一致的编辑，虽然存在一些典型失败模式（属性编辑时间不一致、新添加物体略模糊、移除编辑有残影），但已经展现出强大的zero-shot编辑能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VIE-Bench Add/Swap/Change | Average Score | 9.340 | Ditto 6.696, UniVideo 8.656, InstructX 8.349 | 优于Ditto 39.7%, 优于InstructX 11.9% |
| VIE-Bench Remove | Average Score | 9.259 | DiffuEraser 6.243, VACE 2.682, UniVideo 8.233 | 优于DiffuEraser 48.3%, 优于VACE 245% |
| OpenVE-Bench Global Style | Score | 4.05 | Ditto 4.01, UniVideo 3.64, OpenVE-Edit 3.16 | 优于Ditto 1.0%, 优于OpenVE-Edit 28% |
| ReCo-Bench Replace | Average Score (S) | 9.10 | Ditto 7.56, UniVideo 8.90, ReCo 8.74 | 优于Ditto 20.4%, 优于ReCo 4.1% |
| VIE-Bench Overall | Average across all tasks | 约9.30 | Kling-Omni 约9.16, Runway 约8.80 | 与商业系统竞争力相当 |
局限与改进
作者在论文中承认了一些局限性。首先，零样本编辑存在典型失败模式：属性编辑可能在时间上不一致，比如编辑的颜色在不同帧中可能变化；新添加的物体可能出现轻微模糊；移除编辑可能留下残影。其次，作者提到未来工作将关注长视频编辑、快速运动场景以及更强的语义token化以进一步减少残留伪影和时间不一致性。从我的观察来看，SAMA还有一些局限性：它依赖于Wan2.1-T2V-14B这个大规模预训练模型作为基础，计算成本很高，推理时需要14B参数的DiT；当前方法主要处理中等长度视频（从480p分辨率和实验设置推断可能不是特别长的视频），对于超长视频的处理能力尚不清楚；虽然SAMA在指令跟随上表现良好，但对于非常复杂的多步编辑指令（比如在视频中先添加某个物体，再修改其属性，最后移动位置）的能力没有在论文中充分评估；在极端运动场景（如快速体育比赛、剧烈camera运动）下的性能虽然有所改善（MA的作用），但仍有提升空间。
独立分析的弱点
从独立分析的角度看，SAMA存在几个可以改进的弱点。首先是在快速运动场景下的局限性：虽然Motion Alignment通过Cube Inpainting、Speed Perturbation、Tube Shuffle等pretext任务改善了时间一致性，但在论文的定性分析中，作者也提到在快速运动场景（如网球比赛中大相机运动）下，模型仍然可能出现模糊。改进方向可以是设计更多针对快速运动的pretext任务，比如motion magnification、interpolation-aware tasks等。其次是在复杂多对象编辑场景下的局限：当前方法在添加/移除/替换单个对象上表现良好，但对于需要同时编辑多个对象或处理对象间关系的复杂指令（如将左边的人物移到右边，同时保持他们之间的相对位置）能力未知。改进方向可以是引入更精细的语义token，每个对象对应独立的语义token，或者引入对象关系建模。第三是计算效率问题：使用14B参数的DiT意味着推理成本很高，对于实时或近实时应用场景可能不够。改进方向可以是探索更高效的架构（如MoE、轻量化DiT）或者知识蒸馏到更小的模型。第四是语义token的粒度限制：当前使用M等于64个局部token加1个全局token，对于简单编辑足够，但对于需要区域级精细控制的场景可能不够。改进方向可以是动态调整token数量，或者引入hierarchical semantic tokens。第五是评估覆盖的局限：论文主要在VIE-Bench、OpenVE-Bench、ReCo-Bench上评估，这些基准主要关注短时间的局部编辑，对于更复杂的编辑类型（如camera运动修改、全局风格迁移、故事级编辑）的评估不足。
未来方向
作者提出的未来工作方向包括长视频编辑、快速运动场景的进一步改进、更强的语义token化以减少残留伪影和时间不一致性。基于SAMA的成果，可以延伸出多个有前景的研究方向。一是将分解学习范式扩展到其他视频任务，比如视频生成（将内容规划和运动生成分离）、视频理解（将语义识别和运动推理分离）。二是探索更多样的pretext任务，比如audio-visual alignment（如果视频有音频）、multi-modal semantic alignment（文本、音频、视觉语义对齐）。三是研究如何将语义token化和运动对齐的应用到其他生成任务，比如3D生成、动态场景生成。四是开发更高效的知识蒸馏方法，将SAMA在大模型上学到的能力转移到小模型，提高实用性。五是探索用户交互式编辑，比如用户可以手动指定锚定帧或修正语义预测，将SAMA的可控性进一步提升。六是研究如何将SAMA与时间上的一致性约束（如optical flow loss、temporal discrimination loss）结合，进一步改善极端运动场景下的表现。七是探索多步编辑的统一框架，让用户可以进行迭代编辑（先A再B再C），而不会出现编辑积累的错误。
复现评估
从复现性角度评估，论文提到Code, models, and datasets will be released，这是一个积极的信号。在数据方面，论文详细列出了训练数据的来源和规模：阶段0使用NHR-Edit（720087对）、GPT-Image-Edit（1015170对）、X2Edit（768470对）图像编辑数据，Koala-36M（1532716对）、MotionBench（53879对）文本到视频数据；阶段1使用NHR-Edit（720087对）、Pico-Banana-400K（257730对）图像编辑数据，Ditto-1M（3936对）、OpenVE-3M（818232对）、ReCo-Data（206596对）视频编辑数据。这些数据集大多已经公开，但可能需要VLM-based过滤（论文提到使用VLM进行粗过滤去除低质量样本）。在实现细节方面，论文提供了详细的超参数：学习率2乘10的负5次方，全局batch size图像448、视频112，分辨率480p，支持多种宽高比（1/2, 2/3, 3/4, 1/1及其倒数），EMA decay 0.9998，损失权重lambda等于0.1，pretext任务采样比例1:2:3:4（no-pretext : cube inpainting : speed perturbation : tube shuffle）。在算力需求方面，训练14B参数的DiT需要大量GPU资源，论文没有明确说明具体硬件配置，但从batch size和数据规模推断需要大规模GPU集群。复现难度评估为中等偏高：虽然提供了详细配置，但大规模训练需要显著算力，不过预训练模型和代码的发布将降低使用门槛。对于研究目的，复现关键实验（如消融研究）可能更容易，因为可以在子集数据上进行。总体而言，SAMA的复现性较好，主要障碍是算力需求，但一旦代码和模型发布，实际使用和进一步研究的门槛会大幅降低。
论文图表
