无需训练的视频内容、动作与动态多样化编辑 Versatile Editing of Video Content, Actions, and Dynamics without Training
DynaEdit：免训练视频编辑方法，支持修改动作、插入交互物体、改变全局效果
前置知识
Rectified Flow Model（修正流模型）
修正流模型是一类生成模型，通过学习速度场 $V$ 来建模从简单先验分布（通常是高斯噪声 $\mathcal{N}(0, I)$）到数据分布的映射。其核心是求解 ODE：$dZ_t = V(Z_t, t) \, dt$，其中 $t \in [0, 1]$。在 $t=1$ 时为纯噪声，$t=0$ 时为数据样本。修正流的关键特性是中间状态 $X_t = (1-t)X_0 + tX_1$ 呈线性插值分布，这使得路径曲率低，可以用较少的离散化步数完成采样。
DynaEdit 建立在修正流模型之上，理解其采样机制和速度场概念是理解本文方法的基础。
Image-to-Video (I2V) 条件流模型
I2V 流模型的速度场 $V(x_t, t, c, f)$ 同时以文本提示 $c$ 和首帧图像 $f$ 为条件。模型在文本-首帧-视频三元组 $\{c, f, x_0\}$ 上训练，能够从条件分布 $X_0 | C, F$ 中采样。这种模型在视频编辑中特别有用，因为首帧条件可以帮助维持场景、物体和色彩的一致性。
本文选择 I2V 模型而非纯文本到视频模型作为基础，首帧条件在编辑过程中起到关键的结构保持作用。
Inversion-free Editing（无反演编辑）
无反演编辑是一种不依赖 DDIM 反演等技术的编辑范式。它通过构造一条从源视频到编辑视频的无噪声路径来实现编辑。核心思想是构建一个 ODE，直接将源视频转换为编辑视频，中间所有视频都是无噪声的。FlowEdit 方法是该范式的代表，通过速度差 $V_t^\Delta = V^{tar}(Z_t^{tar}, t) - V^{src}(Z_t^{src}, t)$ 来驱动编辑。
DynaEdit 是对无反演编辑范式的深度改进，解决了该范式在大幅度时空修改时的根本性问题。
Classifier-Free Guidance (CFG)
CFG 是一种在采样时增强条件信号的技术，通过组合有条件和无条件的模型输出来提升生成质量。在本文中，CFG 用于控制源速度和目标速度的引导强度，作者探索了两组 CFG 参数配置：$(4.5, 8.5)$ 和 $(2.5, 4.5)$，分别对应源和目标速度的引导尺度。
CFG 尺度是影响编辑质量的关键超参数，直接影响编辑幅度和视觉质量之间的平衡。
Cosine Similarity（余弦相似度）
余弦相似度衡量两个向量方向的相似程度，定义为 $\text{sim}(a, b) = \frac{a \cdot b}{\|a\| \|b\|}$。在本文的 SGA 模块中，用于计算候选编辑结果与源视频之间的相似度，作为加权聚合的依据。
SGA 模块通过余弦相似度来选择最佳编辑方向，是实现低频对齐的关键机制。
研究动机
当前视频编辑面临一个根本性挑战：如何在大幅修改视频动态和动作的同时，保持原始视频中不应被改变的属性。现有训练方法需要高质量的配对训练数据——即同一场景在不同物理结果下的源-目标视频对，这类数据极其难以大规模收集或模拟。目前唯一公开的训练模型 RunwayML Gen-4 Aleph 仍然在复杂的非刚性动作编辑任务上表现不佳。现有免训练方法（如 FlowEdit、FlowAlign）局限于结构对齐的编辑或层式物体插入，插入的物体只能单向响应场景内容，而无法影响场景中的其他物体。具体而言，当设置 $n_{max} = N-1$ 时，编辑幅度不足（如马匹无法完成跳跃）；当设置 $n_{max} = N$ 时，虽然编辑幅度足够，但会出现严重的低频错位（马匹轨迹不必要地偏离源视频运动）和高频抖动（插入物体模糊）。
本文的目标是本文的目标是提出 DynaEdit——一种无需训练的通用视频编辑方法，能够实现：(1) 修改动态事件和动作（如让马跳过新插入的障碍物、让台球入袋）；(2) 插入能与场景产生双向交互的物体（如将玩具棉花糖编辑为燃烧的棉花糖使猫咪逃跑）；(3) 全局效果修改（如将晴天场景变为夜晚）。该方法要超越现有所有免训练方法的性能，并缩小与唯一训练模型 Aleph 之间的差距。
与已有工作不同的是，本文的独特切入点是对无反演编辑范式中两个根本性问题的深入分析和解决。作者识别出导致低频错位和高频抖动的具体原因：(1) 低频错位源于 $n_{max} = N$ 时纯噪声初始化，使得编辑速度 $V_t^N{}^\Delta$ 与源视频完全脱节，初始噪声强烈影响粗粒度时空特征；(2) 高频抖动源于跨时间步的噪声不相关性，导致编辑速度指向不同方向并累积为可见的抖动伪影。基于这两点洞察，作者提出了两个全新机制：相似度引导聚合（SGA）用于选择最佳编辑方向以解决低频问题，退火噪声关联（ANC）用于在时间步间引入渐增的噪声相关性以解决高频问题。
核心方法
DynaEdit 的整体思路可以从直觉层面理解为：想象你在编辑一段视频，你想让马跳过一个新插入的障碍物。最简单的做法是直接用编辑指令驱动生成模型，但这会丢失源视频的很多信息。DynaEdit 的做法是：在从噪声到视频的生成路径上，不是直接走最短路径，而是精心选择每一步的方向，使得最终结果既符合编辑指令，又尽可能保持源视频的原有结构。具体技术路线是：在无反演编辑框架的基础上，通过 SGA 机制在每个时间步采样多个候选编辑方向，然后根据它们与源视频的相似度进行加权聚合，选出最优方向；同时通过 ANC 机制让相邻时间步的噪声逐渐关联，避免高频抖动。这样就能在 $n_{max} = N$ 的条件下实现大幅度时空编辑，同时保持视觉质量。
DynaEdit 的核心创新在于识别并解决了无反演编辑范式中两个看似矛盾的问题。第一个创新是 SGA（相似度引导聚合）：与 FlowEdit 简单平均多个噪声采样的编辑方向不同，SGA 先将每个候选方向投影为预测编辑结果 $z_j^{\text{edit-proj}} = z^{\text{edit}} - t_i \cdot V_j^\Delta$，然后计算与源视频的余弦相似度 $s_j = \text{sim}(x^{src}, z_j^{\text{edit-proj}})$，通过 softmax 归一化后加权聚合。温度参数 $\tau$ 控制对齐程度——$\tau$ 越小越接近硬选择，保留与源视频最匹配的路径。第二个创新是 ANC（退火噪声关联）：通过公式 $\tilde{w}_j \leftarrow \sqrt{a_{t_i}} \tilde{w}_j + \sqrt{1 - a_{t_i}} w_j$ 引入随时间递增的噪声相关性，其中 $a_{t_i}$ 从 0 线性增长到 1，在 $t=0.25$ 时达到完全相关。这与 FlowEdit 使用完全独立噪声或完全相同噪声的做法本质不同，能够在高频保真和低频对齐之间取得最优平衡。
方法步骤详情
DynaEdit 的完整算法流程如下：输入为源视频 $x^{src}$、源提示 $c^{src}$、目标提示 $c^{tar}$。初始化编辑视频 $z^{edit} = x^{src}$，以及噪声缓存 $\{\tilde{w}_j\}_{j=1}^{n_{SGA}} = 0$。从 $i = N$ 到 $1$ 迭代：(1) 采样 $n_i^{SGA}$ 个独立噪声向量 $w_j \sim \mathcal{N}(0, I)$；(2) 通过 ANC 公式构造关联噪声 $\tilde{w}_j \leftarrow \sqrt{a_{t_i}} \tilde{w}_j + \sqrt{1 - a_{t_i}} w_j$；(3) 构造带噪源样本 $z_j^{src} \leftarrow (1 - t_i) x^{src} + t_i \tilde{w}_j$；(4) 构造带噪目标样本 $z_j^{tar} \leftarrow z^{edit} + z_j^{src} - x^{src}$；(5) 计算速度差 $V_j^\Delta \leftarrow V(z_j^{tar}, t_i, c^{tar}) - V(z_j^{src}, t_i, c^{src})$；(6) 通过 SGA 聚合速度 $\bar{V}^\Delta \leftarrow \text{SGA}(\{V_j^\Delta\}_{j=1}^{n_i^{SGA}})$；(7) 传播 ODE $z^{edit} \leftarrow z^{edit} + (t_{i-1} - t_i) \bar{V}^\Delta$。SGA 内部：对每个候选方向投影为预测编辑，计算与源视频的余弦相似度，softmax 加权聚合后转换回速度。最终返回编辑视频 $z^{edit}$。为节省计算，仅在前三个时间步使用 $n_i^{SGA} = 5$，之后使用 $n_i^{SGA} = 1$。
技术新颖性
DynaEdit 的技术新颖性体现在三个层面。首先，它是首个能够实现非结构对齐编辑的免训练视频编辑方法，突破了现有免训练方法只能进行结构保持编辑的限制。其次，SGA 机制引入了一种基于预测质量的方向选择策略，不同于简单平均或硬选择，而是通过投影-比较-加权的方式实现软选择，温度参数提供了连续可调的对齐-表达力权衡。第三，ANC 机制通过退火调度在时间步间引入渐增的噪声相关性，这在理论上解决了高频保真与低频对齐之间的矛盾——早期时间步需要多样化的噪声样本来通过 SGA 选择最佳方向（解决低频问题），后期时间步需要相关噪声来避免抖动（解决高频问题）。这种分阶段的策略是对无反演编辑范式的重要理论贡献，揭示了噪声相关性在编辑过程中的关键作用。
实验结果
DynaEdit 在多个维度上取得了显著成果。在 VLM 评估中，使用 Gemini 3 Pro 对 71 个编辑样本从内容保持、文本遵循和视觉质量三个方面进行 1-5 分评分，DynaEdit 在内容保持方面排名第一，在文本遵循和视觉质量方面与训练模型 Aleph 相当。在用户研究中，32 名参与者提供了超过 2400 份有效回答，DynaEdit 在与 Aleph 对比时获得 59.2% 的内容保持偏好、77.7% 的文本遵循偏好和 79.9% 的视觉质量偏好；在与 I2V Sample 对比时分别获得 56.4%、82.1%、80.2%；在与 FlowEdit 对比时分别获得 58.3%、73.4%、77.2%。在草莓替换羽毛的定性对比中，DynaEdit 是唯一能生成物理合理结果的方法——羽毛缓慢下沉并在水面漂浮，同时保持左侧草莓的动态不变，而其他方法要么导致草莓消失（Aleph、FlowAlign），要么改变其速度（FlowEdit、I2V）。消融实验表明 SGA 的温度参数 $\tau$ 提供了对齐程度的连续控制，ANC 的线性退火调度在 $t=0.25$ 处达到最优平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 综合视频编辑（内容保持 vs 文本遵循） | VLM 评分（1-5分，Gemini 3 Pro） | DynaEdit 在内容保持方面排名第一，文本遵循和视觉质量与 Aleph 相当 | FlowEdit, FlowAlign, I2V Sample, ODE Inversion, SDEdit, Aleph | 显著超越所有免训练基线，缩小与训练模型 Aleph 的差距 |
| 用户偏好研究（内容保持） | 用户偏好百分比 | 59.2% vs Aleph, 56.4% vs I2V, 58.3% vs FlowEdit | Aleph (40.8%), I2V Sample (43.6%), FlowEdit (41.7%) | 在所有对比中获得过半用户偏好 |
| 用户偏好研究（文本遵循） | 用户偏好百分比 | 77.7% vs Aleph, 82.1% vs I2V, 73.4% vs FlowEdit | Aleph (22.3%), I2V Sample (17.9%), FlowEdit (26.6%) | 大幅领先所有基线，尤其在 I2V 和 FlowEdit 上优势明显 |
| 用户偏好研究（视觉质量） | 用户偏好百分比 | 79.9% vs Aleph, 80.2% vs I2V, 77.2% vs FlowEdit | Aleph (20.1%), I2V Sample (19.8%), FlowEdit (22.8%) | 在视觉质量方面获得约 80% 的用户偏好 |
局限与改进
作者明确承认了几个局限性：首先，DynaEdit 继承了底层 I2V 模型的限制，该模型在物理理解和生成方面仍有不足，经常导致伪影。其次，方法在需要同时大幅修改时空结构和保持不应被编辑区域的场景中经常失败——这是一个根本性的矛盾，当前方法难以完美解决。第三，SGA 模块在前三个时间步需要 5 次噪声采样，增加了计算开销。从个人观察来看，该方法的评估数据集仅包含 71 个样本，且分辨率限制在 832×480、16fps，这可能无法全面反映方法在高分辨率、高帧率视频上的表现。此外，方法依赖首帧编辑作为条件，对于需要大幅改变首帧的编辑任务可能存在局限。ANC 的线性退火调度虽然是最优选择，但可能不是对所有场景都通用的最优策略。
独立分析的弱点
DynaEdit 存在几个值得深入分析的弱点。首先，SGA 的计算成本问题：前三个时间步需要 5 次噪声采样和模型推理，这意味着编辑一个视频的计算量是基础 FlowEdit 的约 3 倍。改进方向可以是设计更高效的候选方向采样策略，或者使用轻量级代理模型进行预筛选。其次，ANC 的退火调度是手动设计的线性策略，可能不是对所有编辑类型都最优。可以探索自适应的噪声关联策略，根据编辑的局部特征动态调整相关性强度。第三，方法对首帧编辑的依赖限制了其在某些任务上的应用，如需要大幅改变视频起始画面的编辑。第四，评估数据集规模较小（71 个样本），且缺乏对长视频（超过 81 帧）的评估，方法在更长视频上的稳定性和一致性尚不明确。
未来方向
作者提出的主要未来方向包括：改进底层 I2V 模型的物理理解和生成能力，以及解决大幅时空修改与区域保持之间的矛盾。基于现有成果，可以延伸以下方向：(1) 将 SGA 和 ANC 机制扩展到其他生成范式（如扩散模型），验证其通用性；(2) 设计自适应的噪声关联策略，根据编辑内容动态调整退火速度；(3) 结合区域感知机制，允许对视频的不同区域采用不同的编辑强度；(4) 探索将方法应用于视频修复、视频补全等其他视频处理任务；(5) 研究 SGA 温度参数 $\tau$ 和 CFG 尺度的自动选择策略，减少超参数调优需求。
复现评估
DynaEdit 的复现评估如下：(1) 开源情况：论文未明确说明是否开源代码，但提供了详细的算法伪代码（Algorithm 2）和实现细节，包括超参数配置，这为复现提供了良好基础。(2) 基础模型：使用开源的 WAN2.1 14B 480p I2V 模型，Hunyuan 1.5 I2V 也提供了额外定性结果，降低了模型依赖门槛。(3) 计算资源：基于 14B 参数模型，需要较大的 GPU 显存，且 SGA 模块增加了计算开销。(4) 数据：论文构建了 71 个样本的评估数据集，源视频来自 Pexels，首帧编辑使用 Gemini 2.5 Flash Image，评估使用 Gemini 3 Pro 作为 VLM。(5) 复现难度：中等偏高，主要挑战在于获取足够的 GPU 资源运行 14B 模型，以及首帧编辑的质量可能因使用不同的图像生成模型而有差异。
论文图表
展示了 DynaEdit 在四种场景下的编辑结果：(1) 马匹在牧场中绕圈变为马匹跳过障碍物；(2) 玩具棉花糖变为燃烧的棉花糖导致猫咪逃跑；(3) 台球未进袋变为白球入袋；(4) 晴天海滩变为夜晚篝火海滩。每组对比包含输入视频和编辑后的视频。
这是论文的核心展示图，直观展示了 DynaEdit 的多样化编辑能力，涵盖了动作修改、交互物体插入和全局效果改变，是理解论文贡献的最佳入口。
展示了 FlowEdit 在不同 $n_{max}$ 和 $n_{avg}$ 设置下的编辑结果。$n_{max} = N-1$ 时编辑幅度不足（马匹不跳跃），$n_{max} = N$ 时出现低频错位和高频抖动，$n_{avg} = 100$ 平均后导致模糊。每组结果包含视频帧和时空切片。
这张图清晰地展示了现有无反演编辑方法的根本性问题，为 DynaEdit 的两个核心创新（SGA 和 ANC）提供了动机。