一个编辑器,多种编辑:多样化视频编辑的统一免训练框架 One Editor, Many Edits: A Unified Training-Free Framework for Diverse Video Editing
免训练复用冻结图像编辑 MM-DiT,实现指令与主体引导的时序一致视频编辑
前置知识
条件流匹配(Conditional Flow Matching)
新一代扩散生成模型的训练范式:定义从噪声分布 $\pi_1 = \mathcal{N}(0, I)$ 到数据分布 $\pi_0(\cdot|c)$ 的概率路径 $\{\pi_t\}_{t\in[0,1]}$,学习条件速度场 $v_\theta(z(t), t, c) \approx \dot{z}(t)$,最小化 $\mathcal{L}_{\mathrm{CFM}}(\theta) = \mathbb{E}\,\|v_\theta(z,t,c) - u(z,t,c)\|_2^2$。推理时从 $t=1$ 的噪声沿 ODE 积分到 $t=0$ 得到数据。FLUX、SD3 等模型均采用此范式,去噪步数可以很少(本文只用 4 步)。
EditVid 的全部操作都发生在流匹配 ODE 的中间潜变量上:软潜变量混合需要反演得到的「源轨迹」$x^{\mathrm{src}}_k$ 与编辑轨迹逐步混合,对应关系在固定对应时间 $t_{\mathrm{corr}}=0.25$ 处抽取,这些都以流匹配框架为前提。
MM-DiT(多模态扩散 Transformer)
把视觉 token 与文本/参考图等条件 token 拼接进同一个 Transformer 的架构。早期双流块中视觉流与条件流各自独立投影、通过联合注意力交互;后期单流块直接对拼接序列 $h^{(i)}_{\ell-1}(t) = [x^{(i)}_{\ell-1}(t); c^{(i)}_{\ell-1}]$ 做自注意力。关键性质:速度预测只输出到视觉 token 上,条件 token 纯粹充当语义上下文。FLUX.1 Kontext、FLUX.2 Klein 都是图像编辑 MM-DiT。
本文核心观察建立在 MM-DiT 的结构特性上:空间关系不靠注意力掩码而靠 RoPE 编码,且视觉与条件 token 在 4D RoPE 坐标中占不同槽位,这使得「只动视觉 token、条件流完全不动」的训练时序改造成为可能。
旋转位置编码 RoPE
给定 token 的多维坐标 $p$,RoPE 用与坐标相关的旋转矩阵 $R(p)$ 旋转其 query 和 key:$\tilde{q} = R(p)q$,$\tilde{k} = R(p)k$。于是注意力相似度只依赖相对位置差,相对几何被直接编码进 attention。本文每个 token 的坐标为 $p = (t_p, h, w, \ell_p)$,视觉潜变量 token 与条件 token 在共享注意力空间中占据不同坐标槽位。
论文的关键发现:相邻帧因 RoPE 相对相位接近、在注意力相似度上「几何兼容」,可直接复用彼此的 K/V 状态;而远距离帧的 RoPE 相对几何失配,硬塞进跨帧注意力反而崩溃(Table 5 中全部历史帧使 FiVE-Acc 跌到 62.50)。这正是局部/全局分解设计的依据。
反演与源轨迹(Inversion)
把源视频经 VAE 编码为潜变量,再沿生成 ODE 反向加噪,记录每一步的潜变量序列 $x^{(i),\mathrm{src}}_k$(源轨迹)及中间层特征。编辑时从噪声出发沿编辑轨迹去噪,可与源轨迹逐步对比或混合,从而约束未编辑区域与源保持一致。这是免训练视频编辑(TokenFlow、FateZero 等)的标准起点。
EditVid 三大组件全部消费反演产物:对应关系图从反演轨迹倒数第二个双流块的特征构建;软潜变量混合在每个去噪步把编辑潜变量与 $x^{\mathrm{src}}_k$ 融合来保护背景。
置信 + 循环一致的对应匹配
在锚帧与目标帧的 patch token 之间建立匹配:最近邻 $q^*(p) = \arg\max_q S^{pq}_{a\to i}$ 与 $p^*(q) = \arg\max_p S^{pq}_{a\to i}$,只有当正反互指($p = p^*(q^*(p))$)、余弦相似度 $S^{pq^*(p)}_{a\to i} \ge \tau$、且 2D 位置偏差 $\|\mathrm{pos}(p) - \mathrm{pos}(p^*(q^*(p)))\|_2 < r$ 时才接受匹配对。
对应质量决定长程身份保持的成败:Table 6 显示去掉过滤的「无过滤注入」比完全不注入全局 token 还差(总体 MF-S 72.53 vs 75.65),说明盲目复制锚帧特征会引入错位伪影,过滤机制是这套设计的命门。
FiVE 基准与 FiVE-Acc
FiVE 是细粒度视频编辑基准,用 VLM 从三个互补视角判定「编辑是否真的发生」:二元判断 FiVE-YN、多选 FiVE-MC、开放问答 FiVE-U,以及三者交集 FiVE-∩,综合成总分 FiVE-Acc。与之相对,PSNR/SSIM 等传统保真指标会奖励「保守不编辑」的方法,无法区分保真度高但没编辑与真正完成编辑。
本文主结果就是 FiVE-Acc 从最强免训练基线 58.95 提升到 78.16;同时作者用 Figure 4 的彩色大象例子说明 FlowDirector、StreamEdit 等基线传统指标好看但编辑只做了一半,理解该指标才能正确解读论文的对比逻辑。
研究动机
视频编辑方法众多却缺乏统一框架。把现代图像编辑 MM-DiT 逐帧独立套用到视频上,因缺少时序耦合会出现闪烁、身份漂移、编辑不一致和背景被意外改动;专门的视频编辑模型通过视频级训练获得时序一致性,却牺牲了图像模型的语义控制与编辑多样性,且训练成本高昂。现有免训练方法大多建立在较旧的 U-Net 时代文生图先验上(TokenFlow、VidToMe 等),陷入两难:图像先验方法可编辑性强但需要显式时序耦合(如 AnyV2V 需外接图像编辑器加图生视频模型,FiVE-Acc 仅 38.02);视频先验方法继承时序一致性却受制于底层生成器,最强的 FlowDirector 也只有 58.95 FiVE-Acc,而且现有方法几乎都不支持参考图主体引导编辑(主体替换、参考身份迁移)。
本文的目标是本文要回答一个中心问题:能否在不做任何视频特定训练的前提下,把现代图像 MM-DiT 编辑器(FLUX.2-Klein-9B)的丰富编辑能力扩展到时序一致的视频编辑?具体目标是让同一个框架同时支持指令引导编辑(风格迁移、属性修改、物体插入、部件级修改、属性精修)与参考图主体引导编辑(主体替换),同时保持帧间时序一致性、指令无关区域(背景)保真与长程身份一致,并且计算与显存足迹不随视频长度增长,可滚动处理长视频。
与已有工作不同的是,作者的独特切入点是追问「时序信息应以什么表示空间、多大时间范围进入 MM-DiT」。他们发现答案本质上是分尺度的:相邻帧空间连续性强,直接在注意力里复用上一帧的 K/V 状态即可稳定局部外观与运动;而随时间与空间位移增大,直接复用注意力状态会对 RoPE 编码的相对几何越来越敏感,必须绕开注意力相似度、用「注意力后 token 注入」这种与位置解耦的方式传输长程身份。再辅以从源/编辑轨迹差异导出的连续时间步保持权重解决编辑局部性。这一 RoPE 感知的局部-全局分解是针对 MM-DiT 结构特性的原创设计,而非旧 U-Net 方法(光流注意力、token 合并)的直接移植,也不依赖外部图生视频传播模型(区别于 AnyV2V 的混合流水线)。
核心方法
直觉上,视频编辑 = 图像编辑 + 三重约束:局部时序平滑、全局身份保持、编辑局部性。EditVid 把输入视频 $V=\{X^{(i)}\}_{i=1}^N$ 经 VAE 编码并反演得到源轨迹,编辑完全在视觉潜变量流形上进行;文本提示或参考图编码成的条件 token $c^{(i)}$ 全程冻结,只充当语义上下文。技术上分三个模块:其一,稀疏因果记忆让每帧在所有层额外关注紧邻上一帧的 K/V 状态($\hat{K}^{(i)}_\ell = [K^{(i)}_\ell; K^{(i-1)}_\ell]$),形成一阶马尔可夫式递归偏置 $p(X^{(1:N)}|c) = p(X^{(1)}|c^{(1)}) \prod_{i=2}^{N} p(X^{(i)}|X^{(i-1)}, c^{(i)})$,条件足迹恒定、可无限滚动;其二,从反演特征预计算锚帧(第 1 帧)到每个目标帧的置信+循环一致对应图,在选定的 12 个「关键层」注意力之后把锚帧 token 直接写入匹配位置,实现绕开 RoPE 的长程身份传输;其三,每个去噪步用分位数归一化的软掩码把编辑潜变量与源轨迹混合,自适应保留未编辑区域。长视频按 36/24/16 帧分块,跨块缓存 KV 记忆延续时序。
核心创新是「表示空间决定交互方式」的洞察及由此导出的局部-全局分解。在 MM-DiT 中空间几何由 4D RoPE 坐标 $p=(t_p,h,w,\ell_p)$ 编码,跨帧注意力天然被 RoPE 调制:近邻帧相对相位接近、注意力相似度仍有效,所以局部尺度用注意力级 K/V 记忆最划算;远距离帧相对几何失配,跨帧注意力既昂贵又崩溃(Table 5:关注全部历史帧时 FiVE-Acc 62.50、MF-S 49.81、显存 90.16 GB),因此全局尺度改用「注意力后 token 替换」$\tilde{h}^{(i)}_{\ell,t,q} = h^{(a)}_{\ell,t,p}$——完全绕开 RoPE 调制的相似度计算。这与 U-Net 时代方法有本质区别:TokenFlow 靠 token 合并、FateZero 靠注意力分数融合、FLATTEN 靠光流约束注意力,都是在注意力内部混入对应信息;EditVid 则利用 MM-DiT「视觉 token 可编辑、条件 token 纯上下文」的位置解耦特性,把长程传输挪到注意力输出之后。第三个组件软潜变量混合同样不同于刚性掩码:掩码由编辑/源潜变量的逐 token $L_1$ 差异 $d^{(i)}_{k,p} = \frac{1}{D}\|x^{(i)}_{k,p} - x^{(i),\mathrm{src}}_{k,p}\|_1$ 无监督导出,随时间步连续自适应,无需人工掩码或光流。
方法步骤详情
完整流程五步。第一步反演:源视频经 VAE 编码为潜网格 $Z^{(i)}$ 并加噪反演,得到源轨迹 $x^{(i),\mathrm{src}}_k$,同时从倒数第二个双流块、对应时间 $t_{\mathrm{corr}}=0.25$ 抽取各帧 token 集 $\{g^{(i)}_p\}$。第二步对应构建:对锚帧 $a=1$ 与帧 $i$ 计算余弦相似度 $S^{pq}_{a\to i} = \mathrm{sim}(g^{(a)}_p, g^{(i)}_q)$,最近邻匹配后仅保留正反互指、相似度 $\ge \tau=0.4$ 且位置偏差 $< r=1.5$ 的匹配对,得到映射 $M_{a\to i}$(每帧一次、所有注入层复用);使用时随机保留 $1-p_{\mathrm{drop}}=0.5$ 比例以增强鲁棒性。第三步稀疏因果注意力:推理共 4 个去噪步,每步中帧 $i$ 的视觉 token 在所有层以拼接 K/V 的方式关注上一帧(首帧特判无锚),时序信息完全经视觉 token 传播。第四步全局 token 注入:在前 12 个 MM-DiT 关键层 $\mathcal{L}_{\mathrm{inj}}$(沿袭 Stable Flow 的 vital layers 发现),对每个保留的 $(p,q) \in M_{a\to i}$ 把目标帧位置 $q$ 的去噪后 token 替换为锚帧 token,无有效匹配的位置保持原表示。第五步软潜变量混合:逐 token 差异图经低/高分位数 $Q_{\mathrm{lo}}=Q_{0.25}$、$Q_{\mathrm{hi}}=Q_{0.65}$ 归一化、取幂 $\gamma=0.7$、可选高斯平滑得 $\hat{m}^{(i)}_k \in [0,1]$,按 $w^{(i)}_{k,p} = \alpha(1-\hat{m}^{(i)}_{k,p})$ 计算 $\tilde{x}^{(i)}_{k,p} = (1-w^{(i)}_{k,p})x^{(i)}_{k,p} + w^{(i)}_{k,p}x^{(i),\mathrm{src}}_{k,p}$,编辑强的区域放行、不变的区域锚回源。实现基于 FLUX.2-Klein-9B(Diffusers,bfloat16,guidance 1.0,单张 H200)。
技术新颖性
技术新颖性有四点。第一,首次系统回答 MM-DiT 时代「时序信息如何注入」:指出 RoPE 使跨帧注意力变成相对几何敏感的操作,据此把「局部 K/V 记忆 + 全局注意力后 token 注入」确立为与 U-Net 时代(光流引导注意力 FLATTEN、注意力融合 FateZero、token 合并 VidToMe)完全不同的设计原则,并给出时间范围消融(Table 5)证明两种机制不可互换。第二,注意力后注入与位置彻底解耦,锚帧信息不经过 RoPE 调制的相似度计算,因而在大位移、遮挡、非刚性形变下依然有效(Table 6 总体 MF-S 76.23,超过无过滤注入的 72.53)。第三,软潜变量混合的保持掩码从模型自身编辑强度无监督导出,对比 DMT 需要深度图、VideoGrain 需要掩码,本方法无需任何辅助输入即可处理运动主体。第四,置信+循环一致过滤配合对应 dropout(借鉴 FreeGraftor)保证注入鲁棒性。整套机制免训练、即插即用,Table 9 证明可迁移到 FLUX.1-Kontext 骨干,说明它抽象出了一类 MM-DiT 编辑器的通用时序化配方。
实验结果
逐实验看数据。其一,FiVE 基准(Table 1):FiVE-Acc 78.16,比最强免训练基线 FlowDirector 的 58.95 高 19.21;FiVE-YN 69.45、FiVE-MC 86.87、FiVE-U 88.78、FiVE-∩ 67.54 全面领先,且是评测中唯一支持主体引导的免训练方法(混合先验 AnyV2V 仅 38.02)。其二,传统指标(Table 2):在无辅助输入的图像/混合方法中 PSNR 25.97、SSIM 83.31、MSE 36.37、CLIPS 28.83、CLIPeditS 22.40 均为最优,结构距离 17.10 远低于 AnyV2V 的 71.36,说明高编辑准确率未牺牲底层保真。其三,IVEBench 与自建 50 视频集(Table 3):Total 0.6847、指令遵从 0.4587、视频保真 0.7839 均为免训练最强,Total 总榜第二(仅次于训练式 Kiwi-Edit 的 0.6936);主体引导 PF/EQ/BC = 7.769/7.846/9.558,通用视频 9.458/9.000/9.500。其四,附加自动指标(Tables 7-8):通用视频 CLIP-Dir 0.201、Warp-Err 0.53、BRISQUE 20.38、PickScore-Dir 0.280 免训练最佳;主体引导 7 项中 6 项最佳(DINO-Ref 0.364 最高),13 项指标中 10 项超过训练式方法。其五,用户盲测(Figure 3):22 人 × 20 视频、1760 次准则级选择,整体偏好 51.8%,其余七个基线仅 3.9%-9.1%。其六,消融(Table 4,30 个 FiVE 视频):完整模型 81.67;去软混合或去时空注意力各降到 80.00 且 MF-S 下降;去全局注入该子集 FiVE-Acc 不变,但其价值在困难时序变化下显现(Table 6:76.23 vs 无注入 75.65、无过滤 72.53)。其七,时间范围(Table 5):仅取上一帧最优(FiVE-Acc 77.50、MF-S 91.63、44.65 GB),全部历史帧崩溃(62.50、49.81、90.16 GB)。其八,跨骨干(Table 9):移植到 FLUX.1-Kontext 仍有 8.125/8.000/9.042,FLUX.2-Klein 更强。其九,效率(Figure 6):3.15 秒/帧达到 78.16 FiVE-Acc,基线仅 26.77-58.95,且显著快于 AnyV2V。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FiVE 细粒度视频编辑 | FiVE-Acc(VLM 编辑正确性总分) | 78.16(FiVE-YN 69.45 / FiVE-MC 86.87 / FiVE-U 88.78 / FiVE-∩ 67.54) | FlowDirector 58.95(最强免训练基线);AnyV2V 38.02 | +19.21(约 +32.6%) |
| IVEBench 指令引导视频编辑 | Total Score | 0.6847(指令遵从 0.4587、视频保真 0.7839 均为免训练最佳) | VidToMe 0.6297(免训练最高);Kiwi-Edit-5B 0.6936(训练式第一) | 免训练最佳 +0.055;总榜第二,与第一名差 0.0089 |
| 用户盲测(22 名参与者 × 20 个视频) | 整体偏好份额(%) | 51.8(提示遵循 53.2、视觉质量与时序一致性 49.3、背景保持 50.0) | StreamEdit 9.1 / WANEdit 7.7 / PyramidEdit 7.7 / FlowDirector 7.3 / AnyV2V 6.8 / VidToMe 5.7 / TokenFlow 3.9 | 超过其余 7 个方法总和(48.2%) |
| 主体引导视频编辑(自建 26 视频集) | DINO-Ref(参考主体保真) | 0.364(另有 CLIP-Dir 0.190、Warp-Err 0.65、BRISQUE 22.52 均为免训练最佳) | FlowDirector 0.338 / StreamEdit 0.270 / Wan-Edit 0.265 | 免训练最佳,领先最强基线 +0.026 |
| 编辑效率与质量权衡(单张 NVIDIA H200) | 每帧耗时(秒)@ FiVE-Acc | 3.15 秒/帧,FiVE-Acc 78.16,峰值显存约 44.65 GB | 训练免基线 FiVE-Acc 仅 26.77-58.95;全历史帧注意力方案 5.49 秒/帧、90.16 GB | 质量最高的同时显著快于 AnyV2V,显存约为全历史方案的一半 |
局限与改进
作者承认两点局限:其一,方法面向外观类空间编辑,不处理显式运动操纵,改变速度、轨迹或运动方向的编辑超出范围;其二,方法依赖上一帧 KV 上下文与锚帧对应关系,在严重遮挡或外观剧变削弱对应可靠性时性能会变得不稳定。我的补充观察:锚帧固定为第 1 帧($a=1$),长视频中主体大幅形变或场景切换时,全局注入可能把过时的外观「钉」回去,且对应时间固定在 $t_{\mathrm{corr}}=0.25$、注入层固定为前 12 层,缺少按编辑类型自适应的机制;消融只用 30 个 FiVE 视频,全局注入对主指标 FiVE-Acc 的贡献在该子集上无法显现(Table 4 中去掉后分数不变),其价值证据主要来自 MF-S 与 Table 6 的鲁棒性分析,链条略薄;3.15 秒/帧、约 44.65 GB 显存虽优于全历史方案,对消费级 GPU 仍不友好;核心评测高度依赖 VLM 裁判(FiVE-Acc 与 Table 3 的无掩码评估均用 Qwen3.6-27B-FP8),自建 50 视频集与评估 prompt 也由作者构造,存在自我评测偏置风险;软混合强度 $\alpha$ 是全局标量,蓝眼睛这类局部小编辑与主体替换这类大编辑共用同一权重,语义层面缺乏区别对待。
独立分析的弱点
独立分析的几个弱点及改进方向。其一,锚帧单点依赖:若第 1 帧中目标主体被遮挡或尚未出现,$M_{a\to i}$ 将长期缺失或不可靠,全局注入随之失效——可改为多锚点冗余、按片段自适应选锚,或让锚帧随时间滑动更新并做锚间一致性校验。其二,对应只在 $t_{\mathrm{corr}}=0.25$ 单一时刻、单一层(倒数第二个双流块)构建,噪声步选择缺乏理论依据;可在多个时间步构建对应做时间集成,或按编辑粒度(全局风格 vs 部件级)调度不同的注入层组。其三,运动不可编辑:软混合天然抑制轨迹变化(差异大的区域被拉回源轨迹),要编辑运动需引入显式速度场操纵或轨迹引导,与当前框架正交但未被探索。其四,全局标量 $\alpha$ 与固定分位数 $(Q_{0.25}, Q_{0.65})$ 对大小编辑一视同仁,可按提示词解析的编辑幅度自适应,或引入语义区域先验分级混合。其五,长视频分块在块边界仍可能有轻微不连续,KV 缓存可升级为层级记忆(块级摘要 token)以增强跨块一致性并进一步压显存。其六,评估循环风险:FiVE-Acc 与无掩码评估都靠大模型当裁判,编辑后的风格化输出可能系统性讨好 VLM,需要人工标注校准或对抗性评估协议。
未来方向
作者明确提出的方向:显式运动控制(速度、轨迹、方向编辑)与更强的长程时序推理;应对严重遮挡与外观剧变的更鲁棒对应机制。基于本文成果可自然延伸:把「局部 KV 记忆 + 全局 token 注入」的 RoPE 感知配方迁移到视频生成 MM-DiT(Wan、HunyuanVideo 等),打通生成与编辑的统一时序接口;多锚/关键帧选择与自适应注入层调度;用轻量可学习匹配头替换启发式余弦最近邻(保持免训练或极少训练);结合免反演的流编辑(FlowEdit 类)避免反演误差累积,或将反演换成多步一致性蒸馏;与奖励引导后训练(如 RewardFlow 式 RLHF)结合直接优化编辑正确性;扩展到流式在线编辑、无限长视频;以及向 3D/4D 一致性编辑、音频驱动视频编辑推广,检验局部-全局分解在更丰富模态下的普适性。
复现评估
复现条件总体友好。代码承诺以 MIT 许可开源(项目页 plan-lab.github.io/editvid);骨干 FLUX.2-Klein-9B 可直接用 Diffusers 官方权重、tokenizer 与 VAE 加载;关键超参数在附录中给得很完整:4 个去噪步、guidance 1.0、bfloat16、置信阈值 $\tau=0.4$、空间半径 $r=1.5$、dropout $p_{\mathrm{drop}}=0.5$、$t_{\mathrm{corr}}=0.25$、倒数第二个双流块、前 12 个注入层、分位数 $Q_{0.25}/Q_{0.65}$、$\gamma=0.7$、$\epsilon=10^{-6}$、分块 36/24/16,且 A.1 给出带 KV 缓存的完整推理伪代码。主要门槛是算力:全部实验在单张 H200 完成,峰值显存约 44.65 GB,24 GB 消费级显卡需要减 chunk、降分辨率或量化;约 9B 参数骨干本身也需要较大显存。评测复现需要 FiVE、IVEBench 数据集与 Qwen3.6-27B-FP8 评估器,自建 50 视频集若未随代码发布则是潜在缺口。总体难度中等:熟悉 Diffusers 推理流水线的工程师预计数天内可复现主结果,跨骨干迁移(Table 9)还额外验证了方法对实现细节不过分敏感。
论文图表
宣传图:展示同一框架在六类编辑上的效果——风格迁移、属性修改、物体插入、属性精修、部件级修改与参考图主体替换,各序列帧间保持一致。
一图看懂 EditVid 的能力范围与「一个编辑器、多种编辑」的统一性主张,是全文问题定义的视觉摘要。
方法总览流水线:源视频与可选主体引导经 VAE 编码与反演,冻结 MM-DiT 内部执行三个模块——4.2 节稀疏时空注意力(复用上一帧 K/V)、4.3 节基于对应的注意力后全局 token 注入(锚帧到各帧)、4.4 节软潜变量混合(保护未编辑区域),最后 VAE 解码输出。
理解三大组件如何嵌入冻结 MM-DiT、条件 token 为何保持不动的唯一总览图,方法部分的地图。
用户盲测柱状图:22 名参与者对 20 个视频在整体偏好、提示遵循、视觉质量与时序一致性、背景保持四个准则下选择最优结果,EditVid 分别获得 51.8/53.2/49.3/50.0,其余七个基线各占 3.9-11.4。
人类偏好的直接证据,与自动指标互相印证,说明领先幅度在主观感受上同样成立。
与大金字塔象变蓝任务上对比七个免训练基线的 5 帧采样:基线要么姿态漂移要么编辑失败,EditVid 在 t1-t5 全程一致地保持蓝色大象的外观、运动与背景。
直观解释了传统保真指标为何会高估保守方法(编辑只做一半也得分),凸显 FiVE-Acc 度量编辑正确性的必要性。
无掩码 VLM 评估的完整提示词:给评估模型输入按时间对齐的 8 帧源视频帧与 8 帧编辑帧、编辑指令及可选参考图,要求按 1-10 分打提示遵循、编辑质量、背景保持三项并输出 JSON。
评估协议完全透明可复现,是解读 Table 3 及主体引导/通用视频 VLM 分数的前提。
绿头鸭视频吉卜力风格化对比:EditVid 在 9 帧上施加一致强风格化且保留姿态、运动与场景;多数基线要么贴近源外观要么结构大改,AnyV2V 风格化较强但依赖外部图像编辑器。
展示全局外观大幅改变场景下的时序一致性,是软潜变量混合在大编辑幅度下放行编辑的例证。
蝴蝶变玻璃材质任务:EditVid 产生清晰玻璃质感同时保留蝴蝶形状、运动与背景;多数竞争方法基本保留原外观或引入无关变化。
材质级大幅语义变换是编辑强度的试金石,说明该方法能真正执行指令而非保守微调。
霹雳舞者变全息效果:EditVid 在剧烈动作与大幅度姿态变化下全程保持全息外观;基线要么编辑不足要么对主体和周边引入更大改动。
非刚性大幅运动下的外观一致性正是稀疏因果记忆与鲁棒对应机制的用武之地,呼应 Table 6 的定量分析。
狼眼睛变蓝:EditVid 把编辑精确定位到眼睛区域,身份、面部结构与跨帧运动保持不变;若干基线要么不能一致应用编辑要么改动主体更大范围。
展示编辑局部性能力,对应软潜变量混合在「小差异区域锚回源」一侧的行为。
头发变白但发型保持不变:EditVid 一致地只改发色,服装、姿态与场景不变;基线要么改动微弱要么牵连其他属性。
部件级属性编辑是 FiVE 基准的核心题型,直观对应 Table 1 中 FiVE-MC 86.87 的高分来源。
把狗替换为参考图中的狮子:EditVid 迁移狮子特征外观同时保留源姿态、尺度、运动与场景结构;基线普遍残留源狗外观、与参考对应弱或引入几何与背景变化。
主体引导替换是该框架区别于几乎所有免训练基线的独有能力,直接支撑 Table 1 中唯一支持主体编辑的地位。
天鹅替换为参考图中的北极熊:EditVid 保持连贯的北极熊外观与源轨迹、运动及与水的交互;基线更多出现身份迁移不完全、几何形变或时序不一致。
跨大类语义(水鸟到哺乳动物)+ 水面交互保持,是长程身份注入与源轨迹约束协同工作的极端案例。
困难时序变化下(视角变化/遮挡/非刚性/结构性)的注入鲁棒性:EditVid 总体 76.23,优于去掉全局注入的 75.65 与无过滤注入的 72.53;无过滤方案在遮挡(64.13)与非刚性(73.85)上明显更差。
证明置信 + 循环一致过滤不可或缺:盲目复制锚帧 token 比不注入还糟,这是对应质量即身份保真的关键证据。