Kiwi-Edit: 通过指令与参考引导实现多功能视频编辑

构建开源数据集RefVIE及统一模型Kiwi-Edit，实现参考引导视频编辑

前置知识

Diffusion Transformer (DiT)

DiT 是一种将 Transformer 架构与扩散模型结合的生成模型。传统扩散模型使用 U-Net 作为去噪网络，而 DiT 用 Transformer 替代 U-Net，通过 patch embedding 将图像/视频的潜空间表示分块后输入 Transformer 进行去噪。DiT 的优势在于更好的可扩展性和对高分辨率生成的支持。本文使用的 DiT 骨干是 Wan-TI2V-5B，一个 50 亿参数的视频生成模型。

本文的视频生成骨干是基于 DiT 架构的 Wan 模型，理解 DiT 是理解整个编辑框架的基础

Multimodal Large Language Model (MLLM)

MLLM 是能够同时处理文本、图像等多种模态输入的大语言模型。本文使用的 Qwen2.5-VL-3B 是阿里巴巴开发的视觉语言模型，能够理解图像内容、文本指令以及它们之间的关系。在本文中，MLLM 被冻结使用并配合 LoRA 微调，负责编码源视频帧、编辑指令和参考图像的语义信息。

MLLM 是本文架构的语义理解核心，负责将多模态输入转化为统一的条件信号指导视频编辑

LoRA (Low-Rank Adaptation)

LoRA 是一种参数高效的微调方法，通过在预训练模型的权重矩阵旁注入低秩分解矩阵来实现适配。具体来说，对于原始权重 $W \in \mathbb{R}^{d \times k}$，LoRA 添加 $W + BA$，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$。这样只需训练少量参数（通常不到原模型的 1%）就能有效适配模型到新任务。

本文用 LoRA 微调冻结的 MLLM，使其适配视频编辑任务而不丢失预训练知识

Flow Matching

Flow Matching 是一种生成建模方法，学习从噪声分布到数据分布的最优传输路径。与扩散模型逐步加噪去噪不同，Flow Matching 直接学习速度场 $v_\theta$，使得 $\frac{dz}{dt} = v_\theta(z, t, c)$ 沿着直线路径从噪声 $z_0$ 流向目标 $z_1$。训练目标是最小化预测速度场与真实漂移之间的均方误差：$\mathcal{L}_{flow} = \mathbb{E}_{t, z_0, z_1, c} \|v_\theta(z_t, t, c) - (z_1 - z_0)\|^2$。

本文采用 Flow Matching 作为训练目标函数，是 DiT 生成的优化基础

Cross-Attention 机制

Cross-Attention 是 Transformer 中一种注意力机制，其中 Query 来自一个序列（如去噪潜变量），而 Key 和 Value 来自另一个序列（如条件信号）。在生成模型中，Cross-Attention 用于将文本或视觉条件注入到生成过程中。本文将 MLLM 提取的上下文 token 作为 Key/Value，通过 Cross-Attention 指导 DiT 的生成内容。

理解 Cross-Attention 是理解本文如何将语义条件注入生成过程的关键

CLIP 特征与去重

CLIP（Contrastive Language-Image Pre-training）是 OpenAI 开发的视觉-语言预训练模型，能够将图像和文本映射到同一个语义空间。CLIP 特征可以衡量图像之间的语义相似度。本文在数据集构建的最后阶段，提取参考图像的 CLIP 特征进行全局去重，防止数据泄漏和冗余，确保训练集的多样性和质量。

CLIP 特征用于数据集质量控制和去重，是 RefVIE 数据集构建流水线的重要环节

研究动机

当前基于指令的视频编辑方法取得了显著进展，但存在一个根本性限制：完全依赖文本指令。自然语言在描述精确视觉细节时存在固有模糊性，例如特定纹理、精确物体身份或细微风格特征。用户经常希望通过视觉示例传达编辑意图，如"用这辆跑车替换那辆车"或"应用这幅画的风格"，但纯文本模型根本无法完成此类任务。虽然参考引导的视频编辑提供了解决方案，但其发展受到数据稀缺的严重制约。如 Table 1 所示，现有的大规模指令编辑数据集（如 InsViE 1M、Señorita 2M、Ditto 1M、OpenVE 3M）均不提供参考图像。少数探索参考引导编辑的工作（如 InstructX 236K、Kling-Omni）依赖闭源私有数据，对研究社区不可用。这一数据瓶颈从根本上阻碍了该领域的发展。

本文的目标是本文的核心目标是解决参考引导视频编辑中的数据稀缺问题，具体包括三个方面：第一，构建一个大规模、高质量、开源的指令-参考-视频四元组数据集 RefVIE，包含 477K 个样本，涵盖局部物体添加、替换和背景更换等多种编辑任务；第二，建立标准化的评估基准 RefVIE-Bench，包含 110 个经过人工验证的样本，用于全面评估参考相似性、指令准确性和时间一致性；第三，开发一个统一的视频编辑模型 Kiwi-Edit，能够同时处理纯指令编辑和指令-参考编辑任务，在开源模型中达到最先进水平。

与已有工作不同的是，本文的独特切入角度在于「以数据为中心」的方法论。核心洞察是：强大的预训练图像生成模型可以作为高保真的参考图像合成器，从而实现可扩展的数据构建而无需昂贵的人工标注。不同于现有方法要么依赖闭源数据、要么只处理纯文本指令，本文从已有的指令编辑数据集（提供源-目标视频对）出发，设计了一个自动化流水线来合成缺失的参考图像，将标准三元组 $(V_{src}, T_{inst}, V_{tgt})$ 增强为所需的四元组 $(V_{src}, T_{inst}, I_{ref}, V_{tgt})$。这种数据驱动的方法为参考引导视频编辑提供了坚实的基础，使得开源社区能够首次大规模训练和评估此类模型。

核心方法

本文的方法由两个互补的部分组成：数据集构建流水线和统一编辑架构。直觉上，数据方面的问题是：我们有大量源视频-指令-目标视频的三元组，但缺少参考图像。解决思路是利用现成的视觉语言模型（Qwen3-VL-32B）定位编辑区域，用分割模型（SAM3）精确抠图，再用图像编辑模型（Qwen-Image-Edit-2511）合成参考图像。架构方面的问题是：如何让生成模型同时理解文本指令和视觉参考？解决思路是用冻结的 MLLM 编码多模态输入，通过双连接器（Query Connector 和 Latent Connector）提取语义信号，再通过混合注入策略（元素加法 + 序列拼接）将条件注入 DiT。整个系统采用三阶段渐进式训练：从对齐到指令微调再到参考微调，确保稳定收敛。

本文的核心创新有两个层面。在数据层面，提出了一种可扩展的自动数据生成流水线，首次实现了从已有三元组到四元组的大规模转化，从 3.7M 原始样本中筛选出 477K 高质量样本。这与现有方法的本质区别在于：不需要从头收集参考图像数据，而是利用预训练模型"补全"缺失的参考维度。在架构层面，提出了混合条件注入策略：源视频通过元素加法（element-wise addition）注入，保持结构一致性；参考图像通过序列拼接（sequence concatenation）注入，实现细粒度纹理转移。这种设计的关键发现是：标准的 Cross-Attention 对于精细空间保持不够充分，而直接通道拼接会导致训练不稳定。源视频注入通过时间依赖因子 $\sigma(t)$ 调制，确保在不同去噪阶段的合理权重。

方法步骤详情

方法分为数据构建和模型架构两大部分。数据构建流水线包含四个阶段：Stage 1（源数据聚合与过滤）从 Ditto-1M、ReCo、OpenVE-3M 三个开源数据集聚合 3.7M 样本，使用 EditScore 过滤（指令调优阈值 6，参考生成阈值 8），并筛选局部修改和背景替换任务；Stage 2（定位与分割）使用 Qwen3-VL-32B 解释编辑指令并在目标视频首帧定位兴趣区域，生成粗边界框后由 SAM3 精化为像素级分割掩码；Stage 3（参考图像合成）利用 Qwen-Image-Edit-2511 合成参考图像——背景任务中提取并移除前景物体后修补得到干净背景，局部编辑中提取目标物体放置于简洁背景上；Stage 4（质量控制与后处理）使用 MLLM 验证合成参考图像与目标视频的一致性，提取 CLIP 特征进行全局去重。模型架构包含：MLLM 编码器（Qwen2.5-VL-3B，冻结+LoRA）处理源视频帧、文本指令和参考图像的交错序列；Query Connector（MLP）将可学习查询 token 投影到 DiT 维度；Latent Connector 提取参考图像视觉 token；DiT 骨干（Wan-TI2V-5B）通过 Cross-Attention 接收上下文 token。训练采用三阶段课程：Stage 1（MLLM-DiT 对齐）冻结两者只训练桥接组件；Stage 2（指令调优）解冻 DiT 层进行联合优化；Stage 3（参考微调）引入 RefVIE 数据集解锁精确视觉控制。

技术新颖性

本文的技术新颖性体现在多个方面。首先，数据流水线的创新在于利用预训练图像生成模型作为参考图像合成器的思路，将 3.7M 原始样本转化为 477K 高质量四元组，这是首个大规模开源的指令-参考视频编辑数据集。其次，混合条件注入策略是架构层面的核心创新：发现元素加法（配合时间依赖因子 $\sigma(t)$）对源视频结构保持优于通道拼接，而序列拼接对参考图像纹理转移更有效。第三，渐进式三阶段训练课程确保了从粗到细的稳定收敛，避免了直接在复杂四元组上训练的优化困难。第四，双连接器设计（稀疏查询 token + 密集视觉潜变量）的组合效果优于单独使用任一：仅用查询时分数为 3.20，加入参考潜变量后提升到 3.30。这些设计都经过了严格的消融实验验证。

**Figure 8**: RefVIE 数据集样本展示（参考引导局部变更和背景变更）

**Figure 9**: RefVIE 数据集样本展示（参考引导局部添加和背景变更）

**Figure 10**: RefVIE 数据集样本展示（参考引导局部变更和局部添加）

实验结果

本文在两个基准上进行了全面评估。在 OpenVE-Bench 上，Kiwi-Edit（Stage-3 Instruct-Reference 版本）取得了 Overall 3.11 的分数，显著超越此前最好的开源方法 OpenVE-Edit（2.50），提升了 24.4%。特别是在背景更换任务上达到 2.67，甚至超越了闭源商业模型 Runway Aleph（2.62）。在 RefVIE-Bench 上，使用 Gemini-3-Flash 作为评判模型，Kiwi-Edit 取得 Overall 3.40，在 Identity Consistency 上达到 4.28，在 Reference Similarity 上达到 3.40，展现了强大的参考保真能力。虽然闭源模型 Kling-O1 在绝对分数上更高（3.99），但这可能归因于其更大的参数量和闭源训练语料。消融实验证实了各设计选择的必要性：移除对齐阶段导致分数从 3.11 暴跌至 1.47；去掉图像联合训练使 Removal 分数从 2.84 降至 2.58；元素加法策略优于通道拼接（2.63 vs 2.08）。分辨率提升（从 720x480 到 1280x704）和训练课程的使用带来了各指标的一致性提升。

**Figure 6**: OpenVE-Bench 和 VIE-Bench 上的定性比较

查看结构化数据

任务	指标	本文	基线	提升
指令视频编辑（OpenVE-Bench Overall）	Gemini-2.5-Pro 评分（1-5分制）	3.11（Stage-3 Instruct-Reference）	OpenVE-Edit 2.50, ReCo 2.80, UniVideo 3.02	相比 OpenVE-Edit 提升 24.4%，超越所有开源基线
背景更换（OpenVE-Bench Background Change）	Gemini-2.5-Pro 评分	2.67	Runway Aleph 2.62, ReCo 1.92	超越闭源商业模型 Runway Aleph
指令-参考视频编辑（RefVIE-Bench Overall）	Gemini-3-Flash 评分	3.40（Reference only）	UniVideo 3.44, ReCo-Ref 3.00	在开源模型中具有竞争力，Identity Consistency 达 4.28
消融：条件注入策略	Score@Remove / Score@Style	2.63 / 4.07（元素加法 + 时间因子）	通道拼接 2.08 / 3.82	元素加法在 Remove 任务上提升 26.4%

局限与改进

本文存在多个局限性。首先，数据集构建依赖于多个预训练模型（Qwen3-VL-32B、SAM3、Qwen-Image-Edit-2511），这些模型本身的错误会传播到最终数据集中，可能引入系统性偏差。其次，RefVIE 数据集仅覆盖局部物体添加/替换和背景更换两类任务，对于风格迁移、颜色变化、运动修改等编辑类型尚未涉及。第三，RefVIE-Bench 仅包含 110 个样本（70 个物体参考 + 40 个背景替换），规模较小，可能无法充分反映模型在长尾场景下的表现。第四，模型仅支持 81 帧的视频长度限制，对于更长视频的编辑能力有待验证。第五，与闭源模型 Kling-O1（Overall 3.99）相比仍有明显差距，主要体现在视频质量（2.08 vs 2.75）和 Matting Quality（2.35 vs 3.21）等维度，说明在精细合成质量上还有提升空间。第六，评估依赖 MLLM 作为自动评判，其自身可能存在的偏差会影响评估的可靠性。

独立分析的弱点

本文有几个值得改进的弱点。第一，数据质量对上游模型高度依赖：Qwen-Image-Edit-2511 合成的参考图像可能存在身份不一致或质量不佳的情况，虽然有 MLLM 过滤，但过滤标准（VLM 评分）本身可能不完美。改进方向是引入更严格的多轮验证机制或人工抽检。第二，参考图像的多样性受限于合成方式——背景任务只产生干净背景图，局部任务只产生裁剪物体图，这种"理想化"的参考与用户实际提供的参考（可能包含背景、多人、模糊等）存在分布差异。改进方向是在训练中加入更多样化的参考图像增强策略。第三，模型在 RefVIE-Bench 的 Temporal Consistency（2.96）和 Physical Consistency（2.91）上得分偏低，说明时间连贯性和物理合理性仍是挑战。改进方向是引入更强的时序一致性约束或物理先验。第四，训练成本高（12K+10K+10K 步，batch size 128），对小团队复现有门槛。改进方向是探索更高效的训练策略，如渐进式数据筛选或课程学习的自适应调度。

未来方向

本文作者提出了一系列未来方向。基于现有成果，可以延伸到以下方向：第一，扩展编辑任务类型——当前仅覆盖物体添加/替换和背景更换，可以将框架扩展到风格迁移、运动编辑、时间重排等更丰富的编辑操作。第二，交互式参考引导——当前系统假设用户提供的参考图像质量良好，可以开发交互式界面帮助用户选择、裁剪和预处理参考图像。第三，多参考图像支持——允许用户提供多个参考图像来分别控制不同方面（如一个控制风格、一个控制物体身份），通过更复杂的条件融合实现更精细的控制。第四，视频-视频参考——不仅支持图像作为参考，还支持参考视频来控制动态行为（如"像这个视频中那样走路"）。第五，实时编辑——当前的扩散模型推理速度较慢，探索蒸馏或一致性模型等加速技术可以实现实时视频编辑。第六，数据集扩展——可以将数据流水线应用到更多开源数据集，进一步扩大 RefVIE 的规模和多样性。

复现评估

本文在可复现性方面表现优秀。作者承诺开源所有数据集（RefVIE 477K）、模型（Kiwi-Edit）和代码（GitHub: showlab/Kiwi-Edit），这在视频编辑领域是难能可贵的。数据集基于已有的开源数据集构建，基础模型（Qwen2.5-VL-3B、Wan-TI2V-5B）均为公开可用的预训练模型。然而，复现仍面临一些挑战：数据流水线需要调用多个大模型（Qwen3-VL-32B、SAM3、Qwen-Image-Edit-2511），推理成本较高；训练使用 batch size 128 和多阶段课程，需要大规模 GPU 集群；评估使用 Gemini-2.5-Pro 和 Gemini-3-Flash 作为评判模型，需要 API 访问。总体来说，代码和数据的开源使得学术团队能够进行后续研究和改进，但完整复现训练流程可能需要显著的计算资源投入。

Kiwi-Edit: 通过指令与参考引导实现多功能视频编辑 Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance