CoVEBench: 视频编辑模型能否处理复杂指令？——组合式视频编辑基准测试 CoVEBench: Can Video Editing Models Handle Complex Instructions?
首个针对组合式视频编辑的基准测试，揭示当前模型在复杂多指令场景下的严重缺陷。
前置知识
组合式视频编辑
指在单次编辑中同时执行多个相互关联的原子操作，例如同时修改主体、调整背景、改变摄像机运动、添加视觉特效等。与单点编辑不同，组合式编辑要求模型理解多个编辑目标之间的关系，避免操作间的相互干扰，并严格保持未被编辑区域的内容不变。这种能力模拟了真实世界视频制作工作流中的复杂需求。
本文的核心主题，理解组合式编辑的概念对于理解 CoVEBench 的设计目标和评估维度至关重要。
MLLM（多模态大语言模型）评估
利用能够同时理解和处理文本、图像、视频等多种模态信息的大型语言模型作为评判器，对视频编辑结果进行自动化评估。在本文中，MLLM 被用来回答精心设计的清单问题，判断编辑是否按照指令执行、编辑后的内容是否符合物理规律、未被编辑的语义是否得到保留。这种评估方式比传统的 CLIP 分数等粗粒度指标更细致、更具诊断性。
CoVEBench 的核心评估方法依赖 MLLM 作为评判器，理解其工作原理对于把握论文评估方法论的可靠性和局限性很关键。
UAS（联合准确率）
Union Accuracy 的缩写，是本文提出的严格组合指标。对于每个编辑点，只有当其所有指令遵循问题（IFS）和视觉逼真度问题（VRS）都回答正确时，该编辑点才能得分为 1，否则得分为 0。UAS 是一个「联合」指标，它要求模型不仅要正确执行编辑动作，还要保证编辑结果的质量达到视觉自然的标准。例如在图 7 的案例中，只有正确回答所有四个相关问题才能得分。
UAS 是 CoVEBench 的主要评估指标之一，理解其定义和计算方式对于理解论文的实验结果和发现至关重要。
视频保真度（Video Fidelity）
衡量编辑后的视频在未被编辑区域保持原始视频内容的程度。包括三个层次：语义一致性（SEM）——未被编辑的语义元素（如物体、背景、动作、摄像机运动等）是否保持不变；结构保真度（SSIM）——像素级的布局和结构是否保持；运动保真度（MF）——时间轨迹的运动是否保持一致。对于编辑指令明确的视频，保真度评估会排除被预期修改的区域。
视频保真度是 CoVEBench 的三大评估维度之一，它与指令遵循和视频质量共同构成了完整的评估框架。
研究动机
现有视频编辑基准测试严重偏离真实世界工作流，主要存在三方面问题。首先，测试指令过于简单，大多是孤立的单点编辑（如风格迁移、对象替换），而现实中的创作者通常需要在同一个提示词中提出多个耦合编辑要求，例如同时修改主体、调整摄像机运动、添加对象但保持背景不变。其次，现有基准的覆盖范围狭窄，缺乏结构性和动态性操作，如摄像机控制和主体运动编辑。最后，现有评估方法依赖粗粒度的全局指标（如 CLIP 分数），无法诊断特定的失败模式，例如模型是否成功执行了某个编辑但遗漏了另一个、是否生成了视觉上合理但物理上不合逻辑的修改，或者是否意外改变了不相关的场景结构。根据作者与现有基准的对比，TDVE-Assessor 的平均提示词长度为 28.5 词，但仍主要关注简单编辑；而 CoVEBench 的平均提示词长度为 44.9 词，且明确强调组合式编辑。这种差距导致当前最先进的专有模型在现有基准上表现过于轻松，与实际应用需求存在严重脱节。
本文的目标是本文的目标是构建一个专门针对复杂组合式视频编辑的基准测试 CoVEBench，以填补当前评估方法与真实世界工作流之间的空白。CoVEBench 包含 416 个精选源视频和 626 个多点编辑指令，每个指令平均指定约 3 个原子编辑操作，覆盖主体编辑、背景修改、摄像机工作、风格迁移、运动变化、位置关系调整和特殊效果等七个维度。通过将近 10,000 个可验证的清单项目，CoVEBench 旨在系统诊断模型是否成功执行每个编辑、修改后的区域是否保持视觉和逻辑上的合理性，以及不相关的内容是否得到妥善保留。与此同时，CoVEBench 还结合自动指标评估视频质量、运动一致性和结构保真度，提供一个全面、具有诊断性的评估框架。
与已有工作不同的是，本文的独特切入角度在于首次明确将「组合式」作为视频编辑评估的核心维度，并为此设计了一套精细化的评估方法论。与以往基准测试不同，CoVEBench 不仅提供组合式提示词，更重要的是建立了细粒度的诊断指标来严格评估执行准确性、修改质量和语义保留。作者将复杂的编辑指令分解为 9,990 个可验证的清单项目，利用最先进的多模态大语言模型（MLLMs）进行评估。这种方法能够识别模型在处理多个操作时的具体失败模式，例如编辑遗漏、违反保真度约束或引入伪影。CoVEBench 的另一个独特之处在于它明确将指令遵循（IFS）与视觉逼真度（VRS）解耦，并通过联合准确率（UAS）作为严格组合指标，确保高分的编辑既准确执行又质量完美。这种细粒度、诊断性的评估框架为推进视频编辑迈向现实用户工作流提供了重要工具。
核心方法
CoVEBench 的整体构建思路分为三个阶段：源视频收集与过滤、编辑指令生成、清单生成与精炼。首先，作者从多个来源（包括 Pexels、Mixkit 等库存平台和 Vript、UltraVideo 等学术数据集）收集源视频，并应用严格过滤标准（分辨率 ≥480p、时长 3-21 秒、视觉质量筛选、跨池近似去重）以及最终人工审查，最终选择 416 个视频。然后，基于结构化的分类体系（涵盖主体、背景、摄像机、风格、运动、位置和特效七个维度），作者手动制定 83 种不同的类别组合，真实反映编辑工作流。将这些组合和变化的少量样本示例注入提示词，使用多样化的 MLLM（包括 GPT-5、Gemini-3.1-Pro、Qwen3-VL-plus 等）为每个分配的视频选择最合适的组合并生成定制的编辑指令，随后进行人工审查以去除不合适或重复的输出。最后，使用先进的 LLMs（包括 Gemini-3-Flash、GPT-5、DeepSeek-V4-Pro）合成清单问题，将编辑指令和源视频的详细文本描述作为输入，提取不同的编辑点并重组为细粒度、可验证的问题。经过严格的人工过滤，保留约 67.2% 的初始输出，最终得到一个可靠的清单框架。
CoVEBench 的核心创新点在于将组合式视频编辑任务形式化为细粒度的清单评估框架。与以往依赖粗粒度全局指标（如 CLIP 分数）的评估方法不同，CoVEBench 将复杂的编辑指令分解为多个原子编辑点，并为每个编辑点设计可验证的问题。这些问题分为三大维度：执行准确性（评估特定编辑指令是否成功应用）、物理逻辑（评估编辑后视频内部是否符合物理规律）和语义保留（评估未被编辑的元素是否保持一致）。通过利用先进的 MLLM 作为评判器回答这些问题，CoVEBench 能够系统诊断模型在处理组合式指令时的具体表现。另一个关键创新是明确解耦指令遵循与视觉逼真度，并通过联合准确率作为严格组合指标，确保高分的编辑既准确执行又质量完美。此外，CoVEBench 在评估保真度时引入了「指令感知」机制，根据编辑指令排除预期修改的区域，避免传统指标对预期变化的惩罚。
方法步骤详情
CoVEBench 的评估流程分为四个主要步骤。首先，对于每个源视频和编辑指令对，系统提取编辑点（指令中指定的原子操作）和保留点（应该保持不变的元素）。然后，对于每个编辑点或保留点，生成一组细粒度的问题。这些问题使用四种格式：A/B 多项选择题（AB-MCQ，评判器仅看到编辑后视频）、单视频真/假题（Single-TF，评判器仅看到编辑后视频）、双视频真/假题（Dual-TF，评判器看到原始视频和编辑后视频）和 1-10 评分多项选择题（Score-MCQ，评判器看到原始视频和编辑后视频，专门用于语义保留评估）。第三步，使用 Qwen3.5-122B-A10B 作为 MLLM 评判器，根据不同的可见性条件回答这些问题。对于 AB-MCQ 和 Single-TF，评判器仅看到编辑后视频；对于 Dual-TF 和 Score-MCQ，评判器看到原始视频和编辑后视频。最后，根据评判器的回答计算各种指标。指令遵循得分（IFS）是所有指令相关问题的平均准确率，评估是否成功应用了基本编辑；视觉逼真度得分（VRS）是评估编辑区域视觉自然性的问题的平均分；联合准确率（UAS）是严格组合指标，只有当一个编辑点的所有指令和逼真度问题都正确时才得分为 1。对于保真度评估，语义一致性（SEM）通过保留导向的清单问题计算平均分；结构保真度（SSIM）通过计算原始视频和编辑后视频的帧级结构相似性得到；运动保真度（MF）通过 CoTracker 提取点轨迹并计算匹配成本得到；静态区域一致性（SRC）通过 Grounding DINO 和 SAM2 定位预期保持不变的静态实体区域，计算 DINOv2 特征余弦相似度得到。
技术新颖性
CoVEBench 的技术新颖性体现在多个方面。首先，它是首个专门针对组合式视频编辑的基准测试，明确强调多个耦合编辑同时执行的场景，这与现有基准测试关注孤立编辑形成鲜明对比。其次，CoVEBench 提出了一套全面的评估矩阵，包括指令遵循、视频质量和视频保真度三大维度，共 11 个具体指标。这套指标系统经过精心设计，具有低冗余性——强相关性几乎仅出现在同一维度内的语义相关对之间，而跨维度相关性显著较弱且异质，证明它们捕捉了模型性能的互补方面。第三，CoVEBench 的清单评估框架具有高度的诊断性，能够识别模型在处理组合式指令时的具体失败模式，例如编辑遗漏、违反保真度约束或引入伪影。第四，CoVEBench 在评估保真度时引入了「指令感知」机制和样本过滤机制，根据编辑指令排除预期修改的区域或样本（如涉及摄像机移动、全局风格转换或过度视觉改变的样本），确保评估的公平性和可靠性。最后，CoVEBench 的数据构建流程高度规范化和可复现，包括严格的视频筛选、人工审查的指令生成、以及多层验证的清单生成，为未来的视频编辑研究提供了高质量的基准数据。
实验结果
CoVEBench 的实验结果揭示了当前视频编辑模型在处理组合式指令方面的严重不足。作者评估了 10 个流行的模型，包括 InsV2V、VACE、Lucy Edit、ICVE、Ditto、ReCo、OmniWeaving、Kiwi、HappyHorse 1.0 和 Wan2.7。主要发现包括：首先，闭源模型在指令遵循方面表现出更强的能力，两个评估的闭源模型在基于清单的指标上获得了明显更高的分数，特别是 UAS（Wan2.7: 56.89%, HappyHorse 1.0: 55.18%），与开源模型（OmniWeaving: 30.14%, Kiwi: 29.03%）形成鲜明对比。其次，当前模型仍然难以实现高质量的指令完成。尽管某些模型可以遵循请求的编辑，但它们的联合准确率 UAS 远低于单独的指令遵循和逼真度分数，表明在执行所有必需编辑的同时保持物理合理性仍然具有挑战性。例如，Wan2.7 的 IFS 为 82.02%，VRS 为 79.97%，但 UAS 仅为 56.89%。第三，编辑执行与内容保留之间存在明显的权衡。某些模型获得相对较强的指令遵循性能，但语义保留能力较弱。例如，Ditto 在执行相关方面取得竞争力的分数（IFS: 49.45%, VRS: 60.69%），但其 SEM 得分仅为 58.02%，表明更强的编辑可能以对保留内容的意外改变为代价。第四，细粒度的类别分析显示，当前模型在特定编辑类型方面存在困难。值得注意的是，摄像机控制、运动和主体编辑比背景或风格修改更困难——即使是闭源模型也存在这一局限。在主体编辑中，替换（特别是刚性/非刚性）比添加或删除更困难。最后，错误分析将常见的失败归类为四种关键类型：执行不充分（如指令遵循不力或文本渲染）、空间纠缠导致对非目标区域的意外修改、缺乏物理基础导致不自然的运动、以及视觉退化导致的光逼真度损失。结果表明，指令遵循不充分是开源模型需要克服的最关键瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 组合式视频编辑（UAS） | 联合准确率（Union Accuracy） | Wan2.7: 56.89%, HappyHorse 1.0: 55.18% | OmniWeaving: 30.14%, Kiwi: 29.03%, Ditto: 26.50% | 闭源模型相比最强开源模型提升约 26-27 个百分点 |
| 指令遵循（IFS） | 指令遵循得分（Instruction Following Score） | Wan2.7: 82.02%, HappyHorse 1.0: 76.54% | OmniWeaving: 57.18%, Kiwi: 53.90%, Ditto: 49.45% | 闭源模型相比最强开源模型提升约 20-25 个百分点 |
| 语义保留（SEM） | 语义一致性得分（Semantic Consistency） | Wan2.7: 87.90, HappyHorse 1.0: 92.73 | Lucy: 86.13, OmniWeaving: 85.05, Kiwi: 79.51 | HappyHorse 1.0 在语义保留方面表现最佳，超过 Wan2.7 约 4.83 分 |
| 视频质量（VQR） | 综合质量得分（Comprehensive Quality） | Wan2.7: 4.407, HappyHorse 1.0: 4.388 | Ditto: 3.921, Kiwi: 3.670, OmniWeaving: 3.660 | 闭源模型在视频质量方面略有优势，但差距相对较小 |
| 推理效率（时间） | 每帧时间（seconds per frame） | Kiwi: 0.651s/f, Lucy: 0.721s/f | Ditto: 7.288s/f, ICVE: 5.621s/f, VACE: 12.827s/f | Kiwi 和 Lucy 在推理速度方面具有明显优势，适合延迟敏感的应用 |
局限与改进
CoVEBench 作为基准测试也存在一些局限性。首先，当前范围主要限于文本指导的指令。在先进的现实世界工作流中，创作者经常依赖补充的多模态控制信号——如参考图像、空间边界框或音频提示——以实现精确的时空对齐，这些在当前框架中未得到支持。其次，CoVEBench 仅作为评估基准，没有提出相应的解决方案（如 LLM 驱动的代理）来自主处理识别的复杂组合任务。这意味着虽然 CoVEBench 能够诊断现有模型的缺陷，但本身不提供改进模型性能的技术途径。第三，这项工作没有提供配对的大规模训练数据集，限制了立即微调和改进现有视频编辑模型以应对这些组合挑战的能力。作者还承认，CoVEBench 的评估仍依赖于 MLLM 评判器，尽管实验显示 Qwen3.5-122B-A10B 在客观问题上的同意率超过 93%（Cohen's κ = 0.84），但评判器自身的潜在偏差和局限性可能会影响评估的绝对准确性。最后，CoVEBench 的数据规模（416 个视频、626 个指令）虽然足以进行诊断性评估，但与某些大型视频数据集相比仍有扩展空间，这可能限制了评估结果的统计稳定性。
独立分析的弱点
当前视频编辑模型在处理组合式指令方面存在多个独立分析的弱点。首先，指令遵循不充分是最关键的瓶颈，模型经常遗漏部分编辑点或无法准确执行特定的编辑操作。例如在阳台编辑案例中，HappyHorse 1.0 未能实现站立和靠在柱子上的动作，只完成了向下看的姿势和位置移动。其次是空间纠缠问题，编辑导致对非目标区域的意外修改，许多模型在执行编辑时会影响周围的物体或背景。第三是缺乏物理基础，导致不自然的运动，例如 Wan2.7 在移动主体时引入了不自然的运动鬼影。第四是视觉退化，表现为光逼真度的损失，如 Kiwi 引入严重的 AI 伪影，使得编辑的人几乎无法识别为人类。针对这些弱点，改进方向包括：增强模型对组合式指令的理解和分解能力，可能通过引入专门的指令解析模块或强化学习来提高对多个编辑目标的协调能力；改进模型的时空一致性保持机制，以减少空间纠缠和运动鬼影；引入物理约束模块，确保生成的编辑内容符合现实物理规律；以及提高模型的视觉保真度，减少 AI 伪影的引入。
未来方向
基于 CoVEBench 的发现，未来研究有多个可延伸的方向。首先，可以开发专门针对组合式视频编辑的新型模型架构，例如引入层次化的编辑执行框架，将组合式指令分解为多个原子操作，并分别处理每个操作同时保持操作间的协调。其次，可以探索将 LLM 或 MLLM 作为代理来自主规划和执行组合式编辑任务，这可能涉及将编辑指令分解为多个子任务、识别子任务之间的依赖关系、以及协调子任务的执行顺序。第三，可以开发更先进的评估方法，例如引入人类感知建模的指标、物理仿真验证、或对抗性评估方法，以进一步提高评估的准确性和可靠性。第四，可以扩展 CoVEBench 的数据规模和覆盖范围，例如增加更多的源视频和编辑指令、引入更多的编辑维度（如音频编辑）、或支持多模态控制信号（如参考图像、边界框、音频提示）。最后，可以基于 CoVEBench 的诊断性评估结果，针对性地改进现有视频编辑模型，例如通过在组合式编辑任务上进行微调、引入专门的损失函数来平衡编辑执行和内容保留、或开发新的注意力机制来更好地处理多个编辑目标。
复现评估
CoVEBench 的复现评估可以从多个方面进行分析。开源情况方面，作者已在 GitHub 上发布了代码和数据集（https://github.com/NJU-LINK/CoVEBench），并在 Hugging Face 上提供了数据集（https://huggingface.co/datasets/NJU-LINK/CoVEBench）。数据方面，CoVEBench 包含 416 个精选源视频、626 个多点编辑指令和 9,990 个细粒度清单项目，视频时长在 3-21 秒之间，分辨率 ≥480p，涵盖了广泛的主题和场景。算力需求方面，所有评估均在单个 NVIDIA H200 GPU 上进行，推理配置为 480 × 480 空间分辨率和 41 个视频帧。推理效率方面，不同模型的计算需求存在显著差异：Kiwi 和 Lucy 在推理速度方面表现优越（0.651s/f 和 0.721s/f），适合延迟敏感的应用；InsV2V、ReCo 和 OmniWeaving 保持优化的 VRAM 占用（14,665.6 MB、21,475.0 MB 和 22,567.6 MB），确保在受限硬件下的可行部署；而 VACE 和 ICVE 需要过量的计算时间和内存储备（12.827s/f、113,090.9 MB 和 5.621s/f、68,130.6 MB），严重限制了它们的实际可访问性。难度方面，复现 CoVEBench 的评估流程需要访问多个 MLLM（如 Qwen3.5-122B-A10B）和多个视频编辑模型，以及执行复杂的清单生成和评估流程，对计算资源和技术要求较高。然而，由于作者提供了完整的代码、数据和详细的评估协议，有经验的团队应该能够复现主要实验结果。
论文图表
