UniVBench：面向视频基础模型的统一评估基准

首个统一评估视频基础模型理解、生成、编辑和重构能力的综合基准

前置知识

视频基础模型

视频基础模型是旨在统一视频理解、生成、编辑和指令遵循任务的大型多模态模型。它们通常结合大语言模型与视觉tokenizers和视频解码器，能够在同一架构中处理视频理解和生成任务，如Chameleon、Transfusion、Show-o、Emu3和UNIC等模型。

理解视频基础模型的统一架构设计是理解UniVBench评估框架的基础，因为论文的核心目标就是评估这类模型在多种任务下的综合能力。

多镜头视频

多镜头视频是指由多个镜头（shot）组成的视频，每个镜头在摄像机角度、位置或场景设置上有明显变化。通过PySceneDetect等工具可以自动检测镜头边界，将长视频分割成多个镜头单元进行评估。UniVBench中多镜头视频平均包含3.72个镜头。

多镜头视频评估是UniVBench的关键特征，因为现有基准几乎都只支持单镜头，而真实世界视频通常是多镜头的，评估多镜头能力更能反映模型的实际应用价值。

Agent-based Evaluation

基于智能体的评估方法使用大语言模型作为评估器，通过结构化的提示和检查列表对模型输出进行细粒度分析。UniV-Eval系统将评估分解为解构与规划、镜头级细粒度评估两个阶段，提供可追溯的弱点清单而非单一标量分数。

UniV-Eval是论文的核心技术贡献，理解其工作原理（动态适应性评估、多维度评分、镜头级归因）对于把握论文技术新颖性和评估优势至关重要。

研究动机

现有视频评估基准存在三个根本性限制。首先，它们是任务特定的，如AuroraCap、ShotBench等理解基准使用版权网络视频，可能污染评估数据且缺乏生成和编辑任务所需的指令；VBench、VBench2.0等生成基准仅关注文本到视频合成，不支持理解或编辑评估；CCEdit、TGVE、UNIC等编辑基准仅限于单镜头场景，缺乏多镜头内容。其次，评估指标碎片化严重，理解任务使用BLEU、CIDEr等基于参考的度量，生成任务使用FVD、CLIPScore等分布性度量，编辑任务需要临时组合多个度量，这严重限制了跨任务比较。此外，单一标量分数缺乏可解释性，无法揭示模型在具体维度上的强弱权衡。最后，现有基准对电影品质的评估也是碎片化的，AuroraCap强调主体检测和相机运动但忽略风格和空间关系，VBench评估主体和动作但缺乏系统的光照和色彩评估，TGVE关注主体保持但忽略背景和空间一致性。

本文的目标是本文的目标是构建首个统一评估视频基础模型的基准框架，能够全面评估模型在视频理解、生成、编辑以及新提出的视频重构任务上的表现。该基准需要使用高质量、多样化、多镜头的无版权视频，配备详细的字幕、多格式编辑指令和参考图像。同时，开发统一的智能体评估系统，标准化所有任务的提示、指令解析和评分流程，实现公平、可扩展、可重现的跨模型和跨任务比较。最终目标是建立测量视频基础模型综合能力的框架，推动向通用、指令遵循的视频智能发展。

与已有工作不同的是，本文的独特切入角度是首次提出视频重构（V2V）任务，该任务要求模型首先理解视频并生成详细的字幕，然后基于生成的文本重构视频。通过直接比较重构视频与原始视频，可以评估统一模型在理解和生成两个环节的能力，揭示了感知-生成耦合中的信息丢失。此外，本文首次将多镜头内容引入视频评估，所有200个视频都是人工创建的无版权内容，解决了数据污染问题。与现有基准只评估任务子集不同，UniVBench建立了对8个基本维度（风格、主体、动作、背景、相机、光照、色彩、空间关系）和21个细粒度子维度的系统评估，在视频任务的完整光谱上提供了一致的、可解释的度量标准。

核心方法

UniVBench由两个核心组件构成：高质量多镜头视频数据集和统一智能体评估系统（UniV-Eval）。数据集构建遵循严格的三阶段流程：首先15名专业视频制作人根据预定义的8个维度和21个子维度分类撰写详细脚本，确保每个多镜头脚本在镜头间保持叙事连贯性同时覆盖多样化的维度值；然后使用顶级商业API（Hailuo、Kling、Veo3）生成视频，并经过三轮人工过滤：自动预过滤去除水印和IP内容、三位训练审查员独立验证对脚本规范的遵守程度、质量专家检查伪影和不自然运动。最终产出100个单镜头和100个多镜头视频（平均3.72个镜头）。UniV-Eval系统采用动态适应性评估策略，包括解构与规划阶段将长视频机械分割为多个片段并提取镜头级单元，以及镜头级细粒度评估阶段使用九大类别组（主体、相对位置、动作、背景和场景、色彩信息、光照信息、视频风格、氛围、相机信息）生成结构化的弱点清单。该系统支持六种任务：视频字幕（V2T）、文本到视频生成（T2V）、参考图像视频生成（R2V）、文本指令视频编辑（TV2V）、参考图像视频编辑（RV2V）、视频重构（V2V），标准化所有任务的提示、指令解析和评分流程。

核心创新点在于提出了视频重构（V2V）任务和统一的智能体评估框架。V2V任务通过V2T→T2V流水线直接诊断感知-生成耦合：模型首先理解视频并生成详细字幕，然后基于生成的文本重构视频，最后比较重构视频与原始视频。高质量统一模型应首先通过理解生成优秀字幕，然后基于文本生成高质量视频，任何环节的失败都会导致重构视频与原始视频的显著差异。UniV-Eval系统的关键创新是将整体生成性能分解为一组可解释的、多维度的检查清单，采用动态适应性的评估策略而非固定维度和单值评估。与BLEU测量n-gram重叠、FVD评估分布相似性、CLIPScore测量语义对齐等传统指标不同，UniV-Eval在九大类别下提供细粒度的、可追溯的反馈，将错误归因到感知与生成组件，为训练优化提供可操作的信息。

方法步骤详情

方法步骤的完整描述包括数据集构建和评估系统两部分。数据集构建步骤：（1）维度预分类：从先前工作提取8个基本维度并扩展为21个细粒度子维度，为每个子维度预定义分类（如风格：写实、动画、2D；相机运动：静态、缩放、摇镜头、跟拍；光照：日光、黄金时刻、摄影棚）。（2）脚本撰写：15名专业视频制作人随机采样类别组合并撰写指定所有维度属性的详细叙事，每个多镜头脚本必须在镜头间保持叙事连贯性同时覆盖多样化的维度值，脚本经过同行审查。（3）视频生成：使用顶级商业API生成视频，经过三轮人工过滤后平均每个视频需要2.3次生成尝试才获得批准。（4）详细字幕生成：使用Gemini 2.5 Pro通过维度提取和合成两阶段生成维度完整的ground-truth字幕，三位注释员独立验证，GPT-4o提供额外自动验证，每个字幕平均修订1.8次。（5）参考图像构建：定义三种类型的参考图像（主体、风格、场景），使用Gemini 2.5 Flash Image和Seedream4.0生成864张独特多样的图像。评估系统步骤：（1）解构与规划：使用PySceneDetect将长视频V机械分割为多个片段V={ci}，确定每个片段中的镜头级单元数量n，将参考图像I和用户指令T与对应镜头对齐，形成镜头级输入(v, i, t)。（2）镜头级细粒度评估：调用镜头评估代理对模型输出o1和输入元组(v, i, t)进行评估，使用九大类别组进行逐类别比较，生成结构化的弱点清单。（3）分数聚合：评估分数代理聚合诊断信号并发布六个评估维度的最终分数。

技术新颖性

技术新颖性体现在四个方面。首先，数据集规模和质量：UniVBench是首个专门为统一评估设计的多镜头视频数据集，200个高质量、多样化视频涵盖8个基本维度和21个细粒度子维度，所有内容为人工创建且无版权问题，这解决了现有基准的版权和数据污染限制。其次，任务设计：提出的视频重构（V2V）任务是评估统一模型理解和生成能力的创新方法，通过V2T→T2V流水线揭示信息传输丢失，这是现有基准未涉及的评估维度。第三，评估方法论：UniV-Eval系统采用动态适应性的、细粒度的智能体评估策略，将评估分解为九大类别组，提供结构化的弱点清单而非单一标量分数，这超越了BLEU、FVD、CLIPScore、LPIPS等传统指标的局限性。最后，统一框架：这是首个在理解、生成、编辑和重构四种核心能力上提供系统化评估的基准，采用一致的提示、指令解析和评分标准，支持跨模型和跨任务的可重现比较，而现有基准都是任务特定的、评估指标碎片化的。

**Figure 1**: Overview of the UniVBench evaluation setting across 8 Dimensions, 21 Sub-Dimensions, and 6 Tasks. Given a source video, T2V synthesizes a video using its ground-truth caption, while V2V reconstructs the video based solely on the model's self-generated understanding text, enabling a direct diagnosis of perception–generation coupling.

**Figure 2**: Workflow of UniV-Eval. The system accepts arbitrary inputs within a task setting and performs dynamic evaluation after planning and decomposition. The final results are delivered as a fine-grained checklist, providing traceable feedback for training optimization.

**Figure B4**: The meta-data distribution of video content.

**Figure B5**: The script format used to generate the coherent video captions. Red font indicates the content model needs to fill in. Green font indicates the explanation of each field.

实验结果

实验结果表明，当前视频模型存在明显的专业化分工，突出了单任务设计系统与统一任务系统之间的性能差距。在视频理解（V2T）任务中，Gemini 2.5 Pro表现最佳，平均分数为54.1%，显著领先于其他模型。相反，Showo-2等统一视频模型在该领域得分仅为16.3%，展示了它们在感知推理方面的不足。对于文本到视频（T2V）生成，Seedance-1.0-Pro达到最高分77.9%。对于重构（V2V），Wan2.1-VACE-14B表现最强，得分62.7%。跨所有任务的一个关键观察是模型在动作维度上的困难，该维度经常获得最低分数，特别是在视频理解任务中。这表明准确解释和合成复杂的时序动态仍然是一个主要挑战。相比之下，生成模型在色彩、光照和视频风格等风格属性上表现出更大的控制力，通常在这些维度上获得最高分数。案例研究分析显示，V2V任务表现出比T2V对应任务更明显的不一致性，表明V2T→T2V流水线中的信息传输丢失。通过10%数据的三折交叉验证研究，UniV-Eval与人类判断的高度一致性达到近85%，证明了该指标忠实地反映了人类注释。

**Table 1**: Comparison of benchmarks for video understanding, generation and editing. Multi-task shows the applicable tasks of the benchmark. Multi-shot indicates that whether the video source and text annotations have multi-shot content. Copyright Issue indicates whether the video sources in the dataset are editable without copyright issue.

**Table 2**: Comparison of cinematic dimensions across different video evaluation benchmarks.

**Table 3**: Comparison of core capabilities across existing evaluation metrics and our proposed agent-based evaluation system.

**Table 4**: Performance comparison of different baselines on UniVBench, summarizing results over six tasks, across eight dimensions.

**Figure 3**: Case Study Analysis of UniVBench in T2V and Reconstruction Task. T2V generation uses the ground truth text of the video, while V2V reconstruction relies on model's understanidng text.

**Figure 4**: An example of evaluation using different metrics, where the blue-highlighted part shows that UniV-Eval provides more detailed, traceable validation and assessment.

**Figure 5**: Human expert annotations used to validate the reliability of UniV-Eval.

**Figure A1**: Examples of T2V generation results across different baselines

**Figure A3**: Examples of R2V generation results of Seedance-Lite

**Figure B6**: Evaluation case of LLM as judge and human

查看结构化数据

任务	指标	本文	基线	提升
视频理解（V2T）	平均分数（八维度）	Gemini 2.5 Pro: 54.1%	Showo-2: 16.3%	提升232%
文本到视频生成（T2V）	平均分数（八维度）	Seedance-1.0-Pro: 77.9%	Omni-Video: 56.2%	提升39%
参考图像到视频生成（R2V）	平均分数（八维度）	Seedance-1.0-Lite: 66.7%	CogVideoX: 40.1%	提升66%
文本指令视频编辑（TV2V）	平均分数（八维度）	Wan2.1-VACE-14B: 65.1%	Wan2.1-VACE-1.5B: 34.9%	提升87%
参考图像视频编辑（RV2V）	平均分数（八维度）	Wan2.1-VACE-14B: 66.4%	Omni-Video: 47.9%	提升39%
视频重构（V2V）	平均分数（八维度）	Wan2.1-VACE-14B: 62.7%	CogVideoX-1.5-5B: 20.7%	提升203%

局限与改进

作者承认的主要局限是当前数据集的规模，200个丰富注释的视频虽然足够全面评估，但仍需显著扩展。论文提出的统一评估框架依赖于大语言模型作为评估器，虽然评估器和被评估模型不同（视频生成模型 vs 视觉语言模型），理论上避免了自我偏好偏差，但LLM-as-a-Judge方法本身可能存在偏差，特别是在评估复杂、多面和动态的视频品质时。此外，当前评估集中在电影品质维度（风格、主体、动作、背景、相机、光照、色彩、空间关系），可能未覆盖某些特定应用场景的重要维度，如音频-视觉同步、叙事连贯性、情感表达等。评估系统的成本也是考虑因素，如表D1所示，评估一个任务的平均成本约为10美元，这可能限制大规模部署。最后，论文主要评估了静态的电影品质属性，对于时序一致性、因果推理、长期依赖等动态属性的评估可能还不够充分，这些是视频理解与生成的关键挑战。

独立分析的弱点

独立分析的弱点包括：（1）数据集规模有限：200个视频虽然质量高，但覆盖的场景多样性、语言文化背景、视频时长变化等方面可能不够充分，特别是在评估长期依赖和复杂叙事时。改进方向：扩展数据集至1000+视频，增加更多样化的场景、文化背景和视频时长（当前平均镜头数3.72可以扩展到更多镜头的复杂视频）。（2）评估维度覆盖不全：当前8个维度21个子维度主要关注静态电影品质属性，缺乏对音频-视觉同步、叙事连贯性、情感表达、因果关系、长期记忆等动态属性的评估。改进方向：引入音频评估维度、叙事分析模块、情感识别和因果推理评估。（3）计算成本高：每个任务评估成本约10美元，大规模部署成本较高。改进方向：优化评估提示、使用更高效的模型蒸馏、开发轻量级评估模型。（4）缺乏对抗性测试：当前数据集主要关注正常场景，缺乏对抗性或边界情况的测试案例。改进方向：引入类似FIVE的对抗性测试用例，评估模型在极端情况下的鲁棒性。（5）评估器偏差：虽然评估器和被评估模型不同，但LLM-as-a-Judge方法可能存在内在偏差。改进方向：多模型集成评估、人类-LLM混合评估、建立评估校准数据集。

未来方向

未来研究方向包括：作者提出扩展UniVBench数据集规模是关键的未来工作，目标利用扩展的基准验证新型统一视频模型，利用从评估框架获得的见解推动开发更加集成和有能力的系统。基于论文成果可以延伸的方向包括：（1）长期依赖和复杂叙事评估：开发专门针对长视频、多情节、角色关系变化等复杂叙事场景的评估维度和方法。（2）跨模态一致性评估：扩展到音频、文本、视频的跨模态一致性评估，特别是对于视频编辑和重构任务。（3）动态时序推理：专门评估模型对时序因果关系、长期依赖、事件预测等动态推理能力的方法。（4）文化多样性评估：增加不同文化背景、语言风格、叙事传统的视频内容，评估模型的跨文化泛化能力。（5）用户中心评估：结合用户研究、可用性测试等方法，从用户角度评估模型的实际应用价值。（6）评估模型本身的研究：开发更高效、更准确、更少偏差的评估模型，可能通过专门的训练或蒸馏技术。（7）在线评估和持续学习：建立在线评估平台，支持模型的持续评估和改进，特别是对于快速发展的视频基础模型领域。

复现评估

复现评估方面，论文提供了详细的实现细节：所有基线模型在统一实验协议下评估，对于商业大型多模态模型（GPT-5、Gemini 2.5 Pro、Seed 1.6、Seedance-1.0-Lite）直接使用官方推理API，对于开源基线（CogVideoX、CoDi-2、Omni-Video、Wan2.1-VACE等）使用官方代码库和预训练检查点。所有模型使用一致的推理设置：50步DDIM采样步骤、7.5的分类器自由引导尺度、原生分辨率（16:9视频通常为720×480）。当模型缺乏对某些任务的原生支持时，实现最小适配：对于TV2V编辑，将指令文本与源视频嵌入拼接；对于RV2V编辑，在中间层将参考图像特征注入扩散过程。使用Seed-1.6作为评估LLM，所有模型在每个任务下接收相同输入。所有实验在8个NVIDIA H100 GPU 80GB上执行。论文声明代码和数据集在GitHub上公开（https://github.com/JianhuiWei7/UniVBench2026），这意味着研究社区可以访问数据集、评估脚本和实验设置。然而，论文没有明确说明视频数据的存储和分发方式（由于视频数据量大，可能需要专门的存储方案），也没有提供训练过程的详细超参数设置（因为主要评估的是预训练模型）。评估系统的提示在补充材料中提供（Figure F14-F21），这有助于复现评估流程。总体而言，论文提供了较好的复现性支持，但视频数据的访问可能是实际复现的挑战。

UniVBench：面向视频基础模型的统一评估基准 UniVBench: Towards Unified Evaluation for Video Foundation Models