Artifact-Bench:面向多模态大语言模型的 AI 生成视频伪影检测与评估基准 Artifact-Bench: Evaluating MLLMs on Detecting and Assessing the Artifacts of AI-Generated Videos
覆盖三类视频的 AI 伪影分层基准,揭示 MLLM 感知根本缺陷
前置知识
AI 生成视频伪影 (AIGC Artifacts)
指由扩散模型、视频生成 Transformer 等生成式模型在合成视频时产生的视觉缺陷,典型表现包括:帧间闪烁、物体形变畸变、物体凭空出现/消失、生物结构异常(如六指)、物理因果违反等,与传统 CG 渲染瑕疵在产生机理上有本质区别,是判别 AIGC 内容的核心线索。
本文的核心对象就是这些伪影,只有理解 AIGC 伪影的多样性和细微性,才能理解为何需要专门的 benchmark 来评估 MLLM。
多模态大语言模型 (MLLM)
以大语言模型为基底,扩展视觉编码器与跨模态对齐投影层,使其能同时处理图像/视频帧序列并输出自然语言推理的模型。代表工作如 GPT-4o、Gemini 3.1 Pro、Qwen3-VL、InternVL3.5 等,本文评估了 19 个此类模型作为视频评估器的可靠性。
本文的研究主体是 MLLM 在视频真实感评估任务上的能力,需要了解 MLLM 的基本架构和它们在视觉推理上的现状才能理解作者的实验设计动机。
困难度分层 (Difficulty Stratification)
将测试样本按难度梯度组织的方法,通常由多位专家对每个样本独立评分,在分歧时通过多数投票或额外评审达成一致。本文把样本分为 L1(伪影明显)到 L3(高度真实)三级,目的是检验模型是否真正基于伪影感知而非语义先验做判断。
这是本文评估方案的核心设计之一,只有理解 L1-L3 的设计逻辑,才能看懂作者为何能得出模型判断与人类感知不对齐这一关键结论。
成对比较 (Pairwise Comparison)
将模型评估从绝对打分改为两两比较的范式,要求模型在两个候选之间选出更优者。本文 Task 2 PVRC 即采用此范式,让模型在两段 AIGC 视频中选出更真实的一段,提供更细粒度的真实感评估信号。
PVRC 是本文三大任务之一,理解成对比较的优势有助于理解为何作者把 RVAC 和 PVRC 放在同一难度层级但用不同形式来评估模型的真实感判断能力。
研究动机
随着 Kling、Veo 3、HunyuanVideo、Wan2.2 等视频生成模型的快速迭代,AI 生成视频的视觉质量已经逼近真实内容,但其输出仍普遍存在时序不一致、几何结构畸变、运动不自然、语义不连贯等 AIGC 伪影。现有视频检测基准(如 ViF-Bench、AEGIS、GenBuster-Bench、UVE-Bench、VF-Eval)在三个关键方面存在不足:第一,任务形式单一,要么只做二分类、要么只做偏好打分或 QA 推理,缺乏从粗粒度识别到细粒度诊断的统一框架;第二,评估场景狭窄,主要聚焦于真实感照片风格的视频,忽视了动画和 CG 风格视频中的伪影;第三,标注粒度粗,伪影标签数量普遍仅 3-23 类,且多依赖 MLLM 自动标注,无法支撑细粒度的因果诊断需求。这导致我们无法判断当前的 MLLM 究竟是真正看见了伪影,还是依赖语义先验或数据集偏差在做表面判断。
本文的目标是本文的目标是构建一个覆盖真实感、动画、CG 三大视频域,具备 30 类细粒度伪影标签的层次化伪影分类体系,并基于此设计三个递进式评估任务——RVAC(真伪二分类)、PVRC(成对真实感比较)、AID(细粒度伪影识别)——分别在 L1(易)到 L3(难)三个难度层级上,系统性测量 19 个主流 MLLM 的伪影感知与推理能力,定量揭示其与人类感知对齐度的差距,为未来 MLLM 的真实感评估能力提升指明方向。
与已有工作不同的是，本文的独特切入角度在于:首次把伪影感知与伪影诊断统一到同一个 benchmark 中,既不是单纯的二分类(只测识别),也不是单独的偏好评分(只测整体质量),而是把能不能分清真假→能不能比较谁更真→能不能指出哪里假这一递进推理链路完整呈现;此外,本文采用全人工标注协议(3 位专家独立评分 + 2 位资深专家复核),伪影标签覆盖 30 类且与作者原创的 3 级层次化 taxonomy 严格对应,这是现有 benchmark 用 MLLM 自动标注或仅 3-23 类标签所无法企及的人类对齐精度。
核心方法
本文的整体思路是先建分类、再建数据、再设计任务、最后系统评估。作者通过反复观看并标注大量 AIGC 视频,迭代归纳出三级层次化伪影分类体系:顶层是 3 大伪影域(表面瑕疵、结构缺陷、时序-语义违例),底层是 30 个细粒度伪影类型。基于该 taxonomy,设计了三层递进评估任务:从单视频二分类(RVAC)到双视频成对比较(PVRC),再到 6 选多答案的细粒度伪影识别(AID)。数据上采用混合流水线,用 Gemini 3.1 Pro 给真实视频生成 caption,再用 7 个生成模型(Kling、VEO、Hunyuan、Wan2.2、LTX、MagiHuman 等)生成语义对齐的 AIGC 配对,所有样本经 3 专家标注 + 2 资深专家复核,形成 1350 个视频、1100 个样本的 Artifact-Bench。
本文最核心的创新不在于某个具体算法,而在于评估范式上的根本转变:把 AI 视频评估从单一任务评测升级为 3 任务 × 3 难度 × 30 伪影类的多粒度诊断框架。已有的 MLLM 在二分类和偏好评分上表现尚可,但一旦任务升级到必须从 6 个高度相似的细粒度伪影中选出所有正确项,几乎所有模型平均准确率都跌至 10% 以下,这暴露出当前 MLLM 真正缺失的不是判断真假的能力,而是定位 + 归因的能力。同时,通过把样本按 L1-L3 分层,作者能精确诊断模型是真的在感知伪影还是在用难度无关的语义线索——如果模型在 L3 表现反常地好于 L1,那就说明它根本不是基于伪影在判断。这一诊断式评估思路是该工作与所有以往 AIGC 视频基准的本质区别。
方法步骤详情
方法执行流程分四步。第一步是 taxonomy 构建:收集 5 大类、20 个子场景的视频,反复标注并合并语义重叠的伪影模式,迭代建立 3 顶层 × 失败家族 × 30 细粒度类的层次化分类体系。第二步是任务设计:RVAC 输出 yes/no 测真假识别,PVRC 选 测真实感比较,AID 从 6 候选伪影中多选测归因诊断。第三步是数据构造:RVAC 用 captioning 配对生成 AIGC,PVRC 用高质量重生成 + 同 prompt 多生成筛选,AID 用自然收集 + 针对性伪影提示(六指、物体凭空出现等)覆盖稀有类型。第四步是质量控制:每个样本经 3 位专家独立评分,分歧时引入 2 位额外专家,标签通过讨论和多数投票确定;再由 2 位资深专家统一复核,所有样本划分为 L1(明显伪影)到 L3(高度真实)三级,最终 1350 个视频形成 1100 个样本。
技术新颖性
本文的技术新颖性主要体现在四个方面。其一,在 taxonomy 层面,首次提出覆盖 3 顶层域、多个失败家族、30 细粒度类的完整层次化 AIGC 伪影分类体系,且明确声明该 taxonomy 是诊断性而非互斥的,支持多标签标注,更贴合实际视频中伪影共存的现象。其二,在任务设计层面,首次把二分类 + 成对比较 + 多标签细粒度识别三个互补任务统一到一个 benchmark 中,实现从粗粒度识别到细粒度诊断的递进评估。其三,在数据构造层面,采用真实视频 + 针对性生成 + 多模型来源的混合流水线,覆盖 Kling、VEO、Hunyuan、Wan2.2、LTX、MagiHuman 等 7 个主流生成系统,且首次把评估场景从真实感扩展到动画和 CG 风格。其四,在质量控制层面,采用全人工标注 + 5 专家复核协议,并显式把 L1-L3 难度分层作为评估维度,使得研究者能直接诊断模型的伪影感知能力是否随真实度提升而稳定下降,这是 MLLM 评估方法上的重要创新。
实验结果
本文在 19 个 MLLM 上系统评估,核心发现可归纳为四条。第一,即便最强模型也远不及人类:Gemini 3.1 Pro 总分 47.5 vs 人类基线 87.7,差距 40.2 分;AID 任务人类 80.3 vs Gemini 3.1 Pro 仅 9.8。第二,大量模型接近或低于随机:Qwen3-VL 8B 在 PVRC 上仅 45.8,InternVL3.5 30B-A3B 仅 36.6,Skyra 7B-SFT 仅 21.1。第三,模型规模与推理增强未带来一致提升:InternVL3.5-38B 与 8B 几乎无差;Qwen3-VL 8B-Thinking 在 PVRC 上比 Instruct 版低 9.1 分。第四,模型判断与人类感知严重不对齐:人类 L1→L3 单调下降,而多数 MLLM 出现反常上升(如 MiMo-VL 7B-SFT 在 PVRC 上 L3=52.6 反超 L1=52.0)。任务难度满足 $\text{AID} \gg \text{RVAC} \approx \text{PVRC}$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RVAC (真伪二分类,平均) | 准确率 (Acc) | Gemini 3.1 Pro 74.0 / Gemini 3 Flash 64.7 / 最佳开源 VideoVeritas 8B 68.2 | 人类专家 93.6 / 随机 50.0 | 最强模型仍比人类低 19.6 分,大量开源模型(Qwen3-VL 8B 49.6、Molmo2 8B 48.3)接近甚至低于随机基线 |
| PVRC (成对真实感比较,平均) | 准确率 (Acc) | Gemini 3.1 Pro 48.6 / Gemini 3 Flash 50.9 / 最佳开源 VideoVeritas 8B 53.1 | 人类专家 86.4 / 随机 50.0 | 开源模型如 Skyra 7B-SFT 仅 21.1、InternVL3.5 30B-A3B 仅 36.6,远低于随机,凸显其在细粒度真实感比较上的根本缺陷 |
| AID (细粒度伪影识别,平均) | 准确率 (Acc) | Gemini 3.1 Pro 9.8 / Gemini 3 Flash 9.8 / 最佳开源 Qwen3-VL 32B-Thinking 9.6 / VideoVeritas 8B 7.8 | 人类专家 80.3 / 随机约 1-2% | 所有 MLLM 平均准确率均<10%,与人类 80.3 形成 70 分以上鸿沟;L3 上 MiMo-VL 7B-SFT、InternVL3.5 38B 准确率为 0.0 |
| 总分 (Total,3 任务 × 3 难度平均) | 综合准确率 | Gemini 3.1 Pro 47.5 / VideoVeritas 8B 46.0 / Qwen3-VL 32B-Instruct 39.5 | 人类专家 87.7 | 最强 MLLM 仍较人类低 40.2 分,普遍 MLLM 与人类感知存在数量级差距 |
局限与改进
作者在附录 C 中坦承的局限性包括:第一,受资源限制,人类专家数量和数据集规模仍可进一步扩大,benchmark 当前的 1100 个样本在覆盖更多视频源、更多伪影类型时存在天花板。第二,benchmark 的 30 类细粒度伪影 taxonomy 虽然经过多轮迭代优化,但 AIGC 模型快速迭代(每周都有新生成系统发布),伪影类型会持续演化,taxonomy 需要定期更新以保持时效性。第三,AID 任务的 6 选多答案设计虽然避免了粗粒度类别淘汰,但候选构造的难易程度会影响评分——若错误选项过于明显错,模型可能仅靠语义关联就能猜中部分正确项。我自己的额外观察是:第四,benchmark 完全依赖视觉信息,而真实部署中往往还需要结合音频、元数据等多模态线索,当前 benchmark 暂未覆盖音视频联合分析;第五,标注基于主观判断,即使是 5 专家协议,在 L3 难度下专家一致性也会下降,可能引入标签噪声影响评估信号稳定性;第六,benchmark 仅评估感知能力,未涉及基于感知给出可执行改进建议的下游能力,后者对实际部署同样关键。
独立分析的弱点
本文 benchmark 方案有以下可改进的弱点。其一,AID 任务的 6 选多答案设计可能存在选项构造偏差,模型可能因粗粒度语义先验而蒙对部分,改进方向是引入对抗性选项构造——把视觉相似但因果不同的伪影放进同一题。其二,difficulty stratification 基于专家对整体真实感的评分,但 L1-L3 的真实度和伪影可识别度未必严格对应,改进方向是把分层指标换成伪影严重度 + 空间分布广度的多维评分。其三,benchmark 仅在 closed-set 选项中评估,改进方向是增设 open-ended 描述任务,用 LLM-as-judge 做语义匹配评估。其四,数据中真实视频多来自在线公开来源,真实性 ground truth 难严格验证,改进方向是使用专业摄影团队的受控拍摄数据。
未来方向
作者明确指出未来工作将扩大 benchmark 的视频源、伪影类型和专家规模,以应对 AIGC 模型的快速迭代。基于论文成果,我认为可延伸的研究方向包括:第一,基于 Artifact-Bench 的细粒度伪影标注,可训练专门用于伪影定位 + 归因的 MLLM,而非仅仅依赖通用模型;第二,可研究模型对人类偏好的对齐问题——既然当前 MLLM 在 L3 上反常地好于 L1,可探索 RLHF/DPO 训练是否能真正教会模型看见伪影,还是只会学到伪影标签的表面相关性;第三,可把 Artifact-Bench 拓展到音频-视频联合场景,因为 AIGC 视频中的音频-视觉不同步本身也是一种隐式伪影;第四,可探索基于伪影诊断的可执行反馈生成——即让 MLLM 不仅识别伪影,还能给出针对性的生成 prompt 改进建议,把 benchmark 从评估器升级为训练信号源,直接用于视频生成模型的偏好优化;第五,可结合时空注意力可视化技术,定位 MLLM 究竟看向视频的哪些区域,定量分析局部伪影漏检是源于视觉编码器的 token 压缩还是语言头的语义偏差。
复现评估
本文开源情况良好,代码与数据已开放在 https://github.com/FrankYang-17/Artifact-Bench,论文提供了 3 个任务的 prompt 模板与答案提取 prompt。计算资源配置:4 台机器,每台 8 张 NVIDIA H800 GPU + 1000 GiB 系统内存,分布式推理用于 19 个 MLLM 批量评估。数据规模:1350 个视频、1100 个标注样本,经 3 专家独立标注 + 2 资深专家复核 + 多轮讨论。复现难度中等偏低,主要工作量在(1) 准备 7 个生成模型 API 或本地推理(部分商用如 Veo 3 需付费),(2) 部署 19 个 MLLM 推理(部分大模型需多卡 H800),(3) 复现 5 专家标注协议(需组建专家团队)。
论文图表
