Verus-Insight：面向AI生成视频的可解释伪影检测 Verus-Insight: Towards Explainable Artifact Detection in AI-Generated Videos
把AI视频检测拆解为检查规划、证据验证、证据聚合三能力，全程人类锚定监督
前置知识
多模态大语言模型（MLLM）
将视觉编码器与语言模型联合训练的模型，能同时接收图像/视频帧和文本，输出自由文本。它先通过视觉编码器把视频抽成 token 序列，再由 LLM 在统一序列上做自回归生成，因此既能描述画面又能推理时序事件，是当前可解释检测的主流载体。
Verus-Insight 的基座就是 Qwen3-VL-8B-Instruct，其检查规划、证据验证、证据聚合全部以文本加时空坐标的形式由 MLLM 生成，不理解 MLLM 的输出接口就无法理解训练目标与评测方式。
生成伪影与AI视频检测
生成伪影指视频生成模型留下的可见异常，如手部结构畸变、物体跨帧不一致、物理规律违背、纹理突变等。基于伪影的检测范式让模型先找出这些异常，再据此判断视频是真拍还是AI生成，比纯分类黑盒更可解释。
本文的全部监督、奖励与评测都围绕伪影展开：训练数据是人工标注的伪影及其中时空证据，奖励函数度量伪影找回的 F1，Verus-Bench 用人工伪影标注做细粒度评测。
SFT 与 GRPO 强化学习
SFT（监督微调）用人工构造的完整目标轨迹直接训练模型逐 token 模仿。GRPO 是一种免价值网络的策略优化：对同一输入采样一组回答，按奖励的组内相对优势更新策略，适合以可验证奖励（格式、判决正确性、F1）驱动长链路推理。
Verus-Insight 采用三阶段训练：跟踪与 rubric 规划预热、全流程 SFT，最后用 GRPO 以门控奖励 $r=C(\lambda+(1-\lambda)Q)$ 联合优化判决正确与伪影找回，消融显示去掉 RL 后 Finding F1 从 15.97 降到 13.53。
Plan F1 / Finding F1 / BA 评估协议
Plan F1 度量模型检查清单是否覆盖了与显著人工伪影相关联的检查目标；Finding F1 度量这些伪影是否被真正找回来，两者都基于一对一语义匹配，真实视频上多报的发现计为假阳性；BA（Balanced Accuracy）是真伪两类召回的平均，评估视频级判决。
这三个指标把检测分解出的三种能力分别变成可测量的数，论文的核心论证（三能力互补而不等价）完全建立在这组协议上，读表读图都需要先理解它。
时空定位
指为一条伪影声明给出时间区间（如 2.17–3.50 秒）和逐帧边界框（如 bbox [283,0,797,442]），把“哪里异常、何时异常”落到具体坐标。常用形式包括目标定位、跟踪、区域跟踪等感知代理任务。
论文的开发实验（Table 1b）证明区域跟踪预热加显式 grounding 接口最优（Plan/Finding F1/BA 达 20.28/18.25/83.16），且每条验证结论都必须带时空证据才算忠实。
研究动机
随着 Kling-2.5、Veo 3、HunyuanVideo-1.5、LTX-2.3、Wan2.2 等视频生成模型快速迭代，合成视频的真实感大幅提升，可靠检测成为内容鉴证、生成质量评估与安全分析的刚需。主流做法是用多模态大语言模型（MLLM）识别“生成伪影”作为判真判假的证据，但论文用一组对照案例（Figure 1、2）暴露了三类系统性失败：Skyra 只检查人脸与背景，完全没看头发的时序突变，直接判为 REAL；VideoVeritas 注意到头发剧烈膨胀却误读成“理发师正常造型”，仍判 REAL；BusterX++ 虽判对 FAKE，给出的证据却是“头发像静电爆炸、可能只是剪辑跳切”，伪影证据完全错位。通用模型同样糟糕：Qwen3-VL-8B 在 RewardData 上 BA 仅 48.81，接近瞎猜。更关键的是，判对不等于证据找对——仅看最终 real/fake 判决，无法区分“漏检伪影”“误读正常现象”和“判决碰巧正确”这几种本质不同的失败。
本文的目标是本文的目标是训练一个“既判得准、又说得清”的AI生成视频检测器：不仅给出视频级 real/fake 判决，还要指出视频中具体存在哪些人类可感知的伪影、发生在哪个时间段和空间区域，并且不虚报伪影。为此论文把伪影检测形式化为三个互补能力——检查规划（决定看什么）、证据验证（逐条核实被检内容是否真的异常，并给出时空证据）、证据聚合（把核实过的证据整合成最终判决）；在这套分解之上训练 Verus-Insight，同时构建带细粒度人工伪影标注的 Verus-Bench 作为评测基准，用 Plan F1、Finding F1 和 Balanced Accuracy 三个指标分别度量三种能力，使训练与评测都能超越“只看最终判决”的粗粒度范式。
与已有工作不同的是，已有可解释检测方法的监督与奖励大多停在“结果层”：BusterX++ 只奖励分类正确加回答思维质量，不度量伪影覆盖率；DeeptraceReward 用人工标注学奖励模型，但不要求每条声明在语义、时间、空间上同时正确；Skyra 的检查奖励只数格式化证据块的个数，不验证其忠实性；VideoVeritas 用定位与计数代理任务增强感知，检测阶段奖励只看分类准确和输出格式；Ivy-xDetector 评文本相似度，TUE-Detector 评轨迹结构，都不直接核实证据是否全面准确捕捉了人感知的伪影。本文的独特切入是把“人工标注的伪影”作为全流程监督的锚点：每个标注被拆成“检查标准—验证结论”成对数据，同时补入经独立核实的正常检查项防止标准本身泄露答案，训练与推理保持同一输出接口，并对每一能力分别设计度量与奖励。
核心方法
整体思路是“先分解、再逐段训练、最后端到端强化”。直觉上，一个靠谱的检测器应该像人类鉴证专家工作：先根据视频内容列出该查什么（样本特定的检查清单），再逐条到对应时空位置核实是否真的异常，最后综合核实过的证据下判决，而不是让模型一口气自由发挥。技术上，Verus-Insight 以 Qwen3-VL-8B-Instruct 为基座，先通过开发实验确定关键设计：Table 1(a) 显示 rubric 预热与显式生成 rubric 单独使用各有短板（BA 分别为 84.55 与 77.43），两者组合最佳，Plan F1/Finding F1/BA 达 23.61/18.68/86.11；Table 1(b) 显示在观察、定位、跟踪三种感知预热中，区域跟踪加显式时空 grounding 最优（20.28/18.25/83.16）。据此确定三阶段训练：跟踪与 rubric 规划预热、全流程 SFT、GRPO 强化学习，全程保持“清单—验证—聚合”的显式输出结构，中间结果全部由模型自己生成。
核心创新是“以人工伪影标注为锚的全流程监督”与“结论中立的检查标准”。每个伪影标注被转写成一个不预设结论的 rubric criterion（例如“金属部件在镜头聚焦时是否保持材质与相对位置一致？”），原始人工标注保留为对应验证结论，形成 criterion-verification 链接对；再为每个 rubric 补充经独立验证确认正常的检查项，避免“每条标准都指向异常”导致验证结果被标准本身泄露的捷径，并把链接对整体打乱以防位置线索。与已有方法的本质区别在于：监督信号覆盖从规划、验证到聚合的每一个中间环节，且中间输出全部由模型自生成（训练与推理接口一致），而不是只奖励最终分类；RL 奖励 $r=C(\lambda+(1-\lambda)Q)$ 同时约束“判决正确”与“伪影找全且不虚报”，其中 $C$ 是格式有效且判决正确的门控因子，$\lambda$ 为正确判决的基础奖励比例。
方法步骤详情
第一步数据构建：收集 Kling-2.5、Veo 3、HunyuanVideo-1.5、LTX-2.3、Wan2.2 生成的AI视频，真实视频来自 NExT-QA、OneThinker-STVG、DiDeMo 及互联网，人工标注可见伪影的类别、描述与时空证据，并合并 RewardData。第二步伪影锚定标准构建：把每个标注转写为样本特定、结论中立的 rubric criterion，与原标注配成链接对。第三步正常项增广：对视觉上有意义的对象、交互与时序关系提议候选检查，仅当独立验证确认目标有效且观察正常时保留。第四步全流程轨迹拼装：前置标签中立的视频描述与高层检查域，拼接整体打乱后的验证对，再由证据聚合输出最终判决，不引入额外伪影声明。第五至七步为训练：Stage I 以 1:1 采样联合训练区域跟踪（给初始框预测查询时刻的目标框）与 rubric 规划；Stage II 在完整轨迹上做 SFT，伪影与正常观察都受监督；Stage III 用 GRPO 优化，奖励 $r=C(\lambda+(1-\lambda)Q)$，AI视频时 $Q=F_{1,\mathrm{find}}$，真实视频时 $Q=\mathbb{1}[N_{\mathrm{pred}}=0]$，格式无效或判决错误则 $r=0$。
技术新颖性
技术新颖性体现在四处。其一，能力分解本身：把检测拆成可分别度量（Plan F1、Finding F1、BA）又互补的三能力，论文证明它们“相关但不等价”——VideoVeritas 有 91.12 BA 却只有 8.47 Finding F1。其二，监督构造：criterion-verification 链接对加 verified-normal 增广，从机制上杜绝“标准泄露结论”的捷径。其三，奖励设计：门控式 GRPO 奖励在真实视频上要求 $N_{\mathrm{pred}}=0$ 才给分，显式惩罚虚报，使 RewardData 上 Finding F1 从 3.38 涨到 35.42 的同时，真实视频严格伪影误报率反而降到全场最低的 1.20%。其四，评测贡献：Verus-Bench 提供逐帧密集人工标注（含时间区间与逐帧边界框），并提出计划到证据转换率 $P(F=1\mid P=1)$ 这类过程级指标，把“可解释”从口号变成可测量的能力。
实验结果
视频级检测（Table 2）：Verus-Insight 在 RewardData 上 BA 达 94.79，全场最高（超过 GPT-5.5 的 93.81 与 VideoVeritas 的 91.12），较基座 Qwen3-VL-8B 的 48.81 提升 45.98；Verus-Bench BA 89.06（基座 66.67）与 GPT-5.5 并列最佳；Artifact-Bench T1 66.60、T3 8.29 为开源最佳。细粒度（Table 3）：Verus-Bench 上 Plan F1 17.08→24.70、Finding F1 7.56→15.97；RewardData 上 Plan F1 18.67→31.33、Finding F1 3.38→35.42 为全场最高，发现精度/召回从 1.87/18.13 升至 33.66/37.36，证明增益不是靠多报伪影刷出来的。消融（Table 4）：去掉 Stage-II 显式 rubric 后 BA 反升至 90.63/96.07，但 Plan/Finding F1 双降，说明分类更强不等于伪影理解更好；去掉 RL 后 Finding F1 降至 13.53/30.35。过程分析（Figure 5）：计划到证据转换率 $P(F=1\mid P=1)$ 从 45.16%→54.88%（Verus-Bench）、30.48%→75.58%（RewardData），真实视频严格伪影误报率 1.20% 全场最低（基座高达 74.07%）。跨数据集：ViF-CoT-4K 上 Plan F1 35.27、Finding F1 14.02 领先专用检测器；对含 3 个以上伪影的视频及全部时空范围分桶召回均更稳。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AI生成视频检测（视频级，RewardData） | Balanced Accuracy | 94.79 | VideoVeritas 91.12；GPT-5.5 93.81；基座 Qwen3-VL-8B 48.81 | 全场最佳，较最强专用开源模型 +3.67，较基座 +45.98 |
| AI生成视频检测（视频级，Verus-Bench） | Balanced Accuracy | 89.06 | GPT-5.5 89.06；基座 Qwen3-VL-8B 66.67 | 与 GPT-5.5 并列最佳，较基座 +22.39 |
| 细粒度伪影发现（RewardData） | Finding F1 | 35.42 | Gemini-3.6-Flash 25.54；Skyra 14.11；基座 3.38 | 全场最高，+9.88 vs 最强专有模型，较基座 +32.04 |
| 细粒度伪影发现（Verus-Bench） | Finding F1 | 15.97 | Skyra 7.26（最强专用）；Gemini-3.6-Flash 27.63 | 较最强专用模型 +8.71（仍低于 Gemini-3.6-Flash） |
| 检查规划（Verus-Bench / RewardData） | Plan F1 | 24.70 / 31.33 | 专用最佳 Skyra 15.62 / 26.46；RewardData 全场最佳（Gemini-3.6-Flash 33.13） | 两个基准上均超过所有专用检测器，RewardData 上超基座 +12.66 |
| 真实视频伪影误报 | Strict Artifact FPR | 1.20% | VideoVeritas 3.31%；Skyra 3.92%；Gemini 3.6 Flash 15.96%；BusterX++ 23.49% | 全场最低，较最强基线再降 2.11 个百分点 |
| 跨数据集细粒度泛化（ViF-CoT-4K 子集） | Plan F1 / Finding F1 | 35.27 / 14.02 | VideoVeritas 8.08；BusterX++ 5.34（Finding F1） | Finding F1 领先最强专用模型 +5.94 |
局限与改进
可识别的局限：其一，细粒度绝对性能仍低，Verus-Bench 上 Finding F1 仅 15.97，且专有模型 Gemini-3.6-Flash 在该基准上 Plan F1 33.85、Finding F1 27.63 均高于 Verus-Insight，说明 8B 开源基座与专有模型在感知底子上仍有差距。其二，视频级优势并非全面碾压：ViF-Bench BA 60.51 低于 Gemini-3.6-Flash 的 72.22 与 Skyra 的 63.81，Artifact-Bench T2 45.60 低于 Gemini-3.1-Pro 的 57.20。其三，训练与基准都依赖密集逐帧人工标注与人工质检，成本高、难以快速扩展到新生成模型。其四，RewardData 上的覆盖增益在不同时空范围分桶并不均匀（作者在附录 A.3.2 承认）。其五，“以人类可感知伪影为锚”意味着机器可检测但人眼不可见的统计伪影被排除在监督与评测之外。其六，GRPO 在真实视频上的奖励 $\mathbb{1}[N_{\mathrm{pred}}=0]$ 只看是否零报告，无法区分“仔细核实后确认正常”与“敷衍地什么也不报”，可能鼓励保守策略。
独立分析的弱点
独立来看有几个值得警惕的点。第一，rubric 的“结论中立”依赖转写质量，若 criterion 措辞不慎带上异常暗示（如“是否出现变形”），验证结论仍可能被语言先验带偏，改进方向是对 criterion 做中立性自动审计或对抗性改写。第二，Plan/Finding F1 依赖一对一语义匹配，匹配器本身可能由模型实现，评估存在循环性与噪声，可用多人标注一致性或规则化协议交叉验证。第三，训练数据只覆盖 5 个生成器，对更新一代商用模型的泛化缺乏直接保证，可加入留出新模型的时序外推测试。第四，真实视频奖励只认 $N_{\mathrm{pred}}=0$，模型可能学成保守策略压低召回——RewardData 上 Plan 召回 47.25 低于基座的 57.69 正是佐证，可改为对虚报与漏报分别定价的奖励。第五，逐帧边界框标注成本极高，仅靠人工标注难以持续扩规模；第六，评估与训练共用同一匹配管线，匹配器误差会同时传导到奖励与指标，需要独立校准。
未来方向
可延伸的方向：一是把伪影标注半自动化，用强 MLLM 提议加人工抽检，降低 Verus-Bench 式密集标注的门槛，让基准随生成模型迭代滚动更新；二是把“检查—验证—聚合”三能力框架推广到图像检测、音频深度伪造与多模态联合取证，检验分解范式的通用性；三是纳入人不可感知的伪影（频域统计、压缩痕迹、帧间一致性的低层特征），训练“超人感知”检测器并研究其与人类锚定证据的融合与冲突消解；四是细化 RL 奖励，例如按 criterion 粒度给部分学分、对“核实为正常”的正确判断也给予奖励，缓解保守化倾向；五是用干预实验（人为注入/删除检查项）量化各能力对最终判决的因果贡献；六是效率方向：当前流程输出长链路推理，可探索自适应帧采样、rubric 剪枝或蒸馏到更小模型；七是把 Verus-Insight 用作生成侧的诊断反馈，闭环改进视频生成模型的质量评估与缺陷定位。
复现评估
复现条件评估：论文页面列出 Homepage/Code/Model/Dataset 入口（Figure 1 中的图标），若按承诺开源，则基座 Qwen3-VL-8B-Instruct 公开可得，Verus-Bench 与训练数据构建协议在正文和附录 A.1 描述得相当具体（数据来源、标注协议、正常项增广与轨迹拼装规则均可照做），这是复现的有利面。难点集中在三处：一是人工标注成本，需要密集逐帧审看并给出时间区间与逐帧边界框，且全部标注经人工质检，自建同等规模数据需要专业标注团队；二是算力，8B 模型的 Stage I/II SFT 加 GRPO 强化学习通常需要多卡高端 GPU（8×A100 级别）数天量级，GRPO 的组内采样开销尤其大；三是评估管线依赖一对一语义匹配，复现 Plan F1/Finding F1 需要严格按附录 A.4 的匹配协议实现，否则数字不可比。总体属于中等偏高难度：有开源权重和数据时可复现评测与继续微调，从零复现完整训练管线则成本显著。
论文图表
同一输入视频上的对照实验：给定两问（视频真伪、伪影是哪几项，正确答案为 B 手部畸变与 C 汉堡不自然）。常规检测器要么判决错误，要么判对但证据错位——Skyra 判 FAKE 却把证据安在错误位置，Veritas 判 FAKE 时选了错误的选项 A。Verus-Insight 先规划（手部结构、汉堡跨时间连续性、场景几何等样本特定 rubric），再逐条给出带边界框与时间区间的验证（含证据强度 Moderate/Strong、ANOMALY/NORMAL 判定），最后按证据强度与相关性聚合出 FAKE 与正确选项 B、C。
这是全文的问题陈述图：一眼看出“判决正确但证据错误”这一现有方法的核心缺陷，以及三阶段流程（规划→验证→聚合）如何把每个结论锚定在可核实的时空证据上，是理解论文动机的入口。
以理发店视频（0.75s 处发型开始剧烈变化，真实标签 FAKE，伪影为头发跨时间的不自然膨胀）展示四种模型的不同失败模式：Skyra 未检查伪影相关元素（只看人脸与背景动态）而判 REAL；VideoVeritas 观察到头发变化但误读为“理发师正常造型、物理上合理”而判 REAL；BusterX++ 判 FAKE 但把头发突变解释成“静电/漂浮、可能只是跳切剪辑”，具体伪影识别错误；Verus-Insight 生成“头发和胡须在 0.0–4.75s 是否保持体积、纹理与形状一致”的 rubric，验证出 0.75–4.75s 的不自然体积纹理突变（证据强度 strong，判定 ANOMALY），聚合支持 FAKE。
它精确对应论文提出的分类学：漏检（没看该看的地方）、误读（看了但理解错）、判决对但证据错，三种失败仅凭最终 real/fake 标签无法区分，直接论证了三能力分解与过程级评测的必要性。