SynCred-Bench：基准化评估 AI 生成视觉错误信息中的“合成可信度” SynCred-Bench: Benchmarking Synthetic Credibility in AI-Generated Visual Misinformation
构建合成可信度基准，揭示现有检测器与人类在此新威胁上普遍失效。
前置知识
合成图像检测（AIGC Detection）
区分真实图像与 AI 生成图像的二分类任务。早期方法利用 GAN/CNN 的生成指纹，扩散时代转向重建误差、频域特征或基础模型特征。本文正是要评估这类专用检测器在新威胁上的表现。
本文把 6 个 AIGC 检测器作为重要评测对象，理解其原理才能判断它们为何在文档式、界面式制品上失效。
多模态大语言模型（MLLM）
能同时理解图像与文本的大模型。本文把 15 个 MLLM 当作“判官”，仅输入图像与固定检测指令让其判断是否 AI 生成，并输出置信度与自由文本理由，用于归因分析。
MLLM-as-a-judge 是当前主流的图像真伪判别范式，本文要验证这种范式是否会被可信度线索误导。
合成可信度（Synthetic Credibility）
本文新定义的威胁类别，指 AI 生成制品借助“可信形式”（模仿通知、票据、证书等权威视觉格式）与“可信传播”（模仿扫描、翻拍、压缩等真实采集痕迹）获得说服力，使错误信息内生于图像本身。
这是贯穿全文的核心概念，理解它才能明白本文与传统 deepfake 检测、图文事实核查的本质区别。
低误报率约束 TPR(λ)
在保证误报率 FPR 不超过阈值 λ% 的前提下能取得的真阳率，即 TPR(λ)=max TPR(τ) s.t. FPR(τ)≤λ%。它衡量检测器在可容忍误报预算下的实际可用性，而非裸准确率。
本文用 5% FPR 约束下的 TPR(5) 作为核心指标，许多模型裸准确率高但 TPR(5) 接近 0，这是评估的关键。
内容溯源与水印（Provenance & Watermarking）
通过密码学溯源标准（如 C2PA）或对生成模型嵌入不可见水印（如 SynthID、Tree-Ring）来直接证明图像来源与编辑历史的技术，能在像素级检测之外提供权威性证据。
本文结论指出像素级检测不足，未来需结合溯源与水印，这是理解作者治理建议的前提。
研究动机
现有错误信息研究主要聚焦两类场景：一是自然场景图像与人物肖像的伪造检测（如换脸、deepfake），二是图文配对的事实核查（判断图像与说明是否匹配、是否脱离语境）。然而以 GPT Image 2 为代表的新一代文生图模型，能够生成嵌入清晰可读文字、版式连贯且带有强可信度线索的视觉制品，例如伪造的考试延期通知、假银行流水、虚构的诊断报告、虚假的政府公告截图。这类制品的错误信息是内生于图像本身的——一个伪造通知本身就是虚假声明，而不是把虚假声明叠加到真实照片上。因此检测这类错误信息等价于检测这些可信度丰富的合成图像的来源，而非对外部叠加的声明做事实核查。问题是：现有 AIGC 检测器主要面向自然场景与肖像 deepfake，无法稳定处理文档式、界面式或带传播痕迹的制品；而 MLLM 又倾向于把权威版式、规整排版、屏幕截图惯例当作真实性的证据，导致系统性漏检。
本文的目标是本文要达成四个可量化的目标：其一，形式化定义“合成可信度”这一此前被忽视的视觉错误信息威胁，明确其说服力来自可信形式与可信传播两个正交维度；其二，构建 SynCred-Bench——一个在 6 种可信形式类别上各 100 张、共 600 张中英文声明图像、覆盖 7 种细粒度传播风格的均衡基准，并配套 450 张真实图像负样本集 FP450 用于衡量误报率；其三，系统评估 15 个 MLLM（9 闭源、6 开源）与 6 个专用 AIGC 检测器（3 商用 API、3 开源）在 5% 误报率约束下的可用性；其四，通过假阴性归因、阈值扫描与传播风格影响分析，定量揭示模型把可信度视觉线索当作真实性证据的根本机制，并为未来开发“超越表层可信度线索”的检测器提供可复现基准。
与已有工作不同的是，与已有工作相比，本文的独特切入点在于抓住了“错误信息内生于图像”这一被忽视的特性。以往多模态错误信息数据集（如 NewsCLIPpings、MMFakeBench、VERITE）研究的是图文不匹配、脱离语境或混合源扰动，本质上是核查叠加在真实照片上的外部声明；而本文的制品本身就是伪造的通知、票据、证书、仪表盘。文档取证工作（DocTamper、DocForge-Bench）则假设在真实材料上的局部篡改，按篡改类型、生成器族或像素级篡改掩码组织。SynCred-Bench 反其道而行，把任何合成图像都视为不可信的视觉证据，并沿“社会功能 + 采集历史”双轴组织数据——这一设计直接对应合成可信度说服力的两个来源，从而刻画出此前工作无法覆盖的威胁面。
核心方法
直觉上，合成可信度就像是给谎言穿上了“官方制服”和“使用过的旧痕迹”——一张伪造通知不仅要有政府公告的版式（可信形式），还要带有扫描阴影、手机翻拍透视或网络压缩痕迹（可信传播），让人相信它是“从正规渠道流传出来的真实照片”。基于这一直觉，作者设计了三段式生成流水线：先把要传达的声明 $u_i$ 转写成嵌入图像的文字与版式内容，再叠加指定的传播风格线索，最后强制保证文字可读、版式连贯、排版真实。技术路线可写为 $p_i = M(T_{\text{claim}}(u_i) \oplus T_{\text{style}}(c_i) \oplus T_{\text{render}})$，其中 $M$ 为生成模型 GPT Image 2，$T_{\text{claim}}$ 把声明转为排版文本，$T_{\text{style}}$ 注入扫描/翻拍/裁剪/压缩等线索，$T_{\text{render}}$ 保证可读性与真实感。整个数据集沿可信形式（6 类）与可信传播（7 种细粒度风格）双轴均衡分层，每类形式 100 张，并用真实图像负样本集 FP450 衡量误报。
核心创新是把“合成可信度”抽象为一个独立的、可测量的威胁维度，并证明它与传统 AIGC 检测是本质不同的任务。关键洞察是：合成制品的说服力来源于“可信形式”（模仿权威/证据性视觉格式）与“可信传播”（模仿真实分发与采集痕迹）两个相互关联的特征。这与已有方法的本质区别在于——以往工作要么做自然图像 deepfake 检测（关注人脸/物体级生成痕迹），要么做图文配对事实核查（关注外部声明），要么做文档取证（假设真实材料上的局部篡改）。而本文按“社会功能”（通知、票据、证书、仪表盘、考卷）与“采集历史”（扫描、翻拍、截屏、压缩）组织数据，并通过假阴性归因定量揭示：模型把规整版式（占 66.1% 假阴性理由）、界面/截图惯例（61.1%）、排版（46.9%）、相机透视与光照（46.0%）当作真实性证据——这些远超基于“缺少可见 AI 伪影”的理由，直击检测失效的机制根源。
方法步骤详情
完整流程分六步。(1) 声明项设计：作者为每个正样本手动编写自包含声明项 $u_i$，含声明、目标可信形式类别、子类型、语言与传播风格；声明须仅凭图像即可读出，并排除“AI-generated”等可见标签。(2) 图像生成：按 $p_i = M(T_{\text{claim}}(u_i) \oplus T_{\text{style}}(c_i) \oplus T_{\text{render}})$ 用 GPT Image 2 生成，失败或风格不一致时最多重试 3 次，直至每类形式满 100 张。(3) 人工校验：5 位作者按内容保真、形式一致、传播一致、基准有效性四准则剔除残次。(4) FP450：网络检索同视觉空间图片，对截屏/翻拍/裁剪等欠代表风格手工编辑平衡。(5) 评估：对 15 个 MLLM 与 6 个 AIGC 检测器仅输入图像加固定指令，算 $\text{TPR}=TP/(TP{+}FN)$、FP450 上 $\text{FPR}=FP/(FP{+}TN)$，以及 $\text{FPR}\leq\lambda\%$ 约束下扫阈值的 $\text{TPR}(\lambda)$。(6) 人工实验：20 名学生对 100 张 AI 图与 100 张真实图各 5 人独立判别。
技术新颖性
技术新颖性体现在三方面。概念上，本文首次将“合成可信度”形式化为威胁类别，并区分可信形式与可信传播两个正交维度，而此前数据集（COSMOS、NewsCLIPpings、MMFakeBench）只关注图文不一致或脱离语境。数据组织上，按“社会功能 + 采集历史”双轴分层，而非文档取证常用的篡改类型/生成器族/像素掩码，因此能直接刻画说服力来源。评估方法上，引入 $\text{TPR}(\lambda)$（在 $\text{FPR}\leq\lambda\%$ 约束下扫阈值取最大 TPR）与配套真实负样本集，刻画低误报预算下的可用性，并通过假阴性归因图定量揭示“模型把可信度线索当真实性证据”的机制——这与以往只报准确率的工作形成鲜明对比。需要说明的是，单一生成器（GPT Image 2）的构建选择也反映了 2026 年生成能力的现实约束，作者将其坦诚列为局限。
实验结果
核心发现是现有系统在合成可信度上普遍不可靠。15 个 MLLM 平均正类准确率仅 31.2%，在 5% 误报率约束下平均 TPR(5) 仅 10.5%。多个强大闭源模型反而很差，如 GPT-4o（TPR 20.7%、TPR(5) 0.0%）、Gemini 3.1 Pro（12.7%），说明通用视觉推理不能直接迁移到可信度检测。Claude Opus 4.6 是最强可用 MLLM（69.5%、TPR(5) 69.5%），Sonnet 4.6 次之（55.3%）；Llama-3.2-11B-V 原始 TPR 86.3% 但 FPR 79.6%、TPR(5) 为 0，几乎全判假。AIGC 检测器平均 48.3%、TPR(5) 30.3%；商用 API 平均 TPR(5) 达 57.6%（Hive AI 最强 75.2%、FPR 0.9%），开源检测器则很弱（AI-vs-Human 仅 8.3%）。假阴性归因显示版式/模板（66.1%）与界面/截图惯例（61.1%）主导误判；传播风格上截屏 -11.1pp、裁剪 -10.3pp 降低检测，而扫描件 +4.1pp、传真件 +9.4pp 提升。人工多数投票仅 TPR 63.0%、FPR 27.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AI 生成图像检测（合成可信度场景，600 正样本 + 450 真实负样本） | TPR(5)：5% 误报率约束下的真阳率 | 15 个 MLLM 平均 10.5%；6 个 AIGC 检测器平均 30.3%（商用 API 平均 57.6%，开源 <5%）；人工多数投票 63.0% TPR（无 FPR 约束） | 最强可用 MLLM Claude Opus 4.6 达 69.5% TPR(5)；最强商用检测器 Hive AI 达 75.2% TPR(5) | 在统一基准上首次量化现有系统在低误报预算下普遍失效，确立合成可信度为新挑战并给出可复现评测协议 |
| 合成可信度正类识别（裸正类准确率，不施加 FPR 约束） | 正类准确率 TPR | MLLM 平均 31.2%；AIGC 检测器平均 48.3%；人工多数投票 63.0% | 人工多数投票 63.0% TPR / 27.0% FPR | 证明机器检测整体弱于人类，且人类本身也仅约 63%，凸显该威胁对人与模型同样困难 |
局限与改进
作者明确承认多处局限。其一，仅覆盖 6 种形式、7 种风格、中英文，未涵盖更多语言、文化、平台或领域特异性的可信线索。其二，仅用单一文生图流水线 GPT Image 2，可能引入生成器特异性伪影、提示模板规律或渲染偏好。其三，人工校验只验证构造正确性，并非大规模感知研究，未衡量普通用户对各形式-传播组合的真实可信度感知。其四，规模有限（600 张 AI 图 + 450 张真实图），统计稳定性与评测特异性过拟合的风险存在。其五，只评估“是否 AI 生成”，而非声明真伪的完整事实核查——真实图像可含错误信息，生成图像也可含正确声明。其六，闭源/API 模型结果会随版本更新、安全策略、提示格式与阈值校准而变化，且假阴性归因基于模型自述理由，不能当作决策过程的因果证据。我额外观察到：单一生成器是外部效度的最大隐患，若改用 Flux 或编辑式管线结论可能显著不同；TPR(5) 依赖 FP450 的真实性与分布，而 FP450 部分由人工编辑模拟风格，可能未充分覆盖真实互联网分布。
独立分析的弱点
弱点一：单一生成器导致结论外部效度受限。GPT Image 2 是唯一被测生成源，而 Flux、开源扩散与编辑式管线的视觉签名差异巨大。改进方向：待更多模型具备能力后扩展到多生成器与对抗后处理样本，做生成器无关评测。弱点二：仅做二分类“AI vs 真实”，脱离实际治理——真实图可能造谣、生成图可能无害。改进方向：把合成可信度检测与声明级事实核查、内容溯源信号融合，构建可信度-真实性联合判别。弱点三：FP450 负样本部分靠人工编辑模拟（传真件靠降清晰度、裁剪视图靠截断、截屏靠物理翻拍），与真实分布存在偏移。改进方向：大规模真实采集加主动学习，减少编辑偏差。弱点四：TPR(5) 高度依赖阈值校准，而闭源 API 置信度语义不透明且随版本漂移。改进方向：定期重测并对 API 输出做概率校准，或补充不依赖单一阈值的 PR-AUC。弱点五：只诊断问题未验证防御方案。改进方向：补做提示工程、可信线索去激活、水印注入、MLLM 对齐微调等受控干预实验，量化它们能否提升 TPR(5)。
未来方向
作者提出的方向包括：扩展到更多生成器、编辑与对抗管线；构建更大规模、跨语言/文化、跨平台的基准；补做感知级用户研究以衡量真实可信度与潜在危害；用受控干预与反事实图像编辑替代模型自述归因，建立因果证据。基于本文成果可进一步延伸：将合成可信度与内容溯源标准（C2PA）及水印（SynthID、Tree-Ring 等）结合，做“水印 + 检测器”联合判别；系统研究传播风格对人与模型感知的因果影响，解释为何截屏与裁剪会系统性降低检测；开发专门针对“可信形式”的检测器——不只看生成痕迹，而识别图像在模仿哪种证据性格式；探索 MLLM 对齐新目标，使其把视觉可信度与来源证明解耦并主动建议外部核验。
复现评估
复现评估为中等偏易。作者承诺公开代码与数据（github.com/thu-coai/Syncred-Bench），但因数据双用途，采用受控发布：公开文档、分类法、元数据 schema、固定评测划分、评测代码、聚合统计与模型预测文件；完整图像集与生成提示需签数据使用协议（禁止欺骗、冒充、政治操纵、欺诈、训练误导内容）。复现评测本身门槛低——主要调用 15 个 MLLM 与 6 个 AIGC 检测器 API，算力需求小（主要是 API 费用），评测提示与 TPR(λ) 指标在附录 B 明确给出。重建正样本需 GPT Image 2 API 调用加 5 人人工校验，成本与时间中等。主要风险在于：闭源模型结果随版本漂移、FP450 真实负样本的许可与发布受限、单一生成器结论难以外推。整体而言，对希望验证结论的研究者友好，对希望复用数据者需走 DUA 流程。
论文图表
图中展示了一张 AI 生成的考试延期通知，版式模仿官方公告（可信形式），并带有让人相信它“真实流传”过的痕迹（可信传播）。作者借此直观说明：当模型看到权威版式与规整排版时，会把这些线索误读为真实性的证据。
这张图是理解全文核心概念“合成可信度”的最佳入口，一图说清错误信息为何内生于图像、模型为何上当。
图中给出多个 AI 生成图像被判为真实的案例（仿豆瓣电影页、仿新闻网站、仿 HEYTEA 订单页），并附模型的高置信度理由。判官普遍依赖一致的 UI 版式、清晰文字、连贯元数据与“无明显伪影”来下结论。
它把图3的统计洞察落到具体案例，让读者直观看到模型如何在真实界面式制品上自信犯错，强化了局限性认知。