EviScene：超越「是否AI生成」的智能体图像事实性评估 EviScene: Beyond "Is It AI?" for Agentic Image Factuality Assessment
提出图像事实性评估新任务，训练ReAct智能体检索外部证据验证图像内容真伪
前置知识
ReAct（推理-行动交替范式）
一种智能体骨架：模型在多轮循环中交替产出简短推理和一次工具调用，工具返回的观测追加进历史，作为下一轮决策的上下文。与一次性作答相比，ReAct允许模型根据中间结果动态修正计划，是当前搜索、浏览类多模态智能体的主流范式。
EviScene完全构建在ReAct之上，理解单策略多轮调查循环是读懂其推理接口与两阶段训练设计的前提。
图像事实性评估 vs AIGC检测
AIGC检测判断图像是否由AI生成，关注生产方式；图像事实性评估判断图像描绘的情境是否被事实支持，关注内容本身。一张完全合成的图可能描绘真实发生的事件，一张真实照片也可能因错配语境而构成误导，二者并不等价。
本文的核心立论就是把两者解耦，标题中的Beyond "Is It AI?"正指此意，混淆二者会误解任务定义与标签含义。
轨迹级监督微调（SFT）
用在教师模型上采集的完整交互轨迹（推理、工具调用、观测、最终报告）对小模型做监督微调。本文对token加权：工具调用与最终报告的权重为2，推理token为1，指令与观测token为0（保留在上下文中但不计损失），让模型重点学会「选对动作」和「写出有据的报告」。
EviScene的第一阶段训练就是这种加权全参数SFT，理解权重设计才能明白9B学生模型为何能学会整个调查流程。
特权在策略自蒸馏（PSD）
一种在策略（on-policy）蒸馏方法：先复制一份冻结的策略作为教师，向教师上下文注入训练专用的提示（hint）帮它纠正某个错误决策，验证续跑结果正确后，用教师在被选补全上的top-K token分布监督学生。关键设计是提示只进教师上下文，学生在原始无提示上下文下学习。
PSD是本文第二阶段训练的核心创新，是9B模型反超397B教师智能体的关键，跳过它就无法理解训练部分的贡献。
BAcc与SESR评测指标
BAcc（平衡准确率）是supported与refuted两类召回的均值，可抵抗类别不平衡；SESR（严格证据充分率）要求判决正确、且解释中引用的证据足以支撑图中决定性事实，由裁判模型对照私有参考材料判定。SESR比准确率苛刻得多，直接判断的大模型SESR普遍不足10%。
全文结论都围绕这两个指标展开，SESR尤其体现了本文「从猜对到证明」的评价立场，也是各方法拉开差距的地方。
研究动机
视觉内容真伪核查长期存在两条平行路线，各有明显盲区。第一条是合成内容检测，只回答「这张图是不是AI生成的」，即便判出是AI图，也无法说明图中描绘的事件是否真实发生过——一张完全合成的图可能描绘真实事件，一张真实照片也可能因错配语境而误导。第二条是基于声明的事实核查（如AVerImaTeC基准），需要外部提供文本声明作为检索锚点，但现实中用户手里往往只有一张图，没有配套文字。直接把图丢给大模型判断效果如何？论文数据显示：Qwen3.5-9B直接判断的严格证据充分率（SESR）仅1.70%，连GPT-5.5也只有3.67%——模型基本在「看图编故事」，既不会主动检索外部证据，也难以把检索到的材料与图中具体的人物、事件、时空情境对齐，而同一人物的相关材料可能涉及完全不同的活动、年份或阶段，仅凭「图里是同一个人」根本不足以支撑判决。
本文的目标是论文要形式化并解决一个新任务——图像事实性评估（Image Factuality Assessment）：给定一张图和一个通用验证指令（如「这张图描绘的情况是否属实？」），系统需返回supported（有据支持）或refuted（被驳斥）的判决，并附上引用具体证据的解释。为此作者做了三件事：一是构建EviLens基准，包含10,174张经专家审核的图像（3,114张supported、7,060张refuted），覆盖12类事实错误、三大错误家族，划分8,647张训练图与1,527张测试图（377 supported、1,150 refuted），同时评测判决准确率与证据充分性；二是开发EviScene多模态ReAct智能体，交替进行视觉检查、外部检索与证据分析；三是训练一个紧凑的开源策略（Qwen3.5-9B），让小模型通过SFT与PSD逼近甚至反超更大模型——最终在测试集上达到79.05%平衡准确率（BAcc）与52.26% SESR，后者为所有评测智能体中最高。
与已有工作不同的是，本文的独特视角有三层。第一，任务解耦：明确把「图像是否AI生成」（来源问题）与「图像描绘的情境是否属实」（事实问题）分开，标签只反映后者——在合成图像泛滥、公众注意力集中于检测器的当下，这是一个反直觉但切中要害的立论。第二，无声明设定：与claim引导的核查不同，系统必须在调查中自主提出、验证并动态修正事实问题，比如先问「图中是什么奖杯」，检索后改问「该赛事冠军用的奖杯长什么样」，再用新发现回头重看图中细节；这种以图像为中心的「提问-修正」循环是已有基准未覆盖的能力。第三，评测维度：不只看判决对错，还用SESR严格考察解释中引用的证据是否足以支撑关键事实，把评价标准从「猜对」推向「证明」，直指大模型事实性不足的核心痛点。
核心方法
方法的直觉像侦探查案而非法官断案：先勘察现场（看图）形成待验证的问题，再去调取档案（检索外部证据），用新线索修正侦查方向，必要时回到现场复核细节，最后提交一份引用证据的结案报告。技术路线分三块。其一是ReAct式多轮调查循环：第 $t$ 轮策略 $\pi_\theta$ 基于输入图像 $x$ 和历史 $H_t$ 产出推理 $r_t$ 与工具动作 $a_t$，执行后观测 $o_t = T_{a_t}(x, H_t)$ 追加进历史，直到完成任务或用尽24步动作预算；工具分三组——视觉工具（检查、裁剪、读文字、计数、证据引导的图像重看）、检索工具（Serper网页搜索、文本图像搜索、Serper Lens反搜）、证据工具（读源页面、与参考图比对）。其二是两阶段训练：先用Qwen3.5-397B-A17B在同一智能体接口上生成4,872条审查过的教师轨迹，对Qwen3.5-9B做全参数SFT；再用特权在策略自蒸馏（PSD）修正策略自身调查中的错误决策。
核心创新在两个层面。任务层面，与AVerImaTeC等claim引导核查的本质区别在于没有文本锚点：系统要自主完成「从像素到问题」的转化，且检索证据必须与图中特定情境对齐——查到某人出席过某活动，不足以证明图中这场活动属实，这正是直接判断SESR接近零的根源。训练层面，PSD的巧妙之处在于「特权信息只给教师、不给学生」：先用Gemini 3.7 Flash在学生自己的调查轨迹中定位最早可恢复的错误决策，构造一条程序性提示 $h_t$ 插入冻结副本的上下文，得到教师上下文 $\tilde{c}_t = insert(c_t, h_t)$；冻结策略从 $\tilde{c}_t$ 续跑至终报，只有当错误决策被纠正、最终报告正确且有证据支撑并通过审计时，才取其top-K token分布监督学生。学生在无提示的原始上下文 $c_t$ 下学习，等价于把「事后找回正确路径」的能力内化为独立能力；监督信号来自策略自己访问到的状态，天然与部署分布对齐，这是9B模型能反超397B教师智能体的关键。
方法步骤详情
完整流程五步。第一步基准构建：策展智能体规划搜索，走受控构造（依据事实材料指定渲染内容、注入指定错误）或网络收集（事实核查来源+佐证来源）两条路径，自动检查清晰度与证据对齐并去重，再由两名专家评审、第三人仲裁，每条样本保留图像、标签、证据及来源记录。第二步在线调查：循环执行 $(r_t, a_t) \sim \pi_\theta(\cdot \mid x, H_t)$，$o_t = T_{a_t}(x, H_t)$，更新 $H_{t+1} = H_t \oplus (r_t, a_t, o_t)$；网页经Jina Reader读取，可见文字用百度OCR转写，事实核查网站被屏蔽以防作弊。第三步报告：第 $T$ 轮由 $J_\theta(x, H_T)$ 输出判决 $\hat{y}$、解释 $\hat{e}$ 及引用观测集合 $C$。第四步SFT：最小化 $\mathcal{L}_{SFT} = -\sum_{i=1}^{n} w_i \log p_\theta(z_i \mid z_{<i})$，工具调用与最终报告token权重 $w_i=2$、推理为1、指令与观测为0，3个epoch、学习率 $10^{-5}$。第五步PSD：定位决策、构造提示 $h_t$ 并插入冻结副本上下文得 $\tilde{c}_t$，验证续跑通过后以 $\mathcal{L}_{PSD} = -\sum_{d}\sum_{\ell}\sum_{v \in K_{d,\ell}} \bar{q}_{d,\ell}(v) \log p_\theta(v \mid c^S_d, u_{d,<\ell})$ 蒸馏，并保留成功行为目标防止能力回退。
技术新颖性
与已有工作的区别清晰可辨。对比DEFAME等六阶段固定流水线：EviScene用单一ReAct策略统一处理问题形成、工具选择与视觉重看，动作序列完全由策略按情境决定，而非按预设阶段依次执行。对比拒绝采样微调或RLHF：PSD不需要奖励模型对整条轨迹打分，而是在「同一模型加提示」与「不加提示」之间做逐步骤的top-K分布匹配（教师分布截断为 $K_{d,\ell}$ 并重归一化为 $\bar{q}_{d,\ell}$），只监督被选中的assistant补全，避免了轨迹级奖励的稀疏与噪声；同时引入preservation targets从成功调查中提取监督，防止训练新能力时破坏既有行为。对比纯off-policy蒸馏（直接模仿教师完整轨迹）：PSD的监督样本来自学生自己访问到的状态，训练信号与推理分布对齐，且「提示特权只进教师上下文」的机制保证了学生学到的是可独立执行的策略而非对提示的依赖。
实验结果
核心结果有五组。第一，主结果：Qwen3.5-9B Full（SFT+PSD）在1,527张测试图上取得79.05%平衡准确率（BAcc）和52.26%严格证据充分率（SESR），比同骨干Base智能体高6.71和9.37点，SESR为所有评测智能体最高，还反超参数量大得多的Qwen3.5-397B-A17B智能体7.33/8.97点。第二，调查的价值：五个共享骨干上调查使SESR较直接判断提升27.11至46.82点——直接判断的SESR普遍惨淡（Qwen3.5-9B为1.70%、GPT-5.5为3.67%、Gemini 3.7 Flash为9.10%），而Gemini 3.7 Flash加调查后达81.57% BAcc/42.89% SESR。第三，训练阶段分析：Base严重偏向refuted（refuted召回93.48%对supported 51.19%），SFT把召回差距从42.29缩到4.83点（BAcc 78.81%、SESR 50.49%），PSD进一步缩到2.11点（80.11%对78.00%）。第四，工具消融：去网页搜索BAcc/SESR降4.68/16.37点，去图像检索降4.53/12.25点，去证据检查降2.50/6.22点，外部检索是证据充分性的生命线。第五，泛化：构造图与网图的SESR从1.29%/3.46%升至52.75%/50.17%；训练未用的GPT Image 2与Seedream 5.0 Lite生成图上SESR达58.39%和54.64%，提升不局限于训练用生成器。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像事实性评估（EviLens 1,527张测试图） | SESR 严格证据充分率 | 52.26%（Qwen3.5-9B SFT+PSD） | 同骨干Base智能体42.89%；直接判断1.70% | +9.37点（对比Base）；+50.56点（对比直接判断），为所有评测智能体中最高 |
| 图像事实性评估（EviLens 1,527张测试图） | BAcc 平衡准确率 | 79.05% | 直接判断最优GPT-5.5为75.87%；同骨干Base为72.34% | +6.71点（对比Base）；+3.18点（对比GPT-5.5直接判断） |
| 对比更大模型智能体 | BAcc / SESR | 79.05% / 52.26%（9B） | Qwen3.5-397B-A17B智能体71.72% / 43.29% | +7.33 / +8.97点，小模型反超约44倍参数的教师智能体 |
| 工具消融（禁用网页搜索） | BAcc / SESR | 74.37% / 35.89% | 全工具79.05% / 52.26% | -4.68 / -16.37点，网页搜索对证据充分性影响最大 |
局限与改进
作者承认的局限：最优智能体的SESR也只有52.26%，意味着近半数案例要么判决错误、要么给出的证据不足以支撑关键事实，无声明设定的难度天花板还很远；评测协议依赖Gemini 3.7 Flash作为裁判模型对照私有参考材料评判，LLM裁判的偏差会传导到所有指标。我自己的观察：其一，测试集类别失衡明显（1,150张refuted对377张supported），虽用BAcc平衡，但细分分析受限；其二，工具栈强依赖商业API（Serper、Serper Lens、Jina Reader、百度OCR），且屏蔽事实核查网站虽防作弊，却偏离了真实核查场景中核查员会参考既有核查报告的实际情况；其三，refuted样本主要来自受控构造与事实核查来源，这类「已被曝光的错误」可能比现实中沉默传播的误导性图像更易判定，基准或许高估了任务的可解性；其四，PSD流程依赖Gemini 3.7 Flash与Qwen3.5-397B教师，训练复杂度显著高于常规SFT，复现门槛不低。
独立分析的弱点
独立分析四个弱点。第一，检索质量单点依赖：整套方法建立在搜索引擎能返回相关且权威的结果上，对非英语事件、小语种地区或索引薄弱的领域（部分学术、法律材料），调查会退化为视觉猜测——改进方向是融合多引擎与本地领域知识库，并在证据缺失时输出「无法判定」而非强行二选一。第二，错误级联与预算浪费：24步预算内，一个早期错误关联（如认错地标）会引导后续多步无效检索；改进方向是引入阶段性自我审计或置信度更新机制，低置信时主动换假设重启。第三，SESR裁判本身是LLM：证据是否「充分」由Gemini 3.7 Flash对照私有参考材料判定，论文未单独报告裁判与人类评分者的一致率；改进方向是发布人工标注的校准子集并给出人机一致性数据。第四，「默认怀疑」风险：训练集refuted约占69%，尽管Full已把两类召回拉平（80.11%对78.00%），但部署到先验不同的分布（如新闻供稿，绝大多数真实）仍可能偏向refuted；改进方向是在训练中加入先验校准或部署时按领域调整决策阈值。
未来方向
作者承诺开源代码、模型与数据（GitHub与HuggingFace仓库），为后续研究铺路。可延伸的方向：其一，把证据充分性评测从静态图像推广到视频与多图叙事，时序一致性核查的需求更迫切；其二，将合成检测与事实性评估统一进一个系统，同时输出「来源+内容」双维度结论，回应公众真正关心的问题；其三，时间敏感事实的在线更新——调查智能体天然适合接入RAG式动态知识源，缓解模型知识截止问题；其四，PSD框架与任务无关，可迁移到代码修复、科学文献审查等多步调查型智能体任务，验证「特权提示+验证后蒸馏」的通用性；其五，扩展多语言事实核查，检验跨语言检索与OCR能力；其六，系统研究SESR与专业事实核查员判断的对齐度，建立更可信的自动评测体系。
复现评估
开源情况：论文承诺在GitHub（wangzian828/EVISCENE）与HuggingFace（ZiAnwang/EviScene）发布代码、模型和数据，EviLens含8,647张训练图与1,527张测试图，若兑现则数据侧复现基础较好。算力需求分两档：只跑推理很轻——加载开源9B checkpoint，配置Serper/Jina Reader/百度OCR的API密钥即可复现主结果；复现训练则昂贵——全参数SFT一个9B模型3个epoch需要多卡A100/H100级资源，教师轨迹需调用Qwen3.5-397B-A17B，PSD每轮还要Gemini 3.7 Flash做决策定位、提示构造与续跑验证，API成本与工程复杂度都不低。主要风险：商业API的可用性与版本变化会带来结果漂移，裁判模型若更新也会影响指标可比性。总体判断：复现推理与评测难度中等，复现完整训练难度高。
论文图表
对比两种验证范式：左侧claim引导验证需要给定文本声明（如「2019年联合国气候峰会于巴黎举行」）作为检索锚点；右侧本文的图像中心验证只有一张图和通用指令，EviScene自主提出「活动在哪举办」「可见场景是纽约吗」等问题，交替检索证据与重看图中地标，最终以「埃菲尔铁塔→巴黎」的证据链给出refuted判决。
这张图定义了论文的任务边界——无声明、图像中心，是理解本文与AVerImaTeC等claim引导工作本质区别的起点。
左半展示四类代表性案例及其证据：世界杯庆祝图中奖杯与赛事不符（事件重构）、比分15–3与11–10不符（数值篡改）、金属成分标注87% Pb等无依据（文本篡改）、Tupac与Steve Burns的伪同框（身份替换）；右半给出共享错误分类学——事件与关系、属性与细节、情境三大族共12类错误。
理解基准覆盖哪些事实错误机制、标签如何与证据挂钩离不开这张图，它也展示了同一分类学如何同时指导样本构造与收集样本标注。