ReMMD：面向多模态虚假信息检测的现实多语言多图像智能体验证框架

提出ReMMDBench基准和ReMMD-Agent框架，通过原子化分解和证据记忆机制解决真实世界中多语言多图像虚假信息检测问题

前置知识

多模态虚假信息检测

利用文本、图像等多模态信息联合判断社交媒体内容的真实性的技术。该领域需要处理文本篡改、图像伪造、文本-图像不匹配等复杂问题，通常结合大型视觉语言模型（LVLM）进行感知和理解。

本文核心问题就是如何处理包含多张图片、长文本、多语言的复杂虚假信息，这是理解整篇论文的基础

智能体验证

基于工具增强的LLM智能体通过分解问题、调用检索工具、逐步推理来完成验证任务。与传统端到端方法不同，智能体可以显式管理证据状态、跨工具复用信息、产生可追溯的推理过程。

ReMMD-Agent的核心设计理念，论文将其与MMD-Agent、T2-Agent等基线进行对比

原子化表示

将复杂的长文本-多图像帖子分解为最小的可验证单元，每个原子点包含最小主张或视觉观察、检索查询、视觉线索和类型标记。这种表示方式减少了叙事噪声，使检索更有针对性。

ReMMD-Agent相对于基线方法的核心创新点，是理解其性能优势的关键

持久记忆银行

一个样本级别的可重用证据存储机制，记录证据的类型、来源描述符、时间戳、可靠性注释以及与原子点的关联关系。检索到的证据可以在多个原子点之间共享，避免重复搜索。

ReMMD-Agent降低成本和提高效率的核心机制

研究动机

现有的多模态虚假信息检测基准和方法与真实部署场景存在严重不匹配。真实世界的病毒式传播帖子通常包含长篇多语言叙事、多张图片、混合来源以及微妙的文本-图像框架错误，而现有评估往往将任务简化为孤立的主张、单一图像-文本对、粗糙的二元标签或单一操纵来源。例如，NewsCLIPpings仅关注短标题和单张图片，MuMiN虽然覆盖多语言但主要处理短文本，MMFakeBench和VeriTaS等近期基准仍然缺乏对真实世界中多图片、分级真值判断和跨模态失真的充分支持。这种简化导致模型在真实部署时面临长上下文管理、跨图像证据聚合、部分真值校准和跨语言实体锚定等挑战。

本文的目标是构建一个真实世界的多语言多图像智能体验证框架，用于评估和提升多模态虚假信息检测系统的能力。具体目标包括：（1）创建一个能够暴露真实验证压力的基准，包括多语言长文本、多图片、混合视觉来源、分级真值标签、细粒度失真诊断和证据来源；（2）设计一个能够在部署规模上管理证据的智能体，通过原子化分解、持久记忆和结构化判决来处理长周期记忆、高并发应用和严格的成本控制；（3）验证该框架在不同语言、文本长度、失真类型和模型规模下的泛化能力和成本效益。

与已有工作不同的是，本文的独特切入角度是同时从基准和系统两个维度解决现实与评估之间的鸿沟。与以往工作不同，ReMMD不是简单地增加数据规模或引入新的模态，而是重新定义了多模态虚假信息检测的核心问题为证据选择问题。ReMMD-Bench通过设计语言、长度、视觉来源和标签条件的联合配置来暴露真实社交媒体中经常共现的条件，而ReMMD-Agent则通过原子化表示和持久记忆来解决长周期证据管理问题。这种双向设计使得ReMMD不仅在特定标签定义上有效，而且能够迁移到MMFakeBench等其他基准，表明其优势不局限于特定任务设置。

核心方法

ReMMD-Agent的整体思路是将复杂的长文本-多图像验证问题分解为三个阶段：原子化表示、记忆增强检索和结构化证据判决。直觉上，一个专业的核查员不会直接对整个长篇帖子做出判断，而是先识别核心主张，选择关键图像，追踪来源，重用证据，并对不同模态的失真进行归因。ReMMD-Agent通过将帖子压缩为可验证的原子单元，围绕这些单元检索和重用证据，然后在显式的证据状态上进行判决，减少了长篇真实叙事中的信息噪声（如背景阐述、重复断言和弱相关细节），并在昂贵的检索之前提供了可追溯的决策过程。

ReMMD-Agent与已有方法的本质区别在于其对证据的显式组织和重用机制。MMD-Agent使用工具增强的检索但缺乏长周期记忆，T2-Agent虽然通过蒙特卡洛树搜索扩展了推理路径但增加了成本且没有解决证据路由问题。ReMMD-Agent的核心创新在于：（1）原子化表示将检查内容与长篇叙事噪声分离，为检索和诊断提供了可检查的单元；（2）持久记忆银行支持来源聚合和跨图像证据重用，使得为一个文本主张检索的证据可以在稍后用于解决图像绑定、时间失配或反驳叙事级结论；（3）结构化判决将支持、矛盾和未验证的原子点分离，避免了仅凭可疑线索就做出错误判断的系统偏差。

方法步骤详情

ReMMD-Agent的工作流程包含三个完整步骤。首先，原子化表示阶段将帖子 $s = (x, I)$ 映射为原子点集合 $A = \{a_j = (c_j, q_j, v_j, \tau_j)\}_{j=1}^n$，其中 $c_j$ 是最小主张或视觉观察，$q_j$ 是检索查询，$v_j$ 包含视觉线索，$\tau_j$ 表示点类型。原子点覆盖图像观察、跨模态绑定、句子级主张和叙事级主张，仅保留可能影响验证的信息。其次，记忆增强检索阶段为每个原子点检索证据并存储在样本级记忆银行 $M_s = \{e_k\}_{k=1}^K$ 中，每条记录存储类型、来源描述符、可选时间戳、可靠性注释以及与其可能支持或反驳的点的链接。检索公式为 $R_j = \text{Top}_K \in M_s \text{sim}(\phi(a_j), \phi(e))$，其中 $\phi(\cdot)$ 是用于匹配的文本或多模态表示。最后，结构化证据判决阶段接收 $(x, I, A, M_s)$ 和辅助文本及视觉分析，首先为每个原子点分配状态 $\sigma_j \in \{\text{supported, contradicted, unverified}\}$，然后从中心主张和跨模态绑定的证据模式推断 L1 真实性标签 $y$，在 L1 之后分配 L2 向量 $z$ 以确保视觉来源不被视为虚假的捷径，最后输出真实性标签 $y$、失真诊断 $z$ 和理由 $r$。

技术新颖性

ReMMD-Agent的技术新颖性体现在三个层面：架构层面，它将传统的端到端多模态验证重构为原子化-记忆-判决的流水线，这是首次将持久记忆机制引入多模态虚假信息检测；算法层面，它通过证据重用实现了检索成本的降低（相比MMD-Agent降低17.5%，相比T2-Agent降低79.9%），同时提升了性能；应用层面，它在五类真实性判断和八种失真标签的细粒度任务上展示了更强的校准能力，特别是在需要证据对齐的标签上（如T2扭曲、V2视觉编辑、C1语义不一致和C2语境不一致）。与依赖低级生成痕迹和法医线索的传统方法相比，ReMMD-Agent的优势在于能够处理真实图像被误用而合成图像并不自动使文本虚假的复杂情况。

**Figure 2**: ReMMDBench turns real-world misinformation topics into controlled multilingual multi-image samples by planning language, length, visual provenance, and label conditions.

**Figure 3**: ReMMD-Agent verifies a multimodal post by first decomposing text and images into atomic claims, observations, and cross-modal bindings.

**Figure 6**: Benchmark examples from ReMMDBench: an English short sample and a Chinese medium sample.

实验结果

ReMMD-Agent在ReMMDBench上取得了当前最佳性能，使用GPT-5.2时达到41.80%的准确率和39.12%的macro-F1，同时相比MMD-Agent和T2-Agent分别降低了17.5%和79.9%的GPT-5.2成本。令人印象深刻的是，Qwen3.5-9B在ReMMDBench上表现优于闭源助手，并且在MMFakeBench上保持竞争力，这表明在检索和记忆提供证据后，骨干模型主要需要遵循模式、校准部分证据并避免过度解释不确定性。文本长度分析显示，ReMMD-Agent在长文本层级上最稳定，其中平均样本包含约十张图片和更长的叙事。语言切片分析表明，ReMMD-Agent在每种语言上都改进了判决和失真性能，日语和法语的L1增益最大（相比MMD-Agent分别提升18.18%和19.62%的macro-F1）。失真标签分析确认，ReMMD-Agent在需要证据对齐的标签上最强（T2扭曲F1为57.75%，V2视觉编辑F1为62.29%，C1语义不一致F1为54.88%，C2语境不一致F1为57.86%）。混淆矩阵分析显示，剩余错误集中在相邻的中间标签，模型必须判断矛盾证据的中心性而不是仅仅检测可疑线索。

**Table 1**: Comparison with representative fact-checking and multimodal misinformation benchmarks.

**Table 2**: Core statistics of ReMMDBench.

**Table 3**: Topic distribution of ReMMDBench.

**Table 4**: Full ReMMDBench results on 500 samples.

**Table 5**: Ablation on the GPT-5.2 ReMMD-Agent.

**Table 6**: Full-benchmark GPT-5.2 cost audit.

**Table 7**: Transfer to the official MMFakeBench test split with Qwen3.5-9B.

**Figure 4**: Count heatmaps for ReMMD-Agent L1 predictions.

**Figure 5**: Fine-grained Qwen3.5-9B analysis across text length, language, and L2 labels.

查看结构化数据

任务	指标	本文	基线	提升
ReMMDBench L1 Veracity	Accuracy	41.80%	MMD-Agent: 25.40%	+16.40%
ReMMDBench L1 Veracity	Macro-F1	39.12%	T2-Agent: 28.20%	+10.92%
ReMMDBench L2 Distortion	Macro-F1	45.15%	MMD-Agent: 41.59%	+3.56%
MMFakeBench Transfer	Accuracy	82.40%	MMD-Agent: 59.20%	+23.20%
MMFakeBench Transfer	Fake F1	87.10%	T2-Agent: 71.50%	+15.60%

局限与改进

作者承认的局限性包括：ReMMDBench包含500个精心构建的样本，虽然可以进行控制分析但比网络规模社交媒体语料库小；基准覆盖五种语言和两个跨语言方向，但不涵盖所有语言社区、地区谣言生态系统或低资源语言；一些生成或编辑图像可能反映了构建期间使用的工具，因此未来版本应该包含更广泛的生成器、编辑器和真实世界媒体来源。ReMMD-Agent还依赖外部检索，其结果可能因搜索引擎覆盖范围、区域访问和在线证据的时间变化而变化；L3理由在此版本中是定性审计的，自动理由忠实性评估仍是未来工作。从观察来看，V1合成视觉内容上MMD-Agent表现最好（F1为51.78%），表明低级生成伪影和法医线索仍然是证据检索的补充挑战；C3语用不一致对所有系统都保持困难（ReMMD-Agent F1仅为20.21%），因为它依赖于证据的修辞使用而不是单一的事实矛盾。

独立分析的弱点

ReMMD-Agent在处理低级视觉伪影检测方面相对较弱，V1合成视觉内容标签上MMD-Agent表现更好，说明法医线索和生成痕迹分析仍然是有价值的能力。在C3语用不一致判断上，所有系统都表现不佳，ReMMD-Agent的F1仅为20.21%，表明对修辞策略和证据使用方式的识别能力有限。依赖外部检索也引入了搜索引擎覆盖范围、区域访问限制和时间敏感性的风险，可能影响在某些地区或时间点的验证效果。此外，持久记忆机制虽然提高了效率，但也可能引入记忆污染问题，如果检索到的错误证据被多个原子点重用。改进方向包括：（1）集成低级视觉法医分析模块以提升V1标签性能；（2）发展语用一致性识别能力，可能需要更多关于修辞模式和论证结构的训练数据；（3）构建多源检索基础设施以减少对单一搜索引擎的依赖；（4）设计记忆更新机制以动态纠正错误证据。

未来方向

作者提出的未来研究方向包括：更广泛的生成器、编辑器和真实世界媒体来源覆盖；自动理由忠实性评估；扩展到更多语言社区和低资源语言；改进源感知记忆、时间检索和多语言实体链接；发展分别评估视觉编辑、判决和误导机制的指标。基于论文成果可以延伸的方向包括：（1）动态基准扩展，定期刷新数据以减少模型对训练集的过拟合；（2）可解释性增强，使证据状态和判决过程更加透明可追溯；（3）人机协同验证流程，将ReMMD-Agent作为专业核查员的决策支持工具；（4）跨域泛化研究，在新闻、医疗、金融等不同领域验证框架的有效性；（5）实时验证能力，优化延迟以支持社交媒体平台的实时内容审核；（6）对抗性鲁棒性测试，研究智能体在面对故意设计的欺骗策略时的表现。

复现评估

论文提供了项目网站（https://dang-ai.github.io/ReMMD）并承诺开源基准和代码，这为复现提供了基础。ReMMDBench的500个样本经过三阶段质量控制，每个候选必须包含可验证的主张、至少一张相关图像和由证据支持的金标签，验证者拒绝私人上下文、讽刺或规范分歧驱动的案例。实验使用了统一的检索后端（Serper API）和图像处理管道，模型使用包括GPT-5.2、Gemma4-31B、Qwen3.6-27B、Qwen3.5-9B和Qwen3.5-4B五种骨干模型。成本审计显示GPT-5.2总成本为$104.16，每样本成本为$0.2083。复现难度中等，主要挑战在于外部检索API的访问和不同骨干模型的部署。论文附录提供了详细的agent适配细节、基准示例和额外统计分析，这有助于理解实验设置。然而，由于依赖外部搜索引擎，复现结果可能因时间、地点和网络环境的变化而有所不同。

ReMMD：面向多模态虚假信息检测的现实多语言多图像智能体验证框架 ReMMD: Realistic Multilingual Multi-Image Agentic Verification for Multimodal Misinformation Detection