MMDeepResearch-Bench：多模态深度研究智能体基准测试 MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents
首个端到端多模态深度研究基准，评估智能体的图文证据整合与报告生成能力
前置知识
深度研究智能体（Deep Research Agents, DRAs）
深度研究智能体是一类能够执行多步检索、证据收集和长篇报告生成的AI系统。与传统的问答系统不同，DRAs会主动浏览网页、收集多个来源的信息，然后综合分析后生成引用丰富的研究报告。这类系统代表了从被动回答向主动研究的范式转变，需要处理复杂的推理链和证据验证。
本文的核心目标就是评估这类智能体在多模态场景下的表现，理解DRAs的工作原理是理解本文动机和评估框架的基础。
多模态大语言模型（LMMs）
多模态大语言模型是能够同时处理文本和视觉输入（如图像、图表、文档）的AI模型。通过视觉-语言预训练和指令微调，这些模型可以理解复杂的视觉信息，如图表数据、技术图纸和自然图像。常见的例子包括GPT-4o、Gemini系列等。
本文评估的智能体系统大多基于LMMs，理解这些模型的能力和局限性有助于解释实验结果中观察到的性能差异。
检索增强生成（Retrieval-Augmented Generation, RAG）
RAG是一种结合外部知识检索和文本生成的技术范式。模型在生成回答前，先从外部知识库或网络检索相关信息，然后基于检索到的证据生成回答。这种方法可以缓解纯参数模型的记忆限制，提高回答的事实准确性和时效性。
DRAs的核心工作流程就是基于RAG的多轮检索和综合，理解RAG有助于理解本文评估的TRACE模块中引用对齐检查的必要性。
LLM-as-a-Judge
这是一种使用大语言模型作为评估者的方法，用于自动评估其他模型生成的内容质量。通过精心设计的提示词，LLM可以对报告的多个维度进行打分，如可读性、洞察力和结构完整性。这种方法相比人工评估更高效，但需要仔细校准以确保评估的一致性和公正性。
本文提出的评估框架FLAE和TRACE都大量使用了LLM-as-a-Judge方法，理解这种方法的工作原理和局限性对理解评估结果的可靠性至关重要。
视觉证据保真度（Visual Evidence Fidelity, VEF）
VEF是本文提出的一个严格指标，用于验证智能体生成的报告是否正确解释和使用了任务提供的视觉信息。它通过将报告内容与任务特定的文本化视觉真值（visual ground truth）进行对比，判断智能体是否产生了视觉幻觉或误读了关键视觉信息。VEF采用严格的PASS/FAIL二元判定机制。
VEF是本文评估框架的核心创新之一，它解决了多模态研究中视觉信息被误用或忽略的关键问题，直接影响最终的评估结论。
研究动机
当前深度研究智能体的评估存在严重的局限性。现有的基准测试要么只关注纯文本场景，如DeepResearch Bench和DeepScholar只评估文本报告的生成质量；要么只关注短程的多模态问答，如MMSearch和BrowseComp-Plus主要测试模型能否找到正确图片或回答局部问题。这些评估都无法测试智能体在真实研究场景中的核心能力——将视觉信息（如图表、数据图、技术图纸）与文本证据整合，生成引用丰富、视觉对齐的长篇研究报告。例如，一个真正的研究任务可能要求智能体分析一张架构图中的技术细节，结合多个来源的文献，生成包含具体数据引用的技术报告。现有基准完全无法评估这种端到端的多模态深度研究能力，导致我们对DRAs的真实能力缺乏准确的理解。
本文的目标是本文的目标是创建第一个专门针对多模态深度研究场景的端到端基准测试（MMDR-Bench），包含140个专家设计的任务，覆盖21个不同领域。每个任务都提供图文组合，要求智能体同时理解视觉信息和文本信息，并生成包含明确引用的研究报告。更重要的是，本文要建立一个统一、可解释的评估框架，能够从报告质量、引用对齐和多模态完整性三个维度对智能体进行细粒度评估，而不仅仅给出一个总分。这个框架需要能够诊断具体的错误类型，帮助研究者理解智能体的失败模式。
与已有工作不同的是，本文的独特切入角度在于它抓住了现有评估体系中的一个关键盲点：多模态证据的端到端使用。现有工作要么假设视觉信息是可选的附加物，要么只测试视觉信息的被动理解能力。但真实的研究场景中，视觉信息往往是不可替代的证据——一个图表中的具体数据、一张架构图中的连接关系、一个实验结果的可视化展示，这些视觉信息直接决定了研究结论的正确性。本文通过设计需要多模态必要性的任务（任务必须依赖图像才能完成），并引入严格的视觉证据保真度（VEF）检查，强制智能体必须正确解释和使用视觉信息，而不是仅仅在报告中提及图像。这种设计思路揭示了一个重要发现：强大的文本生成能力并不保证忠实的证据使用，多模态完整性仍然是深度研究智能体的关键瓶颈。
核心方法
本文的方法可以类比为一个三重质量检测系统。想象一个学术论文审稿过程：首先，审稿人评估论文本身的写作质量（可读性、洞察力、结构完整性）；其次，审稿人检查每个引用是否真正支持了论文中的论点；最后，审稿人验证论文中的图表描述是否与实际图表一致。MMDR-Bench的评估框架正是按照这个思路设计的。FLAE模块负责评估报告的写作质量，使用公式和LLM评分相结合的方法；TRACE模块负责评估引用的真实性和完整性，通过解析引用标记、提取原子论点并验证每个论点是否被引用来源支持；MOSAIC模块负责验证多模态一致性，检查报告中对图像的描述是否与实际图像内容匹配。三个模块并行运行，但MOSAIC只有在前两个模块都达到阈值后才会激活，确保只有在基础质量合格的情况下才进行多模态完整性检查。
本文的核心创新点在于引入了视觉证据保真度（VEF）这个严格的约束机制。与传统的多模态评估不同，VEF不是简单地检查模型是否提到图像，而是要求模型必须正确解释和使用图像中的具体信息。VEF通过任务特定的文本化视觉真值（visual ground truth）来实现这一点——每个任务都有专家编写的视觉事实描述，记录图像中直接可观察的信息（如具体的数字、标签、趋势关系等）。评估时，VEF将报告中的视觉相关陈述与这个真值进行对比，采用严格的PASS/FAIL二元判定，阈值设定为6分（满分10分）。这种设计确保了智能体不能通过泛泛而谈或编造信息来通过评估，必须真正理解并正确使用视觉证据。这是与已有方法最本质的区别：现有评估要么忽略视觉信息的正确使用，要么只做软性的相似度匹配，而VEF建立了硬性的保真度约束。
方法步骤详情
MMDR-Bench的评估流程分为三个主要阶段。第一阶段是报告生成：将140个任务（每个任务包含文本查询和一组图像）输入待评估的智能体系统，让系统生成包含引用的研究报告。第二阶段是并行评估FLAE和TRACE。FLAE首先提取报告的文本特征（词汇多样性、章节结构、句子长度分布等），然后通过固定公式计算基础分数，同时使用LLM评估器对报告的可读性、洞察力和结构完整性打分，最后通过自适应融合系数将两个通道的分数结合。TRACE则解析报告中的引用标记，将每个论点与其引用的URL配对，然后验证每个引用URL是否真正支持了对应的论点，同时计算VEF分数。第三阶段是MOSAIC评估：只有当FLAE和TRACE分数都达到阈值（τF = τT = 0）时，MOSAIC才会激活。MOSAIC首先提取报告中的多模态项目（如内嵌图像块和引用图像的段落），然后根据视觉类型（照片、数据图表、OCR图表、示意图）路由到专门的评估器，最后计算每个项目的多模态支持分数。
技术新颖性
本文的技术新颖性主要体现在三个方面。首先，在评估理念上，本文首次将多模态深度研究作为一个独立的评估对象，而不是将其视为文本研究或多模态问答的简单组合。这种定位反映了真实研究场景中视觉信息的不可替代性。其次，在评估方法上，本文提出了VEF这个硬性约束机制，与传统的软性匹配（如BLEU、ROUGE等）形成鲜明对比。VEF通过任务特定的视觉真值和严格的PASS/FAIL判定，确保评估的可解释性和一致性。第三，在评估框架设计上，本文采用了三阶段级联架构（FLAE-TRACE-MOSAIC），每个阶段专注于不同的评估维度，并通过门控机制确保评估的层次性。这种设计既保证了评估的全面性，又避免了低质量报告占用过多评估资源。此外，本文还引入了任务自适应权重机制，让评估框架能够根据不同任务的特点自动调整各维度的重要性，提高了评估的公平性和准确性。
实验结果
本文对25个最先进的模型和智能体系统进行了全面评估，揭示了几个重要发现。首先，Gemini Deep Research在整体MMDR-Bench得分上排名第一（49.41分），主要得益于其在证据质量（TRACE一致性和覆盖率）方面的优势，同时保持了有竞争力的多模态对齐能力。在非智能体、支持网络搜索的模型中，Gemini 3 Pro（Preview）表现最强（44.68分），而GPT-5.1/5.2和GPT-4.1形成了一个紧密的集群，各有优势。实验揭示了明显的跨指标权衡：GPT-4.1在多模态提取准确率（Acc.）和证据保真度（Fid.）方面表现最佳，而GPT-5.2在VEF得分上最高，表明更好的视觉基础但并非统一更好的引用纪律。关键发现包括：（1）视觉信息只有在可靠时才有益——同一模型家族内的比较（如Qwen 3 235B vs. Qwen 3 VL 235B）显示，添加视觉能力并非单调的胜利，虽然多模态变体改善了视觉基础，但统一错误分析显示细粒度提取失败（如误读数字、日期、标签和表格单元格）增加；（2）多模态对齐和引用基础可能分离——更强的多模态对齐或提示遵循并不保证更可靠的引用基础，Gemini Deep Research相比Gemini 2.5 Pro在证据聚合和覆盖率方面有所改善，但实体级失败显著增加；（3）工具使用有帮助，但强大的骨干和更丰富的检索最重要——在单轮网络启用家族中，扩展在MMDR-Bench和TRACE上显示有限的分离，表明检索交互模式而非模型规模是主要瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体MMDR-Bench评估 | Overall Score (0-100) | Gemini Deep Research: 49.41 | Gemini 3 Pro: 44.68, GPT-5.2: 32.76 | Gemini Deep Research比最强非智能体模型提升10.6% |
| 报告质量评估 | FLAE Score | Gemini Deep Research: 84.53 | Gemini 3 Pro: 58.05, GPT-5.1: 79.34 | Gemini Deep Research在报告质量上领先45.6% |
| 引用对齐评估 | TRACE Score (Consistency) | Gemini Deep Research: 56.17 | Gemini 3 Pro: 37.98, Perplexity Sonar: 33.12 | Gemini Deep Research在引用一致性上领先47.9% |
| 多模态完整性评估 | MOSAIC Score | Gemini Deep Research: 28.45 | Gemini 2.5 Flash: 25.49, GPT-5 mini: 15.60 | Gemini Deep Research在多模态完整性上领先11.6% |
| 视觉证据保真度 | VEF Pass Rate (%) | GPT-5.2: 46.43, Gemini 3 Pro: 46.43 | GPT-4o: 10.04, Claude 4.5 Haiku: 28.57 | 最强模型VEF通过率比基线模型高362% |
局限与改进
本文的局限性主要体现在以下几个方面。首先，评估框架的复杂性较高，涉及三个评估模块和多个自适应权重，这可能影响评估的透明度和可复现性。虽然作者提供了详细的公式和提示词，但完全复现整个评估流程仍需要相当的技术投入。其次，VEF的严格PASS/FAIL机制虽然提高了评估的可解释性，但也可能过于严苛，导致一些在实际应用中可接受的视觉解释被判定为失败。第三，评估主要依赖Gemini-2.5-Pro作为Judge LLM，虽然作者进行了跨Judge的鲁棒性测试，但Judge模型本身可能存在的偏见仍然可能影响评估结果的公正性。第四，任务设计虽然覆盖了21个领域，但主要集中在英文和中文任务上，对其他语言和文化的覆盖有限。最后，评估是在2025年12月的模型快照上进行的，随着模型的快速迭代，评估结果可能很快过时。此外，作者也承认离线模型在某些指标上可以超过一些网络启用的模型，这表明智能体的检索约束限制了证据的获取，尽管有工具访问权限。
独立分析的弱点
基于对论文的深入分析，我认为存在几个可以改进的弱点。首先，VEF的阈值设定（τVef. = 6）是固定的，没有考虑不同任务难度的差异。对于简单的视觉识别任务，这个阈值可能过于宽松；而对于复杂的图表分析任务，又可能过于严格。建议引入任务难度自适应的阈值机制。其次，MOSAIC的视觉类型路由依赖规则和嵌入分类，可能无法准确处理混合类型的视觉内容（如包含图表和照片的复合图像）。建议引入更细粒度的视觉理解模块。第三，评估框架对报告长度和结构有隐含偏好，可能不利于简洁但信息密集的报告。建议在FLAE中引入信息密度指标。第四，TRACE的引用验证主要基于URL内容的文本匹配，没有考虑引用的时效性和权威性。建议引入来源质量评估。最后，评估框架没有考虑多轮对话和交互式研究场景，这在实际应用中很常见。
未来方向
基于本文的成果，未来研究可以在以下几个方向展开。首先，可以扩展基准测试的覆盖范围，包括更多语言、更多领域和更复杂的多模态任务类型（如视频分析、3D模型理解等）。其次，可以开发更高效的评估方法，减少对Judge LLM的依赖，提高评估的可扩展性。第三，可以探索将VEF机制应用于其他多模态评估场景，如多模态问答、视觉对话等。第四，可以研究如何利用评估结果来指导智能体的训练和优化，形成评估-训练的闭环。第五，可以开发专门针对深度研究场景的模型架构，整合检索、推理和生成能力。最后，可以探索人机协作的评估模式，让人类专家参与评估过程的某些环节，提高评估的准确性和可信度。
复现评估
本文在可复现性方面做出了显著努力。作者公开发布了完整的基准数据集、评估源代码和全面的度量指标。评估框架的三个模块（FLAE、TRACE、MOSAIC）都有详细的公式描述和提示词模板，便于其他研究者复现。实验使用的所有模型都有明确的API快照版本号（如gemini-2.5-pro-002、gpt-4.1等），确保了结果的可追溯性。然而，完全复现整个评估流程仍面临一些挑战：首先，需要访问多个商业API，成本较高；其次，VEF需要任务特定的视觉真值，这些真值的创建需要领域专家的参与；第三，评估流程涉及多个模块的协调，技术复杂度较高。总体而言，本文的可复现性在同类工作中属于较高水平，但完全复现仍需要相当的技术和资源投入。
论文图表
