MiroEval：面向过程与结果的多模态深度研究智能体基准测试 MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome
首个支持过程评估和多模态的深度研究系统基准，覆盖100个真实任务
前置知识
深度研究系统
深度研究系统是一类能够自主规划、执行多步骤网络调查的综合智能体系统。它们通过迭代搜索、证据收集、事实验证和内容合成来处理复杂信息需求，集成了规划能力、工具使用、异构数据源交互和长文本报告生成功能。这类系统将语言模型从被动的文本生成器转变为具备自主研究和分析能力的智能体。
读懂本文需要理解深度研究系统的核心特征，包括多步骤推理、工具调用、证据整合等能力，因为这些是MiroEval评估的核心对象。
自适应评估
自适应评估是指根据具体任务的特征动态生成评估维度、标准和权重的评估方法。在MiroEval中，系统会分析查询的指令和附件，为每个任务定制个性化的评估框架。对于纯文本查询，系统会生成1-3个任务特定的专业维度；对于包含附件的查询，系统会引入基准化维度，要求正确解读附件内容并进行有意义的分析扩展。
自适应评估是MiroEval评估方法的核心创新点，区别于传统固定标准的基准测试，理解这一概念对于把握论文的技术贡献至关重要。
多模态事实验证
多模态事实验证是指同时从网络搜索结果和用户提供的附件（图片、PDF、表格等）中检索证据，并对报告中的声明进行一致性评估的方法。评估框架采用混合处理策略：对于可以直接由多模态语言模型解释的文件格式，直接传递给模型处理；对于无法直接处理的格式，采用检索增强方法将文件转换为文本表示并进行分段检索。
多模态事实验证是MiroEval三个评估维度之一，理解其工作机制和四分类评估标签（RIGHT、WRONG、CONFLICT、UNKNOWN）对于掌握评估框架至关重要。
研究动机
现有深度研究系统的基准测试存在多个严重缺陷。首先，大多数基准仅评估最终报告而忽略研究过程，无法判断系统是进行了扎实调查还是生成表面 plausible 的报告。其次，多模态评估极其缺乏，除了短问答任务外几乎没有覆盖，尽管真实世界研究查询经常涉及图片、PDF、表格等材料。第三，任务构建往往依赖合成或学术查询，不能完全捕捉真实用户需求的复杂性。此外，静态基准面临过时风险，随着信息环境变化而失去相关性。例如，现有基准可能要求系统在金融领域做决策与推荐，但没有提供真实的财报数据或行业报告，导致评估脱离实际应用场景。
本文的目标是本文目标是构建一个全面评估深度研究系统的基准框架，从三个互补维度衡量系统能力：自适应综合质量评估使用任务特定的评分标准评估最终报告质量；智能体事实性评估通过主动检索和推理验证报告声明与网络来源及多模态附件的一致性；以过程为中心的评估审计系统如何搜索、推理和细化调查过程。基准包含100个基于真实用户需求的任务（70个纯文本、30个多模态），通过双路径构建管道支持定期更新，确保评估随着知识演进保持时效性。
与已有工作不同的是，本文的独特切入角度在于同时解决了四个关键缺口：一是将评估维度从固定的任务无关标准转变为动态生成的任务特定评分体系；二是将事实验证从单一证据源扩展到网络来源和用户附件的混合验证，并引入CONFLICT标签处理跨源冲突；三是从仅评估最终输出扩展到同时评估研究过程本身的质量；四是从静态基准转变为基于真实用户需求和实时网络趋势的可刷新基准。这种设计使得MiroEval能够提供比现有基准更全面、更贴近真实应用场景的系统评估。
核心方法
MiroEval的整体思路是构建一个多层次的智能体评估管道，将研究产物与底层研究过程解耦。系统首先通过双路径管道构建基准：第一条路径从内部测试阶段的真实用户查询模式中提取65个查询（35个纯文本、30个多模态），经过隐私保护重写和难度分层；第二条路径基于实时网络趋势自动生成35个纯文本查询，经过三阶段过滤确保研究必要性。评估框架包含三个互补层：自适应综合质量评估动态构建任务特定的评分维度和标准；智能体事实性评估将报告分解为原子声明并验证与网络证据和附件的一致性；以过程为中心的评估审计研究轨迹的五个内在维度（搜索广度、分析深度、渐进式细化、批判性思维、效率）以及过程与报告之间的双向对齐。
核心创新点在于提出了三层次自适应评估框架，与传统固定标准基准有本质区别。第一层次的创新是自适应综合质量评估，系统根据查询特征动态生成评估维度空间，其中固定维度包括覆盖度、洞察力、指令遵循、清晰度等通用方面，动态维度根据纯文本或附件增强查询定制专业维度。第二层次的创新是智能体事实性评估，引入四分类一致性评估（RIGHT、WRONG、CONFLICT、UNKNOWN），明确表示异构信息源之间的分歧而非强制二元判断。第三层次的创新是以过程为中心的评估，从搜索广度、分析深度、渐进式细化、批判性思维和效率五个维度评估过程质量，同时测量过程到报告和报告到过程的双向对齐以及矛盾检测。这三个层次原生支持多模态输入，为下一代深度研究智能体提供整体诊断工具。
方法步骤详情
MiroEval的方法步骤包含基准构建和系统评估两个主要流程。基准构建步骤：第一步从内部测试收集真实用户查询模式，经过隐私过滤、实体匿名化和七维度分类（附件类型、信息密度、领域、复杂性、附件角色、重写潜力、评估特征）；第二步将查询路由到六个重写策略之一，策略选择考虑硬约束、特征匹配、配额奖励和使用衰减四个因素；第三步为自动生成路径，基于12个主题各3个子主题组织，通过Serper API检索标题和摘要作为趋势上下文，生成15个候选查询，产生180个候选池；第四步应用三阶段过滤：搜索验证要求至少2个不同域的至少3个结果（保留152个，84.4%），深度研究必要性要求必要性置信度至少0.7（保留96个，63.2%），逆向质量评估要求基准分数不超过0.75且非高质量标签（保留50个），最终手动选择35个。系统评估步骤：第一步收集系统的原始过程记录和最终报告；第二步进行自适应综合质量评估，生成任务特定维度空间和标准，计算维度权重和标准权重，评估报告对每个标准的得分，最终质量分数为各维度和标准得分的加权和；第三步进行智能体事实性评估，将报告分解为可验证声明集合，对每个声明从网络搜索和附件中检索证据，分配事实性标签；第四步进行以过程为中心的评估，将原始过程记录转换为结构化表示，评估五个内在过程维度，计算过程得分。
技术新颖性
技术新颖性体现在四个方面：评估架构上，首次将过程质量作为独立评估维度引入深度研究系统基准，通过过程到报告和报告到过程的双向对齐检测可追溯性缺口，而现有基准仅评估最终输出；评估标准上，提出动态自适应评估框架，根据任务特征生成个性化评分维度和权重，突破固定标准的局限；事实验证上，引入CONFLICT标签处理异构信息源的冲突，而非强制二元判断，更符合现实研究场景；基准构建上，双路径管道结合用户衍生查询和趋势驱动自动生成，支持定期刷新保持时效性，而大多数基准是静态的。此外，所有三个评估层次原生支持多模态输入，这是对现有主要局限于文本的基准的重要扩展。
实验结果
实验在13个主流深度研究系统上进行，包括OpenAI Deep Research、Gemini-3.1-Pro、Grok、Claude-Opus-4.6、Manus-1.6-Max、Doubao、ChatGLM Agent、Kimi-K2.5、Qwen-3.5-Plus、MiniMax-M2.5以及三个MiroThinker变体。纯文本设置下系统形成三个性能梯队：MiroThinker-H1（77.5分）、OpenAI（76.7分）、MiroThinker-1.7（75.5分）构成第一梯队；Gemini、Kimi、MiniMax、ChatGLM构成中间梯队（66-70分）；Manus、Qwen、Claude、Doubao、Grok构成较低梯队（低于65分）。多模态设置下保持类似梯队结构但整体分数下降3-10分，MiroThinker-H1以74.5分领先。核心发现包括：第一，系统在综合质量、事实精确性和研究过程严谨性三个维度的排名变化显著，每个维度提供非冗余信息。例如Kimi-K2.5在纯文本设置下综合质量达到75.7分（非MiroThinker系统最高），但事实性仅65.4分，比OpenAI低近18分；相反Manus综合质量仅55.4分（最低），但事实性72.6分超过多个报告更强的系统。第二，过程质量可靠预测整体结果，同时揭示输出级指标无法看到的弱点。纯文本设置下过程前三名（MiroThinker-H1的74.7分、OpenAI的73.1分、MiroThinker-1.7的72.7分）也是整体结果前三名，过程最弱系统Doubao（53.1分）结果也接近垫底。过程与整体结果的皮尔逊相关系数达到0.88。第三，多模态任务带来更大挑战，大多数系统从纯文本到多模态下降3-10分，Qwen-3.5-Plus下降最大（从60.0到44.6，下降15.4分），MiroThinker-H1最具韧性（仅下降3.0分）。子指标分析显示Specificity是通用瓶颈，几乎所有系统都落后Coverage 10-14分；Insight是最具区分性的指标，从Manus的54.8到MiroThinker-H1的80.3，差距25分。事实性分析显示精准度-声明数量的权衡：ChatGLM和Gemini生成超过4000个正确声明但伴随580和526个错误声明，OpenAI生成3335个正确声明但仅170个错误，达到83.3%的最高正确率。过程分析显示系统搜索广度但分析深度不足：大多数竞争系统广度在71-77分，但深度从Doubao的41.6到OpenAI的67.3差异很大。对齐指标显示发现到报告得分普遍高（MiroThinker-H1的87.0），但报告到过程得分显著低（MiroThinker-H1仅63.3，Doubao仅36.8），揭示实质性可追溯性缺口。用户衍生查询比自动生成查询持续更难（平均提升0.6-6.7分），但系统排名在两者间基本稳定。人工验证确认基准质量达到92.0%的精确度，扩展鲁棒性实验和人工排名研究（Kendall's tau = 0.91）进一步证实评估框架可靠性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Text-Only Synthesis Quality | Average Score | MiroThinker-H1: 76.7 | OpenAI: 73.8 | +2.9分 |
| Text-Only Factuality | Right Ratio (%) | OpenAI: 83.3 | Kimi-K2.5: 65.4 | +17.9个百分点 |
| Text-Only Process Quality | Overall Score | MiroThinker-H1: 74.7 | OpenAI: 73.1 | +1.6分 |
| MultiModal Overall | Overall Score | MiroThinker-H1: 74.5 | OpenAI: 70.2 | +4.3分 |
| MultiModal Synthesis Quality | Average Score | MiroThinker-H1: 71.5 | Qwen-3.5-Plus: 44.6 | +26.9分 |
| Process-Outcome Correlation | Pearson Correlation | 0.88 | 未提供基线 | 强相关性验证 |
| Human Ranking Agreement | Kendall's tau | 0.91 | 未提供基线 | 高一致性验证 |
| Benchmark Quality | Human Precision | 92.0% | 未提供基线 | 高质量验证 |
局限与改进
作者承认的局限性包括：过程评估依赖于系统暴露中间推理轨迹，限制了在完全不提供此类访问的完全闭源系统上的适用性；事实性评估目前识别跨源冲突（例如网络证据与用户提供的附件之间）但不解决它们，CONFLICT标签标记分歧而不确定哪个来源正确。自主观察的局限性包括：基准虽然覆盖12个领域和10种任务类型，但可能仍然无法完全覆盖所有真实世界研究场景；多模态任务目前包括30个，占总数的30%，可能需要进一步扩展以更充分地评估多模态能力；评估依赖GPT-5.1、GPT-5.2和GPT-5-mini作为判断模型，可能存在模型偏差；虽然双路径管道支持定期刷新，但具体刷新频率和机制未详细说明；基准主要关注研究和报告生成能力，可能不充分评估其他重要能力如实时交互、个性化等。
独立分析的弱点
独立分析的弱点包括：第一，Specificity是所有系统的通用瓶颈，差距10-14分，表明系统可以识别相关主题但难以提供细节化的证据支撑细节，改进方向包括增强细粒度证据检索和深入信息提取能力。第二，分析深度不足，大多数系统广度得分71-77但深度得分41-67，表明系统检索广泛但很少进行有针对性的迭代调查，改进方向包括设计鼓励深度跟踪和后续追问的规划机制。第三，效率是普遍弱点，即使最佳系统MiroThinker-H1的效率得分68.1也低于其他内在维度，表明存在大量冗余查询、循环探索路径和未使用的信息，改进方向包括优化查询策略、实现智能缓存和去重机制。第四，实质性可追溯性缺口，报告到过程得分普遍低于过程到报告得分23-30分，表明报告包含大量无法追溯至研究过程的内容，改进方向包括改进过程记录和声明溯源机制。第五，多模态处理能力不均衡，多模态设置下整体分数下降3-10分，某些系统如Qwen-3.5-Plus下降15.4分，表明多模态整合是系统性弱点，改进方向包括增强视觉理解、跨模态推理和附件内容深度分析能力。第六，事实性评估的精准度-声明数量权衡尚未完全解决，虽然MiroThinker系列展示了高声明量和低错误率的平衡，但大多数系统仍在此权衡中挣扎，改进方向包括设计更严格的事实验证策略和声明生成策略。
未来方向
作者提出的未来方向包括：利用可刷新的双路径构建管道定期更新基准，用反映演变用户需求和最新网络趋势的新查询确保MiroEval作为实时基准保持时效相关性；扩展事实性评估以解决跨源冲突，不仅识别CONFLICT标签还确定哪个来源正确；探索对更广泛的闭源系统的过程评估方法，可能通过提供标准化过程记录接口。基于成果可延伸的未来方向包括：扩展多模态任务的比例和多样性，包括更多类型的附件（视频、音频、代码库等）；增加交互式深度研究评估，评估系统在多轮对话中的适应性；引入个性化维度，评估系统对不同用户画像和研究偏好的适应性；开发更细粒度的过程质量指标，如信息获取效率、错误纠正机制质量等；探索跨领域泛化能力评估，研究系统在熟悉领域与不熟悉领域表现的差异；长期跟踪系统演进，建立时间序列评估以观察技术发展趋势。
复现评估
复现评估方面，项目开源在GitHub（https://github.com/MiroMindAI/MiroEval），提供了网站（https://miroeval-ai.github.io/website/）和博客（https://miroeval-ai.github.io/blog/）。基准包含100个任务（70个纯文本、30个多模态），覆盖12个领域（技术20个、金融17个、科学13个、工程8个、医疗8个、商业8个、政策8个、法律5个、人文4个、网络安全4个、教育2个）和10种任务类型（决策与推荐17个、比较分析16个、事实枚举与验证15个、政策与法规分析12个、因果解释11个、调查与综合11个、趋势与预测7个、数据分析与计算5个、代码生成3个、文档编辑3个）。评估使用GPT-5.1作为综合质量判断模型、GPT-5.2用于过程评估、GPT-5-mini用于事实性评估。评估鲁棒性实验显示重运行主要GPT判断三次的标准偏差仅0.3-0.6分，使用Gemini作为替代判断模型绝对分数增加13-17分但排名完全保留（Kendall's tau = 1.0），修改判断提示导致整体分数变化小于2分且无排名变化。人工排名研究涉及5个专业标注员对10个系统在5个采样查询上的排名，前三名系统（MiroThinker-H1、OpenAI Deep Research、MiroThinker-1.7）完全匹配，最大排名变化仅为2位。算力需求方面，自动评估需要调用多个GPT模型，成本较高但未提供具体数字；手动验证涉及3个标注员对查询样本的评估。整体复现难度中等，主要挑战在于评估模型API调用成本和被评估系统的访问权限。
论文图表
