DeepResearchEval：深度研究任务自动构建与智能体评估框架 DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation

任务构建管线包括三个主要步骤。第一步是人物画像合成：基于Wettig等人定义的领域分类法，定义10个代表性领域（交通、政治、金融商业、历史、软件开发、工业、运动健身、健康、科技、教育就业），为每个领域用LLM生成5个人物画像，每人包含隶属关系、角色、背景、名字和子领域属性，总计50个人物画像。第二步是任务生成：为每个人物画像生成4个候选深度研究任务，强制要求任务需要多轮网页搜索、多源证据集成、足够的分析深度和明确的交付物，总计200个候选任务。第三步是两阶段过滤：任务资格过滤器评估任务是否需要最新知识、多源证据集成、多层深入调查和人物背景匹配，置信度分数大于0.7的任务被保留；搜索必要性过滤器让LLM仅用参数知识（不搜索）尝试回答任务，能高质量完成的任务被过滤掉，最终保留155个任务。经7位博士领域专家独立评估，80%的任务被至少4位专家认可为深度研究任务。智能体评估管线包括两个组件。自适应逐点质量评估：首先定义4个通用评估维度（Coverage覆盖度、Insight洞察力、Instruction-following指令遵循、Clarity清晰度），然后为每个任务生成1-3个任务特定维度，为所有维度分配归一化权重使得总和为1；每个维度下生成一组标准及权重；用LLM对每个标准打分，分数范围为1到10；最终质量分数通过加权聚合计算。主动事实核查：首先将报告分段；对每段提取可验证声明；对每个声明通过MCP工具检索证据；根据证据一致性分配标签（Right、Wrong或Unknown）；最终计算事实比率。

本文的技术新颖性体现在三个层面。第一，在任务构建方面，现有基准（如DeepResearch Bench、DRBench）依赖专家人工设计任务，本文首次提出角色驱动的自动化任务生成管线，通过人物画像确保任务的真实性和多样性，通过两阶段过滤确保任务质量——这使得基准可以持续更新，成为'活的'基准。第二，在质量评估方面，现有方法（如ReportBench、LiveResearchBench）使用固定的评估维度，本文首次引入自适应维度生成机制，结合通用维度和任务特定维度，每个维度下还有加权标准——这使得评估能够捕捉任务特定的质量方面。第三，在事实核查方面，现有方法仅验证有引用支持的声明，本文首次提出主动事实核查框架，基于MiroFlow智能体框架，通过MCP工具调用实现自主的证据检索和验证，能够覆盖未引用的声明——实验表明自动评估在70%的情况下比人类标注更准确。

从独立分析的角度，本文存在几个值得关注的弱点。第一，评估框架的计算成本过高：每个深度研究报告的质量评估需要调用LLM生成维度、权重、标准并打分，事实核查需要多轮工具调用（最多30轮，每轮最多10次工具调用），这使得评估单份报告的成本可能与生成报告本身相当。改进方向是探索更高效的评估策略，例如使用轻量级模型进行初筛、缓存常见评估模式、或开发基于规则的快速评估方法。第二，事实核查的准确性仍有提升空间：论文附录F.2展示了两个错误案例，一个是AI虚拟分诊的有效性声明被错误标记为Unknown（实际有人类标注支持），另一个是5万到20万美元的技术采购声明被错误标记为Unknown（实际有明确来源支持）。这些错误源于过度严格的验证标准，改进方向是引入更细致的证据权重机制和置信度评估。第三，任务构建管线的多样性可能不足：虽然覆盖了10个领域，但每个领域仅5个人物画像，且人物画像的生成依赖于LLM，可能存在隐性偏见。改进方向是引入更多元的人物画像来源（如真实用户数据）和更细粒度的领域分类。第四，评估维度的生成质量难以验证：任务特定维度由LLM自动生成，其合理性和全面性缺乏系统性验证。改进方向是建立维度生成的质量评估机制，或引入人类专家进行维度审核。

基于本文的成果，未来研究可以在以下几个方向展开。首先，多语言深度研究评估是一个自然的扩展方向：当前框架仅支持英语，但深度研究系统在全球范围内使用，评估其在中文、日文、法文等语言环境下的表现具有重要意义。作者也指出需要探索跨语言综合证据的能力。其次，实时动态基准的构建：作者提到框架可以作为'活的'基准用于长期监控，未来可以探索自动化任务更新机制，定期生成新的深度研究任务以反映快速变化的信息环境。第三，轻量级评估方法的开发：当前框架的计算成本限制了其大规模应用，未来可以探索知识蒸馏、评估器压缩等技术，将评估能力迁移到更小的模型上。第四，评估框架的泛化应用：当前框架专注于深度研究系统，但其自适应评估和主动事实核查的思路可以扩展到其他长文本生成任务（如学术论文写作、技术报告生成、新闻报道等）。第五，评估与训练的闭环：将评估结果反馈到深度研究系统的训练过程中，通过强化学习等方法提升系统的任务特定能力和事实准确性。

从复现评估的角度，本文在开源和可复现性方面表现良好。作者提供了代码仓库（https://github.com/Infinity-AILab/DeepResearchEval），这大大降低了复现门槛。任务构建管线依赖于公开的LLM API（GPT-5-mini），评估管线使用Gemini-2.5-Pro和GPT-5-mini，这些都是可访问的商业API。事实核查使用Google Serper API进行网页搜索，这也是公开可用的服务。然而，复现仍面临几个挑战：第一，计算成本较高——评估900份报告需要大量的API调用，对于资源有限的研究团队可能构成障碍；第二，API版本依赖——论文使用了GPT-5-mini和Gemini-2.5-Pro等前沿模型，这些模型的API可能随时间更新，影响结果的可重复性；第三，数据收集时间窗口——论文中的深度研究系统报告收集于2025年8月至11月，系统的性能可能已随时间变化。总体而言，对于有足够计算资源和API访问权限的研究团队，复现本文的核心结果是可行的，但完整的900份报告评估可能需要显著的计算投入。