DREAM：基于智能体指标的深度研究评估框架 DREAM: Deep Research Evaluation with Agentic Metrics
用智能体自身能力评估深度研究智能体，解决现有评测忽略事实和时效性的盲区。
前置知识
Deep Research Agent (DRA)
深度研究智能体是一类能够自主进行开放式研究任务的大语言模型系统。给定一个宽泛的研究查询，DRA会从外部来源（网页、学术论文、GitHub等）检索信息，综合证据，并生成类似分析师级别的长篇研究报告。与传统问答系统不同，DRA的研究结果没有唯一的标准答案，两个专家可能产出质量相当但完全不同的报告。代表系统包括GPT-Researcher、LangChain Open Deep Research、Smolagents Open Deep Research等。
DRA是本文的研究对象和评估目标，理解DRA的能力边界（自主检索、推理、综合）是理解本文核心论点——评估器需要与被评估者具备对等能力——的基础。
LLM-as-a-Judge
LLM-as-a-Judge是一种评估范式，使用大语言模型代替人类评估者来为模型输出打分。典型做法是将被评估文本和评估标准（rubric）一起输入LLM，让LLM根据标准给出分数或判断。这种方法可扩展性强、成本低，但依赖LLM的静态内部知识，无法访问外部工具或获取时效性信息，因此在需要验证事实、检测过时信息等场景下存在根本性局限。
本文的核心批判对象就是这种静态评估范式。DREAM的创新正是将评估过程本身也变成智能体化的（agentic），突破LLM-as-a-Judge的能力瓶颈。
Citation Alignment（引用对齐）
引用对齐是现有评估中验证来源质量的主流方法。它的工作流程是：从报告中提取声明（claim）及其引用的URL，获取URL内容，然后判断引用内容是否支持该声明。这衡量的是'内在引用忠实度'（intrinsic citation faithfulness），即声明与引用来源之间的一致性。但这种方法无法检测引用来源本身是否过时或不可靠——一个引用了过时论文的声明仍然会被判定为'引用对齐'。
本文提出了'Citation-Alignment Fallacy'（引用对齐谬误），指出引用对齐不等于事实正确。这一洞察直接导致了DREAM中Factuality指标的设计——独立于引用、通过外部检索来验证声明的真实性。
Capability Parity（能力对等）
能力对等是本文提出的核心设计原则。它主张评估器应当具备与被评估智能体类似的能力集合——包括自主检索外部信息、对比多个竞争性来源、整合时间上下文等。如果评估器是一个只能访问静态知识的LLM，而被评估的DRA能够实时检索网页，那么评估器就天然无法验证DRA输出的时效性和外部事实性。
这是DREAM框架的理论基础。所有技术创新（协议创建智能体、自适应指标、工具调用评估器）都是这一原则的具体实例化。
Mirage of Synthesis（综合幻象）
综合幻象是本文诊断出的系统性评测失败模式。它指的是：当研究报告在表面层面表现出流畅的文笔、良好的组织结构和准确的引用时，现有评估基准会给予高分，即使报告内部存在事实错误、信息过时或逻辑推理缺陷。这是因为现有基准的评估指标主要覆盖'表现质量'和'任务遵从'维度，而对'事实正确性'、'时效有效性'和'推理严谨性'的评估能力严重不足。
这是整篇论文的问题出发点。理解综合幻象才能理解为什么需要DREAM——不是现有评估方法做得不好，而是它们在结构上缺乏检测深层缺陷的能力。
研究动机
当前深度研究评估（DRE）领域存在一个严重的系统性盲区，本文称之为'综合幻象'（Mirage of Synthesis）。具体来说，现有的评估基准——包括DeepResearch Bench（RACE/FACT）、DeepResearchGym、ResearchRubrics、LiveResearchBench等——在评估研究报告时，主要关注两个维度：表现质量（如文笔流畅度、结构组织）和任务遵从（如是否覆盖了要求的主题、引用是否与来源对齐）。然而，这些基准对三个关键维度的评估能力严重不足：外在事实正确性（extrinsic factual correctness）、时间有效性（temporal validity）和基于证据的推理质量（grounded reasoning）。结果就是，一份引用了过时数据、包含逻辑谬误但文笔流畅的报告，仍然能获得高分。论文中给出了具体数据来证明这一点：在检测推理缺陷的实验中，DRB-RACE对恶意报告的评分平均仅下降约9%，甚至经常给有缺陷的报告打出比正常报告更高的分数；在时效性实验中，DRB-RACE的Comprehensiveness指标对使用2025年1月截止知识的报告几乎完全无感（50.02→50.04），而DREAM-KIC则从79.35骤降至44.80。这种失败的根本原因是'评估器能力不匹配'（evaluator capability mismatch）——评估器缺乏与被评估智能体对等的工具使用能力和外部知识获取能力。
本文的目标是本文的具体目标是解决深度研究评估中的能力不匹配问题，构建一个能够全面评估研究报告质量的框架。更具体地说，DREAM要实现以下几个可衡量的目标：第一，在时效性敏感度上，评估分数应当随着报告使用信息的陈旧程度而单调下降，而非像现有基准那样保持不变；第二，在事实错误检测上，评估分数应当随着报告中外在事实错误比例的增加而线性下降，而非像DRB-FACT那样完全不敏感；第三，在推理缺陷检测上，评估分数应当能够区分表面流畅但逻辑有缺陷的报告与推理严谨的报告，且区分度应远高于现有基准（目标是约40%的相对下降，而非仅9%）；第四，所有评估应以参考无关（reference-free）的方式进行，避免依赖人工标注的固定标准。
与已有工作不同的是，本文的独特切入角度在于提出了'能力对等'（capability parity）原则，并将其系统性地实例化。以往的工作要么依赖人工标注的评估标准（如ResearchRubrics耗费了2800小时以上的人工标注），要么使用静态LLM生成评估标准（如DeepResearch Bench的RACE和DeepResearch Arena的ACE），要么仅做引用对齐验证（如DeepResearch Bench的FACT）。这些方法的共同缺陷是：评估器本身不具备独立检索、推理和验证的能力。DREAM的独特之处在于它不是简单地'用更好的LLM来当评委'，而是让评估过程本身变成一个智能体——给评估器配备网页搜索、ArXiv、GitHub等外部工具，让它能够独立研究查询、生成时效性感知的评估标准、并通过多步推理来验证报告内容。这种从'被动评分'到'主动验证'的范式转变，是本文区别于所有已有工作的本质创新。
核心方法
DREAM的方法可以用一个类比来理解：传统评估就像让一个没有互联网、不知道今天是哪天的考官来批改一篇关于最新政策的研究报告——他只能检查报告写得好不好、引用格式对不对，但无法判断报告里的事实是否正确、信息是否过时。DREAM则给这个考官配备了互联网接入、日历和搜索引擎，让他能够独立查证报告中的每一个关键声明。技术路线上，DREAM采用两阶段工作流：第一阶段是'协议创建'（Protocol Creation），一个配备外部工具的智能体根据研究查询独立研究后，生成一套查询特定的评估标准；第二阶段是'协议执行'（Protocol Execution），将评估标准路由到三种不同能力等级的评估器——LLM评估器（用于写作质量和关键信息覆盖度检查）、智能体评估器（用于推理质量验证）、工作流评估器（用于事实性、引用完整性和领域权威性验证）。这种设计确保每个指标都由具备恰到好处能力的评估器来执行，实现了能力对等原则。
DREAM的核心创新点是将评估过程本身智能体化（making evaluation itself agentic），具体体现在两个层面。第一个层面是评估标准的动态生成：传统方法使用固定的rubric或静态LLM生成的标准来评估所有报告，而DREAM的协议创建智能体（Protocol Creation Agent）会针对每个查询独立研究，从最新的外部来源中提取关键信息点和推理验证方案，生成查询特定的评估标准。这意味着评估标准是'活的'——如果查询涉及TikTok在美国的法律状态，智能体会检索到2025年12月的最新交易细节和2026年1月23日的截止日期，而非停留在过时的信息上。第二个层面是评估执行的工具使用：传统评估器只能基于LLM内部知识判断，而DREAM的Agent Evaluator在执行推理质量验证时，会按照预定义的验证计划自主检索外部证据、交叉验证发现，然后给出基于证据支持的评分。与已有方法最本质的区别在于：已有方法的评估器是'静态观察者'（static observer），而DREAM的评估器是'主动研究者'（active researcher），能够独立收集证据、发现矛盾、验证时序。
方法步骤详情
DREAM的完整评估流程分为两个阶段。第一阶段——协议创建（Protocol Creation）：给定一个研究查询，协议创建智能体（实例化为CodeAgent）首先进行轻量级工具选择以减少噪声，然后执行研究来构建两类指标。对于Key-Information Coverage（KIC），智能体从最新来源中识别回答查询所需的关键事实，将每个事实转化为一个是/否问题（如'报告是否提到了2026年1月23日的截止日期？'），这些问题是时间感知的、基于检索证据的。对于Reasoning Quality（RQ），智能体生成开放式的挑战性问题，为每个问题生成结构化验证计划，指定从报告中提取什么信息、如何交叉参考发现来验证推理有效性。同时，静态指标（Writing Quality、Factuality、Citation Integrity、Domain Authoritativeness）也在此阶段定义。第二阶段——协议执行（Protocol Execution）：根据能力对等原则，每个指标被路由到最合适的评估器。LLM评估器执行WQ（使用固定的三维度rubric：内容与创意、组织结构、句法流畅性）和KIC（对照清单验证报告内容）。Agent Evaluator执行RQ，自主跟踪验证计划、检索外部证据、评估推理有效性。Workflow Evaluator执行三个互补的验证流程：Citation Integrity通过提取声明、获取引用内容、判断对齐程度来计算声明归属率（Claim Attribution）和引用忠实度（Citation Faithfulness）的调和平均；Factuality通过提取最显著的事实声明、构建中性化搜索查询来避免确认偏差、执行双流证据提取（支持流和反对流）、最终判断声明的真实性；Domain Authoritativeness评估引用来源域名的可信度和权威性。
技术新颖性
DREAM在技术新颖性上体现在几个方面。首先，它是第一个将'Agent-as-a-Judge'范式系统性地应用于深度研究评估的工作。此前的Agent-as-a-Judge工作（如Zhuge et al. 2024用于代码生成、Mind2Web-2用于网页导航）仅限于特定领域，而DREAM将其推广到开放式的长文本信息综合评估场景。其次，DREAM的Factuality指标设计具有独特性：它使用'中性化搜索查询'（neutralized search queries）来避免确认偏差——不是搜索声明中的具体值（如'通胀降至2%'），而是生成开放式查询（如'当前通胀率'），从而最大化检索到支持性和矛盾性证据的概率。这种设计使得DREAM能够检测到那些有引用支持但事实上错误的声明，而DRB-FACT则完全无感。第三，DREAM的评估协议是查询特定且动态生成的，而非固定模板。每个查询的KIC检查清单和RQ验证计划都基于实时检索的外部知识构建，这使得评估标准具有时间感知能力——同一查询在不同时间点会生成不同的评估标准。最后，DREAM提出了一个统一的四维分类法（表现质量、任务遵从、分析深度、来源质量），并通过自动化的语义聚类管道从四个现有基准中提取48个评估标准，验证了该分类法的语义连贯性。
实验结果
DREAM通过四个互补的受控实验验证了其核心能力。在协议质量的人类评估中，专家和非专家标注者对智能体生成的评估标准进行了评分，结果表明完整的智能体（带检索）在KIC上的平均得分为0.92，在RQ上为0.93，其中RQ的清晰度（0.97）和验证计划有效性（0.99）得分特别高。消融实验证明，仅智能体结构化就能将RQ平均分从0.70（直接LLM）提升到0.84，而加入检索后进一步提升到0.93，特别是可验证性从0.67跃升到0.80。在时效性感知实验中，研究者选择了20个时间敏感查询（如'TikTok美国法律状态'），为每个查询生成当前（2025年12月）、2025年1月和2024年1月三个时间点的报告变体。DRB-RACE的Comprehensiveness指标几乎完全无感（50.02→50.04），Insight也仅微弱下降（50.54→48.78）；而DREAM-KIC则表现出强烈的单调下降趋势，从79.35（当前）降至44.80（2025年1月）再到22.34（2024年1月）。在推理缺陷检测实验中，研究者设计了10个复杂查询，为每个查询生成正常报告和注入了推理缺陷（循环论证、无支持声明等）的恶意报告。DRB-RACE的平均下降率仅约9%，中位数9.08%，且经常给恶意报告更高分；而DREAM-RQ的平均下降率约35%，中位数40.12%，能够可靠地惩罚有缺陷的报告。在事实错误检测实验中，研究者构造了15对对抗性声明——每对包含一个正确版本（有可靠引用）和一个看似合理但事实上错误的版本（有匹配的误导性引用）。DRB-FACT在整个腐败率扫描范围内保持不变（约100%准确率），因为该指标只验证声明与引用来源的一致性；而DREAM-Factuality的分数随腐败率增加而线性下降，能够通过独立检索来识别误导性引用。在主基准测试中，Smolagents Open DR在大多数指标上领先（Factuality 58.15, KIC 75.95, RQ 69.16），但在Citation Integrity上极差（4.78），暴露了开源DRA在引用规范化方面的系统性弱点。跨骨干模型（Claude Sonnet 4.5, DeepSeek-V3.2, Kimi-K2.5）的鲁棒性测试表明，被评估智能体的相对排名保持高度一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 时效性感知（Temporal Awareness） | KIC 分数（2024年1月截止知识） | DREAM-KIC: 22.34 | DRB-RACE Comprehensiveness: 44.81 | DREAM对过时报告的惩罚力度是DRB的约4.4倍（下降56.01分 vs 下降5.21分） |
| 推理缺陷检测（Reasoning Flaw Detection） | 恶意报告相对分数下降率（中位数） | DREAM-RQ: 40.12% | DRB-RACE: 9.08% | DREAM的检测灵敏度是DRB的约4.4倍 |
| 外在事实错误检测（Extrinsic Factual Error Detection） | 随腐败率变化的分数敏感度 | DREAM-Factuality: 近线性下降 | DRB-FACT: 完全不变（约100%） | DREAM能检测到有引用支持但事实错误的声明，DRB完全无感 |
| 人类评估-协议质量（KIC，带检索） | 平均分（相关性、可验证性、清晰性） | Agent + Retrieval: 0.92 | 直接LLM: 0.79 | 提升16.5%（0.79→0.92） |
| 人类评估-协议质量（RQ，带检索） | 平均分（相关性、可验证性、清晰性、有效性） | Agent + Retrieval: 0.93 | 直接LLM: 0.70 | 提升32.9%（0.70→0.93） |
| 参考无关写作质量评估 | 与DRB-RACE排名的Kendall's τ相关系数 | DREAM-WQ: τ = 0.6 | 人类标注者间一致性: 0.5-0.7 | 达到人类标注者间一致性的水平 |
局限与改进
论文作者承认了几个重要局限。第一，对外部工具的依赖引入了对第三方服务可用性和潜在检索偏差的依赖——这是在追求时效性验证时与封闭世界一致性之间的固有权衡。第二，智能体评估的计算成本高昂：多步验证和工具交互循环相比静态评估器显著增加了延迟和成本。作者认为这是追求科学准确性的必要代价，但建议未来可通过缓存或选择性评估策略来优化。第三，DREAM是研究报告的事后评估器（post-hoc evaluator），不直接评估中间研究过程（如搜索轨迹效率或来源发现动态）。此外，从我的分析来看，DREAM还存在以下局限：在基准测试中，所有三个被测开源DRA的Citation Integrity得分都极低（LangChain最高也仅15.92，Smolagents仅4.78，Tongyi接近0），这说明DREAM在揭露问题方面很有效，但论文没有深入讨论如何指导DRA改进这些弱点；实验仅使用了Claude Sonnet 4.5作为DRA的骨干模型来生成报告（基准测试中各DRA使用了不同模型），可能引入模型特定偏差；KIC指标假设存在一个'正确答案集合'，但对于高度开放性的研究问题，什么算'关键信息'本身就是有争议的。
独立分析的弱点
DREAM虽然在评估深度上取得了显著突破，但仍存在几个可以改进的具体弱点。首先，在计算效率方面，当前每个查询的评估都需要智能体执行多轮工具调用（网页搜索、ArXiv检索、内容抓取），这使得评估成本与被评估DRA的研究成本相当甚至更高。在大规模基准测试（如评估数百个查询×多个DRA×多个变体）场景下，这种成本可能是不可接受的。改进方向包括：引入评估结果缓存机制（同一查询的KIC清单可以复用）、开发轻量级预筛选器（先用静态指标过滤，再对有争议的报告使用智能体评估）、或者设计蒸馏方法将智能体评估器的能力压缩到更高效的模型中。其次，在评估标准的客观性方面，KIC和RQ的评估标准虽然基于外部检索生成，但'什么算关键信息'和'什么算有效推理'的判断仍然带有主观性。论文中的人类评估显示标注者间在相关性和清晰性上的Kendall's W约为0.58（中等一致性），这意味着不同标注者对评估标准的质量评判存在分歧。改进方向包括：引入多智能体共识机制（让多个独立的协议创建智能体生成标准后取交集）、或设计可追溯的评估标准生成日志，让用户能够审计和调整评估标准。第三，在事实性验证方面，当前的双流证据提取（支持流和反对流）依赖于搜索引擎返回结果的质量和覆盖度，对于小众领域或新兴话题可能检索不到足够的证据，导致大量声明被标记为'无法验证'（Unverifiable）。改进方向包括：整合更多专业数据库（如PubMed、IEEE Xplore等）作为检索源、引入证据质量评估（区分一手来源和二手报道）、或设计置信度校准机制，根据检索结果的丰富程度调整判断的确定性。
未来方向
论文作者在Limitations部分提出了几个明确的未来方向。最直接的是将评估扩展到过程层面（process-level telemetry），不仅评估最终报告的质量，还评估DRA的研究过程效率——例如搜索轨迹是否高效、来源发现是否多样、是否存在不必要的重复检索等。这需要在DRA执行过程中收集中间状态信息，是一个从'结果评估'到'过程评估'的重要转变。基于DREAM的成果，还有几个可延伸的方向：第一，将DREAM的评估协议生成能力用于'评估标准基准化'——用DREAM的智能体为现有基准（如DeepResearch Bench）生成更新的、时间感知的评估标准，从而解决人工标注标准过时的问题；第二，探索将DREAM的评估信号用于DRA的强化学习训练，让DRA在训练过程中就学会产生经得起主动验证的研究报告；第三，将能力对等原则推广到其他智能体评估领域，如代码智能体（需要评估器也能执行代码和运行测试）、数据分析智能体（需要评估器也能访问数据集和运行分析）等；第四，研究评估成本与评估质量之间的帕累托最优，找到在给定计算预算下最大化评估敏感度的最优策略。
复现评估
从复现角度来看，DREAM的复现具有中等难度。论文提供了详细的评估管道描述，包括每个指标的评分公式、评估流程和具体提示（prompts），并在附录中给出了Writing Quality rubric的完整评估提示（Table 3）、Factuality的四步验证流程、Citation Integrity的声明提取和判断标准、以及KIC和RQ的协议生成细节。然而，完全复现面临几个挑战：第一，DREAM依赖外部工具（网页搜索引擎、ArXiv、GitHub），这些工具的返回结果随时间变化，因此不同时间复现可能得到不同结果——这恰恰是DREAM强调的时间敏感性特征；第二，论文使用Claude Sonnet 4.5作为主要的评估骨干LLM，需要相应的API访问权限和费用；第三，实验中使用的DRA报告（来自LangChain Open DR、Smolagents Open DR、Tongyi Deep Research）是否公开可获取尚不确定。好消息是，论文声称的跨骨干模型鲁棒性（DeepSeek-V3.2和KiKi-K2.5产生一致排名）意味着复现者可以使用不同的LLM而仍能得到相似的相对结论。对于资源有限的研究者，建议从KIC和WQ两个相对简单的指标开始复现，它们分别代表了自适应指标和静态指标的核心思想。
论文图表
