← 返回 2026-06-09

DuMate-DeepResearch:基于递归搜索与标准锚定推理的可审计多智能体深度研究系统 DuMate-DeepResearch: An Auditable Multi-Agent System with Recursive Search and Rubric-Grounded Reasoning

Lingyong Yan, Can Xu, Yukun Zhao, Wenxuan Li, Qingyang Chen, Jiulong Wu, Wenli Song, Xiangnan Li, Weixian Shi, Yiqun Chen, Xuchen Ma, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Jianmin Wu, Dawei Yin 📅 2026-06-05 👍 7 2026-07-13 08:36
RAG增强 动态规划 多智能体系统 深度研究 长文本合成

解耦架构加图动态规划加递归两级执行加标准锚定推理的高质量深度研究框架

前置知识

检索增强生成(RAG)

检索增强生成是一种将大型语言模型与外部知识库结合的技术,通过检索相关文档片段并将其作为上下文提供给生成模型,从而克服语言模型静态知识的局限性。传统检索增强生成通常遵循检索、重排序、生成的流水线,适用于短答案问答场景。在深度研究任务中,检索增强生成需要扩展到多轮迭代、多源交叉验证和长篇报告合成的复杂场景,以满足深度研究对证据广泛性、准确性和综合性的要求。

DuMate-DeepResearch在传统检索增强生成基础上进行了大量扩展和创新,理解检索增强生成的基本原理是理解其递归两级检索和多源证据整合机制的基础。检索增强生成为深度研究提供了连接语言模型与外部知识的桥梁,而DuMate-DeepResearch将这个桥梁扩展成了一个完整的、可审计的研究工作流。

ReAct范式

ReAct(Reasoning and Acting)是一种将推理与行动交替执行的智能体交互模式。智能体首先生成推理步骤,例如说明需要搜索某信息,然后执行相应工具调用,如搜索引擎查询,再基于工具返回的结果生成新的推理步骤,如此循环直至完成目标。这种范式让智能体能够在推理过程中动态调整策略,而不是一次性生成所有计划,从而提高了对不确定性和环境变化的适应性。

DuMate-DeepResearch的图动态规划是对ReAct范式的重大改进和创新,对比两者差异有助于理解为什么传统逐步推理在长视野任务中存在局限性。ReAct范式提供了智能体与工具交互的基础框架,而DuMate-DeepResearch则在此基础上引入了全局视角和动态调整能力。

有向无环图(DAG)

有向无环图是由有向边连接的顶点集合,且不存在从任一顶点出发经过若干条边后又回到该顶点的路径。在任务规划场景中,有向无环图可用于表示任务之间的依赖关系,节点代表子任务,有向边表示后者依赖于前者的依赖约束。有向无环图结构天然支持并行调度,只有当一个节点的所有前置依赖都完成后,该节点才能被执行,这种特性使得有向无环图成为表示复杂研究任务的理想数据结构。

DuMate-DeepResearch的核心创新之一就是用有向无环图表示研究路线图,理解有向无环图的特性(拓扑排序、依赖约束、并行执行)对理解其动态规划机制至关重要。有向无环图不仅提供了任务依赖的数学表示,还支持了系统的粗到细扩展和动态重新规划能力。

标准锚定推理

标准锚定推理将原本用于事后评估的质量标准转化为生成过程中的实时推理脚手架。传统做法是生成报告后用标准进行评分,例如评估证据是否充分、逻辑是否连贯,而标准锚定推理则将这些标准以可执行指令的形式注入到生成过程中,例如要求在提出每个主张前必须引用至少两个独立来源的数据,迫使模型在推理时主动遵守约束而不是事后被惩罚。这种转换将评估信号从被动反馈转变为主动引导。

这是DuMate-DeepResearch的核心创新之一,理解这一概念转换有助于理解其如何实现事实准确性和自适应停止机制。标准锚定推理将评估和生成本质上统一起来,使得质量保证成为推理过程的一部分而非后续的独立步骤。

递归执行

递归执行是指一个程序或智能体在执行过程中调用自身来解决规模更小的子问题。在多智能体系统中,递归执行表现为外层智能体将复杂任务分解为子任务,并派生内层智能体(使用相同的架构和规划逻辑)来执行这些子任务,每个内层智能体可能再次递归派生更内层的智能体。这种设计实现了分而治之的策略,同时保持了架构的一致性,使得系统可以处理任意复杂度的任务而不需要为每个复杂度级别设计专门的架构。

DuMate-DeepResearch的递归两级执行是其实现稳定执行的关键,理解递归原理有助于理解为什么这种设计能够隔离噪声和错误。递归执行将复杂问题自然地分解为可管理的子问题,同时保持了全局策略的一致性和局部执行的自主性。

研究动机

现有的深度研究系统在实际应用中面临四个相互关联的核心挑战,严重限制了其在真实场景中的可靠性。首先是长视野规划和动态范围定义问题:一个研究问题会自然展开为数十个相互依赖的子问题,其范围在开始时通常是未定义和模糊的,只有在证据积累时才逐渐清晰。传统的ReAct式逐步推理策略本质上是短视和局部的,它们只优化局部下一步而缺乏对整个轨迹的全局表示,会在无界探索和过早收敛之间反复振荡,当工具失败或新证据推翻早期前提时无法连贯地调整策略。其次是复杂任务分解和调度瓶颈:即使有了合理的全局规划,在执行层面往往仍然会出现严重问题。单一的扁平智能体很难同时处理高层任务分解与每个子任务所需的细粒度分解、调度和噪声处理,因为每个子问题本身可能涉及在充满死链、应用程序接口失败和无关或矛盾返回的随机网络环境中的许多多步检索操作,将全局策略和局部检索纠缠在一起会让单个局部失败传播并级联到全局轨迹。第三是幻觉缓解和事实基础挑战:在动态、多源证据流上维持严格的事实保真度极其困难,因为语言模型倾向于生成看似合理但未经证实的信息,而且智能体还需要有明确的原则来判断累积的证据何时足以停止探索,过早停止会导致信息不完整而过晚停止则浪费资源。最后是过程可解释性和可审计性不足:为了在高风险领域信任深度研究系统,其自主推理过程必须是可检查的,系统应该将其决策轨迹、工具调用和行动路径外化为明确的、可审计的工件,就像严谨研究论文的方法附录一样透明,但现有系统在这方面往往缺乏系统性考虑。

本文的目标是本文的核心目标是构建一个端到端的多智能体研究框架,能够可靠地处理复杂、开放的研究任务。具体来说,系统需要具备四个核心能力:第一,长视野动态规划能力,能够维护全局前瞻路线图并在信息状态演化时重新定义范围和重新规划,而不是一次性确定一个固定计划;第二,稳定的任务分解和执行能力,能够将高层策略与局部检索完全分离,将噪声和错误严格限制在子任务边界内,防止局部失败破坏全局执行;第三,事实准确的基础生成能力,能够在生成每个重要断言时都根据可验证证据进行校准,并能够在证据明显充分时精确停止探索而不是依赖固定预算或启发式规则;第四,透明的过程可审计性,能够使用户能够检查最终报告以及产生该报告的整个过程,包括每一个规划决策、每一次工具调用、每一条证据来源,从而在高风险领域建立必要的信任。系统需要在这四个维度上同时取得突破,才能满足真实世界深度研究任务的需求。

与已有工作不同的是,本文的独特切入角度在于将深度研究框架的基础设施设计与认知机制设计紧密结合,形成一个自底而上的完整系统。大多数现有工作要么关注单点改进,例如设计更好的检索策略或更好的评估指标,要么采用集成但缺乏架构创新的方案,简单地将现有组件拼接在一起。本文则从底层架构出发,设计了Qianfan Agent Foundry这一将Agent Core(认知核心)与Tool Ecosystem(执行生态)解耦的基础设施,在此基础上引入了三个协同工作的认知机制:图动态规划提供全局路线图和自适应调整能力,递归两级执行隔离噪声并稳定局部检索,标准锚定测试时优化连接规划与生成并提供自适应停止条件。这三个机制不是孤立的改进,而是在统一的状态转移框架下相互增强,图规划为递归执行提供结构支撑,递归执行为标准锚定提供执行基础,标准锚定为图规划提供质量反馈。这种系统性的设计思路使得每个决策和工具调用都成为可审计的工件,直接解决了过程透明度的挑战,而大多数现有系统在这方面缺乏系统性的考虑。此外,本文将深度研究流程形式化为一个可审计的、基于证据的状态转移系统,用数学符号精确描述了规划、执行、证据累积和标准更新的交互,这种形式化的系统设计在深度研究领域较为罕见,为后续研究和改进提供了坚实的理论基础。

核心方法

DuMate-DeepResearch的方法整体思路可以概括为解耦架构加动态规划加递归执行加标准锚定的四层协同设计。最底层是Qianfan Agent Foundry基础设施,它将Agent Core(负责理解、规划和调度)与Tool Ecosystem(负责检索、证据获取和报告渲染)解耦,这种分离不仅使认知和工具能够独立演进,还将每个规划决策和工具调用暴露为可检查的工件,直接解决了深度研究的透明度和可审计性挑战。在Foundry之上,系统引入了图动态规划算法:将研究路线图表示为动态有向无环图,以粗到细的方式扩展,并通过反思、重新规划、回溯和并行分支持续修订。与短视的逐步ReAct推理不同,这个图维护了整个轨迹的全局、前瞻视图,并在工具失败或新证据推翻早期假设时重新思考策略,而不是盲目继续执行或完全重新开始。第三个核心机制是递归两级执行:外层Research Agent将每个复杂的搜索子任务委托给内层Search Agent,后者自己是一个完整的Foundry Agent,运行自己的规划-执行循环。这种嵌套将嘈杂的多步检索与高层研究策略完全隔离,使得单个失败的搜索不会破坏全局轨迹,也不会影响其他并行执行的子任务,这是系统稳定性的关键保证。最后一个机制是基于标准的测试时优化:系统动态合成问题特定的评估标准,并将它们用作推理时的实时脚手架来支持基于证据的合成,同时提供自适应停止标准。整个系统运行在统一的状态转移循环中:在每个迭代t,智能体维护研究状态st等于尖括号z、pt、et、rho_t,其中z是固定任务上下文(研究主题和报告大纲),pt是当前研究计划,et是累积的证据库,rho_t是当前指导信号。每个周期规划一组可执行动作,执行它们以获得新收集的证据,并将新信息和更新的指导反馈到状态中,直到停止谓词成立后,Writer将长篇报告从累积证据中合成出来,整个过程是完全可审计和可追溯的。

DuMate-DeepResearch的核心创新点在于将深度研究流程形式化为一个可审计的、基于证据的状态转移系统,并通过三个相互协同的机制解决了长视野推理的核心挑战。与已有方法的本质区别在于:大多数现有系统要么采用单一的扁平智能体架构,如OpenAI DeepResearch的集成设计,要么采用流水线架构,如n8n工作流,要么使用ReAct式逐步推理。这些方法在处理长视野、动态范围的研究任务时存在固有限制,要么缺乏全局视角,要么难以隔离局部噪声,要么无法动态调整策略,要么过程不够透明。DuMate-DeepResearch的创新在于:第一,用有向无环图结构表示研究路线图并维护全局状态,实现了从短视逐步推理到前瞻规划的跨越,使得系统能够理解整个研究轨迹而不仅仅是当前步骤;第二,通过递归两级执行将高层策略与局部检索完全分离,实现了真正的错误隔离和稳定性保证,单个子任务的失败不会影响全局执行;第三,将评估标准从事后信号转变为推理时的实时脚手架,将停止条件从固定预算变为基于证据充分性的自适应判断,使得系统能够根据实际证据状态决定何时停止而不是依赖预设参数。这三个创新的本质区别在于它们不是孤立的改进,而是在统一的状态转移框架下相互增强,形成了一个能够自适应、自修复、自审计的完整系统,每个组件都在为其他组件提供支持并从其他组件获得反馈。此外,系统将整个过程形式化为可审计的状态转移,用数学符号精确描述了规划、执行、证据累积和标准更新的交互,这种形式化的严谨性在深度研究领域是相对罕见的,为系统的可靠性和可维护性提供了理论基础。

方法步骤详情

DuMate-DeepResearch的方法步骤完整描述如下,整个过程形成一个闭环的、可审计的研究工作流。输入是用户查询q,系统首先通过Router模块进行任务理解和分析,提取核心研究主题并将其整合为结构化表示,例如标准JSON格式。Router还充当智能用户界面:如果初始查询模糊或不完整,Router会主动提示用户进行澄清,确保研究轨迹与用户期望保持一致。接着,Planner模块基于结构化任务表示分析当前知识状态,识别关键的认知空白和知识缺口,然后将总体目标战略性地分解为可处理的关键研究问题和可操作的子问题。Planner选择要使用的具体工具并生成执行所需的相应参数,这一过程是基于对任务需求、工具能力和当前证据状态的综合判断。系统进入粗到细的扩展阶段:首先进行宏观级别的探索性检索阶段,以映射研究空间并建立初步的认知框架,使用t_c表示这个初始粗探索阶段完成的检查点,对应的证据库被Writer用来构建固定大纲O。然后系统转换到细粒度阶段,在定义的子主题中系统地深入收集有针对性的证据,这个渐进式分解和整合机制随着证据积累细化研究范围,校准广度和深度之间的边界而不失去焦点,避免了过早收敛或无界探索的问题。形式上,研究路线图在规划迭代t时被形式化为有向无环图结构的计划pt等于Vt、Et,其中每个节点v属于Vt是一个携带元组d(v)、chi(v)的子任务,d(v)属于正整数是其其在粗到细层次中的深度(较小值表示更广泛的探索性子任务),chi(v)属于0、1是二进制执行状态,有向边u、v属于Et记录v依赖于u。调度器只调度就绪前沿Ft,即其依赖都已满足的未执行子任务,这种依赖感知的调度确保了任务执行的顺序正确性和并行执行的安全性。在每个里程碑(节点),智能体评估中间结果是否符合预期,当出现异常时修剪死分支,调整后续策略,并重新规划替代路径,这种反思式决策使得系统能够适应不确定性。每个候选动作首先通过轻量级反思门,然后才调用任何工具,被拒绝的动作在批评者反馈下进行有限轮数的修订,这种预防性质量控制避免了执行无效或有害的操作。当执行动作涉及开放式的检索子任务时,外层执行模块不直接调用搜索工具,而是派生一个内层Search Agent。这个智能体遵循相同的Foundry抽象,有自己的Router、Planner和执行模块,但针对单个子任务操作本地搜索状态。它决定如何搜索:制定和重新制定查询,调用Tool Ecosystem的检索工具,并合并返回的证据直到该子任务被充分覆盖,然后返回证据列表和摘要,这些被附加到当前周期的Delta et。系统同时维护两种类型的标准:定义稳定的、主题级别质量维度并在会话中统一应用的持久标准rho_p,和从最新检索信息派生的捕获瞬态标准的临时标准rho_et。初始化操作从研究主题和报告大纲生成持久标准rho_p等于G_p(x, O),更新操作在每个周期结束时刷新临时标准rho_et加1等于G_e(O, e_t加1),以便针对当前证据状态暴露的最决策相关的空白,并与演化的计划保持步调一致。Planner和Search Agent在迭代研究期间使用完整活动标准rho_p、rho_et,而Writer在最终合成期间只消耗持久报告阶段标准rho_p,这种分层标准使用策略避免了动态证据约束对报告写作的干扰。循环在前沿耗尽或Planner发出终端合成动作时停止,然后Writer从累积证据合成长篇报告y,整个过程是完全可审计的,每个决策、每个工具调用、每条证据都被记录和追踪。

技术新颖性

DuMate-DeepResearch的技术新颖性体现在多个维度,从架构设计到算法创新都有实质性突破。在架构层面,它提出了Qianfan Agent Foundry这一将认知核心与执行生态解耦的基础设施,这种解耦不仅实现了模块独立演进和灵活扩展,还将每个决策轨迹暴露为可审计工件,直接解决了深度研究的透明度和可审计性挑战,这是大多数现有系统缺乏系统性考虑的方面。大多数现有系统要么使用紧密集成的单体架构,如OpenAI DeepResearch,要么使用顺序连接阶段的流水线架构,如n8n工作流,要么使用难以审计的黑盒集成方案,Foundry的解耦设计在这些方案之间找到了平衡点,既有统一控制流,又保证可扩展性和工具可扩展性,而且全程可审计。在规划算法层面,它提出了图动态规划,将研究路线图表示为动态有向无环图并通过单个重新规划操作符Pi统一处理扩展、反思式重新规划和自适应停止,这比传统的逐步ReAct推理或固定计划分解有本质区别和显著优势。形式化地将扩展、反思式重新规划和自适应停止转换为单一可审计更新规则是该工作的新颖性之一,这种数学形式化为系统的分析和改进提供了坚实基础。在执行模式层面,它提出了递归两级执行,将Foundry范式递归实例化,外层规划智能体将深度研究任务分解为子任务,每个复杂的搜索子任务又由内层搜索智能体(本身是具有自己规划-执行周期的完整Foundry智能体)解决,这种嵌套将嘈杂的多步检索与高层策略隔离,防止单个失败的搜索破坏全局轨迹,这是在技术上可验证的稳定性保证,也是对传统扁平智能体架构的实质性改进。在推理优化层面,它提出了基于标准的测试时优化,将评估信号转换为推理时的实时脚手架,并设计了持久标准和临时标准的双轨机制,使Planner和Search Agent使用活动标准进行决策,而Writer使用持久标准进行合成,这种分层标准策略在现有工作中未被系统探索,是连接评估和生成的创新方法。最后,整个系统被形式化为统一的状态转移框架,用数学符号精确描述了规划、执行、证据累积和标准更新的交互,这种形式化的系统设计在深度研究领域较为罕见,为系统的理论分析和实际实现提供了坚实基础。综合而言,DuMate-DeepResearch的技术新颖性不在于单个组件的改进,而在于系统性地将架构创新、算法创新和机制创新整合到一个可审计、可扩展、可靠的深度研究框架中。

The illustration for the Qianfan Agent Foundry.
Figure 1: The illustration for the Qianfan Agent Foundry.
The illustration for dynamic planning and test-time optimization.
Figure 2: The illustration for dynamic planning and test-time optimization.
The illustration of deep execution path graph planning and reflection.
Figure 3: The illustration of deep execution path graph planning and reflection.
Coarse-to-fine expansion in Case A.
Figure 4: Coarse-to-fine expansion in Case A.
Rubric propagation in multi-agent collaboration.
Figure 6: Rubric propagation in multi-agent collaboration.

实验结果

DuMate-DeepResearch在两个深度研究基准测试中均取得了最佳性能,充分展现了其设计的有效性和实用性。在DeepResearch Bench上,系统实现了百分之五十八点零三的最佳综合得分,超过了第二名ZTE Nebula DeepResearch的百分之五十七点二七,相对提升约百分之一点三三。在单个评估维度上,DuMate-DeepResearch在全面性(百分之五十九点四八)和洞察力(百分之六十一点四八)方面排名第一,分别比第二名高出百分之零点九零和百分之一点三四,这表明系统在信息覆盖和分析深度方面具有显著优势。在指令遵循(百分之五十三点八七)和可读性(百分之五十四点三四)方面排名第二,与顶级系统的差距在百分之零点二至百分之零点七之间,表明系统在满足用户指令和报告可读性方面也保持了很强的竞争力。这些结果表明DuMate-DeepResearch能够有效地获取和合成信息,并生成全面、有洞察力和结构良好的高质量报告,在所有关键维度上都达到了领先水平。在DeepResearch Bench II上,该系统实现了百分之六十一点九五的最佳综合得分,超过了最强基线iFlow-Researcher百分之二点零四,相对提升约百分之三点四零。它在信息召回(百分之五十七点五八)和分析(百分之七十一点七零)方面排名第一,分别比第二名高出百分之二点五九和百分之一点八零,这表明系统在获取关键证据和执行基于证据的深度分析方面具有卓越能力。在表现(百分之八十九点八九)方面保持竞争力,表明系统在报告结构化程度和可读性方面也达到了很高水平。基于标准的评估表明系统特别擅长获取关键证据和执行基于证据的合成,这两个能力直接受到图动态规划和多轮检索机制的影响,验证了核心设计的有效性。消融研究显示移除报告阶段的标准会导致所有维度的适度但一致的下降(综合:百分之五十八点零三降至百分之五十七点六一,下降百分之零点四二),其中洞察力(下降百分之零点七五)和全面性(下降百分之零点四七)的下降最大,表明标准锚定对分析深度和质量控制有显著影响。进一步从规划和研究阶段移除标准只产生微小的额外下降(综合:百分之五十七点五三,比仅报告阶段移除再降百分之零点零八),这种不对称性表明标准的主要价值在报告合成时实现,它作为基于证据的实时脚手架支持主张生成,而不是在早期的信息收集阶段。报告阶段模型的替换产生了比标准移除大得多的质量差异,证实合成模型是管道中影响最大的单一组件,这提示未来工作应该继续提升报告生成模型的能力。定性案例研究展示了粗到细扩展的实际效果:在关于低代码无代码平台对传统软件开发影响的查询中,系统首先执行两个并行探索性搜索任务以映射宏观格局,然后生成八章结构化大纲,进而将研究扩展为跨越三个深度层的十四个有针对性的子任务,体现了系统在复杂任务分解和执行方面的能力。关于新能源汽车动力总成商业化阈值的三维评估框架构建案例展示了图动态规划和反思的实际效果:规划器构建了一个包含十八个节点的四层有向无环图,在每个调度周期执行明确的质量评估,能够确认在推进到依赖任务之前有足够的证据、在检测到空白时动态注入额外搜索、以及在早期结果已经满足要求时修剪不必要的分支,这表明系统能够进行自适应的质量控制和资源分配。关于新能源汽车电驱动单元空心电机轴制造技术选项的案例展示了搜索智能体内的多轮检索:单个搜索任务执行六个内部轮次共四十多个查询,通过多公式查询扩展、渐进特异性和工具多样化实现了三种检索策略,这表明系统能够进行深度和全面的证据获取。标准锚定推理的实际效果显示,系统在最终输出中产生条件化的、源校准的结论,例如百分之三百至百分之五百的效率提升应被视为供应商声明的上限而非企业实际可达到的中位数,这表明系统具有事实校准和 nuanced 分析能力。三个案例研究的输出质量指标显示报告分别包含一百一十四、一百九十六、二十一个引用,规划迭代分别为二、三、十一次,总子任务分别为十七、十八、二十七个,所有报告都展现了多源交叉验证、条件化结论、定量建模、自适应深度和完整引用轨迹等关键质量特征,验证了系统在实际应用中的有效性。

Performance of different deep research models/systems on the DeepResearch Bench.
Table 1: Performance of different deep research models/systems on the DeepResearch Bench.
Performance on DeepResearch Bench II.
Table 2: Performance on DeepResearch Bench II.
Ablation study results on DeepResearch Bench.
Table 3: Ablation study results on DeepResearch Bench.
Output quality metrics for all three case studies.
Table 4: Output quality metrics for all three case studies.
查看结构化数据
任务指标本文基线提升
DeepResearch Bench (综合评估) 综合得分 58.03% ZTE Nebula DeepResearch (57.27%) +0.76%
DeepResearch Bench (全面性) 全面性得分 59.48% ZTE Nebula DeepResearch (58.58%) +0.90%
DeepResearch Bench (洞察力) 洞察力得分 61.48% ZTE Nebula DeepResearch (60.14%) +1.34%
DeepResearch Bench II (综合评估) 综合得分 61.95% iFlow-Researcher (59.91%) +2.04%
DeepResearch Bench II (信息召回) 信息召回得分 57.58% Xiaoyi DeepResearch 6.0 (53.05%) +4.53%
DeepResearch Bench II (分析能力) 分析能力得分 71.70% Xiaoyi DeepResearch 6.0 (69.90%) +1.80%

局限与改进

本文的工作也存在一些值得注意的局限性,这些局限性也为未来改进提供了方向。首先是检索后端的局限性:系统主要依赖百度搜索作为主要检索后端,虽然执行模块将检索暴露为一组结构化操作,包括查询扩展、网络搜索、直接URL爬取、页面内容提取和证据规范化,但检索质量仍然受到搜索引擎覆盖范围、索引延迟和搜索结果排序偏差的影响。如果关键信息存在于未被索引的网站、付费数据库或需要特殊访问权限的系统中,系统可能无法获取这些信息,从而影响报告的全面性和准确性。其次是计算成本和延迟:递归两级执行和多轮检索虽然提高了稳定性,但也引入了额外的计算开销和时间延迟。外层规划循环运行最多十五次迭代,每个内层Search Agent执行最多十次检索轮次,每轮生成最多三个子查询每个查询返回三个结果,这种设计在保证质量的同时可能不适合对延迟敏感的实时场景,特别是当用户需要快速获得初步结果时。第三是模型依赖性:消融研究表明报告阶段模型的替换对最终质量有显著影响,深度搜索V4 Pro虽然最接近完整系统但在可读性方面有明显缺陷,GLM 5.1保持了强大的可读性但在全面性和洞察力方面有显著下降,这表明系统的性能在很大程度上依赖于底层语言模型的能力。如果使用的能力较弱的模型,系统的性能可能会显著下降,这限制了系统在资源受限环境中的应用。第四是标准的生成质量:虽然系统设计了持久标准和临时标准的双轨机制,但标准本身是由语言模型生成的,可能存在生成标准不够精确或不一致的风险,特别是在研究主题非常专业或跨领域的场景中,语言模型可能无法生成足够准确和全面的质量标准。第五是评估基准的局限性:虽然系统在两个基准测试中表现出色,但这些基准测试主要关注文本报告的生成质量,对于多模态深度研究任务,如需要处理图像、视频、音频或代码的任务的评估能力尚未验证,系统在这些场景下的表现可能是未知的。最后,系统假设网络环境相对稳定且可访问,但在实际应用中可能面临网络限制、应用程序接口限流、内容屏蔽或地理位置限制等问题,这可能影响系统的可靠性和可用性,特别是在某些地区或网络环境下。

独立分析的弱点

DuMate-DeepResearch的独立分析弱点主要集中在特定场景下,这些场景暴露了系统设计的盲点或限制。第一,在需要深度领域专业知识的研究任务中,系统的表现可能受限。虽然Search Agent可以通过多轮检索不断细化查询,但如果某个领域的专业知识散落在付费数据库、学术期刊内部、行业报告或需要特定应用程序接口访问权限的系统中,系统可能无法获取足够的高质量证据,从而影响报告的专业性和准确性。例如,在医学法律或金融领域,许多关键信息存在于需要订阅的专业数据库中,系统可能无法访问这些资源,导致报告不够全面。改进方向是扩展Tool Ecosystem以包含更多领域特定的数据源和应用程序接口,如学术数据库订阅接口、专利检索应用程序接口、行业报告获取渠道、专业领域知识库等,从而提高系统在专业领域的能力。第二,在需要实时数据的研究任务中,系统的表现可能不稳定。搜索索引的延迟意味着最新发布的新闻、政策变化、市场数据或突发事件可能尚未被索引,导致报告中的信息过时或不准确,这在需要实时信息的研究场景中是一个严重问题。改进方向是集成实时数据源,如新闻应用程序接口、市场数据流、社交媒体监控、政府公告接口等,并建立时间戳感知机制,优先选择最新来源并在报告中明确标注信息的时效性,让用户能够评估信息的当前有效性。第三,在需要复杂计算或模拟的研究任务中,系统的能力有限。虽然系统可以执行一些轻量级的语言模型推理操作,如证据去重、合并和交叉验证,但对于需要运行代码、执行统计模型、进行数值模拟或处理大规模数据集的任务,系统无法直接完成,这限制了系统在需要定量分析的研究场景中的应用。改进方向是增强Sandbox工具的能力,支持代码执行、数据分析库和统计建模工具,使系统能够在需要时执行复杂计算,从而扩展系统的定量分析能力。第四,在需要跨语言检索的研究任务中,系统的语言依赖性可能成为瓶颈。虽然DeepResearch Bench包含中英文任务,但如果研究主题涉及小语种资源、多语言文献或需要整合不同语言的信息,系统可能无法有效检索和处理这些内容,导致信息覆盖不全。改进方向是改进多语言查询扩展和跨语言检索能力,支持自动识别相关语言的资源并进行翻译和整合,从而提高系统的多语言处理能力。第五,在需要处理冲突证据的研究任务中,系统的冲突解决机制可以更加显式和系统化。虽然系统可以进行多源交叉验证,但当多个来源提供相互矛盾的信息时,系统需要更明确的冲突检测和解决策略,如根据来源权威性、数据时效性、样本规模、方法论严谨性等因素进行加权决策,或者明确标注冲突并提供多个视角。改进方向是引入显式的冲突检测模块和基于元数据的证据加权机制,使系统能够更系统地处理信息冲突并给出更 nuance 的结论。

未来方向

未来的研究方向可以从多个维度展开,基于DuMate-DeepResearch的成果和局限性可以延伸出许多有价值的研究方向。作者明确提出了三个方向:扩展评估到额外的实时和多模态深度研究基准,通过更丰富的领域特定能力扩展Tool Ecosystem,以及进一步研究基于标准的优化作为训练时和测试时信号。基于DuMate-DeepResearch的成果可以延伸的研究方向包括:第一,将标准锚定推理从测试时优化扩展到训练时优化。目前标准主要用于推理时的实时脚手架和停止条件,未来可以将标准作为强化学习的奖励信号,训练模型在规划、检索和生成阶段内化质量标准,从而减少对显式标准注入的依赖,提高系统的效率和自主性。第二,探索更深层次的递归执行。目前系统采用两级递归,外层Research Agent和内层Search Agent,未来可以探索三层或更多层的递归,例如让Search Agent进一步派生专门的验证Agent或综合Agent,形成更细粒度的职责分工和更复杂的协作模式,从而提高系统处理复杂任务的能力。第三,研究动态有向无环图规划的自动化学习。目前有向无环图的结构和扩展策略主要由语言模型驱动,未来可以学习从历史成功轨迹中抽象出通用的规划模式,形成可重用的规划模板或策略,减少对规划的从头生成依赖,提高规划效率和质量。第四,探索多智能体协作的强化学习训练。目前多智能体之间的协作主要基于规则和提示工程,未来可以通过多智能体强化学习自动学习最优的协作策略,特别是Research Agent和Search Agent之间的任务分配和调度策略,从而提高系统的整体性能和适应性。第五,研究持续学习和在线适应机制。系统目前在每个研究会话中从零开始构建计划和证据库,未来可以探索跨会话的知识复用,将过去的成功计划片段、证据整合模式和报告结构抽象为可重用的组件,从而加速新任务的执行并提高系统的持续学习能力。第六,探索人机协作的模式。虽然系统设计为自主研究,但在高风险领域,如医疗、金融、法律,人类的参与和验证仍然重要。未来可以研究如何设计有效的人机交互界面,让人类专家能够在关键决策点,如计划制定、证据评估、结论形成提供输入和验证,形成增强智能的研究模式,结合人类的专业判断和系统的信息处理能力。第七,研究多模态深度研究能力。目前系统主要处理文本信息,未来可以扩展到图像、视频、音频、代码等多模态信息的处理和合成,从而支持更广泛的研究场景,如视觉分析、多媒体报告生成等。

复现评估

DuMate-DeepResearch的可复现性评估显示系统在公开性和透明度方面表现良好,但在一些方面仍有改进空间。开源情况方面,作者在论文中提供了GitHub链接,表明系统将以开源形式发布,但具体的开源范围,如是否包含完整代码、模型权重、配置文件等,在论文撰写时尚未明确,这可能会影响其他研究者的复现工作。数据方面,系统使用的DeepResearch Bench和DeepResearch Bench II基准测试是公开可用的,前者包含一百个任务涵盖二十二个领域的中英文任务,后者包含一百三十二个任务共九千四百三十个细粒度二元标准,这为结果的独立验证提供了基础。评估协议明确说明系统在报告生成时只获得基准查询,不访问基准参考报告、专家报告或评估标准,特别是对于DeepResearch Bench II,评估标准来源于专家报告,而DuMate-DeepResearch生成的标准是在测试时独立生成的,这确保了评估的公平性和结果的可靠性。算力方面,论文未明确报告训练和推理的具体算力消耗,但从系统架构可以推断推理成本主要来自三个部分:外层规划循环(最多十五次迭代)、内层Search Agent的检索轮次(每个最多十次轮次,每轮最多三个子查询每个查询返回三个结果)、以及最终的报告合成。这种设计虽然保证了质量,但也意味着较高的推理成本,特别是在网络环境不稳定或需要多次重试的场景中,可能会增加时间和资源消耗。实现细节方面,论文详细描述了关键超参数设置:外层规划循环最多运行十五次迭代;每个内层Search Agent执行最多十次检索轮次,每轮生成最多三个子查询每个查询返回三个结果;启用扇出并行执行以便就绪前沿上的独立子任务并发执行。所有报告的DuMate-DeepResearch结果都是三次独立运行的平均值,这为结果的可复现性提供了基础,表明结果不是偶然获得而是稳定的。总体而言,DuMate-DeepResearch的可复现性在公开基准测试、明确实现细节和多次运行平均方面表现良好,但完整的开源代码和模型权重尚未发布,算力消耗相对较高,可能限制资源受限的研究者进行独立复现。未来工作应该进一步提高开源程度,提供更详细的实现文档,并探索降低推理成本的方法,以提高系统的可复现性和可访问性。