DAGent：面向深度研究智能体的评估后生长式 DAG 规划 DAGent: Evaluate-then-Grow Planning for Deep Research Agents

完整流程（算法 1）如下。第一步，初始化空图 $G=(\varnothing,\varnothing)$，首批节点仅由任务描述规划（这是唯一一次无证据规划，刻意保持小规模）。第二步，进入迭代循环（每任务上限 $K=30$ 轮，每轮为一层）：Orchestrator 读取任务与当前图状态，输出状态评估 $S_k$ 和新节点批 $V_k^{new}$；新节点携带 id（search/refine/answer 三类，如 t1、t1_refine1、t_answer）、自包含描述、给 Executor 的提示和依赖列表。第三步，批内无依赖关系的节点并行执行：每个 ReAct Executor 的上下文按 Selective Propagation 策略构建——默认只拼接直接依赖节点的 QueryDoc（上下文规模由 fan-in 决定而非图深度）；每个上下文的 prompt 上限 8192 token、响应（含工具输出）上限 32768 token；Executor 配备搜索、网页打开等工具，单子任务最多 200 轮、评估超时 600 秒。第四步，若紧凑摘要不够用（如需要原文措辞或被否决的候选），Executor 调用 $E=\text{Recall}(v_j, goal, T_j)$：一个语言模型从直接依赖 $v_j$ 的完整 InteractionTranscript 中按 goal 抽取聚焦证据片段，且回溯结果是备用通道而非默认通道。第五步，节点输出 QueryDoc 并存档轨迹，Orchestrator 在下一轮评估并生长，直到调度单独成批的 answer 节点，返回其 QueryDoc 的答案字段。RL 训练时（DAGRPO），每任务采 $G=8$ 条 on-policy 轨迹，LLM judge 给轨迹级 $R(\tau)\in\{0,1\}$，按公式 (5)(6) 以 DAPO 式非对称 clip（$\epsilon_\ell=0.20, \epsilon_h=0.28$）优化，LoRA rank 64、AdamW 学习率 $1\times10^{-5}$、2×H200 上训练 21 步。

技术新颖性有四点。第一，规划范式层面：作者论证 Evaluate-then-Grow 与 Plan-then-Patch 的区别在于决策时机与决策时的信息量，而非一次调用产出多少节点——Flash-Searcher 一次分解调用、FlowSearch 多轮 planner 迭代，都发生在执行前；DAGent 中包括 answer 节点在内的每个节点都在其依赖执行并评估之后才被创建。同架构消融（表 2）证明仅改这一时机就损失 5.3/4.8/4.0 分，完全 upfront 规划再损失 8.7/7.8/6.0 分。第二，RL 层面：与 DeepPlanner 的熵塑形、Graph-GRPO 的固定通信拓扑、M-GRPO 的纯角色信用、CCPO 的反事实移除相比，DAGRPO 的拓扑条件信用依赖'rollout 是否喂给 answer 节点'这一仅由 append-only 轨迹决定的结构事实，且作者论证该信号不可被训练时膨胀依赖边所利用（额外每条边都会把无关 QueryDoc 塞进下游上下文从而损害准确率）。第三，工程层面：Selective Propagation + RECALLTOOL 的分层上下文把每节点上下文规模与图拓扑（fan-in）绑定而非总轨迹长度，按需回溯完整轨迹（附录统计：仅 11.0–22.0% 任务触发 recall）。第四，实证层面：增益跨三个基准、四个厂商骨干和 GPT-5@327K 复现，且效率分析表明增益来自更精准的证据扩展而非更多计算——Plan-then-Patch 变体反而多花 40/29/18% token。

弱点一：可靠性信号是自报的。QueryDoc 的 $\text{conf}_i\in[0,1]$ 与 $\text{unc}_i$ 由 Executor 自己生成，论文没有校准实验（如置信度与实际正确率的相关性）；若 8B 级模型过度自信，Uncertain 节点会被误判为 Success 而跳过 refine。改进方向：用检索证据的覆盖率、来源一致性等客观指标校准置信度，或像校准 LLM judge 一样对自报置信度做温度缩放。弱点二：闭包信用是粗糙的结构代理。链上/链外的二值划分不区分链上节点贡献大小（一个只提供背景的祖先与一个提供关键事实的祖先同权），且多父节点均分使信用进一步稀释。改进方向：在闭包内按子节点对 QueryDoc 的实际引用率加权，或用消融式重打分做更细粒度归因。弱点三：负面证据处理依赖 refine 预算上限。3 次尝试后'接受缺口继续前进'，在 BrowseComp-Plus 的 hard 分段（最高也只有 22 分@235B）上，检索不到的证据无从补偿；改进方向：把搜索预算动态转向替代信息源（如本地语料 vs 网页），或引入假设驱动的反向验证节点。弱点四：RL 验证规模小。仅 8B/LoRA/21 步，$\alpha=0.5$ 的峰值可能是该小规模下的偶然最优；改进方向：在 32B 或全参微调下复跑 $\alpha$ 扫描，并检验 $K_{proc}$ 上限的敏感性。弱点五：多智能体逐节点上下文的固定开销。表 10 显示 Flash-Searcher 这类单轨迹系统在低成本端仍有一席之地（虽准确率低 8.6–10.6 分），DAGent 在简单任务上可能过度工程化；改进方向：引入复杂度估计器，简单查询退化为单轨迹执行。

作者提出的方向：在循环内原生处理多模态证据（改动 Orchestrator 的证据评估方式与 Executor 的轨迹表示）；DAG 内的逐节点因果归因（作者明确说这是开放问题）；把评测扩展到开放式报告生成任务。基于成果可延伸的方向：（1）把 DAGRPO 的拓扑信用从二值闭包推广为连续的贡献权重，例如学习一个轻量归因头预测每条边对最终答案的边际贡献，与 reachability 信号互补；（2）将 Evaluate-then-Grow 与 test-time scaling 结合——由于图是逐批生长的，可以在每个分支上维持多个假设并按证据淘汰，天然支持 best-of-N 式的分支级采样；（3）训练一个显式的'规划价值模型'替代 Orchestrator 的自评估，用已完成批次的评估结果作为监督信号；（4）把 RECALLTOOL 的按需回溯推广为跨任务记忆检索，让历史任务的 InteractionTranscript 成为可复用证据库；（5）在更大模型与全参微调下检验 DAGRPO，特别是探索 $\alpha$ 的退火调度（训练早期 $\alpha\to1$ 保证探索、后期衰减聚焦链上）；（6）把结构合规校验器扩展为可微或可学习的约束，使 Orchestrator 内化规划规范而非依赖外部惩罚。

复现条件较好。代码已开源（https://github.com/hanwenliu6825/DAGent），附录 G 逐字给出了 Orchestrator/Executor/Recall 提取与三个 LLM judge 的全部提示词，附录 C 列出全部框架参数（上下文 8K+32K、迭代上限 30、单子任务 200 轮、每线 3 次尝试等）与基线预算（表 6），附录 E.1 给出全部三种子逐种子数值，配置写入每条结果记录。数据与工具栈全部公开可得：BrowseComp-Plus 用 Qwen3-Embedding-8B 本地稠密检索 + 官方 680/150 划分，GAIA 用 Serper Google 搜索 + Jina 页面抽取，xbench-DeepSearch 同栈；训练仅需 2×H200、LoRA rank 64、21 步更新（每批 32 任务、每任务 8 rollouts），是普通实验室可负担的规模。主要门槛在于：(1) RL 训练依赖异步 vLLM rollout 的工程搭建（基于 VeRL，默认参数可继承）；(2) LLM judge 需 GPT-4o-mini + GPT-4.1 tie-breaker 及作者的三套 prompt，评测成本主要是推理调用（每任务 0.44–1.20M token）；(3) 训练自由模式下主干模型需支持 32K 子任务预算；FlowSearch 基线需按附录 C.3 的三处修改（角色模型替换、启用 Coordinator、限制工具集）才能公平对比。总体难度中等：推理复现容易，RL 部分需要对 VeRL/GRPO 训练栈有操作经验。