DIVE：以证据驱动的多样性扩展提升工具使用智能体的泛化能力 DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use

DIVE 的合成流程分为四个紧密衔接的步骤。Step 1:工具池构建。从 search/browse/code_execution 三个通用原子出发（分别对应 Retrieval 与 Processing 两种工具原语）,再爬取并封装 Finance、Biology、Medicine、Academia 四个专家领域的公开 API,对每个候选工具跑正确性、并发安全性、响应一致性三类单元测试,过滤后得到 373 个稳定工具。Step 2:种子与示例池构建。从 Wikipedia、PubMed、NCBI、Yahoo Finance 四个数据源用 LLM 抽取约 5000 个领域实体作为"语义锚点",并从异构任务族（如数据库查询、数学计算、跨域比对等）收集 query-only exemplars,每个 exemplar 仅携带 query 措辞和隐含的 tool-use pattern 两类结构先验,不携带执行轨迹。Step 3:配置采样与证据收集。在每个合成周期随机抽取 $\mathcal{T} \in [15, 50]$ 个工具、1 个种子、3-5 个 exemplars,初始化当前询问 $Q_0 = S$,证据集 $E_0 = \emptyset$;然后 evidence collector agent 在工具集 $\mathcal{T}$ 限定下做最多 $T_{\max} = 6$ 步推理-调用循环,产出 $\tau_k = (r_1, a_1, o_1, \ldots)$,把其中成功的 $(a_t, o_t)$ 对累加得到 $E_k = \mathcal{F}_{\mathrm{col}}(Q_{k-1}, E_{k-1} \mid \mathcal{T})$。Step 4:任务派生与闭环迭代。task generator LLM 接收 $(Q_{k-1}, E_k, \mathcal{X})$,在一次推理中产出 $(Q_k, A_k) = \mathcal{F}_{\mathrm{der}}(Q_{k-1}, E_k \mid \mathcal{X})$,其中 $Q_k$ 的措辞受 exemplar 启发、$A_k$ 必须严格由 $E_k$ 中的工具输出构成;该 $(Q_k, A_k)$ 立即作为下一轮 $Q$ 的种子,循环 $K=3$ 轮后输出 $(Q_K, A_K, \mathcal{T})$ 三元组进入训练集。由于 $A_K$ 由真实工具返回值直接派生,verifier 通过简单的字符串/数值比对即可实现,极大降低了奖励计算的工程开销。

DIVE 在三个层面具有新颖性。第一,范式层面:首次系统提出"evidence-first synthesis"这一任务合成范式,并形式化其"构造性接地"性质——executable 来自真实工具轨迹,verifiable 来自工具返回值,两者从合成源头被保证而非事后修补。第二,资源建模层面:把合成资源分解为三个解耦的池（tool / seed / exemplar）,并通过独立采样实现组合爆炸式多样性,这是以往固定管线方法无法达到的扩展性。第三,实验层面:首次在受控条件下量化了"多样性扩展 vs 数量扩展"的优劣,发现用 12k 多样性数据即可击败 48k 数量扩展数据,且 RL 阶段会进一步放大多样性带来的泛化收益（4 domain 时 RL-SFT gap 增长到 +5.6,而 1 domain 时仅 +4.6）。此外,本文在结构多样性度量上也颇具新意,首次把 tool-call 抽象为 Retrieval/Processing 拓扑,并构建了 222 类的 R/P 拓扑分类体系用于评估。

独立审视 DIVE,我看到四个值得改进的弱点。弱点一:工具池的领域覆盖仍偏静态。373 个工具来自一次性 Crawl-Validate,无法自动发现新 API;在工具生态快速演进的当下(MCP 协议下每周都有新 server 上线),DIVE 缺少一个持续 ingest 新工具的机制,容易陷入"训练时工具集-推理时工具集"的时间漂移问题。改进方向:引入基于 MCP registry 的自动化监控 + 周期性 mini-validation pipeline,把工具池做成"持续生长"的活体资源。弱点二:多样性受限于 exemplars 的质量与多样性。task generator 完全依赖 exemplars 提供的"query 措辞 + 隐含 tool-use pattern",而 exemplars 是人工/半自动收集的 query-only 数据,本身可能存在长尾覆盖不足。改进方向:在 task derivation 阶段引入 few-shot bootstrapping——用已有 (Q, A, τ) 三元组自动挖掘新的隐含模式,代替人工 curation 的 exemplars。弱点三:K=3 轮迭代深度的代价收益不清晰。论文 Appendix C 提到迭代能增加多样性,但缺少对 K=1, 2, 4, 5 等的消融,无法判断 3 是工程甜点还是真正最优;更深的迭代也可能让 evidence 过度膨胀,导致 task derivation 的 grounding 信号被稀释。改进方向:对 K 做系统性消融,并引入 evidence size 自适应停止准则(例如当新加入的 $(a_t, o_t)$ 与已有证据的 Jaccard 相似度高于阈值时停止)。弱点四:RL 阶段奖励过于稀疏。$R = \alpha R_{\mathrm{format}} + R_{\mathrm{correct}}$ 只在最终答案层面给信号,缺少对中间步骤(如某步工具调用是否必要、是否冗余)的细粒度反馈,这可能是 Toolathlon 上仅得 8.3 分的关键瓶颈。改进方向:引入 process reward 或 step-level credit assignment,例如对工具调用图的每个节点(检索-处理-整合)单独打分。

作者在 Conclusion 中提出了一些方向,基于本文成果可延伸的研究包括:(1) 把 DIVE 范式扩展到多模态工具——例如图像理解、代码沙箱、PDF 解析等,把"证据"从纯文本工具返回扩展到多模态 observation,这对开放域 agent 落地尤为关键;(2) 与 active learning 结合,让 evidence collector 在合成阶段就显式挑选"对当前模型最难的任务"来合成,而非均匀采样配置 $C$,进一步提升 RL 阶段的样本效率;(3) 探索 DIVE 与 retrieval-augmented synthesis 的结合:从外部知识库(如 Wikipedia dump)自动挖掘实体关系作为种子,有望把种子池规模从 5000 扩展到数十万。从我自己延伸的角度,我认为 DIVE 的 evidence-first 思路天然适合与 self-play 框架结合——让 evidence collector 主动与 task generator 博弈,前者尝试"制造难题",后者尝试"生成可解的任务",可能把任务合成的上限推到接近自演化水平。此外,DIVE 当前聚焦单智能体单任务,扩展到多智能体协作场景(一个智能体调度多个 sub-agents 调用不同工具集)是一个自然的下一步,这能让 toolset variety 从"扁平集合"升级为"层级化能力栈"。

DIVE 的复现性整体良好但工程门槛不低。资源层面,373 个真实工具分布在通用、Finance、Biology、Medicine、Academia 五个领域,涉及 NCBI/PubMed、Yahoo Finance、CrossRef、OpenAlex、EDGAR 等公共 API,绝大多数无需付费或仅需免费 key,但部分金融 API 可能存在 rate limit 和稳定性问题,作者通过 Crawl-Validate pipeline 做了单元测试过滤,但复现者仍需自行处理实时 API 变更。代码与数据层面,论文公布了项目主页(https://sheep333c.github.io/DIVE/),但是否完全开源 48k SFT + 3.2k RL 训练数据、teacher trajectories、合成脚本仍需确认;Claude-4-Sonnet 作为合成阶段的 teacher 本身是闭源商业 API,这部分成本不可忽视(每轮 K=3 迭代都需要多次 LLM 调用)。算力层面,Qwen3-8B 的 SFT (300 steps, batch 64, lr 1e-5) 和 RL (100 steps, batch 512, lr 5e-6) 都在论文中明示,推算大致需要 32-64 张 A100 训练 1-3 天,对于有成熟 RL 基建(如 verl/OpenRLHF)的实验室是可负担的,但对个人研究者门槛较高。复现难度评估为"中等偏难":核心算法思路清晰,工程实现细节(如 exemplar 来源、Crawl-Validate 的具体规则、exemplar pool 来源)依赖论文正文外的补充材料,建议复现者先在 Finance 单 domain 上做 K=1 的最小闭环验证再扩展。