← 返回 2026-03-25

AI 智能体能回答数据问题吗？数据智能体的基准 Can AI Agents Answer Your Data Questions? A Benchmark for Data Agents

Ruiying Ma, Shreya Shankar, Ruiqi Chen, Yiming Lin, Sepanta Zeighami, Rajoshi Ghosh, Abhinav Gupta, Anushrut Gupta, Tanmai Gopal, Aditya G. Parameswaran 📅 2026-03-21 👍 4 2026-07-13 08:36

基准评测多数据库集成数据智能体自然语言查询

arXiv HuggingFace PDF

首个面向数据智能体评测的现实多数据库集成基准

前置知识

Text-to-SQL

Text-to-SQL 指将自然语言问题转化为可执行的 SQL 查询语句，传统评估通常基于单个关系数据库，使用清晰的表格和模式，要求模型在给定问题和模式下生成单个正确查询。

本文基准突破了单库单查询的限制，要求多库集成、非结构化文本解析与领域知识应用，因此理解传统 Text-to-SQL 的局限是理解数据智能体现实复杂性的基础。

ReAct

ReAct 是一种推理-行动交替的智能体框架，模型在每轮迭代中先推理下一步该做什么，然后执行工具调用（如数据库查询或代码执行），再将结果加入上下文继续推理。

本文实验使用 ReAct 模式评测多种前沿大模型，理解 ReAct 的循环流程与上下文管理机制有助于分析智能体失败模式与行为差异。

Pass@k

Pass@k 是评估生成式模型在多次独立尝试中至少一次成功的概率指标，常用于代码与智能体评测。给定 n 次尝试中正确次数 c，则 pass@k = 1 - (C(n-c, k) / C(n, k))。

本文以 pass@1 作为主要准确率指标，同时报告 pass@50 曲线，以刻画增加尝试次数对最终成功概率的提升上限，评估可解性与稳定性。

研究动机

企业中用户越来越多依赖数据智能体通过自然语言查询自身数据，但现实数据分散在多个异构数据库中，存在不一致的关联键与隐藏在非结构化文本中的关键信息。现有基准只覆盖问题片段（如 Text-to-SQL 生成、小规模表格问答），未评测从多数据库集成、键格式不匹配、非结构化文本解析到领域知识应用的全流程，缺乏系统定位失败原因和改进方向的能力。

本文的目标是提出首个面向数据智能体评测的现实复杂任务基准 DAB（Data Agent Benchmark），在真实数据库系统上评测智能体完成多数据库集成、键格式不匹配、非结构化文本转化及领域知识应用等能力的端到端表现，以量化当前模型的局限并指导未来开发。

与已有工作不同的是，本文的独特切入角度是基于企业生产环境的形成性研究（与 Hasura 合作），覆盖科技、金融、餐饮、电商、SaaS 和医疗六大行业，提炼出现实数据查询普遍存在的四大挑战：多数据库集成、键格式不匹配、非结构化文本变换、领域知识需求，并据此构建具有可重现性和确定答案的评测基准，填补了现有基准无法覆盖的空白。

核心方法

DAB 采用两阶段构建流程：首先对多家企业数据智能体工作负载进行定性访谈与主题分析，提炼现实数据查询的核心困难特征；然后基于开源数据集，通过系统化数据变换与跨库分布来诱导这些特征，并配有数据描述与 hints 文件。智能体评测采用 ReAct 循环架构，为模型提供列出数据库、执行数据库查询（支持 SQL 与 MongoDB 查询方言）、执行 Python 代码和返回答案四类工具，并通过多轮工具调用迭代求解。

核心创新点是首次将多数据库系统集成、键格式不匹配、非结构化文本解析和领域知识四个属性同时融入端到端评测，并强制智能体在真实数据库系统（PostgreSQL、MongoDB、SQLite、DuckDB）上跨方言协作完成查询，突破了以往只评测查询生成或单库操作的局限。

方法步骤详情

方法步骤包括：1）收集来自多个领域的开源数据集；2）系统化变换数据以诱导属性（如移除某些列并将其值嵌入自由文本列、改变键格式如 id→bid_123）；3）将表格分布到至少两种不同的数据库系统上；4）为每个数据集生成自然语言描述（逻辑库名、系统类型、模式）和 hints 文件（说明变换类型与需处理的键格式、文本解析要求等）；5）为每个查询编写自然语言问题、基于原始数据计算确定真值答案及验证脚本；6）在 ReAct 架构下，给智能体提供四类工具，并在 50 次独立试验中运行，记录 pass@k。

技术新颖性

技术新颖性在于结合了跨数据库异构性、脏键冲突与非结构化文本结构化三大现实难题，并将其统一进可评测的流程；通过使用开源数据并采用可控变换生成真值答案，确保评测可重现性；探索不同智能体的探索-分析策略，并系统分析五类失败模式（如无工具调用、规划错误、数据源选择错误、实现错误、运行时错误）。

**Figure 1**: DAB setup and example agent trace.

**Figure 2**: Dataset creation methodology, illustrated on the bookreview dataset.

实验结果

在 DAB 上测试了五个前沿大模型（GPT-5.2、GPT-5-mini、Gemini-3-Pro、Gemini-2.5-Flash、Kimi-K2），结果不容乐观：最佳模型 Gemini-3-Pro 仅达 38% pass@1，GPT-5-mini 为 30%，Kimi-K2 为 23%，Gemini-2.5-Flash 为 9%；即便在 50 次尝试下，pass@50 最高也只有 69%。有一个数据集（patents）所有模型完全未能解决。成本方面，GPT-5-mini 总成本约 67 美元，Gemini-3-Pro 约 1355 美元。轨迹分析表明，最佳性能智能体将约 20% 工具调用用于数据探索，而探索过少或过多都会导致欠佳表现；多工具并行调用潜力尚未充分利用。错误分类显示 85% 的错误来自规划或实现错误，而选择错误数据源的情况较少。

**Table 1**: Overview of datasets and queries in DAB.

**Table 2**: Description of tools given to baseline ReAct agents.

**Table 3**: Pass@1 score by dataset, with the average across all 12 datasets.

**Table 4**: Cost (USD) by dataset, with total across all 2,700 trials per agent.

**Table 5**: Data exploration overhead per agent.

**Table 6**: Trajectory statistics per agent.

**Table 7**: Pass@1 for PromptQL and the baseline ReAct agent.

**Table 8**: Coverage of DAB's four properties across related work.

**Figure 4**: Cost (USD, log scale) vs. pass@1 accuracy.

**Figure 5**: Pass@k as a function of k (number of attempts).

**Figure 6**: Frequencies of All Failure Modes

**Figure 7**: Frequencies of FM1 (other), FM2, FM3, and FM4 among sampled trajectories

查看结构化数据

任务	指标	本文	基线	提升
DAB 综合评测	pass@1	38%	无	首个面向数据智能体的真实多库集成基准，结果表明当前模型显著低于生产需求
Patents 数据集	pass@1	0%	0%	该数据集需复杂日期解析与实体抽取，所有模型均未成功
bookreview 数据集	pass@1（Gemini-3-Pro）	89%	无	在相对较小的数据集上表现较好，说明任务难度与数据复杂度高度相关
PromptQL 对比	pass@1（平均）	51%	44%	PromptQL（语义层 + 专用框架）相比 ReAct 提升 7 个百分点，在定位数据源与列名方面有帮助，但在非结构化文本处理上仍不足
pass@50（Gemini-3-Pro）	pass@50	69%	38%	多次尝试可提升成功率，但仍有大量问题无法解决

局限与改进

作者承认了几个局限：数据集规模相比其他基准较小但更注重质量，不考核开放性分析类问题（C4）；文本变换是人为注入的，可能不够多样化；验证方式依赖简单的字符串包含检测，偏重召回率而非精确度；工具设计较基础，缺少 NLP 提取等高级算子。此外，评测只在开源数据库上实施，未覆盖 Snowflake 等商业平台。

独立分析的弱点

在需要从非结构化文本中提取结构化信息的任务上表现极差，所有智能体仍依赖正则表达式，无法处理复杂日期格式或语义理解；规划能力不足，常遗漏步骤（如过滤条件）或错误排序操作；成本效率不均衡，Kimi-K2 高成本低准确率；并行工具调用利用不足；多库方言与键格式匹配导致频繁连接失败；对 hints 文件的利用尚不充分。

未来方向

作者提出引入更丰富的提取原语（如日期解析、NER、基于 LLM 的提取算子）；利用语义层降低规划负担；优化探索策略以平衡探索与成本；研究更鲁棒的键格式模糊匹配方法；扩展至更多数据库方言与外部 API 集成；引入精确度与召回率综合评估；探索多智能体协作与记忆机制以解决长尾复杂任务。

复现评估

论文已公开数据集、查询、验证脚本和所有智能体轨迹，配置与工具接口明确，基于开源数据库系统便于本地复现。但对大模型 API 的依赖可能限制完全复现，且成本较高。

论文图表

Figure 3: Stylized summary of the prompt structure.

Figure 3 简要说明了系统提示与用户提示的关键组件：系统提示定义智能体角色、工具定义与输出约束；用户提示包含具体查询、数据库描述与 hints，两者结合形成完整提示。

该图帮助理解 ReAct 智能体的提示设计与工具使用规范，对复现与扩展实验有指导意义。