主动猎取而非被动等待：大语言模型深度数据研究能力评估 Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models
提出DDR-Bench基准，评估LLM在无预设问题下自主探索数据库并挖掘洞见的能力
前置知识
Agentic LLM（智能体大语言模型）
Agentic LLM 是指具备工具调用、多轮推理和自主决策能力的大语言模型系统。与传统 LLM 仅做单轮问答不同，Agentic LLM 能够与外部环境（如数据库、API）进行多轮交互，自主决定下一步操作、何时停止，并综合多步结果生成最终输出。其核心架构通常基于 ReAct（Reasoning + Acting）范式，即在每一步先进行推理（reasoning），再执行工具调用（action），然后观察环境反馈（observation），如此循环。
本文的核心研究对象就是 Agentic LLM 在数据探索场景下的表现，理解 Agentic LLM 的基本架构和交互模式是理解 DDR-Bench 评测设计的前提。
执行智能（Executional Intelligence）vs. 调查智能（Investigatory Intelligence）
这是本文提出的核心概念区分。执行智能指模型完成给定任务的能力——用户提出明确问题，模型给出正确答案。调查智能则指模型自主决定「什么值得研究」的能力——没有预设问题，模型需要自己设定目标、形成假设、验证假设、判断何时停止探索。人类数据科学家的工作通常属于后者：拿到原始数据后，先探索数据特征，再提出分析方向。
本文的全部贡献都建立在这一区分之上。DDR-Bench 的设计目标就是隔离并评测调查智能，而现有基准几乎只评测执行智能。
ReAct 范式
ReAct（Yao et al., 2023）是一种将推理和行动交织进行的 Agent 交互范式。每一轮交互包含三个步骤：模型先生成推理 tokens（reasoning tokens），说明当前的思考和计划；然后生成工具调用 tokens（tool invocation tokens），执行具体操作（如 SQL 查询）；最后接收环境返回的观测结果（observation）。整个过程形成 (r, t, o) 的多轮交互序列，模型可以访问完整的推理-行动轨迹。
DDR-Bench 采用 ReAct 风格的 Agent 框架作为基准实现，理解 ReAct 的工作方式有助于理解评测中模型交互轨迹的结构和评估方法。
Checklist-based Evaluation（清单式评估）
这是 DDR-Bench 的核心评估方法。对于每个数据库任务实体（如一个患者、一家公司），从数据库的非结构化文本部分提取可验证的事实清单（checklist），每个清单项对应一个可从数据中推导的事实。评估时，检查模型生成的洞见（insights）是否能支持这些事实。对于开放式清单（MIMIC、10-K），使用 LLM 判断洞见是否支持事实；对于封闭式清单（GLOBEM），则用 LLM 基于洞见回答问题后与标准答案比对。
这种评估方式是 DDR-Bench 区别于以往主观评分（LLM-as-a-Judge）的关键创新，理解其工作原理才能理解实验结果的可靠性和意义。
测试时缩放（Test-time Scaling）
测试时缩放指在推理阶段通过增加计算资源（如更多交互轮次、更多 token 消耗、更高推理成本）来提升模型表现。在 Agent 场景下，这体现为模型与环境的交互轮数、总 token 消耗量、推理成本等维度。DDR-Bench 从交互缩放、token 缩放和成本缩放三个角度分析模型在测试时的性能增长曲线。
本文的一个核心发现是：在深度数据研究任务中，测试时缩放的效果高度依赖模型内在的探索策略，单纯增加交互轮次并不能保证性能提升。
研究动机
当前 Agentic LLM 的评测范式存在根本性的定位偏差。绝大多数基准测试——从 Spider、BIRD 等 Text-to-SQL 基准到 ScienceAgentBench、DataSciBench 等数据科学评测——都隐含地假设任务目标或研究问题在事前已经给定。模型的评分完全基于其执行预定义目标的能力，即「执行智能」。然而，真实世界的数据分析工作流并非如此：人类数据科学家拿到原始数据库时，通常没有明确的问题清单，而是需要自主探索数据、发现异常模式、形成并验证假设。这种「调查智能」在现有评测体系中几乎完全缺失。具体而言，近期的深度研究基准（如 DeepResearch Bench）虽然也要求 Agent 进行开放式探索，但它们操作的是非结构化的网页内容，工具使用仅限于发起搜索查询，且评估仍依赖主观的 LLM-as-a-Judge 评分或对参考网站的忠实度代理指标。已有的开放式数据分析工作（如 DeepAnalyze、I2I STRADA）虽然让 Agent 自主探索数据库并生成报告，但要么仍在 prompt 中嵌入了详细的探索指令（破坏了开放式设定），要么使用主观的报告质量评分，无法直接检验洞见是否忠实于底层数据。此外，这些基准规模通常较小，Agent 与数据库的交互被限制在几十步以内。
本文的目标是本文的目标是形式化「深度数据研究」（Deep Data Research, DDR）这一开放式的 Agentic 设定，并构建一个大规模、可验证、客观的评测基准 DDR-Bench。具体目标包括：第一，设计一个不提供任何预设问题或目标的评测框架，仅给出数据库和一个起始提示（如「探索该用户的数据并生成洞见」），要求模型自主决定探索方向和终止时机；第二，通过清单式评估实现可验证的客观评测，避免主观评分的偏差；第三，覆盖多个真实世界的数据领域（医疗、行为科学、金融），每个领域包含大规模结构化数据和非结构化文本；第四，不仅报告最终准确率，还从多个缩放维度深入分析模型的探索行为模式，为理解 Agentic LLM 的内在能力提供细粒度的实证依据。
与已有工作不同的是，本文抓住了一个被已有工作严重忽视的核心问题：现有评测混淆了两种质性不同的智能形式。执行智能关注「如何做好给定的任务」，调查智能关注「是否能自主判断什么值得研究」。已有基准几乎全部评测前者，而后者——即模型的自主目标设定、假设形成与验证、探索终止判断等能力——缺乏直接的评估手段。DDR-Bench 的独特切入角度在于：它将评测焦点从「回答问题的正确性」转移到「挖掘洞见的质量」，从「完成任务的效率」转移到「自主探索的策略」。通过将执行与评估分离（执行阶段模型看不到任何评估问题，评估阶段使用从事后提取的事实清单），DDR-Bench 既能保持探索的完全开放性，又能实现客观可验证的评测，这是已有工作未能同时做到的。
核心方法
DDR-Bench 的整体思路可以用一个类比来理解：传统评测像是给学生出考题——题目明确，答案确定，考的是「会不会做」；DDR-Bench 则像是把一个实习医生扔进医院的病历系统、把一个实习分析师扔进公司的财务数据库——没有现成的问题，只有一个模糊的指令「去了解这个患者/这家公司」，考的是「能不能自己发现问题、找到关键信息」。技术路线上，DDR-Bench 构建了一个基于 MCP（Model Context Protocol）的轻量级 Agent 框架，仅暴露 SQL 和 Python 两个基础工具，不提供规划、记忆等外部模块。对于每个任务实体（如一个患者），模型从一个简单的起始提示开始，通过 ReAct 风格的多轮交互自主探索数据库，每轮生成推理、工具调用和洞见，直到自行判断探索充分后终止并生成综合报告。评估时，从事先构建的事实清单中逐条验证模型的洞见是否能支持每个事实，计算准确率。
DDR-Bench 的核心创新在于三个设计原则的协同：「无问题」（no query）、「极简框架」（minimal scaffolding）、「无限探索」（unlimited exploration）。「无问题」意味着模型看不到任何评估问题，只能自主决定研究方向，这直接隔离了调查智能的评测。「极简框架」意味着 Agent 系统只有基础的 ReAct prompt 和两个工具（SQL + Python），没有规划模块、没有记忆模块、没有工作流编排，这确保了评测的是模型的内在能力而非外部框架的增强效果。「无限探索」意味着不设交互轮数上限，模型自行决定何时终止，这使得终止时机本身也成为评测信号——过早终止说明模型缺乏探索信心，过晚终止说明效率低下。这三个原则共同使得 DDR-Bench 能够评测一种此前无法直接测量的能力：模型在面对未知数据库时，能否自主形成研究计划、持续深入探索、在信息充分时果断停止。这与已有基准形成鲜明对比——已有基准要么提供明确问题（如 Spider），要么在 prompt 中嵌入详细指令（如 DataSciBench），要么用主观评分替代客观验证（如 DeepAnalyze）。
方法步骤详情
DDR-Bench 的完整流程分为数据构建、Agent 执行、洞见生成和评估四个阶段。在数据构建阶段，从三个真实世界数据库（MIMIC-IV 医疗数据库、GLOBEM 行为科学数据库、SEC 10-K 金融数据库）中采样任务实体：MIMIC 采样 100 位患者（按病历数量分层），GLOBEM 筛选 91 个具有显著行为模式的用户，10-K 选取 100 家上市公司。每个实体对应的事实清单从数据库的非结构化文本部分提取，经 50 余位领域专家筛查确认每个事实可从数据中合理推导，最终形成 291 个任务实体和 2,058 个验证过的清单项。在 Agent 执行阶段，模型仅收到一个起始提示（如「分析患者 xxxxxx」），第一轮获得数据库元信息（可用表和简要描述），随后通过 ReAct 风格的多轮交互自主探索。每轮模型观察所有历史结果，生成推理 tokens r、工具调用 tokens t，执行后获得观测 o。在洞见生成阶段，每轮交互后模型独立生成「消息级洞见」（message-wise insight $I_m$），对当前轮的发现进行解读；探索终止时模型回顾完整轨迹，生成「轨迹级洞见」（trajectory-wise insight $I_t$）作为综合报告。在评估阶段，对于开放式清单（MIMIC、10-K），使用 GPT-5-mini 判断每个洞见是否支持清单中的事实，准确率为正确支持项的比例；对于封闭式清单（GLOBEM），使用 GPT-5-mini 基于洞见回答问题后与标准答案比对。
技术新颖性
DDR-Bench 的技术新颖性体现在多个层面。首先，在评测理念上，它是第一个明确提出区分「执行智能」与「调查智能」并针对后者设计评测的基准，这一概念区分具有重要的理论意义——它指出单纯扩大模型参数或延长上下文窗口并不能有效提升调查智能，真正的突破需要训练范式的根本转变。其次，在评估方法上，DDR-Bench 采用的清单式评估与已有方法有本质区别：不同于 LLM-as-a-Judge 的主观评分（如评估报告的专业性、组织性），DDR-Bench 直接验证洞见对具体事实的支持度；不同于间接评估（如验证代码执行结果），DDR-Bench 检查的是洞见内容本身是否忠实于数据。实验表明，这种评估方法的稳定性和可靠性极高：重复评估的变异系数（CV）均低于 5%，人工标注的 Macro F1 约 90%。第三，在行为分析上，DDR-Bench 从交互缩放、token 缩放、成本缩放、探索模式、自终止行为等多个维度提供细粒度的分析，揭示了强模型的「隐式规划」现象——虽然没有显式规划模块，但其探索轨迹表现出类似先规划后执行的策略，这为理解 Agentic LLM 的内在机制提供了新的实证视角。
实验结果
DDR-Bench 的评测结果揭示了当前 Agentic LLM 在深度数据研究任务上的系统性差距。在总体性能方面，截至实验时，仅有 Claude 4.5 Sonnet 的平均准确率超过 40%，达到 47.73%。具体来看，Claude 在 MIMIC 上的消息级洞见准确率为 36.07%，GLOBEM 上为 40.13%，10-K 上高达 77.61%。GPT-5.2 的总体平均为 37.09%，DeepSeek-V3.2 为 38.80%，GLM-4.6 为 37.52%。值得注意的是，开源模型 DeepSeek-V3.2 和 GLM-4.6 的表现已接近甚至超过部分顶级闭源模型，表明深度数据研究任务远未饱和。在测试时缩放分析中，模型性能普遍呈 S 形增长曲线，最终趋于饱和。关键发现是：高性能模型（如 Claude、GLM、DeepSeek）往往延迟进入快速增长阶段，避免过早收集表面信息，表现出类似「先计划后行动」的策略，但这种策略并非来自显式规划提示，而是隐式体现在交互动态中。从 token 缩放角度看，后期阶段的少量高质量查询（往往只获得二元反馈）比前期大量探索性查询更有价值，反映出从广度优先到深度优先的策略转变。从成本缩放看，Claude 最贵但表现最稳定，DeepSeek 展现出极强的性价比。在探索模式分析中，强模型表现出「平衡探索」——既不过于集中也不过于分散地访问数据库字段，且不同实例间方差较小；弱模型则要么探索面过窄（如 Qwen、Gemini 只访问少量字段），要么注意力过于分散（高熵但低覆盖）。新颖性分析表明，基于洞见有用性的成对比较排名与清单准确率排名高度一致（三个场景的相关性均很高），说明清单式评估虽然只覆盖了部分有效洞见，但不会系统性地低估那些关注清单之外维度的模型。在训练因素研究中，参数缩放（从 7B 到 72B）仅带来不到 3% 的准确率提升，长上下文扩展也不能稳定改善表现，但跨代模型（如从 Qwen2.5 到 Qwen3）在使用更少激活参数的情况下显著增加了探索轮数和性能上限，表明系统性的 Agent 训练策略比单纯扩大规模更重要。自终止行为分析显示，Qwen3 系列的终止置信度随交互轮数稳步上升，而 Qwen2.5 系列则表现出显著波动和不确定性。失败模式分析发现 58% 的错误源于探索不足（广度或深度不够），约 40% 归因于其他因素如过度推理（强模型常见）或基本的调试困难（弱模型常见）。幻觉评估显示大多数模型的幻觉率低于 5%，且幻觉率与准确率无统计显著相关性，证明数据污染对评测结果影响极小。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MIMIC 消息级洞见 | Sample-Averaged Accuracy (%) | Claude 4.5 Sonnet: 36.07 | GPT-5.2: 28.85, Gemini 3 Flash: 26.58 | Claude 领先 GPT-5.2 约 7.2 个百分点 |
| GLOBEM 消息级洞见 | Sample-Averaged Accuracy (%) | Claude 4.5 Sonnet: 40.13 | GLM-4.6: 41.56, GPT-5.2: 38.81 | Claude 与 GLM 基本持平，领先 GPT-5.2 约 1.3 个百分点 |
| 10-K 消息级洞见 | Sample-Averaged Accuracy (%) | Claude 4.5 Sonnet: 77.61 | GLM-4.6: 60.31, DeepSeek-V3.2: 60.08 | Claude 领先第二名 GLM 约 17.3 个百分点 |
| 总体平均 | Overall Avg. Accuracy (%) | Claude 4.5 Sonnet: 47.73 | DeepSeek-V3.2: 38.80, GLM-4.6: 37.52 | Claude 领先最佳开源模型约 8.9 个百分点 |
| 幻觉率 | Hallucination Rate (%) | Claude 4.5 Sonnet: 4.08 | Gemini 2.5 Pro: 0.85, GPT-5.2: 0.95 | Claude 幻觉率略高但仍在可接受范围，且与准确率无显著相关 |
| 评估稳定性 | Coefficient of Variation (%) | 所有场景 CV < 5% | N/A | 评估框架高度稳定 |
局限与改进
DDR-Bench 存在若干值得讨论的局限性。首先，尽管论文通过新颖性分析证明清单式评估不会系统性低估模型，但清单本质上只能覆盖部分有效洞见，对于模型发现的清单之外的有价值洞见，评测缺乏直接的衡量手段。论文承认这是一对内在矛盾：开放式任务需要开放式评估，但完全开放的评估又难以客观化。其次，DDR-Bench 的 Agent 框架虽然刻意保持极简以评测模型内在能力，但这意味着评测结果可能低估了配备复杂框架（如规划模块、记忆模块）的系统在实际部署中的表现。论文的框架消融实验部分回答了这个问题——复杂框架并不总能提升表现甚至经常降低表现——但这一结论是否适用于更精心设计的框架仍需验证。第三，三个数据场景虽然覆盖了医疗、行为科学和金融三个领域，但均为结构化数据库场景，对于非结构化数据（如文本语料库、图像数据集）的深度研究能力未做评测。此外，论文使用 GPT-5-mini 作为评估者（checker），虽然实验证明其稳定性和可靠性（CV < 5%, Macro F1 ~90%），但仍存在约 10% 的误判率，且误判模式呈现两种倾向：过度严格（要求洞见中包含具体数字）和中间推理正确但最终判断错误。最后，所有实验在单个数据库实例上进行，未测试模型跨数据库迁移或增量学习的能力。
独立分析的弱点
从独立分析的角度看，DDR-Bench 存在以下几个值得关注的弱点。第一，清单的构建过程虽然有 50 余位领域专家参与筛查，但最终的清单项生成仍依赖 GPT-5-mini 从非结构化文本中自动提取，这意味着清单的质量上限受限于提取模型的能力。如果某些事实过于细微或需要深度领域知识才能识别，可能会被遗漏，导致评测覆盖面不足。改进方向可以是引入多轮专家交叉验证，或者设计自动化流程来发现「模型发现了但清单中没有」的洞见。第二，论文在分析训练因素时仅使用了 Qwen 系列模型，虽然控制了变量（同一模型家族），但结论的外推性有限。不同模型家族的训练策略差异可能带来不同的结论。建议扩展到更多模型家族进行交叉验证。第三，论文的「隐式规划」假说虽然有探索模式分析的支持，但仍缺乏直接的因果证据。模型表现出的「先广后深」模式可能只是统计规律而非真正的规划行为。可以通过设计反事实实验（如在中途打乱数据库结构）来检验模型是否真的持有内部规划。第四，GLOBEM 场景的评估方式与其他两个场景不同（封闭式 vs. 开放式），这使得跨场景的准确率比较缺乏严格的基础。未来可以考虑统一评估范式，或者明确报告不同评估范式的不可比性。第五，论文未讨论多模态数据（如医学影像、金融图表）对深度数据研究的影响，而实际场景中结构化数据常与视觉信息共存。
未来方向
论文和其研究发现共同指向多个有价值的研究方向。作者在结论中明确提出，未来需要从「查询-回答对齐」的训练范式转向「端到端自主性」的训练范式，即训练模型不仅回答问题，还能主动定义目标并追求之。基于论文的发现，可以延伸出以下方向：第一，开发针对调查智能的强化学习训练方法——论文发现参数缩放和长上下文扩展对调查智能的提升有限，但跨代模型（如 Qwen3）的系统性 Agent 训练策略带来了显著改善，这表明有针对性的训练（如基于探索策略的奖励信号）可能是突破口。第二，设计自适应的推理-交互平衡机制——论文发现增加推理预算会减少交互轮数但不一定提升准确率，这暗示推理和交互应被视为动态自适应能力而非固定配置。第三，将 DDR 框架扩展到更多数据类型和领域——当前仅覆盖结构化数据库，可以扩展到时序数据库、图数据库、多模态数据仓库等。第四，研究「隐式规划」的机制——通过可解释性方法分析模型内部状态，理解强模型如何在没有显式规划模块的情况下维持一致的探索策略。第五，开发更完善的评估方法——当前清单只能覆盖部分有效洞见，可以探索基于信息论的评估指标，衡量模型发现的信息量相对于数据库蕴含的总信息量的比例。
复现评估
从复现评估的角度看，DDR-Bench 的复现条件相对友好但有一定门槛。数据方面，三个数据库均为公开可获取：MIMIC-IV 需通过 PhysioNet 申请访问（需完成安全认证），GLOBEM 同样通过 PhysioNet 获取，10-K 数据通过 SEC EDGAR API 公开可查。论文承诺将发布完整的 Agent 运行和评估代码，且敏感数据集将以衍生数据集的形式安全发布。算力方面，实验涉及 17 个模型（8 个闭源 + 9 个开源）在 291 个任务实体上的完整评估，每个实体的交互轮数中位数在 10-56 轮之间，token 消耗从数千到数万不等。对于闭源模型，主要成本是 API 调用费用；对于开源模型，需要足够的 GPU 资源进行本地推理。复现难度中等——框架本身刻意保持极简（仅 ReAct + SQL/Python），但完整评估需要大量 API 调用和计算资源。评估代码的关键部分（prompt 模板、评估逻辑）已在附录中详细给出，降低了复现的技术障碍。不过，使用 GPT-5-mini 作为评估者意味着评估结果可能随 OpenAI 模型更新而变化，建议固定评估模型版本。
论文图表
