DSAEval：在广泛的真实数据科学问题上评估数据科学智能体 DSAEval: Evaluating Data Science Agents on a Wide Range of Real-World Data Science Problems
提出包含 641 道真实数据科学题的多模态交互式评测基准 DSAEval
前置知识
LLM-based Data Science Agent（基于大语言模型的数据科学智能体）
一类以大语言模型为核心、能够在沙盒环境中自主编写并执行代码来完成数据分析、机器学习建模、可视化等任务的智能体系统。典型代表包括 DataInterpreter、LAMBDA、DeepAnalyze 等。这类智能体通常接收自然语言任务描述，在 Jupyter Notebook 环境中逐步生成代码、执行并根据输出反馈调整策略，模拟人类数据科学家的工作流程。
本文的核心评测对象就是这类智能体，理解其工作模式是理解评测框架设计的前提。
Benchmark（基准测试）
在机器学习和人工智能领域，benchmark 是一组标准化的任务、数据集和评估指标的集合，用于公平比较不同模型或方法的性能。好的 benchmark 需要覆盖足够的领域多样性、具备清晰的评估标准、且能反映真实应用场景的复杂度。常见的数据科学 benchmark 如 DS-1000 侧重代码生成正确性，MLAgentBench 侧重机器学习实验。
本文提出的 DSAEval 是一个新型 benchmark，需要理解 benchmark 的设计原则才能评估其贡献和局限。
Multimodal Environment Perception（多模态环境感知）
指智能体不仅能处理文本形式的执行输出（如日志、错误信息、数据表格），还能感知和理解视觉模态的信息（如 matplotlib 生成的图表、数据可视化图像）。这要求底层模型具备视觉语言能力（VLM），能够从图像中提取模式、识别异常趋势、理解数据分布等。
这是 DSAEval 的三个核心特性之一，论文实验证明多模态感知在视觉相关任务上带来 2.04% 到 11.30% 的性能提升。
LLM-as-Judge（大语言模型作评判者）
一种利用另一个大语言模型来评估被测模型输出质量的方法。对于开放式任务（如数据科学报告），传统的精确匹配或代码单元测试无法覆盖所有合理答案，因此用 LLM 对输出的推理过程、代码质量和最终结果进行多维度打分。评判模型需要独立于被评测的模型，以避免利益冲突。
DSAEval 采用 LLM-as-Judge 作为核心评估机制，理解这一方法的工作原理和可靠性验证方式对理解实验结果至关重要。
Soft Ground Truth（软标准答案）
与传统的硬标准答案（exact match）不同，软标准答案是一种参考性质的答案，它提供了合理的推理过程和结论，但允许被评测的智能体采用不同的方法得出同样有效甚至更优的结果。在数据科学领域，同一问题往往有多种合理的分析路径和建模方案，硬标准答案会遗漏这些有效替代方案。
DSAEval 使用软标准答案是其区别于传统 benchmark 的关键设计决策，直接影响评估的公平性和全面性。
研究动机
当前数据科学智能体的评估面临一个根本性困境：真实世界的数据科学问题是开放式的、探索性的，往往没有唯一标准答案，最终交付物通常是融合了代码执行结果、定量指标、可视化证据和解释性结论的报告式输出。然而，现有 benchmark 几乎都依赖于精确匹配（如 DS-1000 的代码单元测试、DSEval 的精确匹配）或简单的指标比较（如 MLAgentBench 的 metric comparison），无法评估这种开放式输出的质量。具体来说，现有 benchmark 存在三个关键缺陷：第一，覆盖范围有限，大多只关注表格数据或孤立的工作流阶段，缺乏对计算机视觉、自然语言处理等非结构化领域的覆盖；第二，不支持多模态环境感知，无法评估智能体解读图表、可视化和图像数据的能力；第三，评估维度单一，通常只关注最终结果的正确性，忽略了推理过程的合理性和代码实现的质量。
本文的目标是本文的目标是构建一个全面、真实、多维度的数据科学智能体评测基准 DSAEval，具体包括：覆盖 285 个异构数据集上的 641 道真实数据科学问题，涵盖结构化和非结构化数据；支持多模态环境感知，使智能体能够接收文本、表格和视觉图像三种模态的执行反馈；实现多查询交互式会话，模拟真实数据科学项目的迭代工作流；以及建立基于 LLM 的多维度评估协议，从推理过程、代码质量和最终结果三个维度综合评估智能体表现。
与已有工作不同的是，本文的独特切入角度在于抓住了两个被现有工作忽视的关键点。第一，真实数据科学工作的本质是报告式的——最终交付物不是单一确定性答案，而是融合了定量结果、视觉证据、方法论选择和解释性结论的综合报告，因此评估必须从精确匹配转向开放式评估。第二，数据科学工作流是多模态的——数据科学家在分析过程中会反复查看图表、可视化和中间输出，这些视觉反馈对诊断问题、发现模式至关重要，而现有 benchmark 完全忽略了这一能力维度。通过同时解决这两个问题，DSAEval 能够更真实地反映数据科学智能体的实际能力。
核心方法
DSAEval 的整体框架可以类比为一场「数据科学实践考试」：首先是出题环节——从 2000 多个开源数据科学案例（Kaggle 竞赛、权威教材）中提取原始素材，经过多阶段过滤和标注，由 GPT-5 和 Grok-4 等高级 LLM 合成问题、推理过程和参考答案（QRA 三元组），再经过人工验证形成最终题库。然后是考试环节——将智能体置于配备 Jupyter Notebook 内核和 4 块 NVIDIA A100 GPU 的沙盒环境中，让它在最多 20 轮交互内完成一系列逻辑关联的子任务。最后是阅卷环节——采用三个独立评判模型（Claude-Haiku-4.5、GPT-5.1、Doubao-Seed-1.8）从推理质量、代码正确性和最终结果三个维度打分，通过对齐人类专家标注验证评判可靠性后，取最优双评判模型的平均分作为最终成绩。
DSAEval 最本质的创新在于将数据科学评测从「答案正确性检验」转变为「端到端工作流质量评估」。已有 benchmark 如 DS-1000 只检查代码能否通过单元测试，DSEval 只做精确匹配，它们本质上是在考「你能不能写出对的代码」。而 DSAEval 考的是「你能不能像一个数据科学家一样工作」——不仅看结果对不对，还看推理过程是否合理、方法论选择是否恰当、代码实现是否完整、最终报告是否清晰有据。更关键的是，它允许开放式答案：只要方法论合理、结论有据，即使与参考答案不同也能得高分。这种评估范式的转变，配合多模态感知和多查询交互的设计，使得 DSAEval 能够真正区分「会写代码的模型」和「会做数据科学的智能体」。
方法步骤详情
DSAEval 的方法分为三个核心阶段。第一阶段是基准数据集构建：从 2000 多个开源数据科学案例中提取素材，包括 Kaggle 高票 notebook 和 50 本权威数据科学与统计学教材，覆盖统计推断、数据分析、时间序列、NLP、计算机视觉和聚类等领域。经过程序化质量检查和专家人工验证，从 2421 个候选 QRA 三元组中筛选出 641 道高质量问题（通过率约 26.5%）。第二阶段是智能体执行框架：为每个问题定义一个会话 $S = \{D, Q, H_0\}$，其中 $D$ 是数据集，$Q = \{q_1, q_2, ..., q_n\}$ 是逻辑关联的子任务序列，$H_0$ 是初始上下文。智能体在循环中生成代码 $c_t$ 和思考过程，沙盒环境执行代码并返回多模态观察 $o_t = \{o_t^{txt}, o_t^{tab}, o_t^{img}\}$，包括文本日志、表格数据和生成的图表图像。第三阶段是多维度评估：采用 LLM 评判模型 $J$ 评估智能体的代码笔记本 $N$ 和最终报告 $R$，综合得分 $S_{overall} = \alpha \cdot S_{reason} + \beta \cdot S_{code} + (1-\alpha-\beta) \cdot S_{result}$，其中 $\alpha = 0.3, \beta = 0.3$，即最终结果权重略高于推理和代码。
技术新颖性
DSAEval 的技术新颖性体现在四个方面。首先，它是首个同时支持多模态环境感知、多查询交互和多维度评估的数据科学 benchmark，而现有工作通常只具备其中一到两个特性。其次，它引入了基于 LLM 的开放式评估协议，配合 Human-LLM 对齐研究验证评判可靠性——GPT-5.1 和 Claude-Haiku-4.5 的整体 MSE 分别为 0.855 和 0.896，与人类专家高度一致，而 Doubao-Seed-1.8 的 MSE 高达 4.530 被排除。第三，它覆盖了结构化和非结构化数据的广泛领域，包含 79.1% 表格数据、9.1% 时间序列、5.8% 文本和 4.2% 图像数据，任务类型涵盖从数据清洗到深度学习模型训练的完整工作流。第四，沙盒环境配备 4 块 NVIDIA A100 80GB GPU，支持计算密集型的深度学习任务，这在现有 benchmark 中极为少见。
实验结果
论文对 13 个先进的 LLM/VLM 进行了系统评估，得出了几个核心发现。第一，Claude-Sonnet-4.5 以 8.164 的总体得分取得最佳性能，显著领先于 MiMo-V2-Pro（7.912）、GPT-5.2（7.713）、Gemini-3-Pro（7.309）和 Grok-4.1-Fast（7.254）。值得注意的是，开源模型 MiniMax-M2.7（7.699）的表现超越了多个闭源模型如 GPT-5.2，显示了开源社区的快速进步。较小的模型如 Qwen3-VL-30b（5.324）和 Ministral-14B（5.182）则表现明显较弱。第二，在效率方面，MiMo-V2-Pro 在任务时长和性能之间取得了最佳平衡，GPT-5.2 在 token 效率和步骤效率上领先，而 MiMo-V2-Flash 是最具性价比的选择，每个任务平均成本仅约 0.007 美元，相比之下 Claude-Sonnet-4.5 的成本高达约 1.08 美元/任务。第三，多模态感知在视觉相关任务上带来一致提升：Qwen3-VL-30b 在 CV 任务上提升最大（11.30%），GPT-5-nano 在 CV 上提升 6.33%，Grok-4.1-fast 在 CV 上提升 6.15%，所有模型在 EDA 任务上平均提升 4.54%。第四，现有智能体在结构化表格数据分析上表现出色（顶级模型接近 8.3 分），但在非结构化领域如计算机视觉和 NLP 上明显退步（平均 6.31 和 6.25 分），在预测与预测和模型训练与优化等需要迭代实验的阶段也表现不佳（平均 6.03 和 6.49 分）。Human-LLM 对齐研究确认 GPT-5.1（MSE 0.855）和 Claude-Haiku-4.5（MSE 0.896）作为可靠评判模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DSAEval 总体性能 | Overall Score | Claude-Sonnet-4.5: 8.164 | MiMo-V2-Pro: 7.912 | +3.18% |
| 效率-时长平衡 | Duration vs Score | MiMo-V2-Pro: 7.912 | GPT-5.2: 7.713 | 时长更短且分数更高 |
| Token 效率 | Token vs Score | GPT-5.2: 7.713 | Claude-Sonnet-4.5: 8.164 | token 消耗显著更低 |
| 性价比 | Cost per Task | MiMo-V2-Flash: ~$0.007 | Claude-Sonnet-4.5: ~$1.08 | 成本降低约 154 倍 |
| 多模态感知-CV | Performance Gain | Qwen3-VL-30b: 4.53 | 单文本基线: 4.07 | +11.30% |
| 多模态感知-EDA | Average Gain | 三模型平均 | 单文本基线 | +4.54% |
| Human-LLM 对齐 | MSE with Human | GPT-5.1: 0.855 | Doubao-Seed-1.8: 4.530 | 对齐度提升 5.3 倍 |
局限与改进
论文坦诚地承认了几个重要局限。首先是 LLM 和人类评估的随机性问题：由于 LLM 固有的随机性，无论是智能体生成的代码还是评判模型的打分，在重复运行时都无法保证完全一致；人类评估也可能引入主观性，因为专家注释者对开放式推理、代码正确性和报告质量的解读可能有所不同。其次是数据泄露和污染风险：由于许多源数据集和 notebook 来自 Kaggle 等公开平台，被评测的模型可能在预训练阶段已经接触过相关数据集、讨论或解决方案 notebook。尽管作者通过合成新的 QRA 公式和要求在沙盒中进行多步骤动态执行来缓解这一问题，但完全排除隐式记忆的策略仍然困难。从我的观察来看，还存在几个值得注意的问题：评测只覆盖了 285 个数据集，相对于真实数据科学的多样性仍有差距；深度学习任务的比例较低（CV 仅 4.4%、NLP 仅 6.0%），可能无法充分反映智能体在最复杂任务上的能力；此外，20 轮交互的上限可能过于严格，限制了需要更多迭代的复杂建模任务的完成。
独立分析的弱点
从独立分析的角度，DSAEval 存在以下几个值得改进的弱点。第一，评估协议的透明度问题：虽然论文报告了 Human-LLM 对齐研究，但评判模型的详细评分标准和边界案例处理方式仍不够透明。例如，当智能体采用了一种参考答案中没有的创新方法时，评判模型能否准确识别其价值？建议在未来的版本中增加更多边界案例的标注和评判一致性分析。第二，多模态感知的评估维度较为粗糙：当前实验只是对比了有无视觉观察的性能差异，但没有深入分析智能体到底从视觉信息中获取了什么——是识别了数据分布模式、诊断了异常值、还是仅仅因为看到了图表而调整了策略？建议增加对视觉信息利用方式的细粒度分析。第三，缺乏对智能体鲁棒性的测试：当前评测只考察了「给定数据集和任务描述，智能体能否完成分析」，但没有测试智能体在面对噪声数据、缺失值、格式异常等常见现实挑战时的应对能力。建议在题库中增加包含数据质量问题的测试用例。第四，成本分析虽然有价值但过于简化：仅以 USD 计算成本忽略了延迟、并发限制等实际部署中的约束，建议增加更全面的效率指标。
未来方向
论文在结论和未来方向章节中提出了几个重要的研究方向。首先，执行对齐的工作流完成：当前模型在非结构化领域如 CV 和 NLP 中仍然挣扎，失败案例显示多步骤代码执行失败、不正确的模型架构选择、数据加载和预处理问题以及结果幻觉是四大主要失败模式，未来系统应加强中间状态验证并强制执行追踪、生成工件和最终结论之间的一致性。其次，动态数据集替换机制：为解决数据泄露风险，应探索将已建立的任务模板与新收集或未见过的数据集配对的方法。第三，利用 DSAEval 生成的真实实验轨迹进行强化学习和自我改进训练。基于论文成果，还可以延伸到几个方向：将评测框架扩展到更多领域如金融分析、生物信息学等；引入人机协作评测，评估智能体与人类数据科学家协同工作的能力；以及开发专门针对深度学习工作流优化的智能体架构。
复现评估
从复现的角度评估，DSAEval 的复现条件相对友好。数据方面，论文使用的源数据集来自 Kaggle 等公开平台，数据获取门槛较低；评测基准本身也已公开（项目主页 https://dsaeval.github.io/DSAEval/）。算力方面，沙盒环境配备了 4 块 NVIDIA A100 80GB GPU，这对大多数研究团队来说是一个不小的硬件要求，但用于推理评测的话需求会低很多。复现难度主要体现在两个方面：一是 QRA 三元组的合成过程依赖 GPT-5 和 Grok-4 等高级商业模型，普通研究者可能无法完全复现合成流程；二是评判模型的选择和对齐验证需要人工标注，这是一个耗时且需要专业知识的过程。不过，如果仅使用已发布的评测数据集进行模型评测，复现难度会大幅降低。论文还提供了一个任务查看器（task viewer）来访问模型结果和详细任务日志，这有助于理解评测细节和调试失败案例。整体而言，复现可行性中等偏上，核心障碍在于 GPU 资源和商业模型 API 的访问成本。
论文图表
