DSGym：评估和训练数据科学智能体的统一框架 DSGym: A Holistic Framework for Evaluating and Training Data Science Agents
揭示基准漏洞+统一评估框架，4B模型训练后超越GPT-4o
前置知识
CodeAct智能体
一种以代码执行为核心交互方式的LLM智能体架构。与传统ReAct不同，CodeAct智能体通过生成可执行的Python代码块来与环境交互，而不是调用预定义工具API。智能体输出包含推理标签、代码标签和答案标签，环境执行代码后将结果返回在标签中。这种设计使智能体能利用完整的Python生态进行数据分析，而非局限于预封装的工具集。
DSGym采用CodeAct作为默认智能体接口，所有评估和训练实验都基于这一交互范式，理解它是读懂实验设计和结果的基础。
文件锚定基准（File-grounded Benchmarks）
一类要求智能体在回答问题时必须读取和分析实际数据文件的评估基准。传统假设认为，如果任务附带了数据文件，那么智能体必须通过数据交互才能正确回答问题。本文揭示这个假设存在严重漏洞：大量任务可以在不访问数据文件的情况下被正确回答，这些'捷径'源于模型的记忆、领域先验知识或表面模式匹配。
本文的核心贡献之一就是证明现有基准的数据依赖性假设不成立，这是理解DSGym设计动机的关键概念。
快捷可解性（Shortcut Solvability）
指某些看似需要数据分析的任务，实际上可以通过不接触数据的方式正确回答。本文定义了一个两阶段过滤流程：先进行质量验证（去除标注错误、格式不一致的样本），再用5个前沿LLM在无数据访问条件下测试，如果≥3个模型仍能正确回答，则标记为快捷可解并排除。这种过滤机制确保最终基准中的任务真正需要数据交互。
这是DSGym区别于现有基准的核心创新点，理解它才能理解为什么DSGym能更准确地衡量智能体的真实能力。
执行验证的数据合成
一种多阶段的训练数据生成方法：(1) 探索式查询生成——智能体在环境中交互探索数据后生成问题；(2) 轨迹采样——对每个查询生成K条独立的候选解题轨迹；(3) 联合验证——用LLM评判器评估查询-轨迹对的质量。关键区别在于每个合成问题都经过实际执行验证，确保问题可解且轨迹正确，而非简单的文本改写。
这是DSGym从评估框架扩展到训练工具的核心机制，也是4B模型能超越GPT-4o的关键技术。
容器化执行环境
DSGym采用Manager-Worker架构：中央管理器容器编排整个系统，在每条智能体轨迹开始时分配一个新的Worker容器，绑定只读数据集挂载和可写工作区，路由代码执行请求。每个Worker容器运行独立的Jupyter内核，确保Python环境、进程状态和文件系统的完全隔离。数据文件以只读权限挂载，智能体在独立的可写工作区操作。
这种架构保证了评估的可重现性、安全性和可扩展性，是理解DSGym技术设计的基础。
研究动机
现有数据科学基准测试存在三个系统性缺陷，严重制约了对LLM数据科学能力的准确评估。第一，缺乏严格的数据锚定验证。研究者发现，在QRData基准中，即使完全不提供数据文件，智能体仍能以仅下降40.5%的准确率回答问题；DAEval和DiscoveryBench分别仅下降86.8%和44.4%。这意味着大量看似需要数据分析的任务，实际上可以通过模型记忆、领域先验或表面模式匹配来'作弊'，导致性能指标虚高且不可信。第二，任务覆盖范围狭窄且不一致。现有基准过度集中于通用统计分析（如描述性统计、数据聚合、简单建模），对领域特定的科学工作流覆盖严重不足。不同基准在任务格式、评分标准和执行环境上各不相同，使得跨基准比较困难且成本高昂。第三，任务有效性问题。多个广泛使用的基准包含标注错误、问题-答案不匹配、格式说明模糊等质量问题，进一步削弱了评估的可靠性。
本文的目标是DSGym旨在构建一个统一、可重现、可扩展的数据科学智能体评估和训练框架。具体目标包括：(1) 标准化异构基准背后的任务表示、智能体接口和运行时环境，实现跨基准的公平可重现比较；(2) 通过捷径过滤机制确保任务真正需要数据交互，消除虚假性能；(3) 扩展任务覆盖至领域特定的科学分析（以生物信息学为试点）和端到端建模挑战（来自Kaggle竞赛）；(4) 利用执行环境支持智能体训练，通过执行验证的轨迹合成提升小模型性能。
与已有工作不同的是，本文的独特切入角度在于对'文件锚定必然衡量数据依赖推理'这一核心假设的系统性挑战。作者不仅发现现有基准存在捷径问题，还提供了一套可操作的工具来解决它：两阶段过滤流程（质量验证+快捷可解性过滤）确保任务质量，标准化任务抽象 $(D, P, M, Z)$ 统一异构接口，容器化环境保证执行隔离。更重要的是，DSGym将评估框架转变为'闭环训练生态系统'——同一套基础设施既可用于评估，也可用于生成执行验证的合成训练数据，实现评估与训练的统一。这种设计使DSGym成为'活的、可审计的测试床'，而非静态数据集。
核心方法
DSGym的核心思路可以用一个类比来理解：如果把数据科学智能体比作'考生'，现有基准就像不同的考场用不同的试卷、不同的评分标准、甚至允许考生不看题目就能猜答案。DSGym则构建了一个标准化的'考试中心'——统一的试卷格式、统一的考场环境、统一的评分标准，并且确保每道题都必须看数据才能作答。技术路线分三层：任务层（标准化任务对象、统一数据集抽象）、智能体层（CodeAct接口、结构化多轮交互）、环境层（Manager-Worker容器架构、Jupyter内核、只读数据挂载）。在此基础上，DSGym贡献了DSGym-Tasks任务套件，包含经过质量验证和快捷过滤的现有基准、专家构建的DSBio生物信息学任务、以及自动收集的DSPredict竞赛任务。
DSGym的核心创新在于两个层面的'去伪存真'。第一层是对评估的去伪：通过快捷可解性过滤，剔除那些不需要数据交互就能回答的任务，确保性能指标真实反映智能体的数据分析能力而非记忆能力。具体做法是用5个前沿LLM在无数据条件下测试，如果多数（≥3个）仍能正确回答，则该任务被排除。第二层是对训练的去伪：通过执行验证的轨迹合成，确保每个训练样本都是经过实际执行验证的高质量数据，而非简单的文本改写。与已有方法的本质区别在于，DSGym将'执行'作为验证的锚点——无论是评估还是训练，所有结论都必须经过代码执行的检验，而不是依赖文本匹配或LLM评判。
方法步骤详情
DSGym的方法分为评估框架和训练流水线两大部分。评估框架包含三个核心组件：(1) 任务标准化——将异构数据源转化为统一的Task对象 $(D, P, M, Z)$，其中 $D$ 为数据文件、$P$ 为标准化查询、$M$ 为评估指标、$Z$ 为元数据；(2) 智能体接口——提供默认的CodeAct-like智能体，通过、、三种标签与环境交互；(3) 执行环境——Manager容器编排Worker容器，每个Worker运行独立Jupyter内核，数据文件以只读挂载，支持状态持久化、资源限制、工具集成和环境循环。训练流水线包含三个阶段：(1) 探索式查询生成——智能体在环境中交互探索数据后生成问题和参考答案；(2) 轨迹采样——对每个查询用温度 $T=0.8$ 生成 $K$ 条独立候选轨迹；(3) 联合查询-轨迹验证——LLM评判器基于6个执行感知标准评估质量，再通过语义相似度过滤去除重复改写。
技术新颖性
DSGym的技术新颖性体现在三个维度。首先是评估理念的革新：首次系统性地证明文件锚定基准的数据依赖性假设不成立，并提供可操作的过滤机制。现有基准如MLEBench、DataSciBench等虽然也关注数据科学评估，但都未质疑任务本身的数据依赖性。其次是架构设计的创新：Manager-Worker容器架构实现了评估与训练的统一，同一套基础设施既可运行评估也可收集训练轨迹，这是以往静态基准不具备的。数据文件的只读挂载设计既保证了数据完整性，又允许智能体在独立工作区自由操作。第三是任务构建的创新：DSBio通过'论文报告查询+专家衍生分析'的双轨构建方式，确保任务既有学术文献的权威性又有实际分析的深度；DSPredict通过自动化的三阶段流水线（爬取→过滤→标准化）实现任务的持续扩展。
实验结果
实验揭示了三个核心发现。第一，快捷可解性问题严重：在QRData基准中，即使完全不提供数据文件，智能体仍能达到59.5%的准确率（有数据时为100%，仅下降40.5%）；DAEval下降86.8%，DiscoveryBench下降44.4%。这表明现有基准的性能指标存在显著虚高。第二，科学领域差距持久存在：在DSBio生物信息学任务上，所有模型表现大幅下降。Kimi-K2-Instruct表现最佳，整体准确率43.33%（单细胞生物学44.83%、遗传学42.86%、空间转录组学36.36%）；Claude Sonnet 4.5紧随其后达42.22%。相比之下，小模型如Qwen3-4B-Instruct仅6.67%、Qwen2.5-7B-Instruct仅4.44%。错误分析显示，DSBio上85-96%的失败源于领域基础错误，而通用分析任务上主要是统计知识和规划问题。第三，智能体存在系统性行为缺陷：在DSPredict-Hard上，有效提交率超过60%但奖牌率接近0%，GPT-5.1（high reasoning）奖牌率仅4.8%，Claude Sonnet 4.5和Kimi K2为0%。这反映了'简单性偏见'——智能体倾向于选择最简单的可行方案（如使用中位数基线），而非追求最佳性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| QRData-Verified（通用数据分析） | 准确率 | Kimi K2: 63.68% | GPT-4o: 60.24% | Kimi K2相对GPT-4o提升5.7% |
| DAEval-Verified（通用数据分析） | 准确率 | Claude Sonnet 4.5: 91.71% | GPT-4o: 92.26% | GPT-4o略优0.6% |
| DSBio（生物信息学） | 整体准确率 | Kimi K2: 43.33% | GPT-4o: 33.33% | Kimi K2相对GPT-4o提升30% |
| DSPredict-Hard（端到端建模） | 奖牌率 | GPT-5.1(high): 4.8% | 其他模型: 0-2.4% | GPT-5.1(high)领先但绝对值极低 |
| MLEBench-lite（机器学习工程） | 有效提交率 | Qwen3-Coder 480B: 100% | GPT-4o: 90.91% | Qwen3-Coder相对GPT-4o提升10% |
| DABStep-Hard（多步推理） | 准确率 | Claude Sonnet 4.5: 37.04% | GPT-4o: 7.41% | Claude Sonnet 4.5相对GPT-4o提升400% |
| DSGym-SFT训练效果 | QRData准确率 | Qwen3-4B-SFT: 59.36% | GPT-4o: 60.24% | 4B模型接近GPT-4o水平 |
| DSGym-SFT训练效果 | DABStep-Hard准确率 | Qwen3-4B-SFT: 33.07% | GPT-4o: 7.41% | 4B模型超越GPT-4o 346% |
局限与改进
本文存在以下局限性。首先，DSGym目前仅聚焦于确定性评估指标，不支持可视化分析、探索性分析或开放式发现等真实科学工作流中的重要环节。作者承认，许多真实世界的科学工作流是开放式的，涉及随机结果、可视化或多种有效解释，扩展到确定性评估之外仍具挑战性。其次，科学领域覆盖有限：当前DSBio仅包含生物信息学（单细胞生物学56个任务、遗传学21个、空间转录组学13个），虽然构建流水线设计为领域无关，但尚未扩展到化学、材料科学、经济学等其他领域。第三，评估环境存在技术限制：智能体无法安装新库、存在执行超时、API版本不兼容等问题，这些环境限制本身成为性能瓶颈。第四，捷径过滤虽然有效但可能过于激进：过滤阈值（≥3/5模型正确即排除）可能误删一些确实需要数据交互但对模型来说较简单的任务。
独立分析的弱点
从独立分析角度看，DSGym存在以下弱点。第一，捷径过滤的阈值选择缺乏理论依据：为什么是3/5而非2/5或4/5？这个阈值的选择是经验性的，可能导致过滤过度或不足。改进方向是引入更精细的捷径类型分类（记忆、先验、模式匹配），针对不同类型设置不同阈值。第二，DSBio的任务构建高度依赖专家人工：每个任务需要主专家撰写、独立专家验证、迭代修订，成本高昂且难以规模化。改进方向是利用LLM辅助生成初始草稿，再由专家审核修订，降低人工成本。第三，训练数据合成的多样性保障不足：虽然引入了语义相似度过滤，但仅基于嵌入距离的粗粒度去重可能无法保证任务类型的多样性。改进方向是引入任务类型标签和难度分层，确保训练数据覆盖不同分析场景。第四，评估指标的局限性：数据分析任务仅使用精确匹配准确率，对于数值答案允许微小容差但可能遗漏近似正确的情况；预测任务依赖Kaggle排行榜，但排行榜可能已饱和。
未来方向
作者和本文可延伸的未来研究方向包括。第一，扩展到强化学习训练：DSGym的分布式有状态执行环境天然支持交互式策略优化，但面临训练信号设计和数据覆盖的挑战。现有数据科学轨迹规模有限、质量不均，且在稀疏长时程奖励下的信用分配仍是开放问题。第二，深化科学领域基础：工具导向的抽象可以减少可避免的工作流错误，领域自适应学习（如在科学语料和验证轨迹上的继续预训练或微调）可能有助于改善概念基础和方法选择。第三，扩展到更多科学领域：将DSBio的构建流水线扩展到化学、材料科学、天文学等领域，不仅增加任务多样性，还能探测标准化评估接口下质性不同的领域知识形式。第四，探索开放式发现评估：当前DSGym优先考虑可重现性，但真实科学发现往往是开放式的，需要可靠的LLM评判机制来支持执行轨迹验证。
复现评估
DSGym在可重现性方面做出了显著努力。代码已在GitHub开源（https://github.com/fannie1208/DSGym），数据集在HuggingFace发布（https://huggingface.co/DSGym）。框架采用Docker容器化确保环境一致性，所有评估使用默认CodeAct智能体接口和温度 $T=0$ 设置。训练细节完整公开：学习率 $2 imes 10^{-5}$、预热比例0.1、余弦衰减、批量大小8、训练6个epoch、梯度累积16步。复现所需算力方面，评估需要运行Docker容器的计算资源，训练DSGym-SFT数据集（2000个样本）对单GPU可承受，但大规模评估（如测试所有模型在所有任务上）需要显著算力。主要复现障碍在于：(1) 部分Kaggle竞赛数据可能需要额外下载；(2) DSBio使用的公开数据集（如cellxgene）需要网络访问；(3) 大规模并行评估需要多GPU或分布式环境。
论文图表
展示了QRData、DAEval和DiscoveryBench三个基准在提供完整数据文件和不提供数据文件两种条件下的准确率对比。QRData仅下降40.5%，DAEval下降86.8%，DiscoveryBench下降44.4%。这表明即使没有数据文件，智能体仍能回答相当比例的问题。
这是本文最核心的实证发现之一，直接证明了现有基准的数据依赖性假设不成立，是DSGym设计动机的关键证据。
展示了QRData、DAEval、DABStep等现有基准以及DSBio的示例问题。现有基准主要针对通用统计分析（描述性统计、聚合、相关性分析），而DSBio引入了需要专业生物信息学工作流和术语的领域特定任务。
这张图直观展示了DSGym如何通过引入领域特定任务来扩展现有基准的覆盖范围，特别是生物信息学领域的专业分析任务。