AgentDS 技术报告：特定领域数据科学中人类-AI 协作的未来基准测试

首个系统性评估AI agent与人机协作在特定领域数据科学任务中的基准测试

前置知识

Domain-Specific Data Science

特定领域数据科学指将数据科学技术应用于特定行业或领域时，需要深入理解该领域的业务逻辑、领域知识和专业术语。与传统通用数据科学不同，它要求从业者不仅掌握机器学习、统计建模等技术能力，还需要理解特定领域的业务规则、评估指标和实际约束条件。例如在医疗领域进行再入院预测时，需要了解合并症组合、生命体征轨迹和护理路径等临床知识才能设计有效的特征和模型。

本文核心研究对象是特定领域数据科学任务，理解这一概念才能明白为什么通用AI agent在需要领域知识的任务上表现不佳，以及为什么人类专家的价值难以被完全自动化替代。

Quantile Scoring

分位数评分是一种将异构评估指标标准化的方法。在AgentDS中，不同挑战使用不同的评估指标（如Macro-F1、RMSE、归一化Gini系数等），这些指标的量纲和最优方向各不相同。分位数评分通过计算每个参与者在特定挑战中的排名，然后转换为$[0,1]$区间的分数：$q_i = \frac{n + 1 - r_i}{n}$，其中$r_i$是参与者排名，$n$是成功提交的参与者数量。这样第一名得1分，最后一名得$1/n$分，未参与者得0分。

理解分位数评分机制才能正确解读论文中的性能比较结果，包括AI baseline与人类团队的相对位置，以及跨域聚合得分的计算方式。

Multimodal Integration

多模态集成指在数据科学任务中同时利用多种类型的数据源，如表格数据、图像、文本、结构化文件（JSON、PDF、CSV）等。在真实场景中，预测目标通常不仅依赖于主要表格数据，还需要从辅助模态中提取互补信息。例如在保险欺诈检测中，除了结构化理赔记录外，可能还需要从理赔描述文本和现场照片中提取特征。有效的多模态集成要求选择适合每种数据类型的特征提取方法，并将不同来源的信息有效融合。

论文发现AI agent在多模态任务上表现显著落后于人类专家，这是本文的一个重要发现，理解多模态集成的技术挑战有助于解释这一性能差距的根源。

研究动机

大型语言模型和AI agents在自动化数据科学工作流方面取得了显著进展，某些系统甚至通过结构化推理达到了Kaggle Grandmaster级别的性能。然而，一个根本性问题仍未得到解答：在特定领域的数据科学任务中，人类专家在多大程度上优于自主AI agents？这种优势体现在哪些方面？实践中，人类数据科学家持续依赖关于数据和任务的专门知识，融入关键的特定领域细微差别以增强模型性能。这些领域驱动的决策往往是微妙但本质性的，解决了通用分析工作流无法捕捉的复杂性。然而，当前关于AI用于数据科学的研究主要集中在生成通用代码和管道执行，往往忽略了解决现实世界问题所需的特定领域知识。

本文的目标是本文引入AgentDS，这是一个由17个挑战组成的基准测试，跨越6个领域，每个挑战都基于现实行业问题，并建立在精心设计的合成数据集上，这些数据集奖励特定领域的洞察力。挑战的构建方式使得仅依赖现成算法的通用管道表现不佳，而融入领域感知特征工程和数据处理的方法则能获得明显更好的结果。为在实践中评估这些动态，组织了一场为期10天的竞赛，涉及29个团队和80名参与者，能够系统性地比较人类-AI协作解决方案与纯AI基准的性能。

与已有工作不同的是，现有的AI agent基准测试虽然有价值，但往往没有测试agentic AI是否能够有效利用表格数据之外的领域洞察。近期的一些工作已经表明，当前的agentic AI通常生成通用代码和管道执行，往往忽略解决复杂现实世界问题所需的特定领域知识。理解这些差异对于推进AI能力和人机协作都至关重要。AgentDS的独特切入角度在于：通过系统性地设计需要领域知识才能取得竞争优势的挑战，并对比自主AI agents与人类-AI协作的表现，来揭示当前AI在特定领域推理上的局限性，并阐明人类专业知识仍然不可替代的价值。

核心方法

AgentDS基准测试采用三阶段框架：数据准备、竞赛和结果分析。在数据准备阶段，研究者针对每个领域识别关键问题、常见数据类型、领域特定工具和特征工程实践，然后使用精心设计的数据生成过程合成数据，确保强大的预测性能需要特定领域推理而非纯粹的通用建模管道。关键的设计是将影响预测目标的某些潜在变量转换为额外的数据模态（如图像），因此从这些模态中有效提取特征需要特定领域的洞察。竞赛阶段允许参与者自由使用任何AI工具，支持人类-AI协作，历时10天，29个团队成功提交。结果分析阶段采用分位数评分系统将异构指标标准化，并对比纯AI baseline与人类-AI协作团队的表现。

AgentDS的核心创新在于其挑战设计哲学：通过系统性地将领域知识编码到数据结构中，使得仅使用通用建模方法的解决方案只能获得基准性能，而融入领域洞察的方法能取得竞争优势。具体而言，研究者控制数据生成过程，将关键预测信号嵌入到非表格数据模态中（如图像、文本、PDF），并验证纯表格数据方法的表现显著低于多模态领域感知方法。这种设计使得基准能够真正测试AI agent进行特定领域推理的能力，而不仅仅是代码生成和管道执行的熟练度。此外，AgentDS引入了量化的人类-AI协作评估框架，通过开放竞赛的方式捕捉真实的人类-AI交互模式，而非仅在受控实验室环境中研究。

方法步骤详情

AgentDS的数据策展流程包含四个阶段：第一阶段是领域研究，为每个领域识别数据科学提供价值的关键问题、常见的特征和数据类型、领域特定的工具和特征工程实践，以及预测变量与结果之间的合理关系。第二阶段是数据生成，使用精心设计的数据生成过程合成数据，该过程尊重第一阶段识别的领域约束。关键是，生成过程确保强大的预测性能需要特定领域推理而非纯粹的通用建模管道，通过将某些影响预测目标的潜在变量转换为额外的数据模态来实现。第三阶段是性能边界和难度校准，由于研究者控制数据生成过程，可以通过评估完美了解数据生成机制时可获得的分数来确定理论性能上限，从而校准挑战难度。第四阶段是文档化和验证，每个领域包含description.md文件作为全面文档，验证领域专家认为挑战现实且记录的信息对于形成知情的解决方案是充分的。竞赛阶段参与者可以自由使用任何AI工具，每个团队每个挑战最多允许100次提交，竞赛结束后收集代码和报告以验证可重复性。

技术新颖性

AgentDS的技术新颖性体现在多个方面。首先，它是首个系统性地评估AI agent在特定领域数据科学任务中表现的基准测试，涵盖了6个行业的17个挑战，每个挑战都设计为需要领域知识才能取得竞争优势。其次，AgentDS提出了可复制的基准构建框架，包括挑战构建、评估协议、竞赛基础设施和AI基线评估四个组件，其他机构可以采用此框架在自己的领域设置中研究人机协作。第三，AgentDS采用了创新的分位数评分系统，能够公平地比较具有异构指标和量纲的不同挑战，并通过层次聚合（挑战→领域→总体）确保每个挑战对最终排名的贡献相等。第四，AgentDS对比了多种AI-only基线，包括直接提示基线（GPT-5.5、Claude Opus 4.7等）和agentic编码基线（Claude Code、MorphMind、Julius AI），提供了对当前AI agent能力的全面评估。

**Figure 1**: Overview of AgentDS. The framework comprises three stages: (1) data preparation, where domain-specific challenges are built using realistic synthetic multimodal data and validated by experts; (2) a time-limited competition supporting global participation and human–AI collaboration; and (3) results, including submissions, shared insights, awards, and community engagement, which provide empirical evidence on human, AI, and collaborative performance.

实验结果

AgentDS竞赛揭示了三个核心发现。首先，agentic AI系统在特定领域推理方面表现挣扎。当前自主agents在需要特定领域洞察的任务上表现不佳，特别是当必须整合多模态信号时。实践中，几个最初尝试自主agent框架的团队最终放弃了它们，转而采用交互式的人类引导工作流。所有AI-only基线在各个领域的表现都远低于顶级人类团队：MorphMind获得最高总体分位数分数0.510（排名第9），Claude Code为0.458（排名第10），Julius AI为0.382（排名第11）；直接提示LLM基线中GPT-5.5表现最佳，总体分0.415（排名第11），Claude Opus 4.7为0.391（排名第11），DeepSeek V4 Pro为0.325（排名第11），Gemini 3.1 Pro为0.216（排名第14），GPT-4o为0.183（排名第14）。其次，人类专业知识仍然至关重要。人类数据科学家持续贡献AI缺乏的能力，包括诊断建模失败、通过特征设计和领域特定规则注入领域知识，以及关于模型选择和泛化的战略决策。第三，人机协作优于单独的人类或AI。最成功的方法结合了人类战略推理与AI辅助实现，在这种工作流中，人类指导问题解决过程，而AI加速编码、实验和迭代。

**Table 1**: An Overview of Challenges in AgentDS Across Six Domains

**Figure 2**: Overall quantile score comparison between all AI baselines and competition teams (n=29).

**Figure 3**: Distribution of domain-level quantile scores across all participants (teal dots), with agentic baselines indicated by filled circles and direct prompting LLM baselines by filled triangles.

**Figure 4**: Challenge-specific quantile score distributions across six domains.

**Figure 5**: Performance of five direct-prompting LLM baselines on the AgentDS benchmark, compared with the best human–AI collaboration team.

**Figure 6**: Performance of agentic coding baselines on the AgentDS benchmark, compared with the best human–AI collaboration team.

查看结构化数据

任务	指标	本文	基线	提升
Overall Domain-Specific Data Science	Quantile Score	Best Human-AI Team: 0.860	MorphMind (best AI baseline): 0.510	68.6% improvement over best AI baseline
Direct Prompting LLMs	Overall Quantile Score	GPT-5.5: 0.415 (rank 11/29)	GPT-4o: 0.183 (rank 14/29)	GPT-5.5 outperforms GPT-4o by 126.8%
Agentic Coding Tools	Overall Quantile Score	MorphMind: 0.510 (rank 9/29)	Julius AI: 0.382 (rank 11/29)	MorphMind outperforms Julius AI by 33.5%
Healthcare Domain	Domain Quantile Score	Best Human-AI Team: ~1.000	MorphMind: 0.699	~43.1% gap remaining
Manufacturing Domain	Domain Quantile Score	Best Human-AI Team: ~1.000	MorphMind: 0.647	~54.6% gap remaining

局限与改进

作者承认AgentDS的几个局限性。首先，虽然数据生成过程反映了真实世界的关系，但它无法捕捉真实行业数据集的全部混乱、歧义和噪声。未来的迭代可能纳入真实（匿名化）数据集，只要可行。其次，竞赛吸引了有价值的参与，但更大和更多样化的参与将加强发现，作者计划在未来版本中扩大外展范围。第三，六个领域虽然多样，但并不穷尽应用数据科学的全部图景，未来工作可以扩展到额外领域（如能源或其他金融领域）来测试发现的泛化性。第四，AI系统改进迅速，这里记录的性能差距可能随着agentic系统的进步而缩小。尽管如此，AgentDS的开放数据集和评估协议允许未来工作在相同挑战上重新评估新系统，实现随时间的直接比较。此外，对人机协作的分析依赖于参与者报告、代码提交和工作流的定性检查，竞赛设置不允许对协作策略进行对照实验。我自己观察到的是，AgentDS的挑战虽然基于合成数据，但可能无法完全反映真实行业环境中数据质量问题和业务约束的复杂性，而且10天的竞赛时间可能无法充分体现长期项目中的协作模式演变。

独立分析的弱点

AgentDS在几个方面可以改进。首先，挑战难度校准主要依赖理论性能边界，但实际参与者与理论最优之间的差距大小在不同挑战间可能存在显著差异，这使得跨挑战的性能比较可能受到挑战难度不一致的影响。改进方向是引入更多样化的难度校准方法，包括基于 pilot test 的实际难度评估。其次，竞赛时间限制为10天可能无法充分评估某些需要深度领域知识积累和迭代的任务，而且团队规模限制为最多4人可能限制了协作多样性的探索。改进方向是提供不同时间框架的竞赛版本，或者放宽团队规模限制以探索更大规模的人类-AI协作模式。第三，AI基线评估虽然涵盖了多种前沿模型和工具，但所有基线都在竞赛结束后评估，可能无法完全反映竞赛期间AI工具的实际可用性和使用情况。改进方向是在竞赛期间同步评估AI基线，或者提供更丰富的AI工具使用日志分析。第四，对人类-AI协作的分析主要依赖于参与者提交的报告和代码，缺乏对实际协作过程的细粒度观察。改进方向是引入协作过程记录工具，如屏幕录制、交互日志等，以更精确地理解人类-AI协作的模式和效率。

未来方向

作者提出的未来工作方向包括：在可行的情况下纳入真实（匿名化）数据集以增强挑战的现实性；扩大参与池的规模和多样性以加强发现；扩展到额外领域（如能源或其他金融领域）以测试发现的泛化性；以及设计对照实验来系统性地变化自主程度、提示策略或人类监督，以量化哪些协作模式产生最佳结果。基于AgentDS成果的可延伸研究方向包括：开发更适合特定领域推理的AI agent架构，例如通过领域感知的提示工程、工具集成或知识注入；研究如何更有效地设计人类-AI协作界面和工作流，以最大化各自的优势；探索跨领域知识迁移的方法，使AI能够更好地适应新的领域；以及研究在特定领域数据科学任务中AI自主性与人类监督的最优平衡点。另一个有前途的方向是研究如何将AgentDS的挑战构建方法论自动化，使得领域专家可以更容易地创建针对自己领域的基准测试。

复现评估

AgentDS提供了良好的复现基础。研究者声明评估结果、包括人类参与者分数、AI-only基线分数和模态级别聚合结果都是公开可用的。挑战构建管道、评估协议和竞赛基础设施可以由其他机构和社区调整来研究自己领域特定数据科学设置中的人类-AI协作。代表性竞争提交的代码和报告是公开可用的，这允许其他研究者深入分析顶级解决方案的方法和策略。AI基线的提示模板和执行细节在附录中完整提供，使得其他研究者可以复制基线评估或在相同数据上测试新的AI系统。然而，复现完整的竞赛设置可能需要一定的技术投入，包括部署提交API、排行榜和评估服务器。数据虽然合成，但生成过程需要理解领域特定约束和数据生成逻辑。算力需求方面，AI基线评估需要访问前沿LLM的API和agentic编码工具平台，可能涉及显著的成本。总体而言，AgentDS为复现研究提供了相对完整的资源，但完全复现竞赛环境和AI基线评估仍需要一定的技术和资源投入。难度中等偏高，需要熟悉数据竞赛平台部署和AI工具使用。

AgentDS 技术报告：特定领域数据科学中人类-AI 协作的未来基准测试 AgentDS Technical Report: Benchmarking the Future of Human-AI Collaboration in Domain-Specific Data Science