Project Imaging-X：面向基础模型开发的1000+个开放获取医学影像数据集调查 Project Imaging-X: A Survey of 1000+ Open-Access Medical Imaging Datasets for Foundation Model Development
系统性调查1000+医学影像数据集，提出元数据驱动的数据集融合范式（MDFP）以解决数据碎片化问题。
前置知识
医学成像模态
医学成像模态是指用于获取人体内部结构和功能信息的不同技术手段，如CT（计算机断层扫描）使用X射线从多角度重建3D体积图像，MRI（磁共振成像）利用强磁场和射频脉冲产生高对比度的软组织图像，X射线是最传统且应用最广泛的2D投影成像技术，超声通过高频声波实时成像，病理学则是在显微镜下观察组织切片，眼底摄影拍摄视网膜的高分辨率彩色图像。每种模态都有其独特的物理原理、成像特点和临床应用场景。
理解不同成像模态的原理和特点是阅读本文的基础，因为论文的核心分析维度就是按模态分类的，不同模态的数据规模、应用领域、标注方式都有显著差异。
基础模型
基础模型是指在大型、多样化数据集上预训练的深度学习模型，具有强大的泛化能力，能够通过微调或提示工程适配多种下游任务。在自然语言处理领域，GPT、BERT等就是典型的基础模型；在计算机视觉领域，CLIP、SAM等也体现了这一趋势。基础模型的特点是训练数据规模巨大、模型参数量大、任务通用性强。在医学影像领域，开发医学基础模型需要整合来自多个数据源、多种模态、多个器官的海量医学图像数据。
这篇论文的核心动机就是为医学影像基础模型的开发提供数据基础设施支持，理解基础模型的概念有助于理解为什么需要大规模、多样化的数据集。
元数据驱动的数据融合
元数据驱动的数据融合是一种基于结构化描述信息来整合异构数据集的方法，而不是直接操作原始像素数据。元数据包括数据集的基本信息（如模态、维度、任务类型、解剖结构、数据量、许可协议等）。通过对元数据的标准化、语义对齐、聚类分析和索引构建，可以高效地识别和整合具有相似特征的数据集，形成更大规模、更一致性的训练资源。这种方法减少了原始数据处理的开销和隐私风险，提高了可复现性和可审计性。
MDFP是本文提出的核心创新方法，理解这个概念对于把握论文的技术贡献至关重要。
研究动机
当前医学影像基础模型的发展面临严重的数据瓶颈问题。在通用领域，像GPT-4、CLIP等基础模型在数十亿规模的自然图像或文本数据上训练，而医学影像数据集的规模通常只有数千到数万张图像，相差数个数量级。例如，自然图像领域的SA-1B数据集包含10亿张图像，而医学领域的数据集如BraTS系列通常只有数千个病例。这种规模差距的根本原因在于医学数据的特殊性质：获取医学影像需要昂贵的专业设备（如CT、MRI扫描仪），标注需要放射科医生、病理学家等专家的专业判断，涉及严格的隐私保护法规（如HIPAA、GDPR），导致大型统一医学数据集的构建极其困难。结果是现有的医学影像数据集呈现高度碎片化状态，分散在TCIA、Grand Challenge、Kaggle等不同平台，每个数据集针对特定的模态、任务或器官，数据规模小、标注标准不统一、分布不均衡。这种碎片化限制了基础模型训练所需的数据规模和多样性，导致医学基础模型在泛化能力、临床适用性方面存在显著局限。
本文的目标是本文的具体目标是系统性地梳理和分析2000-2025年间发布的1000+个开放获取医学影像数据集，建立一个全面的分类体系和元数据库。通过对这些数据集在维度（2D、3D、视频）、模态（CT、MRI、X射线、病理学等）、任务类型（分割、分类、检测、配准等）、解剖结构（脑、肺、肝脏、乳腺等）等方面的分布进行统计分析，识别数据覆盖的空白和偏倚。基于这个分析框架，提出元数据驱动的数据集融合范式（MDFP），提供系统化的方法论来整合具有共享特征的多个数据集，将孤立的小型数据孤岛转化为更大规模、更连贯的训练资源。同时，开发交互式发现门户，支持端到端、自动化的医学影像数据集搜索、统计分析和集成操作。最终目标是构建一个实用的路线图，加速医学影像语料库的规模化，支持更快的医学基础模型开发，为生物医学影像研究社区提供可访问且全面的资源。
与已有工作不同的是，本文的独特切入角度在于它不是简单地罗列数据集，而是将数据集调查与基础模型开发的实际需求紧密结合。与以往专注于特定模态或器官系统的数据集整合工作不同，本文采用了系统性、全局性的视角，首次在如此大的规模上（1000+数据集）建立了统一的分类体系和元数据框架。更重要的是，本文不仅识别了数据覆盖的空白，还提出了切实可行的解决方案——MDFP范式，这是一个系统化的方法论，而不仅仅是一个静态的数据库。这种将调查、分析、方法论开发和工具实现相结合的整体性工作，填补了医学影像数据工程领域的一个重要空白。大多数现有调查缺乏主体和图像级别的统计数据，遗漏了TotalSegmentor、AbdomenAtlas等近期发布的大规模数据集，也没有提供将数据集特征与基础模型开发需求联系起来的系统化框架，而本文正是针对这些不足进行了全面改进。
核心方法
本文的方法论可以分为两个主要组成部分：一是大规模医学影像数据集的系统性调查和分析框架，二是元数据驱动的数据集融合范式（MDFP）及其交互式实现。调查分析框架采用四层分类体系：首先按数据维度分类（2D图像、3D体积、视频），然后在每个维度内按成像模态分类（如CT、MRI、X射线、病理学、超声、眼底摄影、皮肤镜、内镜、OCT等），接着按解剖结构细分（如脑、肺、肝脏、乳腺、结肠、视网膜等），最后按任务类型组织（如分割、分类、检测、配准、生成、追踪、重建等）。基于这个分类体系，作者收集了来自TCIA、Grand Challenge、OpenNeuro、Kaggle、NITRC、Synapse、CodaLab、GitHub等公开平台的数据集，经过去重、手动验证主页/许可、元数据标准化等处理流程，构建了包含每个数据集的模态、任务、解剖结构、标注质量、局限性、融合潜力等信息的系统化元数据库。MDFP范式则是在这个元数据库的基础上，通过四个阶段（元数据标准化、语义对齐、融合蓝图、数据集索引）的系统化操作，实现高效、可审计的数据集整合。
MDFP的核心创新在于它从根本上改变了数据集整合的思维方式，从直接处理原始像素数据转向主要操作结构化元数据。这种转变带来了多个关键优势：首先，它大大减少了数据处理的开销和隐私风险，因为元数据通常不包含可识别的患者信息；其次，它提高了过程的可复现性和可审计性，因为所有的筛选和整合决策都基于明确的元数据规则；第三，它支持目标条件化的数据集组装，研究人员可以根据具体的研究目标（如训练一个涵盖特定模态、任务和解剖结构的基础模型）快速筛选和整合相关数据集。MDFP的另一个核心创新是其四阶段流程的系统性和自动化程度。元数据标准化阶段通过引用权威医学术语体系（如UMLS、MeSH）解决了语义异质性问题，而不是创建新的词汇体系；语义对齐阶段将机器学习任务映射到具体的临床应用，确保了任务定义的临床相关性；融合蓝图阶段基于元数据聚类和定量评估（如数据量、标注质量、解剖覆盖）设计整合策略；数据集索引阶段则创建公共元数据索引和可视化工具，促进社区规模的数据发现和重用。这种系统化、标准化的方法与以往临时性、特定领域的数据整合工作有本质区别。
方法步骤详情
MDFP的工作流程包含四个顺序执行的阶段，每个阶段都有明确的输入、操作和输出。第一阶段是元数据标准化，输入是原始的异构元数据，操作包括将主要模态映射到枚举集合（CT、MR、PET、US、X-ray等）、归一化数据维度为2D/3D/视频、基于标准医学术语建立解剖结构的层次分类体系、记录数据集的来源机构和关联挑战系列、标注注释粒度（如像素级分割掩码、区域级边界框、图像级分类标签等）。输出是标准化的、富含语义的元数据表格。第二阶段是语义对齐，输入是标准化的元数据，操作包括将机器学习任务映射到临床应用（如分类任务对应临床诊断、严重程度分级或治疗反应预测；分割任务对应病灶勾画、体积量化或放疗/手术规划；检测任务对应疾病筛查；回归任务对应临床生物标志物量化）、标注标签可用性、指定次级成像模态（如MRI的T1或T2序列）、以自由文本形式记录数据集特有的细微差别和已知限制。输出是临床接地气的任务词汇表，支持有意义的解释、目标导向的筛选。第三阶段是融合蓝图，输入是经过标准化和语义对齐的元数据，操作包括根据主要和次要成像模态、临床任务、解剖覆盖的组合对数据集进行分组和分类，执行定量评估（包括数据总量、有效图像计数、存储需求、解剖和任务多样性），系统性识别和标注具有不兼容注释类型和成像协议差异的数据集。输出是基于规则的整合策略和每个融合群体的组成摘要。第四阶段是数据集索引和社区共享，输入是经过前三阶段处理的元数据，操作包括整合关键元数据元素（数据集名称、发布日期、主页URL、许可协议），创建结构化的、公开可访问的数据集索引。输出是支持快速数据集发现、促进负责任重用、为大规模模型预训练提供基础设施基础的索引化表示。
技术新颖性
MDFP的技术新颖性体现在多个方面。与传统的数据整合方法相比，MDFP采用了元数据优先的策略，而不是原始像素优先，这大大降低了数据处理复杂度和隐私风险。MDFP的四阶段流程是高度系统化和自动化的，每个阶段都有明确的输入输出和操作定义，这与以往临时性、手动的数据整合方法有本质区别。MDFP在元数据标准化阶段引用权威医学术语体系（UMLS、MeSH）而不是创建新词汇，确保了术语的一致性和权威性。MDFP在语义对齐阶段将机器学习任务映射到具体的临床应用，这在数据工程范式上是一个重要创新，因为大多数现有数据集是为传统的计算机视觉任务（如分割、分类）设计的，与实际的临床决策需求存在错位。MDFP在融合蓝图阶段不仅考虑数据量和标注质量，还考虑解剖覆盖和任务多样性，确保整合后的数据集具有足够的泛化能力。MDFP的交互式实现（Medical Dataset Browser）提供了规则导向的筛选和直接分面搜索两种互补模式，支持实时的可视化统计反馈，这使得数据集发现和整合过程变得透明、可审计、可复现。这些创新特点使得MDFP成为医学影像数据工程领域的一个里程碑式工作，为医学基础模型的数据基础设施提供了系统化的解决方案。
实验结果
通过对1000+个医学影像数据集的系统性分析，本文揭示了医学影像数据集的碎片化和不均衡现状。在总体数据量方面，2D图像占据绝对主导地位，尤其是在2023年之后，这反映了2D图像在医学应用中的广泛使用和相对较低的存储共享成本。相比之下，3D体积和视频数据的增长较为缓慢，主要原因是获取成本高、存储约束大、标注复杂性高。在模态分布方面，病理学数据集包含的图像数量最多，这是因为全切片图像（WSI）通常是千兆像素级别的，被划分为数千个补丁进行分析。X射线和CT也因临床普遍应用和高通量而有大量数据。MRI约占图像总数的10.4%，虽然无辐射但由于成本高、获取时间长、多序列标注复杂而增长较慢。眼底摄影、显微成像、皮肤镜和超声也有广泛应用，但其他模态如PET、乳腺X线摄影和内镜在开放数据中相对较少。在解剖结构分布方面，全身、视网膜、乳腺、脑、肺和结肠的图像数量显著超过其他区域，这反映了对阿尔茨海默病、糖尿病视网膜病变以及乳腺癌、肺癌、结直肠癌等高临床和社会影响疾病的强烈研究关注。相比之下，足部、血液、心脏、肠道、肩部、肱骨、前臂等其他解剖区域代表性不足。在任务分布方面，分类和分割在过去十年中占据主导地位，而标记为生成任务的数据集在2023年后显著上升，显示出社区对将通用生成式AI应用于高级医学影像分析的兴趣。相比之下，配准、检测、追踪等其他任务随时间的图像数量相对较少，这种不平衡更多反映了实际约束而非社区优先级，因为它受到标注经济学、获取负担和某些任务缺乏易于验证的基础真相等因素的混合影响。作者还发现，医学基础模型大多在数百万图像上训练，而先进的通用域基础模型在数十亿自然图像上训练，大多数医学基础模型仅覆盖CT和MRI等少数模态，这可能引入模态特定偏倚，限制临床适用性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数据集规模统计 | 数据集总数 | 1000+ | 以往调查通常覆盖<100个数据集 | 数据集覆盖范围扩大了10倍以上 |
| 模态分布分析 | 主要模态数据量 | 病理学数据集包含约220万张图像 | 不适用（首次系统化统计） | 建立了首个模态级别的规模基准 |
| MDFP案例研究 | 2D CT/MR/Fundus融合数据集规模 | 57个数据集，213万张验证图像 | 不适用（MDFP为本文提出的方法） | 展示了MDFP的有效性和可扩展性 |
局限与改进
本文的局限性主要体现在几个方面。首先，数据集收集依赖于公开可用的平台，可能遗漏了某些小众或私有但重要的数据集。其次，元数据标准化过程虽然引用了权威医学术语体系，但仍可能存在语义映射错误或遗漏，特别是在处理非标准化的数据集描述时。第三，MDFP方法虽然大大降低了数据处理复杂度，但在实际应用中仍可能遇到数据集间的不兼容性问题，如图像协议差异、标注标准不一致等，这些都需要额外的预处理或域适应技术。第四，交互式发现门户虽然提供了强大的筛选和统计功能，但其客户端执行设计可能在处理超大规模数据集时面临性能限制。第五，本文的分析主要基于元数据，没有对原始图像进行深入的质量分析或统计分析，这可能遗漏了一些数据质量问题。第六，数据集许可协议的复杂性可能导致某些数据集的实际可重用性受限，本文虽然记录了许可信息，但没有深入分析不同许可协议的法律和合规含义。最后，本文提出的MDFP范式是一个方法论框架，其有效性需要通过实际的基础模型训练来验证，本文中的案例研究虽然展示了方法的可行性，但缺乏大规模的实证评估。
独立分析的弱点
MDFP方法的一个主要弱点是对元数据质量的高度依赖。如果原始数据集的元数据不完整、不准确或不一致，MDFP的标准化和对齐过程可能会引入错误。改进方向包括开发更健壮的元数据验证和修复机制，利用大型语言模型（LLM）自动推断缺失的元数据或纠正不一致的描述。另一个弱点是MDFP主要关注元数据层面的整合，对原始图像的技术异质性（如图像分辨率、对比度、采集协议差异）处理不够深入。改进方向可以是在融合蓝图中加入图像质量评估和协议感知的采样策略，或者引入域适应技术来减轻跨数据集的域偏移。第三个弱点是交互式发现门户的功能相对基础，缺乏高级的数据可视化、数据质量评估、自动标注建议等功能。改进方向可以扩展门户的功能，加入这些高级特性，提供更全面的数据探索和分析体验。第四个弱点是MDFP缺乏对数据集偏差的系统化分析和缓解策略。改进方向可以开发偏差检测和平衡采样模块，确保融合后的数据集在人口统计学、疾病分布等方面具有良好的平衡性。
未来方向
未来的研究方向包括：第一，扩展MDFP以支持多模态数据整合，不仅包括不同的成像模态，还包括临床报告、基因组学、时间记录等非图像数据，这对于开发真正的多模态医学AI系统至关重要。第二，开发自动化的数据质量评估和标注建议工具，利用基础模型自动评估数据集质量、发现潜在问题、生成标注建议，减轻人工标注的负担。第三，研究隐私保护的数据共享机制，如联邦学习、差分隐私、合成数据生成等技术，在保护患者隐私的同时实现数据的有效共享和利用。第四，开发更加智能的数据集推荐系统，根据研究目标自动推荐最合适的数据集组合，甚至自动生成数据整合策略。第五，建立医学数据集的标准化评估基准和最佳实践指南，包括数据质量标准、标注规范、元数据模板、许可协议模板等，推动整个社区的标准化和规范化。第六，利用生成式基础模型生成高质量的合成医学数据，用于数据增强、隐私保护、罕见疾病建模等场景，弥补真实数据的不足。
复现评估
本文的可复现性评估如下：开源情况方面，作者在GitHub上公开了项目仓库（https://github.com/uni-medical/Project-Imaging-X），包含了调查的所有数据集信息、相关的Python工具包和一个合并的大规模数据集，这为研究社区提供了透明且实用的资源。数据集方面，本文涉及的所有数据集都是公开可访问的，作者提供了每个数据集的主页URL和许可协议信息，虽然某些数据集可能需要注册或许可申请，但这些信息都明确记录在元数据库中。算力需求方面，MDFP方法主要基于元数据操作，计算需求相对较低，普通的个人计算机或云端虚拟机即可运行。交互式发现门户部署为静态单页应用，完全在客户端执行，无需服务器端依赖，这使得部署和使用都非常简单。复现难度方面，作者提供了详细的元数据规范、处理流程和实现细节，研究人员可以按照这些说明复现整个调查和分析过程。然而，需要注意的是，某些数据集的获取可能需要申请许可或遵循特定的使用协议，这可能会对复现的完全自主性造成一定限制。总体而言，本文的可复现性较高，特别是考虑到医学影像数据集的复杂性，作者在开源和透明度方面做了很好的工作。
论文图表
这张图对比了医学基础模型和通用域基础模型在训练数据规模、模态覆盖和时间演进方面的差异。左侧展示了医学基础模型通常在数百万医学图像上训练，而右侧的通用域基础模型在数十亿自然图像上训练。图中还指出大多数医学基础模型仅覆盖CT和MRI等少数模态，可能引入模态特定偏倚。
这张图对理解论文的研究动机至关重要，它直观地展示了医学基础模型与通用基础模型在数据规模和多样性方面的巨大差距，这正是本文试图解决的核心问题。
这张图展示了从孤立的数据孤岛到集成数据资源的转变过程。左侧是多个具有孤立模态、任务和解剖结构的数据集，中间是通过MDFP进行数据集整合的过程，右侧是整合后的统一资源，可用于开发解决多模态、多任务、多解剖挑战的基础模型。
这张图对理解论文的核心贡献MDFP非常重要，它以可视化的方式展示了数据集整合如何作为连接碎片数据和强大基础模型的桥梁。