← 返回 2026-01-06

IMA++:ISIC 档案库多标注者皮肤镜皮肤病变分割数据集 IMA++: ISIC Archive Multi-Annotator Dermoscopic Skin Lesion Segmentation Dataset

Kumar Abhishek, Jeremy Kawahara, Ghassan Hamarneh 📅 2025-12-25 👍 3 2026-07-13 08:35
医学图像分割 多标注者学习 数据集构建 皮肤病变检测 皮肤镜成像

大规模多标注者皮肤病变分割数据集,含14967张图像和17684个分割标注

前置知识

皮肤镜成像 (Dermoscopy)

皮肤镜成像是一种非侵入性皮肤成像技术,通过使用特殊光源和放大设备,使临床医生能够可视化肉眼无法察觉的皮肤病变形态学表面特征和皮下结构。研究表明,经过培训的专家使用皮肤镜可以显著提高黑色素瘤诊断的敏感性(约提高20-30%)和特异性(约提高10-15%)。皮肤镜已成为皮肤科临床实践中评估色素性病变的标准工具,能够揭示色素网络、点状血管、蓝白幕等诊断性特征,这些特征在常规临床摄影中往往不可见。

本文数据集基于皮肤镜图像,理解皮肤镜的工作原理和临床价值对于评估数据集在真实临床场景中的适用性和研究意义至关重要。

Dice 系数 (Dice Coefficient)

Dice 系数是一种常用的分割评估指标,用于量化两个分割掩码之间的重叠程度。其计算公式为 $\text{Dice} = \frac{2|X \cap Y|}{|X| + |Y|}$,其中 $X$ 和 $Y$ 是两个二值分割掩码,$|\cdot|$ 表示集合的基数(像素数)。Dice 系数的取值范围是 $[0, 1]$,其中 1 表示完全重合,0 表示完全不重叠。在医学图像分割中,Dice 系数被广泛应用于评估算法性能和标注者间一致性,因为它对类别不平衡相对鲁棒,且比单纯的交并比(IoU)更容易解释。

本文使用 Dice 系数作为主要指标来量化标注者间的一致性(IAA),理解这个指标的含义和计算方法有助于解读论文中报告的统计结果和结论。

Hausdorff 距离 (Hausdorff Distance)

Hausdorff 距离是一种基于边界的分割评估指标,用于测量两个分割掩码边界之间的最大距离。标准 Hausdorff 距离定义为 $H(A, B) = \max\{\sup_{a \in A} d(a, B), \sup_{b \in B} d(b, A)\}$,其中 $d(a, B)$ 是点 $a$ 到集合 $B$ 的最小欧氏距离。由于标准 Hausdorff 距离对离群值敏感,实际应用中常使用其第 95 百分位数版本(HD95),即排序后取前 95% 的距离值。Hausdorff 距离能够捕捉边界局部偏差,这对于医学图像分割尤为重要,因为边界错误可能直接影响临床决策。

本文使用 HD95 作为次要指标来评估标注者间的一致性,理解边界距离指标与重叠指标(如 Dice)的互补性有助于全面评估分割质量。

STAPLE 算法 (Simultaneous Truth and Performance Level Estimation)

STAPLE 是一种用于从多个标注者标注中估计真实分割的统计算法,由 Warfield 等人于 2004 年提出。该算法通过期望最大化(EM)框架同时估计每个标注者的性能水平(敏感性和特异性)和底层的真实分割。STAPLE 假设标注者的错误是独立的,并且可以通过参数化的噪声模型来建模。与简单的多数投票方法相比,STAPLE 能够考虑标注者之间的可靠性差异,为每个标注者分配权重,从而产生更鲁棒的共识分割。在医学图像分割中,STAPLE 已成为多标注者数据集构建的标准方法之一。

本文使用 STAPLE 算法计算共识分割,理解该算法的原理和与多数投票方法的区别有助于评估共识分割的质量和适用场景。

不完整二分图 (Incomplete Bipartite Graph)

不完整二分图是一种图结构,其中顶点被分为两个不相交的集合(在本文中是图像集合和标注者集合),边仅存在于不同集合的顶点之间。与完整二分图(每个图像都被所有标注者标注)不同,不完整二分图允许某些图像-标注者对之间没有边,即某些标注者可能没有标注某些图像。在医学图像标注场景中,不完整二分图更能反映真实世界的标注实践,其中标注者根据专业领域、时间安排或其他因素选择性地标注图像子集。IMA++ 数据集采用这种结构,共有 57 个独特的标注者交集,提供了丰富的多标注者交互模式。

IMA++ 采用不完整二分图结构,这是其与传统多标注者数据集的关键区别之一。理解这种结构对于设计适用于真实场景的多标注者学习方法至关重要。

研究动机

皮肤癌是全球最常见的癌症形式,2022年世界卫生组织估计有150万新诊断病例。其中黑色素瘤是最具侵袭性的类型,同年导致33万新病例和6万人死亡。随着人口老龄化、预期寿命提高、阳光暴露增加和环境因素等驱动因素,黑色素瘤的发病率预计每10-20年翻一番。这种日益增长的健康负担,加上皮肤科医生与人口比例的下降趋势,强烈推动了皮肤病图像分析自动化方法的研发。然而,现有的皮肤病变分割数据集存在显著局限性:所有公开数据集(除 ISIC 2019-Seg 外)都只包含每个图像的单个分割标注,尽管医学图像分割固有模糊性和标注者间变异性是公认的现象。即使是 ISIC 2019-Seg,也仅包含100张图像、300个分割标注,规模过小无法有效建模标注者特定的分割偏好和风格。此外,现有数据集缺乏标注者元数据(如使用的工具、技能水平),限制了研究者探索这些因素对分割变异性影响的能力。

本文的目标是本文的核心目标是构建并公开发布一个大规模、多标注者的皮肤镜皮肤病变分割数据集,填补当前研究领域的空白。具体目标包括:(1)收集来自 ISIC Archive 的大量皮肤病变图像及其对应的多个分割标注;(2)捕获标注者间的变异性,反映不同的标注者偏好、使用的工具和人工审核过程(不同的技能水平);(3)提供丰富的元数据,包括标注者技能水平、分割工具等信息,使研究者能够探索标注者特定的分割偏好建模、标注者元数据分析等研究方向;(4)计算并提供共识分割掩码(使用 STAPLE 和多数投票算法),使数据集适用于没有多标注者设置的训练和评估;(5)提供标准化的数据分割和分析脚本,促进方法的系统性比较和结果复现。

与已有工作不同的是,本文的独特切入角度在于构建了一个模拟真实世界多标注者场景的大规模数据集。与现有的多标注者医学图像分割数据集(如 LIDC-IDRI 肺结节数据集、RIGA 眼底图像数据集)采用完整二分图设计(每个图像都被所有标注者标注)不同,IMA++ 采用不完整二分图设计,模拟了真实世界标注场景中多个标注者对图像子集进行标注的情况。此外,IMA++ 是目前最大的公开皮肤病变分割数据集(无论是单标注者还是多标注者),其规模(14,967张图像、17,684个分割标注)显著超过以往数据集。最重要的是,IMA++ 提供了标注者技能水平和分割工具等元数据,这些因素在以往的数据集中往往被忽视,但对于理解标注者间变异性和构建鲁棒的分割模型至关重要。这种丰富的元数据使 IMA++ 成为一个极具价值的多模态数据集,支持多标注者分割偏好建模、多专家分割共识建模、学习分割分布、发现底层分割风格以及研究专家间标注者一致性等多种开放问题。

核心方法

IMA++ 数据集的构建方法遵循了一个系统化的流程:数据收集、数据过滤、数据处理、共识计算和数据分割。首先,研究团队从 ISIC Archive(世界上最大的数字皮肤图像集合,包含超过120万张图像)获取皮肤镜图像和原始分割标注。由于新的 ISIC API v2 不提供分割端点,作者结合了之前下载的分割数据并联系数据源获取这些掩码的元数据,然后进行匿名化和适当组织以构建 IMA++ 数据集。接着,对分割掩码进行严格的质量控制检查,包括空掩码检测、全图像掩码检测、不连续区域检测和边界接触检测。过滤后,对分割掩码及其元数据进行处理,为三个注释因子分配唯一标识符:标注者(A00-A15)、工具(T1-T3)和技能水平(S1-S2)。对于具有多个分割的图像,使用 STAPLE 和多数投票两种共识算法计算共识分割掩码。最后,将多标注者子集(2,394张图像)按照分割数量和标注者间一致性两个标准进行分层,按70:10:20的比例分割为训练、验证和测试集。

IMA++ 的核心创新点在于其设计原则:(1)真实多标注者场景:采用不完整二分图设计,每个图像至少被一个标注者标注,但并非所有图像都被所有标注者标注,模拟了真实世界的标注实践;(2)标注者特异性元数据:提供标注者、工具和技能水平三个维度的元数据,使研究者能够探索这些因素对分割变异性的影响;(3)大规模数据:14,967张图像和17,684个分割标注使其成为最大的公开皮肤病变分割数据集;(4)丰富的元数据:图像级元数据包括患者信息(年龄、性别、病变位置)和临床信息(皮肤镜类型、诊断确认方式、恶性状态、分层诊断标签、黑色素瘤厚度、是否同时进行活检等),分割级元数据包括标注者ID、工具ID、技能水平、对象ID和MD5哈希值;(5)共识分割:使用STAPLE和多数投票两种算法计算共识,使数据集适用于单标注者设置;(6)标准化数据分割:基于分割数量和标注者间一致性进行分层分割,确保不同分割中这些因素的分布相似。

方法步骤详情

IMA++ 数据集的构建步骤包括:(1)数据收集:使用已弃用的 ISIC API v1 从 ISIC Archive 获取图像和原始分割,结合之前下载的分割数据并联系数据源获取元数据,进行匿名化和组织;(2)数据过滤:应用质量检查管道,检测并移除空掩码(59个)、全图像掩码(3个)、不连续区域掩码(0个)和边界接触掩码(1,129个),移除59张缺失元数据的图像;(3)数据处理:为标注者分配唯一标识符A00-A15(按分割数量降序排序),为工具分配标识符T1(手动多边形描点)、T2(半自动洪水填充)、T3(全自动分割+人工审核),为技能水平分配标识符S1(专家)和S2(新手);(4)共识计算:对于2,394张具有多个分割的图像,使用SimpleITK的STAPLEImageFilter和LabelVotingImageFilter分别计算STAPLE和多数投票共识分割,使总分割数达到22,472个;(5)数据分割:将2,394张多标注者图像按70:10:20比例分割为训练(1,675张)、验证(240张)、测试(479张)集,分割标准包括:分割数量(确保各分割中具有{2,3,4,5}个分割的图像比例相似)和标注者间一致性(通过计算每张图像所有分割掩码对的平均Dice系数,将图像分类为低一致性(Dice∈[0,0.5))、中等一致性(Dice∈[0.5,0.8))和高一致性(Dice∈(0.8,1.0)));(6)质量验证:计算所有分割掩码的MD5哈希值并添加到元数据中,使用户可以验证数据完整性;使用UpSet图可视化标注者间的重叠分布,分析标注者间、工具间和技能水平间的一致性模式。

技术新颖性

IMA++ 的技术新颖性体现在多个方面:(1)规模创新:IMA++ 是目前最大的公开皮肤病变分割数据集,包含14,967张图像和17,684个分割标注,显著超过以往任何数据集(如 HAM10000 的10,015张图像、ISIC 2018的3,694张图像);(2)多标注者设计创新:与ISIC 2019-Seg(100张图像、300个分割)相比,IMA++ 的多标注者子集(2,394张图像)规模大得多,能够有效支持多标注者分析方法;(3)元数据丰富性创新:IMA++ 提供了标注者、工具和技能水平三个维度的元数据,这在以往数据集中从未同时提供;(4)真实场景模拟创新:采用不完整二分图设计,模拟真实世界标注场景,与完整二分图设计(如 LIDC-IDRI)相比更接近实际标注实践;(5)共识方法多样性:提供STAPLE和多数投票两种共识算法,使研究者能够比较不同共识方法的效果;(6)标准化数据分割创新:基于分割数量和标注者间一致性进行分层分割,确保训练、验证、测试集中这些因素的分布相似,这是以往数据集中没有的;(7)质量保证创新:实施了严格的质量检查管道,并公开所有质量检查结果,使用户可以根据自己的质量要求过滤掩码。

IMA++ 数据集的细分:(a)每张图像的分割数量分布和基于因素的分割计数:(b)标注者,(c)工具,和(d)技能水平
Figure 1: IMA++ 数据集的细分:(a)每张图像的分割数量分布和基于因素的分割计数:(b)标注者,(c)工具,和(d)技能水平
IMA++ 中的样本图像-分割对:2行每行用于具有{5, 4, 3, 2}个每张图像分割的图像,以及使用多数投票(MV)和STAPLE(ST)计算的对应共识分割掩码
Figure 2: IMA++ 中的样本图像-分割对:2行每行用于具有{5, 4, 3, 2}个每张图像分割的图像,以及使用多数投票(MV)和STAPLE(ST)计算的对应共识分割掩码

实验结果

论文报告了 IMA++ 数据集的详细分析和验证结果。首先,数据集规模为14,967张图像和17,684个分割标注,其中2,394张图像具有2-5个分割。标注者分布呈现长尾分布,前6个标注者(A00-A05)贡献了约78%的分割(13,748个总分割中的)。工具分布也不均衡,工具T1和T3占约81%的分割(14,247个),约70%的分割(12,454个)由S1技能水平的审核员人工审核。标注者间的平均Dice系数为0.7813±0.2183,中位数为0.8572,四分位距为0.1879,表明大多数图像具有相当高程度的一致性。95th百分位Hausdorff距离(HD95)为306.21±431.76像素,中位数为114.00像素,四分位距为313.36像素。标注者间的一致性存在显著差异:某些标注者对表现出意外的低一致性(如{A00, A06}、{A03, A12}、{A04, A11}),而另一些则表现出意外的高一致性(如{A03, A05}、{A06, A07})。两种共识算法(STAPLE和多数投票)之间的一致性较高,平均Dice系数为0.8613±0.1724。分析发现236张图像的平均Dice系数低于0.5,43张低于0.1,23张图像的分割完全无重叠(零重叠)。工具分析显示,工具T1和T3之间的一致性显著高于它们与T2之间的一致性,而T2则表现出相反的模式:内部工具一致性高,但与其他工具一致性低。UpSet图分析显示,IMA++与8个公共皮肤病变图像分割数据集的比较表明,IMA++是最大的数据集,虽然与过去的ISIC挑战数据集有一些图像重叠,但超过74%的图像(11,081张)是新的,其分割掩码与之前的ISIC挑战数据集不同。

UpSet 图显示16个标注者('A00' – 'A15')之间的分割分布。分布是长尾的,前6个标注者(约37%的标注者)贡献约91%的分割。在线查看最佳效果
Figure 3: UpSet 图显示16个标注者('A00' – 'A15')之间的分割分布。分布是长尾的,前6个标注者(约37%的标注者)贡献约91%的分割。在线查看最佳效果
基于三个因素量化IMA++的标注者间一致性:(a)标注者,(b)工具,和(c)技能水平。对于每个因素,我们报告平均Dice系数(左)和Hausdorff距离的第95百分位(右)。数据集中不存在的组合为灰色。在线查看最佳效果
Figure 4: 基于三个因素量化IMA++的标注者间一致性:(a)标注者,(b)工具,和(c)技能水平。对于每个因素,我们报告平均Dice系数(左)和Hausdorff距离的第95百分位(右)。数据集中不存在的组合为灰色。在线查看最佳效果
UpSet 图比较提出的IMA++与八个流行的公共皮肤病变图像(包括皮肤镜和临床)分割数据集以及它们之间共享的图像。IMA++有14,967张图像,是最大的数据集,虽然它与过去的ISIC挑战数据集共享一些图像,但超过74%的图像(11,081张)是唯一的。详细信息请参阅表I。在线查看最佳效果
Figure 5: UpSet 图比较提出的IMA++与八个流行的公共皮肤病变图像(包括皮肤镜和临床)分割数据集以及它们之间共享的图像。IMA++有14,967张图像,是最大的数据集,虽然它与过去的ISIC挑战数据集共享一些图像,但超过74%的图像(11,081张)是唯一的。详细信息请参阅表I。在线查看最佳效果
所有至少分割了50张图像的标注者对的标注者间一致性分布,使用Dice和HD95测量
Figure 6: 所有至少分割了50张图像的标注者对的标注者间一致性分布,使用Dice和HD95测量
IMA++ 中所有具有来自多个标注者的完全非重叠分割(黑色和洋红色轮廓)的图像(n = 23)。在线查看最佳效果
Figure 7: IMA++ 中所有具有来自多个标注者的完全非重叠分割(黑色和洋红色轮廓)的图像(n = 23)。在线查看最佳效果
查看结构化数据
任务指标本文基线提升
皮肤病变分割(标注者间一致性) Dice 系数 0.7813 ± 0.2183(平均值 ± 标准差) ISIC 2019-Seg(未报告具体数值) 提供了大规模、详细的多标注者一致性分析
皮肤病变分割(标注者间一致性) 95th 百分位 Hausdorff 距离 306.21 ± 431.76 像素(平均值 ± 标准差) 未报告 首次在大规模皮肤病变数据集上报告HD95指标
共识算法一致性 Dice 系数(STAPLE vs 多数投票) 0.8613 ± 0.1724 未报告 验证了两种共识算法在皮肤病变分割上的高度一致性
数据集规模 总图像数 14,967 HAM10000(10,015)、ISIC 2018(3,694)、ISIC 2019-Seg(100) 比之前最大的数据集(HAM10000)大49.5%
数据集规模 总分割数 17,684 ISIC 2019-Seg(300)、其他数据集(仅单标注者) 比ISIC 2019-Seg大58.9倍

局限与改进

论文中明确承认的局限性包括:(1)标注者分布不均:6个标注者贡献了约78%的分割,这种不平衡可能影响某些分析方法的有效性;(2)标注者间一致性存在显著差异:某些标注者对之间的一致性异常低或高,这可能是由于标注风格、经验或工具使用的差异;(3)元数据不完整:某些元数据字段(如解剖学部位)的覆盖率较低(32.06%),可能限制某些分析;(4)图像质量虽然经过筛选,但仍然存在成像伪影(如头发、凝胶气泡、暗角),这可能影响分割性能;(5)标注者技能水平使用二元分类(专家/新手),缺乏更细粒度的信息(如经验年限、委员会认证);(6)虽然提供了共识分割,但不同标注工具和技能水平可能引入系统性偏差;(7)数据集构建依赖已弃用的ISIC API v1,未来获取类似数据可能更加困难;(8)虽然实施了严格的质量检查,但某些质量问题(如边界接触)仍然存在大量案例(1,129个掩码)。

独立分析的弱点

独立分析的弱点包括:(1)标注者分布长尾效应严重:前6个标注者贡献了78%的分割,这种不平衡可能导致模型过拟合于主要标注者的风格,降低对少数标注者风格的泛化能力。改进方向:可以采用重新加权、过采样或少样本学习技术来平衡标注者的影响;(2)零重叠图像集较小:只有23张图像的分割完全无重叠,这可能不足以深入研究导致标注者完全分歧的因素。改进方向:可以有意识地收集更多具有高分歧的图像,或者使用数据增强技术来扩展这个子集;(3)标注者技能水平元数据粒度粗:仅使用二元分类(专家/新手),缺乏更细粒度的经验量化。改进方向:可以收集更详细的标注者元数据,如经验年限、专业认证、过去标注数量等;(4)工具使用分布不均:工具T1和T3占81%的分割,T2的使用相对较少,可能限制对工具特定风格的分析。改进方向:可以平衡不同工具的使用比例,或者专门收集T2工具的更多标注;(5)缺乏外部验证:论文没有在外部数据集上验证共识分割的质量或分析方法的有效性。改进方向:可以在其他医学影像模态上验证分析方法的普适性;(6)质量检查阈值可能过于宽松:仍然保留了大量边界接触掩码(1,129个),这些掩码可能包含显著的标注错误。改进方向:可以实施更严格的质量检查,或者提供多级质量过滤选项;(7)缺乏临床验证:虽然提供了丰富的临床元数据,但没有验证分割变异性对临床决策的实际影响。改进方向:可以进行临床研究,评估不同分割变异性对ABCD规则计算和诊断准确性的影响。

未来方向

未来研究方向包括:(1)标注者特定分割偏好建模:利用IMA++的丰富元数据,开发能够学习和适应不同标注者分割风格的模型。这包括学习标注者特定的分割偏好、建模标注者之间的系统性差异,以及开发能够生成多样化分割的模型;(2)多专家分割共识建模:研究更有效的共识算法,考虑标注者可靠性、图像特征和临床上下文。这包括改进STAPLE算法、开发基于学习的共识方法,以及探索不确定性量化的新方法;(3)分割风格发现:在缺乏标注者-分割对应关系的情况下发现独特的标注风格。IMA++的不完整二分图结构为这个方向提供了理想的测试平台;(4)标注者间一致性预测:直接从皮肤病变图像预测标注者间一致性,无需任何分割。Abhishek等人的研究表明这是可行的,IMA++的规模可以支持更深入的研究;(5)分割变异性与临床决策的关系:研究分割变异性如何影响ABCD规则等临床预测准则的计算,以及由此得出的诊断。作者指出这是一个有趣且重要的未来方向;(6)群组标注者间一致性度量开发:开发真正的'群组'IAA度量,超越现有的成对(不)一致性度量限制。IMA++的不完整二分图为评估这种度量的鲁棒性提供了理想平台;(7)多模态和多任务学习:利用IMA++的丰富元数据进行多模态(皮肤镜图像和丰富元数据)和多任务(诊断、分割、IAA预测)皮肤图像分析;(8)基础模型评估:使用IMA++评估大规模皮肤病变基础模型的分割性能和不确定性量化能力。

复现评估

IMA++ 数据集的复现性评估如下:开源情况:所有数据收集、处理、验证和分析脚本都已在 GitHub 上公开(https://github.com/sfu-mial/IMAplusplus),仓库包含完整的执行脚本(overall_script.sh)和每个模块的配置文件(config.yaml)。数据可用性:分割掩码通过 Zenodo 公开发布(DOI: 10.5281/zenodo.14201692),包含所有22,472个分割掩码。图像本身可通过 ISIC API v2 或专门的 ISIC Archive 集合(包含所有14,967张图像)下载。文档:提供了详细的逐步复现说明和文件描述,以及元数据文档和直接链接到相关GitHub代码仓库和ISIC Archive集合的链接。数据完整性:所有分割掩码都计算了MD5哈希值并添加到元数据中,使用户可以验证数据完整性。依赖项:所有代码使用标准Python生态系统,使用的包包括 isic-cli (12.4.0)、matplotlib (3.10.7)、medpy (0.5.2)、numpy (2.2.6)、opencv-python (4.12.0)、pandas (2.3.3) 等,都有明确的版本号。算力要求:所有处理在 Ubuntu 22.04 工作站上完成,配置为 Intel i9-14900K、64 GB RAM、NVIDIA RTX 4090,但大多数预处理步骤不需要GPU。复现难度:由于代码、数据和文档的完整可用性,复现难度较低。研究者可以轻松下载原始数据,运行提供的脚本来复现所有处理步骤和分析。总体而言,IMA++ 在开源性、数据可用性和文档完整性方面表现出色,为研究者提供了高度可复现的研究基础。