胰腺导管腺癌血管侵犯评估:PDACVI 基准 Assessing Pancreatic Ductal Adenocarcinoma Vascular Invasion: the PDACVI Benchmark
PDAC血管侵犯基准,证明体积重叠≠临床可靠,需不确定性建模。
前置知识
胰腺导管腺癌(PDAC)与血管侵犯(VI)
胰腺导管腺癌是致死率最高的恶性肿瘤之一,外科切除是唯一的潜在治愈手段,而能否切除取决于肿瘤是否侵犯周围关键血管(如门静脉、肠系膜上动静脉、腹腔干、主动脉)。在临床CT影像上判断血管侵犯主要看肿瘤与血管的接触角度,但该标准主观性强,millimeter级别的边界差异即可导致可切除性判断翻转。
本文核心任务是预测PDAC的血管侵犯以辅助术前分期,读者必须理解这一临床决策对边界的极度敏感性,才能体会为什么作者强调'高体积重叠 ≠ 临床可靠'。
STAPLE(Simultaneous Truth and Performance Level Estimation)
一种经典的多标注融合算法,通过对多位标注者的标注进行加权投票,估计出一个'最可能真值'的共识掩膜以及各标注者的准确度参数。其本质是合并分歧信号到一个单一确定性的'金标准',本文认为这种共识中心化策略会掩盖有信息量的标注分歧。
STAPLE既是本文多个对比方法的默认融合方式(ROISeg、OrdSTAPLE的一部分),又是部分评估指标的参考基准(标准DSC),理解它才能理解'为什么抛弃STAPLE是有意义的'。
Aleatoric Uncertainty(数据固有不确定性)
指数据本身因标注者主观差异、图像噪声等带来的不可约减的不确定性。在医学影像中,尤其在肿瘤-血管交界面这种诊断模糊区域,多位专家对同一像素是否属于肿瘤可能给出截然不同的判断,这种'真值本身就有分布'的特性即为aleatoric uncertainty的核心。
本文通篇围绕aleatoric uncertainty展开——它的核心贡献就是'显式建模这种不确定性',并证明只追求确定性输出会在复杂病例上崩溃。
概率校准(Calibration)与ECE
模型输出的概率与真实频率的一致程度。Expected Calibration Error (ECE) 将预测置信度分箱后比较各箱内的平均置信度与实际准确率,理想校准时二者相等。多评分者ECE (MR-ECE) 把该指标扩展到与每位专家标注分别比较后取平均,量化模型概率图与多位专家标注的整体一致性。
本文评估体系的四大支柱之一就是MR-ECE和CRPS(连续排序概率评分),校准差的模型在临床上会输出虚假自信的边界,可能误导医生做错误手术决策。
Wasserstein距离(W1)
又称推土机距离,度量两个概率分布之间的'最小运输代价'。本文用它比较预测的血管侵犯角度分布与多位专家给出的参考分布,捕捉分布形状差异而不仅仅是均值差。
Wasserstein距离是本文用于评估血管侵犯的核心指标——每个血管结构单独打分,因此读者需要理解为什么'分布距离'比简单的角度误差更适合度量临床决策价值。
研究动机
胰腺导管腺癌(PDAC)的术前分期极度依赖CT影像上对肿瘤-血管接触面的精确描绘,但这一任务因PDAC异质性强、边界模糊、且与周围血管关系复杂而极其困难。临床上millimeter级别的边界偏差即可让一台'可切除'手术变成'不可切除',而即使是高年资放射科医生之间也常常意见不一。本文的统计数据揭示了这种诊断模糊性的严重程度:109例CT中5位专家两两DSC均值仅 $58.4 \pm 25.7\%$,标准差高达25.7%,意味着在很多病例上专家之间根本达不成空间共识(部分病例DSC低于30%甚至完全没有共识)。然而现有的深度学习分割方法(绝大多数基于nnU-Net变体)在训练和评估时通常把多个标注融合成一个STAPLE共识'金标准',评估也只用单一Dice系数,忽略了这种固有模糊性,导致模型在不确定边界上要么过度自信要么完全崩塌,且无法为下游外科决策提供可信的概率信息。
本文的目标是本文目标有两个层次:第一,构建并公开一个针对PDAC血管侵犯(VI)任务的密集标注基准数据集CURVAS-PDACVI,包含125例CT中筛选出的109例,每例都有5位独立专家对肿瘤的标注以及5条关键血管(门静脉、肠系膜上静脉/动脉、腹腔干、主动脉)的精细勾画,从而在数据层面把aleatoric uncertainty直接暴露给研究社区;第二,设计一个超越传统Dice的多维度评估框架(包含DSC、阈值平均DSC、多评分者ECE、CRPS以及5个血管的Wasserstein距离共9个评估轴),并组织MICCAI 2025公开挑战赛,让6支国际团队在同一协议下验证'是否需要显式建模标注分歧'这一假设。最终目的是把PDAC-VI的评估范式从'追求体积重叠'推进到'追求边界处的不确定性感知可靠性'。
与已有工作不同的是,与已有研究相比,本文有四个独特切入角度:(1)数据层面——既有的PDAC公开数据集(如PANORAMA、MSD-Pancreas)只提供单标注或简单融合的标签,而本数据集刻意保留5份独立原始标注,让分歧信号成为可学习的信息而非被融合抹平的噪声;(2)评估层面——以往的PDAC分割工作几乎只用Dice,而本文提出分布式的Wasserstein-based VI度量,可以评估模型对血管侵犯的'不确定性分布预测'是否与多位专家的真实分布一致;(3)方法对比层面——首次在同一基准上同时比较'纯共识融合(ROISeg)'、'集成共识+温度缩放(MIC DKFZ)'、'贝叶斯不确定性(BreizhSeg)'、'评分者集成(CorpuSeg/TwinTrack)'和'序数分歧建模(OrdSTAPLE)'五种策略,便于解耦'架构差异'与'标注处理策略差异';(4)临床层面——专门在低专家共识(DSC≤30%)的复杂病例子集上重新排名,揭示了平均指标上优秀的方法在困难病例上反而可能严重退化。
核心方法
本文的核心方法思路可以拆成'数据集构建 + 多维评估框架 + 算法比赛'三部分。直觉上,作者意识到PDAC分割的最大障碍不是模型架构而是'我们用什么样的目标去训练、什么样的标准去评估',因此他们的方法学重心放在'保留分歧、量化分歧'上,而非追求SOTA Dice。技术路线上:(1)从PANORAMA公开数据集的CT中筛出125例(最终109例),保留原始单标注并新增4位专家独立标注 + 1位专家细化5条血管分割;(2)每位标注者贡献一份独立的肿瘤mask,并由算法自动融合出STAPLE共识;(3)评估协议强制要求提交二值化mask + 概率图,并对5条血管分别用Wasserstein距离评估VI;(4)通过Grand Challenge平台邀请6个团队提交nnU-Net变体方法,覆盖从'纯共识'到'显式分歧建模'的训练策略谱系,最后在完整测试集与高复杂度子集上分别排名。
本文最核心的创新点和已有方法的本质区别不在于网络架构(事实上6个方法都是nnU-Net变体),而在于'如何对待多评分者标注'这一根本性的方法学选择。具体来说,本文首次系统地提出'训练阶段应该保留而不是抹平标注分歧'这一主张,并把这一主张转化为可测量的实验证据:把分歧当作结构化目标(OrdSTAPLE的序数建模)、当作预测融合源(CorpuSeg的5模型集成)、当作后验校准目标(TwinTrack的isotonic回归)的方法,在高复杂度病例上比那些把5份标注简单平均后训练的方法(ROISeg)平均排名显著更好。这种'分歧即信息'的哲学使得本文既是基准也是方法学倡议——它把'哪些标注处理策略更适合临床模糊场景'这个问题系统化呈现出来。
方法步骤详情
流程分五步。第一步数据筛选与再标注:从PANORAMA原始CT筛125例'病理确诊PDAC且全手工标注'样本,组织4位不同年资放射科医生(1/3/7/22年)独立重画肿瘤,新增1位专家细化5条血管分割(门静脉/SMV/SMA/Celiac/Aorta),去掉至少1位医生未找到PDAC的16例,得109例。第二步按性别、年龄、厂商、肿瘤位置与体积分层划分为训练40/验证5/测试64。第三步设计评估协议:每个测试病例提交二值化mask + 概率图,评估包括(a)标准DSC vs STAPLE共识、(b)阈值平均DSC vs 5标注平均掩膜、(c)MR-ECE = $\frac{1}{5}\sum_{k=1}^5 \text{ECE}^{(k)}$、(d)CRPS 用高斯模型拟合5专家体积分布后比较、(e)每条血管把5专家与6阈值下预测接触角度各拟合成高斯,用 $W_1$ Wasserstein距离比较。第四步收集6种方法。第五步做500次bootstrap、在DSC≤30%高复杂度子集重新排名、用Wilcoxon做配对显著性检验。
技术新颖性
从技术新颖性角度分析,本文有四个层面的贡献。第一是数据贡献——首个公开的PDAC多评分者VI基准,包含5套独立原始标注和5条血管的精细分割,填补了'PDAC多标注'这一公开数据集的空白(PANORAMA只有单标注)。第二是评估协议贡献——提出MR-ECE(多评分者校准扩展)和分布式的VI Wasserstein度量,把医学影像分割的评估从'单一Dice'扩展到'9个互补轴',并通过bootstrap和Wilcoxon证实了排名的稳健性。第三是方法学贡献——通过在同一基准下系统比较5种标注处理策略(STAPLE融合、序数分歧建模、贝叶斯不确定性、评分者集成、深度集成+温度缩放),首次给出'显式建模标注分歧是否值得'的明确经验证据。第四是临床转化贡献——发现最佳全局DSC方法BreizhSeg在高复杂度病例上DSC仅28.27%,而专门设计的方法OrdSTAPLE平均排名跃升至第一,论证了'为模糊场景设计的方法'在临床上不可被平均指标掩盖。
实验结果
6个方法在9个评估轴上揭示几个关键发现。BreizhSeg(贝叶斯归一化 + Monte Carlo)在全局指标最佳:DSC = $71.04\%$(第一)、Thr-DSC = $64.01\%$(第一)、MR-ECE = $25.7 \times 10^{-3}$(第一),但血管VI评估多数排第3-5;ROISeg(纯STAPLE共识训练)DSC仅59.28%排第3,但CRPS = $5.352 \text{cm}^3$ 最佳;TwinTrack(深度集成 + post-hoc isotonic校准)在5条血管中的4条(PORTA W1=29.03、AORTA W1=6.08、SMV W1=34.03、CELIAC W1=14.48)取得最佳,是VI评估最稳健方法;CorpuSeg在SMA W1=28.08最佳;OrdSTAPLE(序数分歧建模)全局DSC=54.05%排第6,但在高复杂度子集(DSC≤30%)上平均排名跃升至 $2.67 \pm 0.82$ 第一。Wilcoxon检验显示全局指标有显著差异,但血管VI指标大多不显著,说明VI方差主要由极端模糊病例共享驱动。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PDAC全局Dice分割 | DSC (%) | BreizhSeg 71.04 / MIC DKFZ 66.21 / ROISeg 59.28 / CorpuSeg 58.94 / TwinTrack 55.76 / OrdSTAPLE 54.05 | 基于nnU-Net框架的6种方法横向比较,无外部单点基线 | BreizhSeg比最差的OrdSTAPLE在DSC上提升约17个百分点(71.04 vs 54.05) |
| 概率式Dice | Thr-DSC (%) | BreizhSeg 64.01 / MIC DKFZ 59.57 / CorpuSeg 58.01 / TwinTrack 56.93 / ROISeg 55.32 / OrdSTAPLE 48.73 | 同上 | BreizhSeg领先第二名约4.4个百分点,且Thr-DSC普遍低于DSC说明概率化评估对所有方法都更严苛 |
| 多评分者校准 | MR-ECE (×10⁻³, 越低越好) | BreizhSeg 25.7 / TwinTrack 29.6 / CorpuSeg 30.5 / MIC DKFZ 32.2 / ROISeg 34.5 / OrdSTAPLE 40.3 | 同上 | 贝叶斯/集成方法(BreizhSeg、TwinTrack)比纯共识方法(OrdSTAPLE、ROISeg)在校准上提升约25-36% |
| 概率体积评估 | CRPS (cm³) | ROISeg 5.352 / TwinTrack 5.924 / MIC DKFZ 7.256 / BreizhSeg 7.320 / OrdSTAPLE 8.592 / CorpuSeg 10.792 | 同上 | ROISeg在体积估计上反而最优,比最差的CorpuSeg低约50%,与DSC排名不一致 |
| 高复杂度病例(DSC≤30%)全局分割 | DSC (%) | TwinTrack 61.22 / ROISeg 60.98 / CorpuSeg 54.32 / OrdSTAPLE 52.16 / BreizhSeg 28.27 / MIC DKFZ 23.49 | 同上 | 在困难子集上排名完全翻转——MIC DKFZ从全局第2跌到DSC 23.49%,BreizhSeg从全局第1跌到28.27%,而TwinTrack和ROISeg反而最稳健 |
| 门静脉VI评估 | Wasserstein-1 距离 (越低越好) | TwinTrack 29.03 / CorpuSeg 29.09 / ROISeg 33.16 / MIC DKFZ 33.53 / BreizhSeg 35.94 / OrdSTAPLE 41.81 | 同上 | TwinTrack比最差OrdSTAPLE低约30%,集成策略在VI评估上系统性优于纯共识/贝叶斯策略 |
局限与改进
作者明确承认的局限有四点:(1)测试集规模相对较小(64例),且高复杂度子集(平均人类DSC≤30%)样本极少,导致血管VI评估的配对Wilcoxon检验大多不显著,部分排名差异应谨慎解读;(2)ground truth是放射科医生标注而非手术或病理的金标准映射,意味着参考标准本身继承了专家的主观不确定性;(3)所有6个参赛方法都是nnU-Net变体,benchmark实际上只比较'训练策略和不确定性建模'的差异,并未覆盖更多样的架构(如Transformer-based、扩散模型等);(4)评估仅基于几何指标,未纳入生存期、切除率等真实临床终点。我自己的额外观察还包括:(a)数据集全部来自欧洲多中心(德国、法国、西班牙医院),可能存在人群/扫描协议偏倚;(b)5位专家中包含一位仅1年经验的住院医(Rater 5),其平均DSC仅55.33%是最低的,是否应当引入'专家可靠性加权'而非平均融合值得讨论;(c)MIC DKFZ在高复杂度病例上CRPS高达6742 cm³(异常大),可能与无TTA、无重叠patch推断有关,是工程层面的次优选择而非方法学失败。
独立分析的弱点
独立分析的弱点分四个层面。第一是数据规模与代表性——109例对深度学习偏少,尤其训练策略(如CorpuSeg的5模型集成)需要大量样本时几乎肯定欠拟合;数据集全为欧洲来源CT,与北美/亚洲人群的泛化性未知。改进方向是联合更多医学中心扩充到500+例并显式测试域外泛化。第二是评估协议的临床脱节——9个评估轴都是几何/概率指标,与外科医生真正关心的'该患者能否切除'这种二分类决策之间还隔着一层映射,缺乏决策曲线分析。改进方向是增加'基于VI预测做可切除性二分类'的下游任务评估。第三是血管评估精细度不足——只对5条主血管单独打分,缺乏血管壁侵犯深度、包绕百分比等更细粒度指标。第四是模型架构同质化——6个方法全是nnU-Net变体,无法判断是'nnU-Net本身就够好'还是'其他架构在这种少样本标注下无法工作',未来需更多Transformer或扩散模型的加入。
未来方向
作者在结论部分提出的未来方向包括:(1)扩充队列规模和方法多样性,邀请更多架构参赛;(2)引入更丰富的临床终点(生存期、术后并发症、实际切除率)而不仅是几何指标;(3)继续推进从确定性分割向校准的概率决策支持系统的范式转变。基于本文成果可以延伸的方向还有几个:(a)把aleatoric uncertainty建模与主动学习结合——既然已经知道哪些病例让医生分歧最大,可以让模型在这些样本上请求更多专家标注或专家讨论;(b)把这种不确定性感知框架扩展到其他癌种(如肝细胞癌与门静脉侵犯、肺癌与纵隔血管侵犯);(c)把Wasserstein距离的VI评估与放射科医生实际的临床报告进行'决策一致性'研究,验证概率图是否真的能改善术前沟通;(d)探索把5份独立标注作为'软标签分布'来训练生成式模型(如diffusion-based PDAC分割),让模型学习完整的标注分布而不仅仅是统计量。
复现评估
本文复现性较好。数据集已完整公开在Zenodo(doi:10.5281/zenodo.17552201),包含原始CT、5份独立PDAC标注、5条血管分割与STAPLE共识掩膜;评估代码已开源在GitHub(SYCAI-Technologies/curvas-challenge),提供完整DSC、Thr-DSC、MR-ECE、CRPS、Wasserstein VI指标实现。挑战赛在Grand Challenge平台举办,训练/验证/测试完整流程可追溯。参赛方法的论文描述较详细但代码需向各团队单独索取(部分已发独立论文如TwinTrack的arXiv:2604.15950)。复现难度中等:单张A100可重训单个nnU-Net,但BreizhSeg的Adaptable Bayesian Network和TwinTrack的深度集成(3-5个模型)需数天训练。主要障碍:(1)训练样本仅40例,任何深度学习结果都有较大方差;(2)评估时需访问原始5份专家标注才能正确计算MR-ECE和VI Wasserstein距离,普通公开数据集不包含这些信息。
论文图表
展示了两行CT切片,每行显示同一病例上5位独立专家的标注(红色=肿瘤,绿色=血管,白色=血管侵犯区域)。上行展示专家对浸润性边界和肿瘤-血管接触面具体范围存在实质性分歧;下行展示完全缺乏空间共识的情形,5位专家的标注散落在完全不同的解剖区域,凸显了复杂临床病例中固有的极端aleatoric uncertainty。
这张图是整篇论文的'问题陈述'——它用视觉方式直观呈现了为什么Dice指标和确定性输出不足以胜任PDAC分割任务,对读者理解数据集的特殊性和方法学选择的动机至关重要。
5×5的热力图展示了109例数据上每位评分者与其他人以及与STAPLE共识的平均Dice。整体均值 $58.4 \pm 25.7\%$,其中1年资住院医(Rater 5)与组合的平均一致性最低(55.33%),3年资医生(Rater 4)最高(60.19%)。
提供了专家间一致性的量化证据,让读者直观看到分歧不是个别现象而是普遍现象,为后续评估协议的设计提供统计学基础。
在高复杂度病例上展示每个方法在不同指标上的失败模式(DSC<5th百分位、ECE>90th百分位等),以及跨算法共享的'最困难病例'列表。说明benchmark最严重的错误更多由'病例内在模糊性'而非'个别架构弱点'驱动。
为论文的核心主张——'困难病例需要专门的方法'——提供了案例级证据,把宏观的统计结论锚定到具体的临床实例上。