UniPET:面向不同剂量降低因子的高质量PET图像去噪通用网络 UniPET: a universal network for high-quality PET image denoising across varied dose reduction factors
通过域泛化技术实现跨不同DRF的通用PET图像高质量去噪
前置知识
剂量降低因子(DRF)
DRF(Dose Reduction Factor)是衡量PET图像剂量降低程度的指标,DRF=2表示剂量降低到50%,DRF=12表示剂量降低到约8.33%。不同DRF的低剂量PET图像表现出不同的噪声水平和视觉特征,这对应着不同的数据分布域。在实际临床场景中,由于患者BMI差异、示踪剂注射方案变化、采集时间差异等因素,DRF经常波动,导致固定DRF模型性能下降。
理解DRF是理解本文核心问题的前提,因为论文要解决的就是现有方法假设DRF固定已知而在实际应用中DRF变化导致性能下降的问题。
域泛化(Domain Generalization)
域泛化是一种机器学习技术,目标是学习可跨不同域迁移的域不变特征。不同于域适应(需要目标域数据),域泛化在训练时只使用源域数据,但要求模型能够泛化到未见过的目标域。在DG中,图像特征通常被解耦为域不变的内容和域特定的风格。DG研究通过移除或对齐域特定风格来获取域不变特征。在分割、分类等任务中,风格信息不太关键,DG倾向于消除风格;而在图像恢复等任务中,风格信息对结果影响显著,DG倾向于对齐风格。
本文创新性地将域泛化引入PET图像去噪,通过风格对齐来解决不同DRF数据之间的风格不一致问题,这是理解本文方法创新的关键。
风格调制(Style Modulation)
风格调制源于风格迁移文献,通常利用额外辅助信息来操控网络特征的风格。CNN中的风格信息被封装在提取特征的均值和标准差中。风格调制一般基于辅助信息估计去归一化因子(如偏置和缩放),并将其应用到归一化特征上。常见的风格调制技术基于实例归一化(IN)、批归一化(BN)或权重归一化(WN)。StyleGAN中用WN实现更精细的风格调制效果。动态卷积是风格调制的一种实现方式,通过将风格编码与标准卷积权重结合,实现卷积层对特征的动态交互和风格操控。
风格调制是本文SAN模块的核心技术,用于对齐不同DRF的特征风格,理解风格调制原理有助于理解SAN如何实现风格恢复。
PET图像SUV值
SUV(Standard Uptake Value)是PET图像中用于定量评估放射性示踪剂摄取的标准化摄取值。SUV值反映了组织或器官的代谢活性,是诊断肿瘤等疾病的重要指标。SUV误差是指预测图像与全剂量图像之间SUV值的差异,通常用平均绝对误差(MAE)量化。临床上,平均SUV误差10%以内被认为是可接受的。血池、肝脏和病灶是三个重要的ROI,它们的SUV值作为其他组织代谢活性的背景参考。
SUV误差是本文临床评估的核心指标,理解SUV概念有助于理解论文的临床意义和实验设计的合理性。
对抗学习(Adversarial Learning)
对抗学习源于生成对抗网络(GAN),通过生成器和判别器的对抗训练来提升生成质量。判别器学习区分真实样本和生成样本,生成器学习欺骗判别器。在图像恢复任务中,GAN能有效恢复纹理和细节。WGAN-GP是GAN的一种改进,使用Wasserstein距离和梯度惩罚来稳定训练。PatchGAN是判别器的一种架构,关注图像的局部补丁而非整体,对纹理和细节更敏感。本文使用WGAN-GP和类似PatchGAN的判别器进行对抗训练。
对抗学习是RALS策略的核心技术,用于在风格化区域进行精细化风格恢复,理解对抗学习原理有助于理解RALS如何工作。
研究动机
现有基于深度学习的PET图像去噪方法存在两个核心问题。首先,大多数方法针对具有特定剂量降低因子(DRF)的低剂量PET数据定制,在实际应用中当DRF超出假设值时会出现显著的性能下降。这是因为不同DRF的低剂量PET图像表现出不同的视觉特征和误差分布,实际上属于不同的数据分布域。如图1所示,DRF=2、3、6、12的图像具有明显不同的纹理和细节,错误分布直方图也显示不同DRF对应不同的误差模式,表明它们属于不同域。其次,虽然一些初步研究尝试训练通用模型来处理多种DRF,但这些普通通用模型面临风格消除问题——模型倾向于消除多样化的DRF特定风格(纹理和细节),以产生更广义的输出,导致合成图像出现过度平滑效应。在PET图像中,风格指代与小病灶和细微空间模式相关的纹理和细节,这些信息对病灶检测和示踪剂摄取准确性至关重要。
本文的目标是本文的目标是开发一个具有强泛化能力的通用PET图像去噪网络,能够在不同DRF的低剂量PET图像上实现高质量去噪。具体而言,该网络需要:(1)在特定DRF上达到与DRF特定模型相当的性能;(2)在未知DRF的分布外(OOD)数据上保持鲁棒性;(3)在来自未知中心的OOD数据上仍能有效工作;(4)有效恢复PET图像的纹理和细节,避免过度平滑;(5)在定量、感知和临床评估上均达到最优性能。为达成这些目标,论文创新性地将域泛化技术引入PET图像去噪,通过风格对齐来解决不同DRF数据之间的风格不一致问题。
与已有工作不同的是,本文的独特切入点在于从域泛化的视角重新审视通用PET图像去噪问题。与以往工作仅依赖网络的映射能力来处理不同DRF数据的做法不同,本文认识到不同DRF数据之间的风格不一致是导致普通通用模型风格消除问题的根本原因,因此主动引入域泛化技术来对齐和恢复风格。具体而言,论文提出了两个创新模块:(1)风格对齐网络(SAN),利用从风格迁移和StyleGAN中借鉴的风格调制技术,动态对齐不同DRF特征的风格到共同空间;(2)区域感知学习策略(RALS),观察到PET图像中风格化区域(富含纹理)和平坦区域的错误率差异,引导网络专注于风格化区域的学习。这两个模块的结合有效缓解了风格消除问题,使通用模型既能泛化到不同DRF,又能保留DRF特定的风格细节。
核心方法
UniPET的整体方法思路分为三个层次:粗粒度去噪、细粒度风格对齐、区域感知精细化。首先,基础去噪网络(BDN)在多DRF数据集上预训练,学习基本的去噪映射,产生初步预测结果。然而,BDN由于无法处理不同DRF之间的风格错位,会遭遇风格消除问题。为此,引入风格对齐网络(SAN)作为域泛化技术,利用域知识动态对齐不同DRF的风格,将不同域特征统一到共同空间,在确保泛化性的同时保留风格保真度。最后,为进一步增强风格恢复,引入区域感知学习策略(RALS),区分平坦区域和风格化区域,仅对后者进行对抗训练,引导模型专注于纹理细节的学习。这种层次化的设计从粗到细、从全局到局部,逐步提升去噪质量,使单一模型能够在不同DRF上实现高质量去噪。
核心创新点在于将域泛化中的风格对齐思想引入PET图像去噪,并提出SAN和RALS两个模块来具体实现。与以往通用模型直接在多DRF数据上训练不同,UniPET主动显式地处理不同DRF之间的风格差异。SAN通过从浅层特征中提取域知识编码,然后使用风格调制技术将这些编码注入到BDN的不同层次特征中,动态调整特征风格。风格调制采用动态卷积,将风格代码与卷积权重结合,实现特征的动态交互。SAN还引入风格对齐损失,使不同DRF的风格向全剂量风格对齐。RALS则基于对PET图像中风格化区域和平坦区域错误率差异的观察,通过计算局部方差来区分这两类区域,然后仅对风格化区域进行GAN训练,使网络更专注于风格恢复。这两个模块的结合从根本上解决了普通通用模型的风格消除问题,在保持泛化性的同时有效恢复了纹理和细节。
方法步骤详情
UniPET的完整工作流程包含三个主要步骤。步骤1:基础去噪网络(BDN)进行粗粒度去噪。给定特定DRF d的低剂量PET图像 ILd,BDN首先通过 K×K×K 卷积层提取浅层特征 ISd^F。这些浅层特征经过 N 个残差块的细化和深度特征提取,得到深度特征 IDFd^F。最终通过另一个 K×K×K 卷积层生成估计的残差特征 IRd。合成图像通过逐元素相加产生:ÎFd = ILd + IRd。BDN在多DRF数据集上预训练,具有基本的去噪能力。步骤2:风格对齐网络(SAN)进行细粒度风格对齐和恢复。SAN通过三个子步骤工作:(2.1) 域知识嵌入:使用 T 个块的简单CNN对域知识(浅层特征 ISd^F)进行编码,在四个不同层次生成层次化域知识嵌入。(2.2) 风格调制:从域知识嵌入 E 推导风格代码 S = A(GAP(E)),其中GAP是全局平均池化,A是仿射变换层。然后将风格代码集成到BDN的残差块中,将标准卷积转变为动态卷积:W′ = (W⊙S)/√(∑_{i,j}(W⊙S)^2 + ε)。N个残块被分为 T 组,每组使用不同的层次化域知识嵌入进行风格调制。(2.3) 风格对齐损失:通过最小化低剂量风格 Φd 与参考全剂量风格 Φ1 之间的差异来对齐风格,其中风格 Φd 是所有残块输出特征的通道均值和标准差的连接:Lalign = ||Φd - Φ1||_1。步骤3:区域感知学习策略(RALS)进行精细化训练。RALS通过两个子步骤工作:(3.1) 识别风格化区域:计算全剂量PET图像 IF 的方差图 V(i,j,k) = VAR({IF(i+l,j+m,k+n)|l,m,n∈{-1,0,1}}),然后应用阈值 δ 生成风格化区域的二进制掩码 Mδ:Mδ(i,j,k) = 1 if V(i,j,k) ≥ δ,否则为 0。(3.2) 区域感知对抗学习:将去噪结果 ÎFd 和对应的全剂量数据 IF 与掩码 Mδ 相乘,获得风格化区域内容 ÎFd,Mδ 和 IF,Mδ。然后将它们输入判别器 D 进行对抗学习,使用 WGAN-GP 训练方案。整个目标函数为 L = Lrec + βLalign + γLadv,其中 Lrec 是重建损失,Lalign 是风格对齐损失,Ladv 是对抗损失,β=0.001 和 γ=0.001 是平衡参数。
技术新颖性
UniPET的技术新颖性体现在三个方面。首先,这是首次将域泛化技术系统性地引入PET图像去噪任务。以往工作虽然训练通用模型,但没有显式处理不同DRF之间的域差异,而UniPET认识到这是一个域泛化问题,并引入风格对齐技术来对齐不同DRF的风格。其次,SAN的创新在于使用浅层特征作为域知识,并提出层次化域知识嵌入。与使用输入图像本身或手工设计的高频分量相比,浅层特征既能自适应地从输入图像中提取,又对域变化高度敏感,同时作为深度特征提取的初始阶段,与后续层对齐紧密,能够提供有效的特征级指导。层次化嵌入为不同层次的特征提供不同粒度的风格指导,比StyleGAN的单嵌入方法更灵活。最后,RALS的创新在于基于PET图像的特性(风格化区域错误率高、对DRF变化敏感,平坦区域错误率低、变化小)来区分区域,并将GAN训练限制在风格化区域。这种设计避免了GAN在数据不平衡时对平坦区域的过拟合,使网络更专注于风格恢复。与在临床ROI上训练相比,使用风格化区域作为指导接近使用临床注释作为指导的性能,且不需要额外的标注成本。
实验结果
实验结果从多个角度验证了UniPET的有效性。在UPID-Base数据集上,UniPET与DRF特定模型和通用模型的对比显示,DRF特定模型在训练的特定DRF上表现良好,但在其他DRF上性能显著下降,导致整体性能较低。BDN作为普通通用模型在PSNR上表现相对较好,但由于风格消除问题,在反映风格的指标(LPIPS)上表现较弱。UniPET通过SAN和RALS显著缓解了风格消除问题,在所有DRF数据集上超越了BDN,平均提升0.47 dB的PSNR、0.005的SSIM、0.009的LPIPS降低。更重要的是,在每个单独DRF上,UniPET达到了与DRF特定模型相当的性能。在与五种最先进方法的对比中(UPID-Base和Bern数据集),UniPET在定量、感知和临床评估上均超越了所有对比方法。在UPID-Base上,UniPET的平均PSNR为48.55(超过第二名Spach Transformer的48.09)、SSIM为0.967(超过第二名0.005)、LPIPS为0.007(降低0.003)。在Bern数据集上,UniPET在所有DRF(2,4,10,20,50,100)上均取得最佳性能,平均PSNR为46.42、SSIM为0.969、LPIPS为0.005。临床评估中,四位放射科医生的读者评分显示,UniPET在降噪、结构保持、纹理保持和整体质量四个方面均显著优于其他方法(评分在4.35-4.60之间,其他方法在2.10-4.20之间)。SUV误差评估显示,UniPET在血池(MAE=0.098)、肝脏(MAE=0.099)、病灶(MAE=0.165)三个ROI上均达到最低误差,临床可接受阈值(血池0.1862、肝脏0.1906、病灶0.3447)内所有方法都达标,但UniPET最佳。病灶检测任务中,三位放射科医生评估显示,低剂量图像的F1-score在DRF=12时仅为0.58,而所有深度学习方法显著提升了病灶检测性能。UniPET在所有DRF上始终达到最佳病灶检测性能(F1-score > 0.9,DRF=12时为0.93),表明它最有效地恢复了放射科医生可识别的病灶区域。基于分类模型的ROC曲线分析显示,低剂量图像的AUC在DRF=2、3、6、12时分别为0.67、0.66、0.61、0.59,表明病灶检测能力较差。UniPET的ROC曲线始终最接近全剂量数据,在所有DRF上达到最高AUC(0.86、0.84、0.80、0.75),表明UniPET产生的图像的整体质量和病灶检测能力最接近全剂量图像。在OOD测试中,UniPET在UPID-OOD-DRF数据集(未知DRF)上超越了所有对比方法,PSNR为47.93、SSIM为0.967、LPIPS为0.007。在UPID-OOD-Center数据集(未知中心)上,由于中心之间的显著域偏移,不同方法性能大幅下降,但UniPET展现了最强的泛化性,PSNR为43.61、SSIM为0.963、LPIPS为0.021。消融研究显示,SAN和RALS都发挥了关键作用,SAN显著提升了所有四个评估指标,RALS主要增强了风格恢复(LPIPS)和病灶恢复(病灶MAE),两者结合产生了最佳的风格恢复性能,病灶区域MAE比基线降低了0.024。将SAN和RALS应用于不同的去噪网络(ResNet、DenseNet、UNet)也带来了一致的性能提升,确认了这两个组件的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 通用PET图像去噪(UPID-Base) | PSNR (dB) | 48.55 | Spach Transformer: 48.09, DCNN: 48.17, 3D-cGAN: 47.54 | +0.46 dB vs Spach Transformer |
| 通用PET图像去噪(UPID-Base) | SSIM | 0.967 | Spach Transformer: 0.962, DCNN: 0.963, 3D-cGAN: 0.961 | +0.005 vs Spach Transformer |
| 通用PET图像去噪(UPID-Base) | LPIPS | 0.007 | Spach Transformer: 0.010, DCNN: 0.014, 3D-cGAN: 0.013 | -0.003 vs Spach Transformer |
| 通用PET图像去噪(Bern) | PSNR (dB) | 46.42 | Spach Transformer: 46.13, DCNN: 46.02, 3D-cGAN: 45.58 | +0.29 dB vs Spach Transformer |
| 病灶检测(UPID-Base, DRF=12) | F1-Score | 0.93 | Spach Transformer: 0.84, DCNN: 0.81, 3D-cGAN: 0.81, Low-dose: 0.58 | +0.09 vs Spach Transformer |
| 病灶检测(UPID-Base, DRF=12) | AUC | 0.75 | Spach Transformer: 0.70, DCNN: 0.66, 3D-cGAN: 0.71, Low-dose: 0.59 | +0.05 vs Spach Transformer |
| SUV误差(UPID-Base, 病灶) | MAE | 0.165 | Spach Transformer: 0.189, DCNN: 0.178, 3D-cGAN: 0.192 | -0.024 vs Spach Transformer |
| 未知DRF泛化(UPID-OOD-DRF) | PSNR (dB) | 47.93 | Spach Transformer: 47.49, DCNN: 47.58, mDCSRN: 47.09 | +0.44 dB vs Spach Transformer |
| 未知中心泛化(UPID-OOD-Center) | PSNR (dB) | 43.61 | mDCSRN: 42.51, DCNN: 42.31, Unet: 42.54 | +1.10 dB vs mDCSRN |
局限与改进
本文存在几个局限性。首先,从模型性能角度看,虽然UniPET达到了SOTA性能,但合成图像中的小病灶与全剂量PET图像相比仍存在明显差距。如图7、8、9所示,这些合成图像中的病灶形状相对于全剂量图像表现出一定程度的扭曲。这主要是因为小病灶在数据集中占比非常小,使得模型难以准确恢复它们并将其与周围噪声区分。其次,从模型泛化性角度看,虽然UniPET包含了域泛化技术,但在分布外(OOD)数据上测试时仍面临风险。如图10所示,UniPET在UPID-OOD-Center数据集上的合成结果表现出一定程度的过度平滑,一个病灶的对比度恢复不充分。这表明模型存在无法仅从有限训练数据中学习的固有脆弱性。第三,从模型评估角度看,虽然论文采用了一系列评估措施(定量、感知、临床),但这些评估指标的临床可接受程度仍是一个关键问题。目前尚不清楚这些评估措施在多大程度上与现实世界临床标准一致,以及模型本身是否可以被认为在临床上可接受。第四,RALS中风格化区域的识别基于局部方差阈值,但最佳阈值可能因数据集而异,需要针对不同场景调整。第五,方法依赖于全剂量数据作为监督信号,这在某些情况下可能不可用,限制了方法的适用范围。
独立分析的弱点
独立分析的弱点包括:(1)小病灶恢复不充分。如图7、8、9所示,合成图像中的小病灶与全剂量图像相比存在形状扭曲和对比度不足的问题。改进方向是引入辅助任务(如分割)来专门增强小病灶的恢复,或者采用病灶感知的损失函数给予小病灶区域更高的权重。(2)OOD数据上泛化能力有限。在UPID-OOD-Center数据集上,模型仍表现出过度平滑,病灶对比度恢复不充分。改进方向是引入更先进的保护技术(如FGSM)来增强模型鲁棒性,或者采用元学习、测试时适应等技术来提升OOD泛化能力。(3)风格化区域识别依赖人工阈值。RALS中阈值 δ=0.001 是经验选择的,可能不适用于所有数据集。改进方向是开发自适应阈值选择机制,或者采用可学习的区域分割网络来替代基于方差的手工阈值。(4)计算开销。SAN需要额外的编码网络和风格调制操作,RALS需要计算方差图和掩码,增加了计算复杂度。改进方向是优化网络架构,或者采用知识蒸馏将SAN和RALS的知识转移到更轻量的模型中。(5)对全剂量数据的依赖。方法需要成对的低剂量-全剂量数据作为监督,限制了在只有低剂量数据场景下的应用。改进方向是探索自监督或半监督学习方法,减少对全剂量数据的依赖。
未来方向
未来研究方向包括:(1)作者提出的小病灶恢复增强。按照Zhou等人(2022)的方法,引入分割等辅助任务来专门增强小病灶的恢复。这可能通过多任务学习实现,将分割损失与去噪损失结合,或者先进行分割然后在分割结果的指导下进行去噪。(2)增强模型泛化性。引入更先进的保护技术(如FGSM、AT)来增强模型鲁棒性和泛化性。FGSM通过生成对抗样本帮助识别模型在训练过程中的脆弱性,然后最小化这个损失,提高模型处理对抗攻击的能力,进而提升泛化到潜在未见数据和未知域的能力。还可以探索测试时适应、元学习等技术。(3)大规模临床基准评估。未来工作可以专注于通过基于真实临床患者数据的大规模基准来评估模型性能。这将提供对模型实际实用性的更直接见解,确保其性能符合临床期望,验证其临床部署的准备状态。(4)自适应风格化区域识别。开发自适应的、可学习的风格化区域识别方法,替代基于固定阈值的方差计算。这可能使用注意力机制、图神经网络或可学习的分割网络来自动识别需要重点关注的区域。(5)跨模态和多中心泛化。探索将方法扩展到其他成像模态(如CT、MRI),以及更广泛的多中心、多扫描仪场景。这可能需要引入更强大的域泛化技术,如域不变表示学习、解耦表示学习等。(6)实时临床部署。优化模型架构和推理效率,使其能够在临床环境中实时运行。这可能涉及模型压缩、知识蒸馏、硬件加速等技术。
复现评估
论文提供了较高的复现可行性。代码已在GitHub上公开(https://github.com/Yaziwel/UniPET),这是复现的重要前提。论文详细描述了数据集信息(表1),包括三个私有数据集(UPID-Base、UPID-OOD-DRF、UPID-OOD-Center)和一个公开数据集(Bern)。私有数据集的具体获取方式未明确说明,但公开数据集(Bern)可供其他研究者使用。论文详细描述了实验设置,包括网络架构、数据准备、训练配置、超参数选择和消融研究设计。网络架构参数明确(K=3, T=4, C=64, N=8等),训练配置详细(学习率0.0001、batch size 4、平衡参数β=0.001和γ=0.001、阈值δ=0.001等)。超参数选择采用了分组顺序优化策略,并在论文中给出了候选值范围和最终选择值,这对复现很有帮助。论文还进行了全面的消融研究,验证了各个组件的有效性,这增加了结果的可信度。评估指标选择合理,包括定量指标(PSNR、SSIM)、感知指标(LPIPS、读者评分)和临床指标(SUV误差、病灶检测F1-score、ROC曲线),多角度评估增强了结果的说服力。论文还进行了统计显著性检验(配对t检验和Bonferroni校正),这是良好实践。硬件需求明确(NVIDIA A100 GPU),训练时间未明确给出但可通过参数估算。总体而言,论文提供了充分的实现细节,代码开源,公开数据集可用,复现难度中等。主要挑战在于私有数据集的获取,但研究者可以使用公开的Bern数据集进行部分复现和验证。
论文图表
该图包含三个子图:(a)展示了不同DRF(Full-dose, DRF=2,3,6,12)的PET图像可视化,可以直观看到随着DRF增加,噪声水平提高,纹理和细节逐渐丢失。(b)展示了不同DRF的PET图像SUV误差分布直方图,显示不同DRF对应不同的误差分布,表明它们属于不同的数据分布域。(c)展示了不同DRF的PET图像在不同区域(整个图像、风格化区域、平坦区域)的SUV误差,显示风格化区域的误差远高于平坦区域,且对DRF变化更敏感。
这张图对理解论文至关重要,因为它直观地展示了问题的本质:不同DRF的PET图像具有不同的视觉特征和误差分布,属于不同域;同时风格化区域和平坦区域的错误率差异巨大,这是RALS策略设计的动机。
该图展示了不同方法在Bern公开数据集上病灶区域的视觉对比,输入低剂量PET图像对应DRF=20。尽管低剂量图像已经表现出良好的病灶可检测性,但一些方法(Unet、3D-cGAN、Spach Transformer)错误地移除了病灶,从而损害了可检测性。UniPET正确保留了病灶。
这张图在公开数据集上验证了UniPET的有效性,增强了结果的普适性和可信度。
该图展示了不同方法在UPID-OOD-Center数据集(未知中心)上病灶区域的视觉对比,输入低剂量PET图像对应DRF=4。当处理来自未知中心的图像时,大多数对比方法由于无法处理域偏移而表现出显著的过度平滑效应。Spach Transformer完全平滑了一个小病灶。UniPET最佳地保留了小病灶的对比度和可检测性。
这张图对理解论文的泛化能力很重要,它展示了UniPET在未知中心OOD数据上的表现,验证了方法的泛化性。
该图展示了组件分析的视觉对比,比较了Low-dose、BDN、BDN+RALS、BDN+SAN、UniPET、Full-dose的结果,输入低剂量PET图像对应DRF=12。箭头指示病灶区域的显著差异。可以看到BDN出现过度平滑,BDN+RALS和BDN+SAN逐步改进,UniPET达到最佳效果。图中还报告了病灶区域的MAE值:低剂量(0.337)、BDN(0.197)、BDN+RALS(0.190)、BDN+SAN(0.185)、UniPET(0.177),定量验证了视觉改进。
这张图对理解论文的组件贡献很重要,它直观地展示了SAN和RALS各自的贡献以及它们结合后的协同效应。
该图展示了不同阈值下的风格化区域掩码可视化。(a)全剂量图像。(b)-(g)使用不同阈值δ推导出的风格化区域掩码Mδ:δ=0(整个图像)、δ=0.0001、δ=0.001、δ=0.01、δ=0.1、δ=+∞(无区域)。(h)标注三个临床ROI(肝脏、血池、病灶)的掩码,与最终选择阈值δ=0.001的风格化区域掩码叠加。可以看到δ=0.001在覆盖三个临床ROI和大多数其他临床重要解剖区域的同时,排除了容易恢复的平坦区域。
这张图对理解RALS的工作原理很重要,它直观展示了不同阈值如何影响风格化区域的识别,以及为什么δ=0.001是一个好的选择。
该图展示了超参数的消融研究,包含六个子图分别对应六个关键超参数:patch size P、residual blocks N、channel dimension C、loss balancing factor β、loss balancing factor γ、threshold δ。红点标记最终配置的超参数。可以看到所有六个超参数都对模型性能有显著影响,最终选择的每个超参数的值对应一个转折点,超过该点后,随着超参数值增加,模型性能提升缓慢甚至下降。
这张图对理解论文的超参数选择很重要,它展示了超参数对性能的影响,验证了最终选择的合理性。
该表展示了SAN和RALS对AUC的影响,分别在DRF=2,3,6,12上报告。与基线相比,SAN和RALS一致地提升了所有DRF的AUC,它们的结合产生最大增益:DRF=2(+0.05)、DRF=3(+0.06)、DRF=6(+0.07)、DRF=12(+0.07)。
这个表格从分类模型的角度验证了SAN和RALS的有效性,与表11的放射科医生评估结果一致。
该表展示了SAN和RALS的组件分析,使用PSNR、SSIM、LPIPS、病灶MAE评估。基线(无SAN无RALS):PSNR 48.08、SSIM 0.962、LPIPS 0.016、病灶MAE 0.189。仅SAN:PSNR 47.85、SSIM 0.965、LPIPS 0.009、病灶MAE 0.173。仅RALS:PSNR 48.98、SSIM 0.968、LPIPS 0.011、病灶MAE 0.172。SAN+RALS(UniPET):PSNR 48.55、SSIM 0.967、LPIPS 0.007、病灶MAE 0.165。SAN提升了所有指标,RALS主要增强了LPIPS和病灶MAE,两者结合产生最佳效果。
这个表格量化了SAN和RALS各自的贡献和协同效应,验证了两个模块的设计合理性。
该表展示了将SAN和RALS应用于不同去噪网络(ResNet、DenseNet、UNet)的性能,使用PSNR、SSIM、LPIPS、病灶MAE评估。集成SAN和RALS导致三种不同去噪网络在所有四个评估指标上一致提升。特别是,病灶区域的MAE减少:ResNet-based BDN减少0.024、DenseNet-based mDCSRN减少0.011、UNet-based 3D-cGAN减少0.010。
这个表格证明了SAN和RALS的有效性不依赖于特定的网络架构,可以应用于不同的去噪骨干网络。
该表展示了不同域知识的消融研究,比较了输入图像ILd本身、手工设计的高频分量(HFC)和自动提取的浅层特征ISd^F,使用PSNR、SSIM、LPIPS、病灶MAE评估。浅层特征ISd^F是更有效的域知识形式,相比ILd和HFC,病灶MAE分别降低0.004和0.003。
这个表格验证了使用浅层特征作为域知识的有效性,这是SAN设计的一个关键决策。
该表展示了不同域知识嵌入方法的消融研究,比较了论文的层次化嵌入方法和StyleGAN的单嵌入方法,使用PSNR、SSIM、LPIPS、病灶MAE评估。层次化嵌入在所有四个评估指标上都优于单嵌入方法,特别是更有效地保留病灶,病灶MAE降低0.005。
这个表格验证了层次化嵌入相对于单嵌入方法的优势,这是SAN的另一个关键设计。
该表展示了风格对齐损失Lalign的消融研究,比较了不使用Lalign和使用Lalign,使用PSNR、SSIM、LPIPS、病灶MAE评估。使用Lalign的模型比不使用Lalign的模型在PSNR上提升0.17 dB、SSIM提升0.001、LPIPS降低0.001、病灶MAE降低0.003。
这个表格验证了风格对齐损失的有效性,证明了显式风格对齐的必要性。
该表展示了RALS中阈值δ的消融研究,使用LPIPS评估。特殊情况:δ=0时RALS退化为GAN(整个图像对抗训练),δ=+∞时RALS禁用(无区域对抗训练)。RALS使用指定阈值在LPIPS上超越GAN,δ=0.001时RALS达到最佳性能。这表明RALS在风格化区域进行对抗学习比在整个图像上更能有效地学习和恢复风格信息。
这个表格验证了RALS相对于标准GAN的优势,以及δ=0.001的选择合理性。
该表展示了RALS在不同临床区域的性能,使用病灶MAE评估,比较了不使用RALS、GAN(整个图像)、RALS(风格化区域)、以及使用手动标注的临床ROI掩码(血池、肝脏、病灶)。RALS相比GAN在血池MAE降低0.002、肝脏降低0.005、病灶降低0.004。使用临床ROI掩码作为RALS的指导接近使用手工标注的临床注释作为指导的性能。
这个表格验证了RALS在临床区域的有效性,以及使用风格化区域作为指导的合理性。
该表展示了超参数调优顺序的消融研究,包括组内重排和组间重排。组内重排(同一组内超参数顺序变化)不影响最终配置,表明同一组内的超参数相对独立。组间重排引入一些变化,特别是过早调优损失相关超参数总是导致次优配置。这验证了论文的策略:优先调优数据相关和模型相关超参数,然后再调优损失相关超参数是有效的。
这个表格验证了论文的超参数调优策略的合理性,为超参数选择提供了方法论支持。
该表展示了保护技术FGSM的效果,比较了UniPET和UniPET+FGSM在三个数据集上的PSNR。虽然应用FGSM后模型在UPID-Base数据集上性能略有下降,但在OOD数据集UPID-OOD-DRF和UPID-OOD-Center上性能提升。这表明引入像FGSM这样的保护技术可以增强模型泛化性。
这个表格探索了提升模型泛化性的潜在方向,为未来工作提供了有价值的参考。