← 返回 2026-02-26

DM4CT:扩散模型用于计算机断层成像重建的基准测试 DM4CT: Benchmarking Diffusion Models for Computed Tomography Reconstruction

Jiayang Shi, Daniel M. Pelt, K. Joost Batenburg 📅 2026-02-20 👍 1 2026-07-13 08:35
图像重建 基准测试 扩散模型 计算机断层成像 逆问题

首个系统评估扩散模型在CT重建中性能的综合基准测试平台

前置知识

计算机断层成像(CT)

CT是一种医学成像技术,通过从不同角度采集X射线投影数据来重建物体内部的三维结构。数学上,CT重建是一个线性逆问题,可以用方程 y = Ax 描述,其中 A 是由扫描几何确定的系统矩阵,x 是待重建的物体,y 是投影测量值。当投影数据稀疏或含有噪声时,这个问题成为不适定问题,需要引入先验知识才能获得可靠的重建结果。

论文的核心目标是评估扩散模型在CT重建中的表现,理解CT重建的数学基础(逆问题、数据一致性、先验知识)对于理解扩散模型如何应用于这个领域至关重要。

扩散模型

扩散模型是一类生成模型,通过逐渐向数据添加噪声的前向扩散过程和从噪声中逐步恢复数据的反向去噪过程来学习数据分布。前向过程可以用随机微分方程(SDE)描述:dx = -β_t x + √β_t dw,反向过程则通过学习得分函数 ∇_xt log p(xt) 来逆转噪声。扩散模型可以作为强大的先验,用于解决各种逆问题,包括图像修复、超分辨率和CT重建等任务。

论文的核心研究对象是扩散模型,理解扩散模型的前向/反向过程、得分函数、条件采样等概念对于理解论文中的方法比较和实验分析是必要的。

数据一致性

在逆问题中,数据一致性是指重建结果必须与实际观测数据保持一致。对于CT重建,这意味着重建图像的正向投影应该与测量到的投影数据相匹配。论文中提到了多种实现数据一致性的策略:基于梯度的数据一致性引导(DC-grad),通过计算数据保真度梯度 g_t = ∇_xt L(Ax̂_0 - y) 来调整当前估计;基于优化的数据一致性步骤(DC-step),通过求解 x*_t = arg min L(Ax_t - y) 来直接强制数据一致性;以及伪逆引导方法,使用伪逆 A†(通过FBP或SIRT近似)来引导扩散过程。

论文的核心发现之一是先验知识与数据一致性之间的平衡对重建质量有决定性影响,理解这些不同的数据一致性策略对于理解论文的方法分类学、实验结果和讨论是必要的。

范围空间与零空间分解

对于CT前向算子 A,其伪逆 A† 满足 A†A = I,这意味着 A†A 是一个投影算子,将向量投影到 A 的范围空间(range space)。相应地,I - A†A 是一个投影算子,将向量投影到 A 的零空间(null space)。对于任意信号 x,可以分解为 x = A†Ax + (I - A†A)x,其中范围分量 A†Ax 包含由测量数据直接支持的信息,而零空间分量 (I - A†A)x 包含不受测量约束、由重建方法引入的信息(如先验知识)。这种分解提供了一个分析重建中有多少内容来自数据、多少来自先验的有用视角。

论文使用范围-零空间分解来分析不同数据一致性策略如何影响先验贡献,这对于理解论文的核心发现(如DC-grad引入更多零空间内容,DC-step产生更小零分量)是必要的。

研究动机

计算机断层成像(CT)是一个经典的线性逆问题,理论上应该受益于扩散模型在逆问题求解中的最新进展。然而,实际CT成像引入了许多额外挑战。首先,CT测量中存在复杂噪声特性,通常遵循泊松分布而非高斯分布,这与许多扩散方法隐含的高斯噪声假设不匹配。其次,CT成像管道包含非线性预处理步骤(如对数变换),各种伪影(如环形伪影)以及系统几何依赖性,使得现实世界CT流程与理想化的线性模型存在显著偏差。此外,CT数据集通常规模较小,且存在值域不一致问题(工业CT中机器未校准,医疗CT中校准信息不可访问),这些都使得扩散模型的直接应用变得困难。

本文的目标是本文的核心目标是提供一个全面、现实的基准测试,系统评估扩散模型在CT重建中的表现,并将它们与既定的重建方法进行比较。具体而言,作者希望回答以下问题:扩散模型能否作为CT重建的强先验?在稀疏视角、噪声、伪影等实际挑战条件下,扩散模型的表现如何?不同扩散方法的性能差异如何?在实际CT部署中存在哪些挑战?为了实现这些目标,作者构建了DM4CT基准测试平台,包含医疗、工业和同步辐射三个领域的CT数据集,对比了10种基于扩散的方法和7种强基线方法。

与已有工作不同的是,本文的独特切入点在于,它是第一个系统评估扩散模型在CT重建中性能的工作。虽然扩散模型在自然图像生成、超分辨率、去噪等任务中取得了显著成功,并且已有许多工作提出将扩散模型用于逆问题求解,但缺乏一个统一的基准测试来评估这些方法在CT重建这一特定应用领域的表现。此外,现有工作大多在模拟数据上评估,而本文特别采集了一个真实世界的高分辨率同步辐射CT数据集,用于评估扩散方法在实际条件下的表现,这是本文区别于以往工作的重要特点。本文还提出了一个统一的分类学,根据数据一致性和先验知识的策略来组织不同的扩散方法,这为理解不同方法之间的本质区别提供了清晰框架。

核心方法

DM4CT是一个全面评估扩散模型在CT重建中性能的基准测试平台。整体思路是使用相同的前向模型和训练好的扩散模型骨干网络,公平地比较不同扩散方法以及多种基线方法。基准测试包括三个数据集:医疗CT数据集(2016低剂量CT大挑战)、工业CT数据集(LoDoInd)和同步辐射CT数据集(作者新采集的岩石样本)。对于每个数据集,训练一个像素空间扩散模型和一个潜在空间扩散模型,作为所有基于扩散的方法的共享骨干网络。实验使用五种模拟配置来测试重建的鲁棒性:40角度无噪声、20角度轻度噪声、80角度更强噪声、80角度噪声加环形伪影、40角度有限角度范围无额外噪声。评估指标包括图像质量指标(PSNR、SSIM、LPIPS)和计算效率指标(重建时间、GPU内存使用)。

本文的核心创新点是首次系统评估扩散模型在CT重建中的性能,并提出了一个统一的分类学来组织不同的扩散方法。这个分类学根据两个维度对方法进行分类:技术选择(潜在空间扩散vs像素空间扩散、DDIM采样等)和重建策略(数据一致性梯度引导、数据一致性优化步骤、即插即用先验、伪逆引导、变分贝叶斯)。与以往工作相比,本文的独特之处在于:(1)使用相同的预训练模型作为所有扩散方法的骨干网络,确保公平比较;(2)包含医疗、工业和同步辐射三个领域的CT数据集,覆盖了不同的应用场景;(3)特别采集了一个真实世界的高分辨率同步辐射CT数据集,用于评估扩散方法在实际条件下的表现;(4)系统评估了10种基于扩散的方法和7种强基线方法,提供了全面的性能比较。

方法步骤详情

DM4CT基准测试的完整流程包括以下步骤。第一步:数据准备。对于医疗CT数据集(2016低剂量CT大挑战),使用9个卷进行训练,1个卷用于测试。对于工业CT数据集(LoDoInd),选择4000个切片的中间3500个切片,其中3000个用于训练,500个用于测试。对于同步辐射CT数据集,在24 keV能量下扫描两个岩石样本,使用平行束几何和1200个投影(180°),裁剪到679×768像素大小,训练集使用全角度FBP重建作为目标,测试集仅使用60/100/200个投影。第二步:扩散模型训练。对于每个数据集,分别训练一个像素空间扩散模型和一个潜在空间扩散模型。像素空间扩散模型使用UNet架构,训练200个epoch,批大小为1,使用AdamW优化器,初始学习率为1×10^-4。潜在空间扩散模型首先训练VQ-VAE 100个epoch,然后在潜在空间训练UNet 200个epoch。第三步:方法实现。使用diffusers框架实现所有扩散方法,包括MCG、DPS、PSLD、PGDM、DDS、ReSample、DMPlug、Reddiff、HybridReg和DiffStateGrad。同时实现7种基线方法:FBP、SIRT、ADMM-PDTV、FISTA-SBTV、DIP、INR和SwinIR。第四步:超参数调优。通过网格搜索确定每种方法的特定超参数,在从训练数据集中随机选择的10张图像上优化,最小化与参考重建的平均均方误差。第五步:评估。使用五种模拟配置和真实数据集评估所有方法,计算PSNR、SSIM、LPIPS等指标,记录重建时间和GPU内存使用,并进行视觉比较。

技术新颖性

本文的技术新颖性体现在多个方面。首先,本文提出了扩散模型用于CT重建的统一分类学,根据数据一致性和先验知识的策略将方法组织为五类:数据一致性梯度引导、数据一致性优化步骤、即插即用先验、伪逆引导和变分贝叶斯。这个分类学为理解不同方法之间的本质区别提供了清晰框架。其次,本文特别采集了一个真实世界的高分辨率同步辐射CT数据集,这是该领域第一个这样的数据集,为评估扩散方法在实际条件下的表现提供了宝贵资源。第三,本文系统评估了10种基于扩散的方法和7种强基线方法,提供了全面的性能比较,揭示了扩散模型在CT重建中的优势和局限性。第四,本文使用范围-零空间分解分析不同数据一致性策略如何影响先验贡献,这是一个新颖的分析视角。第五,本文发现早期训练阶段的扩散模型可能已经包含足够强的结构先验用于重建任务,这一发现可能显著减少扩散训练成本。最后,本文发现某些方法(如DDS)对噪声模型高度敏感,在泊松噪声下性能显著下降,这一发现对扩散方法在实际CT中的应用有重要启示。

DM4CT基准测试概览
Figure 1: DM4CT基准测试概览

实验结果

实验结果表明,扩散模型在CT重建中具有显著的潜力,但也存在一些局限性。在图像质量指标(PSNR/SSIM)方面,扩散模型通常优于传统方法和基于模型的迭代重建(MBIR)方法,但往往不如完全监督的SwinIR。例如,在医疗数据集配置i(40角度无噪声)中,INR方法达到33.21/0.86的最高PSNR/SSIM,其次是ReSample(32.03/0.85)和R2Gaussian(32.14/0.81)。在噪声和伪影条件下(配置iv:80角度噪声和环形伪影),ReSample达到29.70/0.76的最高PSNR/SSIM,其次是DDS(29.12/0.74)和DPS(28.28/0.75)。然而,没有一种扩散方法或子类(如像素vs潜在扩散)在所有数据集和配置中一致地优于其他方法。在真实世界同步辐射数据集上,扩散模型的性能通常比模拟数据差,这可能是由于有限的高质量训练数据和分布偏移。视觉分析显示,扩散模型倾向于恢复看似合理但可能与真实参考偏离的精细结构细节,从而降低了度量指标对齐。相反,INR和SwinIR产生更平滑的重建,尽管损失了高频细节,但获得了更高的定量分数。在计算效率方面,像素扩散模型通常比潜在扩散模型更节省内存和时间,但SwinIR的推理速度最快,尽管需要大量内存。作者发现先验知识与数据一致性之间的平衡是扩散方法成功的关键,增加数据一致性步长η最初可以改善数据拟合和重建质量,但当η过大时会破坏反向去噪过程,导致模型崩溃。

DM4CT中评估的基于扩散的方法
Table 1: DM4CT中评估的基于扩散的方法
不同方法在医疗、工业和同步辐射CT数据集的各种配置下的重建性能(PSNR/SSIM)
Table 2: 不同方法在医疗、工业和同步辐射CT数据集的各种配置下的重建性能(PSNR/SSIM)
所有基准方法在不同CT配置下重建投影与噪声测量之间的L2数据拟合(∥Âx - ȳ∥2)
Table 10: 所有基准方法在不同CT配置下重建投影与噪声测量之间的L2数据拟合(∥Âx - ȳ∥2)
所有基准方法在不同CT配置下的LPIPS
Table 11: 所有基准方法在不同CT配置下的LPIPS
基于扩散和其他已建立方法的重建结果
Figure 2: 基于扩散和其他已建立方法的重建结果
数据一致性对扩散模型CT重建的影响
Figure 3: 数据一致性对扩散模型CT重建的影响
不同数据一致性策略的范围和零空间分解
Figure 4: 不同数据一致性策略的范围和零空间分解
潜在扩散方法仅使用数据一致性梯度与额外优化步骤的比较
Figure 5: 潜在扩散方法仅使用数据一致性梯度与额外优化步骤的比较
不同方法类别在不同测量稀疏性和噪声水平下的PSNR比较
Figure 6: 不同方法类别在不同测量稀疏性和噪声水平下的PSNR比较
重建时间和GPU内存以及训练时间和GPU内存
Figure 7: 重建时间和GPU内存以及训练时间和GPU内存
查看结构化数据
任务指标本文基线提升
医疗CT稀疏视角重建(配置i:40角度无噪声) PSNR/SSIM ReSample: 32.03/0.85 INR: 33.21/0.86 -1.18/-0.01
医疗CT噪声重建(配置iv:80角度噪声和环形伪影) PSNR/SSIM ReSample: 29.70/0.76 SwinIR: 30.79/0.85 -1.09/-0.09
工业CT稀疏视角重建(配置i:40角度无噪声) PSNR/SSIM DPS: 21.12/0.52 SwinIR: 22.80/0.67 -1.68/-0.15
工业CT噪声重建(配置ii:20角度轻度噪声) PSNR/SSIM DPS: 19.40/0.48 SwinIR: 19.51/0.55 -0.11/-0.07
真实世界同步辐射CT稀疏视角重建(200角度) PSNR/SSIM Reddiff: 28.43/0.56 SwinIR: 33.75/0.76 -5.32/-0.20

局限与改进

作者承认本工作的几个局限性。首先,基准测试假设前向算子准确且已知,但在实践中,系统不完美(如机械错位、校准误差)可能引入前向模型不准确,这在本研究中未被考虑。其次,虽然所有扩散方法共享相同的预训练像素和潜在模型作为骨干网络,但它们仍然需要方法特定的超参数调优。尽管进行了网格搜索和额外优化,选择的超参数可能不是每种方法或场景的最优选择。第三,虽然包含了医疗和工业领域的数据集,但它们仍然只代表现实世界CT应用的子集,因此从DM4CT得出的结论可能不会完全推广到其他领域或成像任务。第四,评估主要依赖PSNR和SSIM,这可能无法完全捕捉实际设置中的重建保真度,尤其是当图像强度范围变化时。例如,具有小强度偏移的一致结构细节可能产生低分,尽管视觉上重建准确。最后,虽然包括了一个探索性的下游分割研究,但它不保证在临床上有意义的任务(如解剖分割、器官体积估计、放射科医生评估)上的性能。结果严重依赖于分割模型(SAM)的选择和实例级掩模匹配策略,因此应被视为初步结果。

独立分析的弱点

独立分析揭示扩散模型在CT重建中存在几个关键弱点。首先,扩散模型在真实世界数据上的性能通常比模拟数据差,这表明分布偏移和有限的高质量训练数据是实际部署的主要挑战。其次,扩散方法对噪声模型高度敏感,例如DDS方法在泊松噪声下性能显著下降,因为它是基于高斯噪声假设导出的,这限制了其在实际CT中的应用。第三,先验知识与数据一致性之间的平衡难以控制,增加数据一致性强度可能破坏反向去噪过程,导致模型崩溃,而太弱的数据一致性可能导致过度依赖先验,引入幻觉内容。第四,潜在扩散模型通过梯度强制数据一致性比像素空间扩散更具挑战性,因为梯度必须通过VQ-VAE解码器传播,这导致重建中出现不连续性。第五,扩散模型的计算开销较大,特别是潜在扩散模型需要两阶段训练(VQ-VAE和潜在扩散模型),使得总训练成本更高。第六,扩散模型倾向于产生看似合理但可能与真实参考偏离的精细结构细节,这种幻觉内容可能对临床诊断产生负面影响。改进方向包括:开发更鲁棒的噪声模型处理策略,设计更有效的数据一致性方法,探索早期停止训练以减少计算成本,以及开发针对CT数据特点优化的编码器架构。

未来方向

作者提出了几个有前景的未来研究方向。首先,流式生成模型(如FlowDPS)正在成为逆问题的强先验,探索它们在CT重建中的整合是重要的下一步。其次,将INR与扩散先验结合可能提供互补优势,特别是在稀疏视角场景下的结构保真度方面。第三,虽然在附录中包括了一个初步的下游分割分析,但更系统地评估临床相关性(如器官级指标、放射科医生评分)对于评估实际效用是必要的。第四,适应自然图像自编码器到CT数据并进一步研究扩散训练中的早期停止效应,是提高训练效率和理解表示质量如何影响重建性能的有前景方向。最后,一个关键开放问题是基于扩散的重建在扫描仪、几何和采集协议之间的泛化能力。用多机构或跨协议数据集扩展DM4CT将能够严格测试这些模型在多样化现实世界CT设置中的迁移能力。此外,探索如何更好地处理值域不匹配问题、开发针对CT特点优化的扩散模型架构、以及研究扩散模型在更复杂几何(如螺旋和锥束)中的应用也是有前景的研究方向。

复现评估

本文在复现性方面做了大量工作。所有数据集,包括作者新提出的数据集,都是公开可访问的,没有任何限制。作者开源了所有代码,并在附录中提供了详细的超参数调优范围和过程文档。同步辐射CT数据集已在zenodo.org/records/15420527发布,代码库已在github.com/DM4CT/DM4CT开源。作者使用diffusers框架实现所有扩散方法,确保了一致性和可复现性。所有基线方法也都使用相同的几何和投影算子进行比较,确保了可比性。超参数选择通过网格搜索确定,在从训练数据集中随机选择的10张图像上优化,最小化与参考重建的平均均方误差。这些选择和搜索范围在附录中详细报告。尽管做了这些努力,复现仍可能面临一些挑战:扩散模型训练需要大量GPU资源(某些方法超过40GB GPU内存限制),数据集规模较大(医疗数据集达到856×512×512体素),以及超参数调优需要经验。总体而言,本文在复现性方面做得很好,提供了足够的细节和资源使其他研究者能够复现和扩展这项工作。