DiffNR:扩散增强的神经表示优化用于稀疏视角三维断层重建 DiffNR: Diffusion-Enhanced Neural Representation Optimization for Sparse-View 3D Tomographic Reconstruction
用扩散先验增强神经表示,高效完成稀疏视角CT重建
前置知识
锥形束CT与稀疏视角重建
锥形束CT通过X射线源沿圆形轨迹发射锥形光束,在探测器上得到2D投影;目标是从多角度投影$I(r)=\int_{s_n}^{s_f}\sigma(r(s))ds$反演出三维密度体$\sigma(v)$。稀疏视角指只用几十个投影(远少于常规数百个)来重建,以降低辐射剂量。
本文核心场景就是稀疏视角锥形束CT,所有方法设计与消融都围绕这一物理成像模型展开
神经表示(Neural Representation)
用可学习参数化结构(MLP神经场或3D高斯)表示3D密度场$\sigma(v)$,通过可微渲染(Beer-Lambert沿射线积分或高斯splatting)与测量投影做L1/SSIM损失进行优化。本文具体用NAF(MLP)和R2-Gaussian(3DGS)作为骨干。
NR是DiffNR的全局优化目标,SliceFixer的伪参考体也是从NR查询得到,整个流水线围绕NR优化展开
扩散模型与单步蒸馏(SD-Turbo)
扩散模型通过学习$\epsilon_\theta$预测噪声并迭代去噪生成数据。SD-Turbo用对抗扩散蒸馏将多步去噪压缩为单步推理,仅需几十毫秒,是DiffNR相对DDS等方法实现数量级加速的关键。
DiffNR的SliceFixer以SD-Turbo为骨架并通过LoRA+零卷积微调,单步推理是它相对DDS/DiffusionMBIR速度优势的关键
3D SSIM感知损失
把2D SSIM(结构相似度)沿轴向、矢状、冠状三个平面求平均作为体素级正则项,相比L1/L2更注重结构感知而非逐体素对齐。论文设$\lambda_{diff}=0.5$。
该损失用于NR查询体$\tilde V$与伪参考体$\hat V_\ell$之间的3D监督,避免SliceFixer的幻觉细节破坏体一致性
研究动机
X射线CT的辐射剂量问题推动了稀疏视角重建(SVCT)研究,目标是仅用几十个投影反演三维密度体。然而这一病态逆问题对现有方法极不友好:传统算法如SART、ASD-POCS在12视图下PSNR仅约25dB;神经表示(NR)方法如NAF、R2-Gaussian虽然能拟合3D场,但在欠约束区域产生明显伪影,例如R2-Gaussian在12视图下SSIM只有0.364;神经先验(NP)方法如DiffusionMBIR、DDS虽然把CT求解器嵌入无条件扩散迭代去噪过程,PSNR可达33dB,但单病例耗时11小时,且存在跨切片抖动与细节幻觉,临床实用性受限。
本文的目标是本文提出DiffNR,目标是在稀疏视角CT重建任务上同时获得NR的全局一致性与扩散模型的强先验能力,并大幅降低扩散查询频率以保证临床实用性。具体而言:在36/24/12视角下PSNR相对NR基线平均提升3.99dB,单病例重建时间控制在15分钟内(单张RTX 3090),OOD真实投影数据上保持泛化能力,并通过肺部分割等下游任务验证其临床价值,最终为低剂量CT扫描提供切实可行的高质量解决方案的工程化方法。
与已有工作不同的是,已有扩散-CT工作(如DDS、DiffusionMBIR)都把局部求解器嵌入无条件扩散模型的迭代去噪循环里,导致单病例需数千次扩散前向、产生切片不一致与细节幻觉。本文采取根本不同的策略:用条件式单步扩散模型SliceFixer周期性修复NR查询的2D切片,再堆叠成伪参考体对NR做3D感知正则化。这种修复-增强范式绕开迭代去噪循环,并借力2D基础模型的丰富视觉先验,避免从头训练一个全新的扩散骨干网络。
核心方法
DiffNR的直觉很直接:神经场或3D高斯已经在拟合投影一致性上很强,问题在于欠约束区域缺乏先验;扩散模型恰好擅长补这种结构性缺陷。所以不把求解器塞进扩散去噪循环,而是把扩散模型当作“离线修复器”。具体做法分两阶段:第一阶段用常规的图像损失(L1+SSIM)与TV正则训练NR;第二阶段每$\ell=10k$步从NR查询当前体$\tilde V_\ell$,切片上采样到$512^2$后喂给SliceFixer做单步修复,再下采样回原始分辨率,堆叠成伪参考体$\hat V_\ell$;随后每$\tau=10$或$20$步计算$\tilde V$与$\hat V_\ell$之间的3D SSIM损失,让NR朝着更合理的体结构收敛。整个流程只在稀疏的关键节点查询扩散模型,所以总体耗时可控。
本文核心创新在于“修复-增强”策略(repair-and-augment)的三个本质区别:第一,修复发生在切片层面(axial slice)而非投影层面,避免了X射线穿透性带来的误差累积;第二,监督信号是3D体之间的SSIM而非2D中间图像损失,从而保证体一致性;第三,采用单步扩散骨干SD-Turbo加LoRA/零卷积微调,单次推理约几十毫秒,相比DDS的迭代去噪提速几个数量级。条件输入还创新性地加入了双平面X射线投影$I_a,I_b$与文本提示$c_t$,用RAD-DINO编码后通过交叉注意力注入UNet,给SliceFixer提供全局结构线索。
方法步骤详情
DiffNR训练流程如Algorithm 1:每轮迭代$j$先渲染预测投影$\tilde I_i$与真实投影$I_i$算L1+SSIM损失,并查询NR体积加TV正则化。若$j\bmod\ell=0$($\ell=10k$),查询当前体$\tilde V_\ell$,每张轴向切片上采样到$512^2$喂SliceFixer得修复切片$\hat S$,下采样回原分辨率堆叠成伪参考体$\hat V_\ell$;若$j\bmod\tau=0$($\tau=10/20$),在$\tilde V$与$\hat V_\ell$间算3D SSIM损失($\lambda_{diff}=0.5$)并更新NR。SliceFixer基于SD-Turbo微调,VAE与UNet注入LoRA+零卷积,损失含$\mathcal{L}_{L2}$、$\mathcal{L}_{LPIPS}$、CLIP对齐、GAN、SSIM五项,训练数据混合NAF与R2-Gaussian并故意欠拟合NR以制造多样化伪影样本。
技术新颖性
技术新颖性可从四个维度评价:①架构层—首次把单步扩散骨干作为NR优化的“外挂修复器”而非求解器嵌入循环;②任务适配—把修复单元从Difix3D+的RGB投影层迁移到CT切片层,并相应把增强信号从2D中间图像改成3D体;③条件设计—双平面投影$RAD-DINO$特征+文本prompt的多模态条件注入,把投影域结构信息显式喂给扩散模型;④训练策略—通过“混合NR+故意欠拟合+多样视角分布”的数据策展,构造出专门针对NR伪影的成对训练集。这些设计整体构成了与现有CT扩散工作完全不同的技术路线。
实验结果
实验在ToothFairy(443例牙科CBCT)与LUNA16(888例胸部CT)上进行,分36/24/12视角评估。表1显示ToothFairy 36-view上NAF+DiffNR从28.62/0.833提升到31.27/0.951(+2.65dB);R2-Gaussian从28.56/0.695跃升到33.52/0.900(+4.96dB)。LUNA16 12-view极端稀疏下R2-Gaussian+DiffNR仍达24.37/0.712,基线仅18.32/0.364。两数据集平均NAF+DiffNR提升2.19dB、R2-Gaussian+DiffNR提升5.79dB。效率上DiffNR 8-12分钟远快于DiffusionMBIR的11小时。表2 OOD上R2-Gaussian+DiffNR 36-view达35.99/0.918。表3肺部分割Dice 93.74、ASD 3.85验证临床价值。表4-6消融证实512分辨率、SSIM损失、双平面投影各贡献0.3-0.6dB,$\lambda_{diff}=0.5$、$\tau=10$为最优。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ToothFairy 36-view稀疏重建 | PSNR/SSIM | NAF+DiffNR 31.27/0.951;R2-Gaussian+DiffNR 33.52/0.900 | NAF 28.62/0.833;R2-Gaussian 28.56/0.695 | NAF +2.65dB;R2-Gaussian +4.96dB |
| LUNA16 36-view稀疏重建 | PSNR/SSIM | NAF+DiffNR 26.27/0.867;R2-Gaussian+DiffNR 28.82/0.822 | NAF 23.85/0.712;R2-Gaussian 24.11/0.577 | NAF +2.42dB;R2-Gaussian +4.71dB |
| LUNA16 12-view极端稀疏重建 | PSNR/SSIM | R2-Gaussian+DiffNR 24.37/0.712 | R2-Gaussian 18.32/0.364 | +6.05dB,SSIM提升近一倍 |
| OOD真实投影重建(Zha et al. 2024数据集)36-view | PSNR/SSIM | R2-Gaussian+DiffNR 35.99/0.918 | R2-Gaussian 35.64/0.904;DiffusionMBIR 33.26/0.839 | +0.35dB PSNR,+0.014 SSIM |
| 下游肺部分割(LUNA16 36-view) | Dice/ASD | R2-Gaussian+DiffNR 93.74/3.85 | R2-Gaussian 90.41/5.19;DiffusionMBIR 90.33/6.13 | Dice提升+3.33,ASD降低-1.34 |
| 单病例推理效率 | 耗时 | NAF+DiffNR 8m41s;R2-Gaussian+DiffNR 11m35s | DiffusionMBIR 11h15m;DDS 16m17s;R2-Gaussian 5m52s | 相比DiffusionMBIR提速约58倍,仅比NR基线多约6分钟 |
局限与改进
作者在文中明确指出的限制包括:①SliceFixer虽然经过3D SSIM正则约束,但仍可能产生幻觉细节,特别在极稀疏12-view下R2-Gaussian+DiffNR SSIM仅0.712,与36-view的0.822仍有差距;②算法目前只在轴向(z方向)切片上做修复,其他方向未验证;③泛化实验虽在OOD上表现稳定,但要求扫描器能提供双平面投影,对仅支持单平面采集的设备有限制;④SliceFixer需要按数据集单独微调(ToothFairy 40k步、LUNA16 70k步),跨域迁移未充分探索。从我们的观察看,伪参考体每$\ell=10k$步才生成一次,对训练早期的NR改善有限,且3D SSIM损失$\tau=10$的频率意味着SliceFixer的强先验并未全程贯穿训练过程。
独立分析的弱点
独立分析论文仍存在以下可改进之处:第一,$\ell=10k$、$\tau=10/20$是经验超参,没有自适应机制——若NR收敛快则冗余查询,若收敛慢则参考体质量不足,可以引入基于残差监测的动态调度;第二,3D SSIM损失虽然缓解幻觉但本质上仍是低层结构约束,无法刻画精细解剖语义,临床医生关心的微钙化点等小目标可能仍被扩散先验“抹平”;第三,方法依赖双平面投影作为条件输入,对仅有单平面探测器或并行束CT的部署场景需要重新设计条件通路;第四,伪参考体生成与NR训练是串行的,整体时间仍受扩散推理拖累,若改为分布式流水线或异步生成可进一步提速;第五,对金属伪影、运动伪影、噪声投影这些真实临床问题未涉及,限制了在实际放射科工作流中的直接落地。
未来方向
作者在结论中暗示要把“扩散+NR”的范式推广到更广泛的逆问题。基于此,未来方向可包括:①扩展SliceFixer到矢状、冠状甚至斜切方向的多平面修复,并设计3D SSIM的多视角一致性约束;②与并行束CT、有限角CT、甚至是金属伪影校正任务结合,验证框架的可移植性;③探索SliceFixer与NR的联合训练而非冻结扩散,让修复能力与NR同步进化;④把扩散条件从双平面投影升级为“全角度稀疏投影+文本报告”,把放射科医生的先验知识也编码进来;⑤进一步把DiffNR思路迁移到MRI重建(参考Chu等2025)、PET、压缩感知成像等其他3D逆问题领域;⑥引入不确定性估计,让SliceFixer在低置信区域才介入,从而节省推理开销。
复现评估
复现性总体良好但有一定门槛。作者承诺代码与模型公开(项目页ooonesevennn.github.io/DiffNR/),基于PyTorch+Adam实现;SliceFixer从SD-Turbo微调,VAE与UNet注入LoRA(秩8/4)并通过零卷积接入;微调学习率$1\times 10^{-5}$、batch 4,在4张H100上对ToothFairy跑40k步、LUNA16跑70k步;下游NR测试在单张RTX 3090上进行,NAF 11k轮、R2-Gaussian 13.5k轮。$\ell=10k$、$\tau=10/20$为固定超参,$\lambda_{CLIP}=4$、$\lambda_{GAN}=0.4$、$\lambda_{SSIM}=0.5$。数据预处理需将CT体与投影统一到$256^3$与$256^2$分辨率,伪参考体上采样到$512^2$。4×H100微调资源是主要门槛,普通实验室可降LoRA秩或用公开LUNA16/ToothFairy做轻量复现。
论文图表
(a)展示锥形束CT几何,X射线从源点$s_n$到$s_f$沿射线$r(s)=o+sd$穿过3D密度场,探测器记录Beer-Lambert积分投影;(b)展示DiffNR核心流程,NR(神经场或3D高斯)查询当前体积,产生有伪影的轴向切片,由SliceFixer单步修复后再回流到NR做更新;(c)定性对比NAF、R2-Gaussian基线与各自的+DiffNR结果,36视角下R2-Gaussian+DiffNR提升5.79dB。
这是论文的“门面图”,把CT物理、算法流水线、效果增益一次性呈现,对读者建立整体认知最重要