U-TTT：基于测试时训练的可泛化 PET 图像去噪 U-TTT: Towards Generalizable PET Image Denoising via Test-Time Training
提出结合双域测试时训练层的 U 形网络，实现 PET 图像去噪的跨扫描仪泛化
前置知识
PET成像
正电子发射断层扫描是一种核医学成像技术，通过检测注射放射性示踪剂后释放的正电子与电子湮灭产生的γ射线，重建体内示踪剂的三维分布。PET图像质量受注射剂量、扫描时间、探测器效率等影响，低剂量图像信噪比低，需要去噪处理提升诊断价值。
理解PET成像原理和剂量影响机制，才能明白为什么低剂量图像需要去噪，以及剂量水平变化会导致分布偏移
测试时训练
一种提升模型泛化能力的范式，传统TTT在训练时引入自监督辅助任务（如旋转预测），测试时仅用辅助任务目标更新模型参数。TTT层的创新是将参数更新规则嵌入网络前向传播，内层模型在特征自重构辅助任务上动态更新，整个过程可微，外层模型通过元学习确保辅助任务服务于主任务。
理解TTT机制是掌握本文核心创新点的基础，特别是内层优化与外层元学习的双层结构如何解决目标对齐问题
分布偏移
指测试数据分布与训练数据分布不一致的情况。在PET成像中，扫描仪型号差异（探测器材料、重建算法）、示踪剂剂量变化（353MBq vs 221MBq）、机构采集协议不同都会导致图像统计特性偏移。固定参数模型在这些未见场景下性能显著下降，这是模型泛化的根本障碍。
分布偏移是本文要解决的核心问题，理解其来源和影响才能评估U-TTT的跨扫描仪泛化能力
频域去噪
将图像通过傅里叶变换转换到频域，噪声通常表现为高频分量的全局分布，而重要结构信息集中在中低频。频域处理可以针对不同频段设计滤波器，如抑制高频噪声同时保留边缘细节。对于PET图像，全局噪声谱的频域建模比局部空间滤波更有效。
理解频域去噪原理才能明白为什么F-TTT层对恢复高频细节至关重要，以及与S-TTT层的互补关系
研究动机
现有深度学习模型在分布偏移下性能严重下降。论文指出，基于CNN、Transformer、Mamba、RWKV等架构的PET去噪方法都依赖训练后固定的参数，这隐含假设测试数据与训练数据同分布。然而临床部署中常遇到剂量水平变化（从371MBq到221MBq）和扫描仪差异（S1、S2、S3不同型号），导致固定模型在未见场景下性能退化，限制了临床实用性。以OOD-Scanner实验为例，3D-cGAN在S2扫描仪上PSNR仅39.78dB，相比基线下降约10dB，SSIM仅0.9318，病变SUV误差显著增大，无法满足临床诊断需求。
本文的目标是实现一个能够在分布偏移下保持鲁棒性的PET图像去噪模型。具体目标是从低剂量PET图像恢复高质量全剂量图像，并且在未见剂量水平（DRF=4、10）和未见扫描仪（S2、S3）上性能不显著下降。模型应能在推理时动态适应每个测试实例的独特特性，而非依赖静态参数。
与已有工作不同的是，现有TTT研究主要用于NLP领域的一维序列建模，作为自注意力的高效替代，忽视了其在分布偏移下增强泛化的潜力。更重要的是，现有TTT层仅操作时间域（或空间域），忽略了频域中全局分布噪声的特性。对于3D PET去噪这种需要同时恢复空间结构和抑制全局噪声的任务，单一域的自适应是不够的。本文的独特切入角度是将测试时训练引入医学图像去噪，并创新性地提出双域自适应机制，空间域处理局部结构退化，频域域抑制全局噪声谱，两者协同实现全面的质量恢复。
核心方法
U-TTT是一个U形编码器-解码器网络，核心创新是在每个编码器和解码器层级都集成了空间域和频域的测试时训练层。直觉上，每个低剂量PET图像都定义了一个独特的学习问题，模型需要在推理时动态调整参数来适应这个特定输入。技术路线上，网络首先通过3×3×3卷积提取浅层特征，然后经过4级编码器-解码器，每级包含S-TTT和F-TTT块进行特征提取。这些TTT层在推理时通过特征自重构任务动态更新内层模型参数，使模型能够自适应到测试数据的特性。最终通过输出投影卷积生成残差图像，加到原始低剂量图像上得到恢复结果。整个过程端到端可训练，外层模型通过元学习确保自监督辅助任务与去噪主任务目标对齐。
核心创新是双域测试时训练架构，与现有方法有三个本质区别。第一，将TTT层从NLP的一维序列扩展到3D视觉任务，设计专门的内层模型结构。第二，同时操作空间域和频域，S-TTT层通过深度卷积和门控线性单元捕获空间结构退化，F-TTT层通过FFT变换后仅用门控线性单元处理频域特性，两者互补实现全面降噪。第三，内层模型更新规则完全嵌入前向传播，整个内层优化过程包括前向预测、损失计算、梯度更新都作为计算图展开，外层模型可以用主任务目标端到端元学习，确保辅助任务真正服务于主任务，避免了传统TTT中目标不匹配导致的主任务遗忘问题。
方法步骤详情
U-TTT的前向传播包含四个主要步骤。第一步是特征投影，输入低剂量图像经过3×3×3卷积得到浅层特征，其中C=24是通道数。第二步是编码器-解码器处理，特征经过4级下采样和上采样，每级包含N1=2、N2=4、N3=6、N4=8个S-TTT和F-TTT块。第三步是S-TTT层处理，对输入特征先1×1×1卷积扩展通道，然后通道分裂得到三个观测。内层空间重建模型（SRM）进行重建，通过最小化点积重构损失梯度下降更新权重，其中eta是可学习内层学习率。更新后的SRM处理测试特征，再1×1×1卷积得到输出。SRM结构是将特征分成两部分，前P=24通道用3×3×3深度卷积处理，剩余通道用门控线性单元处理，最后拼接。第四步是F-TTT层处理，先1×1×1卷积后FFT变换到频域，同样通道分裂得到三个频域观测。内层频域重建模型（FRM）仅用门控线性单元进行重建和参数更新，然后处理测试特征，最后IFFT变换回空间域并1×1×1卷积。最终残差图像通过3×3×3卷积从深特征生成，与原始图像相加得到输出。
技术新颖性
技术新颖性体现在三个方面。首先是内层模型架构创新，现有TTT层使用线性层或MLP独立处理token，无法捕获3D图像的结构连通性。本文的SRM结合深度卷积和门控线性单元，专门针对3D视觉设计，FRM则利用频域点本身编码全局空间信息的特性，仅需门控线性单元进行token级谱变换。其次是双域协同机制，空间域聚焦局部结构校正，频域域聚焦全局噪声抑制和精细高频细节恢复，这种设计基于PET图像噪声既有局部空间变化又有全局频域分布的特性。第三是可微内层优化，整个内层训练循环完全展开在外层计算图中，这使得辅助任务的目标对齐通过元学习自动优化，避免了传统TTT需要手动设计辅助任务或强制对齐的复杂性。实验显示，相比传统的线性层和MLP内层模型，本文的SRM+FRM设计在OOD-Scanner上PSNR提升0.89dB，证明任务特定架构的有效性。
实验结果
U-TTT在所有实验设置下都取得了最佳性能。在分布内基线数据集D1上，U-TTT在DRF=2、3、6、12四个剂量降低因子下PSNR分别达到51.63、50.01、48.02、45.96 dB，平均48.91 dB，超越第二好的VQPET方法0.80 dB。SSIM平均0.9671，提升0.0028。病变SUV误差平均0.1486，相比VQPET降低0.0154。从Fig. 2的可视化可以看出，U-TTT有效恢复了两个小病变的对比度，而其他方法存在过度平滑问题。在OOD场景下，泛化优势更加明显。OOD-DRF数据集D2上，未见DRF=4和10的PSNR分别为48.51和45.21 dB，平均46.86 dB，超越VQPET 0.67 dB。OOD-Scanner数据集D3和D4上，未见扫描仪S2和S3的PSNR分别为41.31和44.89 dB，平均43.10 dB，超越VQPET 0.99 dB。消融实验验证了每个组件的必要性，单独S-TTT层相比基线PSNR提升0.82 dB，单独F-TTT层提升1.09 dB，两者结合提升1.28 dB，证明双域协同的有效性。内层模型设计对比显示，相比传统线性层和MLP，本文的SRM+FRM设计在基线数据集上PSNR提升0.60 dB，在OOD-Scanner上提升0.89 dB。计算效率方面，U-TTT仅10.20M参数和43.52G FLOPs，远小于3D DDPM的209.63M参数和2600444.69G FLOPs，在保持高效的同时实现最佳性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PET图像去噪（分布内） | PSNR (dB) | 48.91 | VQPET 48.11 | +0.80 dB |
| PET图像去噪（分布内） | SSIM | 0.9671 | VQPET 0.9643 | +0.0028 |
| PET图像去噪（分布内） | 病变SUV误差 | 0.1486 | VQPET 0.1640 | -0.0154 |
| PET图像去噪（未见剂量） | PSNR (dB) | 46.86 | VQPET 46.19 | +0.67 dB |
| PET图像去噪（未见扫描仪） | PSNR (dB) | 43.10 | VQPET 42.11 | +0.99 dB |
| PET图像去噪（未见扫描仪） | SSIM | 0.9514 | VQPET 0.9425 | +0.0089 |
局限与改进
作者在结论中承认U-TTT仍有一些局限性，主要是双域TTT层增加了计算开销，虽然相比扩散模型仍然高效，但比传统固定参数模型更耗时。此外，论文仅评估了全身18F-FDG PET图像，对其他示踪剂（如18F-PSMA、68Ga-DOTATATE）和成像部位（如脑部、心脏）的泛化性尚未验证。从实验设计角度，OOD数据集虽然来自不同机构和扫描仪，但都使用相同的OSEM重建算法，不同重建算法（如OSEM vs MAP）导致的分布偏移是否也能通过TTT自适应还需要进一步研究。另外，论文主要关注定量指标（PSNR、SSIM、SUV误差），临床可解释性如诊断准确率、放射科医师评分等评估缺失，这可能影响临床adoption。最后，测试时训练需要在推理时进行梯度计算和参数更新，这对部署环境有一定要求，内存和计算资源受限的设备可能难以支持。
独立分析的弱点
U-TTT的几个潜在弱点值得进一步改进。首先是计算开销问题，双域TTT层在每个测试实例上都需要内层优化，虽然内层模型参数量小，但对于高分辨率3D图像（256×256×N slices）推理时间可能成为瓶颈。改进方向可以研究内层优化的早停策略、初始化策略共享，或者将内层更新限制到关键层级而非全部4级。其次是辅助任务设计的局限性，当前使用特征自重构作为辅助任务，这可能不是最优的。可以考虑设计更贴近PET图像特性的辅助任务，如基于物理模型的噪声分布预测、解剖结构一致性约束等。第三是泛化范围的限制，当前方法主要适应剂量和扫描仪的分布偏移，对于更复杂的偏移如病理变化、患者体型差异、运动伪影等的适应能力未知。改进方向可以引入多任务学习或条件建模，让内层模型能够识别和适应更复杂的退化模式。最后是部署友好性问题，需要梯度计算限制了在边缘设备上的应用。可以考虑知识蒸馏，将TTT层的自适应能力蒸馏到固定参数模型，或者研究轻量级近似方法。
未来方向
作者在论文中提到代码将开源，这为社区验证和扩展提供了基础。基于本文成果，未来工作可以从几个方向延伸。首先是扩展到更多医学影像模态，如SPECT、CT、MRI的去噪和重建任务，验证双域TTT的通用性。其次是探索更复杂的内层模型架构，如引入注意力机制、动态网络、或者可微分神经架构搜索，让内层模型能够自适应地选择最优结构。第三是研究更高效的元学习策略，当前端到端元学习可能训练不稳定，可以考虑MAML、Reptile等元学习算法，或者引入正则化项防止内层过拟合。第四是临床验证，需要大规模多中心研究评估U-TTT对不同病种（肿瘤、神经、心血管）的诊断价值，以及与放射科医师主观评分的相关性。最后是实时部署研究，可以探索量化、剪枝、模型压缩等技术，使TTT机制能够在临床环境实时运行，或者研究云端-边缘协同架构，将计算密集的内层优化卸载到服务器。
复现评估
论文提供了详细的实现细节和超参数设置。数据集方面，论文建立了4个全身PET数据集D1-D4，但机构和扫描仪身份已匿名化，这可能限制独立复现。训练细节包括batch size=4、AdamW优化器、初始学习率1×10^-4、3×10^5次迭代，这些信息足够复现训练过程。网络架构参数明确：编码器-解码器层级块数N1-N4分别为2、4、6、8，输入通道C=24，深度卷积通道数P=24。损失函数权重lambda=1×10^-3。评估指标PSNR、SSIM、病变SUV误差的计算方法符合标准。论文提到代码将在GitHub开源（https://github.com/Yaziwel/U-TTT），这将是复现的关键。数据分割方式（90训练、10验证、30测试）和补丁大小64×64×64也已说明。主要的不确定性是数据集的获取，虽然论文描述了数据收集和重建过程，但实际数据访问可能需要伦理批准和机构协议。算力方面，U-TTT参数量仅10.20M，训练和推理计算需求适中，单张GPU应该能够完成。总体而言，复现难度中等，主要挑战是数据获取。
论文图表