面向医学超声图像分割的半监督与对比学习的多尺度切换方法 Multiscale Switch for Semi-Supervised and Contrastive Learning in Medical Ultrasound Image Segmentation
提出多尺度切换和频域切换的半监督框架，显著提升医学超声图像分割在低标注数据下的性能
前置知识
半监督学习
半监督学习是一种机器学习范式，它同时利用少量标注数据和大量未标注数据进行模型训练。主要方法包括一致性正则化（要求模型对同一输入的不同变换产生一致的预测）和伪标签生成（为未标注数据生成高质量标签并与真实标签一起训练）。这在医学图像领域特别有价值，因为获取专业医生的标注成本高昂且耗时。
本文的核心就是基于半监督学习框架，理解其原理对于理解 Switch 如何结合标注和未标注数据至关重要。
Mean Teacher 架构
Mean Teacher 是一种经典的半监督学习架构，包含两个结构相同但训练方式不同的神经网络：学生网络通过梯度下降主动训练，教师网络的参数通过指数移动平均（EMA）从学生网络更新，保持稳定。教师网络为未标注数据生成伪标签，学生网络在教师指导下学习。这种设计能够缓解训练过程中的伪标签噪声问题。
Switch 框架基于 Mean Teacher 架构，理解其工作原理是理解本文方法的基础。
对比学习
对比学习是一种自监督学习方法，通过让模型学习区分相似样本（正样本对）和不相似样本（负样本对）来学习有意义的特征表示。其核心思想是最大化正样本对的相似度，同时最小化负样本对的相似度。常用的损失函数是 InfoNCE loss。对比学习能够学习到对数据变换具有不变性的鲁棒特征。
本文的 Frequency Domain Switch 模块与对比学习结合，通过在频域构造正负样本对来增强特征表示能力。
傅里叶变换
傅里叶变换是一种将信号从时域（或空间域）转换到频域的数学工具。在图像处理中，频域表示可以分离图像的不同频率成分：低频成分包含图像的整体风格和纹理信息（如超声图像中的斑点噪声），高频成分包含边缘和细节信息（如解剖结构边界）。通过操纵频域成分可以实现图像的风格迁移、去噪等效果。
本文的 FDS 模块在频域进行幅度交换，理解频域特性对于理解为什么这种方法能够保持解剖结构不变很重要。
研究动机
医学超声图像分割在实际临床应用中面临三大核心挑战。首先，超声图像质量普遍低于 CT 和 MRI，存在显著的斑点噪声，这种颗粒状噪声导致感兴趣区域（ROI）边界模糊、对比度低，严重影响分割精度。其次，ROI 的形状、大小和位置在不同扫描平面和患者之间差异巨大，传统基于固定区域的混合策略难以覆盖多变的目标。第三，超声图像的亮度、分辨率和质量因成像设备设置和操作者习惯而频繁变化，这增加了模型的泛化难度。现有的半监督学习方法大多针对自然图像设计，未充分考虑超声图像的特殊性。在标注数据有限（如 5%-10%）的场景下，Copy-Paste 及其变体等方法因使用固定大小/位置的补丁，无法适应超声 ROI 的高变异性；而对比学习方法主要关注整体变异性，忽视了标注与未标注数据之间的信息关联，导致未标注数据的利用效率低下。
本文的目标是本文的目标是设计一个专门针对医学超声图像的半监督学习框架，在标注数据稀缺的场景下（如仅 5% 标注）实现接近甚至超越全监督水平的分割性能。具体量化目标包括：在 LN-INT 数据集上达到 80% 以上的 Dice 系数，在 DDTI 和 Prostate 数据集上分别达到 85% 和 83% 以上的 Dice 系数，同时保持模型参数效率（1.8M 参数），不超过基准 U-Net 的复杂度。此外，框架需要在多个不同解剖部位的超声数据集（淋巴结、乳腺、甲状腺、前列腺）上表现出强泛化能力，且在外部验证集上保持性能稳定，证明其临床实用性。
与已有工作不同的是，本文的切入角度是同时解决半监督学习中两个被忽视的关键问题：空间混合的均匀性和特征表示的鲁棒性。现有方法如 BCP 使用固定大小的补丁进行空间混合，存在几何偏差，无法在超声图像中实现均匀的空间覆盖；而对比学习方法只关注增强样本对之间的整体变异性，忽略了标注数据与未标注数据之间的信息关联。本文提出的 MSS 机制采用粗细补丁的层次化设计，实现了均匀的空间覆盖；FDS 机制在频域进行幅度交换，在保持解剖结构（相位信息）不变的同时增强纹理信息交换，从而构造了更有效的对比学习样本对。这种双重视角的创新是本文区别于现有方法的本质特征。
核心方法
Switch 框架采用 Mean Teacher 的师生架构，分为两个阶段。第一阶段：MSS 引导的半监督学习。从标注数据集 D_l 和未标注数据集 D_u 中各随机选择两个样本，生成包含粗补丁（128x128）和细补丁（32x32）的二进制掩码 M，通过掩码操作生成混合样本对。教师网络为未标注样本生成伪标签，学生网络使用区域加权混合损失进行训练。第二阶段：FDS 引导的对比和一致性学习。将原始样本对在频域进行幅度交换，使用相同的掩码 M 生成重构样本对，然后应用对比学习对齐特征表示，并强制原始混合样本与频域重构样本的预测一致性。这种设计确保模型学习到对纹理和噪声变化具有不变性的鲁棒特征表示。
Switch 的核心创新在于结合了多尺度空间切换（MSS）和频域切换（FDS）两大约束机制。MSS 的本质区别在于采用粗细补丁的层次化设计，粗补丁覆盖大解剖结构，细补丁处理精细边界，这消除了固定补丁策略中的几何偏差，实现了真正的均匀空间覆盖。FDS 的关键创新在于仅在频域的低频区域（中心区域，占图像面积的 1.75%）进行幅度交换，严格保留相位信息，从而在不破坏解剖结构的前提下实现纹理信息交换。这种频域操作与对比学习结合，使得正样本对是同一解剖结构在不同纹理/噪声实现下的表示，从而鼓励编码器学习对斑点噪声和强度波动具有不变性的鲁棒特征。这种双重建约的协同效应是本文与现有方法的本质区别。
方法步骤详情
Switch 的完整训练流程包含两个阶段：预训练阶段和自训练阶段。预训练阶段：仅使用标注数据训练学生网络 fs，通过 MSS 机制生成混合样本对，计算预训练损失 L_pre = 0.5(L_dice + L_ce)，其中 Dice 损失通过预测和真实标注的交并比计算，并添加平滑因子确保数值稳定性。该阶段进行 10,000 次迭代，为学生网络提供强初始化。自训练阶段：同时使用标注和未标注数据。对于每个批次，首先执行 MSS 操作生成混合样本对 ux 和 xu，教师网络生成伪标签并进行最大连通分量过滤。然后执行 FDS：对原始样本对 x 和 u 进行快速傅里叶变换（FFT）得到频域表示，在频域中心区域 R 内交换幅度得到重构样本 xr 和 ur，应用相同的掩码 M 生成最终混合样本对。投影头提取特征，计算对比损失 L_cont 和一致性损失 L_consist。总损失为 L_total = L_mss + 0.1*L_cont + 0.1*L_consist。该阶段进行 30,000 次迭代，教师网络通过指数移动平均更新，动量系数为 0.99。
技术新颖性
Switch 的技术新颖性体现在三个方面。第一，与现有的 Copy-Paste 系列方法（如 BCP、ABD）相比，MSS 的层次化多尺度设计是本质区别。BCP 使用固定大小的补丁（如 1/3 或 2/3 面积）进行混合，存在几何偏差，在 10,000 次迭代采样分析中显示 MSS 将覆盖均匀性提升了 13.71%，梯度方差降低了 54.86%。第二，与现有的频域自适应方法（如 FDA、beta-FFT）相比，FDS 的本质区别在于：FDA 是跨域风格迁移，操作更广泛的低频区域；而 FDS 是同域内的跨样本频域混合，仅在极小的中心区域（1.75% 面积）交换幅度，严格保留相位信息，从而保持像素级对齐的语义标签。第三，与现有的对比学习方法（如 MMS、U2PL）相比，Switch 通过 FDS 构造的正样本对是同一解剖结构在不同纹理实现下的表示，这鼓励编码器学习结构鲁棒性而非单纯的特征区分性。这三方面的新颖性使得 Switch 能够在极低标注比例（1%）下仍保持优异性能。
实验结果
在六个多样化的超声数据集上，Switch 在所有标注比例下都展现出显著的性能优势，特别是在低数据 regimes（1%-10% 标注）。在 5% 标注比例下，Switch 在 LN-INT 数据集上达到 80.04% Dice 和 71.98% IoU，相比第二好的 ABD 方法提升了 3.57% Dice；在 DDTI 数据集上达到 85.52% Dice 和 75.46% IoU；在 Prostate 数据集上达到 83.48% Dice 和 79.11% IoU。更令人印象深刻的是，在仅 1% 标注的极端低标注场景下，Switch 在 LN-INT 和 LN-EXT 数据集上分别达到 66.62% 和 60.49% Dice，相比 ABD 方法提升了 13.52% 和 18.56%。参数效率方面，Switch 仅有 1.8M 参数，与 U-Net 基准相同，但显著优于参数更大的方法（如 CCT 的 3.7M、MC-Net 的 3.8M）。在外部验证集 LN-EXT 上，Switch 在所有标注比例下保持一致优势（5% 标注时 75.11% Dice vs ABD 的 71.54% Dice），证明了跨中心泛化能力。边界精度方面，Switch 在所有数据集上实现了最低的 HD95 值，如 LN-INT 的 26.51 vs ABD 的 31.98，Prostate 的 17.29 vs BCP 的 20.76。消融实验显示：仅 MSS 就能将性能从基线的 59.52% Dice 提升到 75.15% Dice；完整框架达到 80.04% Dice，比基线提升 20.52%。最优配置为 2 个粗补丁和 2 个细补丁，覆盖 53% 的图像面积，过度增加补丁数量会导致性能下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 淋巴结分割 | Dice | 80.04% | ABD | +3.57% |
| 淋巴结分割 | IoU | 71.98% | ABD | +3.43% |
| 淋巴结分割 | HD95 | 26.51 | ABD | -5.47 |
| 甲状腺结节分割 | Dice | 85.52% | ABD | +0.70% |
| 甲状腺结节分割 | IoU | 75.46% | ABD | +0.99% |
| 前列腺分割 | Dice | 83.48% | BCP | +0.15% |
| 前列腺分割 | IoU | 79.11% | BCP | +0.45% |
| 乳腺病灶分割 | Dice | 59.72% | ABD | +0.44% |
局限与改进
作者在论文中明确承认了三个局限性。第一，领域特异性：当前框架专门针对超声图像的特征（斑点噪声模式、低对比度边界）进行了优化，固定的频域区域比例和补丁大小是根据超声特性经验调优的，这可能限制向 CT、MRI 等其他医学成像模态的直接迁移性。第二，计算复杂度：双阶段训练流程（预训练和自训练）结合 FDS 的 FFT 操作引入了额外的计算负担，虽然通过选择性频带处理和近似 FFT 实现可以降低开销，但目前仍比标准半监督方法更耗时。第三，多类别扩展有限：当前方法针对二值分割任务设计，扩展到多类别场景会引入伪标签生成和一致性执行的额外复杂性。除此之外，本文的一个未明确说明的局限是：虽然方法在多个数据集上验证了泛化性，但这些数据集都来自浅表器官，对于深部器官或 3D 超声数据的适用性尚未验证。此外，论文中使用的增强策略（弱增强和强增强的组合）虽然有效，但在极端噪声情况下的鲁棒性可能仍需进一步验证。
独立分析的弱点
基于对论文的独立分析，Switch 存在三个主要弱点。第一，对频域参数的敏感性。固定频域区域比例 0.0175 是经验设定的，不同成像设备或不同解剖部位可能需要不同的最优值。改进方向可以是设计自适应频率分析机制，根据图像的频域特征动态确定最优交换区域。第二，FFT 操作的计算开销。FDS 需要对每个样本对进行 FFT 和逆 FFT 操作，在 GPU 内存有限时可能成为瓶颈。改进方向包括使用近似 FFT 方法（如 Hartley 变换）或仅在部分批次中应用 FDS，从而平衡性能和效率。第三，伪标签质量依赖。虽然使用了最大连通分量过滤来提高伪标签质量，但在极端低标注场景（1%）下，教师网络的初始化质量可能不足以生成可靠伪标签。改进方向可以引入课程学习策略，先从高置信度区域开始逐步扩展到困难样本，或结合外部预训练模型（如医学影像基础模型）提供更强的初始化。
未来方向
根据论文结论和现有成果，未来有多个值得探索的方向。第一，跨模态泛化研究。当前方法针对超声图像优化，但类似的多尺度空间混合和频域操作可能适用于其他医学成像模态。未来工作可以研究自适应参数选择策略，使框架能够自动适应不同模态的频域特征和空间尺度特性。第二，3D 扩展。临床实践中 3D 超声成像越来越常见，将 MSS 和 FDS 扩展到 3D 空间可以实现更精确的体积分割，同时利用 3D 上下文信息增强特征表示。第三，多类别分割。将当前框架扩展到多器官或病灶类别分割需要设计类别感知的混合策略和层次化伪标签框架，确保混合操作不会混淆不同类别的语义边界。第四，轻量化部署。探索模型压缩技术（如知识蒸馏、量化）和高效的频域操作实现，使 Switch 能够在资源受限的边缘设备（如便携式超声设备）上实时运行。第五，临床验证。在真实临床工作流中进行前瞻性研究，评估该方法对诊断准确性和工作流效率的实际影响，为临床转化提供更强证据。
复现评估
Switch 的复现难度中等偏易。论文提供了公开代码库（https://github.com/jinggqu/Switch），这是复现的重要基础。所有六个数据集中，五个（LN-INT、LN-EXT、BUSI、DDTI、Prostate）是公开可获取的，TN3K 也是公开数据集，这为复现提供了充分的数据支持。实验配置详细：使用 NVIDIA RTX 4090 GPU，PyTorch 实现，SGD 优化器，学习率 0.05 并采用余弦退火策略。超参数设置清晰：粗补丁数量 2，细补丁数量 2，粗补丁大小 128x128，细补丁大小 32x32，频域区域比例 0.0175，EMA 动量 0.99，对比损失和一致性损失的权重均为 0.1。训练过程包括预训练阶段（10,000 次迭代）和自训练阶段（30,000 次迭代），批次大小为 16（8 个标注样本和 8 个未标注样本）。这些详细信息使得复现相对直接。潜在的复现挑战在于私有数据集（LN-INT 和 LN-EXT）的获取，以及代码中可能未明确提及的数据预处理步骤（如 50 像素边缘裁剪、模板匹配去除设备标志、形态学操作提取最大扫描区域）。总体而言，对于有医学图像处理经验的研究者，复现本文方法的难度不高。
论文图表
