← 返回 2026-02-05

OmniRad:面向多任务医学影像分析的放射学基础模型 OmniRad: A Radiological Foundation Model for Multi-Task Medical Image Analysis

Luca Zedda, Andrea Loddo, Cecilia Di Ruberto 📅 2026-02-04 👍 2 2026-07-13 08:35
医学影像 基础模型 多任务学习 放射学 自监督学习

自监督预训练放射学基础模型,统一分类、分割与图像描述

前置知识

自监督学习(Self-Supervised Learning)

自监督学习是一种无需人工标注的预训练范式,通过设计代理任务(pretext task)从无标注数据中学习通用视觉表征。在本文中,OmniRad 采用 DINOv2 框架进行自监督预训练,利用教师-学生网络架构,通过蒸馏损失(DINO loss)和掩码图像建模损失(iBOT loss)学习鲁棒的视觉特征。该方法的核心思想是让学生网络预测教师网络的输出,教师网络通过指数移动平均(EMA)更新,动量系数从 0.994 逐步增长到 1.0。

理解自监督学习是理解 OmniRad 预训练策略的基础,本文的关键创新之一就是对 DINOv2 预训练框架的改进(移除局部裁剪),这直接影响了模型的下游任务性能。

Vision Transformer(ViT)

Vision Transformer 是将 Transformer 架构应用于计算机视觉任务的模型。它将输入图像分割为固定大小的图像块(patch),通过线性嵌入层转换为 token 序列,然后输入标准 Transformer 编码器进行处理。本文使用 ViT-S(small)和 ViT-B(base)两种变体,patch 大小为 14×14 像素。ViT 的优势在于其强大的可扩展性和全局注意力机制,能够捕获长距离依赖关系,但其单尺度表征特性对密集预测任务(如分割)构成挑战。

OmniRad 基于 ViT 架构构建,理解 ViT 的特性(尤其是其单尺度表征的局限性)对于理解本文提出的分割适配器设计至关重要。

DINOv2 预训练框架

DINOv2 是一种先进的自监督视觉预训练方法,结合了 DINO 的蒸馏损失和 iBOT 的掩码图像建模。它使用教师-学生架构,学生网络接收局部和全局裁剪图像,教师网络仅接收全局裁剪。通过 131,072 个原型向量(prototypes)和 256 维瓶颈层进行特征聚类。DINOv2 的一个关键特点是同时使用全局裁剪(224×224)和局部裁剪来捕获多尺度信息,但本文发现这种设计在放射学预训练中会导致训练不稳定。

本文的核心技术贡献之一就是对 DINOv2 的修改——仅保留全局裁剪并移除局部裁剪,这一改进显著提升了训练稳定性和下游迁移性能,理解原始 DINOv2 框架是理解这一创新的前提。

RadImageNet 数据集

RadImageNet 是一个大规模放射学影像数据集,包含超过 135 万张医学图像,覆盖 CT、MRI 和超声三种成像模态,标注了 165 个类别,涵盖多种解剖区域和病理类型。数据集按照 1,080,000/135,000/135,000 的比例划分为训练/验证/测试集。其规模和异质性使其成为学习鲁棒、模态无关视觉表征的理想预训练数据源,能够有效泛化到下游任务。

RadImageNet 是 OmniRad 预训练的数据基础,其多模态、多解剖区域的特性直接决定了模型的泛化能力和跨模态迁移性能。

密集预测任务(Dense Prediction)

密集预测任务是指需要对图像中每个像素进行预测的任务,主要包括语义分割、实例分割和目标检测。与分类任务仅需全局特征不同,密集预测需要保留空间细节信息。Vision Transformer 的单尺度表征特性(所有 token 具有相同的空间分辨率)使其在密集预测任务上面临挑战,因为缺乏多尺度层次化特征。本文通过引入并行卷积分支和轻量级解码器来解决这一问题。

理解密集预测任务的特殊需求是理解本文分割适配器设计动机的关键,OmniRad 的主要贡献之一就是为 ViT 基础模型提供高效的密集预测适配方案。

MedMNISTv2 基准测试

MedMNISTv2 是一个标准化的医学影像基准测试集合,包含多个子数据集,覆盖不同的成像模态和解剖区域。本文使用的子数据集包括:PneumoniaMNIST(胸部 X 光肺炎分类,二分类,5,856 张图像)、BreastMNIST(乳腺超声分类,二分类,780 张图像)、OrganAMNIST/CMNIST/SMNIST(腹部 CT 器官分类,11 类,分别包含 58,830/23,583/25,211 张图像)。这些数据集具有标准化划分和受控图像分辨率,确保了评估的可重复性。

MedMNISTv2 是本文分类任务的主要评估平台,理解各子数据集的特性和规模对于解读实验结果至关重要。

LoRA(Low-Rank Adaptation)

LoRA 是一种参数高效的微调方法,通过在预训练模型的权重矩阵中注入低秩分解矩阵来实现适配。给定原始权重矩阵,LoRA 将权重更新分解为低秩形式,通过两个小矩阵的乘积来近似全秩更新。本文测试了两种 LoRA 配置:秩 r=8、缩放因子 alpha=16 和秩 r=16、alpha=32。实验表明 LoRA 的性能略低于全参数微调和仅头部微调。

LoRA 作为消融实验的一部分被评估,理解其工作原理有助于理解本文对不同微调策略的比较分析。

研究动机

放射学影像分析在临床决策中至关重要,但面临多重挑战。首先,观察者间和观察者内的变异性、细微的病理模式以及当代影像数据的规模和异质性使得图像解读困难重重。其次,传统的影像组学(Radiomics)方法虽然能将医学图像转化为结构化的定量描述符,但高度依赖图像采集协议、预处理策略和分割质量,在多中心和多模态环境中可重复性和可扩展性受限。第三,现有的深度学习影像组学模型通常以完全监督和任务特定的方式训练,需要大量标注数据,且在跨模态、跨器官或跨机构迁移时鲁棒性不足。最后,现有的放射学基础模型虽然前景广阔,但预训练数据集往往局限于特定模态或解剖区域,导致学习到的表征存在偏差;下游适配通常为每个任务独立进行,产生碎片化的特征空间,不利于表征重用和跨任务一致性。

本文的目标是本文的目标是开发 OmniRad,一个放射学驱动的基础模型,旨在学习稳定且可迁移的放射学表征。具体而言,OmniRad 在大规模、异质性的放射学数据上进行自监督预训练,覆盖多种成像模态和解剖区域。模型采用单一共享编码器架构,仅预训练一次,随后分别适配到分类和分割任务,并额外探索视觉-语言应用(图像描述生成)。这种设计的核心目标是在不依赖联合多任务优化的情况下,实现跨多样化临床目标的一致表征重用,从而为放射学工作流提供统一、可靠、可复用的视觉表征基础。

与已有工作不同的是,本文的独特切入角度体现在三个方面。第一,从影像组学视角审视基础模型设计:现有放射学基础模型缺乏对影像组学核心原则(如特征稳定性、可重复性和重用性)的显式鼓励,OmniRad 将这些原则融入预训练和适配策略中。第二,提出任务无关的表征范式:与现有方法为分类和分割分别使用任务特定编码器或独立预训练模型不同,OmniRad 强调单一、任务无关的放射学编码器,预训练一次后在异质视觉分析任务中一致重用。第三,对 DINOv2 预训练框架的创新性修改:仅保留全局裁剪并移除局部裁剪,这一看似简单的改动显著提升了训练稳定性和下游迁移性能,同时将训练过程加速约 2 倍。

核心方法

OmniRad 的整体方法可以分为四个阶段:预训练、分类适配、分割适配和图像描述探索。预训练阶段,OmniRad 基于修改的 DINOv2 框架在 RadImageNet 数据集上进行自监督学习,关键创新是仅使用全局裁剪(global crops)并完全移除局部裁剪(local crops),这一设计显著提升了训练稳定性和下游迁移性能。分类适配阶段,使用标准监督学习和交叉熵损失对预训练编码器进行端到端微调。分割适配阶段,引入并行卷积分支和轻量级解码器,通过从 ViT 中间层提取多尺度特征图,实现高效的密集预测适配,且编码器保持冻结。图像描述阶段,将冻结的 OmniRad 编码器与 BART 语言模型结合,通过 Patch Merger 压缩视觉 token,实现视觉-语言对齐的探索性评估。整个架构如图 2 所示,蓝色为 OmniRad 图像编码器,紫色为分类分支,红色为分割模块,黄色为探索性描述分支。

OmniRad 的核心创新在于将放射学(Radiomics)的原则与现代基础模型的自监督预训练相结合。与现有医学基础模型(如 DINOv3、Radio DINO)相比,OmniRad 的本质区别体现在三个层面。首先,在预训练层面,通过对 DINOv2 的修改(仅保留全局裁剪),OmniRad 避免了局部裁剪带来的训练不稳定问题,同时保持了强大的特征学习能力。其次,在适配层面,提出任务无关的表征范式:单一预训练编码器通过不同的轻量级适配器支持分类、分割和描述生成,而非为每个任务训练独立的编码器。第三,在分割层面,设计了并行卷积分支和空间感知 Token 适配器,从 ViT 中间层(L=3, 7, 11)提取多尺度特征图,解决了 ViT 单尺度表征在密集预测任务上的局限性。这种设计既保持了预训练表征的完整性(编码器冻结),又实现了高效的密集预测适配。

方法步骤详情

OmniRad 的方法包含以下关键步骤。第一步是预训练:使用修改的 DINOv2 框架在 RadImageNet(135 万张图像,165 类)上进行自监督预训练。仅使用 224x224 的全局裁剪,移除局部裁剪。使用 ViT-S 和 ViT-B 两种骨干网络,patch 大小为 14,训练 10 个 epoch,基础学习率 2e-4,使用 AdamW 优化器,权重衰减从 0.04 线性增长到 0.2。DINO 损失和 iBOT 损失权重均为 1.0,使用 131,072 个原型和 256 维瓶颈。第二步是分类适配:将输入图像调整为 224x224 像素,使用 AdamW 优化器,学习率 1e-5,权重衰减 0.01,训练 40 个 epoch,前 10 个 epoch 线性预热,梯度裁剪范数为 1.0。第三步是分割适配:输入图像调整为 448x448 像素,patch 大小 14。从 ViT 的第 3、7、11 层提取 token 特征 T,重排为空间特征图 V,并对齐到卷积先验 C(尺度 8, 16, 32)。解码器使用两个轻量级上采样块,每个块执行 2 倍双线性插值后接两个 3x3 卷积层(带批归一化和 ReLU),并与更精细尺度的特征拼接:U16 = Up(F32) + F16,U8 = Up(U16) + F8,最终通过 1x1 卷积生成 H/8 x W/8 分辨率的分割 logits。训练 20 个 epoch,学习率 1e-4,批大小 16。第四步是图像描述:冻结 OmniRad base 编码器,将 token 嵌入通过线性投影映射到 BART 嵌入空间。使用 Patch Merger(交叉注意力池化)将视觉 token 压缩为 64 个潜在视觉 token。训练 20 个 epoch,学习率 5e-5,批大小 64(梯度累积),推理使用 beam search(5 beams,最大长度 64 token)。

技术新颖性

OmniRad 的技术新颖性体现在多个层面。首先,预训练框架的创新:对 DINOv2 的修改看似简单但效果显著——仅保留全局裁剪并移除局部裁剪,这一改动带来三个关键优势:训练稳定性显著提升(无需模型回滚或干预以缓解特征崩溃)、下游迁移性能改善、训练速度提升约 2 倍(因计算量减少)。其次,分割适配器的设计创新:提出并行卷积分支和空间感知 Token 适配器,从 ViT 中间层提取多尺度特征图,解决了 ViT 单尺度表征在密集预测任务上的固有局限。与 ViTAdapter 相比,本文方法的计算开销更小,更适合高通量放射学工作流。第三,解码器设计创新:两个轻量级上采样块通过双线性插值、3x3 卷积和多尺度特征拼接实现高效解码,OmniRad-S 的解码器仅含 14.27M 可训练参数,OmniRad-B 含 69.76M 参数。第四,任务无关表征范式的创新:单一预训练编码器通过不同适配策略支持分类、分割和描述生成,避免了联合多任务训练的复杂性和潜在优化冲突,同时保持了跨任务的表征一致性。

Schematic of the proposed OmniRad model
Figure 1: Schematic of the proposed OmniRad model
Overview of the proposed OmniRad framework for radiological analysis tasks
Figure 2: Overview of the proposed OmniRad framework for radiological analysis tasks

实验结果

OmniRad 在分类、分割和图像描述三个任务上均取得了最先进或接近最先进的性能。在分类任务上,OmniRad 在 MedMNISTv2 的五个数据集上表现出色:BreastMNIST 上 OmniRad-S 达到 89.42% F1(超越所有基线包括 Radio DINO base 的 87.69%);PneumoniaMNIST 上 OmniRad-S 达到 94.85% F1(超越 DINOv3 base 的 93.26%);OrganAMNIST 上 OmniRad-S 达到 97.30% F1(超越 Radio DINO base 的 97.20%);OrganCMNIST 上 OmniRad-B 达到 95.45% F1(超越 DINOv3 small 的 94.74%);OrganSMNIST 上 OmniRad-B 达到 80.97% F1,相比 DINOv3 small 提升 +2.05%,相比 Radio DINO base 提升 +2.82%。这些结果表明,尽管 DINOv3 在更大的非放射学语料库上预训练,OmniRad 的专门化预训练策略在医学影像基准上仍能取得更优性能。在分割任务上,OmniRad base 在 MedSegBench 八个数据集上的聚合性能最优,平均 mIoU 87.93%、Dice 92.95%、F1 93.03%,相比 Radio DINO base(mIoU 87.78%、Dice 92.86%、F1 92.93%)实现系统性提升。具体数据集上,OmniRad base 在 MosMedPlusMSBench 达到 86.19% mIoU,在 Promise12MSBench 达到 93.25% mIoU,在 USforKidneyMSBench 达到 97.25% mIoU。在图像描述任务上,OmniRad base 在 ROCOv2 基准上使用 beam search(5 beams,64 tokens)达到 BLEU 2.97、BLEU-1 19.39、ROUGE-L 17.48、METEOR 22.45(128 tokens),全面超越 CLIP、DINOv2、DINOv3 和 Radio DINO。消融实验表明,全参数微调优于仅头部微调优于 LoRA 适配的性能排序,但即使冻结骨干网络,仅头部微调仍能接近全参数微调的性能。

Overview of datasets used in experiments
Table 2: Overview of datasets used in experiments
mIoU (%) on Group 1 datasets
Table 9: mIoU (%) on Group 1 datasets
mIoU (%) on Group 2 datasets
Table 10: mIoU (%) on Group 2 datasets
Captioning benchmark
Table 12: Captioning benchmark
Segmentation visualization
Figure 3: Segmentation visualization
UMAP visualization of the latent representations
Figure 4: UMAP visualization of the latent representations
查看结构化数据
任务指标本文基线提升
乳腺超声分类(BreastMNIST) F1 (%) OmniRad-S: 89.42% Radio DINO base: 87.69%, DINOv3 base: 87.22% +1.73% over Radio DINO base, +2.20% over DINOv3 base
胸部X光肺炎分类(PneumoniaMNIST) F1 (%) OmniRad-S: 94.85% Radio DINO base: 93.29%, DINOv3 base: 93.26% +1.56% over Radio DINO base, +1.59% over DINOv3 base
腹部CT器官分类A(OrganAMNIST) F1 (%) OmniRad-S: 97.30% Radio DINO base: 97.20%, DINOv3 base: 97.28% +0.10% over Radio DINO base, +0.02% over DINOv3 base
腹部CT器官分类C(OrganCMNIST) F1 (%) OmniRad-B: 95.45% Radio DINO base: 94.57%, DINOv3 small: 94.74% +0.88% over Radio DINO base, +0.71% over DINOv3 small
腹部CT器官分类S(OrganSMNIST) F1 (%) OmniRad-B: 80.97% Radio DINO base: 78.15%, DINOv3 small: 78.92% +2.82% over Radio DINO base, +2.05% over DINOv3 small
超声乳腺分割(BusiMSBench) mIoU (%) OmniRad-B: 77.53% Radio DINO base: 76.57%, DINOv3 base: 68.68% +0.96% over Radio DINO base
胸部X光COVID分割(CovidQUExMSBench) mIoU (%) OmniRad-B: 83.77% Radio DINO base: 83.67%, DINOv3 base: 80.34% +0.10% over Radio DINO base
CT肺部分割(MosMedPlusMSBench) mIoU (%) OmniRad-B: 86.19% Radio DINO base: 85.80%, DINOv3 base: 84.67% +0.39% over Radio DINO base
MRI前列腺分割(Promise12MSBench) mIoU (%) OmniRad-B: 93.25% Radio DINO base: 92.80%, DINOv3 base: 91.54% +0.45% over Radio DINO base
超声肾脏分割(USforKidneyMSBench) mIoU (%) OmniRad-B: 97.25% Radio DINO base: 97.11%, DINOv3 base: 96.94% +0.14% over Radio DINO base
聚合分割性能(8个数据集) mIoU (%) OmniRad-B: 87.93% Radio DINO base: 87.78%, DINOv3 base: 85.70% +0.15% over Radio DINO base
聚合分割性能(8个数据集) Dice (%) OmniRad-B: 92.95% Radio DINO base: 92.86% +0.09% over Radio DINO base
图像描述(ROCOv2) BLEU OmniRad-B: 2.97 DINOv3 base: 2.91, Radio DINO base: 2.68 +0.06 over DINOv3 base, +0.29 over Radio DINO base
图像描述(ROCOv2) ROUGE-L OmniRad-B: 17.48 DINOv3 base: 16.96, Radio DINO base: 16.49 +0.52 over DINOv3 base, +0.99 over Radio DINO base

局限与改进

本文作者承认了多项局限性。首先,OmniRad 依赖 RadImageNet 初始化,可能无法完全捕获罕见模态、扫描仪特定伪影或机构依赖的协议,残余的领域偏差可能在分布外设置中持续存在。其次,评估仅限于回顾性公共基准,不包括前瞻性临床验证,现实世界的诊断工作流通常涉及多视图解读、纵向分析和临床元数据整合,这些在本研究中未被建模。第三,大多数实验使用冻结编码器范式以确保计算效率和公平比较,虽然这突出了表征质量,但可能限制细粒度任务性能。第四,尽管 OmniRad 从小型到基础型配置扩展良好,但训练更大变体仍计算密集,超大型模型由于资源限制未被探索。第五,图像描述实验是探索性的,仅使用自动指标评估,未完全捕获临床相关性、语义准确性或安全性问题(如幻觉),需要人类专家评估。从独立观察来看,OmniRad 在某些数据集上的性能提升虽然系统性但幅度较小(如 OrganAMNIST 仅 +0.10%),在实际部署中可能不具备统计显著性;模型在 ParadentalMSBench 等小数据集上的表现不稳定,如图 3 所示存在失败案例;此外,论文未提供与其他最新基础模型(如 BioMedCLIP、PubMedCLIP)的对比,可能遗漏了重要的竞争基线。

独立分析的弱点

OmniRad 存在几个值得深入分析的弱点。首先,性能提升的幅度问题:虽然 OmniRad 在大多数数据集上取得了最优性能,但许多提升幅度较小(如 OrganAMNIST +0.10%、BusiMSBench +0.96%),在统计显著性方面,作者承认在 BreastMNIST、OrganAMNIST、PneumoniaMNIST 和 Promise12MSBench 上性能差异不显著,这使得模型的实际优势存疑。改进方向:应进行更严格的统计检验(如 Wilcoxon 符号秩检验)和效应量分析,并在更多数据集和设置上验证稳定性。其次,预训练数据的局限性:OmniRad 仅在 RadImageNet 上预训练,该数据集虽然规模可观(135 万张图像),但相比 DINOv3 使用的 LVD-142M(1.42 亿张图像)仍小一个数量级,可能限制了模型学习更通用视觉表征的能力。改进方向:探索在更大规模、更多样化的医学影像数据集上预训练,或采用多阶段预训练策略。第三,分割适配器的计算开销:虽然作者声称方法轻量,但 OmniRad-B 的解码器包含 69.76M 可训练参数,在实际部署中可能成为瓶颈。改进方向:进一步探索更高效的解码器设计,如使用深度可分离卷积或知识蒸馏。第四,图像描述任务的局限性:BART 语言模型的选择较为过时(相对于当前的 LLaMA、GPT 等),64 个视觉 token 的压缩可能丢失重要细节,且仅使用自动指标评估无法全面反映临床价值。改进方向:使用更强大的语言模型,探索更精细的视觉-语言对齐策略,并引入临床专家评估。

未来方向

基于本文成果,未来研究可以在多个方向延伸。首先,扩展预训练规模和多样性:作者提出将预训练扩展到更大规模的多中心临床数据集,这将有助于减少残余领域偏差并提升泛化能力。其次,探索选择性微调策略:当前的冻结编码器范式虽然保证了效率,但限制了细粒度任务性能,未来可以探索参数高效的选择性微调方法(如 Adapter、Prefix Tuning)在保持表征一致性的同时提升任务特定性能。第三,扩展到更多放射学任务:当前评估覆盖分类、分割和描述生成,未来可以扩展到目标检测、图像配准、异常检测等更多放射学任务。第四,临床验证和部署:进行前瞻性临床验证,评估模型在真实临床工作流中的性能和可用性,包括与 PACS 系统的集成、纵向分析支持和多中心部署。第五,视觉-语言模型的深化:将 OmniRad 的视觉表征与更强大的语言模型(如 LLaMA-Med、BioGPT)结合,实现更准确的放射学报告生成和临床问答。第六,探索多模态融合:将影像数据与临床文本、实验室检查结果等多模态信息融合,实现更全面的临床决策支持。第七,模型压缩和部署优化:针对实际临床部署需求,探索模型量化、剪枝和知识蒸馏等技术,降低推理延迟和计算成本。

复现评估

本文在可复现性方面提供了较好的支持。代码已在 GitHub 开源(https://github.com/unica-visual-intelligence-lab/OmniRad),预训练模型在 Hugging Face 上提供(https://huggingface.co/collections/Snarcy/omnirad)。数据方面,所有使用的数据集均为公开数据集,包括 RadImageNet、MedMNISTv2 和 MedSegBench,具有标准化的训练/验证/测试划分。算力方面,实验在配备 2 块 A100 80GB GPU 的工作站上进行,每个实验重复 5 次以确保公平比较,这对大多数研究团队来说是可负担的。训练细节方面,论文提供了完整的超参数配置(表 1),包括 batch size、学习率、权重衰减、优化器设置等,便于复现。然而,存在一些复现挑战:首先,RadImageNet 数据集的获取可能需要额外申请,增加了复现门槛;其次,修改的 DINOv2 预训练过程虽然详细描述,但完整的预训练代码和脚本未在论文中明确说明是否包含在开源仓库中;第三,图像描述任务的训练细节(如 gradient accumulation 的具体配置、beam search 的完整参数)描述较为简略;第四,论文未提供预训练模型的推理时间、内存占用等部署相关指标,限制了实际应用评估。总体而言,本文的可复现性在医学影像领域属于中上水平,但仍有改进空间。