C-RADIOv4（技术报告） C-RADIOv4 (Tech Report)
C-RADIOv4通过多教师蒸馏构建聚合视觉骨干模型，提升下游任务性能并支持任意分辨率
前置知识
多教师蒸馏
多教师蒸馏是一种知识蒸馏方法，其中一个学生模型同时从多个教师模型学习。在C-RADIOv4中，教师模型包括SigLIP2、DINOv3和SAM3，每个教师提供不同类型的视觉特征（如文本对齐特征、自监督特征和分割特征）。学生模型通过模仿这些教师的特征表示来获得统一的、多能力的视觉编码能力。这种方法的关键优势在于能够融合不同教师的专长，从而创建一个在多种任务上都表现优异的单一模型。
理解多教师蒸馏是理解C-RADIOv4如何整合不同视觉模型能力的基础，也是论文核心方法的出发点
聚合基础模型
聚合基础模型（Agglomerative Foundation Model）是AM-RADIO系列引入的概念，指通过从多个异构基础模型蒸馏特征表示来创建新的基础模型。与传统单教师蒸馏不同，聚合模型能够保留并改进每个教师的特定能力。在视觉领域，这意味着一个学生模型可以同时具备CLIP的文本-图像对齐能力、DINO的自监督特征提取能力和SAM的分割能力，从而成为多用途的视觉骨干网络。
这是C-RADIOv4所属的模型类别，理解其定义有助于把握论文的整体定位和技术路线
ViTDet模式
ViTDet（Vision Transformer Detection）模式是一种让Vision Transformer在大部分层中使用窗口注意力（windowed attention）的配置，只有少数层保持全局注意力。这种设计最初用于目标检测任务，可以显著降低计算复杂度，特别是在处理高分辨率图像时。在C-RADIOv4中，ViTDet模式通过可配置的窗口大小（如8×8或16×16）来平衡效率和性能，使得模型在高分辨率输入下仍然保持较快的推理速度。
ViTDet模式是C-RADIOv4的一个重要创新点，解决了高分辨率图像处理的效率问题
PHI-S归一化
PHI-S归一化是一种分布平衡技术，用于解决多教师蒸馏中不同教师特征分布不平衡的问题。具体来说，它通过对教师特征进行归一化处理，使得每个教师的特征在损失函数中的贡献更加均衡，防止某些具有较大激活值的教师主导训练过程。在C-RADIOv4中，PHI-S被用于空间特征损失，确保学生模型能够平等地学习所有教师的特征模式。
这是C-RADIOv4解决多教师蒸馏不平衡问题的关键技术，直接影响模型的训练效果
Shift Equivariance
Shift Equivariance（平移等变性）是指模型的输出特征应该与输入的平移保持一致的关系。在C-RADIOv4中，为了防止学生模型学习到教师模型中的固定模式噪声，采用了shift equivariant loss和shift equivariant MESA。具体实现上，通过对学生和教师输入进行随机平移，并使用变换函数 $\mathcal{F}_{S o T}$ 来对齐特征，使得模型只能学习输入依赖的语义特征，而不是固定的位置模式。
这是C-RADIOv4解决教师模型噪声问题的核心技术，提高了模型的泛化能力
研究动机
现有视觉基础模型存在几个关键问题：首先，单个模型往往只在特定任务上表现出色，例如DINOv3在自监督学习方面很强，但缺乏文本对齐能力；SigLIP2具有良好的文本-图像对齐，但在密集预测任务上表现一般。其次，多教师蒸馏虽然能够整合不同能力，但面临特征分布不平衡的问题——不同教师的特征激活值差异很大，导致某些教师在训练中主导损失函数。第三，教师模型本身存在固定模式噪声（如DINOv3中的斑点伪影），这些噪声会被学生模型学习并放大。此外，现有模型在多分辨率支持上存在“模式切换”现象，导致不同分辨率下表现不一致。最后，高分辨率图像处理效率低下，因为标准ViT的计算复杂度与分辨率平方成正比。
本文的目标是C-RADIOv4的目标是创建一个统一的视觉编码器，能够同时具备SigLIP2的文本对齐能力、DINOv3的自监督特征提取能力和SAM3的分割能力。具体来说，模型需要在保持计算复杂度不变的情况下，提升关键下游任务（如语义分割、深度估计、实例分割）的性能。此外，目标还包括实现平滑的任意分辨率支持，避免模式切换现象；引入ViTDet模式以大幅提高高分辨率图像的处理效率；以及采用商业友好的许可证，促进学术和工业应用。
与已有工作不同的是，本文的独特切入角度在于：首先，首次将SigLIP2、DINOv3和SAM3这三个前沿模型组合作为教师集合，利用了它们各自的优势。其次，提出了一系列创新的技术来解决多教师蒸馏中的具体问题：包括shift equivariant loss和shift equivariant MESA来消除教师噪声；使用角度归一化（angular normalization）来平衡summary token的损失；以及采用DAMP（乘性权重扰动）来增强模型鲁棒性。第三，通过随机分辨率训练策略（从128px到1152px采样）实现了平滑的多分辨率支持。第四，重新引入ViTDet模式并优化了窗口大小配置，使得在高分辨率下推理速度提升显著。最后，通过包含SO400M（412M参数）变体，提供了更高效的模型选择。
核心方法
C-RADIOv4的整体方法可以概括为：使用多个异构教师模型（SigLIP2、DINOv3、SAM3）通过特征蒸馏训练一个统一的学生模型。训练过程在两个分辨率分区进行：低分辨率分区（128-432px）和高分辨率分区（512-1152px）。对于每个输入图像，学生模型和教师模型会看到不同的随机裁剪区域，然后通过特征匹配损失进行训练。为了防止学生学习教师的噪声，采用了shift equivariant技术，使得特征匹配只关注输入依赖的语义部分。此外，通过PHI-S归一化和角度归一化来平衡不同教师的损失贡献。最终模型支持可选的ViTDet模式，允许在大部分层中使用窗口注意力以提高效率。
C-RADIOv4的核心创新在于解决多教师蒸馏中的三个关键问题：噪声学习、损失不平衡和分辨率不一致。与现有方法相比，其本质区别在于：1）采用shift equivariant loss，通过随机平移对齐消除了教师模型中的固定模式噪声；2）提出角度归一化（angular normalization）来平衡summary token的损失，解决了不同教师特征分布不一致的问题；3）通过随机分辨率采样训练，实现了平滑的任意分辨率支持，避免了模式切换现象。这些创新使得C-RADIOv4能够在保持计算复杂度不变的情况下，显著提升性能。
方法步骤详情
C-RADIOv4的训练方法包含以下关键步骤：1）教师集合配置：选择SigLIP2-g-384、DINOv3-7B和SAM3作为教师模型，每个教师在特定分辨率下提供特征。2）随机分辨率训练：对于每个训练批次，从低分辨率分区（128,192,224,256,384,432）和高分辨率分区（512,768,1024,1152）中随机采样分辨率。对于SigLIP2，使用FeatSharp进行3×上采样；对于SAM3，使用马赛克增强以适应1152×1152输入。3）Shift Equivariant Loss：对于每个图像，随机平移学生和教师的输入区域，计算变换函数 $\mathcal{F}_{S o T}$，然后使用公式 {spatial}(x, \hat{y}) = ?rac{1}{|\Omega|} \sum_{u \in \Omega} (\mathcal{F}_{S o T}[x]_u - \hat{y}_u)^2$ 进行特征匹配。4）Shift Equivariant MESA：应用指数移动平均（EMA）的学生模型，但对学生和EMA使用不同的裁剪区域，通过变换函数 $\mathcal{F}_{S o ilde{S}}$ 对齐，使用损失 {mesa}(x, ilde{x}) = ?rac{1}{|\Omega|} \sum_{u \in \Omega} (\mathcal{F}_{S o ilde{S}}[ ext{LN}(x)]_u - ext{LN}( ilde{x})_u)^2$。5）角度归一化：对于summary token，计算教师特征的角分散度 $ ext{Disp}(\Theta_y) = \mathbb{E}[\Theta(y, \mu_y)^2]$，然后使用损失 {angle}(x, y) = ?rac{\Theta(x, y)^2}{ ext{Disp}(\Theta_y)}$。6）DAMP训练：在训练过程中对权重应用乘性噪声以增强鲁棒性。
技术新颖性
C-RADIOv4的技术新颖性体现在多个方面：首先，shift equivariant loss和shift equivariant MESA是全新的技术，通过随机平移对齐来消除教师噪声，这不同于传统的特征匹配方法。其次，角度归一化是针对summary token损失的创新解决方案，它通过角分散度来平衡不同教师的损失贡献，而传统的余弦相似度损失无法解决分布不平衡问题。第三，随机分辨率训练策略结合了FeatSharp上采样和马赛克增强，实现了平滑的多分辨率支持，这比先前的双分辨率训练更加精细。第四，ViTDet模式的优化配置（支持6×6到32×32的窗口大小）使得高分辨率处理效率大幅提升，例如SO400M模型在ViTDet窗口大小≤12时比SAM3的编码器更快。最后，模型架构的改进（如选择SO400M变体）在保持性能的同时降低了参数量（412M vs 631M）。
实验结果
C-RADIOv4在多个基准测试中取得了显著成果：在ImageNet-1K零样本分类中，C-RADIOv4-H在1024px分辨率下达到83.09%的准确率，相比RADIOv2.5-H的82.51%有明显提升，且在低分辨率（如256px）下提升更大（约2%）。在ADE20k语义分割任务中，C-RADIOv4-H达到55.20 mIoU，显著超过RADIOv2.5-H的51.58，接近DINOv3-7B的55.9。在Probe3d评估中，C-RADIOv4-H在深度、法线、NAVI和SPair等任务上均优于前代模型，例如NAVI任务达到63.44 vs 60.89。在SA-Co/Gold实例分割基准中，C-RADIOv4-H（全局注意力）平均达到44.7 cgF1，是仅次于SAM3（54.1）的第二佳模型。在延迟方面，C-RADIOv4-SO400M在ViTDet窗口大小为8时，处理1024px图像仅需约100ms，比SAM3编码器快2倍以上。此外，模型展示了强大的分辨率缩放能力，在ADE20k任务中，C-RADIOv4-H从512px到1536px分辨率，mIoU从55.20提升到57.72。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageNet-1K零样本分类 | Top-1准确率（%） | C-RADIOv4-H: 83.09 (1024px) | RADIOv2.5-H: 82.51 | +0.58% (相对提升0.7%) |
| ADE20k语义分割 | mIoU | C-RADIOv4-H: 55.20 | RADIOv2.5-H: 51.58 | +3.62 (相对提升7.0%) |
| Probe3d NA VI | 准确率 | C-RADIOv4-H: 63.44 | RADIOv2.5-H: 60.89 | +2.55 (相对提升4.2%) |
| SA-Co/Gold实例分割 | 平均cgF1 | C-RADIOv4-H (全局): 44.7 | SAM3: 54.1 | 比SAM3低9.4，但比其他模型高 |
| 延迟（1024px图像） | 毫秒/图像 | C-RADIOv4-SO400M (ViTDet-8): ~100ms | SAM3编码器: ~210ms | 速度提升2.1倍 |
局限与改进
尽管C-RADIOv4取得了显著进展，但仍存在一些局限性。首先，在SA-Co/Gold实例分割基准中，与SAM3相比仍有较大差距（44.7 vs 54.1），特别是在“fg_sports_equipment”和“wiki_common”类别上差距明显，这表明模型在替换SAM3视觉编码器时仍有改进空间。其次，虽然模型支持ViTDet模式以提高效率，但窗口大小需要与输入分辨率兼容（窗口大小×补丁大小需整除图像分辨率），这在某些场景下可能带来限制。第三，模型训练依赖于多个大型教师模型（DINOv3-7B有6.7B参数），这增加了训练的计算成本和复杂性。第四，论文中提到的“person”查询问题表明，RADIO和SAM3在特定查询上存在阈值效应，这可能影响在特定应用中的可靠性。最后，模型的性能提升在不同任务上不均衡，例如在零样本分类上提升相对较小（0.58%），而在密集预测任务上提升更显著，这表明模型在不同能力间仍需更好的平衡。
独立分析的弱点
基于独立分析，C-RADIOv4存在以下几个弱点：1）教师集合的更新可能不完整：虽然引入了SigLIP2、DINOv3和SAM3，但放弃了DFN CLIP，这可能限制了模型在某些文本-图像对齐任务上的潜力。改进方向是探索更动态的教师组合策略，根据任务需求自动选择教师。2）分辨率分区设计相对固定：低分辨率（128-432px）和高分辨率（512-1152px）的划分可能不够优化，特别是对于中等分辨率（如600px左右）的处理。可以探索更连续的分辨率采样策略。3）噪声消除机制可能过于激进：shift equivariant技术虽然能消除固定模式噪声，但也可能过滤掉一些有用的高频细节。可以研究自适应的噪声消除策略。4）效率优化仍有空间：虽然ViTDet模式提高了效率，但全局注意力层（4层）仍然是计算瓶颈。可以探索更细粒度的注意力稀疏化方法。
未来方向
作者提出的未来研究方向包括：1）进一步提升替换SAM3视觉编码器的能力，特别是在自然图像以外的领域（如“wiki_common”）。2）探索更高效的窗口注意力配置，可能结合动态窗口大小调整。基于当前成果可延伸的方向：3）将C-RADIOv4应用于更多下游任务，如视频理解、3D重建等。4）探索模型压缩和知识蒸馏，创建更小、更快的变体。5）研究教师模型的自动选择和权重分配策略。6）将shift equivariant技术推广到其他多模态蒸馏场景。7）结合神经架构搜索（NAS）优化模型结构。8）在边缘设备上部署优化，利用ViTDet模式实现实时高分辨率处理。
复现评估
C-RADIOv4的复现条件相对友好：1）开源情况：作者提供了代码（GitHub）和模型权重（Hugging Face），这大大降低了复现门槛。2）数据需求：训练需要ImageNet等大规模图像数据集，以及教师模型的特征输出，这些数据相对容易获取。3）算力要求：训练需要多GPU集群，特别是使用DINOv3-7B（6.7B参数）作为教师时，显存和计算需求较高。但使用SO400M变体可以降低需求。4）技术细节：论文详细描述了所有关键技术和超参数（如分辨率分区、窗口大小等），使得复现具有可操作性。5）依赖环境：需要PyTorch、Hugging Face Transformers等常见库，依赖关系清晰。总体而言，具备中等规模计算资源的团队应该能够复现主要结果，但完整训练可能需要较大算力投入。
论文图表
该图展示了不同模型（RADIOv2.5-H、C-RADIOv3-H、C-RADIOv4-H、DINOv2-g-reg、DINOv3-H+、DINOv3-7B）在ImageNet-1K kNN分类中，准确率随分辨率变化的趋势。DINOv3在kNN任务上相比DINOv2有显著提升，但分辨率缩放集中在192-256px，更高分辨率会下降。C-RADIOv4-H从256px开始能够匹配或超越DINOv3。
这张图将C-RADIOv4与最新的DINOv3模型进行比较，展示了在kNN任务上的竞争力，同时揭示了不同模型的分辨率缩放特性差异。