SciLT：科学图像域中的长尾识别 SciLT: Long-Tailed Classification in Scientific Image Domains
通过融合倒数第二层特征提升科学图像长尾分类性能
前置知识
视觉变换器
一种基于Transformer架构的视觉模型，将图像分割成多个patch并像处理序列一样处理。ViT通过自注意力机制捕获图像中的全局依赖关系，相比CNN具有更强的长距离建模能力。在论文中，ViT作为基础模型的backbone，通过AdaptFormer模块进行参数高效微调。
论文使用CLIP预训练的ViT-B/16模型作为基础模型，理解其架构和预训练过程是理解本文微调策略的基础。
参数高效微调
一种适配预训练模型的方法，只更新少量参数就能适应下游任务。AdaptFormer是论文采用的PEFT方法，它在Transformer的每个block中插入轻量级适配器，既能利用预训练知识又能适应新任务。相比全量微调，PEFT在数据有限时更稳定。
论文的核心发现基于AdaptFormer微调策略，理解PEFT有助于理解为什么微调在科学数据集上收益有限。
长尾分布分类
现实世界数据常呈现长尾分布：少数头部类别拥有大量样本，大量尾部类别样本稀少。标准训练会导致模型偏向头部类别。常用解决方法包括重采样、重权重损失和Logit Adjustment。本文采用LA损失，通过调整logit补偿类别先验。
论文研究的问题核心就是科学数据集上的长尾分类，理解长尾挑战和现有方法有助于理解本文的动机。
Wasserstein距离
衡量两个概率分布之间差异的度量，也称为Earth Mover's Distance，表示将一个分布转化为另一个分布所需的最小'工作量'。论文使用Sinkhorn算法高效计算高维特征空间中的Wasserstein距离，量化倒数第二层和最终层特征的分布差异。
论文用Wasserstein距离证明两层特征包含互补信息，这是提出SciLT融合策略的关键理论依据。
Rademacher复杂度
衡量函数类复杂度的理论工具，表示函数类在随机标签上的表现能力。论文中用它分析SciLT假设空间的复杂度上限，证明虽然融合多层特征扩大了假设空间，但复杂度增长可控。
论文的理论分析部分使用Rademacher复杂度证明SciLT的泛化能力，这是理解论文理论贡献的关键。
研究动机
现有长尾识别研究主要局限于自然图像领域，而科学图像存在显著差异。实验显示，在ImageNet-LT和Places365-LT上微调基础模型可带来显著收益（如LIFT相对提升26%），但在科学数据集上收益有限甚至下降。例如在NIH-Chest数据集上，使用ViT-B/16通过AdaptFormer微调后，整体准确率从41.0%下降至39.7%，宏平均准确率从13.6%下降至11.1%。这种性能下降的根本原因在于科学图像与自然图像存在两个关键差异：一是视觉特征和领域分布差异巨大，导致显著领域偏移；二是下游任务和所需语义信息根本不同，产生不同的监督信号。现有基于文本辅助的方法（如VL-LTR、LIFT）在科学域失效，因为科学概念的文本描述难以准确获得且在预训练语料中代表性不足。
本文的目标是本文旨在系统性研究纯视觉范式下参数高效微调在科学长尾识别中的行为，理解其在领域特定设置中的局限性，并开发有效的解决方案。具体目标包括：（1）量化分析微调基础模型在科学数据集上的效果，揭示其与自然图像场景的差异；（2）探索不同层级的特征表示在科学长尾学习中的作用，特别是倒数第二层特征的潜在价值；（3）提出一个简单有效的框架，通过多层次特征融合提升科学图像长尾识别性能，在头部和尾部类别间实现平衡。
与已有工作不同的是，现有工作的独特切入角度在于：首次系统性地从特征表示层面分析科学长尾识别问题，发现倒数第二层特征对尾部类别特别重要，而这一现象在自然图像长尾学习中未被充分重视。论文通过Wasserstein距离定量分析（NIH-Chest上CE设置下距离为0.98，LA设置下为1.01），证明倒数第二层和最终层特征存在显著分布差异，编码了不同的信息结构。这一发现打破了微调中'最终层特征最优'的默认假设，为开发针对科学数据特性的新方法提供了理论依据。此外，本文聚焦纯视觉范式，避免了科学域中难以获得的文本信息，使方法更具实际可操作性。
核心方法
SciLT的核心思想是同时利用倒数第二层和最终层的特征表示，通过自适应融合机制构建更具表达力的特征。直觉上，倒数第二层特征保留更丰富的实例特定和细粒度信息，对尾部类别特别有利；最终层特征捕获更多面向任务的语义规律。论文设计了一个双分支架构：主分支使用融合后的倒数第二层和最终层特征，通过Logit Adjustment损失优化以解决类别不平衡；辅助分支直接使用最终层特征，通过标准交叉熵损失训练以保持强整体识别能力。推理时对两个分支的预测进行集成，实现头部和尾部类别性能的平衡。实验证明这种设计比单层特征或简单集成效果更好。
核心创新点在于倒数第二层特征对科学长尾尾部类别的独特价值以及自适应融合机制。现有方法通常只使用最终层特征，而论文发现倒数第二层在尾部类别上表现更优（如NIH-Chest的Few组，倒数第二层LA准确率14.24% vs 最终层11.33%）。通过实例依赖的门控机制和自适应聚合，SciLT能够根据输入自适应地平衡两层特征的重要性。与已有方法的本质区别在于：现有方法要么忽略倒数第二层特征，要么简单堆叠，而SciLT通过理论证明的互补信息（Wasserstein距离约1.0）指导特征融合。另外，双监督策略（LA+CE）与现有方法也不同，它明确分离了尾部优化和整体保持的目标。
方法步骤详情
SciLT的训练和推理过程分为以下步骤。输入：样本x及其标签y，预训练ViT backbone（包含N个Transformer block），两个可学习投影函数，两个可学习参数向量，两个分类器。步骤1：前向传播，将输入x通过微调后的backbone，提取倒数第二层和最终层的隐藏表示，记为z_{N-1}和z_N。步骤2：特征投影，将层特征映射到专家空间。步骤3：门控计算，计算实例依赖的融合权重。步骤4：特征聚合，通过校准感知融合得到最终特征，其中建模两层语义交互，是平衡系数。步骤5：双重预测，融合特征送入分类器得到主预测，最终层特征送入分类器得到辅助预测。步骤6：双重监督，训练时用Logit Adjustment损失监督，用标准交叉熵损失监督。步骤7：推理集成，输出预测为两个分类器的logit之和的最大值类别。输出：类别预测。
技术新颖性
SciLT的技术新颖性体现在三个方面。一是首次发现并理论化倒数第二层特征在科学长尾识别中的独特价值，通过Wasserstein距离（三个数据集上均在0.96-1.12之间）证明其与最终层特征的互补性。二是提出的路由校准聚合机制，相比简单特征拼接或输出集成，能够自适应地实例化地平衡多层次信息。三是双监督优化策略，将尾部优化和整体保持明确分离到不同分支，避免了单一损失函数的权衡困境。与现有方法相比，VL-LTR依赖大规模文本描述，LIFT使用语义感知初始化，LTGC利用语言模型生成样本，这些方法在科学域都受限于文本获取困难；而SciLT完全基于视觉，更实用。理论分析方面，论文将SciLT的假设类定义为和空间，通过Rademacher复杂度证明复杂度可控，并通过Wasserstein距离解释了集成增益来源。
实验结果
论文在三个科学长尾基准上进行了全面实验验证。首先发现微调基础模型在科学数据集上收益有限：ISIC上整体准确率从75.3%提升到79.9%（相对提升6.4%），Blood从95.4%到98.2%（相对提升2.9%），而NIH-Chest反而从41.0%下降到39.7%。通过Wasserstein距离分析发现倒数第二层和最终层特征存在显著差异（NIH-Chest CE: 0.98, LA: 1.01; Blood CE: 1.02, LA: 1.12; ISIC CE: 0.96, LA: 0.97），证明它们编码不同信息。SciLT在所有数据集上均取得最佳平衡性能：ISIC的BScore达到74.5，比LA（71.7）和CE（69.9）分别提升2.8和4.6；在挑战性类别MEL上准确率达到67.8%，比LA提升9.4个百分点。Blood的BScore达到97.8，在少数类别Mono.上准确率93.6%，比CE提升4.3个百分点。NIH-Chest的BScore达到38.9，比CE（17.3）和LA（20.2）分别提升21.6和18.7；在Medium和Few组上分别提升15.5和6.1个百分点。消融实验显示融合模块至关重要：去除融合后BScore从38.9下降到21.1（下降17.8），证明简单特征使用或输出集成无法充分利用互补信息。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ISIC皮肤病变分类（长尾） | BalancedScore (BScore) | 74.5 | Logit Adjustment: 71.7, Cross-Entropy: 69.9 | vs LA: +2.8 (+3.9%), vs CE: +4.6 (+6.6%) |
| Blood细胞分类（长尾） | BalancedScore (BScore) | 97.8 | Logit Adjustment: 97.9, Cross-Entropy: 97.7 | vs CE: +0.1 (+0.1%)，在少数类Mono.上: +4.3个百分点 |
| NIH-Chest胸部X光疾病分类（长尾） | BalancedScore (BScore) | 38.9 | Logit Adjustment: 20.2, Cross-Entropy: 17.3 | vs LA: +18.7 (+92.6%), vs CE: +21.6 (+124.9%) |
| NIH-Chest Few-shot类别 | 准确率 | 6.07% | Cross-Entropy: 0.00%, Logit Adjustment: 11.33% | vs CE: +6.07个百分点，相比LA在整体平衡上有显著提升 |
| ISIC MEL类别（黑色素瘤） | 准确率 | 67.8% | Logit Adjustment: 58.4%, Cross-Entropy: 60.1% | vs LA: +9.4个百分点 (+16.1%), vs CE: +7.7个百分点 (+12.8%) |
局限与改进
论文中作者承认了几个主要局限性。首先，当前设计主要利用倒数第二层，而更丰富的多层次交互可能进一步增强表示学习，这代表了未来改进方向。其次，本文聚焦于科学图像长尾分布的一般微调范式，而非针对特定领域（如医学成像）的领域特定优化，使用的三个数据集仅作为科学数据分布不平衡的代表性示例，不局限于任何特定领域。再次，论文没有与某些基线（如VL-LTR和RAC）进行比较，因为这些方法依赖辅助文本信息，在科学域难以获得和可靠验证。此外，作者指出这是一个探索性和启发式研究，这些限制不影响核心贡献。额外的计算开销相对于backbone可以忽略不计，保持实用性。从观察来看，方法还存在以下局限性：（1）仅使用ViT-B/16，未探索更大模型（如ViT-L）的表现，可能在更高容量模型上效果不同；（2）融合模块中的交互项具体实现细节未充分展开，可能影响复现；（3）未在不同科学域（如遥感、材料科学）上广泛验证，方法的泛化性有待进一步研究；（4）BScore是本文提出的评估指标，虽然合理但缺乏与其他领域指标的对比。
独立分析的弱点
独立分析来看，SciLT存在几个具体弱点。第一，纯视觉范式忽略了科学域中可用的丰富文本知识，如医学报告、文献描述等，这些信息对细粒度分类可能非常有价值，尤其是在尾部类别样本极少时。改进方向是探索如何可靠地获取和验证科学文本，并将其与视觉表示融合，可能需要设计领域特定的文本-视觉对齐机制。第二，当前方法对倒数第二层和最终层的融合是统一的，不同类别或不同样本可能需要不同的融合策略，可以引入类别感知或样本感知的自适应融合权重学习。第三，论文发现倒数第二层对尾部类别更有利，但没有解释为什么，可以深入分析两层特征在不同类别上的表示差异，指导更精细的融合设计。第四，方法在NIH-Chest上效果提升最为显著（BScore提升124.9%），但在Blood和ISIC上提升相对较小，可能需要根据数据集特性调整融合策略，例如数据集不平衡程度、类别数量等。第五，理论分析假设两层特征独立，但实际上它们是通过同一backbone计算的，存在依赖关系，可以更精确地建模这种依赖。
未来方向
基于论文成果可以延伸多个未来研究方向。作者提出的方向包括：探索更丰富的多层次交互以进一步增强表示学习；开发针对特定科学领域（如医学成像、天文学、材料科学）的领域特定优化策略；扩展研究范围到更多科学数据集，验证方法的普适性。基于成果可以延伸的方向包括：（1）多模态科学长尾学习：在确保文本可靠性的前提下，探索如何将科学文献、领域知识库等文本信息与视觉表示融合，可能需要设计领域特定的文本编码器和跨模态对齐机制。（2）动态融合策略：设计更灵活的融合机制，根据样本特性（如置信度、难度、类别频率）自适应调整融合权重，可能引入注意力机制或元学习。（3）分层长尾处理：将倒数第二层特征用于极端尾部类别，最终层特征用于中频类别，头部类别可以单独处理，实现更精细的长尾处理。（4）跨域适应：研究如何将SciLT框架从医学图像扩展到其他科学域，如遥感图像分类、材料微观结构识别等，可能需要调整融合策略和监督设计。（5）自监督预训练：探索科学数据集的自监督预训练，缩小与自然图像预训练的域差距，可能需要设计科学域特定的预训练任务。（6）理论分析深化：更深入分析倒数第二层特征对尾部类别有效的原理，可能从优化轨迹、特征几何等角度进行理论证明。
复现评估
论文的复现评估需要从多个方面考虑。开源情况方面，论文未明确说明代码是否开源，这对于复现性是一个挑战。数据方面，使用的三个数据集都是公开可用的科学数据集：Blood是细胞图像分类数据集，ISIC是皮肤病变数据集，NIH-Chest是胸部X光数据集。实验细节方面，论文使用了CLIP预训练的ViT-B/16模型，通过AdaptFormer进行参数高效微调，训练设置（如学习率、batch size、训练轮数）在附录中有详细描述。算力方面，ViT-B/16相对轻量，单个GPU（如RTX 3090）应该足够运行实验，但完整实验（包括多个数据集、多种基线、消融实验）可能需要较多计算资源。复现难度中等，主要挑战在于实现细节（如AdaptFormer的具体结构、融合模块的实现）和超参数调整。如果作者提供代码，复现难度会大幅降低。另外，论文提出的BScore指标计算简单，便于验证。总体而言，如果能够获得代码或足够详细的实现细节，论文应该是可复现的，但需要一定的深度学习框架经验。
论文图表
该图对比了在自然图像和科学图像上微调基础模型的差异。自然图像（场景、人、植物、动物）下微调能够实现强泛化性能（蓝色高亮），而科学图像（X光、细胞、疾病）下微调的效果仍不明确（绿色高亮）。图中左侧显示了自然图像域，下游任务如场景、人、植物和动物的分类，微调基础模型能够在这些任务上获得良好的泛化性能。右侧显示了科学图像域，包括X光图像、细胞图像和疾病图像，微调在这些任务上的有效性仍然不确定，缺乏充分的探索和研究。图的底部标注说明微调在自然图像上表现良好，而在科学图像上由于视觉特征的差异，其有效性尚未得到充分探索。
这张图对理解论文至关重要，因为它直观地展示了研究问题的核心动机：微调基础模型在自然图像上效果良好，但在科学图像上存在领域偏移问题。这解释了为什么需要专门研究科学长尾识别问题，为后续的实验发现和方法提出奠定了问题背景。
该图展示了在Places365-LT和iNaturalist2018两个长尾自然图像数据集上，不同微调方法（LPT、LIFT、VL-LTR、RAC）相对基线（LiVT）的性能增益。图中按类别样本数量分为Many、Medium和Few三组，横轴是相对增益（百分比），纵轴是不同方法。Places365-LT上各方法在Few类上增益最大（LIFT达26%），Medium次之，Many增益较小甚至为负。iNaturalist2018上表现不同，LPT在Medium类上增益22%，但Few类上无增益（0%），显示不同数据集的行为差异。灰度标注表示部分结果不可用。
这张图揭示了微调基础模型在不同自然图像数据集上的行为差异，特别是iNaturalist2018（细粒度分类）上的非典型表现，这引出了论文的核心问题：当目标域和预训练域存在更大差异时，微调是否仍然有效。这是论文研究科学图像长尾识别的起点。
该表格对比了最终层和倒数第二层特征在三个科学数据集上的性能，报告了OvAcc和Macro。带†的行表示倒数第二层的结果。在NIH-Chest上，倒数第二层在CE下（40.3% vs 39.7%）和LA下（19.9% vs 19.7%）都优于最终层。在Blood上，倒数第二层在CE下（97.9% vs 98.2%）略差于最终层，在LA下（96.8% vs 97.6%）也略差。在ISIC上，倒数第二层在CE下（77.7% vs 79.9%）和LA下（70.3% vs 71.1%）都低于最终层。
这个表格证明了论文的第二个关键发现：倒数第二层特征在某些数据集（特别是NIH-Chest）上表现优于最终层，这对尾部类别尤其重要。这是提出SciLT融合策略的直接实验依据。