基于token的双视图融合与大型视觉模型自适应的乳腺癌分类

基于token的双视图融合提升乳腺X光分类性能

前置知识

多视图学习

多视图学习是指利用同一对象的多个不同视角或视角的信息来提升学习性能的方法。在乳腺X光检查中，通常需要同时分析头尾向和内外侧斜位两个视图，因为它们提供互补的解剖信息。传统方法包括早期融合（浅层特征合并）、中期融合（中层特征合并）和晚期融合（高层决策合并）。现代方法则通过注意力机制直接让不同视图的特征进行交互。

本文提出的核心方法就是针对CC和MLO双视图乳腺X光的融合问题，理解多视图学习的基本概念对于理解论文的动机和方法至关重要。

视觉Transformer

视觉Transformer（Vision Transformer，ViT）是将自然语言处理中的Transformer架构应用到计算机视觉的模型。它将图像分割成多个patches，每个patch被视为一个token，然后通过自注意力机制来处理这些tokens。ViT由多个Transformer层堆叠而成，每层包含多头自注意力和前馈网络。预训练的视觉Transformer在大规模图像数据集上学到的特征具有很强的泛化能力。

本文基于MedSigLIP这个预训练的视觉Transformer主干，保持其参数冻结，仅训练提示和融合模块，理解ViT的工作原理对于理解本文的token插入和融合机制至关重要。

提示学习

提示学习是一种参数高效的迁移学习方法，通过在模型中插入少量可学习的提示tokens来适应下游任务，而不是微调整个模型。Visual Prompt Tuning（VPT）在Transformer的输入层或中间层插入提示tokens，让模型通过这些tokens学习任务特定的知识。提示tokens的数量远小于模型的总参数量，因此在保持预训练知识的同时大大减少了计算开销。深度提示学习在多个Transformer层插入提示，比浅层提示更有效。

本文Stage 1采用了深度共享视图提示学习策略，这是方法的核心组件之一，理解提示学习的原理对于理解本文如何高效适应预训练模型到多视图乳腺X光任务至关重要。

交叉注意力

交叉注意力（Cross-Attention）是Transformer中的一种注意力机制，其中一个序列的tokens作为查询（Query），另一个序列的tokens作为键和值（Key和Value），让一个序列能够关注另一个序列的信息。公式为 $A = MHA(Q, K, V)$，其中Q来自一个序列，K和V来自另一个序列。在多视图学习场景中，可以让一个视图的特征作为Q，另一个视图的特征作为K和V，从而实现视图间的信息交换。

本文Stage 2的核心就是基于双向交叉注意力的融合机制，理解交叉注意力的工作原理对于理解本文如何实现CC和MLO视图之间的双向信息交换至关重要。

研究动机

现有乳腺X光多视图学习方法存在显著局限，它们通常依赖特征级聚合或单阶段交叉注意力融合，这会导致视图特定信息和共享信息的纠缠，限制交互到有限的网络深度。具体来说，传统方法如StethoNet使用图像级或决策级融合，DIVF和CFDV-Net使用特征级平均或拼接融合，这些方法都将多视图信息压缩为单一表示，丢失了视图间的显式关系。基于注意力的方法如MaMVT和TransCorNet虽然实现了视图间交互，但通常通过残差连接将交叉注意力输出直接加到视图特定表示上，这使得跨视图信息和视图特定信息混在一起，难以在深层网络中显式保持跨视图线索。此外，现有方法大多在单层或少量层进行融合，无法在整个编码器层次中持续捕获跨视图依赖关系。

本文的目标是本文的具体目标是设计一个统一的框架，将大型预训练视觉Transformer的高效适应和结构化的双视图交互融合在一起，用于乳腺X光分类。具体来说，目标包括：第一，开发参数高效的适应机制，通过共享提示学习将预训练视觉模型调整到多视图乳腺X光域；第二，设计显式的跨视图融合机制，通过专用的融合tokens来编码CC和MLO视图间的双向信息交换；第三，实现多层次的跨视图交互，在Transformer编码器的多个深度插入融合模块，使互补信息在整个表示层次中渐进式整合；第四，保持预训练视觉主干冻结，仅训练提示和融合参数，以保持预训练知识同时减少计算开销。

与已有工作不同的是，本文的独特切入角度是将跨视图交互重新表述为结构化的token级通信，与现有方法有本质区别。传统方法要么直接合并特征（平均、拼接、残差加法），要么将交叉注意力输出作为残差 refinement 加到视图特征上，这些都导致了信息纠缠。本文引入专用的融合tokens，这些tokens显式编码CC和MLO视图间的双向信息交换，作为跨视图依赖关系的中间载体，而不是依赖直接的特征融合。此外，现有方法通常在单层进行融合，而本文在多个Transformer深度插入融合模块，在编码器的多个阶段实现渐进式和重复的跨视图交互。这种基于token的方法还统一了提示学习和跨视图融合在同一个冻结的视觉Transformer主干中，这是前所未有的。

核心方法

本文提出了一个两阶段的基于token的双视图乳腺X光分类框架。第一直觉是将预训练的大型视觉模型适应到医学图像任务，同时高效地整合两个视图的互补信息。技术路线分为两个阶段：第一阶段进行深度共享视图提示学习，在冻结的视觉Transformer中插入可学习的提示tokens，这些提示在CC和MLO两个视图之间共享，促进一致的表示对齐；第二阶段引入基于token的跨视图融合，在选定的Transformer层插入交叉视图融合块，通过双向交叉注意力生成融合tokens，这些tokens编码了来自另一视图的互补信息，然后被重新整合到token序列中供后续层处理。最终，CC和MLO视图的表示被拼接后送入线性分类器。整个框架保持视觉主干冻结，仅训练提示tokens、融合模块和分类器，实现了参数高效的适应。

本文的核心创新点是将跨视图交互重新表述为结构化的token级通信，与现有方法的本质区别在于：第一，引入专用的融合tokens而不是直接合并特征。在每个融合层，CC视图对MLO视图的tokens进行交叉注意力，MLO视图也对CC视图进行交叉注意力，然后将交叉注意力输出通过平均池化聚合成紧凑的融合tokens $t_{cc} = \frac{1}{N}\sum_{i=1}^N A^{(i)}_{cc}$ 和 $t_{mlo} = \frac{1}{N}\sum_{i=1}^N A^{(i)}_{mlo}$。这些融合tokens被插入到对应视图的token序列前面，作为跨视图依赖关系的显式载体。第二，融合模块在多个Transformer深度插入，实现了层次化的多级融合，而不是单层融合。第三，框架统一了基于提示的适应和跨视图融合，在同一个冻结的主干网络中完成，这与现有要么只做提示适应（针对单图像），要么只做跨视图融合（完全微调）的方法有本质区别。

方法步骤详情

方法分为两个训练阶段，每个阶段有明确的输入输出和操作。Stage 1：深度共享视图提示适应。输入是原始CC和MLO乳腺X光图像，首先进行预处理（前景裁剪、CLAHE对比度增强、调整到448×448像素）。图像通过冻结的MedSigLIP视觉编码器获取patch embeddings。在Transformer的第 $i$ 层（$i=1,2,...,J$），插入一个可学习的深度提示token $\tilde{p}_i$，公式为 $H_i = V_i([\tilde{p}_i, H_{i-1}])$，其中 $V_i(\cdot)$ 是第 $i$ 层Transformer，$H_{i-1}$ 是上一层传播的隐藏状态。对于超过提示深度 $J$ 的层，正常前向传播 $H_i = V_i(H_{i-1})$，其中 $i = J+1, ..., K$。最终通过预训练的多头注意力池化头得到图像级嵌入 $z = Head(H_K)$。CC和MLO视图通过共享的视觉编码器处理，得到 $z_{cc} = f_{vision}(CC)$ 和 $z_{mlo} = f_{vision}(MLO)$，拼接成 $z = [z_{cc}; z_{mlo}] \in \mathbb{R}^{2D}$。训练时仅更新提示tokens和分类器参数，损失函数为标准交叉熵。Stage 2：基于token的跨视图融合。输入是Stage 1学到的提示tokens，冻结并重用。在选定的融合层，CC和MLO的中间隐藏表示 $H_{cc}$ 和 $H_{mlo}$ 通过交叉视图融合块交互。首先进行双向交叉注意力：$A_{cc} = MHA(H_{cc}, H_{mlo}, H_{mlo})$ 和 $A_{mlo} = MHA(H_{mlo}, H_{cc}, H_{cc})$。然后通过平均池化将交叉注意力输出聚合成融合tokens，更新token序列：$H'_{cc} = [t_{cc}, H_{cc}]$，$H'_{mlo} = [t_{mlo}, H_{mlo}]$。这些更新后的token序列传播到后续Transformer层进行进一步细化。训练时仅更新融合模块、视觉编码器头和分类器。最终同样进行拼接和分类。

技术新颖性

本文的技术新颖性体现在多个方面。首先，token级的跨视图融合机制是全新的，它将融合信息编码为专用的tokens而不是直接合并特征，这使得跨视图依赖关系可以作为独立的表示在整个编码器中显式保持和传播。其次，多深度融合设计实现了层次化的跨视图交互，在编码器的多个阶段（如在层12和23）插入融合块，使互补信息在表示的不同层次渐进式整合，这与现有方法在单层或有限层进行融合形成鲜明对比。第三，框架统一了参数高效的提示学习和结构化的跨视图融合，在同一个冻结的视觉Transformer主干中完成，这与现有的PETL方法（针对单图像）和跨视图融合方法（需要完全微调）都有本质区别。第四，深度共享视图提示学习策略将单个提示token集合同时应用于CC和MLO两个视图，促进了视图间的一致表示对齐，这在多视图医学成像中是新的尝试。最后，两阶段训练策略解耦了视图内适应和视图间交互的学习过程，使每个阶段可以专注于不同的目标，提高了训练稳定性和效果。

**Figure 1**: Overview of the proposed framework. Stage 1 learns view-consistent deep prompts, while Stage 2 introduces cross-view fusion at selected transformer layers. Cross-View Fusion Block enables bidirectional information exchange between CC and MLO views.

实验结果

实验结果在VinDr-Mammo和CMMD两个数据集上全面验证了本文方法的有效性。在VinDr-Mammo五分类BI-RADS任务上，完整框架（Stage 1 + Stage 2）达到50.40% F1-score和0.8090 AUC，显著优于所有基线方法。相比线性探测平均融合（38.95% F1，0.7548 AUC），F1提升11.45个百分点，AUC提升0.0542；相比最大融合（36.47% F1，0.7423 AUC），F1提升13.93个百分点，AUC提升0.0667。单独的Stage 1共享视图提示学习达到47.66% F1和0.7887 AUC，说明提示适应本身就有显著效果。单独的Stage 2交叉视图融合达到47.85% F1和0.7692 AUC，说明显式视图交互也很有价值。完整框架结合两者优势，达到最佳性能。在CMMD二分类任务上，完整框架达到64.96% F1和0.7161 AUC，同样优于线性探测（57.57% F1，0.7045 AUC）。值得注意的是，Stage 2单独达到65.20% F1，略高于完整框架，说明在某些设置下融合模块可能比提示适应贡献更大。与现有方法DIVF在VinDr-Mammo二分类任务上的对比中，本文方法（2个融合块）达到77.88% F1和0.8593 AUC，显著优于DIVF的75.98% F1和0.7486 AUC，AUC提升0.1107，这是一个很大的改进。不同融合块数量的实验显示，1个块达到78.86% F1和0.8441 AUC，2个块达到77.88% F1和0.8593 AUC（最佳），4个块达到79.57% F1和0.8313 AUC，说明过多的融合块反而可能降低AUC。消融实验深入验证了各个组件的有效性。融合策略对比显示，提出的融合tokens方法在VinDr-Mammo五分类任务上达到50.40% F1和0.8090 AUC，显著优于残差融合基线的45.18% F1和0.7569 AUC，F1提升5.22个百分点，AUC提升0.0521，证明了显式token融合的优势。融合token聚合策略对比显示，平均池化达到77.88% F1和0.8593 AUC，优于最大池化的72.13% F1和0.8227 AUC和注意力池化的69.87% F1和0.8475 AUC。视觉编码器头微调的影响显示，学习率1e-5达到最佳（77.88% F1，0.8593 AUC），优于冻结头（76.89% F1，0.8338 AUC）和学习率1e-7（76.12% F1，0.8468 AUC）。提示深度的影响显示，在VinDr-Mammo五分类任务上，深度12达到最佳47.66% F1，深度8和16表现接近，而深度20、24和27导致性能明显下降，说明过深的提示插入并不总是有益的。

**Table 1**: Distribution of samples across the training, validation, and test splits for the VinDr-Mammo and CMMD datasets. VinDr-Mammo is reported using BI-RADS categories, while CMMD is reported using benign and malignant labels.

**Table 2**: Performance comparison of different adaptation and fusion strategies on the CMMD and VinDr-Mammo datasets. The best result for each metric is highlighted in bold.

**Table 3**: Comparison with DIVF [20] under different numbers of cross-view fusion blocks on the VinDr-Mammo binary classification task.

**Table 4**: Comparison of fusion strategies. Residual fusion directly adds cross-view attention outputs to the feature sequence, while the proposed method introduces learnable fusion tokens that are processed by subsequent transformer layers.

**Table 5**: Effect of fusion token aggregation strategies on the VinDr-Mammo binary classification task.

**Table 6**: Ablation study on vision encoder head fine-tuning for the VinDr-Mammo binary classification task.

**Figure 2**: Normalized confusion matrices on the VinDr-Mammo 5-class test set. Each row is normalized to sum to 100%.

**Figure 3**: Effect of prompt depth on F1-score for the VinDr-Mammo 5-class classification task. AUC-ROC performance on the VinDr-Mammo binary classification task for different numbers of cross-view fusion blocks.

**Figure 4**: The model's interpretability using occlusion-based sensitivity analysis, highlighting the regions most influential to the prediction.

查看结构化数据

任务	指标	本文	基线	提升
VinDr-Mammo五分类BI-RADS	F1-Score	50.40%	Linear Probe (Avg) 38.95%	+11.45个百分点
VinDr-Mammo五分类BI-RADS	AUC-ROC	0.8090	Linear Probe (Avg) 0.7548	+0.0542
VinDr-Mammo二分类	F1-Score	77.88%	DIVF 75.98%	+1.90个百分点
VinDr-Mammo二分类	AUC-ROC	0.8593	DIVF 0.7486	+0.1107
CMMD二分类	F1-Score	64.96%	Linear Probe (Avg) 57.57%	+7.39个百分点
CMMD二分类	AUC-ROC	0.7161	Linear Probe (Avg) 0.7045	+0.0116

局限与改进

作者承认了一些局限性。首先，论文只探索了CC和MLO两个乳腺X光视图的融合，而实际临床中可能涉及更多视图或成像角度。其次，虽然两阶段训练策略解耦了视图内适应和视图间交互的学习，但最优的训练策略可能需要更细致的设计。此外，论文使用固定数量的融合块和固定的插入位置，虽然进行了超参数搜索，但自适应的融合策略可能更优。从我的观察来看，还有一些局限性：第一，论文在VinDr-Mammo五分类任务上的F1-score只有50.40%，虽然优于基线但绝对性能仍然偏低，可能需要更强的模型或更复杂的融合策略。第二，融合块数量的消融实验显示，过多的融合块（如4个）反而降低了AUC性能（从0.8593降到0.8313），说明融合策略需要仔细平衡，过多的交互可能导致过拟合或信息冗余。第三，论文只使用了MedSigLIP一个视觉主干，虽然证明了方法的有效性，但在其他视觉主干（如BiomedCLIP、Swin Transformer）上的泛化性未知。第四，论文没有讨论计算开销，虽然保持了主干冻结，但双向交叉注意力仍然会增加计算成本，特别是在多个深度插入融合模块时。第五，论文没有进行跨数据集泛化性测试，即在VinDr-Mammo上训练后在CMMD上测试或反之，这对于评估方法的泛化能力很重要。

独立分析的弱点

从独立分析的角度，本文存在几个潜在弱点。第一，融合token仅通过平均池化生成，这种简单的聚合可能丢失了重要的细节信息。改进方向是探索更复杂的聚合机制，如多头注意力池化或图神经网络，以更好地捕捉跨视图的细粒度对应关系。第二，固定的融合块插入位置可能不是最优的，因为不同深度的特征可能适合不同类型的跨视图交互。改进方向是引入自适应的融合策略，让模型学习在哪些层进行融合以及融合的强度，或者使用可学习的融合模块控制器。第三，两阶段训练策略虽然解耦了学习目标，但可能不是端到端最优的。改进方向是探索联合训练策略，或者在Stage 2中允许提示tokens继续微调，以获得更协调的表示。第四，论文主要关注二分类和五分类任务，但BI-RADS本质上是序数分类任务，相邻类别的语义相似性没有被利用。改进方向是设计序数损失函数，强制模型保持BI-RADS类别的序数关系。第五，框架没有显式建模左右乳房的对应关系，而在临床诊断中，左右乳房的对比很重要。改进方向是引入跨乳房（contralateral）的交互机制，而不仅仅是同侧的CC-MLO交互。

未来方向

作者提出的未来工作方向包括将token-based融合和适应范式扩展到其他多视图医学成像任务，如心脏MRI的多角度成像、肺部CT的多期相成像等。基于本文成果，还可以延伸以下方向：第一，探索动态融合策略，根据输入图像的难度或特征复杂度自适应地调整融合的强度和位置。例如，可以使用注意力机制来加权不同深度的融合输出，或者使用门控机制来控制融合信息的流动。第二，结合多模态信息，如临床文本报告、患者元数据等，将文本信息也编码为tokens，与视觉融合tokens一起进行交互。第三，探索更复杂的融合token设计，如引入多组融合tokens分别编码不同类型的跨视图关系（如全局对应关系、局部解剖对应关系、纹理相似性等）。第四，研究融合机制的可解释性，通过可视化融合tokens的注意力权重来理解模型在哪些 anatomical regions 进行了跨视图推理，这对于临床信任度很重要。第五，将方法扩展到多任务学习场景，同时进行BI-RADS分类、肿块检测、密度评估等多个任务，探索融合tokens在不同任务间的共享和专用性。第六，在实际临床部署中研究方法的鲁棒性，包括对图像质量差异、设备差异、协议差异的抗干扰能力。

复现评估

本文的复现性评估总体较好。代码已经公开在GitHub（https://github.com/PartAI-Projects/CrossViewTokenFusion），这是加分项。使用了公开可用的数据集VinDr-Mammo和CMMD，数据集易于获取。论文详细描述了预处理步骤（前景裁剪、CLAHE、调整到448×448）、训练超参数（AdamW优化器、学习率1e-3、权重衰减0.01、余弦学习率调度、线性预热100步、批大小8、15个epoch）和模型架构细节。论文还明确说明了基线方法的设置，确保了公平比较。然而，也有一些潜在的复现挑战。首先，论文使用了单个NVIDIA RTX 4090 GPU，这是高端GPU，对于没有这样资源的实验室来说可能难以复现。其次，论文提到了使用不平衡采样策略处理类别不平衡，但没有详细说明具体的采样策略（如类别权重、过采样、欠采样等），这可能导致结果不一致。第三，提示深度和融合块数量的超参数搜索过程描述不够详细，读者可能不知道如何找到论文报告的最优配置。第四，论文没有报告训练时间和推理时间，这对于实际应用很重要。第五，论文没有提供训练好的模型权重，虽然代码公开，但从头训练可能需要较长时间。总体来说，复现难度中等，有代码和公开数据，但需要较强的计算资源和仔细的超参数调优。

基于token的双视图融合与大型视觉模型自适应的乳腺癌分类 Token-Based Dual-view Fusion and Adaptation of Large Vision Models for Breast Cancer Classification