VISTA-PATH：用于病理图像分割和计算病理学定量分析的交互式基础模型 VISTA-PATH: An interactive foundation model for pathology image segmentation and quantitative analysis in computational pathology
交互式病理分割基础模型，联合语义-空间条件实现人机协同的全切片级组织分析
前置知识
语义分割（Semantic Segmentation）
语义分割是计算机视觉中的核心任务，目标是对图像中的每个像素分配一个类别标签（如肿瘤、基质、正常组织等）。在病理学场景中，语义分割用于从H&E染色的组织切片中自动识别不同组织类型的空间分布，是计算病理学中定量分析的关键步骤。传统方法通常将分割视为静态的单次预测任务，无法在推理后根据专家反馈进行修正。
本文的核心贡献是将病理图像分割从静态预测提升为交互式、类感知的分割过程，理解语义分割的基本概念是理解本文创新点的前提。
基础模型（Foundation Model）
基础模型是通过大规模预训练获得广泛泛化能力的模型，可在不针对特定任务重新训练的情况下适应多种下游任务。在医学图像领域，MedSAM和BiomedParse代表了通用分割基础模型的进展，通过大规模预训练减少了对特定数据集的依赖，支持零样本推理。然而这些模型主要针对放射学或自然图像设计，在病理学领域的表现受限。
VISTA-PATH定位为病理学专用的分割基础模型，理解基础模型的概念有助于把握本文在该领域的定位和贡献。
交叉注意力机制（Cross-Attention）
交叉注意力是Transformer架构中的关键机制，允许一个模态（如视觉特征）的查询（Query）关注另一个模态（如文本或空间提示）的键值对（Key-Value）。通过计算查询与键之间的相似度并加权求和值，模型能够实现跨模态信息融合。在VISTA-PATH中，交叉注意力被用于将视觉、文本和空间提示三个维度的信息融合到统一的潜在空间中。
VISTA-PATH的核心架构创新在于使用两阶段交叉注意力融合视觉语义、文本语义和空间提示信息，理解该机制是理解模型技术细节的关键。
人机协同交互（Human-in-the-Loop）
人机协同交互是一种机器学习范式，模型在推理阶段持续接受人类专家的反馈以改进预测质量。在本文中，病理学家在全切片图像上审查模型输出，对少量关键区域进行修正，这些修正通过轻量级分类器传播到整个切片，再转换为边界框提示反馈给VISTA-PATH，实现从稀疏专家标注到像素级精确分割的高效转换。
VISTA-PATH的核心创新之一是将分割从静态预测提升为交互式工作流，支持实时的人机协同精修，这区别于所有现有分割基础模型。
空间转录组学（Spatial Transcriptomics）
空间转录组学技术（如10x Genomics的Visium HD和Xenium平台）能够在保留组织空间位置信息的同时测量基因表达谱。Visium HD提供微米级空间分辨率的基因表达数据（8微米×8微米空间单元），Xenium则提供单细胞分辨率的空间基因表达和细胞分割轮廓。这些技术通过将分子聚类结果映射到H&E图像上，可以生成像素级的组织分割标签，为评估分割模型提供了全新的、未见过的标注范式。
本文使用空间转录组学数据作为外部评估基准，验证VISTA-PATH在不同标注范式下的泛化能力，这是评估创新的重要维度。
研究动机
现有病理图像分割方法面临三大根本性挑战。首先，病理图像在不同器官、组织类型、染色协议和数据集之间展现出极端的语义和形态异质性。模型主要在放射学或狭窄定义的病理数据集上训练，在这种多样化的场景下难以保持一致的多类分割性能——MedSAM在肝脏组织上的Dice仅为0.349，在肺部仅为0.215，口腔仅为0.338。其次，现有模型将分割视为静态的单次预测，缺乏在推理期间或之后整合专家反馈的机制。病理学家在临床实践中会常规性地检查、修正和精修分割输出，但现有方法很少支持这种专家交互，无法在测试时改进。第三，现有分割研究通常与下游临床任务脱节，缺乏使用临床有意义的疾病侵袭性和患者预后指标对分割质量的直接评估。BiomedParse依赖纯文本语义提示导致空间定位不准确（如在肾脏上Dice仅为0.308），MedSAM依赖边界框但缺乏类间语义竞争导致多组织重叠区域的错误分类。
本文的目标是本文的目标是开发VISTA-PATH，一个交互式的、类感知的病理分割基础模型，具体目标包括：（1）构建迄今最大规模的病理分割数据集（超过160万个图像-掩码-文本三元组，覆盖9个器官和93个组织类别）；（2）实现文本提示的类感知分割，支持灵活处理未见过的组织类或混合分类体系；（3）支持实时的人机协同边界框标注，将稀疏的patch级专家修正传播为全切片的像素级分割；（4）将高保真分割输出转化为临床有意义的生物标志物，在结肠癌患者生存预测中超越现有方法。定量目标是在9个器官的内部测试集上超过次优方法2.7-30.9%的Dice分数，在13个器官的外部数据集上超过3.3-16.3%，通过交互式精修提升15.3%-46.8%的Dice分数。
与已有工作不同的是，本文的独特切入角度是将病理图像分割从「静态视觉预测任务」重新定位为「交互式、临床可操作的基础组件」。现有模型（如MedSAM、BiomedParse）要么缺乏病理学领域专业知识，要么将分割视为一次性推理。VISTA-PATH抓住了三个被忽视的关键点：（1）语义-空间联合条件——组织识别和空间定位不应是独立或顺序的过程，而应同时建模「什么组织在哪里」；（2）测试时可交互性——基础模型应支持专家反馈的实时传播，而非仅提供一次性部署后的手动修正；（3）临床可操作性——分割准确性本身不是终点，高保真分割应直接转化为可解释的生物标志物和临床推理。这种范式转变使得VISTA-PATH不仅仅是更好的分割器，而是连接病理学家专业知识与AI分割能力的桥梁。
核心方法
VISTA-PATH的方法设计可以用一个类比来理解：如果把病理图像分割比作「在复杂地形中定位特定目标」，那么BiomedParse只告诉你「找肿瘤」（语义提示但没有地图），MedSAM只告诉你「在这个方框里找」（空间提示但不知道找什么），而VISTA-PATH同时告诉你「在某个方框里找肿瘤」（语义+空间联合条件）。技术路线上，VISTA-PATH由四个核心组件构成：（1）可训练的图像编码器——基于PLIP预训练的视觉编码器，将224×224的输入图像编码为7×7的patch嵌入；（2）冻结的文本编码器——基于PLIP文本编码器，将组织类别的文本描述编码为语义嵌入；（3）可选的边界框提示编码器——基于SAM的提示编码器，将空间提示编码为空间嵌入；（4）掩码解码器——通过四阶段上采样堆栈（7→14→28→56→224）生成像素级预测。关键的融合过程通过两阶段交叉注意力实现：首先视觉特征关注文本语义，然后融合结果关注空间提示，最后通过4层Transformer编码器层进一步精修。
VISTA-PATH与已有方法最本质的区别在于其「联合语义-空间条件化」的分割范式。具体而言，BiomedParse仅使用类感知文本提示进行分割，缺乏显式空间定位，迫使模型从全局视觉线索推断组织位置，这在病理图像中视觉模式反复出现的场景下不可靠。MedSAM使用边界框提示提供更强的空间指导，但产生二值的、类隔离的掩码——当多个组织类型在重叠空间区域共存时（这在病理学中是常见场景），模型缺乏机制来解决类级别的歧义，导致错误分类或碎片化预测。VISTA-PATH通过在一个统一的视觉-语言架构中同时条件化分割的类感知文本提示和对应的空间提示，使模型能够同时推理「什么组织存在」和「它位于何处」。这种联合条件化不是简单的特征拼接，而是通过两阶段交叉注意力机制实现深度语义-空间融合，使得模型能够处理复杂的多类组织微环境。另一个关键创新是训练时随机丢弃边界框提示（从真实掩码生成），这防止了模型过度依赖空间先验，同时自然支持测试时的人机协同精修。
方法步骤详情
VISTA-PATH的方法包含以下完整步骤：（1）数据准备——从22个公开数据集构建VISTA-PATH Data，包含1,645,706个patch级样本，覆盖9个器官和93个组织类别。所有图像被裁剪为1024×1024像素的patch，训练时随机采样512×512区域并缩放至224×224像素。（2）模型训练——图像编码器和文本编码器从PLIP模型初始化，文本编码器冻结。使用AdamW优化器，学习率5×10⁻⁵，batch size 512，在NVIDIA H200 GPU上训练10个epoch（约25小时）。每个前向传播预测指定组织类别的前景-背景掩码，边界框提示从真实掩码生成并在训练时随机丢弃。损失函数为softmax交叉熵损失。（3）推理阶段——对于输入图像和目标组织描述，模型生成类条件化的像素级分割掩码。多类分割通过聚合类级别预测获得。（4）人机协同精修——从全切片图像开始，MUSK模型提取patch嵌入并生成初始粗糙分割。病理学家审查并修正部分patch，用于训练轻量级XGBoost分类器。更新后的分类器应用于所有patch产生精修的patch级分割，然后转换为类感知边界框提示反馈给VISTA-PATH，实现像素级精修。该过程迭代进行，通常在4-5轮内收敛，仅需约1000个标注patch。（5）临床应用——引入肿瘤交互评分（TIS），定义为TIS = 像素级与patch级肿瘤掩码交集面积之和 / 所有patch级肿瘤面积之和。TIS用于MLP预测患者生存风险。
技术新颖性
VISTA-PATH的技术新颖性体现在多个层面。首先，在架构层面，这是首个将类感知文本提示和空间边界框提示联合用于病理图像分割的模型，通过两阶段交叉注意力实现了视觉-文本-空间三模态的深度融合，而非简单特征拼接。其次，在训练策略上，通过从真实掩码生成边界框提示并在训练时随机丢弃，模型既学会了利用空间先验，又不会过度依赖它们，这种设计使模型天然支持测试时的人机协同精修。第三，在评估范式上，本文首次使用空间转录组学数据（Visium HD和Xenium）作为分割模型的外部评估基准，这是前所未有的——这些数据来自完全不同的标注范式（基因表达驱动的组织定义而非视觉标注），提供了对模型泛化能力的严格测试。第四，在临床应用层面，本文不是简单地报告分割指标，而是展示了如何将分割输出转化为可解释的生物标志物（TIS）并直接用于患者生存预测，建立了从分割准确性到临床推理的完整桥梁。
实验结果
VISTA-PATH在广泛的内部和外部评估中展现出强大且一致的改进。在内部保留测试集（77,107个样本，69个类）上，VISTA-PATH在所有9个器官上均达到最高平均Dice分数。与MedSAM相比，VISTA-PATH在大多数数据集上实现了0.006-0.414的Dice增益；与BiomedParse相比，在除GlaS外的所有数据集上实现了0.010-0.668的增益。按器官级别分析，VISTA-PATH超过次优模型MedSAM 0.027-0.486 Dice，在异质性组织上增益尤为显著：肝脏0.835 vs 0.349（P<1×10⁻³）、肺部0.558 vs 0.215（P<1×10⁻³）、口腔0.602 vs 0.338（P<1×10⁻³）、肾脏0.771 vs 0.529（P<1×10⁻³）。与专门为每个数据集训练的Res2Net相比，VISTA-PATH仍大幅超越（平均Dice 0.772 vs 0.521，P<1×10⁻³）。在外部评估中，VISTA-PATH在66,355个图像、82个组织类和13个器官上持续优于对比方法。在LungHP数据集上，VISTA-PATH达到0.495 Dice，是MedSAM（0.121）的四倍以上。在Visium HD数据集上，VISTA-PATH在Visium_Kidney达到0.832、Visium_Colon达到0.694，大幅领先MedSAM和BiomedParse。在22个Xenium数据集上，VISTA-PATH持续提供最佳性能。人机协同精修实验表明，在4-5轮交互后，Dice从初始0.1-0.4提升至0.6-0.8，仅需约1000个标注patch。在TCGA-COAD队列的生存预测中，VISTA-PATH的TIS实现了C-index 0.678（A6）和0.739（AZ），显著优于ABMIL（0.510和0.533）和MedSAM变体（0.621和0.696），P值从0.908（ABMIL）降至2.7×10⁻³。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 内部保留测试集（9器官平均） | 平均Dice | 0.772 | MedSAM 0.581 | +0.191（32.9%相对提升） |
| 内部保留测试集（9器官平均） | 平均Dice | 0.772 | BiomedParse 0.379 | +0.393（103.7%相对提升） |
| 内部保留测试集（9器官平均） | 平均Dice | 0.772 | Res2Net 0.521 | +0.251（48.2%相对提升） |
| LungHP外部数据集 | Dice | 0.495 | MedSAM 0.121 | +0.374（309%相对提升） |
| OCDC外部数据集 | Dice | 0.802 | MedSAM 0.528 | +0.274（51.9%相对提升） |
| Visium_Kidney | Dice | 0.832 | MedSAM 0.812 | +0.020 |
| Visium_Colon | Dice | 0.694 | MedSAM 0.556 | +0.138（24.8%相对提升） |
| TCGA-COAD生存预测（A6） | C-index | 0.678 | ABMIL 0.510 | +0.168（32.9%相对提升） |
| TCGA-COAD生存预测（AZ） | C-index | 0.739 | ABMIL 0.533 | +0.207（38.8%相对提升） |
| 人机协同精修（Visium_Colon） | Dice | 0.867 | 初始0.629 | +0.238（37.8%相对提升） |
局限与改进
尽管VISTA-PATH取得了显著进展，论文讨论部分承认了几项重要局限。首先，虽然人机协同精修通过patch级修正实现了有效反馈，但病理学家在临床实践中通常使用更丰富的交互方式，包括区域标记、不确定性标注和跨多个组织切片的迭代假设检验。当前系统仅支持边界框提示，尚不支持这些更表达性的专家交互形式。其次，本文开发的TIS指标展示了类感知分割如何转化为可解释的形态学生物标志物，但目前仅在一个队列（TCGA-COAD）上验证，且TIS的临床效用需要在更大规模、多机构的临床队列中进一步验证。第三，虽然VISTA-PATH展示了跨器官、数据集和分子驱动标注的强大泛化，但进一步验证需要在大规模多机构临床队列上评估对载玻片制备、染色协议和扫描仪硬件变化的鲁棒性。第四，模型以224×224像素的分辨率运行，虽然可以适应不同的放大倍数，但需要进一步研究确定最佳放大倍数级别及其在真实场景中的影响。从独立观察来看，论文中内部测试集的结果（77,107样本）与训练数据（1,645,706样本）之间存在约20:1的比例差异，测试集的多样性可能不足以完全代表真实临床场景的复杂性。
独立分析的弱点
基于对论文的深入分析，识别出以下几个值得改进的方向。（1）输入分辨率限制：模型在224×224像素的分辨率下运行，这在病理学应用中是一个显著的限制。病理学家在诊断时通常需要观察细胞核级别的细节（如核分裂象、核异型性），这些在224×224的分辨率下可能丢失。改进方向是开发分层或多尺度架构，在保持计算效率的同时支持更高分辨率的输入。（2）边界框提示的局限性：当前系统仅支持矩形边界框作为空间提示，但病理学家的标注通常涉及不规则形状的区域。未来可考虑支持多边形、自由绘制或点击提示等更灵活的空间提示形式，类似于SAM2的设计。（3）单类预测的效率问题：当前模型每次前向传播预测一个组织类的前景-背景掩码，多类分割需要多次推理。这在93个组织类的场景下效率较低。改进方向是设计一次推理即可输出所有类别预测的架构。（4）生存预测验证的局限性：TIS仅在TCGA-COAD队列上验证，训练集仅使用了A6站点48个样本中的10%（5个样本）和AZ站点20个样本中的25%（5个样本），样本量极小。需要在更大规模、更多癌种的队列上验证。改进方向是将TIS扩展到更多癌症类型，并探索更多基于分割的形态学生物标志物。
未来方向
论文作者提出了几个重要的未来方向：（1）支持更丰富的专家交互形式，包括区域标记、不确定性标注和跨多切片的迭代假设检验，这将使基础模型成为临床工作流中灵活的协作伙伴；（2）基于高保真、类感知的分割图自动发现形态学生物标志物——基础模型可以系统性搜索空间组织构型（如肿瘤-基质界面、免疫浸润模式、腺体结构）的空间，识别新的预后或预测标志物，而不仅仅是依赖人类启发式定义的特征；（3）在大规模多机构临床队列上进一步验证鲁棒性。基于VISTA-PATH的成果，认为还有以下延伸方向：（4）将交互式分割范式扩展到其他医学影像模态（如免疫组化、荧光显微镜），构建跨模态的交互式分割基础模型；（5）将TIS等分割衍生的生物标志物与基因组学、蛋白质组学数据整合，开发多模态的患者预后预测系统；（6）探索将VISTA-PATH的分割能力用于自动化病理报告生成，减少病理学家的工作负担。
复现评估
在复现性方面，VISTA-PATH具有较好的条件。首先，论文提供了完整的源代码和交互式演示，托管在GitHub（https://github.com/zhihuanglab/VISTA-PATH）。其次，VISTA-PATH Data由22个公开可用的数据集构建，数据来源均已在论文中列出（Extended Data Table 1），包括Zenodo、AIDA数据中心、Kaggle等平台。第三，模型架构相对清晰，基于PLIP和SAM的预训练组件，训练使用混合精度在单个NVIDIA H200 GPU上约25小时完成，推理内存使用约2.4GB，硬件需求相对可行。然而，复现仍面临一些挑战：完整的VISTA-PATH Data（160万个样本）的构建和预处理流程需要大量工作；外部评估数据集中的Visium HD和Xenium数据需要10x Genomics平台的原始数据，这些数据的获取可能受限；人机协同精修实验依赖于TissueLab平台的交互界面，该平台的可用性需要确认。总体而言，对于有计算病理学背景的研究团队，复现该工作是可行的，但需要投入显著的数据收集和预处理工作。
论文图表
该图展示了五个关键方面：a) 从公开病理数据库的数据获取流水线；b) 各器官分割掩码的分布（对数刻度）；c) 组织本体结构，展示93个组织类别的标签组织；d) VISTA-PATH模型工作流，展示视觉、文本和提示编码器通过交叉注意力融合的过程；e) 人机协同精修工作流，展示从patch级标注到像素级全切片分割的完整流程。
这是理解论文整体框架的关键图——它同时展示了数据来源、模型架构和交互式精修流程，是理解VISTA-PATH如何将静态分割提升为交互式过程的核心参考。
该图包含多个子图：a-c) 三种基础模型的架构对比（BiomedParse、MedSAM、VISTA-PATH）；d) 内部保留测试集上各数据集的条形图比较；e) 9个器官类型的雷达图比较；f) 按肿瘤、微环境和正常解剖组织分组的折线图；g) 代表性分割结果的案例研究，展示VISTA-PATH在肿瘤、基质和正常组织上的精确分割能力。
这是论文的核心结果图，直观展示了VISTA-PATH相对于BiomedParse和MedSAM的优势，特别是在异质性组织和复杂微环境中的表现差异。雷达图和分组折线图清晰展示了模型在不同组织类型上的鲁棒性。
该图展示了三种不同标注范式下的外部评估结果：a) 病理分割数据集（LungHP、OCDC）；b) 5个Visium HD空间转录组数据集；c) 22个Xenium单细胞空间转录组数据集。还包括d) 13个器官类型的雷达图比较，以及e) 按组织类别分组的性能比较。
该图证明了VISTA-PATH在完全未见过的数据源和标注范式下的泛化能力，特别是空间转录组学驱动的分割评估是前所未有的，展示了语义-空间联合建模的泛化优势。
该图展示了完整的人机协同精修流程：a) 从H&E图像到像素级分割的完整工作流；b) Visium HD数据集上像素级分割性能的迭代提升；c) Xenium数据集上的性能提升曲线；d-e) Visium_Colon和Skin-MultiCancer数据集上的代表性视觉示例。
该图证明了VISTA-PATH的核心创新——交互式精修的有效性，展示了仅需约1000个标注patch和4-5轮迭代即可将Dice从0.1-0.4提升至0.6-0.8的高效过程。
该图展示了完整的临床应用流程：a) 基于VISTA-PATH的可解释生存分析框架；b) TCGA-AZ和TCGA-A6站点的数据分布；c) 三种方法（ABMIL、MedSAM、VISTA-PATH）的C-index比较；d) 基于预测风险分层的Kaplan-Meier生存曲线；e) 基于TIS分层的生存曲线；f) TIS与预测风险的相关性分析。
该图展示了VISTA-PATH如何将分割输出转化为临床有意义的生物标志物，是证明分割基础模型可以超越准确性评估、直接支持临床推理的关键证据。