AtlasPatch：面向大规模计算病理学的高效组织检测与高通量切片提取工具 AtlasPatch: An Efficient and Scalable Tool for Whole Slide Image Preprocessing in Computational Pathology
基于SAM2微调的缩略图级组织检测+高通量切片提取，预处理速度提升16倍且下游性能无损
前置知识
全切片图像（Whole Slide Image, WSI）
WSI是将传统玻璃病理切片通过高分辨率扫描仪数字化后得到的超大图像，分辨率通常达到100,000×60,000像素以上（千兆像素级别），包含多个金字塔层级（从低倍到高倍的多分辨率金字塔）。由于单张WSI的尺寸远超神经网络的输入容量，且大量区域为非组织背景，因此需要先进行组织检测再切片提取，才能送入深度学习模型进行分析。WSI已成为计算病理学的核心数据载体，广泛用于肿瘤检测、分级、预后和生物标志物发现。
WSI的千兆像素特性和大量背景区域是本文要解决的核心问题——直接处理会导致巨大的I/O、内存和计算开销。
多实例学习（Multiple Instance Learning, MIL）
MIL是一种弱监督学习范式，将每张WSI看作一个「包」（bag），包内包含多个实例（即提取的组织切片/patch），模型需要从这些切片级别的特征聚合得到整张切片的诊断标签。常用的聚合方式包括注意力机制（ABMIL）、Transformer（TransMIL）、图神经网络（WiKG）等。MIL是当前计算病理学中最主流的幻灯片级预测框架。
本文的最终评估指标就是通过MIL实现的幻灯片级分类精度，切片质量直接影响MIL的下游性能。
Segment Anything Model 2（SAM2）
SAM2是Meta推出的最新视觉分割基础模型，采用层级式视觉Transformer（Hiera）作为骨干网络，支持基于提示（点、框、掩码）的交互式分割。相比初代SAM，SAM2在更大规模数据上预训练，推理速度快6倍。Hiera骨干网络有tiny/small/base-plus/large四种规模，tiny版本约38.9M参数。SAM2原设计面向自然图像和视频的通用分割任务，直接应用于病理图像存在域差异。
本文选择SAM2作为组织检测的骨干模型，通过参数高效微调将其适配到病理学域，是整个方法的核心组件。
参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）
PEFT是一类只更新模型中极小部分参数即可实现域适配的技术。本文采用的Layer Normalization Fine-Tuning策略只更新层归一化（Layer Normalization）中的仿射参数γ和β，它们分别控制特征的缩放和平移。具体公式为 $LN(x) = \gamma \frac{x - \mu(x)}{\sigma(x) + \epsilon} + \beta$，其中只有γ和β参与反向传播。这种策略在SAM2-Tiny上仅更新约0.076%的参数（约29,000个参数），大幅降低训练内存和时间。
这种微调策略是本文实现高效适配的关键——用极少的可训练参数实现从自然图像到病理图像的域迁移，同时避免过拟合和灾难性遗忘。
多实例学习中的基础模型嵌入
在计算病理学的标准流程中，提取的组织切片（patch）需要通过预训练的视觉编码器（如UNIv1、HIPT等基础模型）转换为特征向量（embedding），这些向量再送入MIL模型进行幻灯片级预测。编码器的质量和切片的质量共同决定了下游任务的性能。AtlasPatch支持在预处理阶段直接生成嵌入，避免了先保存切片图像再重新加载编码的额外I/O开销。
AtlasPatch的端到端设计可以直接输出嵌入特征，这是其区别于传统预处理工具的重要特点，减少了中间存储和重复I/O。
研究动机
当前计算病理学的WSI预处理流程存在严重的可扩展性瓶颈。传统方法分为两步：首先进行组织检测，然后在组织区域上提取固定大小的切片（patch）。阈值法（如HistoQC、CLAM、TIAToolbox）虽然速度快，但需要针对不同队列手动调参，在染色变异、组织碎片化、扫描仪伪影（如笔迹、条纹）等情况下经常失败——例如CLAM在PANDA数据集约54%的前列腺WSI上完全检测不到组织。基于深度学习的逐切片推理方法（如TRIDENT）虽然鲁棒性更好，但每张WSI需要数百到数千次前向传播，严重拖慢速度（比AtlasPatch慢2.6倍到16倍）。此外，许多现有工具缺乏端到端并行化，模块之间串行执行，导致在基础模型训练规模（如HIPT需要约1.04亿个切片、RudolfV约12亿个切片）下，预处理成本成为主导瓶颈。
本文的目标是本文的具体目标是构建一个高效、可扩展的WSI预处理工具AtlasPatch，实现三个可量化的核心目标：（1）在组织检测精度上达到或超过现有最佳方法（precision ≥ 0.98），同时保持跨器官、跨队列、跨扫描仪的鲁棒性；（2）将端到端预处理时间相比主流深度学习管线降低至少一个数量级（最终实现16倍加速）；（3）下游MIL分类任务精度不低于现有工具。此外，工具需支持模块化部署，用户可在任意阶段退出（仅获取组织掩码、切片坐标、或完整嵌入），并提供标准化输出格式（HDF5、PNG）。
与已有工作不同的是，本文抓住了一个被现有工作严重低估的关键观察：组织检测完全可以在缩略图（thumbnail）分辨率上完成，而不需要在高倍率下逐切片推理。现有深度学习方法（如TRIDENT的GrandQC和Hest变体）在patch级别进行组织/背景分类，丢失了全局上下文信息（组织几何形状、背景结构），导致拼接后边界不一致。AtlasPatch的切入角度是：用单次缩略图级SAM2推理完成整个组织检测，再通过轮廓空间的坐标外推生成目标倍率下的切片坐标——这种设计从根本上避免了高分辨率重复读取和逐切片扫描的计算开销。同时，通过精心构建的约30,000张异质性缩略图-掩码标注数据集和仅更新0.076%参数的微调策略，实现了跨机构、跨器官的泛化能力。
核心方法
AtlasPatch的整体思路可以用一个建筑工地的类比来理解：如果把WSI比作一栋巨大的建筑图纸，传统方法是在图纸上逐块检查每个房间是否有人（逐切片推理），而AtlasPatch的做法是先拍一张建筑的整体鸟瞰图（缩略图），用一个训练有素的AI一次性标出所有有人的区域（组织检测），然后直接在这些区域上规划施工方案（坐标提取）。技术路线上，AtlasPatch是一个端到端的模块化管线，包含四个可解耦的组件：（1）组织检测——将WSI降采样到缩略图（约3,240×2,088像素），使用微调后的SAM2模型进行一次性分割；（2）切片坐标提取——将缩略图上的组织掩码转换为多边形轮廓，通过WSI金字塔元数据外推到目标倍率，在轮廓空间生成规则网格坐标；（3）切片嵌入——可选步骤，支持UNIv1、HIPT等多种编码器，直接输出HDF5格式的特征向量；（4）切片图像导出——可选步骤，将RGB切片保存为PNG。整个管线支持多核CPU并行（坐标提取、I/O）和GPU加速（模型推理、嵌入计算）。
AtlasPatch最核心的创新在于将组织检测从「逐切片的高倍率推理」降维到「单次缩略图级推理」，并通过轮廓空间操作完成坐标生成。具体来说，传统深度学习方法（如TRIDENT）需要在每张WSI上提取数百到数千个高倍率切片，逐一送入分割模型再拼接，这不仅计算量巨大，还因丢失全局上下文导致边界不一致。AtlasPatch的关键洞察是：组织检测本质上是一个「粗粒度」任务——只需要知道哪些区域包含组织，不需要像素级的精细边界。因此在缩略图分辨率上检测完全足够，而且还能利用全局几何信息（如组织块之间的空间关系、伪影的大尺度特征）。在此基础上，通过SAM2的高效微调（仅更新0.076%的归一化层参数），用约30,000张异质性标注数据实现从自然图像到病理图像的域迁移。相比LoRA、Adapter等其他PEFT方法，Layer Norm微调在SAM上已被证明具有更优的适配效果。这种设计使得AtlasPatch在保持高精度（precision 0.986、F1 0.988）的同时，推理速度比逐切片方法快一个数量级。
方法步骤详情
AtlasPatch的完整处理流程如下：第一步，组织检测。加载WSI后，通过OpenSlide兼容库提取最粗的非空金字塔层级作为缩略图（目标倍率默认×1.25，约3,240×2,088像素），多线程并行处理缩略图准备。缩略图resize到1,024×1,024像素后批量送入微调后的SAM2-Tiny模型，使用覆盖全图的边界框提示进行单次推理，输出二值组织-背景掩码。第二步，切片坐标提取。将二值掩码转换为多边形轮廓，处理孔洞和极小碎片（低于面积阈值的区域被丢弃），然后从缩略图空间映射到level-0切片坐标。工具自动选择合适的金字塔层级和读取窗口大小以匹配目标倍率（默认20×），在每个轮廓的边界框上以可配置步长遍历规则网格，仅当中心点或角点探针落在组织内且不在孔洞中时才接受该切片坐标。坐标和元数据写入每张切片的HDF5文件。此步骤在多核CPU上并行执行，全局限制并发打开的WSI数量以管理内存。第三步，切片嵌入（可选）。从HDF5坐标文件读取位置，重新打开WSI读取对应区域的RGB图像，通过选定的编码器（如UNIv1）转换为特征向量，写入同一HDF5文件。每张切片的嵌入计算通过GPU加速完成，使用锁文件防止并发损坏。第四步，切片图像导出（可选）。当启用图像保存标志时，RGB切片通过有界线程池编码为PNG并写入磁盘，与坐标迭代重叠以最大化吞吐。
技术新颖性
AtlasPatch的技术新颖性体现在三个层面。首先，在架构设计层面，它首次将「缩略图级单次推理 + 轮廓空间坐标外推」这一范式应用于WSI预处理，与现有方法（阈值法在缩略图上操作但缺乏鲁棒性、深度学习法在切片级操作但效率低）形成了根本性的区别。这种设计使得预处理时间与WSI大小几乎解耦——无论切片多大或多高倍率，组织检测始终只需一次缩略图推理。其次，在数据和训练层面，团队构建了目前最大的WSI缩略图标注数据集之一（约30,000张标注对，来自4个中心、11个数据集），并通过半自动标注流程（Labelbox AutoSegmentBox + Pen工具 + QC审核）确保质量。消融实验证明，在这个异质性数据集上训练的模型在各子集上精度波动仅0.49%-4.03%，而在单一属性子集上训练则波动高达44.4%。最后，在工程层面，AtlasPatch采用模块化设计，四个组件可独立使用，支持断点续传、多进程并行、标准化输出（HDF5/PNG），并提供内置的编码器注册表（包括用户自定义插件），使其成为真正面向生产环境的工具而非仅限于研究原型。
实验结果
AtlasPatch在多个维度的实验中展示了全面且令人信服的结果。在组织检测精度方面，基于3,000张留出测试集的评估显示，AtlasPatch的precision达到0.986，略高于Trident-Hest（0.983）、HistoQC（0.985）和dplabtools（0.977），在所有指标（accuracy、precision、recall、F1、IoU）上均达到或超过所有对比方法。值得注意的是，作者强调precision是最有意义的指标，因为像素级标注在微小内部孔洞处存在模糊性，方法正确排除这些区域为背景可能被recall和accuracy不公平惩罚。在定性分析中（Fig. 4），AtlasPatch在低对比度幻灯片、高度碎片化活检、以及含有笔迹/扫描条纹等伪影的幻灯片上均表现一致，而CLAM和TIAToolbox在对比度或染色外观偏离典型情况时遗漏大量组织，Trident-GrandQC经常将伪影误判为组织。在训练数据多样性的消融实验中（Fig. 5），在单一扫描仪/单一属性子集上训练的模型精度下降幅度高达44.4%（组织百分比），而在完整异质性数据集上训练后，各子集的精度范围仅0.49%-4.03%，有力验证了数据多样性对泛化性的关键作用。在超参数消融实验中（Fig. 6），输入分辨率（256-2048）、batch size（1-16）、学习率（1×10^{-5}到5×10^{-3}）和模型规模（tiny到large）的变化仅导致precision在0.984-0.989、F1在0.985-0.988之间波动，说明方法对合理超参数选择高度鲁棒。更大的模型（从tiny的38.9M到large的224.4M参数）仅带来0.002的precision提升和0.001的F1提升，但参数量增加约6倍，因此tiny版本是最佳性价比选择。在下游MIL任务方面，AtlasPatch在6个分类任务中全面达到或超过对比工具：PANDA准确率73.5%（最高）、LUADvsLUSC 95.8%（最高）、KIRCvsKIRP 97.7%（最高）、invasiveness 98.6%（仅低于Hest的0.1%）、dysplasia 96.6%（仅低于Hest的0.2%）、BRCA 93.7%（仅低于CLAM的0.7%）。关键的是，AtlasPatch平均仅需约3,047个切片/WSI，而CLAM需要约8,976个（近3倍），说明AtlasPatch产生更聚焦、信息密度更高的切片。在运行时间方面，AtlasPatch处理100张切片仅需195.51秒，比CLAM快2倍以上，比Trident-GrandQC快2.6倍，比Trident-Hest快16倍以上。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 组织检测（3,000张测试集） | Precision | 0.986 | Trident-Hest 0.983 / HistoQC 0.985 / dplabtools 0.977 | 相比Trident-Hest提升0.3%，相比dplabtools提升0.9% |
| 组织检测（3,000张测试集） | F1 | ~0.988 | 所有对比方法均低于0.985 | 全面领先 |
| PANDA前列腺癌分级 | Accuracy | 73.5% | Hest 73.3% / GrandQC 73.1% | 提升0.2-0.4%，且平均切片数仅143.8个（vs GrandQC 201.5个） |
| LUADvsLUSC肺癌亚型分类 | Accuracy | 95.8% | Hest 95.7% / GrandQC 95.7% / CLAM 95.8% | 持平或略优，切片数3189.7个（vs CLAM 12066.8个，减少73.6%） |
| KIRCvsKIRP肾癌亚型分类 | Accuracy | 97.7% | CLAM 97.7% / Hest 97.5% | 持平，切片数3727.8个（vs CLAM 13548.3个，减少72.5%） |
| Invasiveness结直肠癌浸润性 | Accuracy | 98.6% | Hest 98.7% / GrandQC 98.7% | 仅低0.1%，切片数3694.4个（vs Hest 3792.2个） |
| BRCA乳腺癌亚型分类 | Accuracy | 93.7% | CLAM 94.4% / Hest 94.2% | 低0.7%，但切片数仅3905.6个（vs CLAM 10921.4个，减少64.2%） |
| 端到端预处理（100张切片） | Runtime (seconds) | 195.51s | CLAM ~400s / GrandQC ~508s / Hest ~3100s | 比CLAM快2倍，比GrandQC快2.6倍，比Hest快16倍 |
局限与改进
尽管AtlasPatch在多个维度表现出色，但仍存在若干局限性。首先，作者承认AtlasPatch在处理组织内部的精细孔洞时不够精确——它可靠地捕获了有诊断意义的组织的完整空间足迹，避免了大的假阴性，但并不总是复现组织区域内的每一个细粒度内部孔洞。不过作者指出，这些内部孔洞通常不包含诊断信息，且precision指标主要反映预测的组织像素是否真正属于组织。其次，在BRCA任务上AtlasPatch比CLAM低0.7个百分点（93.7% vs 94.4%），虽然差异不大且AtlasPatch使用的切片数仅为CLAM的三分之一，但这表明在某些特定任务中更密集的切片采样可能仍有价值。从独立观察来看，AtlasPatch的组织检测模型完全基于H&E染色训练，仅包含约150张IHC染色切片，对其他染色类型（如PAS、Masson三色染色、免疫荧光等）的泛化能力尚不明确。此外，SAM2-Tiny在某些极端伪影情况下（如大面积墨水覆盖）的鲁棒性虽然优于对比方法，但论文未给出伪影类型和严重程度的细粒度分析。最后，虽然工具支持多种编码器，但所有下游实验仅使用UNIv1作为编码器，未验证不同编码器选择对结果的影响。
独立分析的弱点
独立分析揭示了以下几个具体弱点和改进方向。第一，组织检测的粒度限制：AtlasPatch在缩略图分辨率上操作，天然无法捕获高倍率下的精细组织结构（如微小肿瘤巢、单个腺体边界）。在需要极高空间精度的场景（如手术切缘评估、微转移检测）中，这可能导致遗漏少量诊断相关的微小组织区域。改进方向是引入多尺度检测机制——先在缩略图上粗筛，再在候选区域进行高倍率精细分割，形成级联检测管线。第二，标注成本仍然较高：尽管半自动标注流程比纯手动标注高效，但约30,000张缩略图的标注仍需大量人力。论文提到的active learning方向是正确的，但目前未实现。一个具体的改进是利用已训练模型的不确定性估计（如预测掩码的置信度图）主动选择最有价值的样本进行标注，可将标注量减少50%以上。第三，对IHC和其他染色的覆盖不足：训练集中仅约150张IHC切片（占比0.5%），而临床实践中IHC、PAS、特殊染色广泛使用。改进方向是通过染色增强（stain augmentation）或域适应技术扩展到更多染色类型，或至少在文档中明确标注支持的染色范围。第四，编码器选择的实验不充分：所有下游MIL实验仅使用UNIv1，未比较HIPT、CONCH、PLIP等其他常用编码器，无法判断结论是否对编码器选择敏感。
未来方向
论文作者和基于成果可延伸的未来方向包括以下几个方面。首先是active learning集成：作者明确指出手动标注是关键瓶颈，建议引入主动学习机制优先标注不确定或多样化的WSI缩略图，这可以进一步扩大训练集的规模和多样性，同时降低标注成本。其次是临床QC工作流集成：作者提出需要面向病理学家的GUI组件和更紧密的切片查看器集成，实现快速审核、标记和轻量修正反馈到模型更新。第三，基于AtlasPatch的高效预处理能力，自然延伸到基础模型训练场景——目前HIPT、RudolfV、UNI等基础模型需要处理数亿到数十亿个切片，预处理时间可能占整个训练流程的50%以上，AtlasPatch的16倍加速可以显著降低这些项目的计算成本。第四，可以探索将AtlasPatch的缩略图级检测思想扩展到其他相关任务，如WSI质量控制（检测扫描伪影、焦距问题）、染色质量评估、甚至弱监督分割（用缩略图级标注训练像素级模型）。第五，支持更多下游任务的端到端评估，如生存分析、生物标志物预测、治疗反应预测等，验证预处理质量对这些复杂任务的影响。
复现评估
AtlasPatch在复现性方面表现优秀。代码已在GitHub开源（https://github.com/AtlasAnalyticsLab/AtlasPatch），训练好的模型权重托管在HuggingFace（https://huggingface.co/AtlasAnalyticsLab/AtlasPatch），工具会自动下载加载权重（需要有效的HuggingFace access token）。数据方面，公共数据集（TCGA、Camelyon17、PANDA）均可通过官方渠道下载，但两个CHUM院内队列（胰腺和消化系统）因机构审批和数据共享协议限制不可公开获取，这可能影响完全复现。算力需求方面，AtlasPatch-Tiny仅需38.9M参数，训练在单GPU上完成（实验使用RTX Ada 6000），推理时batch size为32、4个worker，对硬件要求相对温和。论文提供了详细的超参数设置（输入1,024×1,024、batch size 2、学习率5×10^{-4}、AdamW优化器、余弦退火调度、50个epoch带早停）和损失函数（$0.65 \mathcal{L}_{Dice} + \mathcal{L}_{BCE}$），复现难度较低。所有对比实验使用相同的计算基础设施和标准化参数（512×512 patch size、0 overlap、20×倍率），确保公平比较。总体而言，复现难度为中等偏易——主要障碍是CHUM院内数据不可获取和需要HuggingFace token。
论文图表
展示来自多个来源的WSI缩略图及其标注掩码、AtlasPatch预测掩码和叠加可视化（绿色为标注、红色为预测、棕色为重叠）。涵盖了消化系统、胰腺、乳腺、前列腺、膀胱、肺等器官，以及含有扫描仪伪影和笔迹的挑战性案例。底部行展示了伪影抑制能力。
直观展示了AtlasPatch在不同器官、不同队列、不同伪影条件下的鲁棒性，是理解其泛化能力的关键定性证据。
上半部分展示9个代表性样本在TIAToolbox、CLAM、SAM2-PT、Trident-GrandQC、Trident-Hest和AtlasPatch下的预测掩码对比，突出边界检测、伪影抑制和碎片化组织处理的差异。下半部分是3,000张测试集上的定量指标柱状图和F1 vs Runtime散点图。
这是论文最核心的结果图，同时提供了定性（视觉对比）和定量（精度+运行时间）证据，直观展示了AtlasPatch在精度-效率帕累托前沿上的优势位置。