每个细胞类型只需一次点击：免训练的细胞实例分割分组交互 One Click per Cell Type Suffices: Training-free Group Interaction for Cell Instance Segmentation
通过递归提示传播，将SAM的交互成本从每个细胞降至每个细胞类型，只需一次点击即可分割所有同类型细胞
前置知识
细胞实例分割
细胞实例分割是指在病理图像中将每个细胞个体精确地分割出来，既要区分前景（细胞）和背景，又要区分不同细胞实例的边界。这是计算病理学中定量分析的基础任务，涉及复杂的细胞形态、密集堆积、染色变化等挑战。常用评估指标包括AJI（Aggregated Jaccard Index）和Dice系数，前者考虑了假阳性惩罚，后者是像素级的前景重叠度。
这是本文的核心应用任务，理解细胞实例分割的挑战（如细胞密集堆积、OOD类型泛化）对于理解本文动机至关重要。文中提到的三个有类型标注的基准（CoNIC、CoNSeP、GlaS）和四个无类型标注的基准（MoNuSeg、TNBC、CryoNuSeg、CPM-17）都是该领域的标准测试集。
SAM (Segment Anything Model)
SAM是由Meta提出的基础分割模型，采用图像编码器-提示解码器架构。图像编码器将输入图像编码为多尺度特征图，解码器则根据用户提供的提示（点、框、文本等）生成分割mask。关键特性是图像编码器在接收任何提示之前就已经编码了所有实例信息，这使得冻结的特征空间具有实例感知能力，即相似实例在特征空间中自然聚类。
本文的核心洞察直接依赖于SAM的这一架构特性。SAM的多尺度特征（高分辨率Fh和低分辨率Fl）是CoP方法的基础，理解SAM的编码器工作原理和特征特性对于理解HSG如何识别可靠同类型点至关重要。文中使用的SAM3是SAM的迭代版本。
Out-of-Distribution (OOD) 泛化
OOD泛化指模型在训练时未见过的数据分布上保持性能的能力。在细胞分割任务中，模型通常在特定组织类型和细胞形态的数据上训练，遇到新的细胞类型时性能会严重下降。这是因为模型学习的表示与训练数据的形态特征紧密绑定。传统方法（无论是无监督、弱监督还是全监督）都受此限制。
这是本文要解决的核心问题。如图1所示，预训练的细胞实例分割方法（如ICCV'25的COIN）在未见过的细胞类型上AJI只有0.133，远低于见过类型的0.716。本文的CoP通过利用SAM冻结特征的泛化能力，在未见类型上达到0.465的AJI，接近per-instance点击的上限0.502。
交互式分割
交互式分割允许用户通过提供提示（如点击目标对象）来引导分割过程。相比于全自动方法，交互式方法可以适应任意类型的目标，但代价是需要人工交互。传统范式是per-instance prompting，即每个目标实例需要一个提示，复杂度为O(N)，N是实例数量。本文提出group prompting范式，复杂度降为O(T)，T是类型数量。
本文的创新点就是将交互范式从per-instance O(N)转移到per-type O(T)。如图2所示，从245个per-instance点击减少到3个per-type点击，减少了97%的标注成本，同时达到92.7%的性能。理解这一范式的转变对于理解本文的贡献至关重要。
余弦相似度
余弦相似度是衡量两个向量方向相似性的指标，计算公式为cos(A,B) = (A·B) / (||A||·||B||)。取值范围在[-1,1]之间，1表示完全同向，0表示正交，-1表示完全相反。在深度学习中，常用于比较特征向量的语义相似性，因为相比欧氏距离，余弦相似度不受向量长度影响，更适合比较语义相似性。
这是HSG计算相似度地图的核心方法。对于高分辨率特征Fh和低分辨率特征Fl，分别计算Sh(x) = cos(Fh(x), Fh(p))和Sl(x) = cos(Fl(x), Fl(p))，其中p是用户点击位置。通过元素级乘积Sh⊙Sl，结合了Fh的空间精确性和Fl的类型选择性，这是CoP保持高精度的关键。
Connected-Component Labeling (CCL)
连通分量标记是图像处理中的经典算法，用于将二值图像中相连的像素点分组为独立的区域。常见算法包括两遍扫描法、并查集法等。在二值化后的相似度地图上应用CCL，可以将连续激活的像素聚集成候选细胞区域，然后计算每个区域的加权质心作为离散的提示点。
HSG使用CCL将密集的特征激活转换为离散的点提示。这种转换是非参数的、确定性的，不需要额外的超参数。文中通过相似度加权质心得到可靠点集R(0) = {c1, ..., cK}，这些点作为初始传播的种子。理解CCL的作用有助于理解CoP如何从连续特征空间过渡到离散提示空间。
AJI (Aggregated Jaccard Index)
AJI是细胞实例分割的官方评估指标，是Jaccard Index的聚合版本，考虑了实例级别的重叠和假阳性惩罚。对于预测mask集合P和ground truth集合G，AJI = |∪P ∩ ∪G| / |∪P ∪ ∪G|。与Dice系数相比，AJI对假阳性更敏感，因为分母包含了预测的错误区域。AJI取值范围[0,1]，越接近1越好。
这是本文所有实验的主要评估指标。在CoNIC数据集上，CoP达到0.579的AJI，是per-instance上限0.641的90%；在形态学同质的四个数据集上，CoP保持99%以上的per-instance性能。理解AJI的含义有助于准确评估CoP的实际性能提升。
研究动机
现有细胞实例分割方法在训练数据外的细胞类型上性能严重下降。如图1所示，预训练的COIN方法在未见过的细胞类型上AJI只有0.133，远低于见过类型的0.716，差距超过80%。这是因为无论是无监督、弱监督还是全监督方法，都学习与训练数据中特定组织类型和细胞形态绑定的表示。交互式基础模型如SAM3可以通过per-instance点提示解决OOD问题，每个实例一个点击，但这种O(N)的复杂度对于包含数百到数千个密集细胞实例的病理图像来说成本过高，实践中不可行。如图2所示，在一个包含245个细胞的图像上，per-instance需要245次点击，每次点击约170ms，总耗时超过40秒，这在临床工作流中是不现实的。
本文的目标是本文的目标是将交互式分割从per-instance O(N)范式转移到per-type O(T)范式，使得每个细胞类型只需一次点击就能分割该类型的所有实例。具体来说，对于有类型标注的数据集（如CoNIC有6种类型），只需要T次点击（每个类型一次）；对于形态学同质的无类型标注数据集，只需要一次点击就能分割所有实例。目标是保持90%以上的per-instance性能，同时将标注成本降低97%以上。
与已有工作不同的是，本文的独特切入角度是发现并利用SAM冻结图像编码器的一个内在特性：其特征空间在接收任何提示之前就已经按细胞类型聚类了。如图5的UMAP可视化所示，低分辨率特征Fl将相同类型的细胞聚类在一起，而高分辨率特征Fh则混合了不同类型。这是由SAM的架构决定的——图像编码器必须在解码阶段接收用户提示之前编码所有实例信息。现有工作要么依赖per-instance提示（成本高），要么依赖外部检测器生成伪提示（但检测器本身也受OOD限制）。本文直接利用SAM的内在聚类特性， bypass外部检测器，实现训练-free的递归提示传播。
核心方法
CoP（Chain-of-Prompts）是一个完全免训练的框架，只使用冻结的SAM图像编码器特征。整体思路是：从用户点击的初始提示开始，递归地发现和分割所有相同类型的细胞。如图3所示，CoP包含两个互补的组件：HSG（Hierarchical Similarity Gating）利用SAM的多尺度特征识别可靠的同类型点；FPR（Farthest Prompt Recursion）通过选择最远的未覆盖点作为下一个提示，最大化空间覆盖。这两个组件迭代执行：HSG从当前提示产生可靠点集，FPR从中选择下一个提示，直到收敛（没有新点被发现）。最终，所有点通过SAM解码器生成实例mask。整个过程在特征空间完成，没有反向传播，内存开销仅为冻结编码器。
核心创新点有两个：第一，发现并利用SAM冻结特征空间的内在类型聚类特性，这是由SAM的架构决定的；第二，通过多尺度门控结合Fh的空间精确性和Fl的类型选择性，实现非参数的可靠点识别，精度超过96%。与已有方法的本质区别在于：现有交互方法要么依赖per-instance提示（O(N)），要么依赖外部检测器（有OOD限制）；而CoP直接利用SAM的内在特性，实现训练-free的per-type提示（O(T)）。HSG使用非参数阈值τ = μ(Sh⊙Sl) + σ(Sh⊙Sl)进行二值化，这是受COIN启发但应用到多尺度门控特征上；FPR在图像坐标而非特征空间计算距离，确保每次新提示探索未覆盖的区域。
方法步骤详情
CoP的完整步骤如下：首先，SAM图像编码器从输入图像I提取高分辨率特征图Fh ∈ R^{D×H/4×W/4}和低分辨率特征图Fl ∈ R^{D×H/16×W/16}，这是一次性的成本，约2秒（1000×1000输入）。然后对于每个用户点击p（每个细胞类型一个），执行HSG：将Fl插值到Fh的空间分辨率，计算两个余弦相似度地图Sh(x) = cos(Fh(x), Fh(p))和Sl(x) = cos(Fl(x), Fl(p))，通过元素级乘积Sh⊙Sl结合两者，使用非参数阈值τ = μ(Sh⊙Sl) + σ(Sh⊙Sl)二值化，应用CCL提取每个连通区域的加权质心，形成初始可靠点集R(0) = {c1, ..., cK}。接着执行FPR：选择R(t)中距离所有先前提示Q(t) = {p0, ..., pt}最远的点pt+1 = arg max_{c∈R(t)} min_{q∈Q(t)} ∥c-q∥_2，将pt+1作为新提示输入HSG，得到新的可靠点，合并到可靠集R(t+1) = R(t) ∪ HSG(pt+1, Fh, Fl)。重复FPR-HSG循环直到收敛（R(t+1) = R(t)），每个FPR迭代约170ms，通常需要数次迭代。最后，将可靠集R中的每个点通过SAM解码器生成实例mask，通过IoU > 0.5的非极大值抑制解决重叠预测。单个CoP点击（包括HSG传播和FPR直到收敛）平均约4秒，T=3类型的图像在排除编码器后15秒内完成。
技术新颖性
技术新颖性体现在四个方面：第一，范式创新，将交互式分割从per-instance O(N)转移到per-type O(T)，这是该领域的首次范式转变；第二，发现并利用SAM冻结特征空间的内在类型聚类特性，这是一个理论贡献，解释了为什么SAM对OOD类型具有泛化能力；第三，HSG的非参数多尺度门控机制，不需要任何可学习参数就能实现超过96%的精度，这是基于对Fh和Fl互补特性的深入理解；第四，FPR在图像坐标而非特征空间计算距离，确保空间多样性的同时避免特征漂移，这比在特征空间计算距离更稳定。整个框架完全训练-free，没有反向传播，在单张RTX A6000上运行，内存开销仅为冻结编码器。
实验结果
在7个基准测试上，CoP显著降低了标注成本同时保持了高性能。在有类型标注的三个基准（CoNIC、CoNSeP、GlaS）上，CoP使用每个类型一次点击（约3次点击），保持了per-instance性能的90%以上，标注成本降低97%以上。具体来说，在CoNIC数据集上，CoP（基于SAM3）达到AJI 0.579，是per-instance上限0.641的90%；在CoNSeP上达到0.374，是上限0.411的91%；在GlaS上达到0.292，是上限0.327的89%。CoP还超过了需要完整mask注释训练的全监督方法：在CoNIC上，CellViT（全监督）AJI 0.371，CoP达到0.579；在CoNSeP上，CellViT 0.495，CoP 0.374略低但标注成本是全监督方法的0.01%。在形态学同质的四个基准（MoNuSeg、TNBC、CryoNuSeg、CPM-17）上，所有实例形态相似，相当于单个细胞类型，CoP从一次点击传播到所有实例，保持了99%以上的per-instance性能：在MoNuSeg上，µSAM + CoP的AJI 0.729是µSAM alone 0.732的99.6%；在TNBC上，0.805/0.809 = 99.5%；在CryoNuSeg上，0.563/0.567 = 99.3%；在CPM-17上，0.754/0.763 = 98.8%。消融实验显示每个组件都关键：没有FPR时HSG alone AJI 0.203（相对下降65%）；最近点FPR 0.492（比最远点低15%）；只用Sh降到0.463（精度在t=15时低于0.60）；只用Sl降到0.351（粗分辨率导致定位差）；Sh⊙Sl保持96%以上精度。初始点击敏感性测试显示30次随机种子平均AJI 0.579 ± 0.003，鲁棒性强。
![Qualitative comparison on CoNIC [6].](/papers/2605.29429/images/figure_4..jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 细胞实例分割（CoNIC，6类型） | AJI | 0.579（SAM3+CoP） | 0.641（SAM3 per-instance） | 达到90%性能，标注成本降低97%（245→3次点击） |
| 细胞实例分割（CoNSeP，4类型） | AJI | 0.374（SAM3+CoP） | 0.411（SAM3 per-instance） | 达到91%性能 |
| 细胞实例分割（GlaS，有类型） | AJI | 0.292（SAM3+CoP） | 0.327（SAM3 per-instance） | 达到89%性能 |
| 细胞实例分割（MoNuSeg，形态同质） | AJI | 0.729（µSAM+CoP） | 0.732（µSAM alone） | 保持99.6%性能，仅需1次点击 |
| 细胞实例分割（TNBC，形态同质） | AJI | 0.805（µSAM+CoP） | 0.809（µSAM alone） | 保持99.5%性能，仅需1次点击 |
| 细胞实例分割（CryoNuSeg，形态同质） | AJI | 0.563（µSAM+CoP） | 0.567（µSAM alone） | 保持99.3%性能，仅需1次点击 |
| 细胞实例分割（CPM-17，形态同质） | AJI | 0.754（µSAM+CoP） | 0.763（µSAM alone） | 保持98.8%性能，仅需1次点击 |
| OOD细胞类型（CoNIC未见类型） | AJI | 0.465（SAM3+CoP，3次点击） | 0.133（COIN预训练） | 相对提升250%，接近per-instance上限0.502的92.7% |
| 消融：移除FPR | AJI | 0.579（完整CoP） | 0.203（HSG alone） | FPR贡献65%相对提升 |
| 消融：FPR策略（最近点 vs 最远点） | AJI | 0.579（最远点） | 0.492（最近点） | 最远点优15% |
| 消融：特征尺度（Sh⊙Sl vs Sh） | AJI | 0.579（Sh⊙Sl） | 0.463（Sh alone） | 多尺度门控优20%，精度保持96% vs <60% |
局限与改进
作者承认的局限性：CoP继承了基础模型的限制，如果SAM3无法从正确的点提示分割某个实例，CoP也会错过该实例。CoP还假设相同类型的细胞在特征空间中共享一致的外观，这在单个细胞类型内部形态极端异质的情况下可能不成立。额外的观察：CoP的性能与SAM编码器的质量直接相关，如果SAM的冻结特征没有很好地聚类目标类型，性能会下降；FPR的贪心策略可能在某些场景下不是最优的，虽然实验显示最远点优于最近点和中点，但更复杂的空间采样策略可能进一步提升性能；CoP每次FPR迭代需要重新运行HSG，对于非常大图像（超过1000×1000）可能需要优化；CoP目前处理的是单细胞类型的传播，对于多个类型混合的场景需要分别运行CoP，这可能引入类型边界模糊的问题。
独立分析的弱点
CoP在以下几个具体场景中存在弱点：第一，对于极端形态异质的单个细胞类型，如果细胞在特征空间中不聚类，CoP的传播会失败。改进方向可以是引入自适应的相似度阈值，或者学习一个轻量级的门控网络来增强类型选择性。第二，CoP的FPR是贪心的，每次选择最远点，可能在某些场景下不是最优的空间覆盖策略。改进方向可以是引入更智能的采样策略，如基于聚类的代表点选择，或者使用强化学习学习最优的提示顺序。第三，CoP目前处理多类型场景需要分别运行CoP，这可能引入边界模糊。改进方向可以是联合处理多个类型，在HSG中引入类型竞争机制，或者设计多类型的协同传播策略。第四，CoP在超大图像（如全切片WSI）上可能效率不足。改进方向可以是分层处理，先在低分辨率上粗略定位，再在高分辨率上精化；或者引入滑动窗口策略，处理完一个区域后动态调整下一个区域的位置。第五，CoP无法纠正SAM本身分割错误。改进方向可以是引入后处理模块，如CRF或图割，来精化分割边界；或者设计一个轻量级的精化网络，在CoP输出基础上进行迭代优化。
未来方向
作者提出的未来方向：CoP建立了group prompting范式，未来可以扩展到其他交互式基础模型和任务。基于本文成果可延伸的方向：第一，将CoP扩展到3D细胞分割，处理体积数据（如组织块切片），这需要设计3D的多尺度特征门控和空间采样策略。第二，探索CoP在其他模态的应用，如荧光显微镜、MRI、CT等，需要验证SAM冻结特征在不同模态下的聚类特性。第三，将CoP与主动学习结合，让用户在CoP传播后选择不确定的区域进行标注，形成闭环的人机协作。第四，探索CoP在动态场景的应用，如时间序列图像或活体成像，需要考虑细胞的运动和变化，设计时序一致性的传播策略。第五，研究CoP与其他基础模型的集成，如将CoP的提示传播与DALL-E、Stable Diffusion等生成模型结合，实现从文本到细胞分割的端到端流程。第六，设计更复杂的提示类型，如框提示、涂鸦提示，探索不同提示类型在group prompting范式下的效果。
复现评估
论文提供了项目页面shjo-april.github.io/Chain-of-Prompts，但没有明确说明代码和数据是否开源。所有实验使用官方代码和预训练权重，基线方法包括YOLOE（ICCV'25）、SAM3（ICLR'26）、Rex-Omni（CVPR'26）、CellViT（MedIA'23）、CA-SAM2（MICCAI'25）、CellPose3（Nat. Methods'25）、µSAM（Nat. Methods'25）。所有实验在单张NVIDIA RTX A6000上运行，1000×1000输入的SAM图像编码约2秒，每个CoP点击（包括HSG传播和FPR直到收敛）约4秒，FPR单次迭代约170ms。7个基准都是公开数据集：CoNIC、CoNSeP、GlaS、MoNuSeg、TNBC、CryoNuSeg、CPM-17。消融实验在CoNIC上进行，使用30次随机种子测试初始点击敏感性。CoP完全训练-free，不需要任何训练数据或反向传播，内存开销仅为冻结编码器，因此复现难度较低，主要挑战是获取SAM3的预训练权重和所有基准数据集。如果作者开源代码，复现应该是可行的，但需要RTX A6000或同等GPU以匹配论文的运行时间。
论文图表
该图对比了预训练的细胞实例分割方法（COIN）、全监督方法（CA-SAM2）和交互式方法（SAM3）在见过类型和未见类型上的性能。对于见过类型，COIN的AJI为0.716，CA-SAM2为0.690，SAM3 per-instance为0.877（需要115次点击），SAM3+CoP为0.823（只需1次点击）。对于未见类型，性能急剧下降：COIN为0.133，CA-SAM2为0.228，SAM3 per-instance为0.502（需要245次点击），SAM3+CoP为0.465（只需3次点击）。该图还展示了可视化结果，红色虚线框标记了监督方法错过的细胞群体。
这张图清晰地展示了本文要解决的核心问题：现有方法在OOD类型上性能严重下降，而per-instance交互成本过高。CoP在见过类型上达到93.8%的性能（0.823/0.877），在未见类型上达到92.7%的性能（0.465/0.502），同时将点击次数从115-245减少到1-3，减少了97%以上。这是本文贡献的直观展示，最适合在motivation章节。
该图展示了SAM冻结图像编码器特征的UMAP可视化。左图(a)是高分辨率特征Fh的UMAP，不同类型的细胞混合在一起，表明Fh在语义上不区分类型。右图(b)是低分辨率特征Fl的UMAP，相同类型的细胞聚类在一起，类型1有72个细胞，类型2有16个，类型3有157个。这证明了SAM的冻结特征空间在没有任何训练的情况下已经按细胞类型聚类。
这张图是本文核心洞察的实证证据，展示了SAM冻结特征的内在聚类特性，这是CoP能够工作的理论基础。它解释了为什么Fl能准确分离细胞类型而Fh不能，这直接支持了HSG的设计动机，最适合在motivation或method章节。