Hepato-LLaVA：一种用于全切片肝细胞病理分析的稀疏拓扑聚合注意力专家多模态大语言模型 Hepato-LLaVA: An Expert MLLM with Sparse Topo-Pack Attention for Hepatocellular Pathology Analysis on Whole Slide Images
提出稀疏拓扑注意力和33K多尺度QA数据集，专攻肝癌WSI诊断
前置知识
全切片图像（Whole Slide Image, WSI）
全切片图像是通过高分辨率数字扫描仪将整个病理玻片数字化后获得的超大规模图像，分辨率通常达到数十亿像素（gigapixel级别）。在临床病理诊断中，WSI是金标准，病理医生需要在不同放大倍率下观察组织结构、细胞形态等特征。由于WSI尺寸巨大，直接输入深度学习模型会面临计算瓶颈，因此需要将其切分为小的patch进行特征提取，再通过某种聚合机制获得全局表示。处理WSI的核心挑战在于如何在压缩表示的同时保留关键诊断信息。
本文的核心任务就是对肝癌WSI进行自动化分析，理解WSI的特性和处理挑战是阅读本文的基础
多模态大语言模型（Multimodal Large Language Model, MLLM）
多模态大语言模型是将视觉编码器与大语言模型结合的架构，能够同时处理图像和文本输入，并生成文本输出。典型的MLLM包含三个组件：视觉编码器（如ViT）负责提取图像特征，连接器（Connector）负责将视觉特征映射到语言模型的嵌入空间，语言模型（如LLaMA）负责理解和生成文本。在医学领域，MLLM可以理解病理图像并回答诊断问题，实现视觉问答（VQA）功能。
Hepato-LLaVA本质上是一个专门为肝癌病理设计的MLLM，理解MLLM的基本架构是理解本文方法的前提
多示例学习（Multiple Instance Learning, MIL）
多示例学习是一种弱监督学习范式，适用于只有bag级别标签而没有instance级别标签的场景。在WSI分析中，整个切片被视为一个bag，切片内的各个patch被视为instance。传统MIL方法通常只能输出分类结果（如癌症/非癌症），缺乏生成临床诊断报告的能力。这是推动研究者转向MLLM的重要原因之一。
论文指出传统MIL方法的局限性是其研究动机之一，理解MIL有助于理解为何需要MLLM方案
低秩适配（Low-Rank Adaptation, LoRA）
LoRA是一种参数高效的微调方法，其核心思想是冻结预训练模型的原始权重，仅在每个Transformer层添加低秩的可训练矩阵。具体来说，对于原始权重矩阵 $W \in \mathbb{R}^{d \times k}$，LoRA将其更新分解为 $W' = W + BA$，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，秩 $r \ll \min(d, k)$。这样只需训练少量参数（通常不到原模型的1%）即可实现有效的任务适配，大幅降低计算和存储成本。
本文采用LoRA（r=128）对LLM进行微调，是模型训练策略的关键组成部分
掩码自编码器（Masked Autoencoder, MAE）
MAE是一种自监督预训练方法，其原理是随机遮挡输入图像的部分patch，然后训练模型重建被遮挡的内容。通过这种遮挡-重建的训练方式，模型能够学习到丰富的视觉特征表示，包括纹理、结构和语义信息。MAE在计算机视觉领域被广泛用于预训练视觉编码器，特别适合处理大规模图像数据。
本文采用MAE对slide encoder进行预训练，并创新性地设计了两阶段课程遮挡策略，是模型预训练的第一阶段
动量对比学习（Momentum Contrast, MoCo）
MoCo是一种对比学习框架，通过维护一个动量更新的编码器和一个负样本队列来学习视觉表示。其核心思想是将同一图像的不同增强视图作为正样本对，将不同图像的表示作为负样本，通过InfoNCE损失函数拉近正样本、推远负样本。MoCo的动量更新机制确保负样本队列中的表示保持一致性，从而提供稳定的训练信号。
本文采用MoCo对slide encoder进行第二阶段预训练，并针对WSI特点进行了特征级适配
注意力机制中的稀疏掩码（Sparse Attention Mask）
标准的自注意力机制计算所有token之间的交互，计算复杂度为 $O(n^2)$。稀疏注意力通过设计掩码矩阵限制token之间的交互模式，只允许部分token对之间进行注意力计算，从而降低计算复杂度同时保持关键信息交互。不同的稀疏模式（如局部窗口注意力、全局token注意力等）可以编码不同的先验知识。
本文提出的Sparse Topo-Pack Attention是核心创新点，通过精心设计的层次化稀疏掩码建模组织拓扑结构
Q-Former连接器
Q-Former是一种视觉-语言连接器架构，由一组可学习的查询向量（learnable queries）组成，通过交叉注意力机制从视觉编码器的输出中提取固定长度的特征表示。与简单的MLP投影不同，Q-Former能够将变长的视觉序列压缩为固定数量的查询嵌入，实现更灵活的特征聚合。该架构最初由BLIP-2提出，在多模态模型中被广泛采用。
本文选择Q-Former而非MLP作为连接器，并通过实验证明其优越性，是重要的架构设计决策
研究动机
肝细胞癌（HCC）是全球癌症死亡的主要原因之一，其诊断金标准依赖于全切片图像（WSI）的组织病理学检查。然而，HCC具有高度异质性和复杂的肿瘤微环境，使得gigapixel级别的WSI解读成为一项劳动密集型任务，且容易出现观察者间变异。当前的计算病理学方法面临两个核心瓶颈：其一，固定分辨率处理机制导致信息损失或特征冗余。现有方法主要分为两类——基于缩略图的方法将gigapixel图像压缩为megapixel级别，不可避免地丢失patch级别的细节信息；基于slide encoder的方法将数千个patch聚合为全局token，但忽略了组织的二维拓扑结构，将WSI当作一维序列处理。其二，缺乏多尺度数据支撑。病理诊断的实际工作流程需要在WSI、ROI和Patch三个尺度间切换，但现有数据集通常只覆盖单一尺度，无法支持多尺度诊断建模。这些限制导致现有病理MLLM在肝癌诊断任务上的表现不尽如人意。
本文的目标是本文的具体目标是设计一个专门针对肝细胞癌病理分析的多模态大语言模型Hepato-LLaVA，使其能够在多个空间尺度上进行精细的形态学分析和临床诊断。具体而言，研究团队希望解决两个研究问题：RQ1——如何将肝癌WSI压缩为保留关键诊断细节同时最小化冗余的表示；RQ2——如何使slide encoder适应可变分辨率输入，为复杂肝组织的多尺度诊断生成特征。最终目标是在HCC诊断和描述任务上达到最先进的性能，显著超越现有的开源病理MLLM。
与已有工作不同的是，本文的独特切入角度体现在三个方面。首先，在特征提取层面，现有方法将WSI视为一维序列（通过Longnet等架构），忽略了病理组织的二维拓扑特性。本文提出了Sparse Topo-Pack Attention机制，显式建模二维组织拓扑，通过层次化的稀疏注意力模式模拟病理诊断中局部聚合与全局并置的工作方式。其次，在数据层面，本文构建了首个面向HCC的多尺度VQA数据集HepatoPathoVQA，包含33K个跨越WSI、ROI和Patch三个尺度的问答对，并通过模拟病理医生从宏观到微观的临床推理流程进行数据生成。最后，在训练策略层面，本文设计了包含MAE预训练、MoCo预训练和多尺度指令微调的三阶段流水线，其中前两个阶段专门针对WSI的特性进行了创新设计。
核心方法
Hepato-LLaVA的整体方法思路可以分为三个层次理解。在直觉层面，病理医生诊断肝癌时会先在低倍镜下观察整体组织结构（WSI级别），然后在中倍镜下关注可疑区域的形态特征（ROI级别），最后在高倍镜下确认细胞级别的诊断证据（Patch级别）。本文的方法正是模拟这一临床诊断流程，设计了一个能够在多尺度间灵活切换的MLLM系统。在技术路线层面，首先通过创新的Sparse Topo-Pack Attention机制将WSI的数千个patch压缩为结构化的拓扑感知表示，然后通过Q-Former连接器将这些视觉特征映射到语言模型空间，最后在精心构建的多尺度数据集上进行三阶段训练。在架构层面，模型包含三个核心组件：经过MAE和MoCo预训练的slide encoder负责提取WSI特征，Q-Former connector负责视觉-语言对齐，以及经过LoRA微调的LLM负责生成诊断文本。
本文的核心创新点是Sparse Topo-Pack Attention机制，其与已有方法的本质区别在于显式建模了病理组织的二维拓扑结构。现有方法（如SlideChat和WSI-LLaVA）通常使用Longnet将WSI展平为一维序列进行自注意力计算，这种处理方式完全忽略了组织的空间邻接关系。而Hepato-LLaVA将WSI划分为 $k \times k$ 的局部窗口（pack），每个pack包含9个patch token和1个summary token，再加上1个全局token。通过精心设计的层次化稀疏掩码，模型只允许三种类型的token交互：全局sink注意力（所有token关注全局token获取宏观上下文）、pack内密集注意力（同一pack内的patch token相互交互进行局部特征聚合）、以及summary级交互（summary token之间的跨pack信息交流）。这种设计将注意力开销降低到密集注意力的约1%，同时保留了关键的拓扑信息。summary token作为动态查询，从patch token中聚合诊断证据，模拟了病理医生在局部区域整合诊断信息的过程。
方法步骤详情
Hepato-LLaVA的方法包含以下完整步骤。第一步，Patch编码：将原始WSI切分为 $P \times P$ 的非重叠patch，形成 $H \times W$ 的网格，通过冻结的特征编码器 $f_{\text{enc}}$ 将每个patch映射为 $D$ 维嵌入，得到特征网格 $H_{\text{grid}}$。第二步，层次序列构建：将网格按行优先顺序组织为 $M$ 个Summary Pack，每个pack $P_m$ 包含 $k \times k$ 窗口（$k=3$，共10个token），加上全局token $g_{\text{global}}$，形成层次化序列。第三步，Sparse Topo-Pack Attention：通过层次化稀疏掩码控制注意力交互，只允许全局sink、pack内聚合和summary级交互三种模式。第四步，MAE预训练：在TCGA和内部数据集上采用两阶段课程遮挡策略，Phase 1进行patch级遮挡学习纹理，Phase 2进行pack级遮挡学习长程依赖。第五步，MoCo预训练：在特征级别应用动量对比学习，通过注入噪声生成正样本对，使用InfoNCE损失在summary token级别对齐视觉表示。第六步，多尺度指令微调：先在HepatoPathCaption上训练connector实现视觉-语言对齐，再在HepatoPathoVQA上同时微调connector和LLM（使用LoRA，$r=128$）优化诊断推理能力。
技术新颖性
本文的技术新颖性体现在多个层面。首先，Sparse Topo-Pack Attention是一种全新的注意力机制设计，其创新在于将病理组织的二维拓扑先验嵌入到注意力掩码中，而非简单地使用一维序列建模。这种设计不仅降低了计算复杂度（约1%），更重要的是保留了组织的空间结构信息。其次，HepatoPathoVQA是首个面向HCC的多尺度VQA数据集，其数据生成pipeline创新性地模拟了病理医生的临床推理流程——从宏观观察到微观细节，并通过上下文注入确保跨尺度的逻辑一致性。数据经过三位专家病理医生的盲评验证，具有高评分者一致性（Pearson r = 0.96）和低拒绝率（小于2%）。第三，三阶段训练流水线中的MAE预训练采用创新的两阶段课程遮挡策略，MoCo预训练创新性地在特征级别而非图像级别进行对比学习以降低WSI的高I/O成本。最后，实验发现WSI中诊断信号的稀疏性——增加token数量反而降低性能，Q-Former 32个查询即可达到最优效果，这一发现对整个领域具有重要启示意义。
实验结果
本文在HepatoPathoBench上对Hepato-LLaVA进行了全面评估，并与6个基线模型进行了对比。核心发现包括：第一，Hepato-LLaVA在所有任务上均达到最优性能，平均得分0.83，比最佳WSI基线SlideChat（0.66）高出0.17，比最佳缩略图基线Huatuo-GPT（0.65）高出0.18，验证了拓扑感知表示的有效性。第二，在开放性任务中，模型在形态学分析上取得WSI-P 0.79、METEOR 0.33，在诊断任务上取得WSI-P 0.75、METEOR 0.33，均显著优于SlideChat（0.70/0.17和0.72/0.14）。第三，在封闭性任务中，形态学单选准确率达0.97，多选准确率达0.88，大幅超越Patho-R1（0.87和0.50），后者是一个通过强化学习增强的强基线。第四，多尺度一致性实验显示模型在WSI（0.82）、ROI（0.83）和Patch（0.83）三个尺度上表现稳健，相比骨干模型WSI-LLaVA（0.65、0.67、0.64）有显著提升。消融实验表明Q-Former连接器在所有尺度上显著优于MLP（WSI上+5.18%），且具有更好的稳定性（标准差0.26 vs 1.77）。token数量实验揭示了WSI中诊断信号的稀疏性，32个查询的Q-Former达到最优平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 形态学分析 - 开放性（WSI-P） | WSI-P | 0.79 | SlideChat 0.70 | +0.09 |
| 诊断 - 开放性（WSI-P） | WSI-P | 0.75 | SlideChat 0.72 | +0.03 |
| 形态学分析 - 封闭性单选 | Accuracy | 0.97 | Patho-R1 0.87 | +0.10 |
| 形态学分析 - 封闭性多选 | Accuracy | 0.88 | Patho-R1 0.50 | +0.38 |
| 多尺度综合平均 | Avg | 0.83 | SlideChat 0.66 | +0.17 |
| 消融 - Q-Former vs MLP（WSI） | Accuracy | 88.51% | MLP 81.61% | +6.90% |
局限与改进
本文存在以下局限性。首先，数据集规模相对有限，HepatoPathoVQA仅基于200张WSI构建，而预训练阶段使用的TCGA等数据集包含上万张WSI，数据量的悬殊差距可能限制模型在更多样化病例上的泛化能力。其次，数据集的QA对由Gemini-3-flash自动生成而非由病理医生直接标注，虽然经过专家验证，但自动生成的数据不可避免地存在噪声和偏差，可能无法完全代表真实的临床诊断推理过程。第三，模型仅在HCC这一种癌症类型上进行评估，未验证其在其他肝脏疾病或其他器官病理分析上的泛化能力。第四，评估指标的局限性——METEOR和WSI-P虽然是基于LLM的评估指标，但与病理医生的实际评估仍存在差距，缺乏与真实临床诊断结果的直接对比。第五，论文未详细讨论模型的推理效率和延迟，对于gigapixel级别的WSI，实际部署中的计算开销和响应时间是关键考量因素。此外，作者未提供与最新商业病理AI系统的对比，也未讨论模型在不同硬件平台上的可部署性。
独立分析的弱点
从独立分析的角度，本文存在以下弱点。第一，Sparse Topo-Pack Attention的pack大小k=3是固定设置，缺乏对不同组织类型或不同放大倍率的自适应能力。不同组织的病理特征尺度差异很大，固定窗口大小可能无法最优地捕捉所有组织的拓扑结构。改进方向可以是设计自适应窗口大小机制，根据局部组织特征动态调整pack尺寸。第二，HepatoPathoVQA的构建完全依赖Gemini-3-flash的推理能力，这意味着数据质量受限于该模型的知识水平。对于罕见的HCC亚型或边界病例，Gemini可能产生不准确的描述。改进方向可以引入人机协作的数据标注流程，让病理医生在AI生成的初稿基础上进行修正和补充。第三，模型的多尺度能力仅限于三个固定尺度（WSI、5倍ROI、10倍/20倍 Patch），而实际病理诊断中可能需要更灵活的尺度切换。第四，三阶段训练流水线较为复杂，训练成本较高，且各阶段之间的协同效应未被充分分析。第五，论文缺乏对模型可解释性的讨论——当模型给出诊断结论时，无法直观地展示其关注的组织区域和推理路径。
未来方向
基于本文的成果，未来研究可以在以下方向展开。作者提到的方向包括将方法扩展到其他癌症类型，以及探索更多尺度的病理分析。基于本文的技术基础，还可以延伸以下方向：第一，将Sparse Topo-Pack Attention推广到其他需要建模二维拓扑结构的任务，如自然场景理解或遥感图像分析，验证其通用性。第二，引入多专家协作机制，让多个病理医生对同一病例进行独立标注，构建更高质量的ground truth，减少AI生成数据的偏差。第三，结合病理报告的结构化信息（如TNM分期、免疫组化结果），设计多任务学习框架，同时进行形态学分析和分子分型。第四，探索增量学习策略，使模型能够持续从新的病理病例中学习，适应不断更新的诊断标准。第五，将模型与病理医生的实际工作流深度整合，设计交互式诊断系统，让医生能够引导模型关注特定区域或特征，实现人机协同诊断。第六，研究模型的校准性（calibration），确保其预测置信度与实际准确率一致，这对临床应用中的风险评估至关重要。
复现评估
从复现评估的角度来看，本文的复现条件相对友好但存在一定挑战。在开源方面，论文声明代码和实现细节将在项目主页公开，但HepatoPathoVQA数据集的公开情况未明确说明，这对复现至关重要。在数据方面，预训练使用的TCGA和HCMI是公开数据集，但内部数据集的具体规模和构成未详细披露。HepatoPathoVQA的构建依赖Gemini-3-flash API，复现时需要相应的API访问权限。在算力方面，模型基于7B参数的LLM，slide encoder基于ViT架构处理数千个patch，三阶段训练（MAE、MoCo、指令微调）需要相当可观的GPU资源，但论文未提供具体的训练时间和硬件配置。在复现难度方面，Sparse Topo-Pack Attention的实现涉及复杂的层次化稀疏掩码构建，HepatoPathoVQA的数据生成需要设计特定的prompt模板和多尺度采样策略，这些细节的完整性将直接影响复现效果。整体而言，如果代码和数据完整开源，具备足够算力的研究者应该能够复现主要结果。
论文图表