通过Haiku连接空间生物学与临床组织病理学 Linking spatial biology and clinical histology via Haiku
三模态基础模型，把H&E、多重免疫荧光与临床文本对齐到统一嵌入空间，支持检索、零样本推断与反事实分析。
前置知识
对比学习(Contrastive Learning)与CLIP损失
对比学习通过在共享嵌入空间中将匹配的样本对拉近、不匹配的样本对推远来训练表示。CLIP风格的对称InfoNCE损失对一对模态(a,b)计算$L_{a\to b}=-\frac{1}{B}\sum_i \log \frac{\exp(\tilde z_i^a\cdot\tilde z_i^b/\tau)}{\sum_j \exp(\tilde z_i^a\cdot\tilde z_j^b/\tau)}$，温度参数τ控制分布锐度，本文中τ=0.07。
Haiku的三模态对齐建立在两两CLIP损失之上：$L = L_{\text{HE}\to\text{mIF}} + L_{\text{mIF}\to\text{TXT}} + L_{\text{HE}\to\text{TXT}}$，这是模型能够执行跨模态检索的数学基础。
多重免疫荧光(mIF)与空间蛋白组学
mIF（如CODEX、IMC、IBEX等技术）能在同一张组织切片上同时定量50–100+种蛋白抗原的亚细胞空间定位，每种蛋白对应一个独立的荧光通道，输出为$H\times W\times C$的多通道图像（$C$为生物标志物通道数）。与单通道IHC或mRNA的bulk测量相比，mIF保留了细胞邻域、肿瘤微环境结构等信息。
mIF的"高通道"特性使得它无法直接喂给为3通道RGB图片训练的视觉编码器，所以作者必须用VirTues架构从零预训练一个mIF专用编码器，并用ESM-3的蛋白嵌入来处理通道数不固定的问题。
H&E苏木精-伊红染色与组织形态学
H&E是临床病理最常用的染色方案：苏木精染细胞核（蓝色），伊红染细胞质与基质（粉红）。它提供高分辨率的组织形态结构信息，但不能直接读出分子身份。
H&E是临床最容易获取的模态；Haiku的核心价值之一就是让H&E的patch能在统一嵌入空间里"召唤"对应的mIF分子信息。
多示例学习(MIL)与注意力池化
在MIL中，每个样本（一张切片）是一个"包"，由若干实例（patch嵌入）组成。注意力MIL通过可学习的权重$a_{ij}=\frac{\exp(w^\top\tanh(Vh_{ij}))}{\sum_{j'}\exp(w^\top\tanh(Vh_{ij'}))}$对实例加权汇聚，得到切片级表示后再做分类或Cox回归。
切片级的生存预测和治疗反应预测都基于Haiku(mIF) patch嵌入的注意力MIL模型；C-index 0.737和黑色素瘤AUROC 0.756的结果都来自这一框架。
反事实预测与共享嵌入空间的"编辑"能力
当多个模态被映射到同一嵌入空间后，可以"冻结"一个模态（如H&E）而扰动另一个（如临床文本），通过检索最近邻的变化来观察第三个模态（mIF）会如何偏移，从而模拟"如果临床状态不同，分子景观会怎样变化"。
这是本文最有创意的下游应用——不依赖生成式模型，而是通过检索差异来发现乳腺癌分期进展和肺癌生存相关的微环境重塑信号。
研究动机
现代肿瘤研究需要同时整合三类互补的数据：H&E形态学（便宜但只反映结构）、mIF空间蛋白组（精确但昂贵、需要专门实验）、以及患者级别的临床元数据（分期、治疗响应、生存等）。然而目前的计算病理模型几乎都是"单模态到标签"或"两两配对"的——例如MUSK、VirTues各自只编码H&E或mIF；HIS、CODEX到H&E的翻译模型只能做单向模态补全；Conch、PathChat等视觉-语言模型则把组织学和文本连起来但忽略了空间蛋白组。一个关键缺失是把mIF、H&E和文本这三者共同放入一个双向、可检索的共享嵌入空间的能力。更具体地说，三类模态在真实临床中往往只有部分样本能同时获得（例如2605.00925数据集中7,066张训练切片中只有3,218张配齐了三模态），如何让不完整的样本也能被利用、如何让不完美配对的H&E也能用于推断mIF的分子景观，是阻碍转化研究的关键瓶颈。
本文的目标是本文提出Haiku，一个把H&E图像、mIF多重免疫荧光空间蛋白组patch、以及结构化文本描述（patch级生物标志物丰度+切片级临床元数据）联合对齐到同一个512维共享嵌入空间的三模态基础模型。其总体目标是：(1) 在不放宽评估严格性（患者级、跨数据集）的前提下，做到"开箱即用"的patch级跨模态检索，让用户拿一张H&E或一段临床文本就能检索到对应的mIF分子证据；(2) 在生存预测、治疗反应等切片级临床任务上，用tri-modal预训练得到的特征稳定击败单模态基线；(3) 把临床文本"无缝"地融入生物标志物推断过程，使H&E-only检索基础上加少量临床文本就能显著提升推断精度；(4) 通过共享空间实现"反事实检索"——只改文本不动H&E，观察检索集变化，从而对肿瘤分期进展和生存相关的微环境重塑提出可检验的假说。
与已有工作不同的是，本文的独特切入角度是"tri-modal contrastive alignment with evidence-based retrieval"。区别于已有工作：(a) 不同于H&E→mIF单向翻译模型（如Schapiro等），Haiku保留三模态的双向对齐，预测以检索最近邻形式落地，任何推断都能追溯到具体mIF patch，避免生成式"幻觉"；(b) 不同于Conch、PathChat等视觉-语言模型用自然语言监督病理特征，Haiku引入具有严格空间共配准的多通道mIF作为对齐锚点，避免语言监督歧义；(c) 不同于把mIF通道堆叠为RGB再喂给H&E编码器（作者证明MUSK在该设置下Recall@50≈0），Haiku用从零预训练的VirTues和ESM-3蛋白嵌入真正处理通道数可变的mIF输入；(d) 首次提出"tri-modal嵌入空间中的反事实检索"框架，把临床变量变化映射到niche-specific分子重塑，并以Wilcoxon+FDR控制提供统计显著性。
核心方法
Haiku把来自同一组织区域的三模态——H&E patch、多通道mIF patch和结构化文本——视为"同一事物的三种视图"，通过对比学习在共享嵌入空间里对齐。直觉上：病理学家看H&E时大脑自动关联分期、免疫景观和分子特征；Haiku用机器学习显式做了这件事。技术路线分三步：(1) 把共配准的H&E和mIF切成256×256像素patch（步长⌊0.7·256⌋，组织覆盖>90%），用模板法生成含patch级生物标志物z-score和切片级临床元数据的结构化文本；(2) 编码器选择——H&E用预训练MUSK、文本用BiomedBERT，mIF因无公开基础模型，用7,066张切片的62M+ patches从头预训练VirTues编码器（每个生物标志物用ESM-3蛋白嵌入初始化以处理通道数变化）；(3) 三模态各经独立两层MLP投影到d=512空间，ℓ2归一化后用对称CLIP损失联合训练（τ=0.07、batch=128、25 epoch）。
Haiku的核心创新在于"tri-modal shared embedding with evidence-grounded retrieval"。与已有方法相比有三点本质区别：第一，**共享空间而非任务头**——大多数方法（HIS、CODEX预测等）都训练一个从H&E到mIF的具体预测头，而Haiku只学习一个对齐的嵌入空间，预测通过检索完成，这意味着任何输出都可以追溯到gallery里真实的mIF patch，避免了生成式模型的"幻觉"风险；第二，**专门mIF编码器**——作者证明把mIF多通道简单堆叠成3通道RGB再喂给MUSK（Recall@50≈0）和零没有区别，必须用VirTues架构和ESM-3蛋白嵌入从零预训练mIF专用编码器；第三，**反事实检索范式**——因为三模态在同一空间，可以"冻结H&E+扰动文本"，通过对比扰动前后检索集的差异来推断临床属性变化对应的分子重塑，这是一种全新的"在共享空间中做因果干预"的研究范式。
方法步骤详情
**(1) 预处理**。mIF每通道做阈值化+直方图裁剪→[0,1]重缩放→8位量化；H&E与mIF共享坐标切patch。**(2) 文本**。算每patch每标志物z-score+CV/聚类/GLCM/覆盖率，映射到离散空间标签$\{\text{sparse, uniform, clustered, heterogeneous}\}$；拼切片级元数据形成模板文本。**(3) 编码**。H&E用MUSK、mIF用VirTues（ESM-3处理可变通道）、文本用BiomedBERT；各自经独立2层MLP投影到512维并ℓ2归一化。**(4) 对比训练**。batch=128对称算三对CLIP损失之和；AdamW学习率$1\times10^{-5}$/$2\times10^{-5}$/$1\times10^{-4}$，5000步warmup+余弦退火，25 epoch，mIF冻结、只微调MUSK最后两块。**(5) 推理**。冻结编码器用于跨模态检索/1-NN/线性probing；切片级用注意力MIL。
技术新颖性
技术新颖性体现在三个层面。**架构层面**：首次把mIF这一多通道、可变通道数的空间蛋白组模态与H&E和文本用对称三模态CLIP对齐到同一空间；为处理mIF通道变化，用ESM-3蛋白嵌入作为通道标识符（DAPI等非蛋白标志物用可学习固定嵌入）。**训练层面**：两阶段策略——先用7,066张训练mIF切片的62M patches独立预训练mIF编码器，再用3,218张配对的26.7M patches做tri-modal对比，把"无配对mIF数据"的利用效率提到最高（57.1%训练patch是mIF-only）。**推理层面**：创新性地引入"反事实融合检索"——通过对比同一H&E在两种metadata-only文本下的检索集差异，把临床变量语义扰动映射到mIF分子层面的niche-specific shift，并以Wilcoxon signed-rank test + Benjamini-Hochberg FDR控制提供多重检验校正后的统计推断。
实验结果
**(1) 跨模态检索实用化**。Haiku Recall@50：mIF-to-H&E 0.604、H&E-to-mIF 0.611、Text-to-mIF 0.169；MUSK≤0.012。**(2) 融合probing显著优于单模态**。Haiku(Fusion)在N/T/分级/器官/组织五任务F1=0.942/0.961/0.942/0.999/0.998。**(3) 切片级预测显著提升**。CRC C-index 0.737 vs VirTues 0.683；黑色素瘤AUROC 0.352→0.756（p=0.0097）。**(4) 零样本生物标志物推断**。52标志物平均PCC：Fusion 0.718 vs H&E 0.710 vs MUSK -0.033。**(5) 反事实恢复niche特异信号**。乳腺癌T2N0→T4N2出现CD68+69.7%/Podoplanin+99.9%/GATA3-22.3%；肺癌Deceased→Alive出现CD8+50.6%/PD-L1-61.7%，与有利预后=免疫激活+checkpoint下降的认知一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Patch级跨模态检索(mIF-to-H&E) | Recall@50 | 0.604 (Haiku) | ≤0.012 (MUSK, 把mIF堆成RGB) / ≤0.04 (Random) | 相对MUSK约50倍以上，证实mIF与H&E之间存在可被对齐的高阶关系 |
| Patch级跨模态检索(H&E-to-mIF) | Recall@50 | 0.611 (Haiku) / 0.643 (Fusion H&E+Text) | ≤0.016 (MUSK) / ≤0.04 (Random) | Fusion比H&E-only Recall@50从0.611提升到0.643，说明临床文本对H&E检索mIF有正向贡献 |
| Patch级跨模态检索(Text-to-mIF) | Recall@50 | 0.169 (Haiku) | ≤0.04 (Random) | 信息差距导致性能较低但仍显著高于随机，证明metadata-only文本与mIF之间存在有意义的语义对齐 |
| Patch级融合线性probing - N stage | macro F1 | 0.942 | 次优0.931 (Haiku(mIF)) | p=9.61e-5，融合显著优于单模态 |
| Patch级融合线性probing - T stage | macro F1 | 0.961 | 次优0.970 (Haiku(mIF)) | p=1.02e-4 |
| Patch级融合线性probing - 肿瘤分级 | macro F1 | 0.942 | 次优0.904 | p=3.74e-6 |
| 切片级CRC生存预测 | C-index (5折均值) | 0.737 (Haiku(mIF)) | 0.683 (VirTues) | +0.054绝对提升 (+7.91%相对)；Kaplan-Meier log-rank p从0.274降到3.41e-3 |
| 黑色素瘤免疫治疗反应预测 | AUROC / AUPRC (5折均值) | 0.756 / 0.660 | 0.352 / 0.333 (VirTues) | AUROC p=0.0097，AUPRC p=0.023；单fold AUROC甚至达0.920 vs 0.320 |
| CRC治疗反应预测 | AUROC / AUPRC (5折均值) | 0.730 / 0.775 | 0.721 / 0.735 (VirTues) | 方向一致但统计上不显著（p=0.746/0.166），CRC任务上提升较小 |
| 零样本生物标志物融合推断 | 平均Pearson相关性(52个生物标志物) | 0.718 (Fusion α=0.8H&E+0.2Text) | 0.710 (H&E-only) / -0.033 (MUSK) | Fusion比H&E-only p=1.46e-5；MUSK接近零或负相关，证明需要专门的mIF编码器 |
| 零样本器官分类(mIF文本提示) | macro F1 (10类) | 0.179 (Haiku) | 0.067 (Random) | Wilcoxon p<0.001 |
| 零样本疾病分类(mIF文本提示) | macro F1 (11类) | 0.182 (Haiku) | 0.059 (Random) | Wilcoxon p<0.001 |
局限与改进
作者承认的局限：(1) **数据配对性瓶颈**——只用paired数据训练tri-modal对齐，未配对单模语料（57.1% mIF-only）只能用于mIF encoder预训练；(2) **依赖模态专用编码器**——对齐质量上限受MUSK/VirTues/BiomedBERT限制；(3) **文本模板化**——目前用模板法从结构化metadata生成，不是真实临床自由文本；(4) **反事实分析单患者**——乳腺癌281 patches来自1个患者、肺癌154 patches来自1个患者，需大队列跨患者验证；(5) **patch-level而非whole-slide**。我的额外观察：(a) 黑色素瘤vs CRC提升差异巨大（前者AUROC翻倍、后者几乎持平），暗示模型对分布差异敏感；(b) Text-only PCC 0.547远低于H&E-only 0.710；(c) 评估集336 paired slices来自同一Enable Medicine队列，泛化到外部mIF数据尚无证据；(d) 反事实结果缺乏定量校准，需湿实验验证。
独立分析的弱点
独立分析弱点分四类。**(1) 数据多样性天花板**：7,066张训练切片相对TCGA等公开H&E队列量级仍小且全部来自Enable Medicine；mIF编码器面对不同实验室CODEX/IMC/IBEX数据可能因染色协议、抗体克隆号差异出现偏移。**改进**：引入更多中心mIF数据或加染色/批次校正层。**(2) Patch级文本描述语义粗糙**：模板生成文本只含"high/low+离散空间模式"，缺乏对细胞形态和相互作用的精细描述，导致Text-to-mIF Recall@50仅0.169。**改进**：用VLM自动生成captions或加细胞类型分割。**(3) 反事实分析缺乏因果严格性**：单患者metadata-only扰动本质是"counterfactual nearest neighbor retrieval"，检索结果是否真的反映"临床→分子"因果关系未形式化证明。**改进**：do-calculus风格干预测试、多患者重复扰动、湿实验验证。**(4) 计算成本与可扩展性**：未报告GPU小时数。**改进**：报告能耗基准、提供轻量版投影头或LoRA。
未来方向
作者提出的未来方向：(a) 把paired+unpaired数据混合训练纳入tri-modal对齐；(b) 整合WSI级架构支持临床部署；(c) 扩展到异构自由文本临床叙述；(d) 大队列验证反事实发现的泛化性；(e) 实验验证恢复的分子机制。可延伸方向：**(1) 多组学扩展**——把空间转录组（Visium HD、Stereo-seq）、空间代谢组加入，构建"spatial multi-omics foundation model"；**(2) 临床决策支持**——用反事实检索为患者生成"不同治疗方案下分子景观与预后如何变化"的多场景；**(3) 罕见亚型发现**——通过counterfactual perturbation探索罕见微环境亚型；**(4) 药物-生物标志物图谱**——把药物文本描述加入嵌入空间；**(5) 联邦学习与隐私**——多中心mIF数据因隐私无法直接共享，可做模型层面联邦对齐；**(6) 与生成模型结合**——结合diffusion在latent space插值出新mIF patch。
复现评估
整体较好但仍有门槛。**开源情况**：代码在 https://github.com/zhihuanglab/Haiku，checkpoint和演示数据在HuggingFace；论文Methods十余页详细描述通道归一化、固定stride、文本生成规则、CLIP损失公式、AdamW超参数、25 epoch训练、投影头d=512等关键技术细节，外部研究者可较精确复现。**数据可及性**：完整训练数据（1,606患者、7,066切片）来自Enable Medicine未完全公开——只能访问demo子集，核心创新需商业合作才能严格复现。**算力门槛**：3,218切片+62M+ mIF patches的预训练+对比训练，按原论文标准估算至少需8-16张A100训练数天；下游MIL训练对单GPU友好。建议复现时优先验证demo数据上的检索/分类指标、检查对比损失稳定收敛、评估自己mIF数据上fine-tune投影头的迁移效果。
论文图表
