MedGemma 1.5 技术报告：在统一架构中扩展 3D 影像、病理 WSI、时序分析与文档理解 MedGemma 1.5 Technical Report
Google 4B 医疗多模态模型，新增 3D 影像与时序分析能力
前置知识
视觉-语言模型（VLM）
把视觉编码器（如 SigLIP）与语言解码器（如 Gemma）联合训练的多模态架构，通过对比学习与指令微调让模型同时理解图像与文本。
MedGemma 1.5 由 Gemma 3 语言骨干加 400M MedSigLIP 视觉编码器组成，看懂 VLM 是理解本报告架构与训练流程的前提。
知识蒸馏（Distillation）
用大教师模型的输出分布作为软标签训练小模型。本报告每 token 采样 256 个教师 logits，按教师概率加权后用交叉熵损失让学生逼近教师分布。
蒸馏是 MedGemma 1.5 后训练三大支柱之一（继续预训练/蒸馏/RL），对医学领域任务的能力提升至关重要。
全切片病理图像（WSI）
数字病理切片单图可达数十亿像素，通常先做组织分割，再切成固定大小 patch（如 $896 \times 896$）后送入模型。
WSI 是 MedGemma 1.5 新增的核心模态，本报告提出的 patch 采样与随机缩放策略是其病理能力跃升的关键。
Hounsfield Unit（HU）窗宽窗位
CT 体素值的标准化单位。由于视觉编码器只接受 256 级强度，需把 HU 值经多通道窗宽映射到 RGB 三通道才能保留组织对比。
MedGemma 1.5 用 R$(-1024, 1024)$、G$(-135, 215)$、B$(0, 80)$ 三通道分别兼顾肺、纵隔、脑实质，是 3D CT 性能的预处理基石。
强化学习后训练（RL）
用奖励信号微调语言模型使其输出更符合期望。本报告在 CXR、CT、MRI、WSI 等多种医学任务上同时施加 RL，对齐临床视觉任务。
RL 与蒸馏共同贡献了 MedGemma 1.5 在高维影像任务上的提升，是 WSI ROUGE-L 从 2.2% 跃升至 49.4% 的关键手段。
研究动机
现有开源医疗多模态模型几乎都只能处理 2D 影像与文本，难以应对真实临床的高维数据：CT/MRI 体数据包含数十至上百层 2D 切片，单独切片处理会丢失 3D 空间上下文；全切片病理图像（WSI）单张可达数十亿像素，patch 采样策略不成熟；多时点胸片分析需要时间序列推理能力；PDF 化验单的结构化抽取对文档理解提出新要求。MedGemma 1 发布时仅支持 2D 影像，在 3D MRI 分类上仅 51.3%、WSI 报告生成 ROUGE-L 仅 2.2%、解剖定位 IoU 仅 3.1%，远达不到临床可用水平；而专攻单一模态的模型又缺乏统一的通用接口，开发者集成成本极高。
本文的目标是本文发布 MedGemma 1.5 4B，目标是在单一 4B 参数架构中同时原生支持四大新能力：3D 放射学解读（CT/MRI 体数据）、病理 WSI 报告生成、胸部 X 光精细解剖定位（bounding box）、多时点胸片纵向分析；同时显著提升医学文档（化验单 PDF/EHR）结构化抽取与文本临床推理能力，使模型成为医疗多模态开发者社区的通用可微调基座。报告还设置了量化目标：在 MRI 分类上相对前代提升 10 个百分点以上、WSI 报告生成 ROUGE-L 提升 40 个百分点以上、解剖定位 IoU 提升 30 个百分点以上，且不显著回退现有基准。
与已有工作不同的是，现有工作要么专攻单一高维模态（如 PathChat、BioViL-T），要么是通用多模态模型但不支持 3D/WSI/时序。MedGemma 1.5 的独特切入点是：在保持 4B 轻量级可部署规模的前提下，通过长上下文 3D 切片采样（最多 85 张）、WSI 随机缩放 patch 采样（最多 126 张）与多通道 CT 窗宽映射，把多种高维模态塞进同一组视觉 token 预算（$\le 32K$ token），并用三阶段后训练（继续预训练 + 蒸馏 + RL）一次性对齐所有模态，是首个在单一架构中同时达成这些基线能力的开源模型。
核心方法
MedGemma 1.5 4B 沿用 MedGemma 1 的架构：400M MedSigLIP 视觉编码器 + Gemma 3 语言骨干，视觉侧冻结，语言侧继续训练。整体思路是"冻结视觉、扩数据、改预处理、堆后训练"。新增训练数据涵盖 605,732 张印度医院胸片、282,963 例 CT、167,674 例 MRI、335,825 张 WSI、25,560 + 87,879 张皮肤图像与 4 个 EHR/化验单数据集。3D 体数据切成最多 85 张 $896 \times 896$ 轴位切片（21,760 视觉 token）按 z 轴等距采样；WSI 在 5x/10x/20x 三档放大率（概率 0.34/0.33/0.33）随机选一档再切最多 126 个 $896 \times 896$ patch（32,256 token）。后训练采用 Gemma 3 同款配方（PT → Distill → RL），蒸馏时每 token 采样 256 个教师 logits 加权求 KL 散度，并新增领域专用教师（CT/MRI/WSI 各一名）增强高维模态。
核心创新点是把"高维医学影像如何编码进固定大小上下文"这一工程难题做了系统化处理：一是用三通道 HU 窗宽映射（$R:\,[-1024,1024]$、$G:\,[-135,215]$、$B:\,[0,80]$）让 2D 视觉编码器同时感知肺、纵隔、脑三种解剖区域，把 3D 切片序列塞进语言模型上下文窗口；二是对 WSI 设计"低分辨率组织分割 → 高分辨率随机放大率 → 等距网格切 patch → 固定 126 个 patch"流水线，并显式保留空间顺序；三是引入领域专用教师蒸馏（在 CT Dataset 1、MRI Dataset 1、WSI 上各训一名专门教师），让 4B 学生能逼近远超自身容量的专科模型。
方法步骤详情
训练流程分四步：（1）继续预训练，冻结 MedSigLIP，把上述新增图像-文本对用监督微调方式继续训练 LLM，目标函数为标准交叉熵 $\mathcal{L}_{PT}=-\sum_i \log p_\theta(y_i|x_i)$；（2）多教师蒸馏，对通用大教师与领域专用教师各采样 256 个 logits/token，按教师概率 $p_T$ 加权得到软标签，最小化 $\mathcal{L}_{distill}=-\sum_i p_T(y_i)\log p_\theta(y_i)$；（3）强化学习，在 CXR、CT、MRI、WSI 等多任务奖励信号上做 RLHF；（4）评估时采用 temperature $=0.0$，所有数据严格在训练集外。预处理细节上，3D 体数据先按 $512\times 512$、轴位、等层厚、$\ge 5$ 张筛选，再限制总切片数 $\le 85$，超出则 z 轴等距采样；CT 用上述三通道窗宽映射，MRI 用 min-max 归一化后三通道复制同一灰度。
技术新颖性
与同期工作相比，新颖性体现在三方面：第一，把"切片序列 + 文本报告"当成单一长上下文输入而非独立样本，使模型在 3D MRI 分类上获得 11% 绝对提升（$51.3\%\to 64.7\%$）；第二，WSI 随机放大率采样策略在保留空间顺序的前提下控制视觉 token 数，使 WSI 报告生成 ROUGE-L 取得 47% 巨幅提升（$2.2\%\to 49.4\%$）；第三，把解剖定位（bounding box）作为原生输出能力，通过 IoU 目标微调使 Chest ImaGenome IoU 从 3.1% 飙升至 38.0%，首次让一个 4B 模型同时具备空间定位与时序对比推理能力。
实验结果
核心发现分四组：（1）3D 影像：MRI Dataset 1 分类准确率 $51.3\%\to 64.7\%$（+11%），CT Dataset 1 $58.2\%\to 61.1\%$（+3%）；（2）WSI：内部 WSI Histopath 报告生成 ROUGE-L 从 $2.2\%$ 跃升至 $49.4\%$（+47%），逼近 PolyPath SOTA 的 $49.8\%$；（3）解剖定位：Chest ImaGenome 平均 IoU 从 $3.1\%$ 飙升至 $38.0\%$（+35%），与 Gemini 3 Pro 的 $39.1\%$ 持平；（4）文本与时序：MS-CXR-T 多时点 macro accuracy $61.1\%\to 65.7\%$（+4%），MedQA $64.4\%\to 69.1\%$（+5%），EHRQA $67.6\%\to 89.6\%$（+22%），4 个化验单抽取平均 macro F1 提升至 78%，MedXpertQA 多模态推理从 $18.8\%$ 升至 $26.4\%$，超过同尺寸 Qwen3 VL 4B 的 $21.9\%$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 3D MRI 条件分类 (MRI Dataset 1) | Accuracy | 64.7% | MedGemma 1 4B: 51.3% | +11% (绝对), 已逼近 Gemini 3 Flash 60.3% |
| 3D CT 条件分类 (CT Dataset 1) | Accuracy | 61.1% | MedGemma 1 4B: 58.2% | +3% (绝对), 与 Gemini 3 Pro 61.0% 持平 |
| WSI 病理报告生成 | ROUGE-L | 49.4% | MedGemma 1 4B: 2.2% | +47% (绝对), 逼近 PolyPath SOTA 49.8% |
| 胸部 X 光解剖定位 | Mean IoU | 38.0% | MedGemma 1 4B: 3.1% | +35% (绝对), 略胜 Gemini 3 Flash (38.5%) |
| 多时点胸片分类 (MS-CXR-T) | Macro Accuracy | 65.7% | MedGemma 1 4B: 61.1% | +4% (绝对), 优于 Gemini 3 Pro (62.9%) |
| 医学文本 QA (MedQA) | Accuracy | 69.1% | MedGemma 1 4B: 64.4% | +5% (绝对), 但低于 Qwen3 VL 4B 76.8% |
| EHR 问答 (EHRQA) | Accuracy | 89.6% | MedGemma 1 4B: 67.6% | +22% (绝对), 与 Gemini 3 Pro (95.2%) 仅差 5.6% |
| 化验单信息抽取 (EHR Dataset 4) | Macro F1 | 64 | MedGemma 1 4B: 25 | +39 (绝对), 提升 2.5 倍 |
局限与改进
作者承认的局限：（1）模型成为"医疗通才"后在某些传统基准上轻微回退——SLAKE tokenized F1 从 72.3% 降至 59.8%（-12.5%），VQA-RAD 从 49.9% 降至 48.1%（-1.8%），PubMedQA 从 73.4% 降至 67.6%，作者认为这些基准依赖 token 重叠、答案未标准化，质量有限；（2）3D 切片数被硬限 85 张、WSI 限 126 个 patch，超长病例（如全腹部 CT）必须下采样可能丢失细节；（3）部分新基准（Qwen3 VL 4B）因内部推理框架不兼容未能完整对比。我的额外观察：CT 内部数据集仅 +3% 提升幅度远小于 MRI 的 +11%，说明头部多通道窗宽映射对肺/脑区域更友好；EHR Dataset 4 虽从 25 飙到 64，但仍只有 Gemini 3 Pro (81) 的 79%，说明小模型在稀有化验单模板上仍有较大差距。
独立分析的弱点
独立分析三个关键弱点：（1）prompt 敏感性高，作者明确承认"prompt 改动显著影响 benchmark 性能，进一步优化仍有空间"，意味着当前数字可能并非模型真实能力上界，实际部署需要 prompt 工程；（2）3D 切片被强制 $\le 85$ 张且需等距采样，对全腹部 CT 或高分辨率 MRI 容易遗漏微小病灶，且不同层厚的扫描会改变采样密度，可能引入偏差——改进方向是引入自适应切片采样或滑动窗口；（3）WSI 仅保留单放大率档位且仅 126 patch，对肿瘤异质性高的病例可能漏掉关键区域，改进方向是结合多倍率金字塔输入或基于注意力的 patch 选择；（4）边界框定位 IoU 38% 虽比前代好但仍偏低，输出 JSON 格式也限制了下游使用灵活性，改进方向是引入更结构化的位置编码。
未来方向
作者明确方向：扩展内部评估框架以兼容 Qwen 等异构架构做更公平对比；针对 SLAKE/VQA-RAD 等回退基准做针对性微调以恢复窄任务性能。基于成果可延伸的方向：（1）把 3D 切片数动态化或引入压缩器，让模型处理更长病例；（2）把 WSI 多放大率金字塔原生接入，让模型在不同尺度上联合推理；（3）把 bounding box 能力与 EHRQA 文档理解结合，支持"指向 + 解释"联合输出；（4）在 RL 阶段引入临床医生反馈的多轮偏好数据，对齐真实临床推理；（5）探索多模态 RAG 方案，让模型调用外部医学知识库弥补训练数据盲区。
复现评估
复现评估：模型权重与教程已开源（https://goo.gle/medgemma），但训练数据绝大部分是内部数据集（CT Dataset 1、MRI Dataset 1、Internal WSI 335,825 例、Dermatology 4/5、CXR-IND1 605,732 例、EHR Dataset 2-5 等），外部研究者无法复现完整训练流程，只能基于开源权重做微调与评估；评估代码基于内部框架，附录 A/B 提供了 prompt 模板但缺乏统一推理脚本。算力层面未公开，但 4B 模型 + 400M 视觉编码器、$\le 32K$ 上下文，预估单卡 H100 80GB 可微调。整体复现难度：权重获取易（Apache 类许可），训练流程复现难（数据不可得），评估可参照公开评测集（CT-RATE、MS-CXR-T、Chest ImaGenome、Mendeley）做近似复现。
论文图表
一张能力矩阵图，展示 MedGemma 系列模型对五大模态（2D 影像、文本、皮肤科、放射科、眼科、高维影像）的覆盖情况：MedGemma 1.5 4B 在保留原 2D 影像与文本能力基础上，新增 3D 放射学、WSI 病理、多时点放射、解剖定位四大能力；27B 版本保留复杂临床推理；MedSigLIP 0.4B 单独用于图像分类与检索。
让读者一目了然地看到 MedGemma 1.5 在产品线中的定位——以 4B 轻量级参数首次把 3D/WSI/时序/定位四种高维能力纳入单一架构，是理解论文动机的核心图示。