ClinFusion：面向整体医学理解的视觉中心多模态大模型系统 ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
组合式级联视觉编码器+RoI评测，统一2D/3D医学影像理解
前置知识
多模态大语言模型 (Multimodal Large Language Model, MLLM)
在纯文本大语言模型基础上接入视觉(图像/视频)等模态编码器，让模型既能做语言推理又能理解像素的统一模型。典型结构为"视觉编码器(ViT) → 视觉-语言合并器(merger) → LLM 解码器"。医学场景下的代表有 Lingshu、Hulu-Med、MedGemma、LLaVA-Med 等，它们通常用通用 MLLM 骨干做医学微调，但视觉骨干基本不变。
ClinFusion 的全部创新都建立在"医学 MLLM = 视觉编码器 + LLM"这一范式之上。必须先理解通用 MLLM 与医学 MLLM 的现状（单编码器、阶段式微调），才能理解作者为何把视觉编码器做组合化、把评测做 RoI 化。
视觉 Transformer 与 Qwen-VL / Qwen ViT
Vision Transformer 把图像切成 patch token，叠加自注意力层输出空间特征图。Qwen-VL 系列在此基础上引入动态分辨率（patch size 16 + $2\times2$ token merging）与 DeepStack 机制——把视觉特征注入 LLM 的多个深层，避免视觉信息在深层被稀释。ClinFusion 把 Qwen-VL 的原生 ViT 称为"Qwen ViT"，作为与 LLM 已对齐的基础编码器。
ClinFusion 的核心是"保留 Qwen ViT 与 LLM 的强对齐、再用专家编码器去增强它"。如果不懂 DeepStack 和 Qwen ViT 已经对齐这件事，就读不懂 CaSL Fusion 为什么要把 Qwen ViT 永远放在左侧当 query 主干、以及为什么能与 DeepStack 兼容。
交叉注意力与局部交叉注意力 (Cross-attention / Local Cross-attention)
交叉注意力用一个序列的 token 作 query、另一个序列的 token 作 key/value，公式为 $A_j = \text{softmax}(q_j K_j^\top / \sqrt{D})$，再 $o_j = A_j V_j$。标准做法是每个 query 对全部 key 做全局注意力，复杂度关于 token 数 $N$ 是二次的；"局部"版本只在一个 $k\times k$ 空间窗口内取 key/value，复杂度降为关于 $N$ 线性，同时引入强空间归纳偏置。
CaSL Fusion 的全部数学实质就是"以 Qwen ViT token 为 query、以专家编码器 token 为 key/value 的局部交叉注意力"，窗口 $k=3$（DINOv2/3D）或 $k=5$（ConvNeXt）。不懂交叉注意力就读不懂方程 (3)~(4)，也就无法判断它和并联聚合(Cambrian-1)、通道拼接的本质区别。
放射报告生成与 RadGraph-F1 / 基于事实性的评测
自动评测生成报告的传统指标分三类：(1) 词面/语义匹配类 BLEU、ROUGE、METEOR、CIDEr、BERTScore；(2) 实体抽取类 RadGraph-F1——用 RadGraph-XL 把报告解析为(解剖结构, 观察, 关系)三元组再算 F1；(3) 整体 LLM 打分类 GREEN。它们的共同弱点是无法区分"匹配/漏诊/幻觉"三类临床发现。ClinFusion 提出 RoI-grounded 方法，用 LLM-as-judge 把声明拆成 [MATCHED]/[MISSED]/[HALLUCINATED] 三类，再算 Precision/Recall/F1。
RoI-grounded 报告评测是论文三大贡献之一，也是 Fig. 5b 中与专家判断相关性最高的指标。必须先掌握 RadGraph-F1 的同义不敏感、长文本偏置两类缺陷，才能理解 ClinFusion 新指标的设计动机与它为何在 11 个指标中相关性最强。
3D 体积数据编码 (CT/MRI Volumetric Encoding)
CT/MRI 是三维体积数据 $I_{3D}\in\mathbb{R}^{D\times H\times W}$，与 2D 图像本质不同。主流医学 MLLM 处理 3D 的做法是采样若干 2D 切片（如每卷 32 张 $256\times256$）当 2D 喂入，会丢失层间空间上下文。原生的 3D 视觉编码器（如 PE-3D）用 3D patch（如 $8^3$）直接吃整个体积，输出深度为 $D_{vol}$ 的特征体积。ClinFusion 用 32 帧输入、深度方向下采样 8 倍得到 $D_{vol}=4$。
"原生 3D 编码器 + 2D 锚定"是 ClinFusion 区别于 Hulu-Med/Lingshu 的关键架构差异。消融显示去掉 3D 编码器后 3D VQA 平均掉 3.0、报告 F1 掉 4.0。不懂 3D 编码就无法理解 Fig. 6f 的消融与 Fig. 4 的 3D 优势来源。
检索增强生成与智能体工具调用 (RAG / Agentic Tool Use)
RAG 指模型在回答前从外部知识库检索相关段落作为证据，缓解参数化知识过期与幻觉问题；医学 RAG 通常用向量检索 + 知识图谱（UMLS、PrimeKG）混合检索，并做概念归一化处理同义词/缩写。Agentic tool use 进一步让 LLM 走 plan–act 工作流，按需调用感知专家工具（如器官/病灶分割、脂肪肝分级）并把结构化输出作为可审计证据再综合成答案。
智能体扩展是 ClinFusion 第三个部署层面的贡献，在文本 benchmark（SuperGPQA +12.8）与多模态描述任务（CheXpert-Plus +12.4）上都带来稳定增益。不懂 RAG 与 plan–act 工作流，就无法理解 Fig. 7 与 Extended Data Fig. 4 的工具调用证据链。
研究动机
把 MLLM 部署到临床是"视觉中心"挑战，但现有医学 MLLM 在两个紧密耦合的维度上都有硬伤。第一是"异质视觉知识吸收"：医学影像横跨 2D（X 光、病理切片、眼底）与 3D（CT、MRI），单一巨型视觉编码器难以同时捕获病理的高频纹理细节和器官的全局结构语义。主流医学 MLLM（Lingshu、Hulu-Med、LLaVA-Med、HuatuoGPT-Vision）几乎都是"数据中心"路线——用精挑细选的图文对做阶段式微调，但视觉骨干仍是单个编码器；其架构策略要么是 2D 中心（把 3D 切成稀疏 2D 切片，丢掉层间结构），要么是 3D 中心（引入 3D 编码器但需要大量复杂的对齐数据）。第二是"视觉接地评测"缺位：现有 benchmark 忽略了"指令跟随"这一被领域微调严重削弱、却又是临床部署前提的能力（如 Lingshu-7B 在 MedIF-Bench 仅 80.4）；报告生成评测更是与临床脱节——既不给临床语境就让模型盲写，又用 BLEU/ROUGE/RadGraph-F1 这类词面或实体匹配指标，无法区分匹配、漏诊与幻觉。此外 MLLM 知识静态、推理不可追溯、在专用任务上有感知瓶颈，这些都是部署障碍。
本文的目标是本文目标是打造一个"视觉中心、可整体理解"的医学 MLLM 系统 ClinFusion，系统性打通上述每个瓶颈。具体目标有四：(1) 架构层面——设计组合式、级联的视觉编码器，用 CaSL Fusion 把异质 2D 与原生 3D 医学影像统一进一个与 LLM 已对齐的基础表示里，既不牺牲 3D 结构、也不需要海量 3D 对齐数据；(2) 评测层面——提出 MedIF-Bench 衡量复杂临床指令跟随，提出 RoI-grounded 报告生成评测，用临床语境约束生成范围、用 LLM-as-judge 把声明拆成匹配/漏诊/幻觉三类并算 Precision/Recall/F1；(3) 性能层面——在 2D/3D 多模态与纯文本医学 benchmark 上全面 SOTA，对开源医学 MLLM 24 个 benchmark 赢 20 个、对 GPT-5.2/Gemini-3-Flash 等闭源模型 16 个 benchmark 赢 13 个；(4) 临床落地层面——用 6 位持证放射科医生的盲评验证报告质量，并加智能体工具系统支持检索增强与感知专家调用。
与已有工作不同的是，ClinFusion 的独特切入角度是"把多编码器组合从'并联聚合'升级为'级联增强'，并用 2D 锚定把 3D 拉进已对齐空间"。以往通用领域的多编码器工作（包括最相关的 Cambrian-1）都是并联聚合多分辨率输入以提升视觉锐度，既没有原生 3D 编码器也没有引导式融合；医学 MLLM 则要么纯 2D、要么纯 3D 加复杂对齐。ClinFusion 反其道而行：保留 Qwen ViT 作为永远在左侧当 query 的"对齐主干"，让专家编码器通过局部交叉注意力级联地、非对称地、左结合地把特征"喂"进主干（$Z=\bar{X_1}\triangleright\triangleleft\bar{X_2}\cdots\triangleright\triangleleft\bar{X_M}$），并用同一套机制、借助已对齐的 2D 锚点切片快速把 3D 拉进视觉-语言空间。在评测侧，它首次把"临床语境约束 + 事实性三分类"引入报告生成评测，并用专家盲评直接证明该指标与临床判断相关性最强。
核心方法
ClinFusion 的整体思路是"骨干不动、专家来补、级联喂回、锚定三维"。它以 Qwen3-VL（含 LLM、Qwen ViT、vision-language merger）为底座，因为 Qwen ViT 已与 LLM 深度对齐且支持 DeepStack 深层注入。在 Qwen ViT 之外，作者额外挂两个专家 2D 编码器——DINOv2-Large 提供自监督的鲁棒语义、ConvNeXt-Large-d-320 提供卷积的局部高频纹理；再挂一个原生 3D 编码器 PE-3D 处理 CT/MRI 体积。所有专家特征先经投影 $W_{\text{align}}$ 与 Resize 对齐到 Qwen ViT 的 $H\times W$ 空间形状，再通过 CaSL Fusion 算子 $\triangleright\triangleleft$ 级联地以局部交叉注意力方式注入 Qwen ViT 表示，最终把融合特征 $Z$ 喂给 LLM。对 3D 体积，采用双路径：原生 3D 编码出体积特征 $P$，同时随机采样 4 张 2D 锚点切片走完整 2D CaSL Fusion 得到锚点特征，再用 depth-aware CaSL Fusion $\triangleright\triangleleft_{3D}$ 让 2D 锚点在空间+深度窗口内注意力 3D 特征。整个系统还叠加了一个智能体工具扩展（RAG + 感知专家）用于部署增强。
核心创新是 CaSL Fusion（Cascade Spatial-Aware Locality Fusion，读作 "castle"）这一非对称、左结合、级联的局部交叉注意力算子。本质区别有三点。第一，与 Cambrian-1 的"并联聚合"不同，CaSL 把 Qwen ViT 永远放在最左侧当 query 主干，专家特征当 key/value，融合后结果又作为下一级的 query 继续级联（$Z=\bar{X_1}\triangleright\triangleleft\bar{X_2}\triangleright\triangleleft\bar{X_3}$），实现"渐进式特征丰富"而非"一次并联"。第二，注意力被限制在以同空间位置为中心的 $k\times k$ 局部窗口（$k=3$ 或 $5$），把复杂度从关于 $N$ 的二次降为线性，同时注入强空间归纳偏置。第三，为防止模型因 Qwen ViT 已对齐而走捷径忽略专家特征，训练时引入随机残差正则 $\tilde{X_1}'=\lambda\cdot\bar{X_1}+2\text{DLocalCrossAttn}(\cdot)$，$\lambda\sim\text{Bernoulli}(1-p_{\text{drop}})$，$p_{\text{drop}}=0.1$，推理时关闭。对 3D，又提出 2D-anchored depth-aware 变体，让已对齐的 2D 锚点引导 3D 快速对齐、并继承 2D 预训练知识，这是它与"3D 中心 + 复杂对齐"路线的本质差异。
方法步骤详情
完整流程含架构与五阶段渐进训练。架构上：(1) 输入图像 $I$ 同时过 Qwen ViT、DINOv2（$224^2$）、ConvNeXt（$320^2$），各得特征图 $X_i$；经 $\bar{X_i}=\text{Resize}(W_{\text{align}}X_i)\in\mathbb{R}^{N\times D}$ 对齐到 $H\times W$（ConvNeXt 特例放大到 $5H\times5W$ 以保高频）。(2) 以 Qwen ViT 为 query、DINOv2 为 key/value，在第 $j$ 个 token 的 $k\times k$ 邻域 $B_{2D}(j)$ 取 $K_j,V_j$，算 $A_j=\text{softmax}(q_jK_j^\top/\sqrt{D})$、$o_j=A_jV_j$，经残差+FFN 得融合块；再级联 ConvNeXt 得 $Z$，替换原 $X_1$ 喂 LLM，且与 DeepStack 兼容（每层 $l$ 都做一次级联）。(3) 对 3D 体积，PE-3D（32 帧输入、$D_{vol}=4$）出 $P$，同时采样 4 张 2D 切片走 2D CaSL Fusion 得锚点 $Z^{[s]}$，再用 depth-aware 窗口 $B_{3D}(j)$（空间 $k\times k$ 跨全深 $D_{vol}$）做 3D 局部交叉注意力得 $\tilde{Z}^{[s]}$，4 张拼成 $S\times N$ 序列喂 LLM。训练五阶段：阶段1浅层多编码器对齐（仅训投影+CaSL+编码器，LLM 与基座编码器冻结）；阶段2深层视觉-语言对齐（解冻 LLM）；阶段3 2D 指令微调；阶段4快速 3D 编码器对齐（冻结 LLM 与全部 2D 组件，仅训 3D 编码器+2D 锚定融合）；阶段5整体 2D/3D 指令微调。优化用 AdamW（$\beta_1=0.9,\beta_2=0.999$）、学习率 $1\times10^{-5}$、余弦调度 100 步 warmup、BF16、DeepSpeed ZeRO-3、FlashAttention-2、序列截断 4096，在 NVIDIA H20 上训练。
技术新颖性
技术新颖性体现在四处。第一，首次在医学 MLLM 中用"组合式专家编码器 + 级联局部交叉注意力"替代单编码器，且级联是左结合非对称的，保证 Qwen ViT 主干对齐不被破坏——Cambrian-1 的并联聚合没有这种"渐进丰富"，医学 MLLM 则根本没有多专家设计。第二，CaSL Fusion 把注意力限制在局部 $k\times k$ 窗口，既降复杂度（二次→线性）又注入空间归纳偏置，并配随机残差正则对抗优化捷径，这是融合机制层面的小而关键的工程创新。第三，2D-anchored depth-aware CaSL Fusion 让 3D 编码器"借 2D 锚点快速对齐"，绕开了 3D 中心路线需要海量 3D 对齐数据的痛点，也保留了 2D 预训练知识的迁移。第四，评测侧 MedIF-Bench 与 RoI-grounded 报告评测是"评测方法学"的新贡献——前者把"指令跟随是临床部署前提"这件事首次量化（如 MedGemma-1.5-4B-IT Overall-IF 仅 27.4 导致其 PMC-VQA 假性低分 18.7），后者用临床语境+事实性三分类解决了 RadGraph-F1 的同义不敏感与长文本偏置，并用 6 位放射科医生盲评证明它与专家判断 Kendall $\tau=0.511$ 相关性最高。
实验结果
核心发现分五层。2D VQA：ClinFusion-8B 在 8 个 benchmark 的 7 个上拿下医学 MLLM 第一，并在 OmniMedVQA、PMC-VQA、MedFrameQA、VQA-RAD、SLAKE、PathVQA 六个上超过 Gemini-3-Flash；对极难的 MedXpertQA 与闭源仍有差距，但 8B→32B 可显著缩小（MedXpertQA $20.0\to26.7$）。2D 报告：ClinFusion-8B 在 CheXpert-Plus 取 F1 37.8、IU-XRAY 取 57.3，大幅领先 Hulu-Med-7B（31.9/46.5），且整体不输甚至超过 GPT-5.2/Gemini-3-Flash。3D VQA：8B 在 AMOS-MCQ 取 80.2，比 7B 医学基线 Hulu-Med-7B（65.7）高 14.5、超过 32B 的 Hulu-Med（73.9），比 Gemini-3-Flash 高 16 分；32B 进一步到 AMOS-MCQ 81.7、CT-Rate MCQ 89.0。3D 报告：32B 在 CT-Rate Report 取 F1 23.9，胜 Hulu-Med-32B（23.4）、Gemini-3-Flash（20.2）、GPT-5.2（14.1）；AMOS Report 32B F1 16.1 为开源医学最优，但 Gemini-3-Flash（23.4）整体领先，作者坦言留待后续。指令跟随：MedIF-Bench Overall-IF 8B 98.1、32B 98.9，超越所有闭源（GPT-5.2 96.0、Gemini 96.6、Claude-Sonnet-4.5 86.5）；对比 Lingshu-7B 80.4、Lingshu-32B 82.6，证明医学微调不必牺牲指令跟随。文本：32B 在 8 个文本 benchmark 的 7 个上拿医学 MLLM 第一，MedXpertQA 26.7 vs Hulu-Med 19.8、Medbullets 74.8 vs 67.5、MedQA-MCMLE 93.8 vs 87.0。专家盲评：6 位持证放射科医生对 300 病例（100 胸片+100 胸部 CT+100 腹部 CT）排序，带智能体的 ClinFusion 在整体/准确/完整/可用四维均第一，对 Hulu-Med 与 Gemini-3-Flash 显著（$p<0.001$）；RoI 指标与专家判断相关性最高（Kendall $\tau=0.511$、Spearman $\rho=0.572$、Top-1 55.5%），评分者一致性 $W=0.665\pm0.275$ 证实可靠。智能体工具：8B 在 CheXpert-Plus +12.4、3D-RAD Open VQA +8.4、SuperGPQA +12.8、MedQA-U +11.1，描述类/知识密集类增益最大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 2D 胸片报告生成 (CheXpert-Plus) | RoI-Grounded F1 | ClinFusion-8B 37.8 | Hulu-Med-7B 31.9；Gemini-3-Flash / GPT-5.2 整体更低 | 比前一代开源医学 MLLM Hulu-Med-7B 高 +5.9 F1，并超过全部闭源 API，显示增强视觉对临床报告的直接影响 |
| 2D 胸片报告生成 (IU-XRAY) | RoI-Grounded F1 | ClinFusion-8B 57.3 | Hulu-Med-7B 46.5 | +10.8 F1，约 23% 相对提升，验证组合式视觉编码器对细粒度病灶（如心影增大、肺血管增粗）的感知优势 |
| 3D 多器官 VQA (AMOS-MCQ) | 准确率 | ClinFusion-8B 80.2，ClinFusion-32B 81.7 | Hulu-Med-7B 65.7；Hulu-Med-32B 73.9；Gemini-3-Flash 64.2 | 8B 比同尺寸 Hulu-Med-7B +14.5、比 Gemini-3-Flash +16，原生 3D 编码器贡献显著 |
| 3D CT 报告生成 (CT-Rate Report) | RoI-Grounded F1 | ClinFusion-32B 23.9（全场最高） | Hulu-Med-32B 23.4；Gemini-3-Flash 20.2；GPT-5.2 14.1 | 胜过最强开源医学基线 +0.5，并明显超过 Gemini-3-Flash +3.7、GPT-5.2 +9.8 |
| 医学指令跟随 (MedIF-Bench) | Overall-IF（格式合规百分比） | ClinFusion-8B 98.1，ClinFusion-32B 98.9 | GPT-5.2 96.0；Gemini-3-Flash 96.6；Claude-Sonnet-4.5 86.5；Lingshu-7B 80.4；MedGemma-1.5-4B-IT 27.4 | 32B 超全部闭源 +2.9（vs GPT-5.2），证明医学微调可保留近骨干级指令跟随 |
| 文本医学推理 (MedXpertQA) | 准确率 | ClinFusion-32B 26.7（医学 MLLM 第一） | Hulu-Med-32B 19.8 | +6.9，视觉中心架构未牺牲文本能力；与闭源仍有差距但 8B→32B 显著缩小（$20.0\to26.7$） |
| 评测指标与专家一致性 (300 病例盲评) | Kendall τ / Spearman ρ / Top-1 准确率 | RoI-Grounded τ=0.511, ρ=0.572, Top-1 55.5%（11 指标中最高） | RadGraph-F1 / GREEN / BLEU-4 / BERTScore 等 10 个指标全部更低 | RoI 指标与放射科专家判断相关性最强，为"评测应反映临床需求"提供直接证据；评分者 W=0.665 证实可靠 |
| 智能体增强增益 (ClinFusion-8B) | 分数提升（带工具 vs 裸模型） | CheXpert-Plus +12.4、3D-RAD Open VQA +8.4、SuperGPQA +12.8、MedQA-U +11.1 | 裸 ClinFusion-8B | 描述类与知识密集类任务增益最大，工具调用证据可审计；唯 MedQA-M 因中文检索语料不足 -4.8 |
局限与改进
作者承认三类局限：第一，当前智能体工具集有限，未覆盖超声、MRI 等更多模态与治疗规划模拟器等更多功能；第二，在知识密集型文本 benchmark 上与 Gemini-3-Flash 等强闭源模型仍有差距，归因于容量与训练数据规模差异（智能体 RAG 部分缓解）；第三，离线 benchmark 表现好不等于临床可用，真正落地仍需人在回路评估并应对伦理与监管。补充我观察到的几点：(1) 3D 报告在 AMOS 上 Gemini-3-Flash（23.4）仍大幅领先 ClinFusion-32B（16.1），说明在腹部 CT 报告这类场景组合式架构优势尚未兑现；(2) MedIF-Bench 只评格式合规不评医学正确性，高 IF 分不直接等于临床可靠；(3) RoI-grounded 评测依赖 GPT-4.1 当 judge，评测成本高且引入对 judge 模型的依赖，作者虽用专家盲评验证了相关性，但 judge 的系统性偏置未充分讨论；(4) 训练语料含 110 万张医院 CT 与伪报告，这类私有数据难以复现，可能造成开放基准与真实部署表现不一致。
独立分析的弱点
独立审视后有以下弱点及改进方向。第一，专家编码器"边际递减"明显：消融显示第二个专家对 VQA 至多 +0.4、对报告 +0.9，意味着简单堆编码器收益有限；改进方向是用 MoE-style 路由或任务自适应地选择激活哪些专家，而非固定全级联。第二，3D 报告在 AMOS 腹部场景落后 Gemini-3-Flash 7.3 分，可能因 4 张锚点切片对腹部多器官全景覆盖不足；改进方向是把锚点切片数 $S$ 从 4 提到自适应/可学习采样，或对腹部 CT 专门做器官感知的锚点选取。第三，指令跟随评测 MedIF-Bench 只看格式不看内容，可能高估"临床可用性"；改进方向是把 IF 与 RoI 事实性 F1 联合成一个"可部署性"复合指标，并报告两者的相关性。第四，RoI-grounded judge 用 GPT-4.1，存在成本与可复现性瓶颈，且对小模型生成的口语化报告可能有同义不敏感的残余风险；改进方向是训练一个轻量医学 judge 或用多 judge 投票降低单一 judge 偏置。第五，随机残差正则 $p_{\text{drop}}=0.1$ 是经验值，论文未给敏感性曲线，对更小编码器组合可能不稳；改进方向是按专家对齐难度自适应调 $p_{\text{drop}}$。第六，ConvNeXt 特征被放大到 $5H\times5W$ 是受显存限制的折中，更大的上采样因子可能进一步提升高频纹理感知但作者未尝试。第七，缺乏在非英语（除 MedQA-M 外）和真实 EHR 集成的端到端评测。
未来方向
作者明确提出的方向包括扩展工具生态（更多模态如超声/MRI、更多功能如治疗规划模拟器）、通过扩大模型与数据缩小与闭源在知识密集任务上的差距、以及人在回路临床验证。基于成果我认为还可延伸五条：(1) 把组合式架构泛化为"按模态插拔"的插件接口，未来出现新的基础视觉模型（如更好的病理或眼底编码器）可直接挂入 CaSL 级联；(2) 把 2D-anchored 思想反向用于时序数据（4D 心脏 MRI、动态造影），用关键帧锚定整段时序体积；(3) 把 RoI-grounded 评测从报告生成推广到"鉴别诊断"与"治疗建议"生成评测，并用 SEER 等真实肿瘤登记数据做生存预后的事实性评测；(4) 让智能体工具从"被动调用"走向"主动学习"，即模型根据工具反馈做在线微调以持续修正感知偏置；(5) 把 CaSL Fusion 的局部窗口 $k$ 与 ConvNeXt 上采样因子做成可学习参数，并与 DeepStack 层选择联合优化，探索"在哪一层融合哪个专家"的最佳拓扑。
复现评估
复现评估分四方面。开源情况：作者给出 GitHub（github.com/alibaba-damo-academy/ClinFusion）与 HuggingFace 主页（含模型与 collection），是相对完整的开源承诺，模型基于开源 Qwen3-VL-8B/32B，DINOv2、ConvNeXt、PE-3D 也均开源或可获取，主干依赖充分。数据可获得性：训练语料含 PubMed、StatPearls、MedRAG、UMLS、PrimeKG、18K 指南、10 万期刊等公开资源，但 22.2M 语料中的 110 万张医院 CT 与伪报告、以及部分 SEER 患者数据为私有，无法复现，这是最大障碍；好在 MedIF-Bench、RoI 评测方法与 300 例盲评协议应随代码发布。算力需求：5 阶段训练，最大阶段（阶段5）用 32 卡 H20、batch 256、3 epoch，外加阶段1-3 的 16 卡，整体属中大型规模，中小团队难以完整复现全量训练，但可在子集上复现关键消融。复现难度：CaSL Fusion 的非对称左结合级联、与 DeepStack 的逐层融合、2D-anchored depth-aware 3D 融合都需要改 Qwen3-VL 内部前向（不是直接套 HF 接口），工程门槛较高；评测侧还需部署 GPT-4.1 judge 与混合检索引擎（UMLS/PrimeKG 概念归一化），基础设施不轻。综合看：模型权重与评测协议可复现、消融趋势可验证，但全量训练与私有 CT 数据难以 1:1 复现，整体复现度中等偏上。
论文图表
把论文三大贡献一图概括：左侧"异质视觉知识吸收"问题（2D 与 3D 影像多样、单编码器不足），中间 ClinFusion 的组合式+级联视觉架构与 CaSL Fusion，右侧"视觉接地评测"（MedIF-Bench + RoI-grounded）与智能体工具扩展，箭头串起"架构—评测—系统"三层贡献。
这张图是全文定位图，把"视觉中心"这一论文主线和三大贡献的关系一次讲清，是理解 motivation 与 method 衔接的关键视觉证据。
(a) 300 病例四系统 Borda 分：带智能体的 ClinFusion 在整体/准确/完整/可用四维均第一，对 Hulu-Med、Gemini-3-Flash $p<0.001$；(b) 11 个自动指标与专家共识相关性，RoI-grounded Kendall $\tau=0.511$、Spearman $\rho=0.572$、Top-1 55.5% 全部最高；(c) 逐病例 $\tau$ 分布显示 RoI 均值更高方差更低；(d)(e) 评分者一致性 $W=0.665$，按模态与维度稳定。
这是把"自动指标"与"临床专家判断"对齐的决定性证据，直接证明 RoI-grounded 评测反映临床需求，并验证 ClinFusion 报告的临床优越性，是全文最有说服力的临床验证。
(a) 上下文 vs 无上下文：去掉临床语境后两模型分差被严重压缩，证明上下文约束的必要性；(b) RadGraph-F1 同义不敏感与长文本偏置，Long Output 反而抬分而 LLM-judge 正确惩罚冗长；(c) 四种融合机制中局部交叉注意力最优；(d) DINOv2 是最佳单专家；(e) 第二专家边际递减且级联优于并联（报告 28.8 vs 27.3）；(f) 去掉原生 3D 编码器 3D VQA -3.0、报告 F1 -4.0。
这张图集中承载了所有关键消融，从评测方法学到架构设计的每一个选择都有定量支撑，是理解"为什么这么设计"的核心，缺它则大量设计选择缺乏依据。
22.2M 样本语料构成：12.6M 医学多模态、4.7M 医学文本、3.4M 通用多模态、1.5M 通用文本；来源含开源医学多模态、医学证据语料（指南/期刊/病例报告）、CT-报告对齐数据（0.2M 开源 CT + 1.1M 医院 CT 伪报告）。
这是理解五阶段渐进训练与数据合成四条流水线（指令变形、密集描述、交互式 CoT、CT 标注）规模的基础，没有它就无法判断模型能力的来源是架构还是数据。
评测套件覆盖五维：2D 多模态 VQA、3D 多模态 VQA、纯文本医学 QA、临床报告生成、医学指令跟随（含自建 MedIF-Bench 900 样本、七类任务）；延续 MedGemma/Lingshu/HuLu/HuatuoGPT 框架并新增指令跟随维度。
这是所有 results 数字的"坐标系"，定义了每个 benchmark 的指标（MCQ 准确率、RoI P/R/F1、Overall-IF），缺它则 Fig.3-7 的具体分数无法被正确解读。
五阶段训练配置：阶段1浅层多编码器对齐、阶段2深层 VL 对齐、阶段3 2D 指令微调（16 卡、batch 128、1/1/3 epoch）、阶段4快速 3D 编码器对齐（batch 256、1 epoch）、阶段5整体 2D/3D 指令微调（32 卡、batch 256、3 epoch），每阶段冻结/解冻的组件与数据模态逐步放开。
这是理解"如何稳定训练一个多组件复杂架构"的关键，把哪些组件何时解冻、为何先 2D 后 3D、为何阶段4冻结 LLM 与全部 2D 组件都讲清，是复现训练流程的必备蓝图。