重新思考大视觉语言模型中胸片推理的视觉归因 Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models
提出因果验证的胸片归因基准MedGround-Bench与概念级因果归因方法MedFocus。
前置知识
视觉归因 (Visual Attribution)
视觉归因指用热力图、掩码或区域框等形式，指出模型做出某个预测时“看了输入图像的哪些位置”的方法。常见家族包括基于梯度的显著性、基于注意力聚合、基于扰动遮挡，以及直接向LVLM提问让其自我定位四类。
整篇论文都在评估和改进视觉归因方法，不理解归因是什么、有哪几类、各自原理如何，就无法理解作者为何要造新基准和新方法。
大视觉语言模型 (LVLM)
LVLM是能同时理解图像与文本并生成自然语言回答的多模态大模型，如Qwen2.5-VL、Gemma3、MedGemma。在医学场景中常用于放射报告生成、医学VQA和辅助诊断，但其黑盒特性使临床信任难以建立。
本文的评测对象和被解释对象都是LVLM，必须先理解LVLM既能直接回答又能逐步推理两种输出模式，才能看懂为何要在两种模式下分别评估归因忠实度。
反事实编辑 (Counterfactual Editing) 与 RadEdit
反事实编辑指通过对输入图像的特定区域做修改（如用RadEdit生成模型去除病灶）后再重新询问模型，观察预测是否翻转，从而判断该区域是否对模型决策有因果作用，是验证归因真实性的金标准。
MedGround-Bench的三步因果过滤器完全依赖反事实编辑来制造“真值归因区域”，不懂反事实编辑就无法理解基准为何能保证因果有效性。
不平衡最优传输 (Unbalanced Optimal Transport, UOT)
UOT是最优传输的松弛版本，允许源分布与目标分布的总质量不守恒，通过KL散度惩罚边际偏离而非强制相等，适合把正常参考胸片的解剖标注迁移到可能存在病灶（质量改变）的目标图像上。
MedFocus的核心是把解剖概念从参考片迁移到目标片，而选UOT而非平衡OT正是因为病灶会改变局部质量，这是方法新颖性的关键点。
概念级可解释性 (Concept-based Interpretability)
概念级可解释性不直接在像素或神经元层面做归因，而是把低层特征映射到人类可理解的高层概念（如“左肺”“心影”），通过度量这些概念对模型输出的影响来解释决策，代表有TCAV、Concept Bottleneck。
MedFocus的本质创新就是把像素级归因升级为概念级因果归因，使解释能直接被放射科医生阅读，不理解概念级可解释性就无法体会其与GradCAM等方法本质区别。
MedSAM (医学分割基础模型)
MedSAM是Segment Anything Model在医学影像上的适配基础模型，可通过给定的框或点提示快速分割出解剖结构或病灶的清晰掩码，被本文用于精修UOT迁移得到的粗糙解剖区域边界。
MedFocus的两阶段分割是“UOT定位+MedSAM精修”，消融实验专门验证了这一组合优于端到端分割，必须理解MedSAM在流水线中的作用。
研究动机
大视觉语言模型（LVLM）在放射报告生成、医学VQA、辅助诊断等高风险临床场景中被越来越多地部署，但其无法忠实地把回答“锚定”到输入图像中的具体视觉证据上，这直接威胁临床可信度、错误检测和患者安全。为解释LVLM的预测，研究者发展了四大类视觉归因方法：基于梯度的显著性（GradCAM、Integrated Gradients）、基于注意力的聚合（Attention Rollout、LRP）、基于扰动的遮挡（Occlusion、RISE）以及基于提示的grounding（让模型自己指认证据）。然而这些方法是否真的反映了模型内部决策所依赖的视觉证据，基本未被客观验证过，因为模型内部推理的“真值标注”通常不存在。人类专家的标注本身具有主观性，且可能和模型的实际推理路径不一致——模型完全可能“答对了但看错了地方”，依赖标注区域之外的虚假线索。这种缺乏客观评价标准的局面使得严格比较不同归因方法、识别其失败时刻都极为困难，在安全攸关的医学应用中尤其危险。
本文的目标是本文有两个层层递进的目标。第一，构建一个能客观、严格地评估视觉归因“忠实度”的因果评测框架，使得每一条评测样本都具有经过反事实验证的、模型预测与标注区域之间的真实因果联系，从而把“归因是否准确”从一个主观问题变成可量化的IoU/F1/精度/召回问题。第二，基于这一框架系统暴露出现有11类归因方法在医学LVLM上的普遍失败，进而提出MedFocus——一种基于临床有意义解剖概念（如左肺、心影、纵隔）的因果归因方法，通过靶向干预度量每个概念区域对模型输出的因果贡献，产出空间级、概念级、token级三种互补的归因结果，目标是显著超越现有所有方法，让医学LVLM的解释既更忠实又更直接可被临床医生理解。
与已有工作不同的是，本文的独特切入角度有两层。第一是评价层面：以往grounding基准（Flickr30k、RefCOCO、ImaGenome）只衡量“模型能否把语言描述定位到专家标注区域”，衡量的是定位精度而非“归因方法是否忠实地识别了真正驱动模型预测的视觉证据”。作者利用CXR是当前唯一同时具备专家空间标注和公开区域级反事实编辑模型（RadEdit）的医学模态这一事实，设计了三步因果过滤器，只保留那些“反事实编辑标注区域后模型预测确实翻转、而编辑背景后预测不变”的样本，从根本上保证评测真值的因果有效性。第二是方法层面：现有归因都作用于原始像素或模型内部表征，而MedFocus先把图像分割成有临床命名的解剖概念，再在概念层面做因果干预，把低层视觉证据与高层临床理解直接桥接起来。
核心方法
整体思路是“先用因果过滤造一把公平的尺子，再造一支更准的笔”。直觉上，要评判归因方法好不好，必须先有“真值归因区域”；而真值不能靠人主观标，必须用反事实编辑来验证因果性。所以第一步是从ImaGenome、VinDR-CXR、PadChest-GR三个带空间标注的CXR数据集出发，把标注重述为二元VQA，再经过正确性过滤、前景反事实编辑、背景反事实编辑三步筛选，得到MedGround-Bench（直答模式1880样本、推理模式2060样本），覆盖6个LVLM和两种输出模式。第二步是MedFocus方法：先用不平衡最优传输把一张正常参考胸片的解剖标注迁移到目标图像，再用MedSAM精修掩码，得到11个有临床命名的解剖概念区域；最后对每个概念区域做bounding-box零掩码干预，单次前向度量token级对数概率的累计下降，分数最高者即为最因果相关的概念，同时输出空间框、概念名和token级贡献。
核心创新是把“像素/表征级归因”升级为“概念级因果归因”，并与现有方法在三个本质上拉开差距。其一，MedFocus不直接在原始像素或隐藏态上做归因，而是先把图像分解为临床有意义的解剖概念（cardiac silhouette、left/right lung等），这使解释天然可被放射科医生阅读，而不是一张抽象热力图。其二，使用不平衡最优传输（UOT）而非平衡OT来做解剖迁移，因为正常参考片与可能带病灶的目标片之间的组织质量并不守恒（如胸腔积液、心脏增大），UOT通过KL散度松弛边际约束来吸收这种不平衡。其三，归因评分采用“条件于原始输出序列的单次前向”策略：对每个概念只跑一次前向，累计token对数概率下降量 $\Delta_c = \sum_t \max(0, \log p(y_t|x_{tgt},q,y_{<t}) - \log p(y_t|\tilde{x}_c,q,y_{<t}))$，既隔离了每个概念对模型实际产出的影响、避免采样噪声，又只需一次前向，效率远高于为每个概念重新生成完整回答。
方法步骤详情
方法分两大块。A) MedGround-Bench构建：从三个CXR数据集把带bbox的发现重述为二元VQA，再过三步因果过滤——正确性过滤只保留答对样本；前景反事实用RadEdit以bbox为掩码去除属性，只保留答案翻转样本；背景反事实编辑bbox外区域保留答案不变样本，最终得直答1880、推理2060样本。B) MedFocus归因：(1)以ImaGenome的11个解剖区域为概念词表，求解参考片到目标片的UOT传输计划（KL散度松弛边际约束），把每个概念质量迁移到目标；(2)对迁移后像素集取最紧bbox喂给MedSAM精修得掩码 $M_c$；(3)对概念c做bbox零掩码 $\tilde{x}_c=x_{tgt}\odot(1-B_c)$，单次前向算累计对数概率下降 $\Delta_c=\sum_t\max(0,\log p(y_t|x_{tgt},q,y_{<t})-\log p(y_t|\tilde{x}_c,q,y_{<t}))$，分数最高者为因果相关概念；(4)对左右肺等复合组联合干预；(5)若 $\min_c\exp(-\Delta_c)\geq0.75$ 则回退全图。
技术新颖性
技术新颖性体现在四点。第一，首次提出因果验证的CXR-VQA归因评测套件MedGround-Bench，通过“前景翻转+背景不变”的双重反事实检验，从根本上保证每条样本的标注区域确实因果驱动模型预测，填补了“归因真值缺失”这一长期空白。第二，把归因从像素/表征层面提升到临床命名概念层面，使解释可直接被放射科医生阅读，这是Concept Bottleneck思想在LVLM医学归因中的新应用。第三，引入不平衡最优传输做跨图像解剖迁移，显式建模了正常参考与异常目标之间质量不守恒的物理事实，比平衡OT或Grounding DINO更契合医学影像。第四，因果评分采用“条件于原始序列的单次前向”设计，每个概念只需一次前向，相比为每个概念重新生成回答的扰动法效率大幅提升，且 $\max(0,\cdot)$ 算子把归因限定为“概率下降”，避免把矛盾性证据误判为支持性证据。消融还证明bounding-box零掩码优于像素掩码和RadEdit生成式反事实。
实验结果
核心发现分四层。第一，现有归因全面失败：MedGround-Bench-Direct上评估11种方法，没有一种能可靠识别驱动医学预测的视觉证据。GradCAM（ImaGenome IoU 34.47）、Integrated Gradients（11.71）在LVLM下表现很差；Gradient-weighted Attention召回近100%但精度仅39.25%，说明热力图过度弥散。第二，MedFocus全面领先：三数据集IoU和F1均最佳——ImaGenome IoU 54.24（次优39.24）、F1 67.54；VinDR-CXR IoU 14.81（次优13.62）；PadChest-GR IoU 32.77（次优22.73），在80%+召回同时精度显著占优。第三，推理模式优势更明显：基线普遍退化（GradCAM++从30.54降到23.70 IoU），MedFocus在ImaGenome仍维持52.95 IoU，因其不探测模型内部、对多步推理鲁棒。第四，消融确认UOT+MedSAM（IoU 37.82）优于端到端MedSAM3（33.52）与RadZero（6.95）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MedGround-Bench-Direct 视觉归因（ImaGenome） | IoU（预测归因框与真值框交并比，%） | MedFocus IoU 54.24，F1 67.54，Prec 64.47，Recall 80.58 | 次优 Gradient-weighted Attention IoU 39.24；GradCAM 34.47；Prompting+MedSAM 37.62 | IoU 比次优高 +14.99（相对提升约38%），F1 从54.80提升到67.54 |
| MedGround-Bench-Direct 视觉归因（VinDR-CXR） | IoU（%） | MedFocus IoU 14.81，F1 23.04，Recall 80.99 | 次优 Occlusion IoU 13.62；RISE 10.14；GradCAM 8.53 | IoU 比次优高 +1.19，Recall 80.99 显著高于多数基线，但绝对值仍偏低 |
| MedGround-Bench-Direct 视觉归因（PadChest-GR） | IoU（%） | MedFocus IoU 32.77，F1 45.44，Prec 40.15，Recall 76.51 | 次优 Gradient-weighted Attention IoU 22.73；GradCAM 20.33；Occlusion 20.56 | IoU 比次优高 +10.04（相对提升约44%），精度召回均衡 |
| MedGround-Bench-Reason 推理模式归因（ImaGenome） | IoU（%） | MedFocus IoU 52.95（推理设定） | GradCAM++ 从直答30.54 降到 23.70；多数基线显著退化 | MedFocus 在多步推理下几乎不退化，保持约52.95 IoU，因其不探测模型内部 |
| 消融-分割范式（MedFocus 内部） | IoU（%） | UOT+MedSAM（detect+seg）IoU 37.82，F1 49.73 | MedSAM3 端到端 33.52；SAM3 30.89；RadZero 6.95；Grounding DINO 27.72 | UOT+MedSAM 比最强端到端 MedSAM3 高 +4.30 IoU，比 RadZero 高 +30.87 |
| 消融-反事实干预策略（MedFocus 内部） | IoU（%） | Bounding box + Zero masking IoU 37.82 | Segmentation mask+RadEdit 32.66；Bounding box+RadEdit 32.27；Mask+Zero 33.76 | Bbox+零掩码比像素掩码+RadEdit 高 +5.16 IoU，验证设计选择 |
局限与改进
作者明确承认CXR是目前唯一同时具备专家空间标注和公开区域级反事实编辑模型的医学模态，因此框架虽模态无关但实际只在CXR上验证，迁移到CT、MRI、病理等需等相应反事实编辑器成熟。作者还依赖ImaGenome预定义的11个解剖概念，概念词表的覆盖度直接限制MedFocus的解释范围——若病灶落在未定义概念区域则无法归因。我额外观察到几点：一是VinDR-CXR上IoU仅14.81，绝对值仍很低，说明在标注质量或病灶类型更复杂的数据集上方法仍有较大提升空间；二是UOT迁移依赖单一正常参考片，对体型、摄片体位差异大的目标可能引入系统偏差；三是零掩码干预相比RadEdit生成式反事实更粗糙，可能引入分布外伪影；四是只评估了6个开源LVLM（因梯度/注意力基线需访问隐藏态），闭源模型未覆盖；五是阈值 $\tau=0.75$ 是经验值，缺乏理论依据。
独立分析的弱点
独立审视后有以下弱点。第一，UOT迁移依赖单一正常参考胸片，不同患者体型、投照体位、设备差异会系统性影响解剖对齐质量，改进方向是构建参考片池并按图像相似度动态选择，或学习一个无条件解剖先验。第二，11个解剖概念词表较粗，无法解释如“肋膈角”“肺尖”等更细的临床发现，改进方向是引入层次化概念或可学习概念（如Concept Bottleneck），让概念词表随任务自适应。第三，VinDR-CXR上IoU仅14.81提示在小病灶或模糊标注场景方法仍弱，改进方向是结合多尺度干预或更细粒度的MedSAM变体。第四，零掩码干预虽消融最优但仍属“粗暴擦除”，可能让模型看到分布外图像，改进方向是用扩散模型做更逼真的反事实生成并控制成本。第五，方法只评估“最终归因区域是否对”，未评估归因对临床决策的实际帮助（如是否帮医生发现模型错误），改进方向是设计人机协同的用户研究。
未来方向
作者隐含的未来方向是把因果归因框架推广到更多医学模态和更细的归因粒度。基于此可延伸出五条。第一，模态扩展：当CT、MRI、病理切片的区域级反事实编辑模型成熟后，把MedGround-Bench的构建配方迁移过去，产出多模态因果归因基准。第二，概念词表学习：用Concept Bottleneck或TCAV让模型自动发现临床相关概念，摆脱对ImaGenome固定11类的依赖。第三，3D归因：当前是2D胸片，可扩展到CT体数据做体素级概念干预。第四，归因引导的训练：把MedFocus的token级归因作为辅助监督，训练时鼓励LVLM“看对的地方”，从解释走向纠偏。第五，闭环可解释性：把概念级归因与临床决策支持系统结合，在医生审阅LVLM报告时实时高亮“模型依据哪个解剖结构下结论”，并把失败率作为置信度信号提示人工复核。
复现评估
复现评估较乐观。开源情况：作者明确声明数据与代码发布在 https://github.com/gzxiong/medfocus/，这是复现的最大利好。数据可获得性：三个源数据集ImaGenome、VinDR-CXR、PadChest-GR均公开，6个LVLM（Qwen2.5-VL-3B/7B、Gemma3-4B/12B、MedGemma-4B与MedGemma1.5-4B）、RadEdit、MedSAM均开源或可申请，外部依赖充分。算力需求：构建MedGround-Bench需对6个LVLM乘数千样本做反事实编辑加多次重查询，涉及RadEdit推理与多轮LVLM前向，单GPU耗时可观但不至于不可行；MedFocus推理阶段每个概念一次前向、共约11个概念加若干复合组，开销可控。复现难度：技术栈涉及UOT求解、MedSAM、LVLM前向、反事实编辑，每一项都有成熟工具（POT库、MedSAM权重、HuggingFace模型），核心创新是组合方式而非新算法，中等规模团队可复现主表结果；主要门槛是反事实编辑质量与基准构建的工程量。
论文图表
