ClinHallu：面向医疗多模态大模型推理的阶段性幻觉诊断基准 ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning
构建 7031 例带三阶段推理轨迹标注的医疗 VQA 基准，通过阶段替换干预定位幻觉根源。
前置知识
多模态大语言模型 (MLLM)
能够同时处理图像与文本输入并生成自然语言输出的语言模型。典型代表如 GPT-4V、Gemini、LLaVA、Qwen-VL 等。在医疗领域，这类模型通常基于通用 MLLM 再以医学影像-报告对或问答对继续训练得到（如 MedGemma、Lingshu）。模型接收 $(x_i, q_i)$ 后输出回复 $\hat{a}_i$，是 ClinHallu 所评估的对象。
本文所有诊断实验的主体就是 11 个代表性的医疗/通用 MLLM，必须了解它们的多模态问答范式才能理解评测流程。
幻觉 (Hallucination) 与可信医疗 AI
指模型生成看似合理但缺乏事实支撑内容的现象，例如凭空描述不存在的病灶、把正常结构误判为病变、或编造不正确的临床推断。在高风险医疗场景中，幻觉会误导临床判读，损害下游决策，因此需要专门的基准去测量并定位它的来源。
ClinHallu 的核心目标正是把医疗幻觉从"只判对错"升级到"分阶段诊断"，理解幻觉的不同形态是阅读本文的关键。
思维链 (Chain-of-Thought, CoT) 与结构化推理分解
通过让模型先输出中间推理步骤再给出最终答案，能显著提升复杂任务的准确率，并暴露出错误发生在推理链的哪一环。本文中将一次推理显式拆为 Visual Recognition (V)、Knowledge Recall (K)、Reasoning Integration (R) 三个独立子步骤，每个子步用 prompt 模板强制独立产出，便于后续阶段级对比。
CoT 是 ClinHallu 引入阶段级标注与判断机制的基础结构，没有这一解耦就无法进行 Rep-V/Rep-K/Rep-VK 替换干预。
LLM-as-Judge 自动评判
用一个大语言模型充当裁判，对其它模型的输出按预设标准（如格式合规、答案一致性、阶段级幻觉）打分。本文用 Qwen3.5-27B 作为法官 $J(\cdot)$，给出二元标签 $c_i \in \{0,1\}$，并通过人评验证其与人类标注的一致性（Cohen's $\kappa$ 在 0.78–0.87）。
理解 ClinHallu 大规模评测可行性的关键：阶段级细粒度标注若由人完成代价极高，因此 LLM 法官的可靠性是该评测的支柱之一。
LoRA / Trace-supervised Fine-Tuning
LoRA 是低秩适配的轻量微调方法，本文中 $r=8$，$\alpha=16$；trace-supervised fine-tuning 则是用结构化三阶段轨迹作为监督目标而非仅用最终答案监督。本文的消融实验表明 V+K+R 全轨迹监督的效果最佳。
本文不仅提出基准，还验证标注轨迹可作为监督信号微调模型以降低各阶段幻觉，这是方法迁移到下游训练的核心环节。
研究动机
现有的医疗幻觉评测几乎全部是答案中心的（answer-centric）：它们只比较模型最终输出 $\hat{a}_i$ 与真实答案 $a_i$ 是否一致，以此判定是否产生幻觉。以 Med-HALT、CARES、Med-HallMark、MedHEval 等为代表的基准规模不一，最大的 MedHallTune 达 10 万条，最小的也有 2000 余条，但无论多大规模都共用一个核心缺陷——一个错误的最终答案可能源自完全不同的失败原因。在论文给出的 CT 影像案例中，正确答案是"皮下脂肪"，但模型可能因三种截然不同的路径（视觉上把连续低密度层误识为局限性液性暗区、知识上把"低密度"错误等同于"病变"、推理上虽然识别对了脂肪却错误地将其归类为异常）而都给出"脓肿"这一错误答案。这种"同错不同源"使得仅凭最终答案对错既无法定位幻觉，也无法据此设计针对性的缓解策略，导致医疗 MLLM 在临床高风险场景中的可信度难以量化提升。
本文的目标是本文的核心目标是构建一个支持"阶段级幻觉诊断"的医疗 MLLM 评测基准 ClinHallu，覆盖 4 个互补的医疗 VQA 数据集共 7031 条标注样本，为每条样本提供结构化三阶段参考推理轨迹 $\tau_i=(v_i, k_i, r_i)$（分别对应视觉识别、知识回忆、推理整合），并设计阶段替换干预 Rep-V、Rep-K、Rep-VK 来量化每个上游阶段对最终答案的影响，最终目标是不仅诊断医疗 MLLM 在何时产生幻觉，更能在推理链中精确指出是哪一阶段出了问题。
与已有工作不同的是，本文的独特切入点是用"结构化三阶段 CoT + 阶段替换干预 + Fix/Break 双向样本级统计"三重机制，突破了过往医疗幻觉评测把数据收集等同于诊断能力的局限。具体而言：（1）与仅做答案对错的 Med-HALT/CARES 等不同，ClinHallu 把"是否幻觉"与"在哪一阶段幻觉"分开量化；（2）与 MedHEval 虽然指出了幻觉来源但未提供可控干预不同，ClinHallu 通过替换实验直接把幻觉定位到具体阶段；（3）既是大规模基准（7031 例）又是诊断工具，还附带完整训练数据让研究者验证"标注轨迹能不能反过来作为监督信号降低幻觉"——这是兼具诊断与治疗意义的双重设计。
核心方法
ClinHallu 的整体思路可以分解为"先构造可信参考、再用干预测模型"两步走。直觉上，它把医疗 MLLM 的一次推理看成一条流水线：先看图（V）、再调用医学知识（K）、最后整合得出结论（R），三者都有可能单独出错并向上下游传递。技术上，作者利用一个参考生成器 $G_{ref}$ 给每个 VQA 样本产出符合该格式的参考轨迹 $\tau_i=(v_i,k_i,r_i)$，再用 LLM 法官 $J(\cdot)$ 双重过滤掉格式不合规或与答案矛盾的轨迹，只保留通过校验的 $\phi(\tau_i)=1$ 的样本作为最终基准。一旦基准就绪，对任何被评估模型 $G$ 作者让它先输出 $\hat{\tau}_i=(\hat{v}_i,\hat{k}_i,\hat{r}_i)$ 和 $\hat{a}_i$，然后通过"阶段替换"把模型自生成的某个或多个上游阶段替换为参考阶段，观察剩下阶段的输出和新答案，由此既可以量化每个阶段的幻觉率 $H_V,H_K,H_R$，也可以测量"修哪个阶段收益最大"（$\Delta V_{Acc},\Delta K_{Acc},\Delta V_{Acc,K}$）。
与已有方法的核心区别在于把幻觉定位从"事后判分"升级为"事前干预后的对比诊断"。过往基准（即使支持来源标注）多依赖人评或静态比对，无法区分"修对了一道是因为本来错在 A 还是 B"。ClinHallu 的 Rep-V/Rep-K/Rep-VK 三档干预相当于为每个样本做了"如果我替你完成视觉阶段，你的后续推理能不能走上正轨"的因果探针：当 Rep-V 带来 $+15.5\%$ 准确率提升（如 VQA-RAD 上的均值），说明视觉阶段是主要瓶颈；当 Rep-K 单独带来 $+33.4\%$ 提升（如 MedXpertQA），则意味着知识回顾才是失守的关键。由此引入的 Fix/Break 双向统计进一步避免了"只看到平均增益高，但其实同时把一些原本做对的样本改错了"的伪改善，让干预效果在样本级别可审计。
方法步骤详情
具体方法分为 4 个步骤：（1）数据集成与标准化：从 VQA-RAD（4.79%）、PathVQA（52.81%）、MedFrameQA（24.3%）、MedXpertQA（18.1%）四个数据集中抽取样本，统一格式为 $d_i=(x_i,q_i,a_i)$，分别覆盖放射学、病理学、多图临床推理、专家级问答应四个互补维度；（2）参考轨迹生成：对每个样本用 Qwen3.5-Plus 作为参考生成器 $G_{ref}$ 依 prompt 生成 $\tau_i=(v_i,k_i,r_i)$，prompt 中显式约束三个子阶段相互独立、不跨阶段推断；（3）双标准过滤：LLM 法官 $J$ 同时检查格式合规 $c_{fmt}$（三段齐全且非空）和答案一致性 $c_{ans}$（不与 $a_i$ 矛盾），仅当 $\phi(\tau_i)=1$ 才保留，最终得到 7031 条高质量标注；（4）阶段替换与诊断：对每个被评估模型，让它输出 $(\hat{v}_i,\hat{k}_i,\hat{r}_i,\hat{a}_i)$，再分别做 Rep-V（保留 $\hat{v}_i$ 替换 $v_i$）、Rep-K（保留 $\hat{v}_i$ 替换 $k_i$）、Rep-VK（同时替换 $V$ 和 $K$）三档干预，然后法官对各阶段是否含幻觉打标 $h_V,h_K,h_R$，并计算幻觉率 $H_s=\sum_i h_i^{(s)}/|D|$ 与平均准确率增益 $\Delta^s_{Acc}=\frac{1}{|M|}\sum_m (Acc^{s,m}-Acc^{ORG,m})$；（5）可选训练回流：用 VQA-RAD 与 PathVQA 的 train split 同样管线构造带轨迹的训练集（分别 1221 与 10187 条），在 Qwen3.5-9B 上以 LoRA($r=8,\alpha=16$)、$1\times 10^{-4}$ 学习率与余弦 schedule 微调，对比 Ans-only/V/K/VK/VKR 多种监督变体。
技术新颖性
技术新颖性体现在三个层面：（一）阶段解耦粒度上的贡献：把单链 CoT 显式划分为 V/K/R 三段且强制相互独立，区别于一般 CoT 仅生成连续文本无法做阶段级归因；（二）评测层面的因果探针：用 Rep-V/Rep-K/Rep-VK 三档替换做对比实验，对每一条样本在每个阶段都得到"是否能修正结果"的二值判断，是目前同类基准中没有的精细因果归因；（三）基准反哺训练的闭环：以往基准发布后仅用于评测，本文同时构造了对应的训练数据（仅 VQA-RAD 和 PathVQA 有 train split），证明标注轨迹本身是可直接用作监督的有效信号，V+K+R 全轨迹监督在 VQA-RAD 上把 $\Delta V$ 由 32.3% 降至 22.6%，$\Delta K$ 由 6.2% 降至 4.2%，Acc 从 80.4% 提升至 83.7%，证实了"诊断+治疗"一体化设计的可行性。
实验结果
在 11 个代表性 MLLM 上的实验揭示了若干一致规律。Finding 1（幻觉分布与数据集瓶颈）：整体视觉幻觉最严重，平均 $H_V$ 普遍超过 40%，VQA-RAD 是视觉瓶颈型（$H_V=42.9\%$ 远高于 $H_K=13.7\%$），MedXpertQA 是知识瓶颈型（$H_K=43.1\%$），PathVQA 与 MedFrameQA 则 V/K 较均衡。Finding 2（替换干预能带来稳定提升但呈现数据集差异化）：对 VQA-RAD Rep-V 单独提升 $+15.5\%$（$Acc=80.4\%\to$ 接近 96%）远超 Rep-K 的 $+4.6\%$；MedXpertQA 上 Rep-K 单独提升 $+33.4\%$ 远超 Rep-V 的 $+13.8\%$；PathVQA 与 MedFrameQA 上 V 与 K 收益更接近。Finding 3（推理整合不是主要瓶颈）：多数模型 $H_R$ 远低于 $H_V$ 与 $H_K$，且 Rep-VK 同时修两个上游阶段后几乎都能取得最大增益（如 Qwen2.5-VL-7B 在 VQA-RAD 上从 54.9% 跃升 +32.6%，Qwen3-VL-8B 在 MedXpertQA 上 +60.6%），说明错误主要是从视觉/知识向推理整合的级联传播。Finding 4（Fix vs Break 双向审计）：图 4 显示 VQA-RAD 上 Rep-V 的 Fix Rate 达 73% vs Break Rate 仅 5%，MedXpertQA 上 Rep-K Fix Rate 为 64% 且 Break Rate 仅 10%，表明上述修复是"真正修正错误"而不是牺牲对样本换来的。Finding 5（微调可缓解阶段幻觉）：表 5 的消融中 V+K+R 全轨迹监督在 VQA-RAD 取得 $Acc=83.7\%、H_V=22.6\%、H_K=4.2\%、H_R=2.7\%$，均优于 Ans-only 与仅 V/K/VK 变体，证明完整三阶段监督优于局部监督。模型间横向比较：Gemini-3-Flash 在所有数据集上表现最佳（平均 $Acc=80.1\%、H_V=25.8\%、H_K=4.0\%、H_R=2.3\%$），Qwen3.5-9B 在开源模型中最强（平均 $Acc=69.1\%、H_R=4.8\%$），而 Qwen2.5-VL-7B 表现最弱（平均 $Acc=42.7\%、H_V=65.9\%$）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VQA-RAD 答案准确率 | Accuracy↑ | Gemini-3-Flash: 82.5% | Qwen2.5-VL-7B: 54.9%（最低） | Gemini-3-Flash 较最弱开源模型提升 +27.6 个绝对百分点 |
| VQA-RAD 视觉幻觉率 | H_V↓ | Gemini-3-Flash: 22.9%（最低） | Qwen2.5-VL-7B: 59.4% | 较最差降低 −36.5 个绝对百分点 |
| VQA-RAD 替换视觉阶段提升 | ΔV_Acc↑ | 模型均值 +15.5% | ΔK_Acc 仅 +4.6% | 视觉修复收益是知识修复的 3.4 倍，验证视觉瓶颈 |
| MedXpertQA 替换知识阶段提升 | ΔK_Acc↑ | 模型均值 +33.4% | ΔV_Acc 仅 +13.8% | 知识修复收益是视觉修复的 2.4 倍，验证知识瓶颈 |
| PathVQA 全轨迹微调 | Acc↑ / H_V↓ | Qwen3.5-9B +V+K+R: Acc 78.8%, H_V 27.6% | 未微调: Acc 72.7%, H_V 34.7% | Acc +6.1pp，H_V −7.1pp |
| VQA-RAD 全轨迹微调 | Acc↑ / H_K↓ | Qwen3.5-9B +V+K+R: Acc 83.7%, H_K 4.2% | 未微调: Acc 80.4%, H_K 6.2% | Acc +3.3pp，H_K −2.0pp |
| 平均 Answer Accuracy | Acc↑ | Gemini-3-Flash: 80.1% | Qwen2.5-VL-7B: 42.7% | +37.4 个百分点，凸显不同模型在医疗推理能力上的巨大差距 |
| MedXpertQA 推理整合幻觉 | H_R↓ | Qwen3-VL-Plus: 2.1%（最低） | MedGemma-4B: 61.7%（显著高） | 最高接近 60 个百分点差距，暗示 MedGemma-4B 推理失效更可能源于中间 CoT 生成失败 |
| Fix Rate (VQA-RAD, Rep-V) | Fix Rate↑ | 73% | Break Rate: 5% | 净修复 +68pp，说明视觉替换基本不破坏正确答案 |
| Fix Rate (MedXpertQA, Rep-K) | Fix Rate↑ | 64% | Break Rate: 10% | 净修复 +54pp，Rep-K 在该数据集上几乎不会带来负向影响 |
| Human-Judge 一致性 (Answer Acc) | Cohen's κ↑ | H-J κ = 0.872 | H-H κ = 0.919 | 差距仅 0.047，验证 LLM 法官可大规模替代人评 |
| Human-Judge 一致性 (H_K) | Cohen's κ↑ | H-J κ = 0.785 | H-H κ = 0.822 | 知识阶段法官的一致性仍较高，自动评判可承担大规模评测 |
局限与改进
作者在结论与 Limitations 章节明确承认若干不足：（1）任务范围仅限医学 VQA 风格问答，没有覆盖长报告生成与真实的临床决策支持流程，因此对放射学报告生成、对话式问诊、电子病历摘要等场景的诊断能力尚未验证；（2）数据集覆盖集中在 VQA-RAD（放射学）、PathVQA（病理）、MedFrameQA（多图临床推理）、MedXpertQA（专家级问答）四类，对超声、皮肤、内窥镜、3D 影像、罕见病等场景覆盖不足，且 PathVQA 一家占 52.81% 比例过高，可能带来基准偏倚；（3）LLM 法官 $J$ 的可靠性虽经人评验证，但 $\kappa$ 在不同阶段仍存在 0.785–0.872 的波动，特别在更细微的推理整合阶段仍有判断失误风险；（4）阶段替换干预依赖 $G_{ref}$ 自身生成的参考轨迹，若 $G_{ref}$ 在某些领域（如罕见病）本身不可靠，过滤出的轨迹就可能放大偏差；（5）实验仅在 11 个模型上展开，对闭源大模型（仅 Gemini-3-Flash、Qwen3-VL-Flash/Plus 三个）权重不可访问，其内部行为无法深入审计；（6）平均准确率提升掩盖了模型间巨大差异，例如 MedGemma-4B 由于频繁 CoT 生成失败导致 $H_R$ 显著高（达 30.5%），需要单独案例分析；（7）可视化层面，论文对部分负向样本仅以统计指标呈现，缺乏对每个干预设置中"为什么会破坏正确答案"的归因。从我个人观察看，base 模型（如 InternVL3.5-8B 平均 Acc 仅 53.9%）和前沿模型（Gemini-3-Flash 80.1%）间 26 个百分点的差距，提示基准在测量的同时也在暴露医疗 MLLM 的能力鸿沟，这本身也是一个隐忧。
独立分析的弱点
独立分析论文设计可以指出以下弱点及改进方向：（1）数据源过于集中于 VQA 风格：扩展到报告生成和临床决策场景需要新增更复杂的 ground-truth 标注，可以引入放射科报告对照与多轮诊断对话；（2）LLM 法官一致性仍不够：H-J 的 $\kappa$ 在知识阶段仅 0.785，建议引入 ensemble judge 多模型投票或加入 chain-of-judgement 二次验证；（3）参考轨迹生成依赖单一 $G_{ref}$（Qwen3.5-Plus），存在模型偏差，可以改用多模型自一致性投票或专家人工核验；（4）PathVQA 占 52.81% 数据比例过大，建议重新采样或在报告指标时按数据集均匀加权，避免 benchmark 偏向简单病理问题；（5）阶段替换只修复不诊断"为什么生成失败"，可以增加 per-stage error analysis，使用注意力可视化或 self-critique prompt 解释错误性质；（6）消融实验只在 Qwen3.5-9B 上做 trace-supervised FT 验证，应扩展到 MedGemma、Lingshu 等多种基座，验证监督信号的可迁移性；（7）缺乏对推理链长度的控制变量：模型输出长短的差异可能影响 judge 的判断公平性，应在 prompt 中显式约束 token 上限。
未来方向
作者明确提出的方向：扩展 ClinHallu 至更广泛的医学推理场景（长报告生成、临床决策支持）。在此基础上可延伸的方向包括：（1）将阶段分解推广到 5+ 阶段，加入"病史理解"和"治疗建议生成"，覆盖更细粒度的临床决策链路；（2）探索动态阶段替换，按模型自身的 $H_V/H_K/H_R$ 自动选择最需要修复的阶段做最小干预，提高推理效率；（3）结合 RLHF 或 DPO 用阶段级偏好信号训练模型直接降低 $H_V$ 与 $H_K$；（4）将 benchmark 范式推广到通用领域（自动驾驶、机器人、跨模态检索等），验证三阶段分类的普适性；（5）研究阶段级 self-consistency 训练，让模型在推理过程中自动识别并重新生成高幻觉阶段的子步骤；（6）探索不同医学模态（CT/MRI/X-Ray/超声）的 specific hallucinations，如测量幻觉（错误量化、特定数值）与定位幻觉（错误位置标注）的细分。
复现评估
复现评估：（1）代码与数据公开：作者明确在 GitHub（alibaba-damo-academy/ClinHallu）公开全部基准与代码，4 个源数据集均为公开研究用，许可证明晰（VQA-RAD: CC0；PathVQA/MedXpertQA: MIT；MedFrameQA: CC BY 4.0）；（2）参考 trace 与过滤 prompt 已完整提供，附录 C 列出 7–13 号模板，可直接套用；（3）法官模型固定为 Qwen3.5-27B，trace 生成固定为 Qwen3.5-Plus，实验中的 vLLM 部署、temperature=0.7/0.01 设置均明示，11 个评测模型全部为公开版本；（4）训练侧 LoRA 配置细节（rank 8、alpha 16、$1\times 10^{-4}$ 余弦 schedule）以及 LLaMA-Factory 框架都被作者明确告知，1×A100/A800 量级消费级 GPU 即可在 VQA-RAD（1221 样本）上做小规模消融；（5）复现难度：中等偏低，主要门槛是需要调用多种 MLLM（Gemini-3-Flash 需要 API 访问、Qwen3.5-Plus 需要阿里云推理），且完整实验需评测全部 11 个模型，token 消耗较大；总体而言复现性较好。
论文图表
左侧以 CT 影像问答为例展示三种不同路径（视觉幻觉、知识幻觉、推理幻觉）如何导致同一个错误答案 "abscess"；右侧为对应的三段推理文本，视觉阶段错把连续层误识为液性暗区，知识阶段错误关联 "hypoattenuated = 病理"，推理阶段能识别脂肪但错误分类为异常。三种来源都被图示化为错答漏斗汇到同一答案。
本文核心动机图：直观说明 answer-centric 评测的根本局限，引出 stage-wise 诊断的必要性。
展示一个 MedXpertQA 髋部撕脱骨折的完整 golden 推理（Visual: 描述 AP 盆腔片，见 AIIS 撕脱骨折；Knowledge: 列举各肌肉附着点；Reasoning: AIIS → 直头股直肌；Answer: E. Rectus femoris），为评测阶段的干预对照提供参照。
用具体案例展示 stage-wise trace 的标准结构，帮助读者理解后续 Rep-K/Rep-VK 干预结果。
上图 Qwen2.5-VL-7B 自生成 trace 错把撕脱骨折识别为"股骨颈骨折"并错误关联到臀中肌；Rep-K 仅替换 knowledge 仍给出臀中肌；Rep-VK 同时替换 V 和 K 后正确输出 Rectus femoris，揭示了被"答案错"掩盖的 V+K 联合失效。
Finding 2/3 的典型案例：answer-only 评测只能看到一个错答案，但 Rep 干预揭示上下游耦合失效。
详细列出 reference trace construction、stage replacement、automatic judging 等 7 个 prompt 模板，包括 [REFERENCE TRACE CONSTRUCTION PROMPT] 的 3-step independent 结构。
为复现者提供完整 prompt 工程指引，是 reproducibility 的关键资料。