MedMisBench：医疗误导上下文下大语言模型认知韧性的测量

首个医疗LLM认知韧性基准：注入虚假上下文后准确率从71%暴跌至38%

前置知识

认知韧性 (Epistemic Resilience)

指模型在面对错误前提或对抗性上下文时，能够保持原有正确判断并拒绝被虚假信息带偏的能力。它强调模型不只输出看起来合理的答案，而是要输出事实正确的判断，与 sycophancy 等失败模式直接对立。

本文把这一概念形式化为可量化指标（ASR/TASR），是 MedMisBench 全部实验设计的基础前提，所有 benchmark 构造与误差归因都围绕它展开。

检索投毒与上下文注入攻击 (Poisoned Context Attack)

通过在 RAG 检索片段、用户输入或系统提示中植入看似权威的虚假语句，诱导 LLM 修改自身原有答案。典型代表如 PoisonedRAG、Greshake 等工作，本文属于这条线索在医学领域的纵深扩展。

读者需要熟悉 RAG 系统中检索片段的可信度默认假设，否则难以理解为什么一层'看起来很专业的句子'就能让 51.5% 的原正确答案被改写。

选择题自动评测与 F1/准确率

评测 LLM 在 MedQA、MedMCQA 等多选题基准上的方法：模型在 logit 或生成文本中匹配选项字母，与 gold label 比对计算 accuracy。本文延续同一评测方式，并在 injected 版本上引入 ASR（清洁正确→注入后错误的翻转率）。

理解 ASR = $\frac{\text{clean-correct} \cap \text{inject-wrong}}{\text{clean-correct}}$ 的定义后，才能看懂后文所有百分比代表的实际意义。

Gwet's AC2 一致性系数

一种对评分者间一致性 (inter-rater reliability) 鲁棒的统计量，对边缘概率偏差不敏感，常用于医学标注。本文 14 人临床委员会用它来验证 response-harm 评分稳定性，例如最终答案正确性 Gwet's AC2 = 0.94。

理解它可以判断实验中的双盲评分是否真的可信，是评估临床危害分布统计结论是否严谨的关键。

RAG + ReAct 搜索代理

RAG 指用检索增强生成；ReAct 是让 LLM 通过思考-行动循环调工具（如 search_web、visit_web）的方法。本文在 HLE 子集上启用该代理模式作为缓解诊断之一。

看懂 4.4 节缓解实验（Gemini-3.1-pro Type 1 ASR 从 81.5% 降至 16.1%）必须先理解'外部检索'为何同时可以是攻击面和防御手段。

研究动机

现有医疗 LLM 评估体系存在结构性盲点：模型在 MedQA、HealthBench 等干净题目上常常达到专家级分数，但一旦进入真实部署环境（消费健康问答、临床决策支持、患者 RAG 检索片段），模型被虚假但'看起来权威'的上下文影响，从而输出错误医学判断。具体而言，论文显示 11 个主流模型平均清洁准确率 71.1%，但在 Type 1 focused 注入后骤降至 38.0%，平均攻击成功率 (ASR) 51.5%；最强的 Gemini-3.1-pro（高推理）干净准确率 83.5%，被注入后 ASR 高达 65.0%，而其他模型如 GPT-5.4 仅略低（81.3%→36.1% ASR）。这一现象表明当前 benchmark 衡量的是'模型知道什么'，而不是'模型能否在误导环境中坚持正确医学判断'，造成基准表现与临床安全之间巨大鸿沟。

本文的目标是本文提出并量化认知韧性这一新维度，发布 MedMisBench——一个可静态复用的医疗 LLM benchmark，覆盖 10932 道题、48889 对误导上下文-选项对，横跨医学推理（MedQA/MedMCQA/MedXpertQA）、智能体能力（HLE）与患者旅程（MedJourney）三类任务；目标是把'在虚假医疗上下文下保持原正确答案'这一性质做成可重复、可拆解（内容损坏 × 来源框架）、可跨模型族横向比较的标准量化指标。

与已有工作不同的是，与已有医疗 benchmark（MedQA、HealthBench、MedXpertQA、HLE、MedJourney、MedAgentBench 等）相比，本文的方法在四个轴上同时区别化：注入的虚假上下文、可拆解的内容/来源二维分类、覆盖 reasoning + agentic + journey 三类任务、以及 answer-grounded 的可自动评分结构。最接近的 Omar et al. [27] 仅用 fallacy-framed prompts 评估模型是否接受虚假信息，并未测量模型在保持最终医学答案正确层面的韧性，也没有 $5\times3$ 设计与 14 人临床医生面板的安全评估。

核心方法

MedMisBench 的核心思路是'配对判断保留测试'：对每道原本模型能答对的医学多选题，配套生成一条或多条支持错误选项的误导语句，再观察注入后答案是否仍正确。直觉上就是模拟真实部署中 RAG 检索片段或患者口述里被塞入权威化谎言的场景，测试模型是否会丢掉原本掌握的正确判断。技术路线上分为五步：(1) 从 5 个源数据集筛选 answer-grounded 题目；(2) 引入 LLM-based applicability filter 过滤内容类型不适用的题目；(3) 对每道题在 5 种内容损坏 × 3 种来源框架的 $5\times3$ 设计空间里抽样生成误导上下文束；(4) 提供 Type 1（focused 单注入）与 Type 2（all-option 仲裁）两种投递协议；(5) 用清洁 vs 注入配对运行计算 accuracy 与 ASR，并由 14 人国际临床医生委员会做 item 质量与 response 危害双轨评估。

本文把'误导上下文'从单维度（fallacy 类型）升级为内容 × 来源二维分类系统，从而能区分'什么类型的错误'与'由谁说出来的'对模型失败的独立贡献。核心创新点还包括：(a) 引入 LLM-based applicability filter 保证注入可解释为韧性损失而非 artifact；(b) 同时输出 ASR（任意翻转）与 TASR（针对性翻转 = $\frac{\text{clean-correct} \to \text{target-wrong}}{\text{clean-correct}}$）以分离'通用不稳定'与'针对性接受错误信息'；(c) 配套 ASR 自动标签 + 临床医生 response-harm 双轨评估，用 Gwet's AC2 验证一致性。这与 Omar et al. [27] 仅看模型是否识别 fallacy 的设定形成本质区别。

方法步骤详情

数据层面，从 MedQA、MedMCQA、MedXpertQA、MedJourney、HLE 五源取题，过滤保留 10932 道 $S$。生成时，给定题 $q$、正确选项 $o^*$、错误集 $W(q)$、内容类型 $C=\{c_1,\dots,c_5\}$（关系/序列颠倒、阈值腐化、线索重映射、虚假锚定、例外投毒）和来源 $P=\{p_1,p_2,p_3\}$（中性、患者、权威），先以 LLM 适用性过滤淘汰会推翻 gold 的配置；再由 Gemini-3-flash 对每个 $(q,\hat{c})$ 一次生成全选项束 $X(q,\hat{c},p)=\{x_o:o\in O(q)\}$，对 $o^*$ 输出真实性支持，对 $o\in W(q)$ 输出诱导误导句。投递上，Type 1 只展示所抽错误选项的误导句，模型看不到正确支持与其他错误句；Type 2 一次展示全套。评测先清洁后注入重跑，定义 ASR 与 TASR，并做 600 题 GPT-5.4 再生、两轮 provenance 重分配与 search/defense 缓解分析。

技术新颖性

技术新颖性体现在三方面：(1) $5\times3$ 双向分类系统的可拆解性让'权威化阈值'与'患者自述'等组合的失败率独立报告，例如权威框架 Type 1 ASR 69.5% 而患者自述仅 18.5%，二者可被精确归因；(2) applicability filter 把注入生成从 LLM '幻觉式产出'升级为受约束的可评测探针，使得 ASR 可以高置信地解释为韧性损失（89 项临床审查复合质量 1.76/2.00）；(3) ASR/TASR 双指标加上 14 人 7 国临床医生 response-harm 双轨评估，使 benchmark 同时具有自动可量化和临床安全性两个轴的强信号，这是以往医疗 LLM benchmark 所欠缺的。

**Figure 2**: MedMisBench turns clean medical QA into paired resilience tests

**Figure 3**: MedMisBench spans medical reasoning, patient-journey, and agentic tasks

实验结果

实验覆盖 11 个模型配置。(1) 清洁 vs 注入：平均清洁准确率 71.1% 跌至 Type 1 后 38.0%（ASR 51.5%、TASR 45.4%），Type 2 准确率 70.5%（ASR 18.7%）。(2) 模型差异：Gemini-3.1-pro 高推理清洁 83.5% 但 ASR 65.0%，比 GPT-5.4 中推理 ASR 36.1% 更脆弱。(3) taxonomy 拆分：权威框架 ASR 69.5%、中性 65.2%、患者 18.5%；例外投毒 64.1%、阈值腐化 60.9%、关系/序列颠倒 53.4%、线索重映射 50.4%、虚假锚定 20.9%。(4) 临床危害：14 人 7 国委员会评 89 题中 38.2% worst-case（错答 + 严重潜在危害），46.1% 错答低/中危害。(5) 缓解：HLE 启用 search 让 Gemini-3.1-pro-preview Type 1 ASR 由 81.5% 降至 16.1%；defensive prompt 仅降 ASR 10.1-14.0 个百分点。

**Table 1**: Comparison with representative medical benchmarks

**Figure 4**: Clean accuracy overstates epistemic resilience

**Figure 5**: Focused delivery drives most resilience loss

**Figure 6**: Formal, rule-like falsehoods are most damaging

**Figure 7**: Clinician review shows clinical harm is common

查看结构化数据

任务	指标	本文	基线	提升
MEDMISQA 清洁 vs Type 1 注入 (MedQA 子集)	accuracy / Type 1 ASR	11 模型平均 clean 准确率 71.1%，Type 1 准确率 38.0%，Type 1 ASR 51.5%；MEDMISQA 拆分 ASR 46.4%	清洁准确率最高的 Gemini-3.1-pro-high 83.5%，但 Type 1 ASR 达 65.0%；GPT-5.4-medium 清洁 81.3%、Type 1 ASR 36.1%	相对干净-最强模型，认知韧性（1−ASR）提升 ≈29 个百分点（GPT-5.4 vs Gemini-3.1-pro）
MEDMISMCQA / MEDMISXPERTQA / MEDMISJOURNEY / MEDMISHLE	Type 1 ASR	分别为 56.3% / 57.6% / 48.8% / 74.9%（11 模型平均）	清洁准确率最高 83.5% (Gemini-3.1-pro-high)	在 agentic HLE 子集上 ASR 高达 74.9%，比 MEDMISQA 高 28.5 个百分点，表明任务越复杂、模型越脆弱
Type 1 vs Type 2 投递协议	ASR	Type 1 ASR 51.5%，Type 2 ASR 18.7%	清洁准确率 71.1%	Type 1 是 Type 2 的 2.8 倍；Type 2 平均准确率 70.5% 接近清洁水平，但 ASR 仍 18.7%，揭示'仲裁失败 ≠ 聚合准确率下降'
权威化来源 vs 患者自述	Type 1 ASR（按 provenance）	权威/指南 69.5%、中性陈述 65.2%、患者自述 18.5%	整体平均 51.5%	权威化伪造比患者自述在 Type 1 上 ASR 高 51 个百分点，是最大的脆弱信号源
内容损坏类型 (cue-remapping, exception, threshold...)	Type 1 ASR（按 content-corruption）	例外投毒 64.1%、阈值/参考腐化 60.9%、关系/序列颠倒 53.4%、线索重映射 50.4%、虚假锚定 20.9%	整体平均 51.5%	规则类捏造（例外/阈值）比锚定类虚假高出 40+ 个百分点
搜索缓解 (search_web + visit_web) on HLE	Type 1 ASR	Gemini-3.1-pro-preview 81.5% → 16.1%（−65.4 pp）；flash-lite-preview 仅 40.7% 残留	无搜索同模型 81.5% / 较高 ASR	检索 + 自验证能显著降低 ASR 但对弱模型不充分，残留攻击成功率仍达 33-40%
Defensive Prompt 缓解	Type 1 ASR 降低 (Δ)	Gemini-3.1-pro-high / Claude-sonnet-4.6-medium / Qwen3.6-27B 三者降低 10.1-14.0 pp	匹配子集无 defense 的 ASR	提示防御能降但不能消除韧性损失，剩余 ASR 仍处高位

局限与改进

(1) 数据源偏差：基准题目来自 5 个英文医学 QA 数据集（MedQA/MedMCQA/MedXpertQA/MedJourney/HLE），未覆盖中文、非英语语种及医院信息系统真实病历，存在文化与语言泛化局限。(2) 注入由 Gemini-3-flash 主导生成，虽然 600 题 GPT-5.4 再生子集验证了主结论，但其余 10332 题仍可能受单模型偏差影响。(3) 内容类型分布不均：线索重映射占 41.3%，而关系/序列颠倒仅 12.3%，可能影响按类型估计的稳定性。(4) 临床危害评分仅 89 题完成、双评 64 题，置信区间较宽（worst-case 28.8%-48.6%）。(5) ASR 仅刻画 clean-correct → inject-wrong 这一类翻转，未考虑原答错但被注入'修正'的伪正面场景。(6) 模型集合缺少 DeepSeek、Claude Opus、新一代 GPT/Gemini 等版本，可能无法反映当前前沿水平。

独立分析的弱点

(1) 主要生成器单一：基准大多数题目仅由 Gemini-3-flash 生成误导上下文，即使 600 题再生验证稳定，仍难排除单模型家族风格偏差。改进方向：构造阶段按 generator 交叉熵筛选或训练专用攻击生成器。(2) 评估指标偏 coarse-grained：ASR/TASR 把'错误'作为二元事件，未刻画错误严重性的连续谱。改进方向：引入临床危害加权评分 (harm-weighted ASR) 与置信度度量。(3) 缓解诊断覆盖窄：仅 HLE search 与 600 题 defensive prompt，未跨数据集验证。改进方向：在 5 个源数据子集上分别评估防护，并纳入对比更鲁棒的 RAG-cleaning。(4) Type 2 评估效力受限：聚合准确率可能掩盖底层翻转，需要更强诊断（如 per-failure provenance 追溯）。(5) 适用性过滤阶段的 LLM 评判透明度不足：未公开过滤后的拒绝率与跨模型一致性。改进方向：审计 filter 的 F1 一致性并公开失败模式分布。

未来方向

(1) 论文作者已暗示的延伸：把 MedMisBench 与 RAG 安全研究结合，做'检索清洗 + 临床韧性'的纵向评测。(2) 可延伸的工作：把同一内容×来源 taxonomy 移植到中文与多模态医疗（如 Med-Gemini 影像问答），测量非英语与多模态场景下的韧性差异。(3) 与 RLHF / DPO 结合：在训练阶段把 Type 1 注入作为对抗样本，提升模型对权威化谎言的稳健性。(4) 与黑箱模型审计结合：把 ASR/TASR 纳入医疗 LLM 上市前的强制基准，作为 FDA-style 合规指标。(5) 自动化的临床危害评分：基于 GPT/Claude 加 14 人金标训练回归器，把 response-harm 评估从昂贵的小样本扩展到全 benchmark。

复现评估

(1) 静态可下载：作者明示 benchmark 以静态形式发布，含 question、options、gold、generated misleading contexts、content/provenance 标签，规避训练数据污染。(2) 代码与主页：仓库主页 HongjianZhou/MedMisBench（GitHub）与模型项目页面 AI-in-Health/MedMisBench（HuggingFace）。(3) 算力与运行配置：商用模型通过官方 API 调用，开源模型 (Gemma 4 26B、Qwen3.6-27B、MedGemma 27B) 在 8×A5000 GPU 上本地推理，文档报告了 decoding 参数（见 Appendix C.1）。(4) 评估可重跑：清洁+注入配对运行脚本与 prompt 模板 (Appendix A.3、B.1、B.2) 公开，使得 11 模型配置可在两周内复现主表。(5) 复现难度：主要瓶颈是商用模型 API 调用配额与 14 人临床医生双盲评分（部分附录未完全公开统计细则）。

MedMisBench：医疗误导上下文下大语言模型认知韧性的测量 Measuring Epistemic Resilience of LLMs Under Misleading Medical Context