EpiQAL：流行病学问答与推理的大型语言模型基准测试 EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning
首个评估LLM在流行病学证据推理能力的基准测试，包含三个递进难度子集。
前置知识
流行病学推理
流行病学推理是指从研究证据中推断疾病负担、传播动态和干预效果在人群层面的统计和因果推断过程。与传统临床推理关注个体患者不同，流行病学推理需要整合多个研究发现的异质性、依赖于上下文的证据，并应用统计学原理和因果推断方法来得出人群水平的结论。例如，通过整合多个观察性研究和随机对照试验的结果，评估疫苗在真实世界中的有效性，需要考虑研究设计偏差、混杂因素和效应修饰等因素。
本文关注的是人群水平的流行病学推理而非个体临床决策，理解这一区别对于识别EpiQAL与现有医学QA基准的核心差异至关重要。
集合式评估指标（Set-based Evaluation Metrics）
集合式评估指标用于处理多答案问答场景，其中问题可能有多个正确选项。给定预测答案集合 A 和参考答案集合 O_c，F1分数定义为 F1 = 2|O_c ∩ A| / (|O_c| + |A|)，奖励部分重叠；精确匹配（Exact Match, EM）定义为 EM = 1[A = O_c]，要求精确的集合恢复。这种评估方式允许模型在不完全识别所有正确答案的情况下获得部分分数，同时也鼓励模型避免选择不正确的选项。
EpiQAL-A子集支持多正确答案问题，理解集合式评估对于正确解释模型在该子集上的表现至关重要，特别是F1和EM之间的差距揭示了模型过度选择错误选项的倾向。
难度控制与题干精炼（Difficulty Control and Stem Refinement）
难度控制是通过多个模型计算难度分数来筛选过于简单的实例，然后通过题干精炼来减少捷径线索。难度分数定义为 DiffScore = 1 - (α · F1 + (1-α) · EM)，其中 α 控制F1和EM的权重。题干精炼通过检索网络资源，将问题干中的显著实体替换为描述性短语，要求模型对描述的概念进行推理而不是依赖实体名称的模式匹配。这一过程迭代直到难度分数超过阈值或达到最大迭代次数。
这是EpiQAL确保基准质量的关键技术，防止模型通过表面匹配而非真正的推理来回答问题，理解这一机制有助于评估基准的可靠性和模型表现的有效性。
研究动机
现有的医学问答基准主要关注临床知识或患者层面的推理，如MedQA和MedMCQA测试广泛的医学知识，BioASQ提供专家策划的问题与摘要级别的文献支撑，但这些都针对个体患者的临床决策。而流行病学推理需要的是人群水平的统计和因果推断，涉及疾病负担、传播动态和干预效果的评估。COVID-19大流行凸显了从快速扩展的流行病学文献中提取可靠洞察的挑战，但现有的流行病学专用数据集如COVID-QA、CoQUAD和EPIC-QA通常是疾病特定的，且采用抽取式格式，缺乏跨疾病主题的广泛覆盖和基于文档证据的答案推导能力。
本文的目标是本文的目标是创建EpiQAL（Epidemiological QA over Literature），这是第一个系统性评估流行病学问答的基准，它结合了广泛的主题覆盖、支持单答案和多答案问题的集合式评估，以及基于文档的答案推导。EpiQAL旨在通过三个递进的子集，分别测试文本基础的回忆、多步推理和不完整信息下的结论重构，为评估LLM在流行病学推理能力上的表现提供精细的诊断信号。
与已有工作不同的是，本文的独特切入角度在于将流行病学推理形式化为一个需要人群水平推理和基于研究证据的独立问题，这与现有基准关注临床知识或患者层面决策形成鲜明对比。EpiQAL通过专家策划的分类体系确保广泛的子域覆盖，通过子集特定的策略将答案锚定在文档证据上，通过多模型验证和人类评审控制质量，通过难度筛选减少捷径线索，从而创建了一个受控、可信且具有挑战性的基准，填补了流行病学推理系统评估的空白。
核心方法
EpiQAL的整体构建流程包括四个关键步骤：输入处理、约束式QA生成、多模型验证和难度控制。首先，根据子集类型对源文档进行预处理，包括分类学引导的主题选择（EpiQAL-A和B）、疾病实体提取和知识图谱增强（EpiQAL-B）、以及将文档分离为正文和讨论部分（EpiQAL-C）。然后，使用约束生成模型 M_g 在约束模式 G 的指导下生成问题 Q、正确选项集合 O_c 和干扰项集合 O_d。生成的选项通过多模型验证器组进行独立验证，投票比例决定自动接受、拒绝或标记人类评审。最后，对EpiQAL-B和C应用难度控制，通过模型池评估难度分数，对过于简单的实例进行题干精炼。
EpiQAL的核心创新点在于设计了三个互补的子集，分别隔离文本基础回忆、多步推理和结论重构能力，每个子集采用不同的证据接地策略。EpiQAL-A的正确选项必须由源文档中的逐字跨度直接支持，干扰项是文档基础混淆因子（如错误实体/角色、错误上下文、错误指标、语义近似）。EpiQAL-B的正确选项表达源自整合多个证据和流行病学知识的推导结论，干扰项包含推理级缺陷（如因果反转、实体误归因、方法学不匹配）。EpiQAL-C在测试时屏蔽讨论部分，正确选项是从讨论部分提取的显著结论，但必须能够被正文证据支持，干扰项则是在论文叙述中看似合理但无法从正文推导的结论。
方法步骤详情
EpiQAL的完整构建步骤如下：（1）输入处理：对于EpiQAL-A和B，从六类二十五主题的分类体系中采样主题，用其描述指导证据选择、问题措辞和选项设计；对于EpiQAL-B，可选地从生物医学知识图谱（eKG-DONs和iBKH）检索疾病实体相关的三元组并总结为自然语言信号（仅在生成时使用）；对于EpiQAL-C，将文档分离为正文和讨论部分。（2）QA生成：使用Qwen3-30B-A3B-Instruct-2507作为生成模型，根据约束模式 G 生成问题、正确选项和干扰项。（3）多模型验证：三个验证器（GPT-5-mini、DeepSeek-V3.2-Thinking、GLM-4.5-Air）独立验证每个选项，评估选项是否与给定证据下的标签一致，以及隐含的推理是否连贯。每个验证器运行三次，聚合决策为投票比例 v ∈ [0, 1]，设置接受阈值 θ_h = 6/9 和拒绝阈值 θ_c = 5/9，选项在 θ_c ≤ v < θ_h 时标记人类评审。（4）难度控制：对于EpiQAL-B和C，使用四个模型（GPT-5-mini、DeepSeek-V3.2-Thinking、Qwen3-32B、Phi-4-mini-instruct）评估难度分数 DiffScore = 1 - (α · F1 + (1-α) · EM)，其中 α = 0.3。当 DiffScore < θ_d = 0.2 时，通过题干精炼迭代替换问题干中的显著实体为描述性短语，最多迭代 T_r = 3 次，直到难度分数超过阈值或达到最大迭代次数。
技术新颖性
EpiQAL的技术新颖性体现在多个方面：首先，它创建了首个专注于流行病学推理的基准，填补了现有医学QA基准在人群水平推理评估上的空白。其次，它设计了子集特定的干扰项策略，如EpiQAL-B的推理级对手和EpiQAL-C的屏蔽输入陷阱，这些干扰项要求模型进行领域特定的推理而非依赖表面线索。第三，它采用了多模型验证与针对性人类评审相结合的质量控制流程，自动化解决了超过96%的选项，只有2.2-3.6%的实例需要完全丢弃，显著提高了构建效率。第四，它引入了难度控制机制，通过模型池评估和题干精炼减少捷径线索，确保基准的挑战性。最后，它使用了专家策划的流行病学分类体系，覆盖六个类别的二十五主题，确保了主题的广泛性和问题生成的可控性。
实验结果
实验评估了15个模型跨越开源和专有系统，在三个子集上的表现揭示了当前LLM在流行病学推理上的局限性。DeepSeek-V3.2-Thinking在EpiQAL-A上达到0.928的EM，在EpiQAL-B上达到0.868（使用CoT），表现出最佳整体性能，但Mistral-7B在EpiQAL-C上领先（0.808 with CoT）。模型排名在子集间变化显著，DeepSeek-V3.2-Thinking在A和B上排名第一但在C上降至第二，Mistral-7B尽管参数数量较少，却在B（0.789 vs 0.644）和C（0.808 vs 0.685）上超越了Mistral-Large。Llama-3.2-3B在推理密集型子集上崩溃（B上0.157，C上0.088），表明存在能力阈值。多步推理是主要瓶颈，没有CoT时只有4/15模型在EpiQAL-B上超过0.70 EM，而12/15在EpiQAL-A上超过0.76。CoT在EpiQAL-B上带来最大收益，Llama-3.1-8B从0.318提升到0.665（+0.347），但在EpiQAL-C上混合效应明显，Llama-3.1-8B受益（0.190→0.384）而GPT-5-mini退化（0.599→0.555）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本基础回忆（EpiQAL-A） | Exact Match (without CoT) | DeepSeek-V3.2-Thinking: 0.928 | GPT-4o-mini: 0.766, Llama-3.2-3B: 0.366 | +21.1% vs GPT-4o-mini, +153.6% vs Llama-3.2-3B |
| 多步推理（EpiQAL-B） | Exact Match (with CoT) | DeepSeek-V3.2-Thinking: 0.868 | GPT-5-mini: 0.634, Llama-3.2-3B: 0.100 | +36.9% vs GPT-5-mini, +768.0% vs Llama-3.2-3B |
| 结论重构（EpiQAL-C） | Exact Match (without CoT) | Mistral-7B: 0.808 | GPT-5-mini: 0.599, Llama-3.2-3B: 0.088 | +34.9% vs GPT-5-mini, +818.2% vs Llama-3.2-3B |
局限与改进
作者承认本工作存在几个局限性：首先，源语料库仅来自PLOS被忽视热带病期刊，所有内容为英语，可能无法代表其他流行病学领域和多语言设置。其次，使用单个30B参数模型生成约500个实例，使用更强或跨家族生成器可能产生更难的干扰项并暴露新的失败模式。第三，尽管有多模型验证和针对性人类评审，仍可能存在残留错误。此外，题干精炼在后期迭代中可能过度扩展，部分抵消了预期的难度增加。第四，人类标注者是有生物医学训练的NLP研究人员而非从业流行病学家，人类评估覆盖120个问题，可能无法捕捉所有质量问题。第五，一些评估模型参与构建作为验证器或难度判断器，虽然这种重叠不太可能引入答案泄露，因为验证器只执行选项级别的有效性过滤，而难度判断器仅在单独的题干精炼步骤之前识别过于简单的实例。最后，EpiQAL仍然是真实世界公共卫生分析的代理，后者通常需要整合多个文档并纳入时间和地理背景。
独立分析的弱点
EpiQAL存在几个独立分析的弱点：首先，数据来源局限于PLOS被忽视热带病期刊，可能无法充分覆盖慢性病流行病学、环境流行病学等其他重要子域，未来可以扩展到更多样化的期刊和数据库以增强跨域泛化性。其次，构建过程中使用的外部知识图谱三元组对最终问题的贡献有限（仅5.6%的实例），这表明对于信息密度高的长篇科研论文，通用知识图谱的效用有限，未来可以尝试领域特定的知识资源或针对更稀疏的信息源（如临床笔记、公共卫生公告）进行增强。第三，尽管采用了多模型验证，但仍可能存在残留的事实错误或标签不一致，未来可以引入更强的验证器或增加人类评审的覆盖范围。第四，题干精炼在后期迭代中可能过度扩展描述，无意中提供领域知识，补偿了直接词汇锚定的损失，未来可以改进迭代停止条件或引入更精细的描述长度控制。第五，当前的难度阈值选择基于启发式分析，可能需要针对不同模型分布进行自适应调整。
未来方向
作者提出的未来研究方向包括：扩展源语料库到更广泛的流行病学期刊和多语言文档，以评估跨文化和跨语言的流行病学推理能力。使用更强或跨家族的生成器来增加基准规模和难度，探索更复杂的干扰项类型和推理深度。引入领域特定的知识资源，如研究级粒度的知识库或专门的流行病学本体，以改进知识增强的QA构建。开发更精细的难度评估机制，如基于推理链复杂度或干扰项迷惑性的自适应阈值调整。将EpiQAL扩展到多文档整合场景，模拟真实世界公共卫生分析中综合多个研究证据的需求。探索与其他流行病学推理任务（如因果推断、传播建模）的整合，创建更全面的评估框架。基于本文发现的模型特定弱点（如某些模型对特定干扰项类别的脆弱性），设计针对性的训练策略或提示方法来提升模型在这些方面的表现。
复现评估
EpiQAL的复现性较好。基准和代码已在GitHub上公开（https://github.com/myweiii/EpiQAL）。构建过程采用了自动化流水线，包括多模型验证和难度控制，使得复制构建流程相对直接。数据集包含1432个实例（A: 475, B: 478, C: 479），每个实例都附带源文档、问题、选项和证据跨度，便于详细分析。实验使用了15个开源和专有模型，报告了精确匹配和F1分数，并在多个设置下（zero-shot noCOT、zero-shot CoT、one-shot）进行了评估。作者还进行了稳定性分析，包括温度敏感性测试（T=0.3 vs T=0的排名相关性超过0.99）和多次运行分析（标准差低于1%），确认了结果的稳健性。跨源评估在国际流行病学杂志（IJE）上的表现与PLOS NTD一致，排名相关性达到0.94-0.96，表明流水线能够泛化到被忽视热带病之外的流行病学文献。计算资源方面，实验在NVIDIA H100和H200 GPU上运行，使用四位推理以减少内存需求，对于大多数研究团队来说是可访问的。总体而言，EpiQAL提供了足够的细节和资源以支持独立复现和进一步研究。
论文图表
