AgentSLR：用智能体AI自动化流行病学系统性文献综述 AgentSLR: Automating Systematic Literature Reviews in Epidemiology with Agentic AI
首次用专家标注数据集系统评测LLM在流行病学SLR全流程中的表现，发现结构化数据提取是核心瓶颈
前置知识
系统性文献综述（Systematic Literature Review, SLR）
SLR是循证医学和公共卫生研究中最高证据等级的文献综合方法。它通过预定义的检索策略、严格的纳入/排除标准、系统化的数据提取和质量评估，对某一主题的所有相关研究进行全面综合。与叙述性综述不同，SLR要求可重复、可审计的流程，通常遵循PRISMA指南。一篇流行病学SLR可能需要筛选数千篇文献，提取基本再生数R₀、病死率CFR、序列间隔等关键参数。
本文评测LLM能否胜任SLR全流程，理解SLR的严格性和流程结构是理解评测框架设计的前提
流行病学参数提取（Epidemiological Parameter Extraction）
从原始研究论文中提取量化流行病学参数的过程。这些参数包括基本再生数R₀（一个感染者在完全易感人群中平均感染的人数）、有效再生数Rₑ、序列间隔（serial interval，即原发病例与继发病例发病间隔）、潜伏期、病死率CFR等。同一参数可能按年龄组、地理区域、临床严重程度分层报告，提取时需匹配正确的人口学上下文。
这是本文评测的核心任务之一，参数提取的复杂性（同一论文多条记录、需匹配人口学背景）直接决定了评测难度
工具调用与Schema约束提取（Tool-calling with Schema Validation）
一种让LLM通过结构化工具调用（function calling）来输出符合预定义JSON schema的数据的技术。LLM不直接生成自由文本，而是调用带有严格字段类型、枚举值和嵌套结构的工具来提取信息。这确保输出格式规范，但也限制了LLM的表达能力。例如参数提取工具要求输出包含value、unit、method、population_sex等字段的结构化记录。
本文的数据提取阶段采用这种架构，理解其工作原理才能理解为什么字段级F1低于flagging F1——schema约束既是保障也是瓶颈
WHO优先病原体（WHO Priority Pathogens）
世界卫生组织认定的具有高流行或大流行潜力的病原体清单，包括埃博拉（Ebola）、拉沙热（Lassa）、寨卡（Zika）、SARS-CoV-1、MERS-CoV、马尔堡病毒（Marburg）、尼帕病毒（Nipah）等。这些病原体的系统性综述直接影响公共卫生政策制定，因此对综述质量和准确性的要求极高。
本文选择这些病原体作为评测对象，是因为其SLR结果会直接影响公共卫生决策，LLM错误的后果远比一般应用严重
研究动机
系统性文献综述（SLR）是科学知识综合的最重要形式之一，但极其耗时耗力。一篇流行病学SLR通常需要筛选数千篇论文（平均9,132篇进入标题摘要筛选），人工完成全流程需要约385个工时，相当于48个工作日。LLM已被证明可以辅助筛选等单阶段任务，但在SLR这种长链条、多阶段工作流中的可靠性尚未被系统评估。更关键的是，现有LLM评测基准（如PaperBench、TrialReviewBench等）要么聚焦于临床干预性综述而非流行病学参数提取，要么只评测单一阶段而非完整工作流。流行病学参数提取的独特挑战在于：同一参数可能按年龄组、地理区域、临床严重程度分层报告，且不同论文对同一概念使用不同表述方式——这些变体正是SLR的核心难点，但尚未有评测基准专门针对此场景。
本文的目标是本文的目标是构建一个大规模、开源的评测框架AgentSLR，系统地测试LLM在流行病学SLR全流程（检索→筛选→结构化数据提取）中的表现。具体而言，作者希望回答三个核心问题：（1）LLM能否可靠地完成SLR各阶段任务？不同阶段的瓶颈在哪里？（2）不同前沿推理模型在各子任务上的表现是否存在显著差异？（3）LLM辅助SLR的部署风险和成本效益如何？评测使用WHO优先病原体的专家标注数据，涵盖16,248篇文章记录、3,808条参数提取、687条传播模型提取和189条疫情爆发提取。
与已有工作不同的是，本文的独特切入角度在于三个「首次」的结合。首先，这是首个针对流行病学SLR的LLM评测基准，与临床综述（如Cochrane式干预综述）不同，流行病学综述要求提取基本再生数、传播动力学模型、疫情爆发记录等特定数据类型，且同一证据可能以多种正确方式记录。其次，这是首个兼容开源权重模型并公开全部代码的SLR自动化框架，解决了闭源模型因内容过滤拒绝处理流行病学术语（如Claude 4.0+模型因「危险意图」过滤而流式拒绝）导致的可用性问题。第三，这是首个使用阶段隔离指标（stage-isolated metrics）对专家标注进行评估的框架，而非依赖LLM-as-a-judge或聚合分数，使得每个阶段的失败模式可以被独立归因。
核心方法
AgentSLR的设计理念是模拟人类流行病学家执行SLR的完整流程，将其分解为六个可独立评测的阶段。这就像一条工厂流水线：原材料（论文）从一端进入，经过检索、筛选、转换、再筛选、结构化提取，最终产出标准化的流行病学数据记录。与端到端的黑箱系统不同，AgentSLR在每个阶段都设置了独立的质量检测站，使得任何环节的故障都可以被精确定位。技术上，框架采用工具调用（tool-calling）架构配合JSON schema约束来强制结构化输出，使用Modified Jonker-Volgenant算法进行记录匹配，并设计了Flagging、Count、Extraction三级递进评测指标来分离不同类型的错误。
本文最核心的创新在于评测构造（evaluation construct）的设计。传统评测要么用精确匹配（exact match）来评判提取结果——这对同一篇论文中同一参数按不同人口学分层报告的场景过于严苛；要么用LLM-as-a-judge——引入了评判者本身的偏差。AgentSLR提出了「证据处理保真度」（evidence handling fidelity）这一评测构造，并设计了三层次的匹配机制：Flagging检测是否识别到相关数据类型、Count评估记录数量是否正确、Extraction通过二部图最优匹配来评估字段级内容准确性。对于记录匹配问题，作者意识到参考标注和LLM输出之间没有唯一的对应关系——一篇论文可能有2条专家提取和5条LLM提取，需要找到最大化总相似度的最优配对。这一设计从根本上将过提取错误、遗漏错误和字段不准确错误分离，使得每种错误类型可以被独立分析和改进。
方法步骤详情
AgentSLR工作流包含六个阶段：（1）文章检索与获取：通过OpenAlex、PubMed、Europe PMC三个数据库的领域特定布尔检索策略获取文献，去重后从开放获取源下载全文PDF，覆盖9,132篇平均文章量。（2）标题与摘要筛选：使用ScreenPrompt方法论的结构化提示（包含研究目标、纳入/排除标准、思维链推理指令）让LLM做出二元纳入/排除决策。（3）PDF转Markdown：将PDF逐页渲染为高分辨率图像，用mistral-ocr-2512 API进行OCR转换，保留文档层次结构、公式和表格。（4）全文筛选：使用比摘要筛选更严格的标准（要求可提取的量化流行病学参数，排除文献综述、Meta分析和少于10例的病例报告）。（5）数据提取：这是最复杂的阶段，采用多阶段工具调用框架。对三类数据（流行病学参数、传播模型、疫情爆发）分别进行：先进行存在性标记（presence flagging），再调用参数/模型/爆发特定的工具进行结构化提取，最后进行人口学标签（如年龄组、地理区域、临床严重程度）。参数提取进一步细分为：文本摘要、值提取、人口学上下文提取、不确定性提取、聚合信息提取五步。（6）报告生成：将提取数据通过LLM自我精炼生成SLR风格报告（但此阶段不在评测范围内）。
技术新颖性
AgentSLR的技术新颖性体现在多个层面。在评测方法论上，它首次将记录匹配问题形式化为二部图最优分配问题，使用Modified Jonker-Volgenant算法在成本矩阵上找到最大化总相似度的一对一匹配，其中相似度由各字段加权Jaccard相似度求和得到。这解决了传统精确匹配无法处理「部分正确」提取的问题——一条记录可能正确识别了疫情爆发但遗漏了日期，不应被整体判错。在工作流设计上，参数提取的五阶段流水线（摘要→值→人口学→不确定性→聚合）模拟了人类标注员的思维过程，每个阶段使用独立的schema约束工具调用。在筛选策略上，论文系统比较了三种配置（AI两阶段、人机混合、AI直接全文筛选），量化了工作流设计对证据存活率的影响。与现有SLR自动化框架（如otto-SR、A4SLR、MetaBeeAI）相比，AgentSLR是唯一同时满足开源代码、兼容开源模型、使用专家标注、独立评估、阶段隔离评测五个属性的框架。
实验结果
研究评测了五个前沿推理模型（GPT-5.2、gpt-oss-120b、Kimi-K2.5、GLM-4.7、DeepSeek-V3.2）在AgentSLR全流程上的表现，得出以下核心发现：第一，科学知识综合不是单一能力，没有哪个模型在所有阶段都领先。在标题摘要筛选中，Kimi-K2.5表现最佳（F1=0.77），gpt-oss-120b在全文筛选中领先（F1=0.87），而参数提取中Kimi-K2.5再次领先（F1=0.63），GLM-4.7在模型提取中最佳（F1=0.85），GPT-5.2在疫情爆发提取中领先（F1=0.77）。第二，结构化证据提取是所有模型的瓶颈。所有五个模型的平均字段级提取F1均未超过0.67，其中参数提取最差（无模型超过F1=0.60），尽管参数标记（Flagging）表现较好（Kimi-K2.5和GLM-4.7达到0.72）。传播模型的Flagging一致性很高（0.87-0.93），但字段级提取仍受限于0.65-0.68。第三，筛选策略显著影响证据存活率。使用gpt-oss-120b评估三种策略：AI两阶段筛选召回率0.81、人机混合筛选召回率0.92（F1=0.87最佳）、AI直接全文筛选召回率0.89但F1降至0.73。直接全文筛选虽然避免了摘要信息损失，但运行时间增加2.3倍（9.55 vs 4.16小时），OCR成本从36.6美元飙升至303.2美元。第四，性能与成本不呈正比。gpt-oss-120b以最低成本（每病原体13.9美元）达到有竞争力的表现（F1=0.70），而GPT-5.2成本高出96倍（1,348.2美元）但表现略低（F1=0.69）。成本差异主要由参数提取阶段的token使用驱动，GPT-5.2在参数提取中每篇文章产生91.1K输出token，而DeepSeek-V3.2仅3.0K。第五，专家验证显示系统在参数提取上接近「中等监督下可用」（能力评分4.23/7），但传播模型提取远未达标（2.80/7），主要失败模式包括未能利用文档结构、无法区分新发现和引用的先前工作、以及上下文推理不足。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 标题与摘要筛选 | Macro F1 | Kimi-K2.5: 0.77（最佳） | DeepSeek-V3.2: 0.62（最差） | 最佳与最差差距0.15，主要由recall差异驱动（0.75 vs 0.59） |
| 全文筛选 | Macro F1 | gpt-oss-120b: 0.87（最佳，人机混合策略） | DeepSeek-V3.2: 0.52（最差，AI两阶段） | 人机混合策略比纯AI两阶段提升0.10（0.87 vs 0.77） |
| 参数提取 | 平均字段级F1 | Kimi-K2.5: 0.63（最佳） | DeepSeek-V3.2: 0.56（最差） | 无模型超过F1=0.60，瓶颈在value字段（F1约0.22）和population字段（F1约0.24） |
| 传播模型提取 | 平均F1 | GLM-4.7: 0.85（最佳） | gpt-oss-120b: 0.75（最差） | Flagging差异小（0.93 vs 0.91），差距主要来自Count子任务 |
| 疫情爆发提取 | 平均F1 | GPT-5.2: 0.77（最佳） | gpt-oss-120b: 0.70（最差） | Lassa和Zika两个病原体间表现差异显著，Zika的Count任务是主要难点 |
| 成本效率 | 每病原体运行成本(USD) | gpt-oss-120b: $13.9 | GPT-5.2: $1,348.2 | 成本差距96倍，但性能差距仅1个百分点（F1 0.70 vs 0.69） |
局限与改进
作者在论文中明确承认了多个局限性。首先，评测仅限于通过开放获取途径可获取的文章，覆盖了PERG语料库的约27.0%。虽然手动检索的闭门访问子集显示了大致可比的性能，但绝对性能估计应相对于合法可获取的评测语料来解释。其次，工作流仅使用英语筛选标准，遗漏了多语言证据——这对某些病原体（如主要在非英语国家流行的）可能造成系统性偏差。第三，评测不包含Meta分析和最终综述撰写阶段，统计建模和叙事合成需要独立的专家验证测试。第四，OCR转换引入了与评测构造无关的方差，虽然使用了当前最佳的mistral-ocr-2512模型，但对数学公式密集的论文仍可能产生错误。第五，PERG专家标注虽然是经过培训的审稿人在文档化协议下完成的，但并非没有分歧，这引入了参考标签噪声。此外，我在独立分析中观察到：论文评测的5个模型均为2026年3月的前沿模型，但结论对模型更新的时效性有限；参数提取的schema设计可能过于严格（如exact match对等价但格式不同的数值过于惩罚），这在专家验证中也得到了印证。
独立分析的弱点
从独立分析的角度，本文存在以下几个值得关注的弱点。第一，评测对象的代表性问题：论文仅评测了9个WHO优先病原体中的7个（排除了RVF和CCHF因为PERG尚未开始筛选），且数据提取仅在4个病原体上完成。这些病原体的文献特征可能不代表一般流行病学SLR场景——例如，COVID-19相关文献量级远大于这些病原体，而资源匮乏地区的病原体文献可能更稀疏、质量更低。改进方向：扩展到更广泛的流行病学领域（如非传染性疾病、环境流行病学），并引入不同文献量级的压力测试。第二，参数提取的schema设计可能过度限制了LLM的表达能力。例如，value字段要求精确匹配数值，但专家验证发现「至少部分难度可能源于exact match标准对等价但不同格式数值的过度惩罚」。一个改进方向是引入语义等价判断（如将52%和0.52视为等价），或使用基于距离的评分而非二元匹配。第三，评估框架对「过度提取」的惩罚可能不够——Count指标给予部分信用，但未充分考虑过提取在实际应用中的危害（可能污染下游分析）。第四，论文未评估多模型集成或路由策略——既然不同模型在不同阶段有互补优势，一个动态路由系统可能显著提升整体表现。
未来方向
作者提出了几个明确的未来方向：直接衡量人类工作效率提升（human uplift measurement）、将附录M中描述的标注接口开发为生产工具、扩展到其他科学领域、以及研究跨任务的异构模型路由（不同LLM在不同子任务上展现互补优势）。基于本文成果，还可以延伸出以下研究方向：（1）开发自适应筛选策略——根据文献特征（如病原体类型、文献量级）动态选择最优筛选配置，而非使用固定的两阶段流程；（2）引入主动学习机制，让LLM在不确定的提取上请求人类标注，逐步提升系统能力；（3）将评测框架扩展到「活体系统性综述」（living systematic reviews）场景，评估LLM在增量更新中的表现——这是降低持续监测成本的关键；（4）研究参数提取的跨语言迁移能力，特别是对主要在非英语文献中报告的病原体参数；（5）探索RAG（检索增强生成）在数据提取中的应用——当前系统仅使用单篇文章的全文，但人类专家在不确定时会参考相关文献来校准提取。
复现评估
本文在可复现性方面表现优秀。AgentSLR框架的代码已在GitHub开源（oxrml.com/agent-slr），数据集在HuggingFace发布。评测使用的参考标注来自PERG的同行评审SLR，通过epireview和priority-pathogen R包部分开源。开源权重模型（gpt-oss-120b、DeepSeek-V3.2、GLM-4.7）使用vllm在NVIDIA H200集群节点上托管，论文提供了完整的推理配置（reasoning设为high，最大生成64K token）。对于PDF转Markdown，论文发现使用DeepSeek-OCR或PaddleOCR替代mistral-ocr-2512不会产生统计显著的性能差异，降低了OCR组件的成本门槛。然而，完整的复现面临几个挑战：（1）闭源模型（GPT-5.2、Kimi-K2.5）需要API访问且价格不菲；（2）全流程运行单个病原体需要约20小时计算时间；（3）某些PERG数据仍在提取阶段（MERS、Nipah），完整复现需等待数据发布。总体而言，复现难度中等偏低，适合有GPU集群的研究团队。
论文图表
