ClinSeekAgent：用于智能体式临床推理的自动化多模态证据搜寻

临床推理Agent主动从EHR、医学影像与网络搜寻多模态证据，替代被动消费打包上下文。

前置知识

智能体工具调用 (Agentic Tool Use)

指LLM不直接给答案，而是通过调用外部工具(数据库查询、网页搜索、图像分析)与环境多轮交互、动态收集信息后再回答的范式。模型每步观察历史 $h_{k-1}=\{(a_1,o_1),...\}$，再依 $a_k \sim \pi_\theta(\cdot|x,h_{k-1})$ 选下一个动作。

ClinSeekAgent的本质就是把临床推理建模成20个工具的多轮调用过程，不理解tool use/agentic loop就无法理解方法核心。

电子健康档案 (EHR, Electronic Health Record)

医院信息系统里以结构化表格存储的患者纵向记录，含诊断、检验、微生物、操作、转科等多张表，分布在MIMIC-IV等数据库中，是临床推理的核心数据来源，具有强时序性。

本文所有EHR任务都建立在MIMIC-IV原始表格上，理解EHR表结构和时序性才能理解为何需要SQL查询与时戳截断。

证据打包范式 (Curated Evidence)

现有医学评测的通行做法：推理前由人工或规则预先挑选与任务相关的患者上下文(如最近24小时事件、特定影像)打包喂给模型，模型只需'读题作答'，不负责主动找证据。

本文动机正是批判这一范式偏离真实临床工作流，理解它才能理解'Curated Input vs Automated Evidence-Seeking'对照实验的设计。

轨迹蒸馏 (Trajectory Distillation / SFT)

用强教师模型在训练集上生成完整的工具调用轨迹 $\tau=\langle x,(a_k,o_k)_{k=1}^K,\hat{y}\rangle$，渲染成原生工具调用格式后对小的开源学生模型做监督微调，让学生学会'如何搜证据'而非仅模仿最终答案。

ClinSeekAgent既是推理时流水线也是训练时蒸馏管线，第4节的ClinSeek-35B-A3B完全基于这一思想，不理解就看不懂训练实验。

胸片分析 (CXR, Chest X-ray)

胸部X光是急诊和ICU最常见的医学影像，本文多模态任务围绕CXR展开，涉及病灶存在性/枚举/时序变化对比，工具包括CXR分类、报告生成、短语定位、解剖分割。

多模态实验的全部增益集中在CXR相关任务组，理解CXR工具作用才能解释为何Opus 4.6多模态F1从47.5暴涨到62.6。

研究动机

现有的医学LLM和智能体研究大多假设证据已被预先整理好并直接喂给模型。例如医学问答和诊断推理依赖通用医学知识或简短的患者病例描述；EHR推理管线把结构化表格转成文本上下文、再检索任务相关实体；多模态临床基准也只是在推理前把相关的EHR记录、放射报告和影像打包好。这与真实临床工作流严重脱节：真实的临床决策支持需要医生(或AI)主动从外部参考资料查医学知识、从原始EHR表中检索患者纵向信息、从医学影像中提取视觉线索——核心挑战不是对给定证据做推理，而是决定去哪里检索、检索什么、如何整合。近期面向EHR的agent工作(AgentEHR、MedAgentBench等)虽让模型接触数据库工具，但任务范围、工具覆盖或模态支持都很有限，缺乏一个统一的、自动化证据搜寻框架。

本文的目标是本文目标是构建ClinSeekAgent——一个自动化的多模态证据搜寻智能体框架，把临床推理从'被动消费打包证据'转向'主动获取证据'。给定一个临床查询和对原始数据源的访问权限，ClinSeekAgent主动通过三类异构源收集证据：查询医学知识库(网页搜索)、导航原始EHR表格(11个工具)、调用医学影像工具(6个工具)，共20个工具；随着新证据出现不断精炼假设，并把收集到的证据整合为有依据的临床决策。此外，该框架要同时服务于两个目标：作为前沿LLM的推理时智能体，以及作为把高质量agent轨迹蒸馏进紧凑开源模型的训练时流水线。作者还构建ClinSeek-Bench来成对评测'打包证据'与'自主搜证据'两种设定。

与已有工作不同的是，现有工作的共同盲点是'假设证据已被摆好'。本文的独特切入角度是把这个被默认跳过的'证据搜寻'步骤本身自动化、可学习。具体差异在于：(1)与依赖curated上下文的EHR基准(EHR-Bench、EHRXQA、MedMod)不同，ClinSeekAgent移除打包上下文，只给患者ID、原始数据访问和工具，强制模型自己检索；(2)与EHR-only agent(AgentEHR)不同，它统一覆盖原始EHR表、医学影像工具、外部知识三类源；(3)与多智能体讨论(MDAgents)不同，它把搜寻过程建模为开放式工具调用轨迹并可蒸馏。这种'同一任务、同一标签，两种设定成对对照'的评测设计，首次定量回答了'主动搜证据是否真比读打包上下文强'。

核心方法

ClinSeekAgent的整体思路是'把临床推理建模成对异构数据源的多轮工具调用'。直觉上它模仿医生真实工作流：先看患者标识和任务，再决定查知识库、翻EHR还是看影像，边查边调整方向，最后综合下结论。技术路线分三部分：统一工具空间、开放式轨迹生成、可选的轨迹蒸馏。工具空间共20个工具跨3类源(11个EHR工具做schema检查/时序检索/SQL查询/候选词定位，3个浏览器工具做外部知识搜索，6个影像工具做DICOM预处理/CXR分类/报告生成/短语定位/解剖分割)。模型在每一步可自由选择工具、跨多轮交错使用，不预设证据源顺序。EHR相关任务要求先用ehr.load_ehr加载患者库，且所有查询严格限制在参考时戳$t$之前的记录以防时序泄露。

核心创新是把'证据搜寻'本身作为一等公民显式建模，并把它同时做成推理时能力和训练时监督。本质区别有三：(1)与rule-based检索管线不同，ClinSeekAgent不对证据源施加固定顺序，策略完全由agentic模型归纳，模型可从schema检查、EHR查询、网页搜索、影像分析中任选起点并多轮交错；(2)与传统curated-context评测不同，它构造ClinSeek-Bench让每个样本在'打包证据作答'与'自主搜证据作答'两种设定下共享同一任务定义和标签，从而把'搜寻能力'单独剥离出来量化；(3)与只做推理的agent不同，它把高质量搜寻轨迹$\tau$作为可蒸馏监督，教会开源小模型'把EHR当可编程数据库用'——蒸馏后eh.run_sql_query调用占比从2.0%升至12.5%就是明证。

方法步骤详情

方法分五阶段。第一步任务形式化：每个实例 $x=(p,t,q,M,Y)$，分别为患者标识、参考时戳、任务指令、模态元数据、答案schema。第二步环境初始化：EHR任务先调ehr.load_ehr加载患者库，所有查询截断到时戳$t$之前防泄露。第三步开放式轨迹生成：第k步模型观察历史 $h_{k-1}$，依 $a_k\sim\pi_\theta(\cdot|x,h_{k-1})$ 选动作——调一个工具得观察$o_k$，或终止并按schema输出预测$\hat{y}$，形成轨迹 $\tau=\langle x,(a_k,o_k),\hat{y}\rangle$。第四步推理评测：在ClinSeek-Bench与Curated Input对照，文本任务用EHR-Bench的45子任务(共1800例)，多模态用EHRXQA+MedMod共989例6任务组，报sample-wise F1。第五步训练蒸馏：用Claude Opus 4.6生成轨迹，渲染成原生工具调用格式(最长52K tokens)，对Qwen3.5-35B-A3B做SFT得到ClinSeek-35B-A3B。

技术新颖性

技术新颖性有四点。第一，首次把多模态证据搜寻统一成单一agentic框架，同时覆盖原始EHR表、医学影像工具、外部知识三类源，而AgentEHR/MedAgentBench只覆盖EHR、MDAgents只做多智能体讨论。第二，评测设计新颖：ClinSeek-Bench为每个样本构造'打包证据vs自主搜证据'成对设定，同一任务同一标签，首次把'搜寻能力'从'推理能力'中剥离量化，这是过去工作没有的受控对照。第三，把搜寻轨迹作为可蒸馏监督，证明能教会小模型'程序化使用EHR'——SQL工具调用占比2.0%→12.5%是行为层面的硬证据，而非仅最终答案模仿。第四，工具空间允许模型自由交错、不设固定顺序，相比rule-based检索管线更灵活，能在打包上下文会遗漏的稀疏/纵向/跨模态证据上恢复信号(如ED Pyxis案例中正确预测piperacillin)。

实验结果

实验围绕三条主线。第一，文本EHR任务(Table 1)：强agentic模型受益明显，Claude Opus 4.6从60.0升到63.2(+3.2)，MiniMax M2.5从43.1升到47.3(+4.2)，Sonnet 4.6 +0.9；弱模型反退(Kimi K2.5 -11.3、GLM-4.7 -7.4)，收益依赖模型规划能力。风险预测组优势集中：9个模型中7个正增益，Sonnet 4.6在ED Hospitalization +30.0。第二，多模态任务(Table 2)：6个模型中5个提升，Opus 4.6从47.5飙到62.6(+15.1)，Phenotype单任务+34.0，Sonnet 4.6 +6.9、Gemma-4-26B-A4B-it +6.7，增益来自CXR分类器、ICU事件SQL与网页搜索的组合式工具使用。第三，训练蒸馏(Table 3)：ClinSeek-35B-A3B在AgentEHR-Bench从22.1升到34.0(+11.9)，达开源SOTA，为教师Opus 4.6(36.0)的94.4%，SQL调用占比2.0%→12.5%。

**Table 1**: Comparison between ClinSeekAgent and Curated Input baseline on text-based EHR tasks.

**Table 2**: Comparison between ClinSeekAgent and Curated Input baseline on multimodal EHR tasks.

**Table 3**: AgentEHR Benchmark five-task evaluation.

**Figure 2**: Performance–model size comparison on AgentEHR-Bench.

**Figure 3**: Visualization of fine-grained text-based subtasks.

**Figure 4**: Comparison between the ClinSeekAgent pipeline and the Curated Input baseline.

**Figure 5**: Tool-call distribution before and after SFT training.

查看结构化数据

任务	指标	本文	基线	提升
文本EHR任务整体 (EHR-Bench, 1800例)	sample-wise F1 (%)	Claude Opus 4.6 + ClinSeekAgent = 63.2	Claude Opus 4.6 + Curated Input = 60.0	+3.2 (风险预测子组 +9.7: 81.0→90.7)
文本EHR任务整体 (EHR-Bench)	sample-wise F1 (%)	MiniMax M2.5 + ClinSeekAgent = 47.3	MiniMax M2.5 + Curated Input = 43.1	+4.2 (风险预测 +18.3: 68.4→86.7)
多模态EHR任务整体 (EHRXQA+MedMod, 989例)	sample-wise F1 (%)	Claude Opus 4.6 + ClinSeekAgent = 62.6	Claude Opus 4.6 + Curated Input = 47.5	+15.1 (Phenotype子任务 +34.0: 11.5→45.5)
AgentEHR-Bench 五任务平均 (训练蒸馏)	F1 (%)	ClinSeek-35B-A3B (SFT) = 34.0	Qwen3.5-35B-A3B base = 22.1	+11.9，达教师Claude Opus 4.6(36.0)的94.4%，开源SOTA
多模态 CXR 相关任务组	F1 (%)	所有评测模型在CXR存在/枚举/变化三组一致提升	Curated Input 各模型	Gemma-4-26B-A4B-it +6.7、Qwen3-VL-235B +5.9、Qwen3.5-35B-A3B +4.8

局限与改进

作者承认主要弱点在决策制定(decision-making)任务组：与风险预测多数模型正增益不同，决策类子任务改进不一致甚至退化。Table 1中Qwen3.5-35B-A3B用ClinSeek在风险预测上84.4大幅领先领域专家EHR-R1-72B的67.1(+17.3)，但在决策制定上22.0却落后EHR-R1-72B的45.2整整23.2分，说明'搜寻范式'对任务类型有特异性——风险预测靠稀疏决定性证据、ClinSeek式检索有效，决策制定却常因收集过多无关信息而漏掉关键信号(附录F.1给出反例)。我自己观察还有三点局限：一是收益强依赖被测模型的agentic能力，弱模型不升反降，限制开箱即用的通用性；二是评测仅在MIMIC单一数据源上，未验证跨医院泛化；三是多模态只覆盖CXR一种影像，CT/MRI/病理等其他模态未涉及，'多模态'名实之间仍有差距。

独立分析的弱点

独立分析有几个弱点及改进方向。第一，决策制定任务的退化暴露'过度检索'问题：agent倾向于调用过多工具堆积无关上下文，改进方向是引入检索预算约束或基于信息增益的工具选择奖励，让agent学会'何时停止'。第二，收益高度依赖基座模型的规划能力，弱模型(Kimi K2.5、Qwen3-VL-235B)在文本任务上反而退步，改进方向是针对小模型做更激进的搜寻轨迹蒸馏或加rejection sampling筛选高质量轨迹。第三，工具调用与延迟成本未报告：20个工具、多轮交互的开销在临床实时场景(如ED Pyxis建议)可能不可接受，改进方向是引入工具调用预算与早停机制。第四，Phenotype任务+34.0这种暴涨部分来自浏览器搜索'25表型Harutyunyan-2019分类法'这类基准特定知识，存在一定'利用了评测细节'的嫌疑，改进方向是用更隐蔽或临床真实的知识需求。

未来方向

作者明确提出的方向：把ClinSeekAgent扩展到更多临床场景和数据源，验证跨机构、跨模态泛化；进一步优化开源agent训练(更多轨迹、更好策略学习)。基于成果可延伸的方向有五：(1)把证据搜寻与强化学习结合，用临床结局(如是否改变处置)作为奖励微调搜寻策略，而非仅靠教师SFT模仿；(2)探索多智能体协作分工(如一个agent专攻影像、一个专攻EHR)，可能解决决策制定任务过度检索的问题；(3)加入可解释性——把搜寻轨迹直接呈现给临床医生作为决策依据，ClinSeek的开放式轨迹$\tau$天然适合做'过程透明'的临床AI；(4)扩展模态到CT、MRI、病理切片、心电图等，并引入时序影像对比工具，真正兑现'多模态'承诺；(5)在真实EHR部署中评测延迟、成本与安全性，把benchmark成绩转化为临床可用性。

复现评估

复现性评估偏正面。作者承诺'完全发布模型、数据和代码'(fully release our model, data, and code)，这是强复现信号。数据方面，ClinSeek-Bench源自公开的EHR-Bench、EHRXQA、MedMod，后两者基于MIMIC-IV和MIMIC-CXR，需走PhysioNet credentialed access，有门槛但可达；模型方面，学生模型ClinSeek-35B-A3B基于开源Qwen3.5-35B-A3B，教师用闭源Claude Opus 4.6(蒸馏轨迹复现需API成本)。算力方面，52K token超长序列的SFT对显存要求较高，正文未给具体GPU配置(Appendix E有细节)。工具方面，20个工具涉及CXR分类器、报告生成、短语定位、分割等多个第三方医学模型，复现需逐一对接。整体难度中等偏高：框架清晰、承诺开源，但MIMIC资质、教师API成本、长序列训练算力、多医学工具对接构成四道实际门槛。

ClinSeekAgent：用于智能体式临床推理的自动化多模态证据搜寻 ClinSeekAgent: Automating Multimodal Evidence Seeking for Agentic Clinical Reasoning