临床文本到SQL中的患者相似性队列推理 Patient-Similarity Cohort Reasoning in Clinical Text-to-SQL
提出CLINSQL基准，评估LLM在临床EHR数据库上进行患者相似性队列推理的Text-to-SQL能力
前置知识
Text-to-SQL
将自然语言问题自动转换为可执行SQL查询的任务。用户用日常语言描述数据需求，模型需要理解语义并生成结构化查询语言。在通用领域已有WikiSQL、Spider等基准推动发展，但临床场景对时间推理、医学术语和队列构建提出了更高要求。
本文的核心任务就是临床Text-to-SQL，理解该任务的基本框架是阅读本文的前提。
MIMIC-IV数据库
由MIT计算生理学实验室维护的大规模去标识化电子健康记录数据库，包含贝斯以色列女执事医疗中心超过2000年-2019年的住院患者数据。v3.1版本包含HOSP模块（入院、诊断、实验室、药物等19张表）和ICU模块（生命体征、护理记录、操作事件等6张表），是临床AI研究最广泛使用的公开数据源。
CLINSQL基准完全构建在MIMIC-IV v3.1之上，理解其表结构和数据特点对理解论文的标注过程和实验设计至关重要。
患者相似性队列推理（Patient-Similarity Cohort Reasoning）
临床决策中常见的分析范式：给定一个目标患者（如81岁女性、有急性心肌梗死），需要在数据库中找到具有相似临床特征的患者群体（如女性、76-86岁、转院入院、主诊断AMI），然后对这个队列进行分层统计分析（如30天再入院率、住院时长）。这比简单的单患者查询复杂得多，需要多维条件过滤、时间窗口推理和编码系统映射。
这是本文提出的核心推理范式，也是CLINSQL区别于之前所有临床Text-to-SQL基准的关键创新点。
ICD编码系统
国际疾病分类（International Classification of Diseases）编码系统，用于标准化疾病诊断的记录。ICD-9使用数字编码（如410表示急性心肌梗死），ICD-10使用字母数字编码（如I21表示急性心肌梗死）。MIMIC-IV中同时存在两个版本的编码，临床查询需要正确处理版本差异和编码模式匹配。
ICD编码是临床查询中最常用的筛选条件，论文发现ICD约束的松散或缺失是模型失败的主要原因之一（54%的错误源于队列规范和编码问题）。
树状评分准则（Rubric-based Evaluation）
一种结构化评估框架，将复杂评估任务分解为层次化的二元判断节点。树的内部节点代表高级评估维度（如患者队列构建、数据库集成），叶节点定义具体的二元验证标准。关键节点（Critical）的失败会导致父节点立即失败，非关键节点允许部分得分。这种设计能精确定位错误来源并支持可解释的评估。
本文的评估框架采用这种树状准则结构，是理解论文实验结果和错误分析的基础，也是区别于传统执行准确率评估的关键创新。
Chain-of-Thought自精炼（CoT Self-Refinement）
一种推理增强策略：模型首先进行链式思维推理（逐步思考相关表、连接、过滤、分组），然后生成SQL。如果执行失败，将错误信息反馈给模型进行最多两轮修正。这种迭代方式能显著提高执行成功率，因为很多模型的首次执行成功率较低。
论文在评估中采用这种策略，实验表明它对性能有显著影响，理解其机制对解读实验结果很重要。
研究动机
现有临床Text-to-SQL基准存在根本性不足：MIMICSQL和EHRSQL等数据集主要关注单患者查询或简单统计汇总，很少要求患者相似性队列推理——而这正是真实临床决策的核心。具体而言，现有基准的任务大多是检索特定患者的基本信息（如某患者的住院时长），而真实临床场景需要构建患者队列、应用时间窗口过滤、处理ICD编码映射、计算队列级别的分层统计。例如，医生实际会问：'在53-63岁男性脓毒症患者中（排除感染性休克），按住院时长（<8天 vs ≥8天）和首日ICU状态分层，报告住院死亡率、机械通气率、血管活性药物使用率和RRT使用率'。这类查询需要多表连接、时间推理、临床编码知识和复杂的聚合逻辑，远超现有基准的覆盖范围。通用领域的Text-to-SQL基准（如Spider、BIRD）虽然推动了跨领域解析的进步，但完全缺乏临床领域的特定挑战：时间抽象（如前24/48/72小时）、临床范围/单位、ICD/药物编码以及队列构建。
本文的目标是本文的具体目标是创建一个临床基础的Text-to-SQL基准（CLINSQL），要求模型进行患者相似性队列推理和多步时间推理，在MIMIC-IV v3.1数据库的633个专家标注任务上评估22个开源和专有模型。同时开发基于树状准则的评估协议，能精确定位错误来源并验证临床合理性。最终目标是推动临床可靠Text-to-SQL系统的发展，使EHR分析自动化成为可能。
与已有工作不同的是，本文的独特切入角度有三方面：第一，以患者相似性队列推理为中心，而非简单的患者信息检索或统计汇总；第二，设计六种临床场景家族（患者人口统计、生命体征监测、实验室结果分析、药物管理、诊断操作、疾病诊断与预后），覆盖真实临床分析的完整范围；第三，采用树状准则评估而非简单的执行准确率，能区分SQL逻辑正确性和结果临床合理性。这种评估方式揭示了一个重要现象：模型的执行得分经常高于SQL得分（Pearson相关r=0.8597），说明很多模型通过'碰巧'产生接近参考值的结果来掩盖逻辑错误，这在临床场景中是危险的。
核心方法
CLINSQL的构建采用四阶段流水线：临床场景设计→自然语言问题标注→SQL标注→评估准则标注。首先，标注者从MIMIC-IV中选择代表性患者，按年龄（25-85岁）、临床状况（心血管、呼吸、代谢、感染、术后）、医疗利用（急诊/择期入院、保险类型、住院时长）、急重症程度（病房vs ICU）和时间窗口（前24/48/72小时、全住院期、操作特定时段）五个维度进行分层采样。然后，标注者编写医生实际会问的自然语言问题，要求问题必须需要数据库查询且不能通过简单观察回答。接着，专家标注者分析数据库需求、进行模式映射、构建可执行的黄金标准SQL。最后，为每个问题构建两棵评估准则树（SQL评估和结果验证），采用关键优先聚合策略。评估使用GPT-5作为判断模型，对准则叶节点进行二元决策并记录简要理由。
核心创新在于将患者相似性队列推理作为评估的中心范式。与之前基准的本质区别在于：(1)查询需要'以一个目标患者为锚点，找到相似患者群体'，而非简单的数据检索或统计；(2)评估采用树状准则结构，区分关键和非关键要求，支持部分得分和错误定位；(3)引入临床合理性验证，不仅检查SQL是否可执行，还验证结果是否在临床合理范围内（如死亡率1-20%、机械通气率0.1-45%等）。这种评估方式揭示了执行正确≠逻辑正确的重要洞察：模型可能产生'碰巧正确'的结果但队列构建逻辑有误，在临床场景中这是危险的。
方法步骤详情
CLINSQL的构建和评估包含以下具体步骤：(1)临床场景设计：定义六种场景类型（患者人口统计与入院、生命体征监测、实验室结果分析、药物管理、诊断操作、疾病诊断与预后），每种场景有明确的定义和示例问题。(2)患者选择与问题编写：标注者从MIMIC-IV v3.1中选择代表性患者，按五个维度分层采样（年龄、临床状况、医疗利用、急重症程度、时间窗口），编写自然语言临床问题。(3)数据库分析与模式映射：识别所需的MIMIC表、建立表间关系、映射临床概念到数据库模式。(4)黄金标准SQL构建：开发可执行的BigQuery查询，处理多表连接、时间约束、临床值范围验证、空值管理和边缘情况。(5)评估准则标注：为每个问题构建SQL评估准则树（4个一级维度：患者队列构建、医学概念实现、数据库集成、临床分析）和结果验证准则树（输出格式合规、临床值验证）。(6)数据验证：每个标注例子由医学研究领域专家进行四方面验证：临床问题评估、SQL实现审查、输出验证、评估框架审查。(7)模型评估：在22个模型上使用CoT自精炼进行评估，执行失败时进行最多两轮修正。
技术新颖性
CLINSQL的技术新颖性体现在多个层面。首先，在基准设计上，它是第一个以患者相似性队列推理为中心的临床Text-to-SQL基准，要求模型构建患者队列而非简单检索。其次，在评估框架上，采用树状准则结构（而非传统的执行准确率或精确匹配），支持关键优先聚合（关键节点失败导致父节点立即失败）和顺序依赖（后续评估仅在前置步骤通过后进行）。第三，在评估过程中引入临床合理性验证：结果不仅需要格式正确，还需要在临床合理范围内（如血红蛋白7-18 g/dL、年龄计算使用anchor_age和anchor_year）。第四，通过GPT-5作为判断模型实现可扩展的自动评估，人类-GPT一致性研究表明叶节点一致率达82-87%，通过/失败一致率达88-92%。最后，提出了Schema-Hinted推理设置，在提示中前置临床验证的ICD过滤器和预期结果列名，显著提升了中等和困难案例的性能（Medium执行得分从75.63%提升至85.85%，Hard从69.83%提升至77.03%）。
实验结果
论文在CLINSQL基准上评估了22个专有和开源模型，得出以下核心发现：(1) CLINSQL对当前基础模型构成重大挑战。即使最强的模型在Hard子集上的表现仍然有限：GPT-5-mini达到69.7%执行得分，Gemini-2.5-Pro为67.2%。Gemini-2.5-Pro从Easy到Hard的执行得分下降了18.24个百分点（85.5%→67.2%）。(2) GPT-5-mini在测试集上取得最佳平均执行得分74.7%，DeepSeek-R1在开源模型中领先达到69.2%，但比最强专有模型低约5.5个百分点。(3) Chain-of-Thought推理普遍优于直接输出：Qwen3-235B-A22B-Instruct从53.6%提升至58.2%，Qwen3-Coder-480B-A35B-Instruct从56.1%提升至60.5%。(4) 错误分析揭示三种主要失败模式：队列规范和编码错误（54%，如ICD约束被关键词启发式替代）、输出模式和格式错误（24%，如缺少必需列或命名不匹配）、聚合和临床统计错误（14%，如分母指定错误）。(5) Schema-Hinted推理在GPT-5-mini上显示一致的性能提升，特别是在Medium和Hard查询上：Medium执行得分从75.63%提升至85.85%（+10.21个百分点），Hard从69.83%提升至77.03%（+7.20个百分点）。(6) 执行得分经常高于SQL得分（Pearson相关r=0.8597），说明模型可能通过'碰巧正确'的结果掩盖逻辑错误。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 临床Text-to-SQL（平均测试集） | 执行得分 (%) | GPT-5-mini: 74.67% | DeepSeek-R1: 69.15% | GPT-5-mini比最强开源模型高5.52个百分点 |
| Easy子集 | 执行得分 (%) | Gemini-2.5-Pro: 85.46% | GPT-5-mini: 81.31% | Gemini-2.5-Pro在Easy子集领先 |
| Medium子集 | 执行得分 (%) | GPT-5-mini: 73.46% | DeepSeek-R1: 68.43% | GPT-5-mini比DeepSeek-R1高5.03个百分点 |
| Hard子集 | 执行得分 (%) | GPT-5-mini: 69.69% | Gemini-2.5-Pro: 67.22% | GPT-5-mini在Hard子集领先2.47个百分点 |
| Schema-Hinted推理（Medium） | 执行得分 (%) | GPT-5-mini: 85.85% | 基线CoT: 75.63% | +10.21个百分点 |
| Schema-Hinted推理（Hard） | 执行得分 (%) | GPT-5-mini: 77.03% | 基线CoT: 69.83% | +7.20个百分点 |
局限与改进
论文承认的局限性包括：(1) CLINSQL完全构建在MIMIC-IV v3.1上——来自单一医疗系统的数据，目标单一SQL环境（BigQuery），这可能限制了向其他EHR生态系统、数据模型和数据库后端的迁移性。(2) CLINSQL依赖大量领域专家参与进行场景规范、黄金标准SQL编写和准则对齐的理由说明。虽然这种专家策展提供了高保真度的监督，但相关的培训、标注和审查负担降低了吞吐量，使得在没有额外工具或替代监督策略的情况下难以扩展到更大的数据集。我自己的观察：(3) 评估完全依赖GPT-5作为判断模型，虽然人类一致性研究表明一致性尚可（叶节点一致率82-87%），但在边界案例上仍存在分歧，且GPT-5可能存在系统性偏差。(4) 所有模型评估都使用CoT自精炼（最多两轮修正），这增加了推理成本和延迟，在临床实时应用场景中可能不实用。(5) 基准中的'患者相似性'主要是基于明确的临床特征（年龄、诊断、保险等），未涉及更隐含的相似性（如疾病进展模式、治疗反应相似性）。
独立分析的弱点
独立分析的弱点和改进方向：(1) 单一数据库和SQL方言：CLINSQL仅支持BigQuery SQL，而临床环境使用多种数据库系统（如PostgreSQL、Oracle、SQL Server）。改进方向：扩展基准以支持多SQL方言评估，或开发SQL方言转换层。(2) 标注成本高昂：每个例子需要领域专家进行场景设计、SQL编写和准则标注，且验证流程复杂（87%接受、9%小修、4%大修/拒绝）。改进方向：开发半自动标注工具，利用LLM生成初始SQL和准则，由专家进行校验和修正。(3) 静态评估：模型在评估时无法与数据库交互进行探索性查询，而真实临床分析往往是迭代的。改进方向：引入交互式Text-to-SQL评估，允许模型执行中间查询并基于结果调整策略。(4) 缺乏多模态信息：临床决策通常结合结构化数据和非结构化文本（如临床笔记、影像报告）。改进方向：扩展基准以包含临床笔记中的信息需求。(5) 时间快照问题：MIMIC-IV是历史数据快照，未考虑临床指南和编码标准的演变。改进方向：引入时间感知评估，区分不同时期的临床实践标准。
未来方向
作者提出和基于成果可延伸的未来研究方向：(1) 开发专门针对临床Text-to-SQL的微调策略，利用CLINSQL的树状准则作为奖励信号进行强化学习。(2) 探索Schema-Hinted推理的更广泛应用，自动从问题中推断ICD编码和预期输出列名，而非依赖黄金标准信息。(3) 将CLINSQL扩展到其他EHR数据库（如eICM、HiRID），测试跨机构迁移性。(4) 开发临床领域知识增强的Text-to-SQL模型，将医学本体（如SNOMED CT、LOINC）集成到推理过程中。(5) 研究多轮交互式临床查询，模拟真实的临床数据探索工作流。(6) 将树状评估框架应用于其他需要领域专业知识的结构化预测任务。(7) 开发更高效的自精炼策略，减少修正轮次的同时保持或提高性能。(8) 研究模型在不同难度级别上的失败模式差异，开发针对性的训练策略。
复现评估
复现评估：论文提供了良好的复现条件。(1) 数据和代码完全开源：数据发布在yifeis02/ClinSQL，代码在Barryshen1/ClinSQL。(2) 使用公开可用的MIMIC-IV v3.1数据库，需要PhysioNet credentialed访问。(3) 评估使用BigQuery执行SQL，需要Google Cloud账户。(4) 模型配置详细记录（Table 7），包括发布版本、API标识符和推理管道设置。(5) 提示模板完全公开（Figures 15-20），包括CoT、Direct Output和Schema-Hinted三种设置。(6) 评估准则结构和叶节点定义通过示例充分说明。(7) 复现难度中等：需要BigQuery访问权限和多个模型API密钥，但论文提供了足够的细节使复现成为可能。(8) 算力需求因模型而异：开源模型使用vLLM推理，专有模型通过API访问，论文未报告具体推理成本。
论文图表
展示了CLINSQL基准的整体概览，包括一个具体的查询示例（'告诉我患者3745最近一次入院的住院时长'），对应的黄金标准SQL（从admissions表中选择，按admittime降序排列取第一条记录，计算julianday(dischtime)-julianday(admittime)），以及基准的关键特征：队列级别的高级多表推理、场景覆盖和难度分层（Easy/Medium/Hard）、基于准则的评估（SQL和Result两棵评估树）。
这张图是论文的核心视觉摘要，快速传达了CLINSQL的定位和关键创新点，帮助读者在深入细节前建立整体认知。