训练大语言模型预测临床事件 Training Large Language Models to Predict Clinical Events
将纵向病历切成时序问答对，用LoRA微调120B模型预测临床事件概率
前置知识
Foresight Learning（前瞻学习）
一种只用预测时点可获得的信息做预测、并用之后真正实现的结果作为监督信号的训练框架。模型同时输出概率估计与推理链，用对数分等真评分规则做奖励，此前已在SEC风险与供应链中断预测中得到验证。
本文把Foresight Learning首次系统应用于临床事件预测，理解其对时间接地监督与log score奖励的依赖，是把握整篇方法设计逻辑的前提。
LoRA（低秩适配）
一种参数高效微调方法：冻结大模型原始权重，只在每层注入两个低秩矩阵的乘积作为可训练增量。本文用秩r=32的适配器专门化120B参数的gpt-oss-120b，从而避免全参数微调的巨大算力。
本文核心成果之一就是用轻量LoRA适配器把通用基模变成专门化临床预测器，理解它只训练增量、冻结基模的特性，才能正确解读算力开销与效果来源。
GRPO（Group Relative Policy Optimization）
一种强化学习算法，对每个样本采样一组（本文组大小4）完整推理链与概率估计，用组内相对优势估计基线来更新策略。本文配合批大小32在log score奖励下只更新LoRA参数。
本文训练并非普通监督微调，而是用GRPO在log score奖励下做强化优化；理解GRPO的组采样机制，才能看懂为何模型同时学到了校准概率与扎根推理。
对数分（log score）真评分规则
概率预测的真评分规则 $r=y\log p+(1-y)\log(1-p)$，最大化它等价于最大化在模型预测分布下观测结局的似然，奖励把高概率赋予真实结局、并惩罚过度自信的错误预测。
log score既是本文训练的奖励函数，也是评测的核心reward指标，理解其作为真评分规则的性质，才能解释为什么训练同时改善了校准与排序能力。
Brier分数、ECE与AUROC
Brier分数是预测概率的均方误差，越小越好；ECE（期望校准误差）度量预测概率与经验事件频率的偏差；AUROC衡量正负样本的排序判别力。三者分别刻画概率质量、校准与判别能力。
结果章节同时报告这三类指标，分别说明微调让概率更准、更校准、排序更强，读者需要它们才能全面评判本文'略胜GPT-5'的结论。
研究动机
临床决策高度依赖从不完整、持续更新的信息中预判患者病情走向，而电子病历（EHR）中蕴含的纵向证据大多沉淀在自由文本的护理记录、医师病程记录、影像报告里，而非固定结构化变量或静态标签。现有纵向EHR预测方法各有局限：BEHRT、MedBERT主要消费结构化编码，Foresight 2依赖生物医学概念抽取后做下一事件预测，GRAIL则在结构化轨迹上做层次嵌入加LLM重排。它们普遍依赖结构化编码、抽取出的概念或next-event预测，而非针对原始临床叙述做自然语言提问，因此难以捕获评估性判断、演变推理等无法轻易量化的细粒度信号。同时，大多数基于笔记的系统把文档当作分类、抽取、摘要的静态输入，而非'预测时点之前已知、之后才能验证'的演化记录。如何把这种纵向叙述信号转化为可复用的临床预测训练监督，仍是未解难题。
本文的目标是本文的目标是把此前用于SEC风险与供应链中断预测的Foresight Learning框架延伸到临床事件预测，构建一套端到端流程：从原始、按时间排序的MIMIC-III EHR笔记出发，自动构造'时序接地'的预测监督样本，再用一个开放权重的120B参数语言模型gpt-oss-120b配合轻量LoRA适配器，训练出无需手工结构化特征、无需为每个终点单独训练分类器的通用临床事件预测模型。模型在给定预测时点之前的临床记录与一个关于未来事件的自然语言问题后，输出该事件在本次住院后续发生的概率估计 $P(y_{i,t,e}=1\mid\text{trajectory}_{i,\le t})$，并可选给出扎根于病历的推理。作者希望证明：仅靠回顾性纵向病历中的结果监督，就能让通用大模型学到专门化的、可校准的临床预测能力。
与已有工作不同的是，本文的独特切入点在于把'时间切分'作为一切设计的枢纽：同一条患者轨迹在切分点之前的部分定义预测上下文，切分点之后的记录（含出院文档）只用于事后标签裁决，从而天然规避前瞻偏差。切分前用Gemini 2.5 Flash只看预测时点已知的笔记生成多个临床问题，切分后用同一模型只看后续文档裁决二元标签，问题与答案分别处于时间轴两侧。由于问题以自然语言表达，同一轨迹可同时支撑用药启动、操作、器官支持、微生物结果、死亡等异构预测，无需端点专属分类器。这与依赖结构化编码或固定输入格式的既往工作形成本质区别，把纵向病历直接转成LLM可消费的、信息约束真实的问答监督。
核心方法
整体思路是'先有直觉、再造数据、最后适配模型'。直觉是：病历天然是按时间累积的演化记录，早期文档记录预测时点已知信息、晚期文档记录事后结果，二者切分即可生成无前瞻偏差的预测样本。技术路线上，作者从MIMIC-III v1.4的每次住院出发，按时间戳严格排序所有自由文本笔记得到患者轨迹；随机选一个早于出院时间的切分点，切分前笔记喂给Gemini 2.5 Flash生成多个面向未来的临床问题，切分后笔记喂给同一模型裁决二元标签。最终得到702条轨迹、6900个问题，按住院层级划分出500题测试集。随后用Foresight Learning的对数分奖励 $r=y\log p+(1-y)\log(1-p)$ 对gpt-oss-120b做秩r=32的LoRA强化优化，模型同时输出概率与扎根推理链。
核心创新点是把'结果接地的时间约束'作为监督来源，而非特征工程或端点专属分类器。既往纵向EHR方法要预先指定哪些结构化变量或抽取概念重要，并多为每个终点训练独立分类器；本文让同一轨迹通过自然语言问题接口同时服务异构终点，监督完全来自已实现的事后结局。关键区别在于：问题生成与标签裁决分别由时间切分的两侧文档驱动（问题只看切分前、答案只看切分后），数学上预测目标定义为 $y_{i,t,e}=1\{\text{event }e\text{ occurs after }t\text{ and before discharge}\}$。此外模型在同一前向中既估概率又生成扎根推理，并用GRPO在log score真评分规则下联合优化二者，使适配器同时学到校准与可解释的推理行为。
方法步骤详情
完整步骤如下：①轨迹构造——对MIMIC-III每次住院，按时间戳排序全部自由文本笔记（护理、病程、会诊、影像、出院小结等），仅纳入至少9条时间戳笔记且有出院时间的住院。②切分采样——每条轨迹随机选一个早于出院的单一切分点，切分前定义预测上下文，出院信息与后续证据对模型隐藏。③问题生成——用Gemini 2.5 Flash仅基于切分前文档，生成多个关于住院后续用药/操作/器官支持/微生物/死亡的临床问题。④标签裁决——同一模型仅基于切分后文档（含出院文档）为每题打二元标签，无法判定者剔除，得到正例率约25%的6900题。⑤训练——以任务指令加切分前病历加问题为输入，截断到16000 token保留最近文档，用GRPO（组大小4、批大小32）在log score奖励下只更新LoRA(r=32)，基模权重冻结。⑥评估——在住院ID与患者ID双重隔离的500题测试集上度量reward、Brier、ECE、AUROC与top-10% lift。
技术新颖性
技术新颖性体现在三方面。第一，数据构造框架可复用：把'已完成临床轨迹'机械地切成预测上下文与结果证据两侧，并由LLM自动生成自然语言问题、裁决标签，省去手工端点标注，且天然适配多终点。第二，模型设计上以单一事件条件化模型替代端点专属分类器，输入是可变长、风格多样的自由文本笔记，靠自然语言问题切换任务，对文档异质性鲁棒。第三，优化上把概率校准与推理链生成耦合进同一GRPO目标，用log score这一真评分规则做强化学习，既奖励概率贴合结局又鼓励扎根推理。这种'纵向叙述→时序问答→log score强化微调'的组合在临床领域尚属首次，区别于依赖结构化编码的BEHRT/MedBERT路线。
实验结果
核心发现是：一个轻量LoRA适配器让被提示的开放模型在临床预测上全面跃升，并略胜GPT-5。在500题测试集上，相对于被提示的gpt-oss-120b基模，reward从 $-0.5856$ 升至 $-0.4586$，Brier从0.1994降到0.1453，ECE从0.1269大幅降到0.0398，AUROC从0.6992升到0.7993，top-10% lift从2.3358升到3.0657——最高风险十分位的事件率约为总体事件率的三倍。常数基线（按24.8%正例率恒预测）reward仅 $-0.5890$、Brier 0.1996，说明增益主要来自模型而非先验。GPT-5的reward $-0.4636$、Brier 0.1457、ECE 0.0422、AUROC 0.7954均被本模型微弱超越。可靠性图显示微调模型的预测概率在各分箱更贴近经验事件频率。此外LLM盲评50对样本中，训练模型在临床推理、医学知识、扎根、临床效用四维的胜率分别为78%、92%、78%、82%，总体84%，与其量化提升一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 临床事件二元概率预测（MIMIC-III 500题测试集） | ECE（期望校准误差，越低越好） | 0.0398（step 200适配器） | 被提示gpt-oss-120b基模 0.1269 | 绝对下降0.0871，相对降低约68.6% |
| 临床事件二元概率预测（MIMIC-III 500题测试集） | Brier分数（越低越好） | 0.1453 | 被提示gpt-oss-120b基模 0.1994 | 绝对下降0.0541，相对降低约27.1% |
| 临床事件二元概率预测（MIMIC-III 500题测试集） | AUROC（越高越好） | 0.7993 | 被提示gpt-oss-120b基模 0.6992 | 提升约10.0个百分点，且略高于GPT-5的0.7954 |
| 临床事件二元概率预测（MIMIC-III 500题测试集） | reward（log score，越高越好） | -0.4586 | 被提示gpt-oss-120b基模 -0.5856；常数基线 -0.5890 | 相对基模提升约21.7%，并略胜GPT-5的-0.4636 |
| 临床事件二元概率预测（MIMIC-III 500题测试集） | top-10% lift（高风险十分位事件富集倍数） | 3.0657 | 被提示gpt-oss-120b基模 2.3358 | 提升约31.3%，略胜GPT-5的2.9927 |
局限与改进
作者承认若干局限：MIMIC-III是单中心回顾性数据，难以代表其他机构与当前诊疗模式；临床笔记充满自动填充模板与重复文档等噪声，可能限制信号质量并引入偏差；问题生成与标签裁决都依赖Gemini 2.5 Flash的模型化处理，可能在问题相关性、标签归属与事件时序上出错；模型仅基于MIMIC-III笔记训练且受数据使用条款限制为科研用途，只是方法演示而非可部署产品；GPT-5与gpt-oss-120b均未公开预训练数据，可能在MIMIC-III或衍生数据上训练过，削弱对真分布外泛化的判断。我还观察到两点：测试集仅500题、702条轨迹规模偏小，统计置信区间未给出；缺乏跨数据集与前瞻验证，外部有效性与临床实用性仍待证明。
独立分析的弱点
第一，规模与泄漏风险：仅702条轨迹、6900题、500题测试集，未报告置信区间或多种子方差，约1个百分点的AUROC领先是否稳健存疑；GPT-5与gpt-oss-120b预训练数据不透明，更令'略胜'难以确证。改进方向是扩展到MIMIC-IV/eICU等多中心数据、做数据泄漏检测与多重随机切分。第二，标签质量受LLM裁决影响：Gemini同时生成问题与打标签的双重自动化会引入系统性误差，建议引入临床专家抽样审核与人工金标子集。第三，单一切分点加单次问题采样浪费监督，可在每条轨迹多采切分与问题以扩充样本。第四，仅用自由文本而丢弃了结构化生命体征、化验与用药时序，融合多模态应进一步提升。第五，未给出校准的亚组分析与公平性审计，部署前需补齐。
未来方向
作者明确提出的方向包括：把框架迁移到更多患者轨迹数据集；将结构化EHR数据与叙述笔记融合；更严格地审核生成问题与裁决标签；建立时序接地临床预测的共享基准，便于跨数据集、跨终点、跨预测地平线比较方法。基于本文成果还可延伸：将框架用于专科登记（如肝癌、ICU队列、人口学子组），训练群体特化模型；扩展到门诊记录与多模态时间线（笔记加化验加影像）；探索更长预测地平线与连续事件时间建模；研究推理链的可信度评估及其对临床决策的实际影响；把log score GRPO替换或结合更细粒度的校准损失，并开展前瞻性临床验证以衡量对预后的真实价值。
复现评估
复现评估为中等偏难。论文未公开代码或适配器权重，但关键组件描述明确：基模gpt-oss-120b为开放权重，训练经Lightning Rod SDK配合Tinker后端，LoRA秩r=32、GRPO组大小4、批大小32、上下文16000 token、按验证性能选最终checkpoint（step 200），这些超参可复刻。数据侧MIMIC-III v1.4需PhysioNet凭证化授权，且数据处理须在合规环境运行，构成主要门槛。问题生成与标签裁决依赖Gemini 2.5 Flash，受其版本与提示影响，结果不一定完全可复现。轨迹构造的采样规则（至少9条笔记、单一随机切分）虽清晰但随机性未固定。整体而言，方法描述详尽、数据可获得但受限、缺代码与权重，独立复现需要相当算力（120B基模加强化学习训练）与凭证。
论文图表
该表给出五类模型在500题测试集上的reward、Brier、ECE、AUROC、top-10% lift：基模reward -0.5856/Brier 0.1994/ECE 0.1269/AUROC 0.6992/lift 2.3358；GPT-5为-0.4636/0.1457/0.0422/0.7954/2.9927；训练模型（step 200）为-0.4586/0.1453/0.0398/0.7993/3.0657；常数基线reward -0.5890/Brier 0.1996。
这是全文最核心的量化结果表，逐指标证明训练后模型全面优于基模并略胜GPT-5，是评判方法有效性的决定性证据。