教授LLM在代表性不足的癫痫护理中进行推荐和推迟决策

MANANA让LLM从本地数据学习处方并实现选择性预测

前置知识

Bayesian Model Averaging (BMA)

贝叶斯模型平均是一种统计方法，通过根据后验概率对多个候选模型的预测进行加权平均来提高预测性能和不确定性量化。给定候选模型m1到mT和数据D，后验预测分布通过累加每个模型的预测乘以其后验概率得到。BMA能够整合多个模型的优点，避免过度依赖单一模型，同时提供可靠的不确定性估计，这是医疗决策支持系统的重要基础。

本文的核心创新Bayesian Prompt Averaging直接基于BMA原理，将学习到的不同提示状态视为不同的模型，通过后验加权实现处方概率估计和推迟信号生成，这是理解整个方法的关键基础，也是实现不确定性感知决策的核心机制。

Selective Prediction / Learning to Defer

选择性预测或学习推迟是一种机器学习范式，让模型在不确定时选择将决策权交给人类专家，而不是强制输出预测。系统为每个预测输出置信度分数，只有当置信度超过预设阈值时才自动处理，否则推迟给人类审核。这需要在覆盖率和精度之间进行权衡：更高的阈值带来更高的精度但覆盖更少的案例。在医疗场景中，这意味着可以将稀缺的专家资源集中在模型最不确定的疑难案例上，提高整体系统效率和安全性。

本文的BPA方法的核心目标就是实现选择性预测，让系统可以自动处理高置信度案例，如实验结果显示在乌干达队列上最自信的一半病例达到95%精度，同时将低置信度案例推迟给专家审查，这对于专科护理稀缺的低资源环境至关重要。

Prompt Learning / Non-parametric Prompt Optimization

提示学习是指通过优化提示文本而非更新模型参数来适应特定任务的方法。与需要重新训练的参数化方法不同，非参数提示学习将知识存储在可解释的文本记忆中，如规则列表、角色指令或经验条目。这种方法的优势是可审计性、快速适应和无需计算密集型重训练。代表性方法包括TextGrad通过文本梯度下降重写提示、DSPy程序化提示编译等。在医疗应用中，这意味着可以将临床规则以自然语言形式存储和审查，便于临床医生理解和验证。

MANANA的核心设计就是非参数提示学习框架，它通过Predictor-Inspector-Architect三智能体循环学习部署特定的处方修正规则，而不是修改LLM的权重，这对于医疗部署尤为重要，因为它提供了可审计的文本记忆并减少了重训练负担，特别适合数据和计算有限的低资源环境。

Anti-Seizure Medication (ASM) Regimen

抗癫痫药物方案是指为癫痫患者开具的活性药物组合，可以是单药治疗或联合治疗。药物选择需要考虑多种因素：癫痫类型如局灶性或全身性、患者年龄、体重、副作用、药物相互作用、成本、可及性和当地临床实践。常见的ASM包括卡马西平、丙戊酸、左乙拉西坦、拉莫三嗪等。药物管理是一个纵向过程，涉及启动、调整、联合治疗、停药等决策，需要在多次门诊访问中根据患者反应持续调整。在低资源环境中，还需要考虑药物可及性和成本约束。

理解ASM方案是理解本文任务的基础，因为论文的核心任务就是从临床笔记预测医生开具的ASM方案，评估指标就是与医生处方方案的精确匹配度。实验结果显示单药治疗的EM@3明显高于联合治疗，这反映了预测完整药物组合的复杂性。

研究动机

现有医疗LLM系统在低资源环境中面临两个关键问题：第一，公共医疗AI基准主要由高收入国家临床环境主导，导致低资源背景下的处方实践、药物可用性和随访模式严重未代表，模型默认的处方先验与当地实际临床需求不匹配；第二，LLM直接提示虽然能实现与医生处方的一定一致性，但神经科医生的审计显示其错误源于分布失配的处方默认值而非当地临床环境。具体而言，模型应用西方处方先验而非乌干达临床实践，例如推荐在当地不可获得或过于昂贵的药物，忽略当地临床路径的独特约束。在乌干达的儿科癫痫护理中，Cohort A包含332名患者和1040次访问，Cohort B包含367名患者和1509次访问，单药治疗和联合治疗的比例在不同队列中显著差异，而标准提示方法在这些真实临床约束下表现不佳。神经科医生审计发现模型错误集中在时间线漂移、癫痫分类错误、年龄和体重漂移、药物可及性盲区、单药治疗惯性、不安全组合和感染作为癫痫触发因素等模式。

本文的目标是本文的具体目标是开发一个能够从少量本地患者级训练数据学习当地处方决策模式的LLM框架，并利用学习到的适应轨迹估计不确定性以实现推迟决策。具体而言，目标是让系统能够适应当地实践，包括药物可及性、成本和随访规范，产生处方概率而不仅是排序预测实现选择性预测，将稀缺的专科注意力引导到不确定性最高的案例。最终目标是在Cohort A训练后在独立收集的Cohort B上实现强泛化性能，超过经典ML模型、直接LLM提示和现有提示优化基线。实验设计使用50名患者训练集，在Visit 2单药治疗上希望达到超过DSPy的93.3% EM@3，并通过BPA实现选择性预测如最自信50%病例达到95%精度。

与已有工作不同的是，本文的独特切入角度在于将LLM的本地适应问题框架化为非参数提示学习问题，并利用学习到的提示轨迹本身作为不确定性的来源。与现有工作的关键区别在于：第一，区分错误诊断和记忆提交，仅承诺跨患者的重复模式而非个别案例，这避免了基于个别案例产生脆弱规则的风险；第二，将学习轨迹视为模型的经验分布，通过贝叶斯模型平均获得处方概率，这与依赖模型输出置信度或额外校准头的传统方法不同；第三，专注于从临床注释而非结构化高资源EHR如MIMIC学习完整的纵向ASM方案，这在当前医疗LLM研究中是空白。这一方法避免了参数重训练的负担，同时提供了可审计的文本记忆和实用的推迟信号，填补了当前医疗LLM在低资源环境部署的研究空白，为资源受限地区提供了可扩展的临床决策支持路径。

核心方法

MANANA即Medical Agent Non-Parametric Adaptive Network Architecture，是一个非参数提示学习框架，通过三智能体循环从患者临床笔记和医生处方学习如何推理当地处方决策，无需权重更新或临床医生编写的规则。整个方法分为学习和部署两个阶段：在学习阶段，系统观察少量本地训练案例即50名患者，每轮处理一个批次的患者记录，Predictor提出候选方案，Inspector比较与医生处方并输出结构化报告和候选学习，Architect聚合跨案例证据并更新记忆状态。在部署阶段，学习到的记忆轨迹被视为提示状态集成，通过贝叶斯提示平均即BPA将候选方案预测转化为处方概率，实现高置信度辅助或推迟给专家。两种变体：MANANA-Single学习单一共享规则列表，Architect要么追加一个新规则要么保持不变，且追加动作需要至少N等于2个来自不同临床访问的学习支持；MANANA-Multi实例化具有学习提示的专家智能体，Architect每轮可执行最多两个动作包括SPAWN添加新专家、EDIT重写现有专家指令、PRUNE移除专家或NONE，目标是保持至多5个专家的小规模可检查集合。

MANANA的核心创新点在于将LLM的适应过程分解为错误诊断和记忆提交两个阶段，通过证据门控的更新机制确保只有跨患者重复的模式才进入记忆。这与TextGrad等现有方法形成本质区别：TextGrad通过文本梯度下降重写可变提示变量，产生全局规则但无法跨案例逐条跟踪支持，而MANANA区分了错误诊断即Inspector写候选学习和记忆更新即Architect应用受约束的更新，并通过追加证据缓冲区保留带有案例来源的候选学习。另一个关键创新是利用学习到的提示轨迹本身作为不确定性来源，通过贝叶斯模型平均获得处方概率，这使得系统可以识别高置信度案例自动处理，同时将低置信度案例推迟给专家审查。BPA将每个学习轮次产生的不同提示状态视为不同的估计器，它们反映了证据积累的不同阶段，捕获了从校准数据学习的合理的本地处方规则范围，通过验证边际似然后验加权这些估计器产生处方概率而非仅排序预测。

方法步骤详情

MANANA的完整学习过程分为六个步骤：首先初始化从空记忆m0等于空集开始，设置追加证据缓冲区C0等于空集。第二每轮学习对于第t轮的批次患者记录Bt，每个访问的Predictor返回yi帽1到3等于Predictor函数，其中xi是处方决策前的累积患者历史，输出3个候选方案。第三Inspector比较Inspector比较三个候选方案与医生处方yi，输出结构化报告rho i和一个候选学习ci，即一对值等于Inspector函数。第四缓冲区更新候选学习首先进入仅追加的证据缓冲区Delta Ct等于索引对集合，Ct等于Ct-1追加Delta Ct，其中i索引访问。第五Architect更新Architect聚合证据缓冲区和当前批次报告，通过变体特定的更新规则更新记忆mt等于Arch函数。对于MANANA-Single，记忆是学习规则列表，Architect要么追加一个新规则要么保持不变，且追加动作需要至少N等于2个来自不同临床访问的学习支持；对于MANANA-Multi，记忆是一组活跃专家智能体，Architect每轮可执行最多两个动作即SPAWN、EDIT、PRUNE、NONE，目标是保持至多5个专家的小规模可检查集合。第六重复步骤2到5直至15轮完成，产生记忆轨迹m0到mT，其中每个状态条件相同的Predictor并诱导不同的方案预测器。

技术新颖性

MANANA的技术新颖性体现在三个层面：第一更新粒度与TextGrad通过文本梯度重写全局指令变量不同，MANANA区分了错误诊断和记忆提交，仅将跨患者重复的模式纳入记忆，避免了基于个别案例产生脆弱规则的风险。证据门控机制确保只有当提议的规则得到至少N等于2个来自不同临床访问的学习支持时才允许追加动作，这针对的是临床风险即单个异常患者可能成为脆弱处方规则。第二不确定性源与依赖模型输出的置信度或额外校准头不同，BPA利用学习轨迹本身作为不确定性源，将不同提示状态视为模型的经验分布，通过后验集中度产生实用的推迟信号。这使得系统不需要额外的不确定性估计机制，直接利用学习过程中的信息。第三部署友好性所有学习到的知识存储在可解释的文本记忆中即规则列表或专家指令，临床医生可以审计和审查，避免了参数重训练的验证和审计负担，这在数据和计算有限的低资源环境中尤为重要。跨模型转移实验显示由120B模型学习并应用于20B模型的MANANA记忆在多个队列访问对上改善了本地20B学习，表明MANANA学习的是可重用的任务知识而非特定于产生它的模型的特异性。

**Figure 1**: MANANA workflow. (A) During adaptation, each batch of patient records is processed with the current memory state: the Predictor proposes three regimens, the Inspector compares them with the physician prescription revealed as supervision, and the proposed candidate learnings accumulate in an append-only buffer. Once per batch, the Architect consolidates recurring cross-case signals into the next shared memory, either as a Single correction-rule list or a Multi specialist-prompt population. (B) At inference, the learned memory trajectory is treated as an ensemble of prompt states. Bayesian prompt averaging converts their candidate regimen predictions into prescription probabilities, enabling high-confidence assistance or deferral to a specialist.

实验结果

实验结果表明MANANA在两个独立收集的乌干达癫痫队列上均实现了强劲的保留性能。在Cohort A上MANANA-Multi在Visit 3单药治疗中达到97.0% EM@3，在联合治疗中达到72.6% EM@3；MANANA-Single分别达到93.2%和64.1%。在独立收集的Cohort B上MANANA-Multi在Visit 2单药治疗中达到95.1% EM@3，MANANA-Single达到92.8%。与基线相比MANANA优于Base Prompt、人工设计的Single-agent提示和经典基线即Naive Bayes、XGBoost，同时与或强于提示优化方法即DSPy、TextGrad、ExpeL。关键发现是方案复杂度是主导难度：单药治疗一致更容易，因为精确匹配评估只需要恢复一种活性药物，而联合治疗需要恢复完整的药物组合。BPA在独立队列Cohort B上的Top-3准确率比提示优化基线提高4到8个百分点，更重要的是实现了临床有意义的选择性预测：系统可以自动处理最自信的一半病例达到95%精度，或最自信的四分之一达到99%精度，同时将低置信度案例推迟给专家审查。跨模型转移实验显示由120B模型学习并应用于20B模型的MANANA记忆在五个六个队列访问对上改善了本地20B学习，表明MANANA学习的是可重用的任务知识而非特定于产生它的模型的特异性。变更访问性能分析显示MANANA-Multi在Cohort A变更访问上达到39.0% EM@3，而Prior-regimen copy基线为0%，证明模型学习了有意义的处方策略而不仅是延续先验。

**Table 1**: Main EM@3 results by cohort and regimen complexity. Values are top-3 exact match percentages; prompt-optimization rows report mean ± std over independent seeds where applicable. Light green rows mark MANANA variants; darker cells mark the best value in each column.

**Table 2**: Majority vote versus Beta-Binomial BPA on the MANANA-Multi trajectory. Majority vote achieves the same Top-3 accuracy, while BPA improves Top-1 accuracy and confidence separation for selective prediction.

**Table 3**: Selective prediction from MANANA-Multi Beta-Binomial BPA confidence. Precision denotes top-1 exact-match accuracy within the retained subset. Higher confidence thresholds produce higher precision at lower coverage, giving a practical deferral signal.

**Figure 2**: BPA confidence and deferral behavior. Dashed and solid curves denote MANANA-Single and MANANA-Multi. Left and middle: BPA confidence, defined as the final BPA probability assigned to the top-ranked active ASM regimen, tracks empirical top-1 physician-regimen agreement; the dotted diagonal indicates perfect calibration. Right: deferral curve obtained by deferring lower-confidence cases to clinician review. The marked Cohort B point shows that at 50% deferral, MANANA-Multi reaches 95% top-1 agreement on the remaining cases.

查看结构化数据

任务	指标	本文	基线	提升
Cohort B Visit 2单药治疗	EM@3	95.1%	DSPy (93.3%)	1.8个百分点
Cohort B Visit 3单药治疗	EM@3	93.2%	ExpeL (86.5%)	6.7个百分点
Cohort A Visit 3单药治疗	EM@3	97.0%	DSPy (95.0%)	2.0个百分点
Cohort B Top-1精度（50%最自信案例）	Precision	95%	Base Prompt (75%全案例)	20个百分点（在50%覆盖率上）
Cohort A变更访问EM@3	EM@3	55.6%	TextGrad (41.7%)	13.9个百分点

局限与改进

本文存在几个局限性。首先评估指标是与医生开具的ASM方案的一致性而非证明方案临床最优。当地处方反映临床判断，但也包括处方集限制、可及性、可负担性和随访约束，因此匹配当地实践的模型可能也学习了当地资源约束。其次BPA给出的是回顾性置信度分数而非部署就绪的推迟规则。本文中的推迟阈值是在保留数据上选择的以展示覆盖精度权衡，在临床环境中阈值需要在部署前选择，随患者组合变化随时间检查，并与对推迟案例的清晰审查工作流挂钩。第三当前端点是医生选择的一致性而非直接预测癫痫无发作或癫痫减少。虽然作者在Cohort A上进行了结果验证子集评估，在癫痫负担减少的访问上MANANA-Multi达到86.0% EM@3，但更全面的临床评估需要更长的随访、多试验结果数据可能需要重新制定标签。第四方法依赖于LLM的能力，较小模型如Gemma-3-12B和Ministral-3-14B在Multi变体中难以创建有用的专家和编写清晰的角色特定系统提示，表明了依赖模型容量的权衡。第五当前的专家系统CONSILIUM虽然展示了专家分解的价值，但不学习站点特定的监督，本身不产生后验方案概率或基于置信度的推迟策略。

独立分析的弱点

MANANA的独立分析弱点包括：第一对学习数据的敏感性，当前仅使用50名患者训练，虽然足够学习一些模式但可能无法捕捉罕见的临床情况或复杂的药物相互作用模式。改进方向是增加训练数据规模或结合主动学习策略，优先选择信息量最大的案例进行学习，特别是那些模型错误但医生决策正确的案例。第二多智能体协调的复杂性，MANANA-Multi需要管理多达5个专家智能体的创建、编辑和修剪，较小的模型在这方面表现不佳。改进方向是设计更简单的智能体协调机制，或根据模型容量自适应选择Single或Multi变体。第三缺乏临床结果验证，当前仅与医生处方一致性评估，未直接评估预测方案对患者癫痫控制的实际影响。改进方向是结合纵向癫痫结果数据，将癫痫无发作或癫痫减少作为辅助学习目标，使模型学习临床最优而不仅是当地实践。第四部署就绪性，BPA的推迟阈值需要在真实临床环境中设定和调整，当前仅提供回顾性分析。改进方向是在真实临床环境中进行试点部署，根据实际工作流和专科资源设定动态阈值策略。第五对提示初始化的依赖，方法从空记忆开始学习，可能需要多轮才能收敛到有用的记忆状态。改进方向是结合领域知识初始化记忆，加速学习过程。

未来方向

未来的研究方向包括：第一临床结果导向学习，作者正在进行的工作包括直接从纵向记录预测癫痫无发作或癫痫减少，可以与医生方案一致性结合或作为结果条件的扩展框架，这将使模型学习临床最优而非仅当地实践。第二对学习记忆和专家智能体的深入临床分析，系统性地分析MANANA学习的规则和专家智能体，理解它们捕获的临床模式和可能的偏差，提高可解释性和临床信任。这包括审计学习到的规则是否符合循证指南，识别系统性偏差或医疗错误模式。第三更广泛的环境适应，在更多低资源环境中验证MANANA，包括不同的疾病领域如疟疾、结核病和地区，验证跨环境转移学习的有效性。特别是测试在药物处方集和临床路径差异很大的环境中是否仍然有效。第四部署工作流集成，开发完整的部署工作流，包括动态阈值调整、专科审查接口和持续学习机制，使系统能够在实际临床环境中长期运行并适应不断变化的患者组合。第五多模态输入扩展，结合临床笔记之外的其他模态，如EEG、影像或基因组数据，提供更全面的癫痫特征描述，改进处方决策的质量。第六与专科知识整合，将MANANA学习到的本地模式与已建立的癫痫临床指南结合，创建既适应当地环境又符合循证医学的混合系统，平衡本地实践和最佳实践。

复现评估

本文的复现性评估如下：第一代码可用性，作者提供了完整代码，GitHub链接为github.com/roychowdhuryresearch/Manana2026，包括所有提示模板、预处理脚本和实验代码。这意味着研究者可以完整复现实验过程和结果。第二数据，两个乌干达队列的原始记录在去标识后提供，Cohort A包含332名患者和1040次访问，Cohort B包含367名患者和1509次访问。作者还提供了LLM辅助预处理的结果，包括临床输入和处方目标的分离以及药物标签提取。MIMIC-IV实验作为公开数据复现检查提供了额外的稳健性验证。第三算力需求，实验使用OpenAI gpt-oss-120B作为基础LLM，推理在四个NVIDIA RTX A6000 GPU上运行，AWS Bedrock用于额外推理需求。对于较小的20B模型单张GPU即可运行，降低了部署成本。跨模型转移实验表明可以使用大模型学习记忆、小模型推理的策略进一步降低部署成本。第四实验协议，作者使用了固定的70名患者Cohort A学习池，五个种子将其分层为50名训练和20名验证患者，处理150次访问在15轮更新中，报告种子级别测试分数的平均值加减标准差。所有基线使用相同的输出方案和方案解析器。这种严格的协议确保了结果的可重复性。第五复现难度中等。虽然需要访问OpenAI gpt-oss-120B模型，但作者提供了跨模型转移实验，显示由120B模型学习并应用于20B模型的记忆仍然有效，表明较小模型可以复现关键发现。

教授LLM在代表性不足的癫痫护理中进行推荐和推迟决策 Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care