用于可解释少样本阿尔茨海默病预测的表格大语言模型 Tabular LLMs for Interpretable Few-Shot Alzheimer's Disease Prediction with Multimodal Biomedical Data
提出TAP-GPT框架，基于表格大语言模型实现少样本阿尔茨海默病多模态生物标志物预测。
前置知识
AT[N]生物标志物框架
这是美国国家衰老研究所（NIA）和阿尔茨海默病协会提出的生物学定义框架，将AD生物标志物分为三类：'A'代表β-淀粉样蛋白生物标志物（如淀粉样蛋白PET或脑脊液Aβ42），'T'代表病理性tau蛋白生物标志物（如脑脊液磷酸化Tau或Tau PET），'N'代表神经变性或神经元损伤生物标志物（如结构MRI萎缩、FDG PET或脑脊液总Tau）。该框架定义AD为生物学构造而非临床综合征，使得AD诊断可以在症状出现前进行。
本文的研究完全基于AT[N]框架的多模态生物标志物进行AD预测，理解这个框架对于理解数据构成和特征选择策略至关重要。
上下文学习
上下文学习是指模型在不更新参数的情况下，通过推理时在提示中提供的少量标注示例来学习新任务的能力。对于表格数据，ICL意味着向模型展示一个包含k个标注样本的小表格，每个样本包含特征向量和标签，然后要求模型预测新样本的标签。模型通过单次前向传播完成预测，无需梯度更新。形式化地，给定目标样本x_t和上下文集合C_t，模型直接输出预测y_hat。
本文的核心创新就是将表格数据的少样本预测任务建模为ICL范式，利用LLM的少样本泛化能力解决医学数据样本量有限的问题。
表格大语言模型
表格大语言模型是专门为表格数据理解而设计的大语言模型架构。与通用LLM需要将表格序列化为文本不同，表格LLM通常包含专门的表格编码器来保持表格的结构信息（列顺序、对齐、模式等），并将表格信息压缩为紧凑的潜在表示。TableGPT2是代表性工作，它在59.3万个表格和236万个表格-问题对上进行了大规模预训练，使用模式感知的表格编码器和QWen2.5-7B解码器，在商业智能任务上相比基线LLM实现了35-49%的性能提升。
TAP-GPT正是基于TableGPT2构建的，理解表格LLM的架构设计（表格编码器+语言模型解码器）对于理解本文的技术路线至关重要。
参数高效微调
参数高效微调是一种在保持大部分模型参数冻结的情况下，通过添加少量可训练参数来适应新任务的技术。QLoRA（Quantized Low-Rank Adaptation）是代表性方法，它在将模型权重量化为4位精度的同时，向解码器注入低秩适配矩阵。具体来说，对于预训练参数θ_0，学习一个低秩更新Δθ = AB，其中A和R矩阵维度满足r << d。最终参数为θ = θ_0 + Δθ。这种方法大幅减少内存需求，使得在有限GPU资源上微调大模型成为可能。
本文使用QLoRA来适配TableGPT2用于AD预测任务，只更新解码器参数，保持表格编码器固定，这是实现计算可行性的关键技术选择。
LASSO特征选择
LASSO（Least Absolute Shrinkage and Selection Operator）是一种线性回归方法，通过添加L1正则化项来实现稀疏性。其优化目标为最小化（1/2n）* ||y - Xβ||^2 + λ||β||_1，其中λ是正则化强度。L1正则化使得许多系数被压缩为零，从而实现自动特征选择。在本文中，LASSO用于从高维图像特征（72个区域特征）中选择top-p个最相关的特征，以缓解表格LLM在长上下文输入下的性能退化问题。对于三个成像模态，作者联合调优p∈{8, 16, 32}和k∈{4, 8, 12}，最终选择p=16和k=4。
高维表格输入会导致表格LLM性能下降，LASSO特征选择是本文解决这一问题的关键方法，也是k-p消融分析的核心组件。
研究动机
阿尔茨海默病（AD）的准确诊断需要处理表格形式的生物标志物数据，但这类数据在真实场景中经常面临样本量小、特征维度高、缺失值多的挑战。在QT-PAD数据集中，只有333名患者（237名认知正常，96名AD），但每个患者有15个临床生物标志物和4个协变量。这种样本量与特征维度的比例使得传统深度学习方法难以发挥优势，因为它们对有限的样本量、特征缩放和缺失值非常敏感。相反，经典机器学习方法如随机森林和XGBoost在小数据集上表现稳健，在AD预测任务中经常作为强基线。然而，这些方法有两个根本性限制：第一，它们提供有限的解释性，无法说明哪些血液标记或脑区域驱动了特定预测；第二，它们除了训练数据外无法利用医学领域的先验知识，这意味着它们在特征名称（如'CSF PTau'或'hippocampus volume'）中携带的丰富语义信息没有被充分利用。
本文的目标是本文的具体目标是开发一个基于表格大语言模型的AD预测框架，能够在少样本设置下有效处理多模态生物标志物数据，同时提供可解释的结构化推理输出。具体来说，作者希望：（1）利用LLM的少样本泛化能力解决医学数据样本量有限的问题；（2）保持表格结构信息而非序列化为文本，以提高对结构化临床数据的理解；（3）通过任务特定微调将通用表格理解能力适应到AD诊断领域；（4）生成包含跨模态推理、置信度评分和临床解释的结构化输出，为未来多智能体临床决策支持系统奠定基础。
与已有工作不同的是，本文的独特切入角度在于首次系统性地将表格大语言模型应用于AD多模态生物标志物研究。与现有方法形成鲜明对比的是，大多数工作要么使用传统机器学习方法（如随机森林、XGBoost）处理表格数据，要么将表格序列化为文本后提示通用LLM。前者缺乏解释性和先验知识整合能力，后者则丢失了表格的结构信息。而本文提出的TAP-GPT框架巧妙地结合了表格编码器的结构感知能力和语言模型解码器的语义推理能力，在保持表格结构的同时利用了LLM的先验知识。此外，本文还探索了可解释提示、自我反思稳定性、高维表格特征选择和缺失数据鲁棒性等方向，这些都是表格LLM在医学应用中的前沿问题。
核心方法
TAP-GPT（Tabular Alzheimer's Prediction GPT）是一个基于TableGPT2构建的领域自适应表格大语言模型框架，用于少样本AD分类。整体思路是将AD预测任务建模为表格少样本上下文学习问题：模型被提示一个包含k个标注患者的小表格，每个患者包含多模态特征（如临床生物标志物、区域成像测量）和诊断标签，以及一个待预测的目标患者。模型通过一次前向传播输出预测结果，无需梯度更新。技术路线方面，作者使用TableGPT2-7B作为基础模型，它包含一个静态的语义表格编码器和一个QWen2.5-7B解码器。通过QLoRA参数高效微调技术，作者仅更新解码器参数，保持表格编码器固定，从而在注入AD特定知识的同时保留通用表格表示。框架支持四种提示格式（零样本表格、零样本序列化、少样本表格、少样本序列化），并可通过提示设计生成可解释的结构化输出。
核心创新点在于将表格数据的少样本预测建模为保持表格结构的上下文学习任务，而非将表格序列化为文本。与简单序列化方法不同，TAP-GPT利用TableGPT2的编码器-解码器架构，其中表格编码器将结构化表格压缩为紧凑的潜在表示，保持列对齐和模式上下文。这种设计避免了序列化带来的两个问题：（1）丢失明确的列对齐和结构关系；（2）随着特征数量或上下文示例增加，token长度膨胀导致计算成本增加。另一个关键创新是通过提示工程实现可解释性而非架构修改，通过在提示中添加指令，模型可以输出包含预测标签、推理解释和置信度评分的JSON对象，这为未来多智能体系统提供了模块化推理能力。
方法步骤详情
TAP-GPT的训练和推理包含以下步骤：（1）数据准备：对于每个模态m∈{QT-PAD, amyloid PET, tau PET, structural MRI}，定义数据集D包含N_m个样本，每个样本包含d_m维特征向量x_i和二分类标签y_i∈{0, 1}（0=认知正常，1=AD）。特征名称集合F被直接纳入提示构建。（2）数据划分：对于每个数据集，大约40%样本用于训练，10%用于验证，20%用于测试。剩余约30%被分成三个非重叠的上下文学习（ICL）池，对应训练、验证和测试划分，这些ICL池仅用于提示构建，不参与模型优化或评估。（3）提示构建：对于目标样本x_t，从对应划分的ICL池I_s中随机采样k个标注示例构建上下文集合C_t。结构化提示为P_t = Φ(C_t, x_t)，其中Φ是确定性格式化函数，将示例和目标患者渲染为表格表示或序列化自然语言表示。（4）模型微调：使用QLoRA对TableGPT2解码器进行参数高效微调，低秩适配矩阵被注入到解码器中，最大化正确诊断标签的对数似然。表格编码器保持固定。（5）约束解码：推理时，使用自定义logits处理器将输出空间约束为{0, 1}，强制生成有效的二分类预测。（6）可解释输出：对于可解释实验，修改提示以请求结构化推理解释和标量置信度评分，同时保持相同的监督目标。
技术新颖性
技术新颖性体现在多个方面：（1）首次系统性地将表格大语言模型应用于AD多模态生物标志物研究，填补了表格LLM在医学领域应用的空白；（2）提出了保持表格结构的上下文学习范式，避免了序列化带来的信息损失和token膨胀问题；（3）通过提示工程而非架构修改实现可解释性，提供了灵活性，可以在不重新训练的情况下请求不同的结构化输出（如AD风险概率、排序的重要特征、特征级理由）；（4）探索了表格LLM在医学特定场景下的挑战，包括高维表格的特征选择（使用LASSO选择top-p特征）、缺失数据鲁棒性（直接在提示中表示缺失性无需填充）和自我反思稳定性（多智能体系统中的一致性）；（5）提出了基于LLM的特征排名作为LASSO的替代或补充策略，利用模型的领域知识而非训练数据的统计稀疏性。
实验结果
核心发现包括：（1）在QT-PAD多模态生物标志物数据集上，TAP-GPT在少样本表格设置下实现了卓越性能，平均F1分数达到0.89，显著超越传统机器学习基线（如随机森林、XGBoost、SVM）、vanilla LLMs（Qwen2.5、Qwen3）和专门的表格基础模型TabPFN。特别值得注意的是，引入思维链推理的可解释TAP-GPT变体进一步提升了性能。（2）在三个单模态成像数据集上，观察到了从基础backbone到领域自适应模型的性能递进。例如，在tau模态中，Qwen2.5的F1从0.43开始，TableGPT2达到0.48，TAP-GPT达到0.68。在淀粉样蛋白PET模态中，可解释TAP-GPT的F1为0.64，与GPT-4.1-mini的F1=0.65相当。在tau PET模态中，TAP-GPT的F1为0.68，明显优于GPT-4.1-mini的F1=0.53。在结构MRI模态中，GPT-4.1-mini达到最高F1=0.66，而TAP-GPT的可解释变体实现F1=0.65，与之接近。（3）k消融分析显示，TAP-GPT在QT-PAD数据上在k=8时达到最高平均F1=0.831（标准差=0.0702），k=6和k=10表现相似。对于成像数据，联合k-p消融分析显示淀粉样蛋白PET和tau PET在较低的k和p值时性能达到峰值，最终选择k=4和p=16以保持跨模态一致性。（4）特征选择实验显示，对于所有三个模态，使用LASSO选择top-16特征时TAP-GPT性能一致提升，而使用全部72个特征会导致性能下降，特别是在tau PET和MRI中。（5）缺失数据鲁棒性实验显示，TAP-GPT在模拟缺失性（最高50%）下保持稳定性能，在自然缺失性场景下（平均缺失率0.247）也显示出有限的退化。在极端缺失情况下（50%），TabPFN达到与TAP-GPT相当的性能。（6）自我反思实验显示，GPT-4.1-mini在自我反思下表现出相当大的性能损失，而TAP-GPT在所有三个成像模态中在标准和自我反思条件下保持相似性能，表明其作为多智能体系统组件的稳定性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| QT-PAD多模态生物标志物分类 | F1分数 | 0.89 (可解释TAP-GPT，少样本表格) | 0.68-0.83 (传统ML，TabPFN，vanilla LLMs) | 7-31% |
| Tau PET区域分类 | F1分数 | 0.68 (TAP-GPT) | 0.48 (TableGPT2) | 42% |
| Tau PET区域分类 | F1分数 | 0.68 (TAP-GPT) | 0.53 (GPT-4.1-mini) | 28% |
| 淀粉样蛋白PET区域分类 | F1分数 | 0.64 (可解释TAP-GPT) | 0.65 (GPT-4.1-mini) | 相当 |
| 结构MRI体积分类 | F1分数 | 0.65 (可解释TAP-GPT) | 0.66 (GPT-4.1-mini) | 相当 |
| 40%模拟缺失数据 | 性能保持率 | 稳定至40%缺失 | 传统方法显著退化 | 明显鲁棒性优势 |
局限与改进
作者承认的局限性包括：（1）在单模态成像数据集上，TAP-GPT的性能与强大的通用LLM（如GPT-4.1-mini）相比有时相当或略低，表明LLM骨干的选择仍然是关键因素。（2）作者没有为这些模型启用扩展的思考或推理模式，因为目标限制在二分类，这可能限制了模型在复杂推理任务中的潜力。（3）TableGPT2的固定架构限制了将解码器替换为更新、更强大的LLM的能力。（4）与QT-PAD的多模态设置相比，单模态成像数据集的性能可能受益于多模态融合策略。作者自己的观察包括：（5）可解释输出中存在推理不一致性，模型有时会误解特征方向性（例如，将升高的FDG值视为AD的指标，而降低的代谢通常与疾病相关）或错误地将其他行的值引用为属于目标患者。（6）作者主要关注二分类（AD vs CN），未来的工作应该扩展到更细粒度的诊断分类（如MCI）或连续的疾病严重程度评分。（7）虽然作者在四个数据集上验证了方法，但所有数据都来自ADNI队列，这限制了方法的泛化性到其他人群或成像协议。
独立分析的弱点
独立分析的弱点包括：（1）在高维表格输入（72个特征）下，TAP-GPT的性能明显下降，即使经过特征选择，TableGPT-R1在p=72设置下在所有模态中表现出接近零的性能，表明处理长表格上下文的固有困难。改进方向：探索更长的上下文窗口、分层的表格编码策略或混合架构，将特征分组为层次结构。（2）可解释输出中的推理不一致性（特征方向误解、跨行数据混淆）表明模型的医学推理仍不够可靠，可能不适合作为独立的临床决策工具。改进方向：设计针对医学推理的针对性微调策略、引入医学知识图谱约束、开发推理一致性验证机制。（3）TAP-GPT在结构MRI模态上的性能相对较弱，这可能是因为体积测量提供的信号比PET代谢测量更弱。改进方向：探索更先进的MRI特征提取（如皮层厚度、表面面积、白质完整性），或结合功能连接数据。（4）多模态数据的集成目前是通过分别训练的模态特定模型实现的，而不是真正的多模态融合。改进方向：设计联合多模态训练策略、开发跨模态注意力机制、探索多模态提示的智能组合。（5）研究主要关注单轮预测，没有探索迭代的多智能体协作。改进方向：设计多智能体系统架构，让模态特定的TAP-GPT代理通过共享证据而非仅概率分数进行通信。
未来方向
未来研究方向包括：（1）作者提出的：开发多智能体诊断系统，其中模态特定的TAP-GPT代理进行协作以模拟多学科临床决策；探索更新、更强大的LLM骨干作为TAP-GPT的基础；扩展方法到其他神经退行性疾病（如帕金森病、路易体痴呆）；开发针对推理错误模式的针对性提示策略。（2）基于本文成果可延伸的：将TAP-GPT扩展到MCI分类或连续疾病进展预测，以提供更细粒度的诊断信息；探索主动学习策略，让模型主动请求最信息丰富的特征，以应对高维特征空间；开发实时在线学习机制，允许模型随着新患者的积累而持续适应；研究可解释性与性能的权衡，探索不同程度的可解释性（从简单的特征重要性排名到详细的因果推理）对诊断准确性的影响；将TAP-GPT与电子健康记录系统集成，实现端到端的临床决策支持工作流；探索联邦学习设置，让多个医院协作训练TAP-GPT而无需共享原始患者数据；开发针对低资源语言的适配，以扩大方法的全球适用性；研究TAP-GPT在罕见AD变异（如早发性AD）中的表现，以及如何将遗传数据更有效地纳入模型。
复现评估
复现评估：作者已在GitHub公开了源代码（https://github.com/sophie-kearney/TAP-GPT），包括所有实验配置、超参数和提示模板。研究使用的ADNI数据是公开可访问的，但需要申请许可。计算资源方面，作者在配备NVIDIA A100 GPU（80GB HBM内存）和160GB系统RAM的高性能计算集群上进行了所有实验，每个训练作业分配1个GPU、4个CPU核心和1个节点。由于实验配置数量庞大（模态、随机种子、提示格式和p×k组合的数百种变体），作者执行了几百个GPU作业，积累了大约0.25TB的模型检查点和适配器存储。所有实验使用了10个随机种子以确保结果的统计可靠性。超参数调优使用Optuna进行，旨在最大化验证F1。对于微调的TableGPT2和Qwen2.5模型，调优的LoRA参数包括rank、dropout率、学习率、batch size、权重衰减、最大训练步数和学习率调度器。复现难度中等，主要挑战在于计算资源需求和ADNI数据访问许可。
论文图表