EEG基础模型的测试时自适应:真实世界分布漂移下的系统研究 Test-Time Adaptation for EEG Foundation Models: A Systematic Study under Real-World Distribution Shifts
系统评估3种TTA方法在4个EEG基础模型和5个数据集上的稳定性
前置知识
测试时自适应(Test-Time Adaptation, TTA)
TTA指模型在推理时利用无标签目标域数据动态调整参数以适应新分布。常见范式包括熵最小化(Tent)、伪标签自训练(SHOT)和无优化原型调整(T3A),源数据与目标标签在TTA中均不可用。
本文系统评估三类TTA范式在EEG信号上的效果,理解它们目标函数和更新机制是看懂实验设计与结论的前提。
EEG基础模型
EEG基础模型指在大规模多样化EEG语料上通过自监督预训练得到的大规模神经网络,目标是学习可迁移的通用表征。本文评估4个变体:CBraMod、TFM-Tokenizer、REVE Bse/Large。
论文核心是揭示不同架构与表示范式对TTA的响应差异,是理解结果普适性的关键背景。
分布漂移(Distribution Shift)
分布漂移指训练与测试数据概率分布不一致。EEG漂移尤其严重:受试者间差异、设备型号、采集协议、医院人群、任务定义都会引入漂移。论文分同分布、OOD、极端模态三层。
文章评估设计以不同级别漂移为轴,理解这一分类是看懂实验表格与泛化结论的前提。
互信息最大化与伪标签
SHOT等方法的损失含三项:条件熵(鼓励目标预测置信)、多样性正则(防输出坍缩)、伪标签损失。互信息最大化要求固定源后验条件下最大化目标与伪标签的互信息。
理解SHOT的目标函数是解释为什么它在本实验中频繁退化的关键,因为EEG的强非平稳性使得伪标签噪声被进一步放大。
研究动机
近年来EEG基础模型在大规模自监督预训练上取得显著进展,但临床部署面临严重的分布漂移问题。与自然图像主要呈现风格差异不同,EEG信号具有受试者特定的神经动力学与高度多样化的采集协议,导致模型在新医院、新设备、新人群上表现急剧退化。例如Kastrati等人2025年的报告表明EEG基础模型在睡眠分期等分布外任务上退化严重。同时,医疗场景受隐私法规与标注成本限制,源数据与目标标签均不可获取,使得传统域适应方法难以部署。测试时自适应TTA是一种在推理时仅利用无标签目标数据调整模型的源自由范式,但其在EEG上的有效性尚未被系统评估:现有研究多聚焦单一任务或单一架构(如驾驶员嗜睡检测或多模态睡眠分期),无法判断观察到的增益是否可泛化,并且不同TTA方法的稳定性差异巨大。
本文的目标是本文的核心目标是构建NeuroAdapt-Bench这一系统化基准,系统评估代表性TTA方法在多种EEG基础模型、多样化下游任务与异构部署场景下的效果。具体包括三个子目标。第一在同分布、分布外、极端模态三层漂移设置下量化不同TTA方法相对于No-TTA基线的增减情况。第二识别哪些TTA方法在跨模型、跨任务、跨漂移严重度上表现出可部署的稳定性。第三理解不同基础模型表示范式(连续嵌入与离散token)对TTA响应的影响。
与已有工作不同的是,本文的独特切入角度是首次跨模型、跨任务、跨漂移严重度的系统化TTA基准。已有工作或在视觉/语音领域评估TTA但未专门针对EEG的强非平稳与模态多样性,或在EEG上做任务特异研究但未跨模型跨方法对比。NeuroAdapt-Bench的贡献在于建立可复现评估框架、揭示梯度基方法在EEG上频繁退化的反直觉现象,并指出无优化方法T3A是唯一在所有漂移层级上均获得正均值平衡准确率提升的方法。这些发现为未来设计EEG特定的TTA策略提供了具体方向,区别于简单将视觉领域SOTA迁移到生物信号。
核心方法
NeuroAdapt-Bench采用三阶段流水线。阶段一为分类器微调,每个基础模型搭配一个轻量统一分类头(编码器冻结,仅训练头),通过验证集选择模型。阶段二为测试时自适应,对无标签目标数据应用所选TTA方法。阶段三为评估,对每个方法-模型-数据集组合报告5个随机种子的均值与方差并量化相对No-TTA的增减。整个流水线在4个基础模型变体、5个数据集、3种TTA方法上重复执行,实现跨方法跨模型跨任务的交叉比较。
核心创新在于建立跨模型跨漂移严重度的统一TTA评估协议,与揭示优化自由TTA方法在EEG上的优势。方法上无单一新TTA算法,而是通过精心控制变量(统一分类头、冻结编码器、患者不相交划分)剥离分类器设计与表示差异的混杂,使得观察到的性能增减能干净归因于TTA方法本身。发现上T3A作为唯一在所有设置中均获正均值的TTA方法,其原型式调整天然避免对网络参数的破坏,因此对预训练表示的扰动最小。这一结果打破了TTA在EEG上必然退化的悲观预期,为后续研究指出可执行路径。
方法步骤详情
方法包括四步。第一步分类器微调将每个基础模型编码器冻结,接上统一轻量分类头(带特征适配器与线性映射层),在源域训练集上训练,在验证集上选择最优超参,测试集完全不可见。第二步TTA应用对无标签目标测试集应用所选TTA方法。Tent只更新BN/LN/GN的仿射参数,最小化预测熵;T3A不更新任何网络参数而是在线维护每类低熵特征原型集,预测时使用余弦相似度;SHOT先对全目标集做互信息最大化以构造精化特征心,然后在伪标签上做监督训练以更新编码器。第三步评估对每个组合报告5个种子的平衡准确率、ROC-AUC、PR_AUC、Cohen κ与加权F1,并量化相对No-TTA的逐种子增减。报告方式上同时呈现均值±标准差与逐数据集相对增益,使读者既能看绝对性能又能看相对波动。第四步消融额外报告批大小64/128/256的扫描与在线-离线设置对比。所有代码与超参将公开以促进复现。
技术新颖性
技术新颖性体现在四个层面。其一协议层面首次在EEG上建立跨4个基础模型、5个数据集、3种漂移层级的统一TTA基准,控制分类器、初始化、划分以保证结论可归因于TTA本身。其二发现层面揭示标准梯度基方法在EEG上频繁退化的反直觉现象,例如Tent在CHB MIT上可造成显著平衡准确率负迁移,挑战了视觉领域TTA在跨域问题上的SOTA地位。其三方法层面证实无优化TTA(T3A)作为唯一在所有漂移层级上获得正均值平衡准确率提升的方法,且其增益与批大小解耦(适合临床流式部署)。其四表示层面揭示离散token化范式(TFM-Tokenizer)相对连续嵌入(REVE系列)对梯度基TTA的退化更具抗性,为表示感知TTA设计提供线索。
实验结果
实验覆盖5个数据集、4个基础模型变体、3种TTA方法、5个种子、3个批大小。核心发现:(1) 同分布(TUAB)所有TTA方法全面退化,平衡准确率/PR/ROC AUC均跌,Tent退化最重;(2) 分布外CHB-MIT上T3A获最大单点增益,REVE Bse平衡准确率$\Delta_{TTA}=+18.9$pp,CBraMod与REVE Large也稳定正增益;Sleep EDF-78上多数方法退化,T3A仅在CBraMod边际为正;(3) 极端模态Ear-EEG:T3A在CBraMod三项指标全正(平衡$+0.048\pm0.012$、$\kappa+0.064\pm0.016$、F1$+0.018\pm0.009$),REVE Bse平衡$+0.037\pm0.007$;Tent/SHOT在所有模型全项退化;(4) 稳定性:T3A对批大小不敏感,梯度基方法批增大略改善但不转正。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CHB MIT癫痫检测(分布外) | 平衡准确率提升 | T3A在REVE Bse上+18.9pp | No-TTA(冻结的微调模型) | +18.9pp(论文报告最大单点提升) |
| Ear-EEG睡眠分期(极端模态) | 平衡准确率相对增益 | T3A在CBraMod上+0.048 ± 0.012 | No-TTA基线 | +4.8pp(统一为正的项之一) |
| Ear-EEG睡眠分期(极端模态) | Cohen κ相对增益 | T3A在CBraMod上+0.064 ± 0.016 | No-TTA基线 | +6.4pp |
| Ear-EEG睡眠分期(极端模态) | 加权F1相对增益 | T3A在CBraMod上+0.018 ± 0.009 | No-TTA基线 | +1.8pp(仍为正) |
| TUEV事件检测(同分布) | 平衡准确率相对增益 | T3A在多数模型上获小幅正增益 | No-TTA基线 | 稳定正增益但幅度小 |
| TUAB异常筛查(同分布) | 平衡准确率/PR AUC/ROC AUC | Tent/SHOT/T3A全面退化 | No-TTA基线 | 全为负,TTA在TUAB上不可用 |
| Sleep EDF-78睡眠分期(分布外) | 多项分类指标 | 所有TTA方法在多数模型上退化 | No-TTA基线 | 梯度基方法全负,T3A仅在CBraMod上边际正 |
| 批大小扫描(64/128/256) | 平衡准确率 | T3A对批大小不敏感,梯度基方法随批增大略改善 | 固定批大小对照 | 梯度基方法不转化为正增益 |
局限与改进
作者承认的局限性包括:TTA方法覆盖不全,仅3种代表方法,未涵盖所有视觉/语音/生物信号TTA家族;模型覆盖有限,4种变体不构成所有EEG基础模型家族;计算成本,REVE Large等大模型使自适应对内存敏感,限制可行批大小与硬件可及性。本人观察的额外局限:报告粒度限制,所有增益以No-TTA为参照的差值体现,但No-TTA基线本身的方差未被系统报告,限制读者评估TTA绝对收益是否超过基线噪声;缺乏多受试者级别分析,分布外退化可能主要源于特定受试者子集而TTA增益是否对所有受试者均匀分布未被披露;缺乏失败模式分析,Tent在哪些层/通道/频段上损失最大未被定位;缺乏TTA与微调的对照,源数据不可访问的假设虽然临床合理但限制与传统域适应的比较。
独立分析的弱点
独立分析可识别的弱点有四个。其一仅在患者不相交设置下评估,未覆盖患者内漂移(同一受试者不同会话/不同天)这一临床真实场景,TTA在日内变异性下的稳定性未知。改进方向是引入同一受试者多会话评估与时间感知划分。其二仅在3种TTA方法上对比,未涵盖更新BN/LN之外的参数、对比学习式TTA、记忆库方法与扩散式伪标签精化等近期进展,限制结论普适性。改进方向是纳入更广泛TTA家族并提供统一接口。其三评估指标体系偏向分类,未评估表征质量(如线性探测、t-SNE、ProtoNet距离)作为辅助,TTA对表征空间几何结构的影响未被独立量化。改进方向是补充表征空间分析。其四缺乏失败归因分析,未区分TTA退化源于熵最小化坍缩、伪标签噪声累积、还是BN/LN统计量与目标分布不匹配,限制方法论洞察。改进方向是引入梯度流追踪与逐层敏感度诊断。
未来方向
作者提出的未来工作包括设计EEG特定的TTA方法、扩展到更多EEG基础模型家族、评估计算效率与临床部署可行性、集成至现有Python库。基于本文成果可延伸的方向有五个。其一表示感知TTA根据基础模型表示范式(连续嵌入 vs 离散token)自适应选择TTA策略,例如对TFM-Tokenizer可设计token bank式原型调整。其二受试者级别元学习TTA利用历史受试者元学习TTA超参以加速新受试者适应。其三Ear-EEG到头皮EEG模态桥接结合领域适应与TTA,构造统一的多模态部署框架。其四TTA-微调协同在TTA不可用或退化时回退到受信任的微调策略,构建层次化自适应。其五在线持续学习评估将TTA扩展到流式持续场景并量化灾难性遗忘风险。
复现评估
代码与评估流水线计划开源并集成到现有Python库,论文明确声明将促进复现性。模型与数据集方面CBraMod、TFM-Tokenizer、REVE Bse/Large均可从公开仓库获取,5个EEG数据集TUEV/TUAB/CHB MIT/Sleep EDF-78/EarEEG均为标准公开数据。计算资源方面REVE Large对内存要求较高,作者承认限制可行批大小与硬件可及性,REVE Bse与CBraMod在单A100级别GPU上可重跑。实现难度中等偏高,需要实现Tent的BN/LN更新逻辑、T3A的原型集维护与余弦分类、SHOT的互信息最大化与伪标签迭代训练,并设计统一接口包装各基础模型的原生输入处理。超参与划分细节需从论文附录与代码仓库共同获取。
论文图表
示意EEG基础模型部署中分布漂移的来源:预训练数据来自设备A的受试者A,部署时面临设备B的受试者B,导致性能显著下跌。相比自然图像的漂移多为风格差异,EEG漂移涉及受试者神经动力学差异与采集协议差异,更为严重。
该图直观定义了问题动机:分布漂移阻碍EEG基础模型从源域到新医院/新设备的部署。理解这一图是理解TTA在EEG上价值的前提,因为TTA的承诺正是无需源数据即可在新域适应。