EEG 基础模型：进展、基准测试与开放性问题 EEG Foundation Models: Progresses, Benchmarking, and Open Problems
通过大规模基准测试评估 EEG 基础模型，发现专家模型仍具竞争力且线性探测不足。
前置知识
Electroencephalography (EEG)
脑电图是一种通过放置在头皮上的电极记录大脑电活动的非侵入性技术。EEG 信号具有高时间分辨率但空间分辨率较低，且信噪比（SNR）通常较低。在本文中，EEG 是基础模型预训练和下游任务的主要输入数据源，涵盖了运动想象（MI）、P300、稳态视觉诱发电位（SSVEP）等多种 BCI 范式。
理解 EEG 的物理特性（如跨被试的分布漂移、低 SNR）是理解基础模型面临挑战的关键，也是评估模型在不同范式下泛化能力的基础。
Brain-Computer Interface (BCI)
脑机接口旨在建立大脑活动与外部设备之间的直接通信通路。它可以帮助神经退行性疾病患者进行交流或控制假肢。本文重点评估 BCI 基础模型在解码不同 BCI 任务（如运动想象、情感识别、睡眠分期）中的表现。
BCI 是本研究的应用背景。理解下游任务的多样性（如 9 种不同的范式）对于评估基础模型的通用性至关重要。
EEG Foundation Model
受大型语言模型（LLM）启发，EEG 基础模型是在大规模异构 EEG 数据上进行自监督预训练的模型，旨在学习可迁移的神经表征。其核心前提是，预训练模型可以通过微调或提示迅速适应新的下游任务，从而减少对昂贵标注数据的依赖。
这是本文的核心研究对象。理解其定义有助于区分传统的从头训练模型（Specialist Models）和预训练-微调范式。
Self-Supervised Pre-training
一种无监督学习方法，模型通过设计代理任务（如掩码重建、对比学习、代码本重建）从大量未标记数据中学习表征。在 EEG 基础模型中，常见的策略包括原始信号重建、频域重建和基于码本的离散建模。
预训练策略是基础模型的核心技术。不同的预训练目标（如掩码原始信号 vs. 重建嵌入标记）会导致不同的归纳偏置，直接影响模型在下游任务上的泛化性能。
Leave-One-Subject-Out (LOSO) & Few-shot Adaptation
LOSO 是一种跨被试泛化评估协议，模型在其他所有被试的数据上训练，然后在目标被试上测试。Few-shot Adaptation 则模拟真实部署场景，仅使用目标被试的极少量数据（如 10%-30%）进行微调，以评估快速校准能力。
本文创新性地引入了 Within-Subject Few-shot 设置，更贴近 BCI 实际应用中校准成本高昂的现实。这是理解论文结果（为何基础模型表现不如预期）的重要视角。
研究动机
现有的 EEG 基础模型虽然进展迅速，但缺乏公平且全面的比较。由于预训练目标、预处理选择和下游评估协议的不一致性（如使用不同的掩码比例、不同的归一化策略、不同的微调数据量），直接对比不同模型的有效性变得非常困难。此外，关于这些模型能否提取真正可泛化的表征、是否显著优于从头训练的传统方法，以及是否遵循规模法则（Scaling Law），目前尚无定论。
本文的目标是本文旨在填补这一空白，通过构建统一的基准测试（Benchmark），系统性地评估 EEG 基础模型的真实能力。具体目标包括：(1) 综述 50 个现有模型并提出统一的分类框架；(2) 在涵盖 9 种 BCI 范式的 13 个数据集上评估 12 个开源模型；(3) 探究全参数微调与线性探测的差异，以及模型规模与性能的关系。
与已有工作不同的是，本文的独特切入点在于其“全面性”和“真实性”。不同于以往仅关注单一范式或仅使用大量数据进行微调的研究，本文不仅涵盖了从临床到运动想象的多种任务，还引入了更贴近实际部署的“跨被试少量样本适应”（Within-Subject Few-shot）场景。此外，本文首次系统地将传统的机器学习方法和从头训练的深度学习模型作为基线，直接挑战了“预训练模型必然更优”的假设。
核心方法
研究首先构建了一个包含 50 个 EEG 基础模型的统一分类框架，将预训练流程标准化为数据预处理、模型架构和预训练策略三个核心模块。在此基础上，研究选取了 12 个开源基础模型，并在 13 个公开数据集上进行严格评估。评估采用了双轨制：一是传统的跨被试泛化（LOSO），二是模拟快速校准的少量样本适应（Few-shot）。为了评估表征的可迁移性，研究对比了“全参数微调”和“仅训练分类头（线性探测）”两种策略。
本文的核心创新在于其评估视角和比较基准。作者指出，仅仅因为模型在大规模数据上预训练过，并不意味着它在特定、数据受限的下游任务上优于精心设计的专家模型。研究发现，尽管基础模型在某些任务上表现出色，但在大多数情况下，从头训练的轻量级专家模型（如 EEGNet，仅 2K 参数）依然具有很强的竞争力。这表明当前的 EEG 基础模型可能尚未学到足够通用的表征。
方法步骤详情
方法步骤包括：(1) 数据标准化：采用通道统一、滤波、归一化（如 z-score, EA）等操作，将不同来源的 EEG 数据转化为统一格式；(2) 预训练：利用掩码重建（Masked Reconstruction）或因果建模（Causal Modeling）在大规模语料库上训练编码器；(3) 下游评估：在 LOSO 设置下使用所有训练被试数据微调，在 Few-shot 设置下仅使用目标被试的少量数据微调；(4) 策略对比：分别执行全参数微调（更新编码器参数）和线性探测（冻结编码器），以检验预训练特征的纯净度。
技术新颖性
技术新颖性主要体现在评估维度的扩展。不同于以往研究仅报告 LOSO 准确率，本文引入了 Within-Subject Few-shot 评估，这在 EEG 领域尤为重要，因为为新用户收集大量数据是不现实的。此外，研究揭示了一个反直觉的现象：在数据量受限的情况下，增加模型参数量或使用更复杂的预训练策略（如使用大规模 TUEG 数据集预训练）并不一定能带来更好的泛化性能，甚至可能导致过拟合或优化困难。
实验结果
研究得出了三个核心结论：(1) 线性探测（Linear Probing）能力不足：在大多数基础模型上，仅训练分类头的性能远低于全参数微调，说明预训练编码器提取的特征缺乏足够的判别性或迁移性；(2) 专家模型仍具竞争力：在 13 个数据集的综合排名中，传统的 EEGNet（2K 参数）排名第二，仅次于 CBraMod，且在许多任务上显著优于大型基础模型；(3) 规模法则失效：在当前的数据规模和训练范式下，更大的模型参数量（从几百万到数十亿）并未带来一致的性能提升，甚至在某些任务上出现性能下降。例如，在 SEED 情感数据集上，CBraMod 取得了最佳平均准确率（53.61%），但在 SEED-VIG 警觉度数据集上，其 RMSE 表现最差（0.2718）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SEED (Emotion Recognition) | Accuracy (%) | 53.61 (CBraMod, Full) | 55.67 (Conformer, Full) | Conformer 在 Full fine-tuning 下略优于 CBraMod；但在 Few-shot 下 CBraMod 表现出更强的适应性。 |
| BNCI2014001 (Motor Imagery) | BCA (%) | 53.03 (CBraMod, Full) | 46.80 (LMDA, Full) | +6.23% (CBraMod 优于最佳专家模型) |
| TUAB (Clinical Detection) | Accuracy (%) | 81.92 (LUNA-Base, Full) | 81.48 (Deformer, Full) | 两者非常接近，基础模型仅略有优势。 |
| SEED-VIG (Fatigue Detection) | RMSE | 0.2718 (CBraMod, Full) | 0.2281 (LaBraM, Full) | CBraMod 表现最差，说明其在回归任务上的泛化能力存在局限。 |
局限与改进
论文坦诚地指出了当前 EEG 基础模型的局限性。首先，数据质量与规模是瓶颈：不同于文本或图像，EEG 数据采集成本高且存在大量噪声，导致现有预训练数据集（如 TUAB 虽大但标签粗糙）难以支撑像 NLP 领域那样的规模法则。其次，预训练策略可能不是最优的：简单的掩码重建可能让模型过度关注信号噪声而非神经特征。最后，线性探测的失败表明，模型可能只是学到了某种可以通过微调激活的“潜在”特征，而非直接可用的高层语义表征。作者还指出，本文仅评估了分类任务，未深入探讨生成式或提示（Prompting）应用场景。
独立分析的弱点
尽管研究全面，但仍存在改进空间。首先，评估任务以分类为主，缺乏对生成式任务（如信号重建、数据增强）的评估，这限制了我们对基础模型“基础能力”的全面理解。其次，虽然研究对比了多种模型，但对于“为什么规模法则失效”的深层原因（如优化景观、梯度流）缺乏理论分析。此外，虽然作者提到了数据质量的重要性，但并未在实验中系统地对比“清洗后”与“原始”预训练数据对性能的影响。
未来方向
基于本研究的发现，未来的研究方向包括：(1) 开发更鲁棒的预训练策略，特别是针对 EEG 低信噪比和跨设备异构性的设计，例如探索多模态（EEG + ECG/EMG）联合预训练；(2) 构建大规模、高质量、标准化的 EEG 语料库，并进行严格的数据清洗（如基于神经生理学原理的通道筛选）；(3) 探索参数高效微调（PEFT）方法（如 LoRA），以降低基础模型在实际 BCI 系统中的部署成本；(4) 发展针对特定 BCI 范式（如运动想象、P300）的专用基础模型，而非追求单一的通用模型。
复现评估
复现评估极高。论文承诺将在 GitHub 上开源代码，且所有评估均基于公开数据集（如 BNCI2014001, SEED, TUAB）。作者详细列出了 12 个开源模型和 7 个基线模型的具体实现细节（如模型大小、预训练数据集），并采用统一的评价指标（BCA, RMSE）和固定的随机种子（3 seeds），确保了结果的可复现性。
论文图表
