自然图像自编码器能否紧凑地分词 fMRI 体数据以建模长程动态？ Can Natural Image Autoencoders Compactly Tokenize fMRI Volumes for Long-Range Dynamics Modeling?
2D 自然图像自编码器把 fMRI 体压为 27 token,支持 256 帧长程建模。
前置知识
fMRI 与体数据 (Voxel)
功能性磁共振成像 (fMRI) 测量血氧水平依赖 (BOLD) 信号，得到 4D 数据 (3D 空间 + 1D 时间)。每帧是 96×96×96 的三维体，时间维度可达数百帧。
本文核心数据是 4D fMRI 体，理解 4D 结构是看懂 token 化与时间窗口设计的前提。
Deep Compression Autoencoder (DCAE)
一种通过 space-to-channel 非参数操作实现 32×-128× 空间压缩的自编码器,被用于加速高分辨率扩散模型。本文利用其冻结的编码器把 256×256 图像压缩为 64 个 token。
DCAE 是 TABLeT 的核心分词器,理解其压缩机制和「冻结使用」策略对读懂全文至关重要。
自监督掩码建模 (MIM / MTM)
受 MAE 启发的预训练范式:随机遮盖部分输入,让模型预测被遮盖部分。本文提出 MTM 直接在 token 空间做掩码,无需图像解码器。
MTM 是 TABLeT 预训练的核心,理解它能解释为何 TABLeT 的 token 表示适合 fMRI 下游任务。
功能连接 (Functional Connectivity, FC)
用不同脑区 BOLD 时间序列间的 Pearson 相关构成的矩阵,反映脑区协同活动的模式,常作为脑分析的特征。
FC 矩阵是评估 tokenizer 是否保留高层功能信息的关键指标,在图 4 中被用作重建保真度评价。
研究动机
fMRI 是研究人脑时空动态的核心工具,然而 4D fMRI 数据维度极高(单帧可达 96×96×96 体素),现有体素级方法(如 TFF 和 SwiFT)受限于 GPU 显存,单次只能处理约 20 个时间帧,严重阻碍了对长程时间动态的建模。然而,神经科学已明确指出许多关键现象跨越数十秒才展开,例如 BOLD–LFP 超慢耦合与全局觉醒波(infraslow BOLD–LFP coupling, global arousal waves)。同时,基于 ROI 的方法依赖先验脑区划分,会丢失细粒度 3D 空间结构并对脑图谱选择高度敏感。
本文的目标是本文的具体目标是设计一种体素级、显存高效的 fMRI 表征框架,在不损失 3D 空间细粒度信息的前提下,把单次前向可处理的时间帧数从 SwiFT 的 20-50 提升到 256 帧以上,实现真正的「长程动态建模」。在性能层面,希望在 UKB-Sex/Age、HCP-Sex/Age/Intelligence、ADHD-200 诊断等共 6 个下游任务上达到与体素级 SOTA 相当或更优的表现,尤其是对动态信号更敏感的任务应出现明显增益。配套的可解释性(IG 显著性图覆盖已知脑区)、可复现性(开源代码、单卡可跑)与零训练跨域分词(2D DCAE 不需任何 fMRI 微调)也被列为衡量目标。
与已有工作不同的是，本文敏锐地观察到:尽管 fMRI 与自然图像在域上差异巨大,但一个在 2D 自然图像上预训练的高压缩自编码器 DCAE(可把 256×256 图像压成 64 个 token)蕴含着极其鲁棒的边缘、纹理等底层特征,有可能直接迁移到 fMRI 分词上。这一「跨域冻结 token 化」思路绕过了在医学小样本上训练 3D 自编码器的数据瓶颈与跨扫描仪泛化难题,是此前所有 fMRI 表征工作都未尝试的角度。
核心方法
TABLeT 的核心思想是把 fMRI 体数据的表示问题「外包」给一个现成的 2D 自然图像压缩自编码器。具体来说:对于每一帧 96×96×96 的 3D fMRI 体,沿三个正交轴(矢状面、冠状面、轴状面)分别切出 2D 切片,逐片送入冻结的 DCAE 编码器,得到空间压缩 32× 的潜码;再把这些潜码按 32 倍块大小拼接,使整帧被压缩为 27 个连续 token(嵌入维度 3072)。对 256 帧的 fMRI 时序,共有 27×256 个 token,送入带旋转位置编码和分组查询注意力的轻量 Transformer 编码器。预训练阶段,采用掩码率 0.5 的 Masked Token Modeling(MTM)任务,以 L1 损失在 token 空间重建被遮盖 token。
TABLeT 的最大创新在于证明「2D 自然图像预训练自编码器可以直接当 4D fMRI 的零训练分词器」,而且效果比专门在 fMRI 上训练的 3D 自编码器还要好(PSNR、SSIM、FC 重建误差均更优)。这与传统观点——「跨域模型必须微调或重训」——形成鲜明对比。其本质是把 fMRI 表征问题降维为「自然图像压缩 + 时间序列建模」两阶段问题,从而把显存瓶颈从 4D 体素转移到 1D token 序列,使一次处理 256 帧成为可能(7.33× 显存节省)。
方法步骤详情
流程分三步。第一步 token 化:把单通道 3D 帧 $X\in\mathbb{R}^{1\times96\times96\times96}$ 复制为 3 通道,沿 D/H/W 三个轴切 96 张 2D 切片,每片经冻结 DCAE 编码器压缩为 $Z\in\mathbb{R}^{32\times3\times3}$(32× 空间下采样),再按 32 倍块沿切片轴拼接,得到 27 个 token、隐维 3072 的帧级表征。第二步时序建模:对 256 帧共 6912 token 序列,送入 12 层 Transformer 编码器,采用分组查询注意力(14 头/2 KV 头)、旋转位置编码,加 [CLS] token,训练随机采样 256 帧,验证按窗口划分并平均输出。第三步 MTM 预训练:用可学习 [MASK] 替换 50% token,采用 tube masking(单帧遮盖模式跨帧复用),仅在被遮盖 token 上计算 L1 损失 $\mathcal{L}=\frac{1}{\Omega(Z_M)}\|Z_M-\hat{y}_M\|_1$。
技术新颖性
与 SwiFT 等体素级方法相比,TABLeT 的新颖性体现在三方面:其一,token 化机制全新——把 4D 体的处理转化为 1D token 序列,使显存占用与时间帧数近线性而非 4D 卷积的近二次关系;其二,首次证明 2D 自然图像自编码器可作为跨模态、零训练的 fMRI 分词器,且在重建保真度和下游任务上同时优于专门训练的 3D 自编码器;其三,提出 MTM 这一直接在 token 空间做掩码建模的预训练范式,简化了 MIM 流程,省去图像解码器开销,并在 UKB→HCP 迁移学习中将 HCP-Sex 准确率从 93.8% 提升到 95.3%。
实验结果
实验在 UKB(8,178)、HCP(1,061)、ADHD-200(533)三个 rs-fMRI 数据集展开。表 1 结论:TABLeT(T=256)在 6 个任务中 4 个达 SOTA,如 HCP-Intelligence ρ 从 SwiFT T=50 的 0.354 升到 0.392(+10.7%),ADHD-200 ACC 从 63.9% 升到 65.8%。表 2 显示 MTM 预训练在 HCP 把 Sex ACC 从 93.8% 推到 95.3%、Age ρ 从 0.473 升到 0.552。表 3 是最反直觉的发现:零训练的 2D 自然图像 DCAE 在 HCP-Sex、Intelligence、ADHD-200 上均优于 fMRI 专门训练的 3D DCAE,与图 3、4 的 PSNR/SSIM/FC 重建保真度一致。HBN-Movie 突显长程优势:TABLeT T=250 达 82.1% ACC、0.976 AUC,远超 SwiFT T=50 的 71.7%。图 5 硬件效率:TABLeT 节省 7.33× 显存、3.80× 时间,等显存下 T 由 40 至 384。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HCP-Sex(性别分类) | ACC / AUC | 93.8% / 0.987 (T=256, TFS); 95.3% / 0.986 (FT) | SwiFT T=20: 93.1% / 0.978; SwiFT T=50: 92.2% / 0.972 | ACC +0.7~3.1pp; 微调后 ρ +0.030(AUC 持平) |
| HCP-Age(年龄回归) | MAE / ρ | 0.705 / 0.473 (TFS); 0.655 / 0.552 (FT) | SwiFT T=50: 0.699 / 0.460; BNT: 0.719 / 0.444 | FT 后 MAE 降 6.3%,ρ 提升 20% |
| HCP-Intelligence(智商回归) | MSE / ρ | 0.835 / 0.392 (TFS); 0.796 / 0.435 (FT) | SwiFT T=50: 0.865 / 0.354; BNT: 0.920 / 0.318 | ρ 绝对提升 +0.038(10.7%);FT 后 +0.081(22.9%) |
| UKB-Age(年龄回归) | MAE / ρ | 0.466 / 0.814 | SwiFT T=50: 0.477 / 0.802; TFF: 0.525 / 0.760 | MAE 降 2.3%,ρ 提升 1.5% |
| UKB-Sex(性别分类) | ACC / AUC | 97.7% / 0.998 | SwiFT T=50: 98.1% / 0.999; TFF: 98.3% / 0.998 | 竞争性略低 0.4pp,但显存小 7.33× |
| ADHD-200 诊断(分类) | ACC / AUC | 65.8% / 0.729 | SwiFT T=50: 63.9% / 0.701; TFF: 63.3% / 0.700 | ACC +1.9pp,AUC +0.028 |
| HBN-Movie(动态刺激分类) | ACC / AUC | 82.1% / 0.976 (T=250) | SwiFT T=50: 71.7% / 0.810 | ACC +10.4pp,AUC +0.166 |
| 效率(NVIDIA A6000, batch=4) | 显存/训练时间(相对 SwiFT T=50) | 7.33× 内存节省 / 3.80× 加速 | SwiFT T=50 baseline = 1× / 1× | 等显存下 T 可从 40 扩到 384 |
局限与改进
作者明确指出三点局限:第一,TABLeT 对每帧独立 token 化,可能破坏跨帧的细微时间动态,而对动态信号敏感的任务(如 task-fMRI)会需要专门设计带时间感知的 token 化;第二,所有 token 被统一送入 Transformer,缺乏对 token 空间/时间结构的显式建模;第三,长程建模的实际收益因任务而异——rs-fMRI 与偏结构性的下游任务收益较小,但 HBN-Movie 等动态任务收益巨大。作者还承认,虽然 2D DCAE 零训练就击败 3D DCAE,但其 fMRI 数据集规模与多样性远不及自然图像预训练语料,在罕见病理或新协议下泛化能力未经验证。从我的观察看,论文只在三个数据集上做评估,缺少跨扫描仪、跨站点的独立验证;此外,聚合 27 token 的设计是经验选择,表 A7 显示 9 token 维 9216 的 Alt.1 在 HCP-Intelligence ρ 0.416 上甚至略优于默认 27 token 的 0.392,说明当前 token 化粒度未必最优。
独立分析的弱点
第一,三轴聚合虽稳定但引入 token 维数膨胀(96C′=3072),模型参数量与显存并未随 T 线性增长,长程优势被部分抵消;可考虑更高效的 token 融合方式(如可学习路由或跨轴注意力池化)。第二,MTM 预训练只用 UKB 一个数据集做源域,迁移到 HCP、ADHD 时仍需微调;若能把 HCP 也纳入预训练,跨域鲁棒性可能更强,但需解决 rs-fMRI 与 task-fMRI 的信号分布差异。第三,2D DCAE 冻结策略在本文小数据 fMRI 上有效,但若用户拥有数万小时同协议 fMRI,微调 DCAE 可能进一步提升;论文只在 UKB 8,178 被试上试了微调,样本量仍偏小,值得在更大规模(如 HCP+ABCD 合并)上重做实验。第四,注意力是标准 1D Transformer,没有显式编码 token 的空间坐标或脑区归属,可能在解释性上不如 Brain-JEPA 等带空间先验的模型。第五,ADHD-200 数据存在明显类不平衡(诊断 44.3% vs 55.7%),作者用了 pos-weight 但未做阈值校准,实际部署时需要重新校准。
未来方向
作者方向:扩展到 task-fMRI、动态刺激场景,系统研究不同任务对 T 的敏感度;探索时空结构感知的 token 化(如在 token 化阶段引入时序卷积);扩大 2D/3D DCAE 对比,在更大更多样 fMRI 语料上预训练。可延伸方向:一,把 TABLeT 思路迁移到 MEG/EEG 4D 数据;二,用 2D 视觉基础模型(如 DINOv2、CLIP)替代 DCAE,验证分词器选择对脑表征质量的影响;三,把 27 个 token 当作可解释的「脑状态基元」,用稀疏编码或字典学习做下游认知状态解耦;四,联合多中心 fMRI 做联邦式预训练,解决跨扫描仪分布漂移;五,与 LLM 结合,把 fMRI 时序视为「脑语言」做零样本认知解码。
复现评估
作者开源了完整代码(github.com/beotborry/TABLeT)与 DCAE 权重(dc-ae-f32c32-in-1.0 公开 checkpoint),数据方面 UKB、HCP 需申请(前者严格,后者相对宽松),ADHD-200 通过 fMRIPrep 公开数据可用。算力需求亲民:全部实验在单卡 NVIDIA A100-40GB 或 RTX A6000 上完成,训练 TABLeT 50 epoch 约 24-48 小时;SwiFT 重现也仅需 1-2 天。复现难度中等偏低:超参数搜索范围明确给出,token 化流水线基于 PyTorch 张量操作无需复杂工程,主要工作量是数据预处理(UKB/HCP 需按各自协议走 bias correction、skull stripping、MNI 标准化)。可复现性风险点:UKB 数据访问门槛、ADHD-200 fMRIPrep 版本与 nuisance regression 细节;2D DCAE 推理完全确定性,因此 token 化结果可逐位复现。
论文图表
