← 返回 2026-05-11

CGM-JEPA:通过预测性自监督预训练学习一致的连续血糖监测表示 CGM-JEPA: Learning Consistent Continuous Glucose Monitor Representations via Predictive Self-Supervised Pretraining

Hada Melino Muhammad, Zechen Li, Flora Salim, Ahmed A. Metwally 📅 2026-05-01 👍 2 2026-07-13 08:36
JEPA 医疗AI 多视图学习 时间序列表示学习 自监督学习 连续血糖监测

基于JEPA的自监督框架,用多视图预测学习CGM表示,实现代谢疾病预测的跨模态一致性性能

前置知识

连续血糖监测(CGM)

一种通过皮下植入传感器持续监测组织间液葡萄糖浓度的医疗技术,通常以5分钟间隔采样,提供24小时连续血糖动态。相比传统的指尖血糖检测,CGM能捕捉血糖波动模式和夜间低血糖等关键信息,是糖尿病管理和代谢疾病研究的重要工具。

本文的核心数据源,理解CGM的采样特性(5分钟间隔、连续性、可能的数据缺失)对于理解方法设计(如24小时窗口、patch划分)和部署场景(临床vs家庭环境)至关重要

口服葡萄糖耐量试验(OGTT)

一种临床诊断方法,受试者空腹后口服标准剂量葡萄糖,然后在固定时间点(如0、30、60、120、180分钟)采集静脉血测量血糖和胰岛素水平。通过动态响应曲线可以评估胰岛素敏感性和β细胞功能,是诊断胰岛素抵抗和β细胞功能障碍的金标准。

本文标签来源的金标准方法,理解OGTT的稀疏性(仅几个离散时间点)vs CGM的连续性差异,是理解跨模态迁移问题(venous-to-CGM transfer)和稀疏视图挑战的关键

JEPA(Joint Embedding Predictive Architecture)

一类自监督学习方法,核心思想是在潜在空间进行预测而非重建原始输入信号。编码器将输入映射到潜在表示,预测器从可见上下文的潜在表示预测被遮蔽部分的潜在表示。通过这种方式,编码器被迫学习更高层次的抽象结构而非表面信号特征,因为这些抽象结构在预测时更有用且更具泛化性。

本文方法的理论基础,理解JEPA预测潜在表示而非重建原始值的核心设计选择,是理解为什么本文方法能够在跨模态和跨场景下保持一致性能的关键

Glucodensity

一种CGM数据的分布摘要表示,通过估计血糖值的概率密度函数来刻画全天血糖分布特征。与时间序列视图关注血糖的时序动态不同,Glucodensity关注血糖值的统计分布(如峰值、偏度、分位数等),提供了与时序信息互补的高层次结构信息。

本文跨视图设计的核心组件,理解Glucodensity作为分布视图与时序视图的互补性,是理解X-CGM-JEPA跨视图优势和加性抽象原理的基础

AUROC(Area Under ROC Curve)

接收者操作特征曲线下面积,衡量二分类模型区分正负样本能力的指标。AUROC值在0.5到1之间,0.5表示随机猜测,1表示完美分类。AUROC对类别不平衡不敏感,是医疗诊断中常用的评估指标。

本文主要评估指标,理解AUROC的含义和解释(如+6.5 AUROC points意味着什么),是理解本文实验结果和性能提升幅度的基础

研究动机

使用连续血糖监测(CGM)进行大规模代谢分型面临两个耦合问题。首先是多视图表示问题:同一生理状态以多种表示形式出现,包括原始CGM时间序列(5分钟间隔连续采样)、稀疏静脉OGTT测量(仅几个离散时间点)、以及Glucodensity等分布摘要。每种视图捕获血糖生理的不同方面,绑定到单一视图的表示在模态(静脉到CGM)、设置(临床到自由生活)或队列改变时往往会失效。其次是一致性问题:现有方法在这些变化下的表现不一致,每个基线在某些场景下排名靠前但在其他场景下表现糟糕。例如,GluFormer在家庭CGM的胰岛素抵抗任务上达到0.889 AUROC但在静脉到CGM迁移时崩溃至0.530(接近随机),MOMENTLarge在β细胞任务上达到0.801 AUROC但在胰岛素抵抗任务上仅0.630。这意味着标签稀缺(金标准静脉OGTT标签昂贵且侵入性)与视图脆弱性叠加,在一个场景下表现良好的方法无法保证在另一个场景下同样有效。

本文的目标是学习能够抽象超越任何单一视图的CGM表示,捕获跨模态和设置不变的更高层次时序和分布结构,在三种临床相关的部署场景下(队列泛化、静脉到CGM迁移、真实世界家庭CGM)为胰岛素抵抗和β细胞功能障碍两个二分类任务提供一致的性能表现。

与已有工作不同的是,与依赖手工特征管道(如摘要统计或工程化血糖指数)操作单一视图的CGM建模工作不同,也与在单一域或模态内评估的时间序列基础模型不同,本文首次将JEPA风格的掩码表示预测框架实例化到CGM时间序列,并系统评估了在监督和部署在模态和设置都不同的临床现实场景下的表现。更重要的是,本文首次提出跨视图加性抽象原则,通过同时预测CGM时序视图和Glucodensity分布视图的掩码潜在表示,让互补视图填补彼此的空白、在一致时互相强化。

核心方法

方法核心思想采用JEPA(Joint Embedding Predictive Architecture),预测潜在空间中的表示而非重建原始值,从而鼓励编码器捕获在视图变化下仍能保留的高层次结构而非记忆表面信号特征。具体到CGM场景,将1天CGM窗口(288个点=24小时×12点/小时)划分为24个时间块(每块12点=1小时),编码器将可见块映射到潜在表示,预测器从可见上下文的潜在表示预测被遮蔽块的潜在表示。X-CGM-JEPA在单一视图基础上扩展跨视图设计,添加辅助预测目标从CGM上下文嵌入预测掩码Glucodensity表示,刻意注入来自同一窗口的分布视图的互补高层信息。概念上,X-CGM-JEPA将抽象视为加性的:当一个视图留下空白时,互补视图填补它;当两者一致时,它们互相强化。预训练使用来自228个受试者的约389k无标签CGM读数(Initial队列加上公开的Colás队列,排除验证队列受试者以防止泄漏),然后在两个临床队列(Initial: N=27; Validation: N=17在公开子集)上使用冻结编码器和逻辑回归探针进行下游评估。

核心创新点是将JEPA的预测潜在表示而非重建原始值原则与多视图加性抽象结合。与依赖原始信号重建或对比增强目标的现有方法不同,CGM-JEPA在潜在空间预测,迫使编码器捕获高层次结构而非表面信号属性,这些高层次结构在视图变化时更有用且更具泛化性。X-CGM-JEPA进一步将抽象原则从单一视图扩展到多视图,通过预测掩码Glucodensity表示与时序CGM表示并行,让互补的高层信息来自分布视图。这种跨视图设计在两种不同场景下体现出与其加性抽象原则直接映射的独特价值:在模态转移的部署设置下,Glucodensity视图稳定跨人口亚组的表示;在时序上下文稀疏的域内静脉设置下,Glucodensity视图贡献加性结构提升标签感知聚类。

方法步骤详情

预训练阶段包含两个并行的预测目标。对于CGM时序视图,输入是1天CGM窗口的288个点(24小时×5分钟间隔),首先随机遮蔽25%的时间块(24块中遮蔽6块),编码器处理可见块得到潜在表示,预测器从可见块的潜在表示预测被遮蔽块的潜在表示。对于Glucodensity跨视图,输入是同一CGM窗口的Glucodensity表示(血糖值的概率密度估计),同样进行遮蔽操作,从CGM上下文嵌入预测掩码Glucodensity潜在表示。总损失函数为L = L_CGM + lambda * L_Glucodensity,其中lambda=1是跨视图权重。预训练在约389k无标签CGM读数上进行,采用批量训练和学习率调度。下游评估阶段冻结编码器,将1天CGM窗口编码为固定维度嵌入,使用逻辑回归分类器在两个二分类任务(胰岛素抵抗和β细胞功能障碍)上进行预测。评估采用主题层级的2折交叉验证重复20次随机迭代(每个单元格40次评估),报告AUROC、F1-score和PRAUC的平均值和标准差。

技术新颖性

技术新颖性体现在三个方面:首次将JEPA风格的掩码表示预测框架实例化到CGM时间序列,预测潜在表示而非重建原始值以鼓励抽象;首次提出跨视图加性抽象原则,通过同时预测时序CGM视图和Glucodensity分布视图的掩码潜在表示,让互补视图填补空白、在一致时互相强化;首次系统评估在三种临床相关的部署场景(队列泛化、静脉到CGM迁移、真实世界家庭CGM)下的CGM表示学习,采用方差控制的统一协议(20次迭代×2折主题级交叉验证)。与依赖手工特征管道的CGM建模工作、在单一域内评估的时间序列基础模型、依赖原始信号重建或对比增强目标的自监督方法相比,本文方法在跨模态和跨场景下提供更一致的性能。

实验结果

核心发现有两点。首先,CGM-JEPA系列方法提供没有任何基线能匹配的一致性:在每个(端点×场景)单元格中,X-CGM-JEPA在AUROC上排名第一或第二,而每个基线在至少一个单元格中跌至排名第三或更差。汇总108个成对比较(3个指标×6个端点-场景单元格×6个基线),CGM-JEPA在101/108中获胜,X-CGM-JEPA在103/108中获胜(配对Wilcoxon检验,p<0.001)。其次,X-CGM-JEPA的加性跨视图设计在两种与加性抽象原则直接映射的特定场景下体现出最清晰的独特贡献:在模态转移的部署设置下,Glucodensity稳定跨人口亚组的表示;在时序上下文稀疏的域内静脉设置下,分布视图贡献加性结构提升标签感知聚类。具体到家庭CGM域内场景,X-CGM-JEPA在β细胞功能障碍上达到AUROC 0.946±0.063、F1 0.811±0.169、PRAUC 0.941±0.066,相比最强基线PCA提升+2.1 AUROC百分点、+5.1 F1百分点、+3.2 PRAUC百分点;在胰岛素抵抗上,GluFormer达到最佳AUROC 0.889,但这是唯一的基线超越JEPA系列的端点-场景单元格,GluFormer在其他五个单元格中落后7-34 AUROC点,在静脉到CGM IR迁移时崩溃至0.530。跨模态迁移场景下,X-CGM-JEPA在β细胞功能障碍上达到AUROC 0.949±0.061、F1 0.702±0.103、PRAUC 0.943±0.064,在胰岛素抵抗上CGM-JEPA达到最佳AUROC 0.866±0.114、X-CGM-JEPA达到最佳F1 0.689±0.092和PRAUC 0.892±0.087。队列泛化场景下,X-CGM-JEPA在β细胞功能障碍上达到AUROC 0.855±0.064、F1 0.664±0.061,相比最强基线PCA提升+6.5 AUROC百分点和+4.6 F1百分点,这是论文中最大的绝对下游增益;CGM-JEPA和X-CGM-JEPA在胰岛素抵抗上达到相近的AUROC(0.801 vs 0.800),X-CGM-JEPA在F1上领先+2.2百分点(0.653 vs 0.631)。表示质量分析显示JEPA系列在所有三个队列-模态块中提供最强的几何结构,在初始队列静脉块上,X-CGM-JEPA在所有几何指标上最佳,CGM-JEPA第二;标签感知聚类在初始队列静脉块上展现最清晰的跨视图信号,X-CGM-JEPA达到ARI 0.288和NMI 0.249,相比CGM-JEPA的0.208和0.177,相对提升+39% ARI和+40% NMI。人口亚组重分布分析显示跨视图目标执行最差组优先重分布,提升CGM-JEPA表现较弱的亚组同时保持已经较强的亚组基本不变;在迁移场景下,亚裔族裔亚组(CGM-JEPA表现最弱:β-cell 0.739、IR 0.669)获得最大提升(+0.052和+0.054),最大到最小的种族AUROC差距在β-cell上缩小25%(0.246到0.184)、在IR上缩小54%(0.084到0.039)。

In-Domain Home CGM: Insulin Resistance.
Table 2: In-Domain Home CGM: Insulin Resistance.
Venous toHome CGM: Insulin Resistance.
Table 4: Venous toHome CGM: Insulin Resistance.
In-Domain Venous (Cohort Generalization): Insulin Resistance.
Table 6: In-Domain Venous (Cohort Generalization): Insulin Resistance.
Core clustering-based representation metrics. Higher is better for Silhouette (Sil) and Calinski–Harabasz (CH), while lower is better for Davies–Bouldin (DB). Bold/underline: best/second-best per dataset–modality.
Table 7: Core clustering-based representation metrics. Higher is better for Silhouette (Sil) and Calinski–Harabasz (CH), while lower is better for Davies–Bouldin (DB). Bold/underline: best/second-best per dataset–modality.
Label-agreement clustering metrics (KMeans cluster assignments vs. true metabolic labels). Higher is better for both Adjusted Rand Index (ARI) and Normalized Mutual Information (NMI).
Table 9: Label-agreement clustering metrics (KMeans cluster assignments vs. true metabolic labels). Higher is better for both Adjusted Rand Index (ARI) and Normalized Mutual Information (NMI).
Per-patch label divergence: β-cell Dysfunction. Higher = more class-discriminative.
Table 10: Per-patch label divergence: β-cell Dysfunction. Higher = more class-discriminative.
Per-patch label divergence: Insulin Resistance. Higher = more class-discriminative.
Table 11: Per-patch label divergence: Insulin Resistance. Higher = more class-discriminative.
Venous-to-Home-CGM transfer: subgroup AUROCs, X-CGM-JEPA vs. CGM-JEPA. delta = X-CGM-JEPA minus CGM-JEPA.
Table 12: Venous-to-Home-CGM transfer: subgroup AUROCs, X-CGM-JEPA vs. CGM-JEPA. delta = X-CGM-JEPA minus CGM-JEPA.
Home-CGM in-domain: subgroup AUROCs, X-CGM-JEPA vs. CGM-JEPA. All subgroups with n greater than or equal to 5 shown.
Table 13: Home-CGM in-domain: subgroup AUROCs, X-CGM-JEPA vs. CGM-JEPA. All subgroups with n greater than or equal to 5 shown.
Comparison across different training portions.
Figure 2: Comparison across different training portions.
Hyperparameter sensitivity of the JEPA family. (a) AUROC across masking ratios for both encoders. (b) X-CGM-JEPA sensitivity to the cross-view weight lambda.
Figure 3: Hyperparameter sensitivity of the JEPA family. (a) AUROC across masking ratios for both encoders. (b) X-CGM-JEPA sensitivity to the cross-view weight lambda.
查看结构化数据
任务指标本文基线提升
β-cell Dysfunction (In-Domain Home CGM) AUROC 0.946±0.063 (X-CGM-JEPA) 0.925±0.069 (PCA) +2.1百分点
β-cell Dysfunction (In-Domain Home CGM) F1-score 0.811±0.169 (X-CGM-JEPA) 0.760±0.122 (PCA) +5.1百分点
Insulin Resistance (In-Domain Home CGM) AUROC 0.857±0.112 (X-CGM-JEPA) 0.889±0.103 (GluFormer) GluFormer最佳,但X-CGM-JEPA在F1和PRAUC上最佳
Insulin Resistance (In-Domain Home CGM) F1-score 0.754±0.161 (X-CGM-JEPA) 0.701±0.105 (GluFormer) +5.3百分点
β-cell Dysfunction (Venous→CGM Transfer) AUROC 0.949±0.061 (X-CGM-JEPA) 0.927±0.074 (PCA) +2.2百分点
Insulin Resistance (Venous→CGM Transfer) AUROC 0.866±0.114 (CGM-JEPA) 0.830±0.192 (MOMENTSmall) +3.6百分点
β-cell Dysfunction (Cohort Generalization) AUROC 0.855±0.064 (X-CGM-JEPA) 0.790±0.109 (PCA) +6.5百分点(论文中最大绝对增益)
Insulin Resistance (Cohort Generalization) AUROC 0.801±0.009 (CGM-JEPA) 0.744±0.014 (PCA) +5.7百分点
Label-aware Clustering (Initial Cohort Venous) ARI 0.2881 (X-CGM-JEPA) 0.2079 (CGM-JEPA) +39%相对提升
Subgroup Fairness (Venous→CGM Transfer, Asian ethnicity) AUROC gap reduction 54% (IR: 0.084到0.039) N/A 跨视图设计缩小种族差距

局限与改进

作者承认的局限性包括:研究依赖于临床策划的队列,提供两种形式的金标准信息(通过静脉抽血的OGTT金标准样本收集和从这些评估衍生的金标准条件标签),但由于OGTT方案昂贵且侵入性,此类高保真标签在规模上很少可用,因此数据集作为研究标签高效CGM表示学习的高质量基准,尽管显式评估分布偏移(如静脉到CGM和临床到家庭),实验仍绑定到特定数据收集管道和传感器模态;真实世界部署可能引入额外偏移(如设备校准、缺失模式)和亚组依赖性能;虽然通过队列保留评估、分层交叉验证和折叠归一化减少过拟合和泄漏,但有限的亚组元数据阻碍全面的公平性分析,需要更大的多站点、多设备队列进行稳健验证和偏见评估。此外,本文的亚组样本量较小(n=5到12),个别单元格AUROC应谨慎解读;每块标签发散度是粗略的块聚合统计且在小测试队列上不建立因果机制,P3发散值由于填充artifact难以解释。本文未报告计算成本和预训练时间。观察到的额外局限性包括:与家庭CGM域内场景相比,队列泛化和迁移场景的绝对AUROC仍然较低(0.8-0.85 vs 0.9+),表示从静脉到CGM的模态转移仍具挑战性;虽然X-CGM-JEPA在平均AUROC上匹配CGM-JEPA,但F1优势的幅度相对较小(通常+0.01-0.02),需要更大的样本量验证统计显著性;标签感知聚类仅在小初始队列静脉块上观察到清晰跨视图信号,在验证队列块上由于小n和饱和几何结构出现测量饱和artifact;方法依赖Glucodensity的准确估计,在实际部署中可能引入额外计算和噪声敏感性。

独立分析的弱点

第一个弱点是数据集规模较小(228个受试者、389k CGM读数)且来自单一数据收集管道和传感器模态,限制了结论的泛化性。改进方向是收集多站点、多设备、更大规模(如数千受试者)的CGM队列,评估模型在不同设备校准、不同缺失模式、不同人群分布下的稳健性。第二个弱点是亚组分析样本量有限(n=5到12),难以建立强有力的公平性结论。改进方向是扩大队列规模特别是少数族裔和弱势群体的样本量,进行更全面的公平性评估和偏见分析。第三个弱点是方法依赖Glucodensity的准确估计,其计算复杂度可能在实际部署中成为瓶颈,且对噪声和异常值敏感。改进方向是研究更高效的Glucodensity估计方法(如基于核密度估计的近似、深度生成模型),以及鲁棒的分布摘要表示(如分位数、累积分布函数的关键点)。第四个弱点是仅在CGM和Glucodensity两个视图上验证跨视图设计,未探索其他可能的互补视图(如活动数据、饮食记录、睡眠模式)。改进方向是扩展到更丰富的生理信号和生活方式数据,验证加性抽象原则在更多视图上的泛化性。第五个弱点是未提供不确定性量化和校准,在医疗诊断场景中这对临床决策至关重要。改进方向是集成贝叶斯神经网络、蒙特卡洛Dropout、集成方法等不确定性量化技术,以及温度缩放等校准方法。

未来方向

作者提出的未来工作方向包括:将跨视图目标扩展到更丰富的生理信号和更大队列,研究针对个性化代谢风险评估的不确定性感知部署。基于本文成果可延伸的方向包括:探索更多互补视图的组合(如CGM时序+Glucodensity+活动数据+饮食记录),研究不同视图的动态加权机制而非固定lambda=1;研究更精细的时序建模(如注意力机制、Transformer架构)替代简单的patch划分;研究多任务学习同时预测多个代谢终点(如胰岛素抵抗、β细胞功能障碍、炎症标志物);研究主动学习策略在有限标签预算下选择最具信息价值的样本进行标注;研究联邦学习框架在保护隐私的前提下利用多站点数据;研究模型解释性和可解释AI方法,帮助临床医生理解模型的决策依据;研究将表示学习与因果推断结合,捕获代谢疾病的因果机制而非仅仅相关性。

复现评估

作者在论文中声明代码、去标识化同意数据和预训练权重可在https://github.com/cruiseresearchgroup/CGM-JEPA获得。这是良好的开源实践,有助于复现和进一步研究。数据集方面,使用Initial队列(N=27)和公开的Colás队列进行预训练,在Validation队列(N=17在公开子集)上评估,显式排除验证队列受试者从预训练中以防止泄漏。评估协议采用主题层级的2折交叉验证重复20次随机迭代(每个单元格40次评估),报告AUROC、F1-score和PRAUC的平均值和标准差,这种方差控制协议有助于提高结果可靠性。然而,论文未报告具体的预训练时间、推理延迟、GPU内存使用等计算成本信息,也未报告超参数搜索的详细信息(如学习率范围、批量大小、优化器选择等)。数据集规模相对较小(228个受试者、389k CGM读数),预训练可能在单GPU或小GPU集群上即可完成,算力门槛不高。但临床数据的去标识化和同意获取是复现的主要挑战,限制了研究者的访问权限。总体而言,代码和权重开源大大降低了复现难度,但数据访问限制可能阻碍独立验证,建议作者提供合成数据或更详细的数据描述以促进研究。