基于时间序列基础模型嵌入的剩余使用寿命估计 Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation
用CHRONOS-2特征预测工业设备RUL，性能优于传统方法
前置知识
剩余使用寿命(RUL)
RUL是预测性维护中的核心指标，定义为基于设备当前状态估计的到设备失效的剩余时间。在工业场景中，RUL预测基于多变量传感器流数据，目标是让维护团队能够在设备真正失效前规划和执行维护操作，从而最小化意外停机和相关成本。本文中RUL标签通过维护日志中的故障时间戳计算，对于给定时间$t$，下一个故障时间为$t_{fail} = \min\{t' \in T_{rep} : t' > t\}$，RUL标签为$y_t = t_{fail} - t$（以天为单位，上限1000天）。
本文的核心任务就是预测RUL，理解这个概念对于理解论文的应用场景和评估指标至关重要，所有实验结果都是围绕RUL预测的准确性展开的。
时间序列基础模型(TSFM)
时间序列基础模型是大规模预训练的时间序列表示学习模型，类似于NLP中的GPT。本文使用的CHRONOS-2采用decoder-only transformer架构，通过将时间序列离散化为token进行预训练，能够进行概率性预测。这类模型在大规模时间序列数据上学习通用的时间模式表示，可以冻结作为特征提取器。CHRONOS-2能够进行高效的上下文学习，无需微调即可提取丰富的时间依赖表示。
本文的核心创新就是将TSFM从预测任务迁移到RUL回归任务，理解TSFM的工作原理和上下文学习能力对于理解方法的关键机制和实验结果至关重要。
上下文学习(In-Context Learning)
上下文学习是指模型通过在输入中提供示例或历史信息来学习任务，而无需更新模型参数。在本文中，CHRONOS-2的上下文学习能力体现在它能够从回视窗口$L$内的传感器测量值中提取时间依赖的嵌入表示，即使这些参数被冻结。模型通过处理长度为$L$的时间步序列来利用CHRONOS-2的上下文学习能力，即提取捕捉时间上下文和跨上下文窗口依赖关系的嵌入。
本文的关键发现之一是上下文长度对性能有显著影响，理解上下文学习机制有助于解释为什么更长历史能够显著改善RUL预测性能。
研究动机
工业预测性维护中的RUL预测依赖于多变量传感器数据，但现有方法存在明显限制。传统方法要么依赖手工特征工程，要么需要大量标注数据训练任务特定的序列模型。LSTM和GRU等深度方法虽然能捕捉时间模式，但需要大量标注数据和针对不同传感器类型的精细调参。在Nokia提供的真实工业数据集上，Device A包含297,345个标注样本和87个传感器通道，Device B包含119,364个标注样本和51个传感器通道，如此规模的数据使得从头训练大模型既昂贵又耗时。此外，这些方法在不同设备间的泛化能力有限，需要针对每种新设备重新训练。
本文的目标是本文的目标是提出一种轻量级学习方法，利用冻结的预训练时间序列基础模型（TSFM）结合小型回归头，实现从多变量传感器流进行RUL估计。具体而言，使用CHRONOS-2作为冻结骨干提取上下文窗口特征，训练轻量级回归神经网络进行RUL预测。同时验证TSFM表示在工业RUL估计中作为实用且数据高效的替代方案的可行性，特别关注上下文长度对性能的影响。
与已有工作不同的是，本文的独特切入角度在于将TSFM从其传统的预测用例扩展到RUL监督回归任务。虽然TSFM主要用于时间序列预测，但本文将其作为固定特征提取器，通过冻结骨干参数仅训练轻量级回归头，这种方法在保持适应简单高效的同时，避免了从头训练大模型的需求。此外，本文系统地研究了上下文长度对性能的影响，发现扩展上下文窗口到80步能将MAE降低2倍，这是现有工作中较少探索的方向。
核心方法
方法整体思路是将RUL预测视为监督回归问题，利用预训练的CHRONOS-2模型作为特征提取器，在其上叠加一个轻量级回归头。具体而言，将过去传感器测量值的回视窗口直接加载到模型的上下文中，从该上下文中提取骨干表示，并在顶部训练轻量级回归头。直觉上是将TSFM在大规模时间序列上学到的通用时间模式迁移到RUL预测任务，通过冻结骨干参数实现高效适应。整个模型由两部分组成：冻结的预训练骨干$\Phi(\cdot)$和可训练的回归头$g_\phi(\cdot)$，输出为$\hat{y}_t = g_\phi(\Phi(X)_t)$。
核心创新点是将原本用于预测任务的时间序列基础模型CHRONOS-2冻结并作为特征提取器，通过上下文学习提取时间依赖的嵌入表示，然后仅训练一个轻量级的回归头进行RUL预测。这与需要大量标注数据和从头训练的现有方法有本质区别。本文使用CHRONOS-2 checkpoint，通过处理时间步窗口$L$来利用其上下文学习能力，提取捕捉时间上下文和依赖关系的嵌入。这种方法既利用了TSFM的通用表示能力，又保持了训练的高效性，仅需约2小时在单块NVIDIA A6000 GPU上完成训练。
方法步骤详情
方法包含完整的流程：数据预处理首先线性插值到统一时间网格（步长$\Delta t = 1$小时），对于不规则时间戳$\tau_k$和$\tau_{k+1}$，线性插值规则时间$t$（其中$\tau_k \leq t \leq \tau_{k+1}$）处的值为$x_t = x_{\tau_k} + (x_{\tau_{k+1}} - x_{\tau_k}) \cdot \frac{t - \tau_k}{\tau_{k+1} - \tau_k}$。剔除连续原始样本间隔大于阈值$\Delta t_{max}$的区间，仅插值有效范围内的值。过滤包含NaN值的错误测量，应用全局异常值裁剪（1st和99th百分位），并将传感器通道归一化为零均值单位方差。RUL标签构建通过维护日志中的故障时间戳$T_{rep}$，对于给定时间$t$，下一个故障时间为$t_{fail} = \min\{t' \in T_{rep} : t' > t\}$，RUL标签为$y_t = t_{fail} - t$（以天为单位，上限$y_{max} = 1000$天）。模型架构使用冻结的CHRONOS-2模型$\Phi_e$从窗口化传感器序列$X_{t-L:t}$提取特征$H = \Phi_e(X_{t-L:t}) \in \mathbb{R}^{L \times h}$，其中$h$是模型的隐藏维度，然后使用MLP回归头$g_\phi$预测$\hat{y}_t = g_\phi(h_{t-L:t})$。回归头包含两个线性层，隐藏宽度为$m$，使用ReLU激活，输出应用ReLU强制$\hat{y}_t \geq 0$，第一隐藏层后应用dropout率为$p$的dropout。训练时使用MSE损失和Adam优化器，学习率为$10^{-3}$，仅优化回归头参数$\phi$，最大训练50个epoch，批量大小为64。
技术新颖性
技术新颖性体现在三个方面：首次将TSFM从预测任务系统性地迁移到RUL回归任务，提出了冻结骨干、仅训练轻量级回归头的高效适应范式；深入研究了上下文长度对TSFM表示质量的影响，发现更长历史能显著提升性能（L从5增加到80，MAE显著降低）；在真实工业数据集上验证了方法的有效性，相比非TSFM方法达到最高2倍的MAE改进。这种范式避免了大规模任务特定训练的需求，为工业RUL估计提供了实用且数据高效的解决方案，特别适合资源受限的工业环境。
实验结果
在Nokia提供的两个工业设备数据集上进行了全面评估。Device A数据集包含297,345个标注样本，87个传感器通道，重采样步长$\Delta t = 1$小时；Device B包含119,364个标注样本，51个传感器通道，使用相同的重采样步长。采用时间顺序分割，85:15训练测试比例，丢弃跨越分割边界的任何窗口。在5步上下文窗口上，本文方法在Device A上达到MAE=44，MSE=6513；在Device B上达到MAE=64，MSE=7212，显著优于所有基线。非神经方法表现最差：线性回归（Device A: MAE=173, MSE=44123; Device B: MAE=120, MSE=22123）、随机森林（Device A: MAE=165, MSE=48655; Device B: MAE=112, MSE=15655）、梯度提升（Device A: MAE=186, MSE=53400; Device B: MAE=130, MSE=33400）。神经序列模型有显著改进：GRU（Device A: MAE=91, MSE=10236; Device B: MAE=102, MSE=9523）、LSTM（Device A: MAE=93, MSE=12400; Device B: MAE=99, MSE=10212）。最强的非TSFM基线是TCN（Device A: MAE=88, MSE=9689; Device B: MAE=112, MSE=11435）和Transformer编码器（Device A: MAE=90, MSE=10500; Device B: MAE=95, MSE=8900）。上下文长度实验显示，本文方法在Device A上的性能随着L的增加显著提升，在L=80时达到最佳，而基线方法仅显示轻微波动，表明它们无法有效利用更长上下文。回归头消融实验显示，TCN基线达到MAE=88；线性头在CHRONOS-2嵌入上达到MAE=60，显著优于TCN；2层MLP达到最佳性能MAE=44；4层MLP达到MAE=45，没有显著改进。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RUL预测（Device A，L=5） | MAE↓ | 44 | TCN (88) | 提升2倍 |
| RUL预测（Device B，L=5） | MAE↓ | 64 | Transformer (95) | 提升48% |
| RUL预测（Device A，L=5） | MSE↓ | 6513 | TCN (9689) | 提升33% |
| 上下文长度影响（Device A） | MAE下降 | L=5到L=80显著改善 | TCN/Transformer轻微波动 | TSFM有效利用长历史 |
局限与改进
作者承认的局限性包括：当前实现采用固定的回归头架构，未充分利用CHRONOS-2的概率输出能力；多变量tokenization和通道处理仍有改进空间；未评估在缺失传感器、操作条件变化、低标注设置下的鲁棒性。此外，方法假设传感器数据可以通过线性插值到统一时间网格，这可能不适用于所有工业场景；上下文长度上限L=80是在特定数据集上确定的，可能需要针对不同应用场景重新调整。实验仅在两种设备类型上进行，泛化到更多样化设备和传感器的效果未知。当前实现虽然冻结了TSFM参数，但提取嵌入仍需要较多计算资源，在边缘设备部署可能受限。
独立分析的弱点
独立分析的弱点包括：方法对数据质量要求较高，需要密集的传感器读数进行插值，在数据稀疏场景下可能失效，而工业环境中的网络延迟和硬件异步可能导致长时间数据缺失；上下文窗口长度对性能影响显著，但最佳值需要经验调参，增加了部署复杂性，且不同设备可能需要不同的最优上下文长度；模型虽然冻结了TSFM参数，但提取嵌入仍需要较多计算资源，在边缘设备部署可能受限，实时性要求高的场景可能需要进一步优化；仅使用冻结的CHRONOS-2，未探索微调TSFM骨干的潜在收益，可能存在性能提升空间；当前评估仅限于两种设备类型，泛化到更多样化设备和传感器的效果未知，特别是当设备类型或故障模式差异较大时。改进方向可以包括：研究在数据稀疏情况下的自适应插值策略或基于注意力机制的缺失数据处理；探索自动化上下文长度选择机制或基于验证集的自适应调整；开发更高效的嵌入提取方法或模型蒸馏，以适应边缘部署；评估微调TSFM骨干的权衡和效果；在更广泛设备类型和故障模式下进行验证，包括跨设备泛化能力评估。
未来方向
作者提出的未来工作包括：利用CHRONOS-2的概率输出来提供维护决策的校准不确定性，这对于风险评估和维护计划优化至关重要；改进多变量tokenization和异构传感器的通道处理，以更好地处理不同类型传感器的特性；评估在缺失传感器、操作条件变化和低标注设置下的鲁棒性，以适应更真实的工业环境。基于研究成果可延伸的方向包括：探索其他TSFM（如Kairos、TimesFM、VisionTS++）在RUL任务上的表现，比较不同TSFM的表示能力；研究将RUL预测与异常检测、故障诊断等多任务学习结合，以提供更全面的设备健康监控；开发适应不同设备类型的统一框架，包括自动化上下文长度选择和回归头架构搜索；探索实时部署和在线学习的可能性，以适应设备状态随时间的缓慢变化；研究基于TSFM表示的迁移学习，在新设备上快速适应少量标注数据。
复现评估
复现评估方面，论文详细描述了数据预处理流程（插值步长$\Delta t = 1$小时、最大间隔阈值$\Delta t_{max}$、归一化统计量计算方式、异常值裁剪阈值）、模型架构细节（CHRONOS-2 checkpoint选择、回归头结构MLP宽度m、dropout率p、隐藏维度h）、训练协议（MSE损失、Adam优化器学习率$10^{-3}$、50 epochs、批量大小64）。实验在单块NVIDIA A6000 GPU上训练约2小时，参数量约300K（Device A）和250K（Device B）。时间顺序分割的85:15比例和边界窗口丢弃策略也有明确说明。然而，论文未公开代码和数据，Nokia工业数据集为私有数据，这限制了完全复现的可能性。论文提供了足够的方法细节，包括数学公式、超参数值和评估指标，但缺乏开源实现和公共数据集使得独立验证存在困难。未来的复现工作可能需要：使用公开的RUL数据集（如NASA C-MAPSS）进行验证；实现论文中描述的方法细节，包括数据预处理管道和模型架构；探索不同的上下文长度和回归头架构的超参数敏感性；在多样化的数据集上评估方法的泛化能力。
论文图表
图展示了在Device A上，不同上下文长度L对MAE性能的影响。本文方法（Ours）随着L增加显著改善，在L=80附近达到最佳，MAE从L=5时的约44显著降低，性能提升最为明显；而TCN、Transformer、GRU、LSTM、GradBoost等基线方法随着L增加仅显示轻微波动，MAE在50-100范围内波动，表明它们无法有效利用更长上下文。
这张图对理解论文的重要贡献非常关键，因为它证明了TSFM表示能够有效利用更长历史信息，而传统基线方法则不能，这解释了为什么TSFM在RUL任务上具有优势，也为实际应用中上下文长度选择提供了指导，是本文核心发现之一的可视化展示。
表格展示了回归头架构的消融实验结果。TCN基线达到MAE=88；线性头在CHRONOS-2嵌入上达到MAE=60，显著优于TCN；2层MLP达到最佳性能MAE=44；4层MLP达到MAE=45，没有显著改进。这些结果表明预训练CHRONOS-2骨干提供了强大的表示，而简单的非线性映射已经足够，增加回归头容量不能带来显著改进。
这个表格对于理解方法设计至关重要，因为它证明了性能提升主要归因于预训练CHRONOS-2表示而非复杂的回归头，这支持了冻结骨干、仅训练轻量级头的高效适应范式的有效性，也表明了预训练表示的强大迁移能力。