ECoLAD：面向汽车部署的时间序列异常检测评估协议 ECoLAD: Deployment-Oriented Evaluation for Automotive Time-Series Anomaly Detection
提出ECoLAD协议，通过计算缩减阶梯和吞吐量约束评估TSAD方法的实际部署可行性
前置知识
AUC-PR (Area Under Precision-Recall Curve)
AUC-PR是精确率-召回率曲线下的面积，用于评估分类模型在不平衡数据集上的性能。它计算在不同阈值下精确率和召回率的组合，曲线下面积越大表示模型性能越好。在异常检测中，由于异常样本通常远少于正常样本，AUC-PR比AUC-ROC更能反映真实性能。
本文使用AUC-PR作为主要评估指标，因为汽车遥测数据的异常率约为0.022，属于高度不平衡场景，AUC-PR能更准确地反映检测器的实际部署价值。
吞吐量 (Throughput, wps)
吞吐量定义为单位时间内处理的窗口数量，计算公式为 $wps = N/t_{inf}$，其中 $N$ 是需要评分的单元数（对于窗口化方法 $N = T - w + 1$，$T$ 为序列长度，$w$ 为窗口长度；对于非窗口化方法 $N = T$），$t_{inf}$ 是推理时间。吞吐量直接决定了系统在实时约束下的处理能力。
本文的核心创新是将吞吐量约束作为显式评估变量，通过扫描不同的吞吐量目标 $\tau$ 来研究方法在资源受限环境下的可行性，这对车载实时监控场景至关重要。
计算缩减阶梯 (Compute-Reduction Ladder)
ECoLAD提出的四个计算层级（GPU、CPU-MT、CPU-LT、CPU-1T），每个层级指定执行后端（加速 vs CPU）、显式CPU线程上限和计算缩减因子 $s \in \{1.0, 0.75, 0.50, 0.25\}$。整数超参数通过机械规则单调缩放：$v'_{work} = \max(1, \text{round}(s \cdot v))$，$v'_{width} = \max(1, \text{round}(\sqrt{s} \cdot v))$ 等。
阶梯式评估是本文方法的核心，它系统性地模拟了从高性能工作站到嵌入式ECU的资源约束变化，揭示了准确率排行榜无法捕捉的部署行为。
研究动机
当前时间序列异常检测（TSAD）研究主要在工作站级硬件上以无约束执行方式优化和比较检测质量，但实际车载监控场景面临双重耦合压力：降低计算预算和减少CPU并行性（通常接近单线程执行）。在这些约束下，方法排名会发生漂移，可行性可能被运行时开销（数据移动、预处理、框架设置）所主导，这些开销在加速后端上是不可见的。仅准确率的排行榜可能错误地表示哪些方法在部署相关约束下仍然可行。
本文的目标是本文的目标是提出ECoLAD（Efficiency Compute Ladder for Anomaly Detection），一个面向部署的评估协议，用于系统性地评估TSAD方法在资源受限环境下的行为。该协议通过单调计算缩减阶梯、显式CPU线程上限和吞吐量约束分析，揭示检测质量与系统成本之间的权衡关系，为实际部署决策提供可审计、可重现的评估框架。
与已有工作不同的是，与TimeEval、TAB、TimeSeriesBench等现有基准不同，ECoLAD的独特切入点是将计算缩减和CPU并行性上限作为一等协议变量，并将约束执行下的吞吐量目标分析形式化为可重现、可审计的程序。现有工作主要标准化数据集、指标和执行环境，而ECoLAD标准化的是如何缩减模型容量和并行性，以及如何确定在目标打分率下的可行性。
核心方法
ECoLAD采用阶梯式评估框架，从GPU参考配置开始，逐步降低计算预算和CPU并行性，通过机械确定的整数缩放规则单调缩减模型和训练工作量，同时记录每个配置变更。在每个计算层级上，测量推理时间 $t_{inf}$ 和完整运行时间 $t_{e2e}$，计算吞吐量 $wps = N/t_{inf}$，然后扫描不同的吞吐量目标 $\tau$，报告覆盖率（满足目标的实体比例）和在约束下可实现的最佳AUC-PR。这种设计能够同时揭示检测质量变化和资源消耗模式。
核心创新点是将吞吐量可行性作为显式评估变量，通过'可行性优先'的筛选方法，首先筛选出满足部署相关打分率的检测器，然后再基于次要指标进行选择。这与传统准确率排行榜形成对比，后者完全忽略了运行时约束。另一个关键区别是明确区分推理时间 $t_{inf}$ 和完整运行时间 $t_{e2e}$，避免将离线训练开销与在线评分能力混淆，这对OmniAnomaly等训练阶段计算昂贵的方法尤为重要。
方法步骤详情
ECoLAD协议包含四个核心步骤：首先定义固定打分语义，包括窗口化和指标计算方式，确保跨层级可比性；其次定义单调计算缩减阶梯，包含四个层级（GPU、CPU-MT、CPU-LT、CPU-1T），每个层级指定执行后端、CPU线程上限和计算缩减因子 $s$；第三步是对每个方法应用机械超参数缩放规则，整数超参数按角色分组缩放：$v'_{work} = \max(1, \text{round}(s \cdot v))$，$v'_{width} = \max(1, \text{round}(\sqrt{s} \cdot v))$，$v'_{heads} = \max(1, \text{round}(\sqrt{s} \cdot v))$，$v'_{depth} = \max(1, \text{round}(s^{1/4} \cdot v))$，$v'_{window} = \max(8, \text{round}(\sqrt{s} \cdot v))$；第四步是对每个（方法、数据集、$\tau$）组合，报告吞吐量约束下的可实现性能（满足 $wps \ge \tau$ 的配置中的最佳AUC-PR）和覆盖率（至少一个配置满足目标的实体比例）。
技术新颖性
技术新颖性体现在三个层面：首先，首次将计算缩减和CPU并行性上限作为显式协议变量，通过机械整数缩放规则确保单调性和可审计性；其次，将吞吐量可行性形式化为'覆盖率'和'可实现AUC-PR'两个指标，支持目标扫描而无需在评估数据上进行依赖标签的重新调优；第三，提供了Tier-wise帕累托分析框架，能够揭示不同方法的权衡模式。相比TimeEval等工具，ECoLAD更强调标准化的缩减语义而非标准化的执行环境，使其能够跨平台复现。
实验结果
实验在专有汽车遥测数据（80,000数据点，19个同步特征，异常率0.02184）和公共基准（SMD、SMAP）上进行，评估了9个检测器（5个经典方法：HBOS、COPOD、LOF、IForest、PCA；4个深度方法：USAD、TranAD、OmniAnomaly、GDN、TimesNet）。核心发现包括：（1）在Telemetry数据上，随机基线AUC-PR为0.022，HBOS在参考层达到0.064（约2.9×提升），在CPU-1T层达到0.055，保持高性能；深度方法如USAD、TranAD、OmniAnomaly保持在0.041左右（约1.9×提升），表明计算缩减不会破坏检测质量但这些方法在此信号上分离度有限。（2）吞吐量分析揭示三种衰减模式：后端/开销受限型（TimesNet在GPU上0.095 s/1k但在CPU-1T上0.838 s/1k）；质量漂移受限型（LOF在SMD上从0.145降至0.073）；优雅降级型（HBOS和COPOD保持高吞吐量和近似平坦的AUC-PR）。（3）吞吐量约束下，HBOS在最高可行$\tau$仍保持0.042 AUC-PR，而OmniAnomaly等在高吞吐目标下失去所有可行操作点，只能提供随机基线性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 汽车遥测异常检测（Telemetry数据集） | AUC-PR（CPU-1T层） | HBOS: 0.055, COPOD: 0.035, USAD/TranAD/OmniAnomaly: ~0.041 | 随机基线: 0.022 | HBOS相比随机基线提升约2.5×，深度方法提升约1.9× |
| 服务器监控异常检测（SMD数据集） | AUC-PR（GPU参考层） | OmniAnomaly: 0.504, USAD: 0.469, TranAD: 0.360, PCA: 0.448 | 经典方法范围0.145-0.318 | OmniAnomaly在SMD上显著优于经典方法，但在Telemetry上优势消失 |
| 吞吐量可行性（CPU-1T层，Telemetry） | 推理吞吐量（窗口/秒） | HBOS: >2,000,000, LOF: 76,420, COPOD: 485,549, OmniAnomaly: 19,148 | CAN总线参考点: 500 wps（2ms周期） | HBOS超出参考点4000×，OmniAnomaly仅超出38× |
局限与改进
作者承认的主要限制包括：（1）遥测数据集和管道代码由于工业保密约束无法发布，尽管协议指定到足够详细的级别可供独立重新实现；（2）CPU-1T层隔离了减少并行性的影响，但在Apple M3 Max上执行不是周期准确的ECU仿真，虽然该SoC平台具有统一内存和异构CPU/GPU集成等与现代高性能汽车计算平台相似的架构特征，但映射到特定目标微架构时仍需应用平台特定修正因子；（3）机械缩放规则提供了标准化基线，但可能低估通过专用per-tier超参数调优可实现的最佳性能。此外，实验在单个Apple M3 Max平台上进行，跨架构（如ARM Cortex-M、Intel Atom）的吞吐量迁移性需要进一步验证。
独立分析的弱点
独立分析的弱点包括：（1）机械缩放规则可能过于保守，特别是对于注意力头和嵌入大小等需要严格对齐的参数，虽然约束修复步骤在少于4%的运行中进行了调整，但这可能在某些架构上产生次优配置；（2）吞吐量可行性仅基于推理时间 $t_{inf}$，忽略了训练更新开销，这对于在线学习或定期重训练场景可能更重要；（3）实验主要关注单实体吞吐量，对于需要同时监控多个车辆信号流的实际部署场景，多任务调度和资源竞争的影响未充分评估。改进方向包括：设计更智能的per-tier调优策略，考虑训练更新的全生命周期成本评估，以及扩展到多任务资源分配场景。
未来方向
作者提出和基于成果可延伸的未来研究方向包括：（1）将ECoLAD协议扩展到更多异常检测算法类别，特别是最近兴起的基于Transformer和图神经网络的方法；（2）为特定ECU微架构（如ARM Cortex-M系列、Infineon AURIX）开发平台特定修正因子，建立从M3 Max到目标硬件的吞吐量映射模型；（3）探索可扩展的架构搜索方法，在给定吞吐量约束下自动找到最优模型配置，替代机械缩放规则；（4）研究更复杂的调度策略，如动态批处理、模型切换和分层检测，以在不牺牲检测质量的情况下满足严格的延迟约束；（5）将协议应用于其他边缘计算场景，如工业物联网、无人机监控等，验证其泛化能力。
复现评估
复现性评估：协议和实验描述非常详细，包括计算缩减公式、线程上限设置、测量定义和数据集划分策略，足以在其他数据集上重新实现协议。然而，专有遥测数据集无法发布，限制了精确数值复现。实验在Apple M3 Max CPU/GPU和32GB统一内存上运行，线程上限通过PyTorch set_num_threads/set_num_interop_threads、OMP_NUM_THREADS和BLAS线程限制强制执行。对于深度学习方法，结果在两个随机种子上聚合，AUC-PR的seed-to-seed标准差在所有层级上范围为0.000-0.003。虽然跨异构系统的精确吞吐量重现具有挑战性，但协议的可审计日志设计确保了配置差异的完整追踪，为独立验证提供了基础。代码未开源，但协议规范足够详细，可在其他TSAD框架中实现。
论文图表
表1对比了代表性的TSAD评估资源，包括ECoLAD（本文）、Schmidl et al. [1]、Wenig et al. (TimeEval) [2]、Zhang et al. [3]、Qiu et al. (TAB) [4]、Si et al. (TimeSeriesBench) [5]、Lavin & Ahmad (NAB) [6]和Choudhary et al. [7]。对比维度包括工作类型、是否显式操作化（✓）、部分/代理（●）或未处理（✗）的多个特征：RT（运行时/延迟）、Range（范围感知评估）、VUS（VUS指标）、Ladder（显式单调多层计算阶梯）、Threads（显式CPU并行性上限）、Match（吞吐量/可行性匹配）、Trade（显式质量-成本分析）、Audit（结构化配置/失败报告）、Toolkit（可重用管道）、Public（公共产物）、Online（在线排行榜）、Auto（汽车/ECU上下文）。
这个表格对理解论文的定位和创新点非常重要。它系统地对比了ECoLAD与现有评估资源的差异，突出了本文的独特贡献：ECoLAD是唯一同时显式操作化Ladder、Threads、Match、Trade和Audit的协议，也是唯一关注Auto（汽车/ECU上下文）的资源。这表明ECoLAD填补了现有基准在部署导向评估方面的空白，为读者提供了清晰的上下文定位。
表2定义了四个计算层级的详细配置：Tier ID（GPU、CPU-MT、CPU-LT、CPU-1T）、Backend（执行后端，如GPU (M3 Max)或CPU多线程/受限线程/单线程）、Thread cap（线程上限，GPU层不限制14个，CPU-MT为14，CPU-LT为7，CPU-1T为1）、Scale s（计算缩减因子，分别为1.00、0.75、0.50、0.25）。表注说明CPU-1T是主要部署压力层。
这个表格对理解方法的核心技术细节非常重要。它明确定义了ECoLAD协议的计算阶梯配置，这是协议可操作性的基础。四个层级的渐进式资源约束设计（从GPU参考到单线程CPU）模拟了从高性能工作站到嵌入式ECU的实际部署环境，为读者提供了清晰的实验设置参考。
表3列出了所有评估的检测器及其参考文献：Isolation Forest [13]、Local Outlier Factor (LOF) [14]、HBOS [15]、COPOD [16]、PCA baseline（标准线性子空间基线）、USAD [17]、TranAD [18]、OmniAnomaly [8]、GDN [19]、TimesNet [20]。这包括5个经典方法和5个深度/神经方法，覆盖了TSAD的主要方法类别。
这个表格对理解实验设置很重要，它提供了评估方法的完整列表和参考文献，确保了实验的代表性和可复现性。选择这些方法覆盖了从轻量级经典方法到复杂深度/基于注意力机制的广泛谱系，使结论具有普适性。
表4并排显示了SMD和Telemetry数据集上所有方法的AUC-PR（越高越好）和time/1k（越低越好）指标，按GPU、CPU-MT、CPU-LT、CPU-1T四个层级分组。表格包含随机基线（Telemetry: AUC-PR = 0.022）作为参考。关键数据包括：在SMD上，OmniAnomaly保持在约0.51，USAD约0.47-0.48，PCA恒定为0.448，LOF从0.145降至0.073；在Telemetry上，HBOS达到0.064（GPU）和0.055（CPU-1T），深度方法约0.041。时间数据显示HBOS和COPOD占据超低成本区间（≈0.001-0.005 s/1k），而OmniAnomaly显著受益于计算缩减（0.213 → 0.030 s/1k）。
这个表格对理解核心实验结果至关重要，它提供了所有层级和数据集的定量性能数据，是论文结论的主要证据来源。通过并排显示准确率和运行时成本，它清晰地揭示了不同方法的权衡模式，支持了关于排名漂移、降解模式和可行性约束的发现。
表5显示了跨计算层级的推理吞吐量（wps，$N/t_{inf}$），分别报告SMD（22个实体，中位数及CPU-1T的p10/p90）和Telemetry（单个实体）。表格还显示了CPU-1T层的完整运行吞吐量（$N/t_{e2e}$），暴露了拟合开销差距：对于经典方法两者相同，但对于神经方法差异显著。关键发现：OmniAnomaly的大推理/完整运行差距反映了每实体模型拟合：在CPU-1T层上SMD约23×，Telemetry约55×。吞吐量数据：HBOS在Telemetry CPU-1T层超过2,000,000 wps，LOF达到76,420 wps，COPOD 485,549 wps，而OmniAnomaly仅19,148 wps。
这个表格对理解吞吐量可行性分析非常重要，它提供了详细的推理和完整运行吞吐量数据，揭示了不同方法的运行时瓶颈。特别是推理/完整运行差距的展示，说明了对训练开销大的方法（如OmniAnomaly），仅报告完整运行吞吐量会严重低估其在线评分能力，这是ECoLAD协议的一个重要洞察。