基于协作Transformer的操作系统日志点异常和集体异常统一检测框架

首次提出统一检测点异常和集体异常的多模态日志异常检测框架

前置知识

多模态情感分析

多模态情感分析是从多个数据模态如文本、音频、视频中提取和整合情感信息的技术，通过不同模态间的交互和互补来提升情感识别的准确性。该技术利用深度学习模型（如Transformer、CNN等）学习不同模态的表示，并通过注意力机制、融合策略等方法将多模态信息结合起来，最终输出情感极性或情感类别。多模态情感分析在视频评论分析、社交媒体舆情监控等领域有广泛应用，其核心挑战是如何有效处理模态之间的异构性和互补性。

本文将日志异常检测重新定义为情感分析问题，需要理解如何从日志的不同模态（语义和序列）中提取和融合信息。理解多模态情感分析的工作原理对于掌握本文的创新思路至关重要，因为CoLog借鉴了情感分析领域的跨模态交互技术来处理日志数据。

点异常和集体异常

点异常是指单个数据点显著偏离整体模式的异常，例如某个日志事件突然出现了致命错误关键词，这在数据空间中表现为孤立的离群点。集体异常则是一组数据实例形成的异常模式，只有将它们作为一个整体考虑才能发现异常，例如一系列看似正常的重启操作在短时间内频繁发生形成异常模式，但单个重启操作可能并不异常。集体异常检测需要考虑时间窗口内的模式变化和事件之间的关联关系，比点异常检测更具挑战性。

本文首次提出统一框架同时检测这两种异常类型，需要理解它们的区别和检测挑战。点异常和集体异常在系统监控中代表不同的安全威胁类型，统一检测能够提供更全面的系统状态洞察，这对于实际应用非常重要。

Transformer架构

Transformer是一种基于自注意力机制的深度学习架构，通过多头注意力机制捕获序列中元素间的长距离依赖关系，具有并行计算和强大的表示学习能力。Transformer由编码器和解码器堆叠而成，每个编码器层包含自注意力子层和前馈神经网络子层，解码器还包含编码器-解码器注意力子层。自注意力机制通过查询、键、值三者的交互计算注意力权重，使得模型能够关注序列中的重要部分，而无需像RNN那样按顺序处理数据，这大大提高了训练效率和长序列建模能力。

本文的核心创新之一是协作Transformer，需要理解标准Transformer的工作原理以及如何修改它以支持跨模态交互。理解Transformer的自注意力机制和多头注意力机制是掌握本文impressed attention创新的基础。

研究动机

现有日志异常检测方法存在明显局限。单模态方法只利用日志信息的单一侧面，丢失了大量有价值的信息，导致无法识别复杂的异常模式。例如，仅看单个日志事件的内容可能无法判断其是否异常，需要结合其发生的前后序列背景。一个重启事件在计划维护窗口中是正常的，但在系统正常运行期间出现则可能是异常。而现有的多模态方法虽然利用了多种模态，但面临诸多挑战：早期融合会导致输入维度过高、噪声敏感、数据复杂性和特征兼容性问题；后期融合和独立模型忽略了模态间的关键交互信息；不同模态的贡献难以平衡。具体来说，早期融合方法（如MLog、WDLog等）直接拼接不同模态的原始特征，导致输入维度爆炸式增长，一个模态中的噪声会污染整个融合表示。中间融合方法（如Mdfulog、Swisslog、FSMFLog）在中间层拼接特征，虽然降低了维度但仍然无法有效处理模态间的异构性。后期融合方法（如MFF）在决策层融合结果，完全错过了模态间早期交互的机会。此外，所有现有方法都只关注检测一种类型的异常，无法提供全面的系统状态洞察。在实际场景中，点异常可能指示突发攻击，而集体异常可能揭示持续性的性能退化或安全威胁，两种异常类型需要同时被检测才能实现真正的系统安全监控。

本文的目标是本文的具体目标是设计一个统一的日志异常检测框架，能够同时检测点异常和集体异常，通过多模态学习充分利用日志数据中蕴含的语义信息和序列信息。框架需要解决多模态数据的异构性问题，确保不同模态能够有效融合，同时避免简单拼接带来的噪声和维度灾难问题。另一个关键目标是将异常检测问题重新定义为多模态情感分析任务，利用情感分析领域成熟的跨模态交互技术来提升异常检测的准确性。框架还应该能够处理类不平衡问题，因为正常日志记录远多于异常记录，这通常导致模型偏向多数类。最终目标是在多个基准数据集上达到最先进的检测性能，同时保持模型的可解释性和鲁棒性，为日志异常检测领域建立新的性能基准。为了实现这些目标，框架需要设计创新的跨模态交互机制、模态适应机制和平衡融合机制，确保不同模态的优势能够充分发挥。

与已有工作不同的是，本文的独特切入角度是将日志异常检测首次形式化为多模态情感分析问题，这是一个新颖的跨领域思想。不同于传统方法将异常检测视为无监督的异常分数计算或监督的二分类问题，本文将异常视为日志中的负面情感，正常事件视为正面情感，从而可以利用情感分析领域的技术和经验。这种重新定义不仅启发了新的模型架构设计，还为日志异常检测引入了新的评估思路和优化目标。另一个独特之处是提出了协作Transformer架构，通过impressed attention机制让不同模态的编码器相互指导，而不是独立处理或简单拼接。这种协作式编码方式实现了真正的跨模态信息交互，每个模态都能从其他模态中获取补充信息，而不是简单地并行处理。本文还首次提出了统一框架同时检测点异常和集体异常，打破了现有方法只能检测单一异常类型的限制。这种统一检测能力对于实际系统监控至关重要，因为点异常和集体异常往往同时存在且相互关联。此外，针对多模态融合中的模态异构性问题，本文创新性地提出了模态适应层，通过软注意力和高维映射来纯净每个模态的表示，这是本文区别于以往多模态融合方法的关键创新点。模态适应层不仅解决了异构性问题，还通过去除协作编码过程中引入的杂质来提升融合质量。

核心方法

CoLog的整体思路是首先将日志异常检测重新定义为多模态情感分析任务，然后设计一个协作式的Transformer架构来学习日志的语义模态和序列模态之间的交互关系。从直觉上讲，日志数据中包含两个最关键的信息维度：单个日志事件的内容（语义模态）和事件发生的时序背景（序列模态）。仅看语义内容可能无法判断某个重启事件是否异常，但如果它出现在系统正常运行期间而非计划维护窗口，结合序列背景就能确定其为异常。CoLog通过两个并行的Transformer编码器分别处理这两种模态，但与普通Transformer不同，这些编码器通过impressed attention机制相互指导，即语义编码器在计算注意力时使用序列模态的键和值，反之亦然。这样每个模态都能从其他模态中获取补充信息。编码后的表示通过模态适应层投射到高维空间并去除杂质，然后在平衡层中进行软注意力加权融合，最后通过MLP进行分类。整个架构是端到端可训练的，采用监督学习方式，避免了无监督方法中误差累积的问题。这种协作式设计使得CoLog能够充分利用不同模态的互补信息，同时避免了简单拼接带来的维度灾难和噪声污染问题。

CoLog的核心创新点有三个。首先是多模态情感分析的思想重新定义了日志异常检测问题。传统方法将异常检测视为离群点识别或二分类，而本文将异常视为负面情感，正常视为正面情感，这样可以利用情感分析领域成熟的跨模态交互技术。这种思想转换启发了后续的模型设计，使得情感分析领域的成果可以迁移到日志异常检测领域。第二个核心创新是协作Transformer和impressed attention机制。与普通Transformer的自注意力不同，impressed attention允许一个模态使用其他模态的K和V向量来计算注意力，实现跨模态的信息互补。例如，语义编码器在处理某个日志事件时，可以参考序列模态中该事件的前后上下文信息，从而做出更准确的判断。这种跨模态指导使得每个模态都能从其他模态中获取缺失的信息，形成更全面的表示。第三个核心创新是模态适应层，用于解决不同模态之间的异构性问题。由于语义模态和序列模态来自不同的数据源和特征空间，直接融合会产生杂质和不一致性。MAL通过软注意力机制为每个序列节点分配权重，在高维空间中进行自适应加权，去除协作编码过程中引入的杂质，生成纯净的全局表示。这种适应机制确保了不同模态能够有效地融合，而不是简单地叠加。

方法步骤详情

CoLog的完整处理流程包括以下几个步骤。第一步是日志预处理和模态提取。原始日志首先通过Drain或nerlogparser进行解析，提取出时间戳、服务名、日志级别和日志消息。其中日志消息被进一步分词、转为小写，使用word2vec嵌入为300维向量形成语义模态。对于序列模态，系统构建背景序列向量（包含前W个事件的语义向量）或上下文序列向量（包含前后各W个事件的语义向量），窗口大小W作为超参数可调。实验表明窗口大小为1时性能最优。第二步是类不平衡处理。由于正常样本远多于异常样本，使用Tomek link欠采样技术移除多数类中的噪声和边界样本，平衡数据分布。Tomek link通过识别不同类别中最近的样本对并移除多数类样本来实现欠采样，相比随机欠采样更能保留有价值的信息。第三步是协作Transformer编码。语义模态和序列模态分别输入到两个Transformer编码器中，每个编码器包含多头impressed attention层、MLP层、模态适应层和层归一化。在MHIA层，当前模态的Q向量与其他模态的K、V向量结合计算注意力，实现跨模态信息交互。第四步是模态适应。MAL将输入矩阵映射到高维共享空间，计算每个节点的软注意力权重，进行加权求和去除杂质，输出纯净的模态表示。第五步是平衡融合。平衡层将不同模态的表示投射到高维潜在空间，根据balancer权重进行软注意力加权，平衡不同模态的贡献。第六步是分类。融合后的特征向量经过层归一化和MLP变换，输出2维预测结果（正常或异常），或者4维结果（用于统一检测点异常和集体异常）。训练时使用交叉熵损失和Adam优化器，学习率为0.00005，批量大小为32，最多训练20个epoch，早停策略为5个epoch无改善则停止。

技术新颖性

CoLog的技术新颖性体现在多个方面。在问题定义上，这是首次将日志异常检测形式化为多模态情感分析问题，开辟了一个新的研究方向，借鉴了情感分析领域丰富的跨模态交互技术。这种思想转换不仅启发了新的模型设计，还为日志异常检测引入了新的评估思路。在架构设计上，协作Transformer和impressed attention机制是创新性的，不同于传统的多模态早期融合（简单拼接特征）、中间融合（中间层拼接）或后期融合（决策层融合），CT通过让模态相互指导来实现真正的交互式学习。这种设计确保了不同模态能够充分利用彼此的信息，而不是简单地并行处理。模态适应层也是一项技术创新，它通过软注意力机制自适应地清理多模态协作学习产生的杂质，这是之前的多模态方法没有考虑的问题。MAL的引入解决了多模态融合中的核心挑战——模态异构性，使得不同模态能够有效地融合。在任务范围上，CoLog是第一个能够同时检测点异常和集体异常的统一框架，打破了单一异常类型检测的限制，为系统监控提供了更全面的解决方案。这种统一检测能力在实际应用中具有重要价值，因为系统异常往往同时表现为点异常和集体异常。此外，CoLog将异常检测从无监督或半监督转变为监督学习，建立了该领域的理论准确率基准，为未来研究提供了参考标准。这些技术贡献的协同作用使CoLog在多个基准数据集上达到了接近完美的性能，显著超越了现有方法。

**Fig. 2**: A comprehensive overview of the existing literature dealing with the approaches for identifying anomalies in log data

**Fig. 3**: Illustration of how log messages are processed to construct semantic and sequence modalities

**Fig. 5**: Illustration of differences between background and subsequent event vectors

**Fig. 6**: The architecture of the multi-head impressed attention layer

**Fig. 7**: The architecture of modality adaptation layer

实验结果

CoLog在七个基准操作系统日志数据集上进行了全面评估，表现出卓越的性能。在Casper、Jhuisi、Honey7和Zookeeper四个数据集上，CoLog达到了完美的100% precision、recall、F1-score和accuracy，完全避免了误报和漏报。这意味着在这些数据集上，CoLog能够准确地识别所有异常和正常样本，没有任何分类错误。在Nssal数据集上，CoLog的macro平均precision达到99.955%，recall达到99.915%，F1-score达到99.935%，accuracy达到99.967%，仅有极少数样本被误分类。在Hadoop数据集上，precision为99.997%，recall为99.956%，F1-score为99.977%，accuracy为99.994%，准确识别了所有2289个异常样本，展现了在大型分布式系统日志中的强大检测能力。在最大的BlueGene/L数据集上（包含超过200万条日志记录），CoLog的precision达到99.999%，recall达到99.990%，F1-score达到99.994%，accuracy达到99.998%，正确识别了1,964,265个真阳性和156,775个真阴性，仅有1个假阴性。这种在大规模数据集上的接近完美性能证明了CoLog的可扩展性和鲁棒性。ROC曲线和PR曲线的AUC值在所有数据集上都接近或等于100%，进一步证明了CoLog的强大性能。与现有方法的比较显示，CoLog显著优于所有对比方法。与表现第二好的pylogsentiment相比（平均F1-score 99.135%），CoLog将平均F1-score提高到99.987%，改进幅度达到约98.5%的理论上限提升。在效率方面，CoLog在Hadoop数据集上的训练时间为2479.02秒，推理时间为124秒，虽然推理时间略高于使用log keys的方法，但考虑到使用语义特征带来的准确性提升是值得的。消融研究证明，移除序列模态、MHIA、MAL或平衡层都会导致性能下降，验证了每个组件的必要性。

**Table 1**: Challenges arising from the multimodal approaches covered in the log anomaly detection literature

**Table 2**: A summary of publicly available OS log datasets

**Table 3**: Comprehensive CoLog outcomes on publicly available log datasets

**Table 11**: Ranking CoLog and other log anomaly detection methods

**Table 18**: The experimental results of a groundbreaking study on all training datasets

**Fig. 8**: The collection of output visualizations generated by the CoLog when applied to the Casper log dataset

**Fig. 18**: Visual illustrations of the CoLog's output vectors on the Casper, Jhuisi, and Honey7 datasets utilizing PCA

**Fig. 19**: The visual illustration of CoLog's outcomes for various injection ratios of unstable log events on the Spark dataset

查看结构化数据

任务	指标	本文	基线	提升
点异常检测	F1-score	99.987	pylogsentiment 99.135	约0.86个百分点
点异常检测	F1-score	99.987	Transformer 97.845	约2.14个百分点
点异常检测	F1-score	99.987	LSTM 96.765	约3.22个百分点
点异常检测	F1-score	99.987	CNN 97.812	约2.18个百分点
点异常检测	F1-score	99.987	Attentional BiLSTM 97.661	约2.33个百分点
统一检测点异常和集体异常	F1-score	99.91	无相关工作	首个统一框架

局限与改进

作者坦诚指出了CoLog的几个局限性。首先是实时应用的限制，目前的评估是在批处理模式下进行的，实时异常检测通常有延迟和计算资源约束，需要进一步优化。在实际生产环境中，异常检测系统需要在毫秒级别响应，而CoLog目前的推理时间（每样本0.00343秒）可能无法满足某些严格实时要求。其次是某些日志条目（尤其是来自操作系统的）可能难以被人类理解，这对首次解释和标记这些数据造成了困难。例如，内核日志中的十六进制地址或寄存器信息对系统管理员来说可能没有明确的语义含义，这给标注工作带来了挑战。第三是日志结构会随着系统更新而演变，需要持续适应和重新训练模型以保持有效性。当系统版本更新或日志格式改变时，CoLog需要重新训练或微调，这在持续演化的生产环境中是一个实际挑战。第四是噪声韧性，虽然CoLog对不同程度的噪声表现出鲁棒性，但某些极端场景或特定类型的噪声可能仍然严重影响性能。此外，CoLog是一个监督学习方法，依赖于标记数据，而实际场景中可能缺乏足够的异常样本。模型假设数据集具有中等程度的类不平衡和稳定的日志模板，这在基准数据集中通常成立，但在动态生产系统中可能不同。在极端不平衡场景（如异常比例低于1%）或模板快速演变的环境中，性能可能因表示漂移而下降。计算成本方面，使用语义特征比使用log keys需要更多资源，推理时间比基于log keys的方法更长，这可能限制在高频日志场景中的应用。

独立分析的弱点

从独立分析的角度看，CoLog存在几个可以改进的弱点。第一个弱点是对标记数据的依赖性。作为监督学习方法，CoLog需要足够的标记数据，而在实际场景中获取高质量的异常标记可能非常困难。异常样本通常很少，且需要专家来识别和标记，这增加了部署成本。改进方向可以是结合半监督学习，利用大量未标记数据，或者开发自监督预训练策略来减少对标记数据的依赖。第二个弱点是计算成本较高。由于使用完整的语义嵌入（384维SBERT向量）和复杂的协作Transformer架构，CoLog的训练和推理成本都高于基于log keys的方法。在Hadoop数据集上，CoLog的推理时间为124秒，而基于log keys的方法仅需0.07-0.21秒。改进方向可以是设计轻量级的协作Transformer，或者采用知识蒸馏技术将大模型的知识迁移到小模型，以在保持性能的同时降低计算成本。第三个弱点是对动态环境的适应性有限。虽然CoLog在鲁棒性实验中表现良好，但当日志模板发生重大变化或出现全新的日志类型时，性能可能下降。在Spark数据集的鲁棒性实验中，当不稳定日志事件注入比例达到20%时，CoLog的召回率下降到98.51%，虽然仍然很高但有明显下降。改进方向可以是引入持续学习机制，使模型能够在线更新而不遗忘之前的知识。第四个弱点是实时性不足。目前的批处理模式难以满足毫秒级响应的实时监控需求。改进方向可以是优化模型架构，设计流式处理管线，或者部署为边缘计算设备以减少网络延迟。第五个弱点是模态扩展的复杂性。虽然论文声称扩展到更多模态是straightforward的，但实际上添加新的模态（如统计特征、时间模式、系统指标）需要重新设计impressed attention的交互机制，可能增加计算复杂度和调参难度，也增加了模型训练的不稳定性。

未来方向

作者提出的未来工作方向包括几个有前景的领域。首先是将CoLog与实时监控系统集成，实现对工业系统中检测到的异常进行主动管理和自动响应。这需要优化模型的推理速度和内存占用，使其能够在边缘设备上部署。其次是扩展CoLog到其他应用领域，如金融欺诈检测或健康监控，这将验证其有效性和适应性，并可能发现需要改进的地方。第三是探索更多日志数据模态的使用，包括定量信息（如日志频率、时间间隔），这将进一步提升检测能力。定量模态可以捕捉系统行为的统计特征，如异常的爆发模式或周期性异常。第四是研究自适应机制以更好地管理各种类型的噪声。虽然CoLog对噪声有一定鲁棒性，但在极端噪声环境下性能可能下降，自适应噪声过滤机制可以提升鲁棒性。第五是在极端不平衡场景（异常比例低于1%）或模板快速演变的环境中，将CoLog的平衡层与自适应重采样、在线校准或少样本微调相结合，以提升鲁棒性。第六是开发持续学习扩展，以提升对动态生产系统的适应性。基于CoLog的成果，还可以探索一些延伸方向。例如，将CoLog与可解释AI技术结合，增强模型决策的透明性，这对于安全敏感场景至关重要。另一个方向是开发多任务学习版本，同时进行异常检测、异常分类和根本原因分析，为运维人员提供更全面的诊断信息。还可以探索联邦学习版本，使多个组织能够在不共享原始日志数据的情况下协同训练模型，这在隐私敏感场景中很有价值。此外，可以研究CoLog在边缘设备和物联网环境中的部署，实现分布式和实时的异常检测，这对于大规模系统监控尤为重要。

复现评估

CoLog的复现性评估非常积极。作者已经在GitHub上公开了实现代码（https://github.com/NasirzadehMoh/CoLog），保证了透明度和可重复性。所有实验使用的日志数据集都是公开可用的，来自loghub仓库和pylogsentiment仓库。实验在Google Colab Pro机器上进行，配置为12核CPU、83.5GB RAM和NVIDIA A100 40GB GPU，这是一个相对标准且可获得的硬件环境，大多数研究机构都可以访问类似的资源。使用的软件栈包括Python 3.10.12、PyTorch 2.0.1+cu118、imbalanced-learn库（用于Tomek link）、Ray库（用于超参数调优）和sentence-transformers库（用于句子嵌入）。这些都是开源且广泛使用的库，安装和配置相对简单。超参数设置详细记录：CT层数为2，注意力头数为4，批量大小为32，学习率为0.00005，学习率衰减为0.5，最大epoch为20，早停为5，dropout为0.1，语义和序列模态长度为60，嵌入维度为300，隐藏大小为256，投影向量大小为2048。数据划分比例为60%训练、20%验证、20%测试（BGL数据集为10%、45%、45%）。所有这些细节使得复现实验相对容易，只需获得类似的硬件环境即可。论文还报告了消融研究、超参数调优和鲁棒性实验的完整结果，为深入理解模型行为提供了充分信息。总体而言，CoLog的复现难度较低，代码、数据和实验设置都是公开的，研究人员可以方便地验证和扩展这项工作。唯一可能的挑战是计算资源需求，但由于模型规模适中，大多数现代GPU都可以满足要求。

基于协作Transformer的操作系统日志点异常和集体异常统一检测框架 A unified framework for detecting point and collective anomalies in operating system logs via collaborative transformers