IIoT网络轻量级入侵检测模型的跨域泛化失败研究 Cross-Domain Generalization Failure in Lightweight Intrusion Detection Models for IIoT Networks
揭示轻量级IIoT入侵检测模型跨网络部署时的性能崩溃问题及根本原因
前置知识
跨域泛化
指机器学习模型在训练数据分布之外的测试数据上保持性能的能力。在网络安全领域，这特指模型在源网络训练后，能否直接应用到具有不同设备组成、流量模式和攻击行为的目标网络而不重新训练。跨域泛化失败通常指模型在目标域上的性能显著低于在源域上的性能。
论文的核心问题是评估轻量级入侵检测模型的跨网络泛化能力，理解这个概念是掌握整篇论文研究动机和实验设计的基础。
端口桶化
将原始端口号映射到离散的分类桶中，如none（无端口）、well-known（<1024）、registered（1024-49151）、dynamic（≥49152）。这种技术用于减少特征维度，防止模型记忆特定端口号作为攻击识别依据，因为端口号可能更多地标识流量来源而非攻击行为特征。
论文采用端口桶化作为控制变量，测试是否粗化特征分辨率可以避免捷径学习，这是理解实验设计的关键技术细节。
SHAP值
SHAP（SHapley Additive exPlanations）是一种基于博弈论的可解释性方法，为每个特征分配一个重要性值，表示该特征对模型预测的贡献。TreeExplainer专门用于树模型，KernelExplainer可用于任意模型。SHAP值可以量化模型对特征的依赖程度。
论文使用SHAP分析来揭示模型崩溃的根本原因，理解SHAP值有助于解读模型过度依赖端口桶特征的发现。
Few-shot领域恢复
指通过在目标域上使用极少量的标注数据（如1%、5%、10%的数据）来微调预训练模型，以恢复跨域性能损失的能力。对于不同模型架构，恢复能力和所需数据量可能差异很大。
论文测试了四种架构的few-shot恢复能力，发现恢复模式因架构而异，这是论文的重要发现之一。
研究动机
现有轻量级入侵检测研究存在严重的评估局限性。几乎所有发表的研究都只在同一个数据集的train/test分割上评估模型性能，而没有测试模型在未见过的工业网络上的表现。例如，Edge-IIoTset、Gotham、WUSTL-IIoT等数据集的原始论文都只报告了域内结果。这种评估方式与实际部署场景严重不符——在真实IIoT环境中，模型通常需要在训练时未见过的网络（具有不同设备、流量模式、攻击行为）上运行。此外，大多数研究使用人工平衡的类别分布进行评估，而实际网络流量中良性流量占绝对主导地位（Gotham攻击流量占10.6%，WUSTL-IIoT-2021占7.3%），这可能导致评估结果过于乐观。
本文的目标是本文的核心目标是回答两个关键问题：第一，在训练网络上表现良好的轻量级入侵检测模型，在不重新训练的情况下应用到不同的IIoT网络时是否能保持性能？第二，如果性能不转移，原因是否可识别，能否通过少量本地适配而非完全重新训练来廉价地解决？论文通过系统性跨数据集研究来回答这些问题，使用四个代表性轻量级架构，在一个IIoT数据集上训练，在两个独立且结构不同的IIoT数据集上评估，并且同时测试平衡和自然类别分布下的性能。
与已有工作不同的是，本文的独特切入角度是同时结合五个以往研究未曾同时覆盖的标准：(i) 隔离评估轻量级IIoT特定架构，而非在联邦聚合等复杂设置中；(ii) 使用超过一个独立目标数据集（Gotham和WUSTL-IIoT-2021）；(iii) 直接测试端口捷径机制而非假设其解释失败或设计回避它；(iv) 比较平衡与自然类别分布评估；(v) 跨所有评估架构匹配few-shot适应测试。如表1所示，没有相关工作同时满足这五个标准，本文旨在填补这一综合空白。
核心方法
论文采用系统性跨数据集实验方法。首先构造一个包含16维特征的最小公共模式（源/目的端口桶、传输协议、4个TCP标志位），在Edge-IIoTset上训练四个轻量级分类器（决策树、SmallMLP、Small1DCNN、SmallLSTM），然后在Gotham和WUSTL-IIoT-2021上零样本评估。接着通过SHAP可解释性分析诊断模型依赖的特征，通过跨数据集端口桶流行度比较验证崩溃原因。然后评估对抗鲁棒性和few-shot恢复能力，最后进行效率分析和与已发表轻量级IDS的足迹对比。
核心创新点是直接测试端口捷径机制。以往研究假设粗化端口分辨率可以避免捷径学习，或者直接移除端口特征。本文采用不同策略：先粗化端口到4个桶，然后通过SHAP分析验证模型是否仍然依赖这些粗桶，再通过跨数据集比较端口桶流行度验证依赖的分布偏移。发现粗化只是重定位了捷径而非消除——最影响的端口桶在源域攻击流量中出现频率是Gotham的96倍、WUSTL-IIoT-2021的435倍。这是第一个直接验证这一机制的IIoT研究。
方法步骤详情
方法步骤：(1) 特征工程：构造16维公共模式（8个端口桶指标+4个协议指标+4个TCP标志位），原始端口号映射到4个桶后one-hot编码；(2) 模型训练：在Edge-IIoTset上训练四个架构（70/10/20分割），使用Adam优化器、学习率$1\times 10^{-3}$、批量256、15轮；(3) 跨域评估：在Gotham和WUSTL-IIoT-2021上零样本评估，每个数据集评估两次（平衡采样、自然分布）；(4) 可解释性分析：对表现最好的两个模型计算SHAP值（TreeExplainer for DecisionTree, KernelExplainer for neural models），比较端口桶依赖；(5) 跨数据集比较：直接比较dst_port_none在三个数据集攻击流量中的出现频率；(6) 对抗鲁棒性：使用HopSkipJump黑盒攻击扰动100个样本，计算准确率下降$\Delta Acc = Acc_{clean} - Acc_{adv}$；(7) Few-shot恢复：在Gotham上切分一半为适应池，使用$\{0, 0.01, 0.05, 0.10, 0.25\}$比例数据微调，跟踪F1；(8) 效率分析：记录模型大小、推理延迟、内存占用、参数计数、训练时间。
技术新颖性
技术新颖性体现在四个方面：首先，是首个在IIoT设置下同时测试两个独立目标数据集的跨域泛化研究；其次，是首个通过端口桶化控制变量+SHAP分析+跨数据集流行度比较直接验证端口捷径机制的研究；第三，是首个同时比较平衡与自然类别分布评估并发现协议可反转目标难度的研究；第四，是首个在匹配条件下跨四个轻量级架构测试few-shot恢复能力并发现架构依赖性的研究。这些新颖性的结合使得本文的发现比以往任何单一研究都更全面。
实验结果
核心发现分为四个层次。第一，跨域性能崩溃：在自然类别分布下，四种架构的F1从域内约0.97下降到Gotham的0.18-0.28和WUSTL-IIoT-2021的0.09-0.13，没有模型保留超过29%的域内F1。第二，端口桶依赖：SHAP分析显示DecisionTree前5个特征占83%重要性，SmallMLP占73%，且全部是端口桶指标。dst_port_none在Edge-IIoTset攻击流量中占40.5%，但在Gotham只占0.42%（96倍差）、WUSTL-IIoT-2021占0.09%（435倍差），直接解释了崩溃原因。第三，评估协议效应：平衡评估F1在WUSTL-IIoT-2021上是0.39-0.53，自然评估降到0.09-0.13（四倍下降）。更重要的是，平衡评估下每个模型在WUSTL-IIoT-2021上得分高于Gotham（如DecisionTree: 0.530 vs 0.171），但自然评估下顺序翻转，每个模型在WUSTL-IIoT-2021上得分更低（如DecisionTree: 0.134 vs 0.180）。第四，few-shot恢复模式：DecisionTree需要25%数据后才改善（F1从0.170到0.638），SmallLSTM在5%就达到0.585但在10%和25%下降到0.429，SmallMLP缓慢改善到0.289，Small1DCNN在任何比例都不改善。对抗鲁棒性显示SmallMLP和SmallLSTM准确率下降0.88到0.06，DecisionTree和Small1DCNN下降0.44-0.45，且鲁棒性与跨域性能不相关（SmallLSTM跨域好但最不鲁棒）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IIoT入侵检测（二分类） | F1 score（attack class） | 0.971-0.972（域内），0.093-0.275（跨域自然分布） | 99.54% accuracy on Edge-IIoTset (Ferrag et al.) | 无法直接比较，本文显示域内高精度不代表跨域性能，而Ferrag等未报告跨域结果 |
| 轻量级部署效率 | 模型大小 | 4.7-7.9 KB | 16.3-39.9 KB（TCN, BiGRU-MHA-LSTM等） | 本文模型更小，但这是使用16维最小模式的直接结果，非压缩技术 |
局限与改进
作者承认的局限性包括：(1) 公共模式限制：WUSTL-IIoT-2021不提供TCP标志信息，其跨域结果只反映端口桶和协议部分；(2) 协议多样性有限：Edge-IIoTset训练流量88.4% TCP、11.5% ICMP、几乎无UDP，限制了源域提供的协议学习机会；(3) 对抗鲁棒性评估：只进行了单次100样本评估，没有像跨域结果那样多种子重复和显著性检验；(4) Few-shot评估局限：只在Gotham上测试，而架构排名在零样本转移下在Gotham和WUSTL-IIoT-2021间不同，相同架构依赖恢复模式是否在WUSTL-IIoT-2021上成立未测试；(5) 可解释性分析范围：只在DecisionTree和SmallMLP上进行，Small1DCNN和SmallLSTM的特征依赖是间接推断；(6) TCP标志影响分离不足：WUSTL-IIoT-2021的更大跨域崩溃归因于结构差异，但其零填充TCP标志是特定可分离因素，本研究中未与其他差异源隔离；(7) SmallLSTM非单调恢复的假设未直接验证：需要固定类别权重重复实验确认per-batch class-weight重计算是否是原因。我的观察是：本研究未测试更复杂的架构（如注意力机制、图神经网络）在跨域设置下的表现，也未探索其他可能的捷径特征（如包大小、时间模式），这些可能是未来方向。
独立分析的弱点
独立分析的弱点包括：(1) 架构选择有限：只测试了四个基础轻量级架构，未测试现代轻量级设计如MobileNet、EfficientNet-inspired变体，这些可能展示不同的跨域行为；(2) 特征集过于简单：16维特征可能不足以捕获攻击的关键行为模式，更丰富的特征（如流持续时间、包大小、到达间隔）可能提供更好的泛化；(3) 缺少主动防御策略：论文诊断了问题但没有提出解决方案（如领域对抗训练、特征解耦、元学习），few-shot测试的微调是被动而非主动的；(4) 目标网络数量有限：只测试了两个目标数据集，结论的普适性需要更多验证；(5) 没有测试多域预训练：在多个源域上预训练可能提升泛化，本研究只在单个源域上训练；(6) 没有评估误报的实际操作影响：论文关注F1下降，但没有分析在自然分布下低precision（0.050-0.072）在实际SOC中带来的警报疲劳问题。改进方向：测试更丰富的轻量级架构、扩展特征集、探索主动领域适应方法、增加目标网络多样性、测试多域预训练策略、量化误报的实际操作成本。
未来方向
作者提出的未来方向包括：确认SmallLSTM非单调恢复的class-weight重计算假设；在WUSTL-IIoT-2021上重复few-shot测试验证架构依赖模式的普适性；设计移除标志特征的受控消融实验隔离其贡献。基于论文成果可延伸的方向：(1) 主动领域适应：探索领域对抗训练（DANN）、特征解耦（domain-invariant representation learning）、元学习（MAML）等主动提升泛化的方法；(2) 更丰富的特征工程：测试包含流级特征（持续时间、字节数、包计数）和时序模式的16+维特征是否能提供更好的泛化；(3) 多域预训练：在Edge-IIoTset、Gotham、WUSTL-IIoT-2021等多个源域上联合预训练，提升跨域鲁棒性；(4) 架构搜索：系统搜索轻量级架构空间，寻找既有好的跨域性能又有few-shot恢复能力的设计；(5) 实际部署评估：在真实IIoT测试床上部署，评估误报的操作成本、few-shot适应的标注开销、边缘设备的资源限制；(6) 扩展到多类攻击：本文简化为二分类，测试多类攻击下的跨域泛化和few-shot恢复；(7) 可解释驱动设计：基于SHAP发现设计特征工程方法，减少对端口桶的依赖。
复现评估
复现性评估：数据方面，Edge-IIoTset、Gotham 2025、WUSTL-IIoT-2021都是公开可用的，数据来源清晰。代码方面，论文承诺代码公开可用（"Code to reproduce the experiments in this study is available here"），但未提供具体链接。算力方面，论文没有明确说明硬件环境，但根据训练时间（DecisionTree 0.20s, SmallLSTM 85.0s）可以推断在中等GPU或CPU上可行。数据集大小（平衡评估299,461到236,959样本）表明训练不需要大规模分布式计算。难度评估：中等。实验设计清晰，模型架构简单，特征工程明确。主要挑战是数据集获取（特别是Gotham 2025可能需要访问权限）和代码可用性。如果代码公开，实验应可完全复现。论文的多种子重复（5个随机种子）和McNemar显著性检验提高了结果的可信度。需要注意的是，对抗鲁棒性评估没有重复，这部分结果的单次运行可能存在方差。
论文图表