← 返回 2026-01-09

面向开放词汇工业缺陷理解的大规模多模态数据集 Towards Open-Vocabulary Industrial Defect Understanding with a Large-Scale Multimodal Dataset

TsaiChing Ni, ZhenQi Chen, YuanFu Yang 📅 2025-12-30 👍 4 2026-07-13 08:35
多模态学习 少样本学习 工业缺陷检测 开放词汇 扩散模型 数据集
arXiv HuggingFace PDF

提出百万级工业缺陷多模态数据集IMDD-1M及扩散模型基座，实现少样本缺陷检测与生成

前置知识

扩散概率模型（DDPM）

扩散模型是一类生成模型，通过前向过程逐步向数据添加高斯噪声，再通过反向过程学习去噪以生成样本。前向过程定义为 $q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I)$，其中 $\beta_t$ 控制噪声注入速率。反向过程通过神经网络 $\epsilon_\theta(x_t, t)$ 预测噪声，训练目标为简化的去噪分数匹配 $\mathcal{L} = \mathbb{E}_{t,x_0,\epsilon}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$。Stable Diffusion 在此基础上引入 VAE 编码器将图像压缩到潜在空间，大幅降低计算成本。

本文采用 Stable Diffusion v1.5 的 U-Net 架构从零开始在工业数据上训练，理解扩散模型的基本原理是理解本文方法的关键

CLIP（对比语言-图像预训练）

CLIP 是 OpenAI 提出的视觉-语言对齐模型，通过对比学习在 4 亿图文对上训练，使图像编码器和文本编码器在共享嵌入空间中对齐语义。给定图像 $I$ 和文本 $t$，CLIP 分别编码为 $e_I = \text{CLIP}_{\text{image}}(I)$ 和 $e_t = \text{CLIP}_{\text{text}}(t)$，通过余弦相似度衡量匹配度。本文使用 CLIP 文本编码器将缺陷类别名称转换为 768 维文本嵌入，用于开放词汇分类。

本文的开放词汇分类能力依赖于 CLIP 的文本嵌入空间，同时隐式字幕生成器也利用 CLIP 图像编码器提取视觉特征

Mask2Former

Mask2Former 是 Meta 提出的通用图像分割架构，采用掩码注意力机制的 Transformer 解码器。它使用可学习查询（learnable queries）通过像素解码器（基于 FPN）和 Transformer 解码器生成实例掩码和嵌入向量。本文采用 100 个可学习查询，每个查询输出一个二值掩码 $m_i \in \{0,1\}^{H \times W}$ 和对应的嵌入 $z_i \in \mathbb{R}^d$，用于缺陷实例的分割和分类。

Mask2Former 是本文方法的核心组件，负责从扩散模型提取的多尺度特征中生成缺陷掩码和分类嵌入

开放词汇检测（Open-Vocabulary Detection）

传统目标检测模型只能识别训练时见过的固定类别，而开放词汇检测旨在识别训练时未见过的新类别。这通常通过视觉-语言对齐实现：将视觉嵌入与文本嵌入在共享空间中进行余弦相似度比较。本文在训练阶段使用 $C_{\text{train}}$ 类别，在测试阶段使用不相交的 $C_{\text{test}}$ 类别，仅提供类别名称即可完成分类，无需任何该类别的训练样本。

工业缺陷种类繁多（本文涵盖 421 种），开放词汇能力使得模型无需针对每种缺陷单独训练即可泛化

VAE（变分自编码器）

VAE 是一种生成模型，由编码器 $E$ 和解码器 $D$ 组成，将高维数据压缩到低维潜在空间。Stable Diffusion 使用预训练的 VAE 将 $H \times W \times 3$ 的图像压缩为 $h \times w \times 4$ 的潜在表示，其中 $h = H/8, w = W/8$，实现 8 倍空间压缩。本文使用冻结的 Stable Diffusion VAE 进行 8 倍压缩，使后续的 U-Net 在低维潜在空间中操作，大幅降低计算量。

VAE 的压缩能力使得 512x512 的高分辨率工业图像可以在计算可控的潜在空间中处理

研究动机

工业缺陷检测在现代制造业中至关重要，但现有方法面临多重挑战。传统人工检测成本高、主观性强、吞吐量有限。现有深度学习方法如 YOLO 检测器虽然在特定任务上表现优异，但缺乏统一的多任务能力，需要大量像素级标注，难以处理罕见缺陷，且作为黑盒判别器缺乏语义可解释性。现有工业缺陷数据集规模有限：DAGM 仅有 1.5K 图像（合成数据），MVTec AD 仅 5.4K 图像，即使最大的 Real-IAD 也只有 67K 图像，且均缺乏文本标注。相比之下，自然图像领域的 ImageNet、COCO、LAION 等数据集虽然推动了 VLM 发展，但工业缺陷具有微妙、局部化的特点，需要专业术语（如分层、焊料空洞），存在根本性的领域不匹配问题。

本文的目标是本文旨在创建首个百万级工业缺陷多模态数据集 IMDD-1M，包含 100 万对齐的图文对，覆盖 63 个制造领域和 421 种缺陷类型，每对都配有专家验证的标注和细粒度文本描述。同时，基于该数据集训练一个扩散式多模态基座模型，统一生成和判别能力，实现缺陷生成、分割、检测和语义理解，仅需不到 5% 的任务特定数据即可达到可比性能。

与已有工作不同的是，本文的独特切入角度在于三个方面：第一，首次将大规模多模态学习引入工业缺陷领域，填补了工业数据缺乏图文对标注的空白；第二，采用从零训练的扩散模型而非微调现有自然图像模型，因为实验表明从随机初始化（82.7% mIoU）优于从预训练 Stable Diffusion 微调（74.5%），说明自然图像先验可能阻碍工业缺陷特征学习；第三，提出隐式字幕生成器解决下游数据集缺乏文本描述的问题，通过随机条件训练策略使隐式嵌入成为真实文本嵌入的有效替代。

核心方法

本文方法的核心思路是：首先构建大规模工业缺陷图文数据集 IMDD-1M，然后在该数据集上从零训练一个文本条件扩散模型，学习工业缺陷的多模态表示。训练完成后，冻结扩散模型，通过单次前向传播提取多尺度特征，再用轻量级的 Mask2Former 掩码生成器预测缺陷实例的分割掩码和嵌入向量。对于分类任务，通过掩码嵌入与 CLIP 文本嵌入的点积实现开放词汇分类。整个框架将生成能力（缺陷合成）和判别能力（检测、分割）统一在单一架构中，展示了数据高效的基座模型适应工业场景的潜力。

本文的核心创新在于三个关键设计：第一，隐式字幕生成器（Implicit Captioner），由冻结的 CLIP 图像编码器和可训练的两层 MLP 组成，将 512 维 CLIP 嵌入投影到 768 维文本嵌入空间，解决下游数据集缺乏文本描述的问题。训练时采用随机条件策略，以 0.5 概率使用真实文本嵌入、0.5 概率使用隐式嵌入，通过辅助余弦相似度损失 $\mathcal{L}_{\text{imp}} = 1 - \frac{t_{\text{imp}}^T e_T}{\|t_{\text{imp}}\|\|e_T\|}$ 强制对齐。第二，从零训练策略，随机初始化 U-Net 而非从 Stable Diffusion 微调，实验表明这比微调策略提升 8.2% mIoU。第三，双向对比定位损失 $\mathcal{L}_{\text{ground}}$，利用名词作为伪标签，通过双向 softmax 归一化相似度实现掩码-文本对齐，无需额外标注。

方法步骤详情

方法分为两个训练阶段和推理阶段。Stage 1（扩散预训练）：输入图像 $I$ 经冻结 VAE 编码为 $z_0 = E_{\text{VAE}}(I) \in \mathbb{R}^{4 \times h \times w}$，添加噪声 $z_t = \sqrt{\bar{\alpha}_t} z_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，文本通过 CLIP 编码为 $e_T = \text{CLIP}_{\text{text}}(t)$，U-Net 预测噪声 $\epsilon_\theta(z_t, t, e_T)$，联合训练隐式字幕生成器，损失为 $\mathcal{L}_{\text{Stage1}} = \mathcal{L}_{\text{diff}} + 0.3\mathcal{L}_{\text{imp}}$，训练 100 epoch，batch size 256，8xH100 GPU 耗时 72 小时。Stage 2（掩码生成器微调）：冻结扩散模型，在 $t=50$ 处提取特征 $\{f_\ell\}_{\ell=1}^4 = \text{U-Net}_\theta(z_{50}, 50, t_{\text{imp}})$，Mask2Former 生成掩码和嵌入，损失为 $\mathcal{L}_{\text{Stage2}} = \mathcal{L}_{\text{mask}} + 0.5\mathcal{L}_{\text{cls/ground}}$，训练 50 epoch，batch size 16，4 小时完成。推理时提取特征、生成掩码和嵌入，通过 $\hat{y}_i = \arg\max_c p(z_i, C_{\text{test}})_c$ 分类，每张图像推理仅需 0.35 秒。

技术新颖性

本文的技术新颖性体现在多个层面。首先，IMDD-1M 是首个百万级工业缺陷图文数据集，比现有最大数据集 Real-IAD（67K）大约两个数量级，且提供了专家验证的图文对标注，包含 500+ 专业术语的标准化词汇表。其次，隐式字幕生成器的设计巧妙解决了工业数据缺乏文本描述的痛点，通过随机条件训练和辅助对齐损失，使模型能够从纯视觉特征合成有效的文本嵌入，这一设计在工业领域是首创。第三，从零训练优于微调的发现颠覆了常规认知，表明工业缺陷的视觉特征与自然图像存在根本差异，需要专门的领域预训练。第四，统一框架在单一架构中同时支持生成（缺陷合成）和判别（分类、检测、分割），仅需 45M 参数的掩码生成器和 200 个样本/类别即可实现跨任务迁移。

Dataset analysis. (1) Sample distribution among the top 100 defect categories (log-scaled). (2) Three-step workflow for dataset construction.
Figure 3: Dataset analysis. (1) Sample distribution among the top 100 defect categories (log-scaled). (2) Three-step workflow for dataset construction.
Dataset composition. (1) Distribution of normal versus anomaly samples. (2) Pie chart showing dataset composition across domains.
Figure 4: Dataset composition. (1) Distribution of normal versus anomaly samples. (2) Pie chart showing dataset composition across domains.
Anomaly ratio distribution across datasets. Each bar represents the normalized proportion of anomaly and normal samples within a specific dataset, illustrating data imbalance and diversity across industrial domains.
Figure 5: Anomaly ratio distribution across datasets. Each bar represents the normalized proportion of anomaly and normal samples within a specific dataset, illustrating data imbalance and diversity across industrial domains.
Overview of our method. An implicit captioner encodes the defect image into a text embedding, which, together with the image, is fed into a frozen diffusion U-Net to extract multi-scale features. A VAE decoder reconstructs features, while a mask generator predicts binary masks and embeddings.
Figure 7: Overview of our method. An implicit captioner encodes the defect image into a text embedding, which, together with the image, is fed into a frozen diffusion U-Net to extract multi-scale features. A VAE decoder reconstructs features, while a mask generator predicts binary masks and embeddings.
This figure showcases a diverse set of aluminum surface defects, including base-exposed regions, coating cracks, powder bumps, dents, scratches, minor dings, dust spots, scuffing marks, non-conductive stripes, deformation artifacts, orange-peel textures, and pitting defects.
Figure 12: This figure showcases a diverse set of aluminum surface defects, including base-exposed regions, coating cracks, powder bumps, dents, scratches, minor dings, dust spots, scuffing marks, non-conductive stripes, deformation artifacts, orange-peel textures, and pitting defects.
A diverse collection of real-world defect examples across multiple material domains, including microcracks in solar panels, surface streaks on metallic alloys, stains and pin holes on aluminum sheets, scratches and dents on bottle caps, oxidation on mechanical gears, and fiber breakage in textile fabrics.
Figure 13: A diverse collection of real-world defect examples across multiple material domains, including microcracks in solar panels, surface streaks on metallic alloys, stains and pin holes on aluminum sheets, scratches and dents on bottle caps, oxidation on mechanical gears, and fiber breakage in textile fabrics.

实验结果

本文在多个维度验证了方法的有效性。分类任务上，IMDD-1M 预训练模型在 MVTec AD（90 种缺陷类型）、VisA（137 种）、Magnetic Tile（6 种）和 Steel Surface（7 种）四个数据集上平均准确率达 96.7%，无需任务特定修改。目标检测方面，通过掩码导出边界框，在 MVTec AD 上达到 74.6% mAP@0.5 和 58.9% mAP@0.75，接近专门的 YOLOv8（78.3% 和 62.1%），但仅使用每类 200 个样本（不足监督方法的 5%）。像素级分割在 MVTec AD 和 VisA 上平均 IoU 达 52.9%，在 MVTec AD 异常检测上达到 96.1% P-AUC-ROC 和 90.2% AUC-PRO，仅比使用完整训练集的方法低约 2%。生成质量方面，模型在 Magnetic Tile 数据集上达到 100.29 IS 和 5.5-13.6 FID。消融实验表明，移除隐式文本嵌入导致准确率下降 4.8%，移除定位损失导致 IoU 下降 3.1%，移除扩散条件导致准确率下降 7.0%。数据效率实验显示，IMDD-1M 预训练仅需 150 个样本即可达到 95% 准确率，比随机初始化（1850 个样本）高效 12.3 倍，比 ImageNet 预训练（520 个样本）高效 3.6 倍。

Comparison of industrial defect datasets.
Table 1: Comparison of industrial defect datasets.
Summary of Industrial Defect Datasets.
Table 2: Summary of Industrial Defect Datasets.
Classification accuracy across multiple industrial datasets.
Table 3: Classification accuracy across multiple industrial datasets.
Object detection comparison with YOLOv8 on MVTec AD.
Table 4: Object detection comparison with YOLOv8 on MVTec AD.
Pixel-level segmentation results using standard metrics.
Table 5: Pixel-level segmentation results using standard metrics.
Comparison with anomaly detection methods on MVTec AD dataset.
Table 6: Comparison with anomaly detection methods on MVTec AD dataset.
Architectural ablation study on VisA dataset.
Table 7: Architectural ablation study on VisA dataset.
Stage 1 diffusion U-Net pre-training configuration on IMDD-1M.
Table 8: Stage 1 diffusion U-Net pre-training configuration on IMDD-1M.
Stage 2 mask generator fine-tuning configuration.
Table 9: Stage 2 mask generator fine-tuning configuration.
Computing resource configuration.
Table 10: Computing resource configuration.
Per-category results on MVTec AD (200 samples/class).
Table 11: Per-category results on MVTec AD (200 samples/class).
Zero-shot cross-dataset transfer performance.
Table 12: Zero-shot cross-dataset transfer performance.
Sample efficiency comparison across different pre-training strategies.
Table 13: Sample efficiency comparison across different pre-training strategies.
Comparison of generative quality between our IMDD-1M-trained model and Stable Diffusion XL (SDXL) on the Magnetic Tile dataset. (1) IS: class consistency and diversity. (2) FID: realism gap to real images.
Figure 8: Comparison of generative quality between our IMDD-1M-trained model and Stable Diffusion XL (SDXL) on the Magnetic Tile dataset. (1) IS: class consistency and diversity. (2) FID: realism gap to real images.
Qualitative comparison of real (left) vs. generated (right) defect samples across multiple industrial datasets including Magnetic Tile, VisA, wall stain, and aircraft surface panel.
Figure 9: Qualitative comparison of real (left) vs. generated (right) defect samples across multiple industrial datasets including Magnetic Tile, VisA, wall stain, and aircraft surface panel.
Qualitative visualization of multimodal results on various MVTec AD samples. (a)-(d) show segmentation outputs with text-conditioned masks highlighting localized defects, while (e)-(h) illustrate object detection results with bounding boxes.
Figure 10: Qualitative visualization of multimodal results on various MVTec AD samples. (a)-(d) show segmentation outputs with text-conditioned masks highlighting localized defects, while (e)-(h) illustrate object detection results with bounding boxes.
Our method achieves 96.1% accuracy using only 200 samples per class, requiring less than 5% of the training data compared to conventional approaches.
Figure 11: Our method achieves 96.1% accuracy using only 200 samples per class, requiring less than 5% of the training data compared to conventional approaches.
查看结构化数据
任务指标本文基线提升
缺陷分类 准确率 (%) 96.7（四数据集平均） 无直接基线（开放词汇设置） MVTec AD 98.3%, VisA 97.7%, Magnetic Tile 96.2%, Steel 94.5%
目标检测 mAP@0.5 / mAP@0.75 (%) 74.6 / 58.9 YOLOv8-m: 78.3 / 62.1 仅用 <5% 数据，接近专用检测器
像素分割 IoU (%) 52.9（平均） MVTec AD bottle 52.1%, cable 51.4%, VisA candle 54.7% 提供可解释的分割和检测输出
异常检测 P-AUC-ROC / AUC-PRO (%) 96.1 / 90.2 FAIR: 98.2 / 94.0（完整训练集） 仅用 200 样本/类，比完整训练集低约 2%
生成质量 IS / FID 100.29 / 5.5-13.6 SDXL 对比 更高的 IS 和更低的 FID

局限与改进

本文存在多方面局限性，作者在第 8 节进行了坦诚的分析。计算资源方面，Stage 1 预训练需要 8xH100 80GB GPU 运行 72 小时（共 576 GPU 小时），峰值显存 76GB/GPU，这限制了计算资源有限的研究者访问。推理速度方面，每张图像 0.35 秒的推理时间无法满足需要 50-200 FPS 的实时工业检测场景，而 YOLOv8 仅需 6.2ms/图像（161 FPS）。推理显存 18.7GB 超出边缘设备容量。数据效率方面，虽然仅需 200 样本/类，但对于每万件产品中出现不到一次的极罕见缺陷，收集 200 个样本仍可能不切实际。框架目前仅支持 2D 分析，未整合时间信息用于视频检测或 3D 几何推理。数据集主要覆盖可见光 RGB 成像，而工业场景常使用 X 射线、红外、超声波或高光谱成像。此外，从独立观察来看，52.9% 的平均 IoU 对于高精度工业检测仍显不足，特别是对微小缺陷的定位精度可能有限；421 种缺陷类型的长尾分布（前 10 种占 47.4%）可能导致罕见类型性能下降。

独立分析的弱点

本文存在几个值得关注的弱点。首先，从零训练策略虽然在本文实验中表现更好，但这可能是因为 IMDD-1M 数据集规模足够大（124 万张），对于数据量较小的场景，迁移学习预训练权重可能仍是更优选择，这一结论的泛化性需要更多验证。其次，隐式字幕生成器仅使用两层 MLP，表达能力有限，对于复杂的工业缺陷描述（涉及空间关系、因果推理）可能不足，可以考虑更强大的架构如 Transformer 或引入多模态大语言模型。第三，实验对比中，YOLOv8 仅对比了一个模型，缺乏与其他主流检测器（如 DETR、RT-DETR）的对比；异常检测对比中，本文方法使用 200 样本/类，而基线使用完整训练集，这不是公平对比，应补充同等数据量下的基线结果。第四，掩码生成器使用 100 个固定查询，对于缺陷数量变化较大的场景可能不够灵活，可考虑动态查询机制。

未来方向

作者提出了三个明确的未来方向：第一，扩展数据集以包含时间信息和多视角信息，支持基于视频的缺陷跟踪和 3D 推理，这对于流水线上的连续检测和立体缺陷分析非常重要。第二，探索不同制造领域之间的跨域泛化，使模型能够稳健适应未见过的工业场景，目前的跨数据集迁移实验（IMDD-1M 到 MVTec AD: 52.9% IoU, IMDD-1M 到 VisA: 54.7% IoU）显示了潜力但仍有提升空间。第三，将多模态推理与物理仿真结合，弥合感知与生成建模的鸿沟，实现真正的制造智能。基于现有成果，还可以延伸以下方向：将框架扩展到多模态工业检测（融合 X 射线、热成像等）；引入主动学习策略优化罕见缺陷的样本选择；开发轻量级模型变体（知识蒸馏、量化）适配边缘部署；探索缺陷生成用于数据增强，特别是罕见缺陷类型的合成。

复现评估

作者已开源代码和轻量预训练模型快照，GitHub 仓库包含完整的模型实现（Industrial Diffusion U-Net、隐式字幕生成器、Mask2Former）、第三方库集成、目标检测和分类模块、详细的安装和使用文档、requirements.txt 依赖规格。然而，完整预训练模型和数据集由于存储和托管限制未公开发布，仅提供给符合机构数据共享政策的合格研究者。复现本文结果需要 8xH100 80GB GPU（Stage 1 需 576 GPU 小时）、2TB RAM、100TB NVMe SSD 存储，这对大多数研究团队来说是极高的硬件门槛。Stage 2 微调相对友好，4-5.5 小时即可完成。总体而言，代码开源程度良好，但数据和完整模型的可获取性、以及高昂的计算需求是复现的主要障碍。

论文图表

Overview of the proposed IMDD-1M dataset, its diverse industrial domains, corresponding downstream tasks, and potential extensions to vision-language model applications.
Figure 1: Overview of the proposed IMDD-1M dataset, its diverse industrial domains, corresponding downstream tasks, and potential extensions to vision-language model applications.

该图展示了 IMDD-1M 数据集的整体概览，左侧列出多个工业领域（汽车、电子、金属、纺织、包装等），中间展示数据集支持的下游任务（分类、分割、检索、字幕生成、生成建模），右侧展示视觉语言模型应用的扩展潜力。

这张图提供了论文核心贡献的全局视角，帮助读者快速理解数据集的规模、多样性和应用范围。

Illustrative overview of IMDD-1M showing diverse image-text pairs across multiple industrial domains, each with expert-verified annotations capturing fine-grained defect types, materials, and manufacturing contexts.
Figure 2: Illustrative overview of IMDD-1M showing diverse image-text pairs across multiple industrial domains, each with expert-verified annotations capturing fine-grained defect types, materials, and manufacturing contexts.

该图展示了来自多个工业领域的代表性样本，每对图文包含高分辨率缺陷图像和对应的专家验证文本描述，涵盖产品类别、材料成分、缺陷类型、空间位置和根因分析等结构化信息。

这张图直观展示了数据集标注的质量和多样性，是理解数据集价值的关键视觉参考。

Top 10 datasets ranked by (1) object class count and (2) defect type count. MVTec AD and VisA stand out for their broad coverage and diversity across industrial components and surface conditions.
Figure 6: Top 10 datasets ranked by (1) object class count and (2) defect type count. MVTec AD and VisA stand out for their broad coverage and diversity across industrial components and surface conditions.

该图展示按目标类别数和缺陷类型数排名的前 10 个数据集，MVTec AD 和 VisA 在类别覆盖和多样性方面表现突出。

该图通过对比现有数据集凸显 IMDD-1M 在规模和多样性上的优势。

Figure 14: Comparison between real defect samples and model-generated counterparts across various aircraft and metal-surface categories.

该图展示了飞机和金属表面多个类别的真实缺陷样本与模型生成样本的对比，包括裂纹、凹痕、缺失区域、油漆缺陷、划痕和不均匀纹理，每对左为真实样本，右为生成样本。

该图进一步验证了生成模型在不同工业场景下的保真度，特别关注了飞机表面这一高精度要求的领域。