AnomalyVFM：将视觉基础模型改造为零样本异常检测器 AnomalyVFM -- Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors

数据合成流水线共三步。第一步用 FLUX（一种流匹配图像生成模型）根据 prompt $p$ 生成无缺陷前景图 $I$，prompt 模板是 "A close-up photo of [Object] for industrial visual inspection. Top-down view. Centered. [Texture] background"，其中 [Object] 从 LLM 生成的 100 个类别（如 apple, screw, tile）里采样，[Texture] 从 50 种背景里采样。第二步是 inpaint 缺陷：用 IS-Net 显著目标分割网络得到前景 mask $M_{fg}$，在前景上随机采样中心 $(x,y)$，并按 $w\sim\mathcal{U}(w_{min},w_{max}), h\sim\mathcal{U}(h_{min},h_{max})$（默认 50-350 像素）生成缺陷矩形 $R$，再用 FLUX + RePaint 策略在 $R$ 内填充 prompt $p_a$ = "A close-up photo of a [Anomaly] [Object] ..."，其中 [Anomaly] 是 GPT-4o 生成的、针对该物体合理的缺陷词（cracked, dented, smudged 等，204 种）。第三步是数据过滤：对 $I$ 和 $I_a$ 分别提取 DINOv2 patch 特征 $f, f_a$，计算余弦距离图 $M_d$，取最大值 $D$，若 $D<0.3$ 则视为生成失败、丢弃样本。最终得到 (I, I_a, M) 三元组各 10000 个。模型侧流程：把图像 $I$ 输入冻结的 RADIOv2.5 ViT-L/16（多分辨率训练，输入 resize 到 768×768），在每个 transformer 块 $b$ 的 Query/Value/Output 投影上注入 rank=64 的 LoRA；同时训练一个轻量 decoder（两个 conv+GroupNorm+ReLU+双线性上采样块 + 1 个 1×1 conv），输入 backbone 最后一层 reshaped 特征 $f_r$，同时输出异常分割图 $M_o\in[0,1]^{H\times W}$ 和置信图 $c\in\mathbb{R}^{H\times W}$；CLS token 过一个线性层得到图像级异常分数 $A_o$。损失函数为 $\mathcal{L}=\mathcal{L}_{seg}+\mathcal{L}_{img}$，其中 $\mathcal{L}_{img}$ 是 Focal Loss，$\mathcal{L}_{seg}=\mathcal{L}_{base}(M_o, M_{GT})\cdot C^{-\alpha\log C}$，$C=1+\exp(c)$，$\alpha=0.1$；$\mathcal{L}_{base}=\mathcal{L}_1(M_o, M_{GT})+\beta\mathcal{L}_{focal}(M_o, M_{GT})$，$\beta=5$。置信加权的设计动机是合成 mask 不完全可靠——decoder 自己"认为不确定"的区域应该少被惩罚。训练 500 步，batch size 32，AdamW，学习率 $10^{-4}$。

技术新颖性主要体现在三处。第一，把"自动合成数据集 + VFM 微调"组合成一个通用、模型无关的 zero-shot 框架：data generation pipeline 不依赖任何真实异常数据，是真正意义上的 zero-resource；adapter 方案不绑定具体 VFM 架构，只要 backbone 是 transformer 就能用，作者实测 DINOv2、DINOv3、RADIO 三个不同家族都稳定提升 5-6 个百分点。第二，把 LoRA 从 LLM/扩散模型领域迁移到视觉 backbone 的所有注意力块，并配合一个同时预测异常图和置信图的 decoder，这套组合在异常检测领域之前没有人系统尝试过；ablation 显示 LoRA 换成 AdaLN 或 VPT 都会掉 0.7-1.0 p.p.，换成只训练 decoder 而不注入 LoRA 则会掉 6.1 p.p.，证明"内部表征变化"是 VFM 真正学到的关键。第三，confidence-weighted pixel loss 借鉴了 3D 重建中用不确定性加权多任务损失（Kendall et al.）的思路，但用到了合成数据驱动的异常分割里，特别契合"合成标签本身有噪声"这一现实问题，且推理时不需要额外分支。

独立分析后我认为主要有四个弱点值得指出。第一个是合成数据多样性虽然物体/背景组合达到 4596，但所有缺陷都是 2D 表面型（crack、dent、scratch、discoloration 等），没有覆盖 3D 几何异常（如 MVTec AD 里 "carpet" 的 metal thread 偏折、PCB 的 missing hole），这类几何型缺陷在 zero-shot 工业质检中恰恰很常见，模型在 BTAD 上只有 92.3% 的 pixel-AUROC 一定程度上印证了这一点；改进方向是在 inpaint 之前先估计表面法线或深度，引导 3D-aware 的缺陷生成。第二个是 anomaly 类别不平衡——训练时所有 [Anomaly] 是均匀采样的，但工业真实场景中不同缺陷出现频率差几个数量级（划痕远比 missing hole 常见），目前模型在罕见缺陷类上的置信度没有校准；可以引入类别权重或 focal sampling。第三个是 pixel-level F1-Max 比 AdaCLIP 低 6.7 p.p.，意味着 AUROC 高、但实用阈值下的精度不足；推测是 confidence-weighted loss 的 $\alpha=0.1$ 偏小，没有充分让模型"敢预测"；改进是引入阈值无关的指标如 AP（average precision）作为额外目标，或在推理时用基于 patch 熵的 adaptive thresholding。第四个是模型的图像级判别依赖 CLS token 线性层，比较脆弱——尤其在 RealIAD 这种多视角数据集上 (88.0%) 明显低于 MVTec AD (94.9%)，说明 CLS token 没有充分编码"多视角一致性"信息；改进是加入一个 view-consistency head，推理时跨视角融合 CLS 预测。

作者在结论中明确点出两条未来方向：(1) 进一步提升生成缺陷的真实性，包括更准的 mask 估计和更鲁棒的过滤——他们已经在补充里展示可以用训练好的 AnomalyVFM 反过来当过滤器，进一步清洗数据；(2) 集成 monodepth 基础模型（如 Marigold）将框架扩展到 zero-shot RGBD 异常检测，因为很多工业场景有现成深度图。基于成果自然延伸的方向还包括：(a) 把合成流水线做成 continual learning 工具——每隔一段时间用最新生成模型（如更强的 FLUX 版本）重新合成 10000 张，进一步推到上限；(b) 探索 AnomalyVFM 作为 few-shot/full-shot 主干的可能性，本文已经显示 MVTec AD 1-shot 拿到 97.2%，逼近甚至超过部分 full-shot 方法（PatchCore 在 full-shot 下约 99%），结合更强的 memory bank 可能直接成为新 SOTA；(c) 把合成数据 pipeline 推广到其他 dense prediction 任务（语义分割、表面重建、显著目标检测），因为"用生成模型造监督信号"本质是一个通用范式；(d) 研究 LoRA 在 VFM 上更高效的注入位置——目前 Q/V/Proj 是经验选择，作者补充实验也尝试了 Norm/All-Linear 但都掉点，是否有更结构化的选择（如只在后几个 block 注入）值得探索。

复现评估整体比较友好。作者明确说"Project Page"会提供代码，并在 5.2 节给出了几乎所有关键超参：FLUX 作为默认生成模型，矩形采样 $w,h\in[50,350]$（1024×1024 图像），过滤阈值 $T=0.3$，训练集规模 10000 张，batch size 32，AdamW，学习率 $10^{-4}$，训练 500 步，backbone 是 RADIOv2.5 ViT-L/16，输入 768×768，$\alpha=0.1$，$\beta=5$，LoRA rank 64，注入 Q/V/Proj。数据侧：100 个 object、50 个 background、204 个 anomaly tag 全部在补充材料的 Table 4-6 中列出，可以完全离线复现合成过程。算力上训练只需单卡 A100 约 2 小时，主要开销在数据生成的 ~1 天。开源方面没有在论文正文中给具体仓库链接（仅写了 Project Page 字样），但作者团队（University of Ljubljana + codeplain 的 Zavrtanik）此前在 DRÆM、SuperSimpleNet 等项目上都开源了代码，预期 AnomalyVFM 也会开源。复现难度中等偏上——主要门槛不是算法而是 FLUX 的算力：要在 A100 上跑 1 天生成 10000 张带缺陷的图像对需要一定成本；可以先用 100-1000 张做小规模实验验证（论文 Figure 5 显示 1000 张时性能已经接近 10000 张的 95%），门槛大幅降低。值得提醒的是评估时必须把测试集类别从 [Object] tag 列表中剔除，作者已经做了这步以避免数据泄漏，复现者要严格遵守。