IndusAgent：通过智能体工具强化开放词表工业异常检测 IndusAgent: Reinforcing Open-Vocabulary Industrial Anomaly Detection with Agentic Tools
用工具增强的智能体框架与门控强化学习实现零样本工业异常检测新 SOTA
前置知识
开放词表工业异常检测（Open-Vocabulary IAD, OV-IAD）
指在训练时未见过目标产品类别和缺陷类型的条件下，对工业图像进行异常（缺陷）检测的任务。与传统闭集异常检测不同，它要求模型能识别训练分布之外的新产品、新缺陷形态。难点在于没有针对目标类别的正常样本可参考，必须从单张查询图推断正常外观并判断是否存在缺陷。
这是本文的问题设定，理解了它才能理解为什么重建类、特征嵌入类方法在此失效，以及为什么作者强调「类别不相交」的训练协议和「无配对正常参考」的推理设置。
多模态大语言模型（MLLM / VLM）
将视觉编码器与语言模型对齐、能够同时处理图像和文本的大模型，如 Qwen3-VL、GPT-4o、LLaVA 等。它通过把图像编码为视觉 token 与文本语义对齐，从而具备零样本的图文推理能力。本文以 Qwen3-VL-8B 作为策略网络的骨干。
整篇论文的核心思路是用 MLLM 作为推理引擎替代传统闭集检测器，因此需要理解 MLLM 的视觉 token 压缩机制，才能明白为何会出现「感知稀释」和「结构幻觉」两大问题。
GRPO（Group Relative Policy Optimization，组相对策略优化）
一种源自 DeepSeek-R1 的强化学习算法。与需要单独价值网络（critic）的 actor-critic 框架不同，GRPO 对同一查询采样一组（group）G 条推理轨迹，用组内奖励的均值和标准差归一化得到优势估计 $A_i = (r_i - \text{mean})/\text{std}$，再以 PPO 风格的 clip 目标加 KL 惩罚更新策略。公式 $\mathcal{L}_{\text{GRPO}}(\theta) = -\mathbb{E}[\frac{1}{G}\sum_i \min(\frac{\pi_\theta}{\pi_{\theta_{old}}}A_i, \text{clip}(\cdot)A_i) - \beta D_{KL}(\pi_\theta\|\pi_{ref})]$。
本文的第三阶段训练就建立在 GRPO 之上，理解它的组内相对比较机制和 KL 约束，才能理解作者如何用相对奖励来稳定地优化工具调用决策。
监督微调冷启动（SFT Cold-Start）
在进行强化学习之前，先用高质量的思维链（CoT）轨迹对模型做条件自回归生成训练，损失 $\mathcal{L}_{\text{SFT}} = -\mathbb{E}\sum_t \log p_\theta(s_t | X, I, s_{<t})$，只对推理过程 token 计算损失（选择性掩码）。这是受 R1-Zero 启发——直接对 VLM 做 RL 容易出现 reward hacking 和 format collapse。
消融实验显示去掉 SFT 阶段（w/o SFT）性能会从 76.8% 暴跌到 55.5%（VisA），证明 SFT 是后续 RL 稳定训练的绝对前提，这是理解整个三阶段流程的关键。
奖励黑客与格式崩塌（Reward Hacking / Format Collapse）
奖励黑客指模型不走中间推理过程、而是直接钻终端奖励的空子（例如盲目二分类猜测）；格式崩塌指 RL 过程中输出失去结构、无法被解析。本文用规则验证奖励、$R_{format}$ 格式合规奖励以及选择性掩码来缓解这两个问题。
这两个失败模式正是作者设计 Accuracy-Gated 门控奖励和保留 SFT 阶段的直接动机，理解它们才能理解为什么不能用简单的加性奖励。
工具增强型智能体（Tool-Augmented Agent）
让大模型在推理过程中可以主动调用外部工具获取补充证据，而不是单次被动地看完图就作答。本文设计了四个工具：动态区域裁剪 $T_{crop}$、正常先验检索 $T_{prior}$、低层视觉增强 $T_{enhance}$（如 CLAHE、Canny）、几何测量 $T_{measure}$（距离/角度）。
这是论文方法的核心机制。四个工具分别对应解决「感知稀释」「结构幻觉」「尺度盲」「光照反射」四类失败模式，需要理解每个工具的输入输出才能读懂方法部分。
研究动机
传统工业异常检测方法（重建类如 Autoencoder、DiffusionAD；特征嵌入类如 PatchCore、PaDiM、Normalizing Flows）都建立在闭集假设上，需要针对每个类别大量正常样本训练，无法泛化到开放世界中频繁出现的新产品和未知缺陷形态。虽然 MLLM（如 GPT-4o、Qwen3-VL）带来了零样本图文推理的契机，但作者通过 Fig. 1 揭示了 MLLM 直接用于 IAD 存在三大内在缺陷：其一是「领域不对齐推理」，MLLM 被优化用于开放式对话，其推理轨迹不符合工业检测所需的严格诊断协议，常常把正常变异误判为缺陷；其二是「感知稀释与结构幻觉」，由于 MLLM 对整图做均匀视觉压缩，微小划痕、污点、纹理不连续等关键证据被大块正常区域稀释，模型在视觉定位薄弱时会编造缺陷解释；其三是「开放词表泛化脆弱」，面对新异常或模糊指令时零样本推理急剧退化，缺乏策略性探索和结构一致性。例如 Qwen3-VL-Instruct(8B) 在 VisA 上仅得 46.8%，在 MVTec 上 67.0%，可见被动单次感知在高精度工业场景下远不够用。
本文的目标是作者的具体目标是构建一个统一框架 IndusAgent，将 MLLM 从「被动单次观察者」改造为「主动工业巡检员」，在严格的无配对正常参考、类别不相交的零样本设定下，让 8B 参数的轻量模型在五大数据集上达到甚至超越大规模商用模型（如 GPT-4.1、Claude-Sonnet-4）和 72B 开源模型的性能。具体目标包括：构造工业诊断轨迹数据集让模型对齐专家级检测协议；引入一套可主动调用的外部工具集以消除感知稀释和结构幻觉；设计一个能同时优化异常分类、定位、缺陷类型推理和高效工具使用的强化学习目标，确保只在有益时才调用工具、避免工具滥用。最终实现平均 83.4% 的零样本 SOTA，并在 MVTec 上比此前 SOTA 高出 9.3 个百分点。
与已有工作不同的是，本文的独特切入点在于把开放词表工业异常检测重新定义为一个「无配对正常参考、类别不相交、主动巡检」的问题。与已有 VLM 方法（如 WinCLIP 的滑动窗口匹配、AnomalyGPT 的 prompt 引导单次推理）的被动范式不同，IndusAgent 让模型主动决定是否需要裁剪局部高清块、检索正常先验、增强低对比度纹理或做几何测量。与并发工作 AgentIAD 相比，后者依赖结构化的领域内监督，而本文针对更严格的零样本跨类别设定。最关键的创新是 Accuracy-Gated 门控奖励：用乘性门把定位、类型、工具效用等奖励都置于最终二分类诊断正确性之下，从根本上避免了「调更多工具但诊断错误」的奖励漏洞，把工具调用从一个独立被奖励的目标变成一把「高风险诊断仪器」。
核心方法
整体直觉是：与其让 MLLM 看一眼图就猜，不如教会它像有经验的质检员那样「先全局观察、再决定是否需要放大局部/查正常样板/增强纹理/量尺寸、最后综合证据下判断」。为此作者设计了三阶段流水线（如 Fig. 2 所示）。第一阶段 Indus-CoT 构造：用前沿模型 Qwen3-VL-Max 合成约 3000 条结构化推理轨迹，涵盖全局观察、高分辨率局部块、专家正常先验和最终缺陷判断，并通过自我修正和 LLM-as-a-judge 保留最高质量轨迹。第二阶段 Agentic SFT：用这些轨迹对 Qwen3-VL-Instruct(8B) 做监督微调冷启动，对齐工业诊断协议和工具调用语法。第三阶段 Tool-Augmented RL：用 GRPO 优化带门控奖励的智能体推理回路。整个过程中模型被实例化为一个策略 $\pi_\theta$，输出形如 $O \sim \pi_\theta(\cdot | I \oplus F, Q \oplus E; \mathcal{T})$，其中 $F$ 是视觉反馈（裁剪块、增强纹理图），$E$ 是语义/几何反馈（正常先验、距离角度），$\oplus$ 表示多模态融合。
核心创新点是 Accuracy-Gated 门控奖励机制。已有工具增强方法（如 LLaVA-Plus、TACO、PyVision）大多奖励「工具调用本身」或使用静态工具管道，结果导致工具过度调用、引入冗余噪声。而本文把奖励写成 $R(\tau) = R_{acc}(\tau) \cdot [1 + \alpha R_{loc}(\tau) + \beta R_{type}(\tau) + \gamma R_{tool}(\tau) + R_{format}(\tau)]$。这里 $R_{acc} \in \{0,1\}$ 是二分类诊断正确性，作为乘性门——当最终诊断错误（$R_{acc}=0$）时，所有定位、类型、工具效用奖励全部归零。工具效用项 $R_{tool} = \lambda \cdot \mathbb{I}[\Delta_{conf}>0] - \eta |C|$（$\lambda=0.3, \eta=0.1$）进一步奖励「确实提升了诊断置信度」的工具调用、惩罚冗余调用，其中置信度提升 $\Delta_{conf}$ 由二分类决策 token 的归一化对数概率边际 $m_\theta(y|X)=\log p_\theta(y|X)-\log p_\theta(\bar y|X)$ 计算，而非模型自报的口头置信度，防止 reward hacking。这套设计的本质区别在于：把工具调用变成只有在能带来正确诊断时才有收益的「诊断仪器」，而非独立被奖励的目标。
方法步骤详情
方法步骤如下。步骤一 Indus-CoT 构造：从 Real-IAD 采样图像构建约 3000 条轨迹（正负样本大致均衡），用精确匹配+语义归一化剔除与五个评测基准重叠的类别（如 toothbrush、zipper、pcb、transistor1，以及 pcb vs pcb1/2/3/4、transistor1 vs transistor 等命名变体），确保训练集与所有测试基准类别不相交。对每张查询图，不给教师模型配对正常参考，教师只凭查询图和任务指令、结合内部视觉语言知识和工业先验推断正常外观，生成「全局感知→工具路由→工具观察→最终诊断验证」的三阶段轨迹。第二阶段（Phase 1 全局感知与工具路由、Phase 2 工具执行与上下文观察、Phase 3 最终诊断验证）中，$T_{prior}$ 返回文本正常先验、$T_{measure}$ 计算坐标间距离角度、$T_{enhance}$ 用 CLAHE 等确定性滤波突出高频纹理、$T_{crop}$ 采用无监督前景提取（背景估计+图像差分+Otsu 阈值+形态学操作+中心裁剪回退）而非用真值框。步骤二 SFT：在 $\mathcal{L}_{\text{SFT}} = -\mathbb{E}_{\mathcal{T}\sim\mathcal{D}}\sum_t \log p_\theta(s_t|X,I,s_{<t})$ 上训练 1 个 epoch，用选择性掩码只对推理 token 计算损失。步骤三 GRPO RL：对每个查询采样 $G$ 条轨迹（默认 4），按组内归一化优势 $A_i=(r_i-\text{mean})/\text{std}$ 更新，max prompt 长度 4096、max completion 512、bfloat16、DeepSpeed ZeRO-3，训练 1 epoch。
技术新颖性
技术新颖性体现在三个相互耦合的设计上。其一，Indus-CoT 是首个显式把全局观察、局部证据、正常先验和最终缺陷判断串联起来的「工具集成工业推理语料」，区别于只监督文本推理的普通 CoT 数据和只提供图像/像素标签的传统 IAD 数据集。其二，Accuracy-Gated 门控奖励用乘性门取代加性奖励，从根本上杜绝「工具调用越多越好」「幻觉一个合理缺陷区域也能拿高分」等漏洞，作者专门在附录 C 论证了为何该门控对 IAD 是必要的。其三，工具效用项用归一化对数概率边际 $\Delta_{conf}$ 而非口头置信度来度量信息增益，并对每次调用施加成本惩罚 $-\eta|C|$，使学到的策略既成本感知又自适应——这从 Table 7 的工具使用统计得到验证：MVTec/VisA 上 $T_{crop}$ 占主导（62.4%/54.8%），纹理为主的 DTD 上 $T_{enhance}$ 占 34.7%，专用工具 $T_{measure}/T_{prior}$ 仅在严重几何形变或需要显式语义基线时被少量调用，平均调用次数保持在 0.72–1.12 次/查询，成功率超 98%。
实验结果
在五个工业异常检测基准（MVTec-AD、VisA、MPDD、DTD、SDD）的严格零样本评测下，IndusAgent(8B) 以 83.4% 的平均分刷新 SOTA（Table 1）。具体到工业工件：MVTec 83.6%、MPDD 72.7%、VisA 76.8%；表面纹理：DTD 95.6%、SDD 88.9%。与开源最强对比，它在 MVTec 上比此前 SOTA Anomaly-OV(7B) 的 74.3% 高出 9.3 个百分点，DTD 上从 90.7% 提升到 95.6%（+4.9），VisA 上从 74.3% 到 76.8%。与商用 API 相比，它全面超过 GPT-4.1（MVTec 81.9、平均 77.5）和 Claude-Sonnet-4（平均 73.4）。Finding 1（领域对齐关键）和 Finding 2（主动工具弥补被动感知）得到消融支持：去掉 SFT 性能从 76.8% 暴跌到 55.5%（VisA），去掉 RL 降到 57.6%，去掉工具库降到 67.5%（Table 3）。在异常召回率上（Table 2），IndusAgent 平均达 86.3%，在 MPDD 上比 IAD-R1 提升 +17.4%、DTD 上 +10.4%，证明 RL 驱动的主动验证能有效克服传统 SFT 带来的保守预测与漏检瓶颈。F1 方面（Table 6）四数据集平均领先，如 DTD 96.1 vs IAD-R1 91.1。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 零样本工业异常分类（balanced accuracy，MVTec-AD） | Balanced Accuracy (%) | 83.6 | Anomaly-OV(7B) 74.3 / GPT-4.1 81.9 | 比此前开源 SOTA +9.3pp，比商用 GPT-4.1 +1.7pp |
| 零样本工业异常分类（VisA） | Balanced Accuracy (%) | 76.8 | Anomaly-OV(7B) 74.3 | +2.5pp |
| 零样本工业异常分类（DTD 纹理） | Balanced Accuracy (%) | 95.6 | Anomaly-OV(7B) 90.7 | +4.9pp |
| 零样本工业异常分类（MPDD） | Balanced Accuracy (%) | 72.7 | Anomaly-OV(7B) 70.3 | +2.4pp |
| 异常召回率（Recall，五集平均） | Recall (%) | 86.3 | IAD-R1 79.1 | +7.2pp（MPDD +17.4，DTD +10.4） |
| 五基准平均零样本分类 | Balanced Accuracy (%) | 83.4 | Anomaly-OV(7B) 79.6 / GPT-4.1 77.5 | 总体 SOTA |
局限与改进
作者在附录 H 承认了四点局限：一是主动巡检引入额外推理开销，裁剪/增强/先验检索需要额外计算，比单次 MLLM 推理慢；二是框架依赖工具反馈的可靠性，错误裁剪、噪声增强图或不完整正常先验会误导智能体；三是当前实验主要集中在图像级异常判断，缺少像素级定位、区域级 grounding 和工具使用效率的细粒度评测；四是 Indus-CoT 借助强教师模型和规则验证生成，可能引入教师偏差或 prompt 模板偏差。我自己的观察补充：①Table 1 显示正常/异常预测本质上是二分类，召回率虽高但精度层面的假阳性（如 DTD 上对复杂纹理的过度报告）在 case study 中有所暗示，balanced accuracy 可能掩盖了类别不平衡下的真实表现；②工具库和先验检索依赖「类别」输入（如 product category、view id），在真正完全未知的全新产品上先验质量可能下降，开放词表设定的泛化边界仍需更激进分布外验证；③统计显著性缺失（作者明确回答 No error bars），单次运行的 83.4% 在不同随机种子下的方差未知。
独立分析的弱点
弱点一：推理延迟。平均每查询仍要触发 0.72–1.12 次工具调用且需多轮往返，对产线高吞吐场景不友好。改进方向是引入工具调用的提前退出/级联剪枝，或用推测式解码合并工具观察，把多轮压缩为近单次。弱点二：工具反馈脆弱性。$T_{crop}$ 的无监督前景提取（Otsu+形态学）在低对比或反光严重工件上可能失败，$T_{prior}$ 依赖外部检索器质量。改进方向是给每个工具加入不确定性估计并在 reward 中显式建模工具噪声，或用自监督方式学习稳健裁剪。弱点三：评测粒度偏粗。目前主要报图像级 balanced accuracy，定位奖励 $R_{loc}$ 只用 IoU 且像素级评测缺失，难以判断「检测对了但定位错」的情况。改进方向是补充 PRO/AU-ROC 等像素级指标和 region-level grounding。弱点四：泛化边界存疑。训练只用 Real-IAD 约 3000 条、且剔除了与基准重叠的类别，对真正极端分布外（如医疗、半导体晶圆）未验证；改进方向是扩大训练类别多样性并做跨域 stress test。弱点五：缺乏统计显著性，建议补多种子均值±标准差。
未来方向
作者明确提出的未来方向：探索更高效的工具使用策略、更强的工具鲁棒性、更多样化的专家监督，并把主动巡检范式扩展到多模态时序流和算力受限的边缘环境。基于本文成果可延伸的研究包括：①把 $T_{measure}$ 从基于坐标的几何扩展到可微几何/3D 结构感知，结合跨视图几何先验处理 PCB、螺纹等复杂工件；②将 Accuracy-Gated 思想推广到其他「中间步骤可信但终判易错」的任务（如医学影像、遥感变化检测），验证门控奖励的普适性；③用置信度边际 $\Delta_{conf}$ 做主动学习，只在工具增益低时请求人工标注；④探索轻量蒸馏，把 8B 巡检策略的知识迁移到更小的边缘模型以兼顾精度与延迟；⑤结合视频时序，把单图巡检升级为产线连续检测，识别渐变型缺陷。
复现评估
复现评估中等偏上但非完全开放。论文（NeurIPS checklist）明确回答代码/数据为 No（承诺论文发表后开源），当前尚未公开。但技术细节披露充分：骨干为 Qwen3-VL-8B-Instruct，SFT 在 Real-IAD 约 3000 条数据上训练 1 epoch 约 21.6 分钟，RL 用 GRPO 训练 1 epoch、每 prompt 4 条生成约 23.4 小时，硬件为 4× NVIDIA A100(80GB)，并给出 max prompt 4096、max completion 512、bfloat16、DeepSpeed ZeRO-3、batch 1×accum 2 等关键超参；reward 权重 $\alpha=0.8, \beta=0.6, \gamma=0.5$、工具项 $\lambda=0.3, \eta=0.1$，附录 E 还给出 SFT/RL/评测/工具推理的完整 prompt 模板，工具库规格见附录 D。主要复现障碍在于：①Indus-CoT 蒸馏依赖 Qwen3-VL-Max 这一闭源/受限教师模型；②Real-IAD 数据的类别剔除与归一化规则需要仔细复现；③$\Delta_{conf}$ 用 token 对数概率边际计算需自定义实现。综合算力门槛约 4 张 A100、30 小时内可完成，对学术实验室中等可行，但缺代码与 checkpoint 会显著增加首次复现成本。
论文图表
该图对比三种范式：(a) 标准 MLLM 因推理不对齐和结构幻觉误判正常变异；(b) 普通 CoT 不足以解决问题，缺乏领域知识和局部感知导致把细微缺陷误判为正常反射（感知稀释）；(c) IndusAgent 通过工具编排（高清区域裁剪、低层纹理增强、定量几何测量、专家语义先验）构建主动巡检范式，准确区分复杂几何并检出细微异常。
这张图是全文动机的视觉总纲，一图说清「为什么被动 MLLM 和普通 CoT 都不够、为什么需要主动工具编排」，是理解整个问题动机和核心主张的最佳入口。
四个共享数据集的 F1 对比：IndusAgent 在 DTD 96.1、MPDD 78.2、MVTec 89.8、VisA 78.2，全面高于 IAD-R1（91.1/75.2/85.7/70.8）、Claude-Sonnet-4、Qwen3-VL-8B。
F1 兼顾精度与召回，弥补了仅看 balanced accuracy 的不足，进一步印证方法的整体稳健性。
单工具消融：w/o Crop 在 VisA 上从 76.8 降到 68.6（损失最大）；w/o Enhance 在 DTD 上降到 88.8（损失最大）；w/o Measure、w/o Prior 一致下降，证明四个工具各有侧重、需协同。
验证工具库是协同的多维验证组合而非单一增强，支持方法对四个工具分工的设计动机。