中国科学院工业视觉智能装备技术工程实验室在工业视觉检测方面取得新研究进展
在全球智能制造领域，智能检测装备的重要性日益凸显，成为推动产业升级的关键力量。2023年，工信部等七部委联合发布《智能检测装备产业发展行动计划》指出“智能检测装备作为智能制造的核心装备，是工业六基的重要组成和产业基础高级化的重要领域”。中国科学院工业视觉智能装备技术工程实验室，发挥我所在人工智能领域基础研究的优势，对标国家工程实验室标准，面向行业重大需求，聚焦工业视觉检测方面持续研究十余年，近期在工业缺陷小样本数据生成与扩增、工业缺陷的异常检测等理论研究和关键技术上，取得新的研究进展。相关成果发表或录用在国际顶会ECCV2024、国际顶级期刊IEEE TIM、IEEE/CAA J. Automatica Sinica上。
1.A Unified Anomaly Synthesis Strategy with Gradient Ascent for Industrial Anomaly Detection and Localization——面向工业异常检测与定位的梯度上升引导统一异常合成策略-----ECCV2024
由于通常难以收集足够的缺陷样本，同时像素级注释的成本过高，监督方法在实际工业缺陷检测中存在明显阻碍。因此，在工业检测场景中广泛应用了无监督异常检测技术。近年来，异常合成策略有效地增强了无监督异常检测。然而，现有策略在异常合成的覆盖范围和可控性方面存在局限性，尤其是对与正常区域非常相似的微弱缺陷。本文提出了一种全新的统一框架：全局与局部异常共合成策略（GLASS），旨在基于流形假设来约束低维空间和高维空间的特征分布，从而由局部到全局合成覆盖更为广泛的异常。具体来说，GLASS使用高斯噪声在梯度上升和截断投影的指导下，以可控的方式合成近分布异常。GLASS在MVTec AD等多个工业数据集上实现了最先进的结果，并且在微弱缺陷检测方面表现出色。其高效性在织物缺陷检测实际工业应用中得到了进一步验证。
2. VCP-CLIP: A visual context prompting model for zero-shot anomaly segmentation 基于视觉语义提示的零样本异常分割方案-----ECCV2024
视觉语言模型（Vision-Language Model，VLM）正在科技领域引发一场创新革命，其中 CLIP（Contrastive Language–Image Pre-training）作为开创性的代表，展示了强大的多模态理解能力。本文以CLIP作为模型基座，设计了一种新颖的基于视觉语义提示的零样本异常分割方案VCP-CLIP。VCP-CLIP首先提出了Pre-VCP模块以使用图像的全局特征来代替文本提示中的类别嵌入，有效地解决了数据隐私场景下产品类别不可知问题。其次，Post-VCP模块被提出以使用细粒度的图像特征更新模型输出的文本嵌入，通过跨模态交互进一步促进了文本和图像特征的相互理解，使模型更加关注到图像中的异常语义。实验结果表明VCP-CLIP在10个真实的工业数据集上取得了最优的零样本异常分割性能。
3. Few-shot Defect Image Generation based on Consistency Modeling基于一致性建模的小样本缺陷图像生成-----ECCV2024
基于深度学习的检测算法对于制造业、交通运输和电力系统等工业应用至关重要。高效的缺陷检测方法有助于从正常产品中识别异常。然而，检测算法的性能通常与注释样本的数量呈正相关。随着生产工艺的改进，生产线上的缺陷越来越少，这给数据收集和标注带来了挑战。图像合成为快速获取带注释的训练数据提供了一种可行的方法。本文从工业缺陷图像中的两个关键一致性出发：单个产品中的各种缺陷都起源于正常区域，缺陷图像和正常图像的正常区域是一致的，突出了产品内部背景的一致性。其次，同一类别的缺陷在不同产品中表现出形态上的相似性，说明了产品间缺陷的一致性。利用这些一致性，缺陷图像生成可以分为两个步骤：正常特征生成和缺陷特征转换。值得注意的是，在同一产品内，正常背景的生成方向应保持一致，而在不同产品的类似缺陷之间，缺陷的生成方向应是一致的，方向尺度反映缺陷的强度。与对单一类型产品的缺陷分布定制化建模相比，对跨多个产品的两种一致性建模丰富了可用的训练数据。因此，对这两种一致性进行建模对于在有限的训练样本下生成高质量和多样化的缺陷图像至关重要。
基于上述分析，我们提出了一种新的文本引导扩散方法DefectDiffu，对多个产品的产品内背景一致性和产品间缺陷一致性进行建模，实现了用少量训练样本生成可控的多样化缺陷图像。首先，我们介绍了一个解纠缠集成架构，该架构包括背景、缺陷和融合三个关键部分。然后通过文本编码器将多个单对象文本条件输入到每个部分，方便背景和缺陷的解纠缠和整合，实现两种一致性的建模。此外，我们从缺陷部分提取交叉注意映射，以获得准确的二值掩码注释。其次，我们提出了double-free策略，灵活控制产品类型和缺陷的强度。最后，针对小缺陷生成不佳和掩模不准确的问题，我们引入自适应注意力增强损失来增强对缺陷区域的关注，提高小缺陷和掩模的生成质量。
4. A Norm-Constrained Method for Semantic and Structured Anomaly Detection Tasks 一种用于语义异常和结构异常检测任务的范数约束方法------IEEE TIM
现有的主流异常检测方法通过复杂的建模过程，已经在特定任务中取得了显著成果。然而，在工业视觉检测场景中，偏重语义信息差异的语义异常检测任务和偏重像素统计差异感知的结构异常检测任务经常并存，不同任务的数据属性和分布各异。这种差异使得设计出一种在不同任务中都表现出色的异常检测方法变得极为困难。
针对这一难题，我们首先将异常检测的训练过程建模为模型最大化捕捉数据正常模式的过程，然后通过理论分析发现，优化目标的范数是影响异常检测性能的关键因素。当优化目标的范数在最佳区间内时，模型表现出优异的检测性能；但若范数超出最佳范围，模型区分正负样本的能力则会显著下降。根据异常检测任务的类型，范数的最佳区间有所不同。进一步分析显示，语义异常检测和结构异常检测任务之间存在重叠的范数最优区间。基于上述发现，我们开发了一种简单而高效的异常检测方法。该方法通过将优化目标的范数约束在重叠最佳区间内，仅需使用一个1×1卷积层作为可训练模块，便能在语义异常检测和结构异常检测任务中均取得优异性能。
5. A Review of Image Augmentation Methods in Industrial Cosmetic Inspection——工业外观检测中的图像扩增方法综述----IEEE/CAA J. Automatica Sinica
图像扩增是工业外观检测中常用的数据处理方法，有助于提升检测模型泛化性，避免过拟合。本文根据扩增结果的不同来源, 将当前工业图像扩增方法分为基于传统变换和基于模型生成两类。基于传统变换的扩增方法包括基于图像空间和特征空间两类；根据模型输入条件信息的不同，基于模型生成的方法分为无条件、低维条件和图像条件三类. 本文对相关方法的原理、应用效果、优缺点等进行了分析，重点介绍了基于生成对抗网络、扩散模型等模型生成的扩增方法。本文依据扩增结果的标注类型和方法的技术特点对三类基于模型生成方法的相关文献进行分类统计, 通过多维表格阐述各类方法的研究细节，对其基础模型、评价指标、扩增性能等进行了综合分析。最后，本文总结了当前工业图像扩增领域存在的挑战，并对未来发展方向进行了展望。
相关论文：
- Qiyu Chen, Huiyuan Luo, Chengkan Lv, Zhengtao Zhang. A Unified Anomaly Synthesis Strategy with Gradient Ascent for Industrial Anomaly Detection and Localization. European Conference on Computer Vision, ECCV 2024.
- Qingfeng Shi, Jing Wei1, Fei Shen1, and Zhengtao Zhang. Few-shot Defect Image Generation based on Consistency Modeling.European Conference on Computer Vision, ECCV 2024.
- Zhen Qu, Xian Tao, Mukesh Prasad, Fei Shen, Zhengtao Zhang, Xinyi Gong and Guiguang Ding. Qingfeng Shi, Jing Wei1, Fei Shen1, and Zhengtao Zhang. VCP-CLIP: A visual context prompting model for zero-shot anomaly segmentation. European Conference on Computer Vision, ECCV 2024.
- H. Gao, H. Luo, F. Shen, and Z. Zhang, “A norm-constrained method for semantic and structured anomaly detection tasks,” IEEE Transactions on Instrumentation and Measurement, 2024.
- 魏静，史庆丰，沈飞，张正涛，陶显，罗惠元. 工业外观检测中的图像扩增方法综述. 自动化学报, doi: 10.16383/j.aas.c240139
（发布时间：2024年7月19日）
