基于半监督语义分割的钢板表面缺陷检测方法

01研究背景钢板在轧制过程中会产生不同程度的表面缺陷，其中一些缺陷不仅会影响后续生产，还会影响最终产品的耐腐蚀性和耐磨性。目前国内大部分钢铁企业已经使用基于机器视觉的表面缺陷检测系统代替了人工目视检测方法，提高了检测效率。基于机器视觉的表面缺陷检测系统主要由图像采集装置、数据处理端和HMI终端三部分组成，其中数据处理端主要用于图像的预处理和检测识别。目前较为常用的检测方法包括两类，分别是二阶段的检测方法和一阶段的检测方法。基于一阶段的缺陷检测方法具有较高的实时性，在工业应用较为广泛，然而这些模型往往需要大量的标签样本进行训练，时间成本较高。为提升钢板表面缺陷的检测准确率，本文尝试利用语义分割模型进行缺陷检测，选用的BiSeNetV2模型在实时语义分割领域有着较好的检测性能，同时为了减少对标注样本的依赖，本文提出了一种依赖半监督学习优化语义分割模型的方法，该方法通过3个阶段的训练（教师模型训练阶段、伪标签构建阶段和学生模型训练阶段），有效利用了无标签样本中蕴涵的潜在信息，提升了原始模型的检测指标，同时在实际的应用中也取得了超出目标检测模型的识别效果。02研究方法本文提出的半监督语义分割方法的整体结构如图1所示。将标签样本集有放回的随机抽取多个样本子集，利用每个子集单独训练出独立的分割模型，由于采用不同的子集学习参数，得到的分割模型将具备差异性的检测能力。无标签的图像输入到多组模型组成的教师模型集合中，输出得到的预测结果进行并集运算，可以组合为二值化分割图，以二值图为模板从原始图片中提取出对应的感兴趣区域（regionofinterest，ROI）作为待分类图像，这些图像通过分类器判别出具体类别，其中真实缺陷的类别值为1，背景的类别值为0，其他未提取到缺陷的区域类别设置为0。这种缺陷挖掘的方式可以从大量无标签样本中挖掘出可能存在的缺陷信息，并为其构建出伪标签用于模型的训练，以提升缺陷数量在整个数据集上的占比。采集多样化的背景图像融合标签样本的前景实例构造出新型数据，可以丰富原始分割样本集，进而提升模型的泛化能力，防止由于标签样本集背景单一造成的过拟合问题。图1

物料跟踪过程综述整个半监督学习过程包括：1）先利用标记样本集训练得到教师模型；2）利用教师模型进行未标记样本集的伪标签构建；3）将构建了伪标签的数据集与原始标记样本集合成为扩增数据集；4）利用扩增样本集和背景样本集进行学生模型的训练，得到的学生模型为最终实际应用模型。03应用效果本文方法已经应用于国内某钢铁企业中厚板产线，在线采集了2000块钢板的表面整体图像数据，分别以表面检测系统算法检出和人工实际核对两个流程进行数据的汇总，其中人工核对的缺陷数据作为实际的参考来衡量表面缺陷检测系统的指标。本文分别采用了局部二值模式（LocalBinaryPattern，LBP）+支持向量机（SupportVectorMachine，SVM）、YOLOv4、BiSeNetV2和BiSeNetV2-Semi进行测试，其中BiSeNetV2-Semi表示增加有半监督训练的分割网络，对比结果见表1，BiSeNetV2-Semi能够在使用样本数量较少的情况下获得更好的识别率和漏检率。表1不同方法的检测结果比对本方法检出的各类缺陷包括真实缺陷和误检缺陷，其中实际缺陷总个数即经人工核对后确定的，漏检缺陷数量为人工查验后发现缺陷但在检测系统数据中未找到的，误报缺陷为经人工核验后不是真实缺陷而被检测系统检出的缺陷。本方法的平均识别率可达到90.5%，平均漏检率低至2.2%，详细的缺陷统计结果见表2。表2缺陷数据统计结果04研究结论将语义分割方法应用于钢板表面缺陷检测，并提出了利用半监督学习减少对于标记样本的依赖，该方法采用教师-学生模型，其中教师模型的基础网络选择BiSeNetV2，并增加了多Head结构，融合了分类器辅助判断机制进行伪标签构建；学生网络训练集合了标签数据、伪标签数据和钢板背景图像，本文依赖半监督学习将原始分割模型的F1-Score提高了3.3%，mIoU提高了4.8%。实际应用于国内某中厚板产线，通过现场统计2