基于深度学习的铝合金压铸件外观缺陷检测方法

基于深度学习的铝合金压铸件外观缺陷检测方法

0基于深度学习的铸件外观缺陷检测方法作为车辆的主要部件，125压铸件由于装配工艺等设备的故障、重量低或员工操作不当，不可避免地会出现各种缺陷。这些尺寸的外观缺陷主要包括肉不足、收缩孔、厚肉、空气和寒冷的皮肤。在实际生产中，这些外观缺陷的检测大多依靠人工检查，生产线检查工人的劳动量大，效率低，误检率高，并且存在无法实时跟踪产品质量指标等一系列的问题。针对特征明显的缺陷，工厂中往往采用基于传统的机器视觉的缺陷检测方法，这些方法主要包括两种形式：1）通过数字图像处理技术进行缺陷检测；2）通过人工设计复杂的特征提取器进行特征提取，并采用分类器进行缺陷的识别近年来，如Faster-RCNN当前缺陷检测工作主要是针对钢材、铁轨、轿车壳体和PCB板等表面，较少对复杂压铸件表面进行研究。而铸件外观缺陷检测主要存在以下难点：1）缺陷部位体积小，下采样的过程中会造成像素点的丢失，增加了检测的难度；待检测物体固定的位置会为小型缺陷保留上下文信息，而这些上下文信息会增加小型缺陷的误检率；2）铸件的背景复杂，对缺陷检测的干扰大；3）各种缺陷数据样本数量极不平衡，数据量少的缺陷无法实现端到端检测，为训练增加了难度。针对上述的难点，本文提出一种基于深度学习的铸件外观缺陷检测方法，具体流程图如图1所示，具体包括图像获取、数据传输和缺陷检测等3大模块。本文具体贡献如下：1）制作一个大型的铸件外观缺陷数据集ALU-DEF，包括缺陷图片7816张，具体包括的缺陷有缺肉、多肉、气孔、缩孔、冷隔等；2）提出密排的锚点设计方法来提高小缺陷的正检率；采用对比训练方法进行训练，将有无缺陷的2种类别数据同时用于模型的训练，通过训练过程中2种类别数据的对比，来减少上下文信息对小型缺陷检测的影响；3）在神经网络中引入注意力机制，通过注意力机制让模型更加关注图片中的缺陷区域，来减少铸件外观背景的干扰；4）提出一种将深度学习与轮廓发现相结合的方法实现对小样本缺陷的端到端检测。1缺陷检测算法1.1缺陷部位像素的消失Refine-ACTDD缺陷检测算法主要基于RefineDet算法进行改进的由于缺陷部位像素在整张图片中所占的比例很小，在下采样的过程中缺陷部位会消失，增加了对小缺陷检测的难度。本文采用将一张大图片分割为2×2张小图片，然后依次进行检测的方法，如图3所示。1.2散点的设置及重新设计基于锚点的目标检测算法，在训练的过程中，算法主要关注的区域是锚点中的区域，在进行预测的时候，模型也是在锚点的基础上进行预测的。因此对小型物体来说，适当的锚点设计可以明显的提高模型对小缺陷的正检率为获得适合本数据集的锚点大小，对数据集中缺陷目标的长宽进行统计和K-Means聚类操作，缺陷区域尺寸散点分布图如图4所示，聚类操作的结果及锚点大小和比例的设置如表2所示。根据聚类的结果以及为获得均匀铺排的锚点，将Conv4_3、Conv5_3、Conv_fc7和Conv6_2的锚点的大小依次为16、32、64和128。由于小目标的长宽比多为1，将Conv4_3的卷积层的长宽比只设置为一种比例形式，这样可以明显减少计算量。密排锚点的方法是对Conv4_3卷积层上的锚点进行重新设计来提高对小目标缺陷检测的正检率，设计方式如图5所示。原始的锚点设计是以每个像素点为中心，在像素点的周围设计长度和长宽比不同的锚点，如图5(a)所示。而本方法是在彼此相邻的四个像素点中间新增了一个长宽比为1的锚点，具体形式如图5(b)所示。在(a)图中，锚点与真实值间最大IOU(IntersectionoverUnion)值是A1，将锚点进行重新设计后，IOU的最大值变为A2，可以看出经过重新设计的锚点能够获得更大的IOU值，所以缺陷检测中小型缺陷会获得更大的IOU值，正检率也会因此得到提高。1.3senet算法铸件表面背景复杂，对模型的检测会造成很大的干扰。为减少复杂背景的影响，在网络中引入注意力机制，即在模型中增加一个Attention模块，使模型对图片特征的提取更加充分，并且缺陷相关特征所占的权重系数更大。本文采用的Attention机制来自于SENet算法(Squeeze-and-ExcitationNetworks),具体结构如图6所示，SENet算法主要包括Squeeze和Excitation两项操作对于Squeeze操作，需要在channel方向上进行全局的平均池化操作，把H*W的输入特征图转化为1*1的特征图，即将channel方向上的整个空间特征编码为一个全局特征，公式如下： (1.1)式中：X获得各channel方向上的全局特征后，Excitation阶段模型需要学习各全局特征间的非线性关系，采用Relu激活函数来增加非线性的变化。同时为减少参数的计算量，在Relu操作前后采用2个全连接层结构，第一个全连接层主要进行参数压缩的作用，第二个全连接层起到恢复原始维度的作用，其中压缩系数为R；最后使用Sigmoid函数获得各个channel上全局特征的权重大小W (1.2)Attention模块放置于TCB模块后，可以将经过特征整合后的特征图在进行进一步的特征提取，获得注意力特征图。注意力的特征图与TCB模块输出的特征图相比，其对特征的提取会更加的充分，带有缺陷特征会赋予更大的权重系数，因此将注意力特征图输入到ODM模块中进行最终的检测时复杂背景的干扰会得到明显的降低。1.4冷隔缺陷端到端检测方法深度学习模型在进行训练时，需要保证各个类别间样本的数量差距不能过大，否则会严重影响神经网络的泛化能力。但是，各种缺陷工件的数量是极不平衡的。本文中冷隔缺陷的数量相比其他缺陷的数量相差10倍以上，导致冷隔缺陷无法和其余缺陷样本一起进行训练。为实现对冷隔缺陷端到端检测的目的，本文提出一种将深度学习与轮廓发现相结合的端到端检测方法。冷隔缺陷发生的位置在工件上是确定的，所以在数据集中增加一种类别，该类别为冷隔缺陷敏感区域，用于确定冷隔缺陷可能发生的位置。如图7所示，将待检测图片输入到神经网络中，判断该图片是否存在冷隔敏感区域。若图片中不存在冷隔敏感区域，则正常输出神经网络的检测结果；否则根据网络检测的具体坐标对冷隔区域进行截取并对该区域进行轮廓发现处理，来判断该区域是否发生冷隔缺陷。对于轮廓发现方法，待检测图片需要通过灰度化处理转化为灰度图；并对灰度图进行二值化计算，具体计算如下： (1.3)其中X运用开操作运算，过滤掉二值化图片中的小噪声；最后进行发现轮廓操作，计算轮廓的面积，当轮廓的面积大于设定的阈值时，该工件判定为缺陷件，否则为无冷隔缺陷。1.5人脸检测准确性技术针对小目标的检测，一种较好的解决方法就是通过上下文信息来增加小目标检测的准确率，如在人脸检测中头发的存在可以提高人脸检测准确率针对上面出现的问题，提出一种对比训练方法。为减少上下文信息的干扰，本文在数据集中新增加一类没有缺肉缺陷的类别，使得网络模型在训练的过程中对这两种类别进行对比训练，通过不断的迭代训练使网络辨别这两种类别，进而判断物体是否存在缺陷，达到降低误检率的目的。2数据集和评估指标2.1冷隔敏感区域图片压面在工厂内一共采集缺陷图片为2500张，具体包括的缺陷类型有缺肉、缩孔、多肉、气孔和冷隔缺陷等，额外包括冷隔敏感区域图片305张。为增强模型的泛化能力，对所采集的数据集进行了数据增强操作，包括图像的对称、旋转等2项操作，并且过滤掉一些效果较差的图片后一共获得7816张图片，并将数据集按照8：1：1的比例划分为训练集、验证集和测试集，部分缺陷图片如图9所示，各种类缺陷图片数量如表3所示。2.2缺陷件或者是良品件本文选择的模型评价指标分别为正检率和MAP这2个评价指标。对于某个待检测的图片，该图片的检测结果只能是缺陷件或者是良品件，则正检率指的是检测正确的图片数占检测图片的总数，即 (2.1)对于MAP，是用于衡量模型的一个综合性指标， (2.2) (2.3) (2.4) (2.5)其中，TP指将正样本识别为正样本的数量，FP指将负样本误识别为正样本的数量，FN指将正样本误判为负样本的数量，c表示样本中类别的数量。3结果3.1图像采集模块本文搭建的铸件外观缺陷实验平台如图10所示，实验平台包括3大模块，分别为图像采集模块、数据传输模块和缺陷检测模块。在检测的时候，当图像采集模块中的机械臂运动到工件的待检测位置后，PLC控制器为视觉控制器发送信号，视觉控制器接收到信号后开始采集图像。视觉控制器通过数据传输模块的CPE（CustomerPremiseEquipment）设备连接到5G网络，将采集的图像通过5G网络传输到缺陷检测模块的云端服务器。服务器端收到请求后，会对发送的图片进行检测，最后将检测结果通过5G网络反馈到视觉控制器终端来指导下一步的工作。3.2缺肉缺陷实验为验证对比训练策略的实际效果，本文采用2种不同的训练策略分别进行训练，并将训练后的权重系数保存下来进行测试。制作了含有200张图片的测试集，其中包含100张缺肉缺陷图片和100张无缺陷图片。实验结果如表4所示，从表中可以看出通过采用对比训练策略，正检率由88.5%提升至95%，其中错检数得到了明显的改善，错检率由10.5%下降至1.5%。但是由于神经网络在训练的过程中需要对2种相似的物体进行区分，使得漏检数得到小幅度的上升。但总体的正检率获得了6.5%的提升，取得了显著的效果。可以看出通过采用对比训练的策略，能够明显的降低背景信息对小缺陷检测的影响。3.3锚点改进对比为验证密排锚点设计的实际效果，在模型训练的过程中，监测正样本与GroundTruth之间的平均IOU值随迭代次数的变化，如图11所示。从图中可以看出，在经过10000次左右的迭代后，密排锚点的IOU平均值明显高于设计之前的IOU的平均值。这说明在训练的过程中，GroundTruth会与其最适合的锚点进行位置损失的计算，会使模型训练的更加充分，在检测时回归的位置会更加准确。为进一步验证重新设计的锚点对召回率的影响，统计锚点设计前后测试集中图片的召回率随IOU的变化曲线图，如图12所示。从图中可以看出，经过锚点重新设计的Refine-ACTDD模型明显具有更高的召回率。实际检测的效果如图13所示，从对比的效果图中可以看出，小型缺陷检测的召回率得到明显的改善。3.4athention机制对不同件外观缺陷错检率的影响为验证Attention模块对复杂背景的铸件外观缺陷检测的具体影响，在训练集上分别对有无Attention模块的模型进行了训练和结果测试。由于复杂背景的干扰，会导致铸件外观缺陷检测的错检率明显提高，因此统计了模型在增加Attention机制前后各类别缺陷错检率大小，具体的结果如表5所示。从表中可以看出，在增加Attention机制后，缩孔和多肉缺陷的错检率得到较大的下降，分别降低了2.47%和2.5%，这主要是因为铸件外观的背景形状和颜色等与缩孔缺陷和多肉缺陷相似，因此上述2种缺陷更易受到背景的干扰，检测结果如图14所示。从图中可以看出，增加Attention机制后可以明显减少工件表面的特殊形状、颜色和切削液残留等复杂背景的干扰，能够降低铸件外观缺陷的错检率。3.5模型检测性能分析为验证Refine-ACTDD算法模型的整体效果，将其与原算法RefineDet和目前广泛应用于工业界的目标检测算法Faster-RCNN和YOLOv3算法进行对比实验。在模型训练后，对上述算法的Recall和Precision进行了统计，选取2种典型的缺陷类型，分别是小体积缺陷的缺肉缺陷和较大体积缺陷的多肉缺陷，其Precision-Recall曲线如图15、16所示。从Recall-Precision的曲线图中可以看出，Refine-ACTDD相比RefineDet、YOLOv3和Faster-RCNN具有较好的性能。模型检测的正检率和MAP如表6和表7所示，从表中可以看出，Refine-ACTDD具有最高的平均正检率95.44%，与YOLOv3、Faster-RCNN和RefineDet相比，平均正检率分别高出16%、1.94%和2.62%，MAP分别高出17.9%、11.82%和3.3%。如图17所示，YOLOv3以0.015s的检测时间在上述算法中具有最快的检测速度，但是正检率表现较差；Faster-RCNN具有较高的正检率但检测时间确高达0.039s；Refine-ACTDD相比于RefineDet仅以0.003s的时间代价获得最高的正检率，并且检测的时间明显快于Faster-RCNN算法，这说明Refine-ACTDD算法兼具高的正检率和检测效率。具体检测的效果图如图18所示，结合曲线图15、16可以看出来，Refine-ACTDD无论检测较大缺陷还是小型缺陷都表现较好，与RefineDet算法相比，其在小缺陷的检测上效果得到了提升。Faster-RCNN在小型缺陷检测上具有较高的召回率，但是由于铸件外观复杂的背景干扰，因而铸件的背景也会误判为缺陷，导致MAP较低。YOLOv3算法在小型缺陷的检测方面表现较差，漏检数较多。Refine-ACTDD算法通过密排锚点的设计和注意力机制的加入，较好解决了上述问题。4小样本缺陷检测算法本文提出了一种基于深度学习的缺陷外观缺陷检测算法。该算法基于RefineDet算法进行改进，采用密排锚点的方法，提高了小型缺陷检测的召回率