基于神经网络的自动焊点检测系统

基于神经网络的自动焊点检测系统

随着印刷板（abs）安装技术的高密度和“零缺陷”方向的发展，行业的总趋势是元件表面的减小，元件立柱的密度急剧增加，且手动检查变得困难。因此，自动光学检测（aoi）逐渐成为研究的热点。随着数据处理、分析和模式识别技术理论的不断创新，aio算法不断引入，并逐渐朝着高效性和高智能方向发展。目前，aoi系统中常用的检测算法如下：。(1)模板匹配算法.该算法先定义一个标准模板图像,然后将需要检测的元件图像和标准模板图像进行规一化的互相关运算,以计算两个图像的相似程度.相关系数越大,表示两个图像越相似.然而,受多种因素(如光照条件、元器件之间的差异、采集图像的失真等)的影响,模板匹配算法的检测结果存在较大的误差.(2)统计外形建模算法.该算法先建立标准元件的外形统计模型,然后将待检测图像和统计模型进行对比,若待检测图像的灰度超出了统计模型,则判定为不合格.由于电子元件的焊点个体间相差甚大,因此,该算法难以满足焊点检测的精度要求.(3)矢量图形检测算法.该算法采用合成的矢量图像作为参考模型.由于矢量成像技术用到的是几何信息,所以元件是否旋转、图像与参考模型大小是否一致都没有影响,而且与产品颜色、光照和背景都无关.矢量图形算法具有速度快的优点,但因忽略了颜色、光照等非常重要的信息而易出现误判.(4)Particle分析算法.该算法先将物体图像从背景中分割出来,所有具有邻接关系的像素点组成一个Particle,然后对Particle的位置、面积和中心坐标等参数进行测量,最后与标准进行比较,以确定是否超出范围.Particle分析的优点是快速、直观,能区别对待元件本体部分和焊点部分,且部分参数不受旋转与缩放的影响.然而,与其它算法相比,由于需要对图像分割的阈值和Particle的参数范围进行设置,因此,对于多数AOI用户来说,其使用较为复杂.鉴于上述算法的不足,而神经网络具有自组织性、自学习性以及自适应性等优点,已成功应用于模式识别领域,文中提出了一种基于神经网络的焊点检测算法.首先,采用一种基于熵的多阈值自动图像分割方法来提取焊点区域;然后,定义焊点图像的一系列特征,并通过实验对特征进行选择;最后,建立用于进行焊点分类的BP神经网络.采用神经网络算法可以提高系统的智能性.用户进行编程时,不需要进行复杂的参数设置.而且,当发生误报警时,系统可自动修改参数.1基于熵的自动多阈值图像分割方法p(h)=g(h)G(1)式中:G表示图像灰度值的总和,g(h)表示图像灰度等级为h的像素个数.对于一幅灰度值变化范围在[0,N-1]的图像,其直方图的熵可以表示为Η=-Ν-1∑h=0p(h)lnp(h)(2)H=−∑h=0N−1p(h)lnp(h)(2)用ta表示图像分割的阈值,则不同阈值范围内的熵可以表示为Η=-ta+1∑h=tap(h)lnp(h)(3)H=−∑h=tata+1p(h)lnp(h)(3)总熵可以表示为L-1∑a=0Ηa∑a=0L−1Ha,通过求解一组优化的阈值(L为阈值个数),可以使总熵达到最大.目前,有些AOI还采用手动阈值的图像分割方法.相对于手动阈值的图像分割方法,采用基于熵的自动多阈值图像分割方法不需要用户手动设置阈值,从而大大提高系统的智能性.表1是一个阈值分割的例子,采用基于熵的图像分割方法将图像分割为3个色度带,每个色度带中包含多个Particle.将图像分割成多个Particle后,就可以对Particle的特征值进行计算.2资源提取2.1焊点面积规一化具有代表性的特征不仅能够提高检测结果的可靠性,而且能够提高神经网络训练的速度.几个典型的特征定义如下:(1)规一化面积.面积在焊点检测中是一个重要的特征,从表1中可以看出,焊锡不足在第一个色度带中的Particle面积均比焊锡过量、焊锡正常的多得多;而在第二个色度带中,情况则相反.由于不同元件的焊点大小不同,因此,需要将焊点面积进行规一化,即A=ApAs‚ApA=ApAs‚Ap为Particle面积,As为焊盘面积.(2)规一化重心.从表1中可以看出,在第二个色度带中,对于焊锡正常的情况,Particle的重心在整个焊点图像的中心附近,而对于焊锡过量情况,则偏向图像的上方.由于图像左右比较对称,因此,只需取重心的纵坐标,同样,由于焊盘大小不同,需要进行规一化,即Y=YpYs‚Yp为Particle重心纵坐标,Ys为焊盘长度.(3)水力半径R=A/P,P表示Particle的周长.(4)矩mi=E[h]=Ν-1∑h=0hip(h),i=1,2,⋯其中,一阶矩(i=1时)是图像的均值.(5)中心矩ui=E[(h-E[h])i]=Ν-1∑h=0(h-m1)ip(h),(i=1,2,…)最常用的中心矩是u2、u3和u4,u2是图像灰度值的方差.2.2特征的代表性与规一化特征并非越多越好,过多的特征会增加计算量.因此,需要在特征维数和系统性能之间找一个平衡点.一般来说,在保证分类准确性的前提下,尽量使用小的特征维数.因此,需要对特征的分辨力进行评估,从中选择几个最有代表性的特征.通过分析样本在各个特征空间中的分布图可以判断特征的分辨力.如果同一类型的样本在某特征空间中的分布相对集中,不同类型的样本分布在不同区域,则说明该特征具有代表性,而且有较好的分辨能力.由于各特征的单位不同,在数量上也相差甚大,因此,需要将特征作规一化处理:xi=(zi-ˉz)/S(4)式中:xi是规一化后的特征;zi是规一化前的特征;ˉz是zi的均值;S是zi的方差.3神经网络检测算法如图1所示,文中采用了具有3层结构的BP神经网络,隐层传递函数采用S型函数.将特征x作为神经网络的输入.隐层输入为i=W1x(5)式中:i=(i1,i2,…,ie)T;e为输入向量的维数;W1为输入层到隐层的权值矩阵.隐层第j个节点的输出为oj=11+exp(-ij)‚ij是该节点的输入.输出层输入为y=W2o,o=(o1,o2,…,of)T,f是分类数,文中取f=3,y为神经网络的输出,W2为隐层到输出层的权值矩阵.对第m个焊点样本,神经网络的输出误差定义为Em=12∑k(ydk-yk)2(6)式中:ydk是神经网络输出层第k个节点的期望输出,如表2所示.平均系统误差为E=12Μ∑m=1Em(7)式中:M是输入样本数.文中神经网络检测算法在Matlab平台上实现.神经网络的训练函数采用具有速度快、占用内存小、无需设置步长等优点的trainrp算法.这样不但能保证学习速度,而且由于不需要过多的参数设定而提高了系统的易用性.4实验证实4.1aoi软件系统设计图2给出了一个本课题组开发的AOI系统样机,其硬件结构如图3(a)所示,视觉系统的视场为20mm×20mm,解析度设定为1000×1000像素.AOI系统软件采用模块化设计方法,其结构如图3(b)所示.4.2焊点分布的分形本实验共采用652个样本,其中焊锡正常样本个数为338、焊锡过量样本个数为234、焊锡不足样本个数为80.图4给出了样本在各特征空间中的分布情况.从图4(a)中可以看出,3种类型的焊点分布相互交错,很难区分开来,因此,均值和方差具有较弱的分辨力.从图4(b)中可以看出,3种类型的焊点分布具有明显的分界线,而且同一类型的点分布集中,因此,面积和重心纵坐标具有非常好的分辨力.从图4(c)中可以看出,二阶矩可以比较容易地将焊锡过量和其它两类区分,但是很难将焊锡正常和焊锡不足进行区分;水力半径具有较弱的分辨力.根据上述分析,可以选择面积、重心纵坐标和二阶矩作为特征.将图像分为3个色度带,因此,共有9个特征值作为神经网络分类器的输入.4.3到10-4.aoi系统性能的评定本实验将652个样本分为两组,训练样本和检测样本各326个,其中焊锡正常样本个数为169,焊锡过量样本个数为117,焊锡不足样本个数为40.图5给出了神经网络的学习收敛过程.从图5中可以看出,神经网络收敛效果非常好,学习时间短.经过800次学习后,系统平均误差达到10-4.AOI系统的性能可以通过以下指标进行评定:(1)准确率,即系统给出准确结果的比率;(2)误报率,即系统将无缺陷元件判断为缺陷元件的比率;(3)漏报率,即系统将缺陷元件判断为无缺陷元件的比率;(4)错分率,即系统将某种缺陷错误判断成其它缺陷的比率.表3给出了采用文中提出的基于神经网络的焊点检测算法进行检测的结果,其中焊锡正常和焊锡过量均能够完全正确识别,将1个焊锡不足判定为焊锡过量,将3个焊锡不足判定为焊锡正常,其原因可能是由于用于训练神经网络的焊锡不足样本数不够.本次实验文中检测方法的准确率为98.77%.表4给出了采用基于Particle分析检测方法进行检测的结果,其中焊锡缺陷包括焊锡不足和焊锡过量,该检测方法的准确率为95.09%.考虑到错分率的高低对实际生产影响不大,因此,文中Particle分析实验未做错分率统计.可见,