基于改进的神经网络的浮法玻璃表面缺陷识别

基于改进的神经网络的浮法玻璃表面缺陷识别

1玻璃缺陷特征识别的应用现状玻璃缺陷是影响浮法玻璃质量的主要因素。最常见的缺陷是气泡、混合、锡灰和光变形。为了提高玻璃的生产效率，正确、快速地细分玻璃的不同类别，不同国家已经引入了相应的玻璃缺陷在线监控系统。例如，英国的皮lk顿、美国的图像事务和德国的lagor公司就成功而言。玻璃缺陷识别算法的优越性直接影响到系统的性能。由于国内对缺陷算法的研究滞后，浮法摄影检测系统的应用精度不高，算法不稳定。目前,在图像处理技术进行对象识别方面,已有很多典型的范例,比如运用小波变换的指纹检测,利用不变矩的目标识别,利用哈夫(Hough)变换的道路检测以及支持向量机(SVM)的人脸识别技术等.这些技术无一例外的都是根据目标固有的形状特性或细节特征进行识别,但是玻璃缺陷与此不同,缺陷没有固定的形状特征,没有目标大小的区分,没有明显的灰度差别,也没有大量的细节特征.因此,在缺陷识别的时候,一些和几何形状有关的以及细节区分的判别方法就显的力不从心,为了能更好的凸显玻璃缺陷的特征,只能采取相对比较稳定的统计方式.在处理不定形状的缺陷方面,国内外也有一些成果,比如对钢板表面的缺陷检测,水果表面的缺陷检测等,这些缺陷种类比较单一,缺陷往往是一个单一的连通,一些相对简单的几何特征(比如圆形度,长宽比等)就能比较好的表征缺陷的特性.而玻璃缺陷却是单连通(比如气泡、夹杂)和多连通(比如光畸变、锡灰)并存的,一些简单的单连通统计特征并不能很好的区分开来.国内对玻璃缺陷特征的提取主要是根据简单的几何特征,一些学者也把不变矩、小波变换等引入玻璃缺陷的识别中来,取得了一些成果.但是,这些方法脱离了玻璃缺陷本身的特点,把所有的缺陷用同种特性来描述,忽略了玻璃缺陷形态复杂多变的特性.本文根据缺陷灰度范围较低的情况,提出了两次OTSU分割方法,实现了缺陷核心的有效分割.在研究了玻璃缺陷特点以后,提取了12个特征,然后运用改进的神经网络,对5类缺陷进行了识别分类.2图像分割和二维o双检出玻璃的缺陷检测系统通常采用的是阵列式LED光源和线阵黑白相机,通过扫描运动的玻璃板带获得图像.从摄像头中采集的图像,往往带有条状纹理,在缺陷的周围纹理发生弯曲,这样在凸显了缺陷的同时也增加了干扰.图像分割的目的就是从原始图像中去除干扰,把玻璃缺陷的核心提取出来.为了提高速度,本文采用快速而又相对简单的图像差影法.图像差影是一种图像点对点的代数运算,简单说就是缺陷图像和标准图像的对应像素进行相减的运算,也称为减影运算,其反应的是两幅图像的像素差异.图1是一幅气泡图像进行差影后得到的结果.缺陷差影图像仍为灰度图像,背景的条状干扰已经被基本剔除,但是依旧存在边缘的絮状干扰.这是因为在缺陷周围,往往存在着因缺陷而引起的畸变,透光采样后形成不同的灰度,从而填充了灰度直方图上目标和背景之间的部分,使波谷不再明显.因此,为了把核心或缺陷尽可能完整的提取出来,还需要进一步二值化分割.目前已经提出的图像分割方法很多,针对玻璃缺陷边缘并不丰富,边缘细节并不能反应足够的特征信息,因此本文采用相似性分割的方式.在相似性分割中,阈值分割是一种最常用,同时也是最简单的图像分割方法,它不仅可以极大的压缩数据量,而且也大大简化了分析和处理步骤.目前常用的阈值分割方法包括:p-分位数法、迭代方法选取阈值、直方图凹面分析法、最大类间方差法(OTSU)、最大熵法、最小误差法等.为了达到速度和精度的平衡,在线识别识别算法要求分割方法尽可能简单有效,经过多次的对比验证,最大类间方差具有相对理想的效果.但是,由于有些噪声灰度不可避免的和目标相近,当目标灰度范围较小时,单次一维的OTSU存在误分的情况.为了尽可能的兼顾单点周围的像素,有人提出了二维OT-SU的方法.所谓的二维的OTSU,就是除了要考虑像素本身的灰度外,还要考虑到像素周围的空间相关信息.最佳的阈值是在一个二维的类间方差测度准则取最大值时得到的一个二维矢量,并以此二维矢量作为分割门限进行图像分割,从而提高了OTSU法的抗噪声能力.从图2可以看出,对于存在的絮状噪声,由于是点运算方式,单次一维OTSU很难去除,并且保留了很多伪缺陷.图2c)是考虑了像素7×7邻域后的二维OTSU的结果,从图上可以看出,二维OTSU能够很好的去除噪声干扰,平滑了缺陷边界,填充了空穴区.但是,相对于一维OTSU,在核心提取上,二维OTSU并没有多大改进,并没有去除差影图像中的虚拟边界,更重要的是二维OTSU的计算量比较大,即使用最新的快速算法,一幅512×512的图像,也需要30多毫秒(P4双核1.60GHzCPU,1.0G内存下同)的时间,而在线检测要求的计算时间是在10毫秒以内,所以很难达到要求.为了快速准确的提取核心,而又尽可能保持缺陷核心的形状,在研究了差影图像的直方图后,提出了两次OTSU方法.即在第一次OTSU后,对目标区域再进行一次一维OTSU分割,找到最佳阈值.对于有些缺陷一次一维OTSU就能达到要求,再进行一次可能产生过分割.为了使分割更具适应性,需要建立起一个评价标准.本文采用3σ标准,即:其中,μo、σo为分割后目标均值和标准差,μB、σB为分割后的背景均值和标准差.当一次一维OTSU后,如果满足(1)式,则停止分割,否则再进行一次OTSU计算.从图2(d)中可以看出,这种方法得到的结果比较满意.经过实验,一幅512×512的图像,经过完整处理后的时间大约是8毫秒,因此符合设计要求.3玻璃缺陷的特征如何在目标图像中提取出具有良好描述和分类性质的特征,是缺陷识别的关键.近年来,一些学者把不变矩、小波变换等引入玻璃缺陷的识别中来,取得了一些成果.但是,这些方法脱离了玻璃缺陷本身的特点,把所有的缺陷用同种特性来描述,显然忽略了玻璃缺陷形态复杂多变的特性.图3是五种典型的缺陷图,从上到下,从左到右依次为气泡、夹杂、锡灰、光畸变和炸板.从大量的缺陷样本来看,玻璃缺陷主要有以下几个特点:(1)气泡主要呈圆形或椭圆形,主轴倾斜角为90度(从水平方向看),缺陷主体占的比重比较大,往往占有效点85%以上,亮度比较高,内部均匀,边缘平滑清晰.因此,无论是用哪种方法,气泡的准确率都是比较高的.(2)夹杂形状不定,边缘不清晰,二值化后的毛刺较多,主轴方向不定,由缺陷核心引起一定畸变,但核心仍占大部分.(3)锡灰的形状不定,有些呈絮状,内部灰度不均匀,整体亮度较低,二值化后连通较多,并且各连通大小相差不大.对于有些单个连通占重比较大的锡灰,边缘引起的畸变较少,这也是区别锡灰与夹杂的重要性质.(4)光畸变面积比较大,并且在走向上呈竖直光栅状,各条状连通在水平方向上分布比较均匀.(5)炸板在呈直线或折线,边缘清晰,容易分辨.根据以上特点,本文提出了12个统计特征:(1)倾斜度,用来描述缺陷像素整体走向的物理量:其中,μ02、μ20和μ11是缺陷图像的二阶矩(下同).(2)离心率,缺陷短轴和长轴的比值,反应的是缺陷的扁平程度:(3)长宽比,描述缺陷等价椭圆外接矩形的长宽比:(4)伸展度,表现整个缺陷像素由质心向四周展开的程度:(5)填充度,缺陷有效像素点数与缺陷外接矩形的像素个数比:NVP为有效像素数数,也就是二值化后白色像素的个数.(7)水平伸展均衡度,水平方向上像素分布的均匀程度:μ+21和μ-21是三阶矩中基数为正和负的部分(下同).(8)垂直伸展均衡度,垂直方向上像素分布的均匀程度:(9)聚散度,有效点到质心距离和与外接矩形面积之比:(10)连通主导率,连通的平均像素数与最大连通像素数之比:(11)灰度标准差,其主要反应了缺陷灰度集中的程度:(12)大灰度百分比,差影图像中大于平均灰度的像素个数的百分比:12个特征中,前10个为二值化后提取的特征,后2个为二值化前的差影图像中提取的特征.从前述的玻璃各缺陷的特点来看,每个特征都能反应部分特性,但是并不足以把他们分辨开来.比如缺陷倾斜度和离心率,决定了缺陷的形态是否是椭圆,以及椭圆的长轴方位,这是气泡很重要的两个性质,但是对于其他四个缺陷却很难起到作用.气泡和炸板是最容易判别的,12个特征都很明显.其次是光畸变,因为一般光畸变的面积比较大,特征也容易求出来.但是,由于光畸变各个特征的值往往和其他缺陷的特征值相重合,因此,也存在误判的情况.最难判别的是夹杂和锡灰,因为这两类缺陷的特征有很多相似的地方,只是夹杂往往主连通较大,有些锡灰的连通较多,连通主导率较小,对于连通主导率比较大的锡灰,只能通过边缘清晰度,也就是灰度标准差来判断.由于参与区分的特征比较少,这两类误判的几率也比较大.4神经元个数的确定由于玻璃缺陷的复杂性,在选择分类器的时候需要考虑到模糊性和鲁棒性.神经网络是目前比较成熟的识别分类器,它允许样本有较大的缺损和畸变,通过训练样本的学习建立起记忆,然后将未知模式判断为其最接近的记忆类型.构造神经网络分类器首先要选择适当的网络结构,BP网络的典型结构是三层网络,输入层就是图像的特征向量(本文为12个特征),输出层节点数是类别数(本文为5类).隐含层神经元个数的确定是个关键.隐含层个数过少,精度不够,产生欠拟合现象,学习过程不能收敛;隐含层节点数目过多,增加了网络的冗余性,可能出现过学习现象,降低泛化能力.目前对BP网络隐含层节点数目的缺点还没有统一的准则,常用的经验公式有:其中,ni为输入层节点个数,no为输出层节点个数,α为1~10的一个数.本文根据这些公式产生一个范围[4-25],4由第(3)个公式求得,25由第(5)个公式求得,然后通过枚举法评价这个范围内网络的性能,最后取18.从CCD相机检测到的玻璃缺陷样本图像,是未经过分类的.由于各类缺陷有时候很类似,在人为确定样本类别上不可避免的存在着误分.针对神经网路对样本顺序的敏感性以及存在的过训练或过学习的问题,本文采取了以下措施:1)采用K-Means方法,首先对样本图像进行筛选,剔除误差图像,以消除误分图像对训练造成的影响.2)权值初始值的选择,采用JimYF提出的方法,避免网络过早陷入局部最小点,加快收敛速度.3)训练采用CV(CrossValidation)法,每轮训练,随机取2/3的训练样本带入网络,剩余1/3的训练样本进行验证.4)步长调整采用自适应学习速率方法:其中,α、β为动态系数,本文取α=1.05,β=0.94,ΔE为单轮误差改变量.5个实训图像实验中,采用三层的BP网络,输入层节点数12,隐层节点数18,输出节点数5.原始样本集为85个,K-Means剔除后的样本为78个,其中含有20个气泡、26个夹杂、10个锡灰、6个炸板和16个光畸变.图4是部分样本的差影图像.表1是图4中的缺陷对应的标准化后的特征值.BP网络训练总误差取0.05,单样本误差为0.0001,最大训练次数为5000次.经过2756次训练收敛.测试集含有10个气泡、25个夹杂、7个锡灰、4个炸板和9个光畸变共55个样本.从表2中可以看出,气泡、夹