基于机器视觉的浮法玻璃缺陷检测方法

基于机器视觉的浮法玻璃缺陷检测方法

对于浮法玻璃生产线，由于人们对玻璃上的小缺陷不敏感，通过手动检测气泡、混合、焊接、研磨等缺陷，可以极大地降低玻璃的整体级别，导致高质量玻璃的出现，降低企业的利益，损害企业的形象。研制分布式的,快速、可靠和准确的机器视觉检测技术,是浮法玻璃生产线上提高产品质量,降低检验成本,提高生产率的迫切要求,也是解决玻璃生产中质量控制问题的重要的技术手段。传统的浮法玻璃质量检测主要采用激光检测的方法,对微小缺陷不敏感,抗干扰能力差,很难适应国内恶劣的生产环境,容易造成缺陷的误检。本文提出了一种基于机器视觉的浮法玻璃缺陷在线检测系统,该方法采用分布式的处理技术实现大幅面物体的检测,保证了检测的精度和处理速度。在图像处理算法中,通过构建阈值曲面对非均匀图像进行向下阈值分割,采用自适应的阈值方法提取缺陷的核心,提出了一种新的快速图像搜索算法,并在此基础上设计了三层神经网络分类器,实现了对缺陷的分类识别。1系统组成1.1玻璃的检测子系统为了解决大数据量的处理问题,系统采用了基于以太网的C/S处理模式,其网络拓扑机构如图1。服务器和各子系统之间以以太网完成图像数据交换和校验。服务器控制各子系统图像的采集,接收各子系统的缺陷数据,并进行统计、分类,对玻璃进行分级和事后数据统计。各子系统相对独立,完成数据采集和图象处理。每个子系统由光源、相机、采集卡和计算机组成,在服务器的控制下完成图像采集、图象处理,并将处理结果发给服务器。子系统的个数可以根据检测范围和检测分辨率确定。服务器和PLC以及子系统之间以现场总线的方式完成控制指令的传递。编码器作为所有子系统和服务器的同步信号来源,控制打标输出的时刻和采集时钟。1.2led照明系统设计图像采集系统是该系统的核心,主要是照明系统的设计。为了保证较高的采集精度(0.1mm/pixel),相机选用高分辩率的线扫描相机,以位移信号触发实现受控采集。在视觉系统中,常用的照明方式主要有前光照明、背光照明和分光反照三种方式。玻璃这种透明介质反射率低,前光照明和分光反照都很难满足照明的亮度要求,宜采用背光照明,如图2(a)所示。光源两侧设计倒V字形挡板,实现了光源的封闭式结构,以最大可能地摒除环境光的干扰。照明系统的设计是机器视觉系统设计的重要环节。根据玻璃图像采集对照明条件的要求,照明系统需要保证采集到的图像不失真、不变形,并且能够突出和强化缺陷特征,为此针对玻璃的光学性质使用了基于LED点阵的栅格式光源。这种光源借鉴了原莫尔探头的原理,将利用LED光源的点阵排列做成其中一个光栅,再利用线扫描相机的时域积分成像特性,将扫描线的时变累积看作另一个光栅,这样玻璃在两个光栅之间移动时同样会产生干涉条纹,而玻璃存在缺陷时,干涉条纹会发生扭曲,通过计算扭曲幅度和光强,可以得到缺陷的大小和种类。同时设计了LED照明控制模块,该模块在采集READY信号的触发下控制LED的点阵提供交替照明。考虑到红光的穿透力强,选用了红色LED作为发光体。图2(b)给出了均匀面光源照射下的气泡图像,仅为一个光吸收后的黑点图像;图2(c)给出了基于LED点阵的栅格式光源照射下的成像效果。可以看到缺陷处条纹发生了明显的扭曲变形,为后续的图像处理提供了丰富的信息。2玻璃缺陷检测在光源的作用下,玻璃图像呈现了明显的不均匀特性,如图3(a)是带气泡缺陷的玻璃图像,(b)是其灰度体方图,该图(a)中黑框处有一个玻璃缺陷。玻璃图像在行进方向灰度趋近,但在其垂直方向则呈现明显的条纹分布,缺陷处灰度值出现明显跳变。图像处理算法是机器视觉的核心问题,系统依赖其完成对缺陷的检测、定位以及缺陷参数的提取。与通常的视觉处理系统一样,本系统中图像处理算法也主要包括图像滤波、图象分割、Block搜索、伪缺陷剔除,但如何实现对非均匀图像进行处理是算法开发的核心问题。2.1生成共享模型通常的滤波方法不管是基于空域还是时域的方法,均采用较大的掩模对图像进行卷积运算。但考虑到图像横向灰度值差异较大,如对其用该掩模处理会破坏其原始信息,将导致细微缺陷被淹没的严重后果。因此,只对图像进行式(1)的平滑处理:f(i,j)=[(f(i-1‚j)+f(i,j)+f(i+1,j)]/3(1)f(i,j)=[(f(i−1‚j)+f(i,j)+f(i+1,j)]/3(1)式(1)中的f(i,j)表示图像中的第i行,j列的像素点。该方法只对图像进行纵向平滑,保持了每列像素的独立性。2.2玻璃图像的阈值分割处理与其它的分割算法相比,阈值分割是图像处理中速度较快的一种分割方法,而且处理后的图像能够在一定程度上保留缺陷的形状、大小等原始信息。因此,系统选择阈值分割来实现目标和背景的分离。但由于镜头和相机畸变以及光源的不均匀会引起图像灰度分布不均匀,而且随着时间的推延,光源的亮度以及灰尘遮挡会导致图像出现缓慢的变化。当一个图像中有多个物体存在时,各物体间的灰度值也可能变化较大。如果仍用单一阈值或者多阈值很难将这些物体完全分割,如图3(a)是一幅带缺陷玻璃的图像,图3(b)是其灰度体方图。从图中可以看到,玻璃图像的灰度分布纵向均匀,横向呈典型的波浪形曲线,缺陷位置的灰度值特别低,尤其是缺陷中心,而且图像随采集时间的不同而缓慢变化。对这种图像如果直接用一次阈值进行处理,很难将缺陷和背景分离出来,但如果对图像采用开窗式多阈值处理,则窗口大小和位置难以确定。因此,本文设计了一种基于自跟踪的阈值曲面分割方法,构建动态阈值曲面来实现背景和目标的分离。该方法在检测开始前采集一无缺陷的玻璃图像,将此图像的灰度分布曲面作为初始曲面f′(x,y)。在生产过程中,光源表面灰尘积累会降低照明的强度,因此检测开始建立的曲面f′(x,y)并不能完全反映实时的灰度分布情况。由于灰尘的积累是随机的,因此可以假设对于任何位置的玻璃来说,由照明变化引起的灰度图像的变化是趋近一致的。可以采用平均灰度值差度量这种灰度的变化,R(x,y)为实时图像,△G为平均灰度差变化,图像大小为m×n,则这种变化可以描述为:△G={m∑x=1n∑y=1[R(x,y)-f′(x,y)]}/(m×n)(2)以△G作为修正值对上一次的灰度曲面f′(x,y)修正,得到新的阈值曲面:Τ(x,y)=f′(x,y)+△G(3)图3所示缺陷的阈值曲面如图4示。分割时为了要保持缺陷的特征,仍然要保持各像素间的灰度关系,而不能直接将图像进行二值化,因此采用如式(4)所示的向下分割:f(x,y)={f(x,y)-Τ(x,y)f(x,y)＞Τ(x,y)0f(x,y)≤Τ(x,y)(4)可以得到如图5的结果。对其进一步采用自适应阈值分割,即可得到缺陷核心,见图6。2.3快速缺陷搜索定位算法描述虽然从视觉角度来看,二值图像已是明显的缺陷图像,但由于计算机本身并不知道什么样才是缺陷,需要设计人员为它提供缺陷的判别特征标准,才能对图像中的缺陷进行定位与识别。在本系统的算法中,二值图像表示采用黑色(灰度值为0)作为背景色,白色(灰度值为255)作为缺陷色。对缺陷块的提取过程是一个区域分割问题,常用的算法包括区域生长法、分水线法等。为了达到检测的高实时性要求,为了提高对二值化图像进行缺陷位置搜索的速度,设计了基于逐线扫描的快速缺陷搜索定位算法(Blob算法),进行区域的分块与填充。相比其它算法,本算法搜索速度快,效率高,占用内存少,最终得到按照位置坐标进行标记的分块缺陷信息,同时得到的还有缺陷的面积、周长、边缘轮廓、长宽比、分布方向等几何信息,为后续的缺陷识别与分类提供数据参数。算法描述如下:(1)设定行连接阈值a和列连接阈值b。(2)从图像的起始行开始搜索,如果遇到白点A,记录下A的位置,继续搜索,遇到另一个白点B。如果A、B两点的距离不超过a,则连接A和B作为一个物体,记录B的位置;否则将A、B作为两个不同的物体,继续搜索下一个白点,直到本行结束,将所有的物体位置及其所包含的点记入链表。(3)转向下一行,重复(2)的过程,并且将本行找到的物体D与已发现的物体C比较,如果列数差值小于a,且行数差值小于b,则将C与D合并,并且将D中的像素转入C中,更新C的参数;否则记录D为一个新物体,重复进行,直到所有行均搜索完毕,即得到当前图像中的可疑目标。(4)对各物体所包含的像素点数和区域进行统计,即可得到可疑缺陷的大小、位置等信息。(5)根据先验知识,如缺陷块的大小不能太小(太小容易引起噪声的误报),缺陷块的宽度不能太小,对找到的物体信息进行真假甄别,去掉伪缺陷。实验证明,该算法的速度远大于通用算法的速度,对6144×2500像素的图像进行缺陷搜索时,在系统配置为P4-2.4G,512M内存时,搜索时间小于80ms。2.4分类器输入的选择经典的三层神经网络结构,由一个输入层、一个隐含层和一个输出层组成,它们由可修正的权值互连,这些权值由层间的连线表示,除了连接输入单元,每个单元还连接着一个偏置,可以使用更多的隐含层。实际上,这样的三层网络已经足够实现连续的非线性映射,能够执行任意复杂的决策面。考虑到玻璃缺陷分类的多类性和非线性,系统采用BP算法的神经网络分类器对在线检出的缺陷进行分类识别。分类器输入选择缺陷的圆形度、灰度均值、标准方差、长宽比、占空比、方向角、畸变,共7个特征。将气泡、夹杂、粘锡、裂纹、线道作为浮法玻璃神经网络缺陷分类器的输出。实际上,除了上述的几种缺陷类型外,由于通常国内浮法玻璃现场生产条件比较恶劣,玻璃表面上还会有灰尘、异物(蚊虫、油污、玻璃渣)等非缺陷物体,因此,为了保证检测结果的准确性,在分类器的输出加入了另外两个类别:灰尘和异物。为了实现这两个类别的网络训练,在训练样品中加入了一些训练样本来进一步减少误判。因此,待识别的类别为7个,即:气泡、夹杂、粘锡、裂纹、线道、灰尘和异物。隐含层节点数根据经验取为6,网络的激活函数采用sigmoid函数,为了加快网络的收敛速度、避免网络训练陷入局部最小值,在进行误差反馈时采用动量项和自适应学习速度的方法对网络训练进行改进。对改进后的神经网络的浮法玻璃缺陷分类器,选择了200个缺陷训练样本。实验证明,在误差范围达到0.001时,样本识别正确率在90%以上。现场的应用也表明,所设计的神经网络分类器能够对检测出来的浮法玻璃缺陷进行准确的实时分类识别,并且能够把进入分类器的伪缺陷判别出来,对大于0.5mm的缺陷分类准确率达85%,满足了浮法玻璃缺陷在线分类的要求。3浮法玻璃缺陷在线检测系统仿真分析系统应用上述算法后,每处理一帧6144×2500的图像时间为300ms,以纵向0.1mm/pixel的分辨率计算,30m/min的速度对应采集每帧的时间为500ms>300ms,算法很好的满足