一种多模式的苹果表面缺陷分类方法

一种多模式的苹果表面缺陷分类方法

0苹果表面缺陷检测方法研究苹果分类是根据苹果的大小、形状、颜色和表面缺陷来进行的。当前成熟的分级方法是质量分级和大小分级。这两种分级方法实现了苹果分级的部分自动化,分级过程中的形状、色泽和表面缺陷检测和分类依然靠人工进行。随着数字图像处理不断发展,人们开始研究将其应用于苹果自动分级过程中,如有形状判别、色泽测量和表面缺陷检测等方面研究。苹果表面缺陷自动检测与分类是实现苹果完全自动分级的关键一步。目前较多是对苹果表面缺陷的检测方法研究。笔者是在表面缺陷区域已确定的基础上,研究如何将表面缺陷进行分类,以满足苹果分级标准的要求,从而为实现苹果全自动分级奠定基础。1近红外图像的检测由苹果光学反射特性可知:在近红外波(750～1100nm)段内,苹果表面反射系数与表面颜色无关;正常表面反射系数比有缺陷表面反射系数大。因此,为了避免颜色对表面缺陷检测与确定影响,减少缺陷区域检测与判别复杂性,苹果表面缺陷图像检测一般在近红外波段进行。工业黑白CCD摄像机的光谱响应范围为400～1100nm,在该摄像机镜头前加一窄带近红外滤波片,其带通中心波长为815nm,带宽为20nm,于是可获得近红外图像。苹果的近红外图像经计算机系统中的图像采样变为灰度等级为256的数字图像。在计算机中,通过相应算法可将缺陷区域自动检测出来,具体见文献。经过缺陷检测,缺陷区域基本描述有区域面积S、区域最小深度Dmin和区域形心(I,J)。其中:缺陷区域面积S定义为S=n(1)Δ2(1)式中n(1)——缺陷区域中标记为“1”的缺陷点个数;Δ——像素的间距。最小深度Dmin定义为Dmin=Femin-Fmin(2)式中Femin为缺陷区域边缘的最小灰度值;Fmin——缺陷区域内的最小灰度值。区域形心(I,J)定义为⎧⎩⎨⎪⎪I=M(1,0)M(0,0)J=M(0,1)M(0,0){Ι=Μ(1,0)Μ(0,0)J=Μ(0,1)Μ(0,0)(3)其中M(p,q)——缺陷区域二值图像B(i,j)的p、q统计矩,其为M(p,q)=∑(i,j)∈BipjqB(i,j)Μ(p,q)=∑(i,j)∈BipjqB(i,j)(4)2缺陷分类2.1扫描线间距lb苹果分级标准将苹果表面缺陷分为碰压伤、刺伤、裂果、病虫果和虫伤等,仅依据缺陷区域面积S、区域最小深度和区域形心(I,J)难以有效地进行缺陷分类,为此引入圆形因子、长形因子和区域宽度等形状因子来表征缺陷区域形状特征。圆形因子O(B)定义为O(B)=L2SΟ(B)=L2S(5)式中S——区域面积;L——区域周长。区域形状越近于圆,圆形因子越接近4π。对于等距采样的图像,长形因子L(B)定义为L(B)=maxθ{mθ(0,1)Δθ}minθ{mθ(0,1)Δθ}L(B)=maxθ{mθ(0,1)Δθ}minθ{mθ(0,1)Δθ}(6)式中mθ(0,1)——区域B与以θ方向相垂直的平行扫描线族相交的线条数;Δθ——扫描线间距。研究中,采用图1所示的8个θ搜索方向,因此的间距分别为:Δ0=Δπ2=Δ‚Δπ4=Δ3π4=Δ2√‚Δarctg12=Δarctg2=Δπ2+arctg12=Δπ2+arctg2=Δ5√Δ0=Δπ2=Δ‚Δπ4=Δ3π4=Δ2‚Δarctg12=Δarctg2=Δπ2+arctg12=Δπ2+arctg2=Δ5。区域越细长,L(B)越大;反之区域越紧致集中,L(B)越小。区域宽度W(B)定义:设区域在θ方向上获得最大投影长度,区域在θ+π2θ+π2方向上的投影长度则为区域宽度,其为W(B)=mθ+π2(0,1)Δθ+π2W(B)=mθ+π2(0,1)Δθ+π2(7)至此,用区域宽度W(B)、长形因子L(B)、圆形因子O(B)、区域形心(I,J)、区域最小深度Dmin和区域面积S等特征参数表征苹果表面缺陷的特征。2.2非中心区域的分类设计有关苹果缺陷信息有:苹果碰压伤一般呈近圆形,裂果和刺伤呈长形,裂果由于果肉暴露,在近红外波段其反射系数介于正常表面和缺陷表面之间,其灰度值较碰压伤的灰度值大,即裂果区域深度较浅,但这还与区域面积和区域位置有关。此外裂果区域宽度较刺伤区域宽。病虫果虫孔呈小圆形,且区域灰度值较低,区域深度较深。新虫伤则区域深度较浅。缺陷区域在苹果图像上的位置不同,其特征形状是变化的。这种变化是一种投影畸变,产生原因是果面的的法线与摄像机视场存在夹角。如有一呈圆形的碰压伤,如果该碰压伤在苹果图像的中心区域,则呈圆形;如果在非中心区域,则该碰压伤可能会呈椭圆形或长形。因此分类设计时必须考虑缺陷区域形状畸变问题。缺陷分类是一个多模式分类问题,利用二叉树(决策)方法可把一个复杂多模式分类问题化为多级多个二类模式分类问题。因此基于此思想以及利用有关缺陷分类的启发信息和考虑形状畸变,故提出了图2所示的缺陷分类方法。分类方法不是企图用一种算法或一个决策规则把多个模式一次分开,而是采用分级的形式使多模式分类问题逐步得到解决,是把多模式分类问题分解为若干个逻辑上相对独立、简单的子分类问题,部分子分类的分类知识则通过计算机的自学习获取。考虑区域形状畸变,因此在分类设计中,将苹果图像分为图3所示的Ⅰ、Ⅱ2个区域。当缺陷区域形心在Ⅰ区范围内,则选中心区域判别路径进行分类,当缺陷区域形心在Ⅱ区范围内,则选非中心区域判别路径进行分类。非中心区域的分类方法与中心区域的分类方法虽然在形式上相似,但由于畸变原因,实际上是有差别的。在中心区域,圆形与长形分类决策规则是:如果区域的圆形因子O(B),小于阈值To;同时长形因子L(B)小于阈值TL,则区域为圆形,否则区域为长形。上述决策规则同样用于非中心区域的(椭)圆形与长形的分类,只是判别阈值不同。中心区域条件下,圆形深度分类,长形宽度、深度、面积分类1及非中心区域条件下(椭)圆形深度分类,长形宽度、深度、面积分类2等是采用人工神经网络进行。圆形面积判别和椭圆面积判别则采用阈值判别。3试验结果与分析3.1-12-1bp神经网络i1,j1由于缺陷区域深度不仅与面积有关,还与缺陷在苹果图像上位置有关系,因此需求出区域在图像上的相对位置,用坐标(IB,JB)表示为{IB=I−i1JB=J−j1{ΙB=Ι-i1JB=J-j1(8)式中(i1,j1)——图3苹果图像处理窗口的WB坐标;(I,J)——缺陷区域形心。对于深度分类采用3层BP神经网络,输入到神经网络的特征参数有:区域最小深度、区域面积和区域相对坐标。输出为一个节点,输出“1”表示区域“深”;输出为“0”表示区域“浅”。神经网络学习样本为30个有缺陷的国光苹果,试验中当隐含层神经元为12时,BP神经网络样本学习率最高,为80%,学习次数较少(15300次)。故用3-12-1结构的BP神经网络来进行深度分类。同时选同样结构的神经网络进行(椭)圆形深度分类,在该结构下,学习样本为30个国光苹果,(椭)圆形深度判别的神经网络的学习率和学习次数分别为:70%、16230。3.2区域生长结构比对长形宽度、深度、面积分类采用3层BP神经网络,输入到神经网络的特征参数为:宽度因子、区域最小深度和区域相对坐标。输出为一个节点,输出“l”表示区域“细长、较深、面积小”;输出“0”表示区域“宽、较浅、面积大”。神经网络的学习样本为30个国光苹果,试验中结构为3-8—1的BP神经网络学习率最高,为76.6%,学习次数较少(18550次)。故采用该结构的BP神经网络来进行宽度、深度、面积的分类。选同样结构的神经网络进行长形宽度、深度、面积分类2,学习样本为30个国光苹果条件下,神经网络的学习率和学习次数分别为:73.3%、11500。3.3试验结果试验中,中心区域半径r=34R‚Rr=34R‚R为苹果半径。通过试验,在中心区域,选择阈值To为15,阈值TL为1.2,面积阈值为14。在非中心区域,选择阈值To为19,阈值TL为1.8,面积阈值为4。试验样本为50个缺陷国光苹果。试验结果为:碰压伤分类正确率为73%,刺伤分类正确率为60%,裂果分类正确率为66.7%,虫伤分类正确率为50%,病虫果分类正确率为57%。试验中,当碰压伤、刺伤和裂果在图像Ⅰ区时,同时其相应的特征参数区别比较显著时,分类正确率较高,为82%以上;但当这类缺陷出现在图像Ⅱ区时,特别是在苹果图像边缘区域,由于区域形状畸变,分类正确率较低,因此造成这些缺陷整体分类正确率降低。虫伤和病虫果其图像特征参数区别不十分明显,故这类缺陷分类较其