基于机器视觉技术检测水果缺陷的系统设计

基于机器视觉技术检测水果缺陷的系统设计

苹果系统检测技术研究近年来，消费者对水果的品质有了更高的要求。中国严格的质量评估和分类方法是解决这一问题的途径之一。传统的外观品质检测主要是利用分级机械,根据水果的大小、质量等指标进行分级。该方法主要是通过设计专用机械结构来检测水果的大小和质量,而无法对水果的颜色、纹理和表面缺陷等作出评价。目前国内外对于水果颜色、纹理等检测研究上取得了很大的进展,有些技术也已经应用到实际生产中[2~3]。但是运用机器视觉技术检测水果的外观缺陷一直是一个研究的难点。AleixosN等主要借助半透明反射镜将光不同程度地反射到近红外相机和彩色相机来获取不同光照强度下的图像信息。DanielReese等主要从静态研究分析了抛物面反射镜个数与倾斜角度不同时,苹果在镜面中成像的情况。冯斌等利用CCD相机和平面镜在静止状态下对采集的图像运用傅氏变换方法,从水果三维空间结构特征对缺陷进行识别。LiQingzhong等利用平面镜在线获取苹果图像信息,并结合神经网络训练的方法来检测缺陷。本文设计基于机器视觉技术的水果在线检测系统,通过在相机两侧架设2个倾角为60°的平面反光镜来获取苹果3个角度视场图像。每个苹果可以采集3个不同运动位置的图像,因此单个苹果样品可获得9个不同角度的图像,结合数字图像处理方法,通过判断缺陷面积大小和个数来解决水果缺陷检测中果梗、花萼与缺陷的混淆问题,实现对不同等级苹果的快速分级和优选。1图像采集单元的设计实验样品为从北京市当地超市购买的陕西红富士苹果60个,在购买时尽量选择形状和大小相差不大的苹果。其中表面带有缺陷的苹果为40个,完好的苹果为20个。表面缺陷包括了疤痕、腐烂、虫咬、裂伤、碰压伤等呈现不规则圆形的缺陷类型。在线实验装置如图1所示。该装置包括了在线传输单元、图像采集单元和水果分选单元。图像采集单元主要硬件包括CCD相机、图像采集卡、滤光片、光源、传感器、平面镜、计算机等,为了防止外界光源的干扰,整个图像采集单元的硬件设备安置在一个密闭的暗箱中。研究中结合光谱知识配合机器视觉技术,选择635nm的滤光片检测苹果的外观缺陷[9~10]。该系统中采用一个CCD相机,2个100W的卤钨灯作为系统的光源,该光源安装在垂直于传送带方向的两侧。在检测的区域面向传送带倾斜60°方向的位置则安装有两面平面镜。目的是相机不仅可以采集到实际苹果的图像,还可以采集到两面平面镜中镜像的样品图像,增大了样品采集的信息。整个系统的参数设置如下:镜头焦距6mm,镜头距苹果表面最高点的距离492mm,曝光时间50ms。整个图像采集过程由外触发信号来进行控制,当水果在传送带上随着滚子的旋转而向前传送并通过安装有对射式传感器的位置时,就会给图像采集卡一个外部的触发信号,这个触发信号则控制CCD相机开始图像的采集。整个图像采集、保存及处理和分选的过程都是依次连续完成。水果检测分选的全过程都是由基于VS2010平台开发的检测分选软件控制。该检测软件可以根据外部触发信号控制相机自动采集、保存样品的图像信息。实时调用图像处理程序模块在线同步处理,并结合传送带的输送速度和图像处理速度,在样品远离采集光照箱到达分选位置时,将判断结果依次有序地传送给分选装置,进行分选,检测速率为3个/s。2提取缺陷特征的算法2.1苹果图像的预处理采集到的图像为灰度图像,每一幅图像中由于在位于传送带上方图像采集位置的两侧安装有两面平面镜,因此可以同时获取一个苹果3个不同表面的信息,而一帧图像中则将包含一个样品的3面图像信息。由于系统的旋转设计,苹果可以在传送带上平行翻滚移动3个位置,这样就可以采集到3个不同角度的信息,所以对于一个苹果则总共有9个位置的图像信息。研究中发现,由于平面镜的反射影响,导致了2个平面镜中成像的苹果图像相对于实际处于镜头下的样品图像表面,亮度较弱,明暗不均匀。在一帧图像中同时处理一个苹果的3面图像信息,不能在图像预处理或是分割中得到一个比较好的结果,因此本研究采用在一帧图像中一个样品的3面图像单独处理,再对所有图像的结果综合判断水果的外观品质。对每一面图像处理之前,需要从一帧图像中提取出所有单面的图像信息。通过图像中每面图像的位置信息,利用提取感兴趣区域的方法将每面图像信息完整提取,提取结果如图2和图3所示。2.2图像的预处理单个图像的分析中,背景的影响相对比较弱,但是为了在图像分割时,同时能够很好地去除背景,文中采用对图像进行线性变换的方法来增强图像对比度,突出图像中的有用信息,削弱或去除不需要的信息,使结果更有利于图像分析。提取出的单面图像因为在灰度上存在一些差异,因此无法选定一个固定的阈值来进行处理。文中选用大津法来进行分割,结果相对较好[12~13]。对于分割后的图像,图像中还存在着噪声点,还有一些可能是由于背景分割后产生的噪声点。采用形态学处理的方法来消除这些噪声点。对于二值化后连通的区域分析,采用腐蚀来消除纯粹由噪声引起的部分,然后用开运算来连接临近的部分,再对图像进行中值滤波,能够有效地去除噪声并且能保护图像的轮廓边界不使其边界模糊。有的图像中因为背景的影响会产生不止一个连通的区域,为了消除这些小的连通区域在后续处理中造成的误差,文中采用区域生长法找到这些连通的区域,然后通过提取最大连通区域的方法来找到实际苹果的区域。图像进行预处理后,为了找出所有的缺陷,采用区域标记的方法来标记图像中除了背景外的所有黑色连通的区域,然后再计算每个标记区域的黑色像素数。2.3苹果图像中的果梗、花由于水果本身的果梗、花萼与某些缺陷在图像处理后比较相似,很容易造成计算机的误判,对检测结果的精度产生影响。而精确地将水果果梗、花萼提取出来,在目前研究中还没有相对较好的方法。考虑到这些因素的影响,本研究从以下的角度对其进行分析和研究。该系统中通过水果的旋转和平移可以在苹果的所有图像中采集到果梗、花萼,1个苹果包含的9幅图像中果梗、花萼会各自至少出现1次。因此如果9幅图像中的缺陷个数大于2说明该苹果表面除了果梗、花萼外则还存在着其他的缺陷。等于2则说明表面没有其他的缺陷,只是果梗、花萼。研究中把果梗、花萼当做已知缺陷处理,因此缺陷数不会出现小于2的情况。但是实际从侧面2个镜子中采集的镜像图像也有可能出现果梗、花萼,造成误判。为了解决这个问题,对所有的图像进行了分析,研究中发现如果苹果的果梗较短,则9幅图像中通过图像处理后果梗出现的次数基本不会重复。但是如果样品本身的果梗较长,则在9幅图像中果梗可能会出现2~3次,如图4所示,而花萼由于本身特征及该系统中水果旋转到的位置角度,不会重复出现。因此在计算缺陷个数之前需要先判断一下缺陷的圆形度,如果其中圆形度小于0.3,则剔除该黑色区域。然后再统计剩余黑色区域的个数。2.4苹果的面积和大小苹果表面缺陷的形状往往不规则,在标定过程中,也很难找到一种比较好的拟合方法来计算缺陷的面积。而且往往在拟合的过程中容易造成二次面积计算误差。本研究采用像素比来判定缺陷的大小。像素比定义为在一幅包含缺陷的图像中,图像处理后黑像素数与所有像素数比值。实验中以缺陷直径为5mm来作为一个检测的判断依据,而检测的苹果直径大概在72~80mm之间,因此选择直径为74mm的苹果来做标定,则缺陷判据像素比大于α则判定为缺陷,小于α则忽略不计。这样区分的目的是,省去了缺陷大小计算时的单位换算的误差,消除了由于镜面中苹果比实际尺寸小的影响,同时也消除了缺陷形状的影响。如图4所示,一个相同的缺陷可能在不同的图像中重复出现,因此也避免了由于图像在单个图像分割时造成的误差,只要在一个图像中该缺陷像素比大于α,则就判定为缺陷。3苹果表面缺陷检测在图像处理分析后,计算机将会得出1个检测结果,即每幅图像中包含的水果缺陷个数和大小。水果的分级也是根据这个结果来进行。文中判断的依据主要是缺陷个数,即一个水果表面包含的像素比大于α的缺陷个数等于2,则认为其为完好果;如果该苹果表面包含像素比大于α的缺陷个数大于2,则认为其为缺陷果,应该剔除。通过对60个实验样品的分析,得到的分类正确率如表1所示。结果表明对水果表面缺陷检测的正确率达到了92.5%。检测中产生误判的原因是,在图像分割后,缺陷的投影面积比实际缺陷面积小,造成计算误差,今后研究中也将通过大样本实验来优化缺陷面积计算时该选择的阈值。4苹果表面缺陷的检测方法该系统在研究苹果外观品质的检测时,采用两面平面镜来