基于数字图像形态学的机器人视觉系统识别

基于数字图像形态学的机器人视觉系统识别

随着计算机技术和自动化技术的发展，越来越多的智能机器人出现在工厂和生活中。机器人视觉系统作为智能机器人系统的一个重要系统越来越受到重视。该系统的主要任务是获取实时图像，分析图像，确定机器人的坐标和位置，并向控制模块发送数据。在这项工作中，我们主要研究并设计了几种服务机器人的视觉系统。由于服务机器人具有覆盖范围广、环境光不稳定的特点，在系统执行过程中存在以下困难：1。环境光条件不稳定；处理的数据量大；2.识别对象的图像有严重变形。针对以上问题,国内外研究者先后提出了多种解决方法.2003年,在足球机器人比赛中,美国CMU大学CMUDragon队提出蝶形色标方案,在定位精度与识别目标数量上有明显优势.清华大学王栓等提出基于差分图像的多目标跟踪方法,通过对前后两帧图像进行差分计算,减少了处理的数据量.2003年,Cornell大学提出利用黑白方格棋盘的顶点差分进行畸变矫正,提高了定位的精度.为了解决视觉系统图像分割颜色阈值不确定性的问题,先后有人提出颜色查找表、基于边缘检测和HSI阈值地图的颜色分割等方法.以上方法在足球机器人视觉系统中得到了广泛的应用,并取得了一定成效.本研究针对多服务机器人活动范围广、环境光照不稳定等情况,提出新的色标设计,自动调整颜色阈值,同时引入数字图像形态学方法对识别结果进行优化.最后,通过多服务机器人项目验证了本研究方法的正确性和可靠性.1视觉系统的工作流程视觉系统是机器人系统感知外界环境的主要传感器,它由摄像机、图像采集卡、图像处理程序、计算机和网络通信设备组成.视觉系统的工作流程如图1所示.(1)获取图像,一般采用CCD摄像机作为获取图像的设备;(2)初始化图像分割HSI阈值和摄像头内部参数;(3)根据HSI阈值分割图像,对目标进行识别;(4)利用数字图像形态学方法,对识别结果进行优化;(5)根据识别结果计算机器人的坐标与位姿,并将数据传递到机器人的控制模块.2ccosr-g+b形式基于彩色图像分割的方法识别目标时,要选择合适的颜色空间,常见的颜色空间有RGB,YUV,HSI(HSV),CMY等,颜色空间的选择直接影响图像分割效果.RGB是常见的颜色空间,一般CCD摄像机输出用RGB颜色空间表示,若选择RGB颜色空间,则无须转换.但在实际应用中,由于RGB颜色空间受光源的种类、光照的强度等因素影响,同一颜色属性的物体测出的RGB值分布很分散,3个分量互相关联变化,很难确定识别RGB的阈值范围,容易把并非指定颜色的物体包括进去,或漏掉应该识别的部分物体.HSI颜色空间是接近人眼感知的色彩空间,其中H为色调,I为亮度,S为饱和度.色调属性H能比较准确地反映颜色种类,对外界光照条件的变化敏感程度低,对同一颜色属性物体,H具有比较稳定和较窄的数值变化范围,可以选为主识别参数.但是当RGB值较小,即亮度I较小时,H值不确定,所以亮度I与饱和度S也很重要.本研究选择HSI颜色空间来对目标进行分割,HSI颜色空间模型如图2所示,RGB到HSI的转换公式为Η={arccos((R-G)+R2√(R-G)2+(R-B)(G-B)),B≤G；2π-arccos((R-G)+R2√(R-G)2+(R-B)(G-B)),B>G‚S=max(R,G,B)-min(R,G,B)max(R+G+B)‚Ι=max(R,G,B)255.H=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪arccos((R−G)+R2(R−G)2+(R−B)(G−B)√),B≤G；2π−arccos((R−G)+R2(R−G)2+(R−B)(G−B)√),B>G‚S=max(R,G,B)−min(R,G,B)max(R+G+B)‚I=max(R,G,B)255.在分割图像之前,先确定每种颜色的阈值范围,如红色的H值大概在[0,0.5]的区间.但由于环境光源不稳定的影响,相同红色色标在相同环境中不能完全识别,从而影响识别结果.本研究针对环境光照不稳定和光线分布不均匀两种情况,分别提出了利用四色块和阈值可信度自动调整阈值方法.针对环境光照不稳定的情况,本研究提出利用四色块(红、黄、绿、蓝)通过Otsu阈值法与K-L变换来自动调整颜色空间阈值的方法.系统初始颜色空间阈值设定是通过计算四色块中4种颜色的HSI值得到的.当环境的光源改变时,只需计算四色块(红、黄、绿、蓝)的HSI值,就可以自动调整颜色阈值进行图像分割处理.其计算过程如下:(1)将色块中4种颜色的RGB值转换成HSI值.(2)利用Otsu阈值法选择合适的阈值.无论是单阈值还是多阈值都是针对一维特征图像而言.在HSI颜色空间模型中,H分量表示色调信息,能反映颜色种类且受光照的影响小,因此可先针对H分量对四色块使用Otsu阈值选择法,选择合适的阈值,将四色块分割成4个连通区域.(3)分别对4个连通域进行局部Otsu阈值计算.在HSI颜色空间模型中,I分量受光照影响大,可直接使用Otsu阈值选择法.色度分量为二维特征,其中H为色调特征,S为饱和度特征,H和S特征构成极坐标系.根据人眼视觉特性,色调和饱和度构成颜色信息,所以将二者结合考虑.在运用Otsu阈值法之前先进行K-L特征变换.在HSI颜色空间中,当I一定时,颜色特征就限定在H和S极坐标平面内,其中0≤H≤2π,0≤S≤1.设a,b为给定I分量的直角坐标系,则极坐标到直角坐标转换公式为a=S×cosH,b=S×sinH.若将所有像素的色度特征看作是二维随机向量X(a,b)的样本点,CX为样本协方差矩阵,令ei和λi(i=1,2)分别为CX相同正交特征向量和对应的特征值,并且满足条件λ1≥λ2.记T=[e1-e2]T,T是正交矩阵,则有ΤCXΤΤ=(λ100λ2).以T为变换矩阵对随机向量X作变换,即Y=(Y1,Y2)T是新的随机向量,保留分量Y1并记为色度C.(4)分别对I和C做直方图,使用Otsu多阈值法计算I和C的阈值.以I分量直方图为例,要对分量直方图局部使用Otsu法确定分割阈值,首先要将直方图分段,这里先对直方图中的极大值作判断.由于图像中可能含有的复杂情况,直方图中会存在伪极大值点干扰.比较简单的方法是,若两个极大值之间的极小值大于门限,则将两个极大值合并,取较大者作为极大值.然后,根据直方图中的极大值将直方图分成若干局部区域.这样,在每个局部内就可以使用Otsu法得到一个局部阈值.(5)根据步骤(4)得到的阈值对4个连通域进行局部分割.仍然以I分量直方图为例,对两个阈值之间的像素进行合并,较为简单的方法是取两个相邻阈值的中点.若像素I值在两个相邻阈值之间,则保留此像素点,否则去掉此像素点.在重建的图像中,像素I值在两阈值之间的像素连通在一起就可自动分割到同一区域.(6)经步骤(5)处理,去掉了步骤(2)受光照等因素影响的干扰区域,使连通区域更紧凑.然后,分别利用概率论的知识统计4个区域中的H,S,I值,得到最佳的红、黄、绿、蓝分割HSI阈值.表1为两种光照情况下的HSI阈值统计.图3为本研究中两种不同的光照条件.针对光线分布不均匀的情况,本研究提出利用识别结果建立阈值可信度的方法.如果处理过程中获得了目标标识的全部信息,则称这种信息为完整信息,此时阈值的可信度也相对高一些;反之,如果丢失或无法得到目标标识的信息,则称为碎片信息,阈值可信度就低一些.根据可信度的大小判断阈值是否可用和阈值的变化程度.根据当前识别结果的完整性来确定当前阈值的可信度α,如果当前的识别结果是完整信息,则α为100;如果当前的识别结果是碎片信息,则有α=α×λ,其中λ=识别目标像素数÷待识别目标像素数.可信度有上下限即接受阈值可信度的范围,本研究的阈值可信度范围是[80,102].当阈值可信度不在系统规定的范围内时,系统会根据系统初始化的阈值可信度与HSI阈值对应表自动选取新的阈值.采用可信度后,可以尽可能地利用碎片信息,实时地调整颜色HSI阈值的大小,从而保证了识别结果的连续性和正确性,提高了系统识别的效率和精度.图4为通过自动阈值调整识别的目标结果.通过大量的实验结果表明,针对光源不稳定和光线不均匀的情况,采用阈值色块和阈值可信度的方法,可以大大提高识别效率和精度,如表2所示.3基于直射线精准定位的机器人色标是视觉系统识别的对象.在光照条件不稳定的情况下,色标设计的好坏直接关系到视觉系统是否具有快速、准确、抗干扰性强的特点.在机器人足球比赛中,美国CMUDragon队提出了蝶形色标设计模式,该模式具有以下优点:①非对称色标模式,可以提供更多编码;②定位精度高,利用3点确定一个圆,而4个点的三三组合可以确定构造4个圆,4个圆的圆心位置相加求平均值,确定机器人的中心位置,减少误差和提高精度.这种设计方案在实际应用过程中,由于光照条件不稳定的影响,时常会发生色标丢失的情况.按照这种设计,当丢失一个色标时就无法准确定位机器人,机器人的编码也会发生混淆.本研究从蝶形设计思想出发,针对目标机器人是服务机器人体积大的特点,提出了将3个同色圆作为色标定位的方法.圆形色标具有旋转不变性,图像畸变不会造成圆形重心发生偏移的优点.3个同色圆是指利用3个相同颜色的圆来对机器人进行定位,其中2个大圆,1个小圆,如图5所示.设小圆的坐标为(X,Y),即机器人的位置坐标,两个大圆的坐标分别为A(X1,Y1),B(X2,Y2),则AB与X轴正向的夹角即为机器人的方向角(规定X轴正向顺时针方向为正).3个同色圆定标的方法计算量小,可提高视觉子系统的实时性.另外,可利用三边的和来判断识别目标的正确性.例如,规定三边的和不大于1000mm时,若识别结果三点的距离和为1500mm,则认为本次识别失败,从而可以根据阈值的可信度来调整阈值.4腐蚀和膨胀算法利用摄像头采集图像时,不可避免地产生各种噪声,因此识别出的结果失真率较高,影响定位精度.针对该问题,本研究提出利用图像的形态学腐蚀与膨胀运算对识别出的结果进行优化,从而达到提高识别结果完整性的目的.形态学研究图像几何结构的基本思想是利用一个结构元素与数字图像进行运算,通过运算使数字图像更加平滑.腐蚀和膨胀是最基本的形态学运算,它们互为对偶运算.定义1(腐蚀)A是数字图像,B为结构元素,B对A的腐蚀结果由将结构元素B平移X且包含在图像A内的所有点X组成,记作A⊙B.定义2(膨胀)A是数字图像,B为结构元素,B对A膨胀的结果是由图像A平移b(b属于结构元素B)的所有点组成,记作A⊕B.先腐蚀再膨胀,具有平滑的功能,能清除图像某些微小连接、边缘毛边和孤立点;先膨胀再腐蚀,具有过滤的功能,使数字图像更加连通.图6为数字图像A与B先腐蚀后膨胀的过程.本研究采用先腐蚀后膨胀的方法,对识别结果进行优化,使图像更加平滑.将优化前后的数字图像进行对比,发现优化后的目标图像真值分布更加紧密,使识别结果与目标更加接近;同时去掉了干扰目标的真值,使得识别结果更精确.图7为通过图像形态学运算对识别目标进行优化的结果(未优化则存在干扰项).5多机器人视觉系统本研究分析了影响机器人视觉系统的实时性、准确性等因素,提出了改进方法,并通过国家科技部863项目“家庭生活支援多机器人系统”中的视觉子系统验证了改进方法的有效性.服务机器人视觉主要由三目视觉和顶部视觉两部分组成,本研究主要是关于顶部视觉的研究和开发.服务机器人采用的顶部视觉系统由顶部CCD摄像头(见图8)、IEEE1394卡和图像处理计算机三部分组成,其中顶部摄像机采样为15帧/s,CCD的像素为1280×960,摄像机输出为IEEE1394接口.作为输入设备之一的IEEE1394PCI卡是一个开放的主控制接口(openhostcontrollerinterface,OHCI).顶部摄像机和IEEE1394卡一起工作,采用IEEE1394b协议,在全速状态可达到800Mbit/s的传输速率,保证大批量数据的高速传输.图像处理计算机则为机器人的主控计算机,IEEE1394卡也安装在主控计算机上.目前,本研究设计出的多机器人视觉系统可以同时识别4台机器人,处理速度为200ms/次,精度在2cm左右,在不稳定的光照条件下的识别率为95%.图9为多机器人视