基于颜色学习的机器人位置色标检测系统的鲁棒研究

基于颜色学习的机器人位置色标检测系统的鲁棒研究

服务机器人是当前机器人领域的一个重要研究方向。在某些具有部分固定不变场景的结构化环境(structuredenvironment)中,例如在医院、餐厅等场所,使用服务机器人可以辅助人完成一些拿放东西的工作和任务。针对上述任务研制的TVT03-A型医疗服务机器人如图1所示。机器人的全局视觉系统由两个CCD彩色摄像机、一块四路输入的图像采集卡及彩色色标组成。该机器人采用远程脑控制模式,系统结构如图2所示。这种机器人与工厂使用的自动输送车不同,它不是沿着固定的轨道网络行走,而是基于全局视觉和运动规划算法实现完全自主行走。为此,需要实时地测定机器人当前的方位。本文利用彩色色标作为方位标识,用图像处理方法对其进行实时测定。在目标检测和识别中,颜色作为物体表面的一个特征提供目标的位置或姿态等重要信息。常用的彩色图像目标检测和识别方法大多基于固定的颜色阈值,这种方法简单,处理速度快,但由于空间光线变化的影响,故在目标识别和检测时的鲁棒性较差。本文针对这一问题,提出了在检测和识别过程中进行实时颜色学习的改进方法。1全球视觉系统的硬件结构和系统校正1.1全局视觉系统服务机器人在工作过程中,主要依靠全局视觉系统采集方位信息,进行实时处理,从而获得机器人和被抓取物体的实时位置,并提供给专家系统,作为决策的依据。全局视觉系统由安装在屋顶的两个彩色CCD摄像机、一块图像采集卡组成。在机器人车体上和机械手手上以及被抓物体上贴有不同颜色的圆形色标,其直径为40mm。全局视觉采集系统硬件结构如图3所示。1.2测定网格的建立为了减小全局视觉系统的线性误差,本系统采用“光-像平面自动标定方法”对两个CCD摄像机分别进行了标定。使用边长为50mm的正方形黑白色块构成标定网格,如图4所示。CCD摄像机采用三星SCC-421P,镜头本身的失真度较小,摄像机与地面的垂直距离为2640mm,标定以后其像素水平分辨力为2.33mm,垂直分辨力为2.33mm。2彩色视觉系统的颜色研究和数据处理2.1连续学习的自适应方法在图像处理中广泛使用的颜色空间主要有HIS、YUV、NCC、CMY、YIQ和YcbCr等。其中HIS和YUV模型可较好地反映人眼观察彩色的视觉规律,实际应用较多。其它颜色模型多用于如印刷业、电视系统等方面。但是由于NCC颜色模型是一种最简单的消除像素颜色中亮度分量的方法,使用方便,同时计算量较低,系统实时性高,因此选用了NCC作为图像处理中的颜色模型。但是在同一光源的不同光照角度,同一颜色物体表面的R值和G值都会存在较大变化,给识别带来很大困难。也就是说,如果采用通常固定阈值的方法,那么对光照条件要严格要求,一般很难做到。针对这种情况,该系统采取了连续学习的自适应方法:在识别物体的同时,不断学习被识别色标的R值和G值变化,用新的阈值代替先前的阈值,这样能够克服由于亮度变化带来的颜色误差,其原理模型如图5所示。对于结构化的环境来说,只要光照强度连续变化,对系统经过实验调整,效果是可靠的。2.2图像的局部跟踪该方法是在NCC颜色空间中完成的,只是为了编程处理方便,在对R、G、B归一化处理时,将r和g值与一因子相乘,控制量化后的值分布在0~255之间,如式(1)和式(2)示。rˆ=αRR+G+B(1)r^=αRR+G+B(1)gˆ=αGR+G+B(2)g^=αGR+G+B(2)其中,α是比例因子,α=255。根据色标区域的密度分布,确定出一组高低阈值(rl,rh,gl,gh)。密度分布可以近似为一种高斯分布函数,假设每个像素颜色是一个高斯分布,通过计算出它的均值μ及方差σ,再根据式(3)及(4)确定阈值。rl=μr-σr,rh=μr+σr(3)gl=μg-σg,gh=μg+σg(4)在图像处理程序中,用户先用鼠标点击图像中的色标,以此选取颜色特征量作为视觉系统学习的初始阈值,然后学习过程自动进行。在理想情况下,学习过程要对空间位置变化后的被识别色标所有像素的R值和G值进行计算,得出NCC颜色空间的r值和g值的阈值范围[rl,rh]和[gl,gh]。R、G、B表示每个像素的红色分量、绿色分量、蓝色分量。为了减小计算量,在前一次色标位置阈值的基础上先把圆形色标的圆心点找到,然后取这个圆心的邻近区域的像素用式(1)~(4)进行r和g的阈值计算。像素选取如图6所示,区域为64(8*8)个像素的正方形大小。通过颜色学习,可以对机器人上几个目标颜色同时进行跟踪和信息提取,学习过程是实时完成的。通过学习,视觉系统对物体进行检测和识别时,适应性和准确度都有较大的改善。对色标的位置跟踪识别,采用了局部区域跟踪法。即:以上一次图像处理得出的色标坐标数据为中心确定一个搜索区域,这个区域的大小与机器人行进的速度和图像处理所需的时间有关。在这个搜索区域里,搜索色标的中心位置以此来获得位置信息。基于统计量的位置特征量计算:将二值图沿笛卡尔坐标系中的x,y轴方向投影,分别形成两个投影直方图,该直方图描述属于某个目标的像素沿相应轴的空间分布状况,如图7所示。被分割出来的目标区域的中心,可借助统计度量方法从两个直方图中计算出来。计算方法如式(5)、(6)。xi和yi表示第i个像素x和y坐标,hx(i)和hy(i)表示第i个像素在x、y坐标上的概率大小,xc和yc表示目标区域的中心x、y坐标。xc=∑ixihx(i)/∑ihx(i)(5)xc=∑ixihx(i)/∑ihx(i)(5)yc=∑iyihy(i)/∑ihy(i)(6)yc=∑iyihy(i)/∑ihy(i)(6)机器人在两个摄像机范围内工作时,考虑到图像处理速度问题,没有对两个摄像机的图像进行拼接,而是采用软件实时切换输入信号源路的办法(图像卡上可同时输入4路视频信号,可选择使用任意一路信号)。当机器人处于两个摄像头视野的相邻边界时,根据机器人本体上头和尾两个色标,来判断机器人所处的位置,当机器人尾部的色标完全离开一个CCD摄像头视野范围后,软件发出切换命令用另外一个CCD摄像头的信号作为源路信号。3固定阈值检测该系统共选用了5种颜色分别作为颜色识别中的色标颜色。该视觉系统的软件算法先使用Matlab进行验证,取得较理想的结果后,再使用VC进行软件编程。验证时使用视觉系统图像采集卡中调整图像亮度的函数,亮度调整范围是0~255,采集多幅变量度的图像,如图8(只列举了2幅图像)。如果以亮度为165的图像中的色标颜色为固定阈值对原始图像中进行分割,得到的多重彩色二值化图像,如图9(图中只显示了原始图像中的虚线部分)示。从图9可见,在亮度为165的图像中1号~5号色标均能识别出来,但使用亮度为165色标颜色固定阈值在亮度为145的图像中进行色标识别时,1号、2号、5号色标识别效果差。由此可见,本系统使用固定阈值对图像分割不理想。图10(图中只显示了原始图像中的虚线部分)是使用学习自适应的方法分割后的图像,该方法能够较好地克服亮度变化带来不利影响,能够准确识别出不同亮度下的色标。通过实验和调试,位置检测时摄像机视野中心范围(500mm×500mm)x方向最大误差为5mm,y方向最大误差为5mm,摄像机视野边缘(200m