一种新的机器人视觉系统设计方法

一种新的机器人视觉系统设计方法

足球机器人主要由四个部分组成：机器人系统、视觉系统、无线通信系统和决策系统。4个子系统构成一个闭环控制系统。决策系统是闭环系统的控制器,足球机器人是系统的执行机构,视觉子系统是检验环节,无线通信子系统则是决策子系统和足球机器人之间的桥梁。在这种实时交互的多智能体合作系统中,视觉系统起非常重要的作用。整个机器人足球系统要解决的问题有2个:Where和How。视觉系统要解决的问题是我在哪里?它们在哪里?(WhereamI?Wherearethey?)。就是要把目标的位置和运动信息找出来;至于如何踢(Howtokick),那是其它部分应该解决的问题。1实现信息传递和患者选择决策系统,进行信息传递,进行有效描述视觉子系统是整个足球机器人的眼睛,是系统获取外界信息的通道,它不断采集图像,对图像进行分析处理,完成目标识别和跟踪,并把得到的目标信息传递给决策系统,决策系统得到的是一个图像序列,决策系统必须根据这些图像序列确定各个目标的位置和运动信息,从而向小车系统发出命令。多目标视觉跟踪是多目标跟踪的理论和方法与计算机技术的结合,其目的是对图像序列进行分析,连续跟踪图像的运动目标。1.1卡尔曼滤波器窗口跟踪根据多目标跟踪数据关联理论,以目标当前位置和运动信息,采用滤波器预测目标下一帧图像的位置,并采用动态窗口跟踪,缩小目标搜索范围,并用新的观测值去修正预测结果。滤波器经常采用传统的卡尔曼滤波器,也有用其它滤波器,例如α-β-γ滤波器。利用卡尔曼滤波器对当前已被跟踪的目标的下一步运动进行预测,以缩小目标搜索匹配的范围,加快目标匹配的速度,实现目标的连续跟踪,这种方法已经被应用在机器人足球视觉子系统,它只需在开始时进行一次全场搜索,而且效率较高。然而,这种窗口跟踪方法有一个致命的缺点:除第一场外,后面的每一场都依赖于它前面的一场。所以,一旦某一场图像丢失或者某场图像某一目标的丢失,就会导致后面的所有或者某个目标跟踪无法正确进行。1.2目标图像的正交投影这种方法的思想是识别图像序列中目标的特征,对多目标进行连续跟踪。例如利用投影特征的形心跟踪方法、实时标记的多目标测量跟踪和加权修正模板的图像相关跟踪等。目标图像的正交投影是一种简单有效容易实现的特征提取方法。利用投影特征可以方便地计算目标图像的中心位置、姿态角和形状特征,这种方法也被引用到机器人足球视觉子系统中。然而,它存在效率较低的缺点,并且当目标较多,特征差异较小时,同样会出现识别困难,可见,这种方法依然很难解决跟踪错误的问题。2新型视觉系统的设计方法2.1解决转换问题机器人足球比赛的发展趋势是逐步增加机器人的数目。队员增加的直接后果就是色标区别减小,区分难度增大,而且容易混淆。图像分割阈值选取困难,尤其是在颜色漂移严重的情况下,颜色相近的物体RGB空间出现重叠,无法找到一个全局的最优阈值。虽然,进行颜色空间从RGB到HIS转换原则上可以解决这个问题,但是由于转换的运算量大,难于实时性实现而无法在当前机器人足球系统中完全实现。减少颜色样本,可以避免目标颜色的相似性,减少了颜色漂移与重叠。划分小车运动区域可以减少需用的颜色样本。比如,在MiroSot5对5的比赛中,通常的机器人足球视觉系统要识别11个目标。如果把球场划为进攻域和防守域,如图1(a)所示,则可以把防守域和进攻域分别安排两个己方机器人,不同域的机器人当然不会混淆,我们不用区分不同域的小车的队员色标;如果把进攻域和防守域再分为两部分,如图1(b)所示,在4个不同域里各安排一个机器人,则这4个机器人不用队员色标都可以区别。然而,这样会造成双攻双守(二域化)或者单攻单守(四域化),因为己方球员被限制在各自的运动域,在敌方兵力比较集中的时候容易造成寡不敌众。如果让这些域随着机器人运动,也就成了下面改进的动态窗口跟踪法,如图1(c)所示。2.2改进的窗口跟踪方法2.2.1下一步的运动针对原有窗口跟踪法容易产生跟踪错误,可以采用以下改进的窗口跟踪方法:如图1(c),在5对5的机器人足球比赛中,小车的最大速度是2.1m/s,如果采用60场/min的图像采集速度,相邻两幅图像的对应点最大位移是3.5cm;因此,可以把机器人假想成一个底面直径为7.5+2nL(n为整数,L为相邻两幅图像对应点的最大位移)的圆柱体,把这样的一个运动的窗口看作小车,同时考虑不让它们碰撞,(只考虑己方小车),根据这个直径为7.5+2nL的圆,由当前小车的速度和方向来确定下一幅图像小车可能出现的位置范围,则在下一个跟踪窗口的范围内,只可能有一个己方小车,这样就避免了目标跟踪出错,准确地跟踪己方的小车。在这种情况下,只要确定了己方小车的初始位置,就可以准确跟踪,辨认出自己一方的小车,就可以省去队员色标而仅使用队标,从而省去了通过辨别颜色来识别己方队员编号的复杂过程。这样,要辨别的颜色目标由7个减少为3个(即球,对方队标,己方队标)。这样就大大减少图像处理的运算量,提高辨认的准确性与视觉系统的实时性。由于所用色标少,颜色对比鲜明,一般不会丢失目标;万一本场图像搜索失败,下一场图像以原来目标中心点为中心的窗口进行搜索,直到搜索到目标;如果再失败,依然在原窗口内进行搜索。如果接连n场依然无法搜索到本方某个机器人,则强制其速度为0,使其处于原地,并使别的己方机器人避免碰撞该窗口。直至在此窗口能够搜索到丢失的机器人,再使其继续踢球。这样可以把因丢失本方机器人而造成的损失降到最低限度。2.2.2确定步长的依据对方小车和小球的初始位置可以用网格搜索法确定,网格搜索即对所捕获的图像自上而下,自左而右以一定的步长(step)间隔扫描而不是全图逐个像素搜索,从而缩短处理时间,加快处理速度。但是,网格搜索中必须合理选择步长,如果步长太小,则搜索的像素点增加,会增加搜索时间;反之,如果步长太大,可能会漏掉目标物体。为此,确定步长的根据就是在最坏的情况下目标也要被扫描到一个点。按照规定,小车队标设计的中心应可以内嵌一个3.5cm的正方形。对于小车,所能选择的最大步长是这个正方形的内接圆的内接正方形边长;对圆形的球,所能选择的最大步长则是圆内接正方形的边长。小球的直径是4.27cm,如果按小球考虑,最大步长应为3.0cm;如果按队标考虑,所能选的最大步长应为2.8cm。考虑到比赛时允许机器人吞掉小球的30%,如图2所示。在这种情况下,可以取未被吞掉部分的内接圆的内接正方形的边长为步长,这个长度大约是2.3cm。显然,这个尺寸取得偏于保守,但是考虑到有时候小球会被机器人遮挡一部分,为了在网格里能同时搜索到小球和对方队员,可以把步长定为2.1cm。这个步长大约是6个像素,考虑到经常得到的是场图像,应该把竖向的步长修改为3个像素点。仅此,要搜索的点一下子就变为原来的1/18,大大减少了搜索目标的时间。如果搜索失败,则减小步长,重新搜索。2.2.3生成场球的位置由于小球的颜色是唯一的,因此不会与其他目标混淆;同样,因为只考虑对方小车的队标而不区分队员,所以在比赛过程中对它们的搜索可以使用一般的动态搜索窗口,以它们前一场位置建立搜索窗口。如果在某一场图像搜索失败,对于小球,由于每一场都不能丢失,如果当前场小球没在窗口内,或者整个场上没有小球,则检查搜索窗口内有无机器人(包括对方机器人),并按照下列步骤处理:步骤1如果窗口内没有任何机器人,则将认为当前场球的位置在前一场位置。步骤2如果搜索窗口内有一个机器人,则认为小球被机器人遮挡住了,一旦发现这种情况,把机器人的遮挡点视为球的位置,并且考虑机器人的遮挡点根据场地中的位置不同而变化。步骤3如果窗口范围内有多个机器人存在(包括对方机器人),并且其中两个的距离小于10,则认为小球夹在两个机器人中间,一旦发现这种情况,将二者距离的中心位置设置成小球的位置。同时寻找并占领有利的传球或射门地点,一旦目标出现,迅速击球。对于对方小车,处理方法相对简单,如果当前场在窗口丢失,则利用网格搜索法重新在全场中搜索。2.2.4筛选视角位置在这种视觉系统中,必须得到本方小车的初始位置。那么,如何确定己方小车的初始位置呢?可以通过“调兵遣将”的方法做到。在比赛开始前,通过点击预备按钮,首先搜索小球位置,因为球的位置告诉系统现在是开球,点球,争球,还是罚球。由主机根据小球的位置,按照预先设置好的阵形,把小车一个一个地安排到某个位置。这样就得到每一个己方小车的初始位置。如图3所示。2.2.5第1种色标方案2种目前在足球机器人比赛(FIRAMiroSot)中,色标设计有多种,常见的主要有如图4所示的3种。色标中浅色为队标,一般为黄色和蓝色。图中用数字1表示;深色为队员标志,可以选择队标和球以外的任何颜色,图中用数字2表示。由于色标颜色已知,饱和度高,一般通过颜色分割不难找到。第1种色标方案靠识别三角形队标的中心来确定机器人质心,通过三角形钝角指向来确定机器人运动方向;第2种色标方案几何中心的计算方法是通过统计的方法求得的。对于角度的计算比较复杂,利用补偿逼近的算法;第3种色标方案中心的辨识是靠分别辨识队标和队员标志的中心,通过两个重心来获得机器人的质心和角度,并且通过队员标志的特征颜色来确定车号。第1种色标方案由于小车的质心位于队标的中心,而且运动方向也可以由队标给出:首先搜索到三角形的3个顶点,然后得到3边的中点,取各个顶点与对边中点的连线,任一连线从顶点到对边中点的2/3处即为机器人中心,其中从中点到顶点的最短的连线决定机器人运动方向。这样,完全由单一色标来获取辨识结果。这正是所需要的,因此可以选择第1种色标方案。3改进视觉方法n值正确地选择n值是关键,n值过小,有时候由于图像系统的噪音以及场外变化光线的干扰而会丢失目标;但是,如果n值过大,小车的灵活性就会变差,就像道路交通拥挤,出现“堵塞”现象,并且图像处理的运算量也随之加大。表1是以改进视觉方法在n取不同值时与原方法进行的21场比赛。表格内是比分。实验表明:n值取3～5时效果较好。4在热码和初始位置区分争议更进一步,由于把要辨识的目标分为3类:对方队员,己方队员和球。对于对方队员,不需要考虑队员号;对于己方队员,通过活动窗口和初始位置区分队员,所以,也只需要队标。这样要识别的目标就只有3个。由于要识别的目标少,可以不用彩色信息,仅靠形状进行识别,直接在灰度图像下进行处理。由于在灰度图像下所有对方队员队标和队员标都是一样的,因此在灰度图像下就可以识别对方队员;本方队员则可以靠单一的色标提供位置和方向信息。在这种灰度图像下将大大提高图像处理速度,从而提高整个系统的实时性和准确性。5基于域划分的动态跟踪本文提出了一种按假想尺寸避免碰撞的视觉设计方法,把视觉系统要辨别的颜色目标减少到3个,这种方法在7对7,11对11的多机器人比赛系统更能体现它的优点。这种方法根据小球和机器人的不同特点,对它们采用不同的搜索方法。针对小球颜色特殊,不易和其它目标混淆,采