robocopf180小型组足球机器人视觉系统的设计

robocopf180小型组足球机器人视觉系统的设计

1主要难点及改进方法macwhe教授在1992年首次提出了机器人的概念。研究目标是在20世纪50年代组建一支完全独立的机器人公司，以获得当时的人类冠军。这项研究的目的是促进机器人学、人工智能、多信息集成、机械视觉等领域的发展。在RoboCup小型足球机器人系统中,视觉子系统的主要任务是:通过实时获取和分析场地图像,确定机器人和球的方位,提供给策略子系统做出准确判断,以控制机器人.要实现这个系统有以下难点:(1)环境光照是未知和实时变化的,而且存在大量干扰,要求视觉具有良好的鲁棒性.(2)需要处理的区域大而待识别的目标小,图像中每个像素对应的场地物理尺寸为6.6mm,而目标大小通常为十几至几十个像素.(3)在图像存在严重畸变的情况下,定位精度要求很高,一般在毫米级.(4)目标运动速度快,实时性要求很高,机器人的速度可以达到3m/s,球达到5m/s以上.(5)识别的对象多,需要跟踪的目标包括10个机器人和1个球.综上所述,小型足球机器人的视觉系统对实时性、准确性、稳定性、对光照的适应性都有很高的要求,需要解决图像获取、色标设计、畸变矫正等关键性问题,以提高定位精度和对光照的适应能力.针对以上问题,国内外先后提出了多种解决方法.2003年,美国CMU大学的CMUDragon队提出了蝶形色标方案,并对各种色标进行了比较,证明了蝶形色标在定位精度和编号数量上的优势.在实际使用过程中,由于光照不稳定和存在阴影,以及低成本的摄像机图像质量较差,使搜索结果中常出现部分色标丢失的情况.为了在部分色标丢失的情况下仍能够准确判断机器人的编号和方位,本文对蝶形色标进行了改进,在处理过程中引入了可信度,提高了准确识别的概率.对于畸变校正问题,2003年Cornell大学队利用标准黑白方格棋盘的顶点差分进行畸变矫正,但是为了提高精度,这种方法需要进行大量的人工操作以获取顶点的精确图像坐标,而且随着比赛场地扩大,用标准棋盘覆盖整个场地变得不现实,所以本文尝试了Tsai的基于摄像机模型的畸变矫正方法,极大地提高了定位精度.本文首先介绍浙江大学小型足球机器人系统视觉子系统的组成结构,然后依次介绍了双摄像机视觉系统的构建方法、蝶形色标的改进方法、利用历史信息确定当前信息可信度的方法以及畸变矫正方法和实验结果.2基于场地信息的畸变矫正.视觉子系统由摄像机、图像采集卡、运行图像处理程序的计算机三部分组成.比赛前,利用现场图像确定各种颜色的阈值,同时在场地上选取关键点,获取它们的场地坐标和对应的图像坐标,计算畸变矫正相关参数.比赛中,摄像机实时采集场地图像,图像处理程序根据设定的阈值,采用局部搜索和连续搜索结合的方式,搜索和分析图像中代表机器人的色块,确定机器人的方向和编号,再调用畸变矫正参数来完成畸变矫正,并将图像坐标转换为场地坐标.同一时刻获取的两幅图像处理完后,进行两幅图像信息融合,得到一个完整的场地信息.最后视觉系统得到的信息通过网络传递给决策程序.系统流程图如图1所示.3分布区域的同步为了适应新规则,本文采用了双摄像机.2004年新的国际比赛规则中增大了场地的尺寸,由过去的2.8m×2.3m增加到4.9m×3.4m,加上边线外围到边墙之间0.3m宽的机器人可活动区域以及考虑到机器人的高度,视觉需要处理的范围要略大于5.5m×4m,摄像机安装高度由3m增加到4m.所以过去的单摄像机视觉系统不再适用.如果采用单摄像机,存在以下缺点:(1)要求镜头的焦距短,视角大,合适产品很少,而且所得到的图像畸变更加严重.(2)球容易被机器人挡住,使视觉子系统捕捉不到球的概率增加.(3)单位像素对应的物理场地尺寸增大到8.7mm,而机器人色标大小不变,使定位精度下降.基于以上原因,需要采用双摄像机,每个摄像机覆盖一个半场,每个像素对应的物理场地尺寸是6.6mm,畸变程度也会减轻.双摄像机视觉系统需要考虑两个摄像机的同步和数据融合问题.程序由两个子线程和一个主线程组成,每个子线程完成一个摄像机的初始化、图像的连续采集和处理.每个线程拥有一个信号量,当它处理完一幅图像后,将信号量置1,等待主线程读取数据.主线程等待两个子线程的信号量都置为1后,开始读取数据,进行数据融合,然后将信号量重新置为0,子线程又开始处理新的图像数据.每个子线程拥有两个内存块,图像采集和处理可以并行进行,形成双流水线结构.在两个摄像机视场的重叠区域,本方机器人因为有ID标可以辅助判断编号,所以可以判断两幅图像中的机器人是否是同一个机器人,而对方机器人很难通过ID标确定编号,所以只能通过它们的场地坐标的距离来判断是否是同一个机器人,如果小于一个设定的阈值,就可以认为是同一个机器人.球的处理也采用同样的方法.由于机器人和球的运动速度极快,在图像中会产生运动模糊,甚至一个球在图像中会变成两个,这是因为一帧图像由奇数场和偶数场组成,奇数场和偶数场的时间间隔16.7ms,在这段时间内机器人和球的运动距离可以达到50mm甚至80mm以上,大于色标和球的直径,所以进行图像处理时只处理图像的奇数场,以避免这种情况.4色标编码和号码色标是视觉子系统识别和跟踪的对象,用于区分和准确定位机器人.视觉子系统能否实现快速、准确、抗干扰能力强,和色标设计的好坏有很大关系.利用色标进行定位的精度要求一般都要达到子像素级,并尽可能地减小随机误差.2003年,CMUDragon对当时已有的几种色标设计模式进行了比较,提出了蝶形色标的设计模式,如图2所示.它有以下优点:(1)非对称色标模式,可以提供较多编码.当使用的颜色数目为n时,蝶形色标提供4n种编码方式,也就是说最多可以区分4n个机器人,n越大,和其他色标设计模式相比,提供的编码方式越多.(2)不用判断ID标形状,只需求出重心位置,减少了计算量.(3)定位精度高.4个ID标共圆,理论上圆心位置在机器人中心.根据三点确定一个圆,4个ID标三三组合可以构成4个圆,4个圆心位置和中心队标的位置相加求平均值,确定机器人的中心位置,可以减少随机误差和图像量化带来的系统误差.在确定机器人正方向的时候,将相距较远的ID标两两连线,将所得矢量分别旋转一定角度,使其朝向正方向,这些矢量相加所得就是机器人的正方向.实验证明,在确定机器人中心位置和正方向方面,蝶形色标的精度远高于其他色标设计模式.在实际使用过程中,由于场地光照条件不稳定和场地上阴影的影响,以及低成本的摄像机提供的图像质量较差,时常发生色标丢失的情况.按照CMUDragon的蝶形色标设计,丢失一个ID标就无法准确定位机器人,机器人的编号也会发生混淆.因此,本文对蝶形色标做了一定改进,目的是在4个ID标中任意一个丢失的情况下,仍可以准确地判断每个机器人的方向和编号,不会混淆.首先选用2种颜色作为ID标.使用尽可能少的颜色可以减少采样工作和程序的复杂程度.为了便于说明,本文给每种色标排布设定一个数字编码.分别用0和1代表两种颜色,设定左上角的色标为起始色标,将色标按顺时针方向排列,然后将颜色代码对应填入,得到一个编码,由这个编码可以确定机器人的编号.如图2所示,用颜色0和颜色1作为ID标的颜色,分别用1和0表示,ID标的排列顺序为P3(1100),根据该编码可以确定这组色标代表的机器人编号.ID标颜色数目为2时,蝶形色标可以有16种组合,对16种组合进行编码筛选,需要选出至少5种组合表示5个机器人.构造一个超立方体,16种组合按编码顺序标注在立方体的16个顶点,寻找立方体中两两不相邻的顶点,可以选出满足要求的组合,共有8个.在表1的编码中,如果删去其中第一列,由剩下3列组成的每行编码都是唯一的,也就是说,如果第一列所代表ID标丢失了,仍然可以通过剩下的3个ID标唯一地确定一个机器人的编号.删去其他任何一列也会得到同样的结果.因此,采用新的色标能有效地提高对本方机器人的识别率,如表2所示.CMUDragon队提出用圆形作为ID标时,认为圆形有以下优点:旋转不变性和图像畸变不会造成圆形重心发生偏移.但实验证明圆形并不是最好的选择.大多数时候机器人旋转都围绕机器人中心,而不是以ID标为中心,所以无论是选用圆形色标还是其他形状的色标,在旋转时都会产生形变.一般ID标的最大尺寸是50mm,在图像中对应最多8个像素,即使在图像中畸变最严重的区域,同一个ID标上各点的畸变差异也很小,可以忽略不计.而随着场地扩大,色标在图像中相对变小,增大色标面积也就意味着提高识别的精度,所以本文采用了扇环形色标作为ID标.以机器人中心为圆心,做直径50mm的圆形ID标的外接扇形,作为新的ID标,这样色标面积是圆形的1.3倍,重心位置沿原ID标圆心和机器人中心连线向外移动,不仅增大了色标面积,而且增大了ID标重心间距,提高了定位精度.5碎片信息的使用虽然在色标设计过程中考虑了容错性,但如果丢失的ID标数目大于1或者队标丢失,原有的算法也无法处理.如果一次处理过程中得到了一个机器人的队标和所有ID标的信息,这种信息就称为完整信息;如果队标或者部分ID标丢失,这样的信息就称为碎片信息.如果得到碎片信息,通常的方法就是再进行一次全局搜索,但是全局搜索计算量大,用时多,有时也并不能得到完整信息.另外,策略子系统中对机器人和球的轨迹进行预测,它要求视觉子系统提供的信息要尽可能连续.所以碎片信息也要尽可能得到利用,但问题是怎样的碎片信息是可用的?什么时候需要进行全局搜索?解决以上问题的方法是对每一个得到的信息确定一个可信度,根据可信度的大小来判断该信息是否可用.当前信息的可信度是根据对应的前一个信息的可信度和当前信息的状态来确定的.如果当前信息是一个完整信息,那么在对应的前一个信息的可信度上加1就得到当前信息的可信度;如果当前信息是一个碎片信息,则在对应的前一个信息的可信度上减1.可信度有上限,大于上限值后就不再增加.如果当前信息的可信度大于一个设定的阈值,该信息可用;反之,如果小于该阈值,则该信息无效.这样即使得到的是碎片信息,但是如果对应的历史信息多为完整信息,使得当前信息的可信度高于阈值,那么该信息仍然可用.这样做的依据是机器人的运动轨迹是连续的,虽然视觉子系统按照固定的频率采样得到的机器人方位是离散点,但从前后两幅图像中得到的方位相差应该不大,所以根据前一幅图像中机器人方位进行局部搜索得到的信息,即使是碎片信息,可信度也是相当高的.如果连续得到碎片信息,那可信度就会不断下降,小于设定阈值后信息就会被视为无效,需要进行全局搜索来寻找机器人.采用可信度后,可以尽可能地利用碎片信息,保证提供给策略子系统的数据的连续性,而且可以避免过多地调用全局搜索函数,提高了效率和识别率,如表2所示.6基于摄像机模型的畸变矫正方法从图像中直接得到的是二维的图像平面坐标,单位是像素,而对机器人进行控制是基于三维的场地坐标,单位是毫米,即需要将二维的图像平面坐标转换为三维的物理场地坐标,而由于镜头往往存在严重畸变,所以需要进行标定和畸变矫正.2003年,Cornell大学队利用标准黑白方格棋盘的顶点差分进行畸变矫正,但是为了提高精度,需要进行大量的人工操作以获取顶点的精确图像坐标.图像配准是在医学图像处理中应用得较多的一种方法,对平面图像的矫正可以得到较好的效果.但是Cornell的方法和图像配准都有一个缺点,就是不能解决机器人的高度带来的投影问题.由于机器人是有高度的,在图像中得到的机器人顶部图像是它相对于摄像机在场地上的投影,而策略子系统需要的位置是机器人中心在场地上的坐标.一个解决方法是根据三角形相似原理推算出机器人中心的坐标,前提条件是知道摄像机的高度,而且摄像机的光轴必须垂直于地面,图像的中心必须对应垂点.但是实际比赛中这些条件都无法满足.比赛中多个队共用一个场地,不能保证所有队的摄像机都在半场中心的正上方,而且摄像机光轴也不可能保证与地面垂直,所以利用三角形相似原理计算得到的机器人位置不准确,特别是由于球和机器人的高度差,造成计算得到的两者相对关系不准确,给策略的控制效果造成很大影响.还有一种根据图像中直线特征来进行畸变矫正的方法,也是仅仅针对二维平面的图像,不能解决二维图像坐标到三维场地坐标的转换.所以本文采用了Tsai的基于摄像机模型的畸变矫正方法.在Tsai的畸变矫正方法中,利用一些外部参数和内部参数来表示三维场地坐标系和二维图像坐标系之间的关系,其中外部参数包括偏转角φ、俯仰角θ、滚转角ϕ(它们可以用旋转矩阵R来表示),以及偏移向量T(Tx,Ty,Tz);内部参数包括有效焦距f、径向畸变系数ki、不确定尺度因子sx、主点(Cx,Cy).Tsai的方法是两步法.第一步根据径向投影的平行原理,求出外部参数R、Tx、Ty,第二步先忽略ki,利用线形方程求解f和Tz的近似值,然后利用Levenberg-Marquardt最优算法求出ki、f、Tz的精确值.一般情况下只考虑一阶径向畸变,也就是只需计算k1的值.改进后的Tsai算法利用最优算法求解所有内部参数和外部参数的精确值.Tsai的方法还有一个优点,它可以利用来自同一幅图像的共面点来求解参数,而相当多的畸变矫正算法需要非共面点.在RoboCup的比赛中,一般都在场地平面上提取关键点,摄像机也不能移动,所以Tsai的方法在RoboCup的比赛中更加适用.首先固定好摄像机,在场地上选取关键点,一般选择在场地边线和中线上,分布的区域尽量广,获取关键点的场地坐标(Xw,Yw,Zw)和对应的图像坐标(xi,yi),其中Zw全部设为零.然后利用Tsai的算法解出R、T、f、Cx、Cy、ki、sx.比赛中从图像得到机器人的图像坐标,利用摄像机模型的反变换,将机器人的实际高度值代入Zw,就可以解出机器人在场地上的位置Xw、Yw.采用这种方法可以极大地提高精度.畸变矫正前和畸变矫正后的位置数据比较见表3.机器人的方向是非常关键的,它影响机器人能否准确地控球和射门.方向由ID标的位置计算得到,所以受畸变的影响很大.在计算角度前,要对每一个ID标的位置进行畸变矫正,否则结果会有较大偏差.畸变矫正前和畸变矫正后的角度数据比较见