RoboCu中型组足球机器人视觉和决策系统的与设计

RoboCup中型组足球机器人

视觉和决策系统的研究与设计指导教师：王明顺副教授答辩学生：崔金柱东北大学控制理论与导航技术研究所硕士学位论文答辩演讲的结构首先足球机器人比赛中型组足球机器人的系统结构然后主要内容：视觉子系统和决策子系统最后本文的工作进行简要的总结足球机器人的背景1992年，加拿大不列颠哥伦比亚大学的AlanMackworth教授在国际上首次提出了足球机器人的概念。1996年，在日本名古屋正式成立了“机器人足球世界杯”(theRobotWorldCupSoccerGames,RoboCup)。1997年6月，第二届微型机器人足球比赛在韩国举行，在此期间，国际机器人足球联盟(FederationofInternationalRobot-soccerAssociation,FIRA)宣告成立。RoboCup和FIRA两个组织每年各举办一次国际性的足球机器人大赛。RoboCup足球机器人仿真组SimulationLeague小型组SmallSizeRobotLeague

中型组MiddleSizeRobotLeague 四腿组SonyLeggedRobotLeague

类人组HumanoidLeagueRoboCup机器人比赛RoboCup中型组足球机器人的研究意义中型组足球机器人的系统组成中型组足球机器人机械结构图

中型组足球机器人的系统组成中型组足球机器人控制系统图主要内容视觉子系统任务分析RoboCup中型组足球机器人比赛场地

视觉子系统任务分析畸变的二维图像每秒数十幅图像物体重叠移动的视场视觉子系统主要内容全向视觉传传感器全向视觉传传感器及其其几何模型型全向视觉传传感器常规曲面反反射镜优缺缺点对照表表曲面优点缺点

球面加工容易，散光小；有一个焦点，不需要有大的焦距就可以获得聚焦图像；全向图不能转换成常规的透视图像；全向图的边缘有畸变；锥面加工容易；可以多面镜子构成镜面阵列；散光大，没有焦点；全向图不能转换成常规透视图像；需要有大焦距才能获得聚焦图像；双曲面全向图可以转换成常规透视图像；曲率小时散光不是很大；是最适宜于标准摄像机的光学系统；加工困难；双曲线的焦点需要放置在摄像机的中心位姿，所以其设计不灵活；抛物面全向图可以转换成常规透视图像、圆柱图像；抛物面镜加远光镜头是最理想的光学系统；加工困难；远光透镜价格昂贵；全向视觉传传感器垂直等比镜镜面设计示示意图水平等比镜镜面设计示示意图全向视觉传传感器全向反射镜镜实物F=.184619949720554717236095e-7*t^6-.269431886051147321750479e-5*t^5+.155724546553826165631862e-3*t^4-.444945845266700619469180e-2*t^3+.684349249083256727654856e-1*t^2+.144231514843774888401384*t-.897810363982420589490374e-1曲面函数F(t)主要内容彩色图像目目标识别常用的彩色色图像分割割准则：（1）RGB颜色空空间分割基于CLUT的颜色色空间分割割优点：速度度快，图像像二值化简简单缺点：对环环境的适应应性差（2）HSL颜色空空间分割基于阈值的的颜色分割割优点：便于于阈值拓展展，对环境境的适应性性好缺点：速度度慢彩色图像目目标识别RGB空间间和HSL空间分割割方法的综综合利用：：（1）利用用HSL颜颜色模型建建立完备的的RGB空空间上的CLUT—建立CLUT时，，先将颜色色采样数据据从RGB空间转换换到HSL空间—然后根据据经验进行行阈值拓展展，求出合合适的HSL空间上上的阈值—然后将该该阈值区间间上的所有有点转换到到RGB空空间并填充充颜色查找找表（2）颜色色分割采用用基于CLUT的RGB空间间的分割方方法彩色图像目目标识别基于CLUT的动态窗格格目标搜索索算法（1）搜索索起点：上上次目标的的中心位置置或图象中中心；（2）从起起点起，上上下左右各各外扩s得得到起始搜搜索窗格Ak－1；（3）搜索索完成后若若没有发现现目标，外外扩一圈，，依次搜索索Atop、Aleft、Aright、Abottom；（4）依次次类推，直直至搜索完完整幅图象象。彩色图像目目标识别基于CLUT的区域生长长算法（1）选取取种子点；；（2）以为为中心心，考虑4邻域像素素，，，，，，，，如果该点未未被处理且且符合生长长准则，将将该点与之之合并，同时时将该点压压入堆栈；；（3）如果果堆栈不为为空，从堆堆栈中弹出出一个像素素，把它当做；；回到步步骤（2））；（4）区域域生长完毕毕。彩色图像目目标识别基于CLUT的变步长区区域生长算算法如果我们在在区域生长长的时候，，对每个种种子点处理的的不是其4邻接像素素，而是是在垂直或水平平方向上与与其隔一个个象素的点点，我们称生长长步长为2。当目标面积积较大，超超过一定的的阈值时，，则改用较大大的步长。。彩色图像目目标识别颜色面积颜色重心内径外径经度边界1经度边界2主要内容视觉子系统统的软件实实现决策进程进程1进程0视觉进程系统初始化人系统设置坐标变换数据发送仿真显示图像采集颜色分割目标识别位置标定线程1线程0Socket人机交互消息启动视觉子系统统的软件实实现xd（x）（cm）xd（x）（cm）xd（x）（cm）1030731701283001950821901363202870912101443403790100230152360461101082501603805513011627016840064150124290185500距离标定实实验数据和和曲线视觉子系统统实际运行行效果原始图像区域生长分分割效果视觉子系统统实际运行行效果变步长区域域生长分割割效果物体在机器器人坐标系系下的坐标标

坐标目标实际坐标定位坐标极径厘米角度度极径厘米角度度球70906689黄门2509023991蓝门300-67285-68机器人1709016288角柱1330135310135角柱234045未识别未识别主要内容决策子系统统任务分析析机器人之间的交流与配合，实现合作与协调2机器人对于自己任务的承担，转化为具体的动作1决策子系统统任务分析析形式时刻变化每个机器人是一个智能体群体对抗协作与协调目标一致多智能体模型主要内容基于规划的的多智能体体决策模型型智能体目的性自治性反应性持续性多智能体协作完全协同型协同型自私型完全自私型协同与自私共存型基于规划的的多智能体体决策模型型基于规划的的多智能体体决策模型型规划规划规划的方法规划过程执行过程分布计划的集中规划集中计划的分布规划分布计划的分布规划基于规划的的多智能体体决策模型型足球机器人人决策模型型主要内容控制协调智智能体的角角色分配算算法控制协调智智能体的流流程图控制协调智智能体的角角色分配算算法机器人之间间的冲突机器人与角角色的集合合控制协调智智能体的角角色分配算算法前锋的估值值函数控制协调智智能体的角角色分配算算法具体的分配配算法设计计如下：（1）：计计算角色能能力值作作为为权值；；（2）：构构造机器人人集合，，角色集合合，，这两个集合合的元素没没有交集，，满足二分分图结点的的条件；（3）：以以第一步计计算的权值值作为边的的权值，以以第二步构构造的集合作为结结点构造完完全二分图图，，求解带权权二分图的的最优优匹配。主要内容计划执行智智能体的有有限状态自自动机模型型计划执行智智能体的有有限状态自自动机模型型找球接近球避障射门正对球带球状态Q有限状态自自动机M是一个五元元组：前锋有限状状态自动机机模型ab

cdef条件计划执行智智能体的有有限状态自自动机模型型前锋状态转转移函数的的构造如下下：计划执行智智能体的有有限状态自自动机模型型前锋状态转转移图决策子系统统实际运行行效果机器人的角角色分配决策子系统统界面整个个系系统统实实际际运运行行效效果果实际际运运行行情情况况总结结全向向视视觉觉传传感感器器设设计计系统统的的软软件件实实现现基于于规规划划的的多多智智能能体体决决策策模模型型彩色色图图像像目目标标识识别别控制制协协调调智智能能体体的的角角色色分分配配算算法法计划划执执行行智智能能体体的的有有限限状状态态自自动动机机模模型型视觉觉子子系统统决策策子子系统统展望望系统统的的可可靠靠性性全向向视视觉觉的的理理论论分分析析抗干干扰扰性性进一一步步工作作球场场环环境境的的重重建建硕士士学学位位论论文文答答辩辩谢谢谢！！中型型组组足足球球机机器器人人简简介介中型型组组足足球球机机器器人人硬硬件件结结构构求解解参参数数全向向镜镜顶顶点点高高度度553mm摄像像机机凸凸透透镜镜高高度度443mm焦距距5.9mm全向向镜镜半半径径32mmRGBtoHSLHSLtoRGB图像像分分割割的的基基本本概概念念图像像分分割割的的概概念念：将将图图像像划划分分为为与与真真实实世世界界的的物物体体或或区区域域有有强相相关关性性的的组组成成部部分分。。图像像分分割割的的基基础础是是像像素素之之间间的的相相似似性性和和跳跳变变性性。。所所谓谓““相相似似性””是是指指某某个个区区域域内内像像素素具具有有某某种种相相似似的的特特性性，，如如灰灰度度、、色色彩、、反反射射率率、、纹纹理理等等。。所所谓谓““跳跳变变性性””是是指指像像素素特特征征变变化化的的不连连续续性性，，如如灰灰度度、、色色彩彩的的突突变变等等。。图像像分分割割后后图图像像中中的的不不同同区区域域都都对对应应一一定定的的实实际际物物体体。。阈值值化化分分割割；基基于于边边缘缘的的分分割割；；基基于于区区域域的的分分割割。。RGB空间间的的分分割割基于于CLUT的RGB颜色色空空间间分分割割：构造造一一个个四四维维CLUT，其下下标标是是R，，G，，B，，T，其内内容容是是True或False。优点点：1.离线线设设置置简简单单，，以以静静态态数数据据保保存存颜颜色色分分类类信信息息；；2.在在线线调调用用容容易易，，不不需需要要复复杂杂的的运运算算，，查查找找速速度度快快；；3.彩彩色色图图像像二二值值化化简简单单；；4.不不容容易易受受干干扰扰；缺点：1.对32位真彩色色占用内存空空间大，存储储麻烦；2.由于光照的原原因，颜色相相近的两个物物体的RGB空间有重叠部部分，CLUT不能解决一对对多的问题；3.当某颜色物体体在RGB空间的分布不不连续时，建建立的CLUT不能覆盖封闭区域内内的所有点；；4.CLUT不适宜进行颜颜色空间的拓拓展；5.对光线、颜色色的适应性差差；RGB空间的分割基于阈值的RGB颜色空间分割割：某颜色物体在在RGB空间的分布是是一个封闭区区域，于是我我们可以用RGB阈值来描述这个个封闭区域。优点：1.不同物体体的RGB阈值允许存在在重叠，解决了颜色——物体一对多多的问题；2.计算简单单，信息存储储方便；缺点：1.这种描述述把封闭的不不规则空间描描述为封闭的的立方体空间间，包含了不不属于该物体的的颜色；2.当亮度、、色度漂移时时，R、G、B值变化剧烈，，并且是非线线性的，阈值拓展的效果果不好；3.阈值区间间大的时候，，干扰严重；；HSL空间的分割HSL颜色空间分割割：对RGB颜色空间而言言，由于色度度、亮度漂移移时，R、G、B值波动较大，，而且变化是是非线性的，，因而颜色空空间拓展的难难度很大；相比而言，HSL颜色模型更适适宜于颜色空空间的拓展。HSL颜色模型的三三个变量是色色度、饱和度度和亮度，其其中色度（Hue）反映目标颜色色的能力显著著增强，对同同一颜色的目目标往往具有有较稳定和较窄的的数字变化范范围，受光照照的影响比较较小，因而人人们往往把RGB空间模型转换换成HSL颜色模型进行行图像处理与与识别。HSL空间的分割基于阈值的HSL颜色空间分割：优点：1.不同物体体的HSL阈值允许存在在重叠，解决决颜色—物体一对对多的问题；；2.信息存储储方便；3.当颜色、、亮度漂移时时，色度（Hue）和亮度（Luminosity）变化不大，阈值拓展容易易，效果较好好；缺点：1.从RGB空间到HSL空间的转换运运算复杂，实实时性差；颜色空间的选选择颜色空间的选选择颜色空间的选选择快速搜索的方方法分析目前，在足球球机器人视觉觉系统中，广广泛采用的有有两种搜索算算法。一种是是网格搜索算法法，另一种是是动态窗口搜搜索算法。这这两种方法都都是为了提高高目标的搜索效率来来设计的。网格搜索算法法是一种全局局搜索方法，，但它不是对对图像中的每每个像素进行行搜索，而是在在一幅数字图图像中（640×480）中，等间间距地抽取一一部分行和列列图像矩阵，这这样就形成一一个网状，然然后在这个网网的节点上进进行逐点搜索索，从而判断出目标标的大致位置置，然后再在在这个位置附附近的一个范范围内进行搜搜索。由于图像采集集时，可能存存在各种噪声声，这样在图图像中可能形形成一些噪声声空洞，当网格格节点正好位位于空洞时，，可能造成目目标图像的丢丢失；还有可可能就是噪声斑点中中存在搜索目目标的像素，，这样当网格格节点位于噪噪声斑点上时时，就可能造成误搜搜索。所以，，如果利用这这种方法，必必须对上述缺缺点进行克服服。快速搜索的方方法分析动态网格搜索索法是根据图图像采集相邻邻图像序列的的相关性来设设计的。它是是给每个搜索目目标分配一个个动态窗口，，用这个窗口口来跟踪目标标，每次搜索索时不是在整个图像像中搜索目标标，而是在所所设定的远远远小于整个图图像的窗口中中进行搜索。动态窗窗口搜索方法法主要是为了了节省图像处处理的时间，，满足系统的的实时性要求而提出出的。它是根根据机器人比比赛中机器人人本体的机械械特性和小球在场地上运运动的特点来来设计的。由机器人自身身运动的特性性和视觉采集集系统的特点点，可以看出出，在大约33ms的时时间内，机器器人运动的距距离是有限制制的，根据机机器人的最大大运动速度，那么在一一个采样周期期内，机器人人运动的距离离应该满足下下式：D<2m/s×0.033s=66mmD:一个采样样周期内机器器人移动的距距离。距离标定球门、角柱、、机器人等目目标的母线都是垂直于球球场平面的，，这些直线在全向视觉看看来是从图像像的主点发出的射线,因而这些目标标在图像上的的反映均为扇形形或类似扇形形的区域，这些区域与球球场的交界反反映在图像上就是对应颜颜色区域的内内径(InnerR)，因而我们完全全可以根据内内径(InnerR)来标定这些目目标的位置。。协作类型（1）完全协协同型：系统统中的智能体体都围绕一个个共同的全局局目标，各智智能体没有自自己的局部目目标，所有智智能体全力以以赴的协作。。（2）协同型型：系统中的的智能体具有有一个共同的的全局目标，，同时各智能能体还有与全全局目标一致致的局部目标标。（3）自私型型：系统中不不存在共同的的全局目标，，各智能体都都为自己的局局部目标工作作，而且目标标之间可能存存在冲突。（4）完全自自私型：系统统中不存在共共同的全局目目标，各智能能体都为自己己的局部目标标工作，并且且不考虑任何何协作行为。。（5）协同与与自私共存型型：系统中既既存在一些共共同的全局目目标，某些智智能体也可能能还具有与全全局目标无直直接联系的局局部目标。再规划的情况况规划一旦被分分配就将会被被执行，直到到出现意外情情况被中断。。这种意外分为为以下两种情情况：（1）计划执执行智能体（（即机器人））在执行该计计划的同时，，还将监控该该子计划是否否适合自己执执行，当其发发现不再适合合担当由当前前规划所分配配的角色时，，将向控制协协调智能体提提出请求，进进行再规划，，重新分配角角色。（2）在计划划执行的过程程中，控制协协调智能体将将监控计划的的执行，当发发现当前执行行的计划同目目前的环境输输入状态所要要求的计划差差距比较大或或者出现了某某种意外情况况时（如场上上的形势非常常适合某种预预先构造好的的配合射门程程序，或者是是球被双方球球员顶在一起起而不能进行行正常的规划划时），它将将重新进行再再规划以适应应当前的形势势。二分图二分图的数学学模型为：一个无向图称称为一个二分分图。如果下下列条件成立：(U、V为非空结点集集合)，对于于边集合E中的任一条边，，结结点，，一一个在U中，另一个在在V中。如果将U中的结点布在在一行，V中的结点布在在下一行，则则二分图只允允许不同行的结点间间有边相联，，同一行中的的结点间不允允许有边相联联。如果对于U中每一个结点点，，V中每一个结点点，，E都含有边，，则记为完全二二分图，边带带权成为带权权完全二分图图。K-M算法Kuhn-Munkres算法：（1）初始一一个可行顶标标1，确定，，在在中中找到任一一个匹配M。（2）若X中顶点都被M匹配，停止，，则M即为最佳匹配配。否则，取中中未被M匹配的顶点，，。。（3）若N(S)真包含T，转4。若N(S)=T，令，，，，，；；，，；；，，其它。（4）选中中一顶点y，若y已被M匹配，且，，，，，转3，否则则，取中中一个M的可增广矩，，令，，转2。。有限状态自自动机的定定义有限状态自自动机的定定义：包含一组状状态集(States)、一一个起始状状态(Startstate)、一组组输入符号集(Alphabet)、一个映映射输入符符号和当前前状态到下下一状态的的转换函数(Transitionfunction)的计算模模型。当输输入符号串串，模型随即进入起起始状态。。自动机中各各分量的含含义有限状态自自动机M是一个五元元组：—状态的非非空有穷集集合。，，q称为M的一个状态态。—输入字母母表。输入入字符串都都是上上的字符符串。—状态转移移函数，有有时又叫作作转移函数数，，，对，，表示示M在状态q读入字符a，将状态变变成p，并将读头头向移动一一个带方格格而指向输输入字符串串的下一个字符。。—M的初始状态态，也可叫叫作初始状状态或者启启动状态。。—M的终止状态态集合，F包含于Q。，，q称为M的终止状态。状态转换条条件a看见球，与与球之间没没有障碍物物，离球远远b发现前进路路线中有障障碍物c球很近，无无障碍物影影响但有偏偏角d球很近且无无障碍物无无偏角，角角度很正e球丢了且视视觉中没有有障碍物f无障碍物影影响，且符符合射门