RoboCup中型组足球机器人视觉和决策系统的研究与设计

1、RoboCup中型组足球机器人视觉和决策系统的研究与设计指导教师：王明顺副教授答辩学生：崔金柱硕士学位论文答辩看球吧 演讲的结构首先足球机器人比赛中型组足球机器人的系统结构然后主要内容：视觉子系统和决策子系统最后本文的工作进行简要的总结足球机器人的背景1992年，加拿大不列颠哥伦比亚大学的Alan Mackworth教授 在国际上首次提出了足球机器人的概念。1996年，在日本名古屋正式成立了“机器人足球世界杯”(the Robot World Cup Soccer Games, RoboCup)。1997年6月，第二届微型机器人足球比赛在韩国举行，在此 期间，国际机器人足球联盟(Federat

2、ion of International Robot- soccer Association, FIRA)宣告成立。RoboCup和FIRA两个组织每年各举办一次国际性的足球机器 人大赛。RoboCup足球机器人仿真组Simulation League小型组Small Size Robot League中型组Middle Size Robot League四腿组Sony Legged Robot League类人组Humanoid LeagueRoboCup机器人比赛RoboCup中型组足球机器人的研究意义中型组足球机器人的系统组成中型组足球机器人机械结构图 中型组足球机器人的系统组成中型组足

3、球机器人控制系统图主要内容视觉子系统任务分析RoboCup中型组足球机器人比赛场地 视觉子系统任务分析主要内容全向视觉传感器全向视觉传感器及其几何模型 全向视觉传感器常规曲面反射镜优缺点对照表 曲面优点缺点球面加工容易，散光小；有一个焦点，不需要有大的焦距就可以获得聚焦图像；全向图不能转换成常规的透视图像；全向图的边缘有畸变；锥面加工容易；可以多面镜子构成镜面阵列；散光大，没有焦点；全向图不能转换成常规透视图像；需要有大焦距才能获得聚焦图像；双曲面全向图可以转换成常规透视图像；曲率小时散光不是很大；是最适宜于标准摄像机的光学系统；加工困难；双曲线的焦点需要放置在摄像机的中心位姿，所以其设计不灵

4、活；抛物面全向图可以转换成常规透视图像、圆柱图像；抛物面镜加远光镜头是最理想的光学系统；加工困难；远光透镜价格昂贵；全向视觉传感器垂直等比镜面设计示意图 水平等比镜面设计示意图 全向视觉传感器全向反射镜实物 F=.1846199497295e-7*t6-.2694321750479e-5*t5+.3826165631862e-3*t4-.4449458452667e-2*t3+.6843492494856e-1*t2+.1442388401384*t-.8978189490374e-1曲面函数F(t)主要内容彩色图像目标识别常用的彩色图像分割准则： （1）RGB颜色空间分割 基于CLUT的颜色

5、空间分割 优点：速度快，图像二值化简单 缺点：对环境的适应性差 （2）HSL颜色空间分割 基于阈值的颜色分割 优点：便于阈值拓展，对环境的适应性好 缺点：速度慢彩色图像目标识别RGB空间和HSL空间分割方法的综合利用：（1）利用HSL颜色模型建立完备的RGB空间上的CLUT 建立CLUT时，先将颜色采样数据从RGB空间转换到HSL空间然后根据经验进行阈值拓展，求出合适的HSL空间上的阈值然后将该阈值区间上的所有点转换到RGB空间并填充颜色查找表（2）颜色分割采用基于CLUT的RGB空间的分割方法 彩色图像目标识别基于CLUT的动态窗格目标搜索算法（1）搜索起点：上次目标的中心位置或图象中心；（

6、2）从起点起，上下左右各外扩s得到起始搜索窗格Ak1 ；（3）搜索完成后若没有发现目标，外扩一圈，依次搜索 Atop 、Aleft 、Aright、 Abottom ；（4）依次类推，直至搜索完整幅图象。彩色图像目标识别基于CLUT的区域生长算法（1）选取种子点 ； （2）以 为中心，考虑4邻域像素 ， ， ， ， 如果该点未被处理且符合生长准则，将该点与之 合并，同时将该点压入堆栈；（3）如果堆栈不为空，从堆栈中弹出一个像素，把它 当做 ； 回到步骤（2）；（4）区域生长完毕。彩色图像目标识别基于CLUT的变步长区域生长算法如果我们在区域生长的时候，对每个种 子点处理的不是其4邻接像素 ，而

7、是在 垂直或水平方向上与其隔一个象素的点， 我们称生长步长为2。当目标面积较大，超过一定的阈值时， 则改用较大的步长。彩色图像目标识别颜色面积颜色重心内径外径经度边界1经度边界2主要内容视觉子系统的软件实现决策进程进程1进程0视觉进程系统初始化人系统设置坐标变换数据发送仿真显示图像采集颜色分割目标识别位置标定线程1线程0Socket人机交互消息启动视觉子系统的软件实现xd（x）（cm）xd（x）（cm）xd（x）（cm）1030731701283001950821901363202870912101443403790100230152360461101082501603805513011627

8、016840064150124290185500距离标定实验数据和曲线 视觉子系统实际运行效果原始图像 区域生长分割效果 视觉子系统实际运行效果变步长区域生长分割效果 物体在机器人坐标系下的坐标 坐标目标实际坐标定位坐标极径厘米角度度极径厘米角度度球70906689黄门2509023991蓝门300-67285-68机器人1709016288角柱1330135310135角柱234045未识别未识别主要内容决策子系统任务分析机器人之间的交流与配合，实现合作与协调2机器人对于自己任务的承担，转化为具体的动作1决策子系统任务分析主要内容基于规划的多智能体决策模型基于规划的多智能体决策模型基于规划的

9、多智能体决策模型基于规划的多智能体决策模型足球机器人决策模型 主要内容控制协调智能体的角色分配算法控制协调智能体的流程图控制协调智能体的角色分配算法机器人之间的冲突 机器人与角色的集合 控制协调智能体的角色分配算法前锋的估值函数控制协调智能体的角色分配算法 具体的分配算法设计如下：（1）：计算角色能力值 作为权值 ；（2）：构造机器人集合 ，角色集合 ， 这两个集合的元素没有交集，满足二分图结点的条件；（3）：以第一步计算的权值作为边的权值，以第二步构造的 集合作为结点构造完全二分图 ，求解带权二分 图 的最优匹配。主要内容计划执行智能体的有限状态自动机模型计划执行智能体的有限状态自动机模型有

10、限状态自动机M是一个五元组：前锋有限状态自动机模型计划执行智能体的有限状态自动机模型前锋状态转移函数 的构造如下：计划执行智能体的有限状态自动机模型前锋状态转移图 决策子系统实际运行效果机器人的角色分配 决策子系统界面 整个系统实际运行效果实际运行情况总结全向视觉传感器设计系统的软件实现基于规划的多智能体决策模型彩色图像目标识别控制协调智能体的角色分配算法计划执行智能体的有限状态自动机模型视觉子系统决策子系统展望系统的可靠性全向视觉的理论分析抗干扰性进一步工作球场环境的重建硕士学位论文答辩谢谢！中型组足球机器人简介中型组足球机器人硬件结构 求解参数全向镜顶点高度 553mm摄像机凸透镜高度 4

11、43mm焦距5.9mm全向镜半径32mmRGB to HSLHSL to RGB图像分割的基本概念图像分割的概念：将图像划分为与真实世界的物体或区域有 强相关性的组成部分。图像分割的基础是像素之间的相似性和跳变性。所谓“相似 性”是指某个区域内像素具有某种相似的特性，如灰度、色 彩、反射率、纹理等。所谓“跳变性”是指像素特征变化的 不连续性，如灰度、色彩的突变等。图像分割后图像中的不同区域都对应一定的实际物体。阈值化分割；基于边缘的分割；基于区域的分割。RGB空间的分割基于CLUT的RGB颜色空间分割： 构造一个四维CLUT，其下标是R，G，B，T，其内容是True或False。优点： 1.离

12、线设置简单，以静态数据保存颜色分类信息； 2.在线调用容易，不需要复杂的运算，查找速度快； 3.彩色图像二值化简单； 4.不容易受干扰；缺点： 1.对32位真彩色占用内存空间大，存储麻烦； 2.由于光照的原因，颜色相近的两个物体的RGB空间有重叠部分， CLUT不能解决一对多的问题； 3.当某颜色物体在RGB空间的分布不连续时，建立的CLUT不能覆 盖封闭区域内的所有点； 4.CLUT不适宜进行颜色空间的拓展； 5.对光线、颜色的适应性差；RGB空间的分割基于阈值的RGB颜色空间分割： 某颜色物体在RGB空间的分布是一个封闭区域，于是我们可以用RGB阈值来描述这个封闭区域。优点： 1.不同物体

13、的RGB阈值允许存在重叠，解决了颜色物体一对多的问 题； 2.计算简单，信息存储方便；缺点： 1.这种描述把封闭的不规则空间描述为封闭的立方体空间，包含了不 属于该物体的颜色； 2.当亮度、色度漂移时，R、G、B值变化剧烈，并且是非线性的，阈 值拓展的效果不好； 3.阈值区间大的时候，干扰严重；HSL空间的分割HSL颜色空间分割： 对RGB颜色空间而言，由于色度、亮度漂移时，R、G、B值波动较大，而且变化是非线性的，因而颜色空间拓展的难度很大； 相比而言，HSL颜色模型更适宜于颜色空间的拓展。HSL颜色模型的三个变量是色度、饱和度和亮度，其中色度（Hue）反映目标颜色的能力显著增强，对同一颜色

14、的目标往往具有较稳定和较窄的数字变化范围，受光照的影响比较小，因而人们往往把RGB空间模型转换成HSL颜色模型进行图像处理与识别。HSL空间的分割基于阈值的HSL颜色空间分割：优点： 1.不同物体的HSL阈值允许存在重叠，解决颜色物体一对多的问题； 2.信息存储方便； 3.当颜色、亮度漂移时，色度（Hue）和亮度（Luminosity）变化不大， 阈值拓展容易，效果较好；缺点： 1.从RGB空间到HSL空间的转换运算复杂，实时性差；颜色空间的选择颜色空间的选择颜色空间的选择快速搜索的方法分析 目前，在足球机器人视觉系统中，广泛采用的有两种搜索算法。一种是网格搜索算法，另一种是动态窗口搜索算法。

15、这两种方法都是为了提高目标的搜索效率来设计的。 网格搜索算法是一种全局搜索方法，但它不是对图像中的每个像素进行搜索，而是在一幅数字图像中（640480）中，等间距地抽取一部分行和列图像矩阵，这样就形成一个网状，然后在这个网的节点上进行逐点搜索，从而判断出目标的大致位置，然后再在这个位置附近的一个范围内进行搜索。 由于图像采集时，可能存在各种噪声，这样在图像中可能形成一些噪声空洞，当网格节点正好位于空洞时，可能造成目标图像的丢失；还有可能就是噪声斑点中存在搜索目标的像素，这样当网格节点位于噪声斑点上时，就可能造成误搜索。所以，如果利用这种方法，必须对上述缺点进行克服。快速搜索的方法分析 动态网格

16、搜索法是根据图像采集相邻图像序列的相关性来设计的。它是给每个搜索目标分配一个动态窗口，用这个窗口来跟踪目标，每次搜索时不是在整个图像中搜索目标，而是在所设定的远远小于整个图像的窗口中进行搜索。动态窗口搜索方法主要是为了节省图像处理的时间，满足系统的实时性要求而提出的。它是根据机器人比赛中机器人本体的机械特性和小球在场地上运动的特点来设计的。 由机器人自身运动的特性和视觉采集系统的特点，可以看出，在大约33ms的时间内，机器人运动的距离是有限制的，根据机器人的最大运动速度，那么在一个采样周期内，机器人运动的距离应该满足下式：D 2m /s 0.033 s =66mm D:一个采样周期内机器人移动

17、的距离。距离标定球门、角柱、机器人等目标的母线都是垂直于球场平面的，这些直线在全向视觉看来是从图像的主点发出的射线,因而这些目标在图像上的反映均为扇形或类似扇形的区域，这些区域与球场的交界反映在图像上就是对应颜色区域的内径(InnerR)，因而我们完全可以根据内径(InnerR)来标定这些目标的位置。 协作类型（1）完全协同型：系统中的智能体都围绕一个共同的全局目标，各智能体没有自己的局部目标，所有智能体全力以赴的协作。（2）协同型：系统中的智能体具有一个共同的全局目标，同时各智能体还有与全局目标一致的局部目标。（3）自私型：系统中不存在共同的全局目标，各智能体都为自己的局部目标工作，而且目标

18、之间可能存在冲突。（4）完全自私型：系统中不存在共同的全局目标，各智能体都为自己的局部目标工作，并且不考虑任何协作行为。（5）协同与自私共存型：系统中既存在一些共同的全局目标，某些智能体也可能还具有与全局目标无直接联系的局部目标。 再规划的情况规划一旦被分配就将会被执行，直到出现意外情况被中断。这种意外分为以下两种情况：（1）计划执行智能体（即机器人）在执行该计划的同时，还将监控该子计划是否适合自己执行，当其发现不再适合担当由当前规划所分配的角色时，将向控制协调智能体提出请求，进行再规划，重新分配角色。（2）在计划执行的过程中，控制协调智能体将监控计划的执行，当发现当前执行的计划同目前的环境输

19、入状态所要求的计划差距比较大或者出现了某种意外情况时（如场上的形势非常适合某种预先构造好的配合射门程序，或者是球被双方球员顶在一起而不能进行正常的规划时），它将重新进行再规划以适应当前的形势。 二分图二分图的数学模型为： 一个无向图 称为一个二分图。如果下列条件成立： (U、V为非空结点集合)，对于边集合E中的任一条边 ，结点 ， 一个在U中，另一个在V中。如果将U中的结点布在一行，V中的结点布在下一行，则二分图只允许不同行的结点间有边相联，同一行中的结点间不允许有边相联。如果对于U中每一个结点 ，V中每一个结点 ，E都含有边 ，则记为完全二分图，边带权成为带权完全二分图。K-M算法Kuhn-

20、Munkres算法：（1）初始一个可行顶标1，确定 ，在 中找到任一个匹配M。（2）若X中顶点都被M匹配，停止，则M即为最佳匹配。否则， 取 中未被M匹配的顶点 ， 。（3）若N(S)真包含T，转4。若N(S)=T，令 ， ， ， ； ， ； ， 其它。（4）选 中一顶点y，若y已被M匹配，且 ， ， ，转3，否则，取 中一个M的可增广矩 ， 令 ，转2 。有限状态自动机的定义有限状态自动机的定义：包含一组状态集(States)、一个起始状态(Startstate)、一组输入符号集(Alphabet)、一个映射输入符号和当前状态到下一状态的转换函数(Transition function)的计算模型。当输入符号串，模型随即进入起始状态。自动机中各分量的含义有限状态自动机M是一个五元组： 状态的非空有穷集合。 ，q称为M的一个状态。 输入字母表。输入字符串都是 上的字符串。 状态转移函数，有时又叫作转移函数， ， 对 ，表示M在状态q读入字符a，将状态变成 p，并将读头向移动一个带方格而指向输入字符串的下 一个字符。 M的初始状态，也可叫作初始状态或者启动状态。 M的终止状态集合，F包含于Q。 ，q称为M的终止 状态。状态转换条件 a 看见球，与球之间没有障碍物，离球远 b 发现前进路线中有障碍物 c 球很近，无障碍物影响但有偏角 d 球很近且无障碍物无偏角，角度很