基于FPGA的中型组机器人模型

基于FPGA的中型组机器人模型裴东RoboCup中型组RoboCup中型组比赛要求机器人是全分布式和全自主的，必须能够通过自身携带的传感器，以及与队友的无线通信获得环境感知信息，使用自身携带的计算机自主完成机器人的决策控制；RoboCup中型组涉及的研究内容包括机械结构设计、实时图像处理、机器人视觉、机器人自定位、目标识别与目标跟踪、运动控制、移动机器人的控制体系结构、路径和轨迹规划、机器学习、多机器人协调控制、多传感器信息融合等；FPGA模型结构FPAG模型特点图像的采集ADV7180的配置

I2C控制器每次传输24位数据，前8位是从设备地址即ADV7180，接下来8位是它的寄存器地址，最后8位是数据，I2C控制器使用33个I2C时钟周期完成1次24位数据传输。第1个时钟周期初始化控制器，第2、3周期启动传输，第4-30个周期传输数据(其中包含24位数据和3个ACK)，最后3个周期停止传输。控制器中使用了一个6位计数器对传输周期计数。I2C总线的配置PAL制式的视频信号的场消隐：1.消隐信号共49行

2.偶数场消隐期为24行

3.奇数场的消隐期25行4.624～22为偶数场消隐数，311～335为奇数场消隐数据。H、V、F为行控制信号。ITU656解码提取720--640：

为调试方便，需要将采集到的图像要通过VGA显示出来，故要提取出适合VGA分辨率的640×480的像素数据。

1.实现方法要将这720个像素通过640线的VGA显示器输出，必须要裁减掉其中的80个像素。在720线的像素中每隔9个点就去掉一个像素，这样即可使图像依旧保持其原有的完整性，而且也不会引起太大的失真。使图像看起来和原始图像没有太大区别。

2.实现过程定义一个水平计数器，除法器的被除数就为该计数器的值，除数设置为固定值9，当余数为0的时候，该像素点就被丢弃。提取像素数据提取576—480

取240行偶数场数据和240行奇数场数据组成480行VGA数据。其中，其它数据丢弃。这样一来，丢弃的数据也仅是一副图像的最边缘的一部分，对整副图像的质量并无太大影响。偶数场取24024~264行奇数场取240行312~552行3.出现的问题

由于隔9个像素丢弃一个数据，这里还存在着一个问题：视频信号的采样序列是Cb，Y，Cr，Y，Cb，Y，Cr，⋯每隔一个像素就丢弃该像素的色度信息，所以当除法器余数为0时，丢弃的数据可能是包含Y、Cb、Cr的一个完整的像素，也可能是只包含亮度Y的一个像素。丢弃的数据为只包含亮度信息的像素点：将此像素点的亮度值Y丢弃，并将上一个像素点的色度分量Cr同时丢弃。丢弃的数据为一个完整的像素点，包含了Y、Cb、Cr分量值：将分量Y和Cb丢弃，保留Cr作为下一个像素点的Cr分量一起保存。提取像素数据1.解码后得到的是8位数据流，由于SDRAM每单元数据为16位，所以将一个亮度信号Y和一个色度信号Cr或Cb合在一起存入到一个地址空间(16bit)。2.PAL制式图像是采用隔行扫描的方式，将一帧图像分两场扫描。第一场先扫出1、3、5、7⋯等奇数行，第二场扫2、4、6、8⋯等偶数行。提取出其中的有效像素顺序存入到SDRAM的0-640×576的地址空间。3.利用对SDRAM的读写地址的控制能够巧妙的解决隔行到逐行的转换问题，数据写入SDRAM是将隔行数据写入到SDRAM的0-640×576的地址空间中，其中640×24-640×264为奇数场的240行有效数据，640×312-640×552为偶数场的240行有效数据。两场数据分别通过不同的两个FIFO读出；SDRAM控制器一行4:2:2的YCrCb的视频数据中，以27MHz时钟采样，则Y有720个，Cb、Cr各360个。也即Y的采样时钟为13.5MHz，Cb、Cr的采样时钟为6.75MHz。在4个读的时候读两次就变4:4:4，而像素时钟为13.5MHz。27MHzCLOCK中Y被改变了2次，而Cb，Cr被赋值一次。

4:2:2的数据流：

CbYCrYCbYCrY

一个完整的像素点是由亮度、两个色差信号组成，插值其实就是借用上一像素点或下一像素点的Cb、Cr

插值 R=1.164(Y-16)+1.596(Cr-128)G=1.164(Y-16)-0.813(Cr-128)-0.392(Cb-128)B=1.164(Y-16)+2.017(Cb-128)注意问题：色度空间变换涉及到小数运算。在HDL描述语言中，对于小数的运算，如果采取行为描述，通常是将小数乘以一个数A（2的n次方数）转化为整数，计算完成后，将结果除以这个数A。由于A为2的整数次幂，所以除以A就可转换为对被除数的移位操作。

色度空间转换FPGA特别适用于以流水线方式和并行方式进行数据处理，在运算复杂程度相对较低但速度要求严格的原图像预处理中，选择FPGA这样的硬件电路实现，成本低而且速度可以满足实时处理的要求。至于此后的目标检测与跟踪，由于算法较为复杂，对芯片的处理能力要求较高，可以采用具有强大数字信号处理能力的DSP来实现，以克服过去硬件实现复杂、成本高、实时性差、成本高等不足。而前期由于采用了FPGA进行图像预处理，将大大减轻后续DSP的运算压力，使得其有更大的能力完成目标检测和跟踪。目标检测现场可编程门阵列

(FPGA)的优点主要在于它有很强的灵活性，即其内部的具体逻辑功能可以根据需要配置，有较强的通用性，适于模块化设计。同时其开发周期较短，系统易于维护和扩展，适合于实时信号处理。目前，FPGA的容量已经跨过了百万门级，因而FPGA已成了解决系统级设计的重要选择方案之一。由上图看出，PAL制式采集过程中，帧存中的数据是YCbCr格式的数据，因此，为方便后面的图像阈值化计算，可选用YCrCb格式进行图像的阈值化处理。再者，也可选择RGB格式进行处理，或者选择YUV、HIS等，但都需要将RGB格式转换为YUV或者HIS格式。颜色空间选择YCbCr颜色空间YCbCr空间模型在电视的色彩显示等领域大显身手。其中Y为亮度分量，Cb为蓝色色度分量，C:为红色色度分量。它将具有亮度分量分离的优点，这和HSV空间模型有相似之处。不过，因为它可以从RGB空间模型经过线性变化得到，所以直接应用于色彩聚类分析的情况不多，而在其基础上的变换模型的应用更为普遍。非线性空间往往存在奇异性，而经RGB空间模型进行线性变换得到的YCbCr空间模型，可以克服这种奇异性。实验证明：使用YCbCr颜色空间模型对于检测球，具有比较稳定的效果；阈值化根据相应的颜色空间，选定合适的阈值，对图像每个像素做比较，如果符合判断条件，则标记为白点，否则，标记为黑点，直到一帧图像结束，并将结果存进另外一块片内RAM中，便于后续的继续处理；本设计中，设置了多种颜色空间模式，可通过按键控制选用哪一种颜色空间模式进行阈值化处理；滤波经过阈值化处理后的图像，会有一些噪声和干扰点，因此，滤波处理将变得很必要。通过的滤波都会采用各种算子处理。本系统中，已经图像转化为二值图像，故采用形态学滤波处理，效果较好；具体的实现方法可有两种：其一，将640×480大小的图像分成80×60的小块，每块大小为8×8，滤波过程是：计算每块中白点的个数，如果满足一定的条件，则判断这个块属于目标区中的一点，标记为全白；否则全部标记为黑点，不属于目标区域；以此类推，直至一帧图像结束。特点：处理速度非常快，但对于处理后的结果显得不是很平滑，不管目标是圆形的还是方形的，都只能大概判断出一个点；滤波其二，设置一个大小为7×7的结构元，如下图所示。从图像顶端开始，依次滑动处理，结构元中的值与相对应的像素值做与处理，然后统计为1的个数，如果满足一定的条件，则标记为全白；否则全部标记为黑点；以此类推，直至一帧图像结束。7×7结构元相比方法一，此法是针对每一个像素做的处理，所以处理速度较慢，但是对于目标物体的形状保存的较完好，对于目标的检测效果较好。目标定位经过滤波后的图像，目标物体已经很清晰的看见，接下来主要的做的就是：如何找到物体所在的中心位置，对于DSP处理器来说，通过复杂的存储地址遍历，可迅速找到，但对于FPGA来说，这一个点就显得不够灵活。我们采取的方法是用状态机；分为横向扫描和纵向扫描。横向扫描主要是检测出x方向上的起点和终点；纵向扫描主要是检测出y方向上的起点和终点；计算得到目标物体的起点和终点，即可求出目标位置的中心位置；

目标定位为了增加识别的稳定性，我们对识别到的目标物体的中心位置进行了滤波处理，使得间的结果更加准确；具体的实现方法是：设中心位置为（x,y），则对之前15帧和当前帧（总共16帧的结果）处理得到的中心位置x和y分量，分别做中值滤波处理，这样的运算，对于FPGA来说，再适合不过了。两路同时进行，互不影响；中值滤波实现结构目标跟踪检测到目标物体之后，就要设法让机器人跟这足球运动，本系统只做了简单的跟踪，对于较为复杂的跟踪，如对于球速的估计，机器人本身姿态估计，以及卡尔曼滤波等，没有进行深入的研究。本设计的跟踪方法是：检测出目标物体的坐标，而后与全景图像的中心点做比较，找到相对坐标，之后对x方向、y方向、以及机器人的角速度w分别进行判断赋值；如右图x方向速度赋值流程；注：右图数字为像素个数值全景图像中运动目标跟踪底层运动控制

中型组机器人的控制系统需要实时控制三个或四个电机同时动作