基于FPGA的视频图像处理系统的设计

基于FPGA的视频图像处理系统的设计【摘要】通过研究视频图像处理和视频图像帧格式以及FIF0缓存技术，提出了基于FPGA的视频图像处理系统设计。该设计运用帧间差分法、同步FIF0缓存设计，有效避免了图像处理系统设计中亚稳态和异步信号处理等时序性难题，实现了视频图像序列的动态目标检测系统设计。chipscope在线逻辑分析结果表明，所设计的系统具有实时的视频图像处理性能，与基于外接存储器缓存的系统设计相比较，稳定性更高，实时性更好，功耗更低。近年来，基于FPGA硬件技术的视频图像处理系统被广泛地应用于视频智能监控、智能交通系统、视频采集、跟踪系统等。作为机器视觉的一个重要研究方向，动态目标检测在视频智能监控、智能交通系统等方面得到了越来越多的应用。动态目标检测是视频智能化系统的前提，其目的是从视频图像序列中将变化区域提取出来。对变化区域的有效提取对后续的目标分类、跟踪和行为理解等处理都非常重要。视频图像处理系统设计中，视频信号经过采集、缓存、处理、输出(显示或存储)。而缓存模块的设计取决于视频图像数据传输速率以及格式大小，根据困际电联定义的ITU—RBT．656数字图像接口标准，中国采用的是世界上大多数国家所采用的720×576分辨力的PAL制式视频信号，每帧数据由场消隐信号、行控制信号、有效视频数据组成，一帧图像大小为3240kbit(灰度数据)。在基于FPGA技术的视频和图像处理系统设计中，利用FPGA可配置逻辑资源设计一帧图像数据缓存单元的方法是行不通的，那么如何更好地利用FPGA芯片有限资源成为FPGA设计的难题。本文基于Xilinx、Vritex-4芯片的动态目标检测系统设计，合理利用芯片资源，以及根据系统动态检测设计帧问差分法更有效地完成系统设计，达到动态检测实时性的目的。1动态目标检测系统架构基于FPGA的动态目标检测系统分为视频采集模块、视频图像缓存模块、视频数据检测模块。系统硬件平台设计框架如图1所示，FPGA芯片接收由CCD摄像机采集到模拟视频信号经TVP5150解码芯片转换出来的数字视频信号，FPGA视频采集模块检测数字视频流当中的有效视频图像信号，经图像缓存模块缓冲，一路传输给检测模块进行算法处理，经SAA7121编码芯片转换输出LCD显示，一路直接还原为视频数据流信号，完善的系统显示模块还包括经ADV7123芯片转换输出到VGA显示器对比，以达到动态目标检测的可视化效果。此外，系统涉及到FPGA芯片与各个器件之间的硬件连接和通信协议，以及对FPGA内部的逻辑资源进行例化，包括MicroBlaze软核、IIC总线模块、DCM模块等。系统基于XilinxVritex-4芯片设计，其资源丰富，功能强大，内嵌1个32位的MicroBlaze软核，集成了10240个逻辑单元(slice)，128个DSP逻辑单元，4个数字时钟管理模块(DCM)。这些逻辑单元包含分布式RAM的容量高达160kbit，块RAM的容量高达2304kbit。这些为视频流在FPGA认芯片内部实现延时提供了缓存空间。DSP逻辑单元为视频数据流在片内进行运算和处理提供了计算能力上的支持。DcM模块为内部例化器件提供系统时钟信号。另外，DcM具有将信号差分、相移、倍频、分频等功能，这些都为系统外接器件提供了相应的时钟信号，使整个系统具有良好的扩展性。2FIFO缓存与帧差法设计动态目标检测图像数据缓存的难点在于数据容量大，速率与系统时钟不一致，以及视频图像数据的连续性。视频图像处理是以一帧图像数据进行算法处理为前提。经过解码模数转换后的720×576分辨力的一帧数字视频图像，包括色度信号Cb和Cr，以及亮度信号y。一帧图像分奇数场和偶数场各288行，一行数据以色度信号C6、亮度信号l，和色度信号Cr按2：4：2组成，共1440个采样点。其中的y数据流就是视频图像的灰度值数据流，也是人眼敏感的图像数据，通常图像处理的也是图像灰度值。由解码芯片传输给FPGA芯片的视频信号是频率为27MHz的亮度色度混合的数字信号VPIN。该系统利用VPIN_LLC分频时钟clk_675将亮度信号(灰度数据信号)单独提取出来写入FIFO做处理，但前提是要检测这些信号是否为视频有用信号。检测方式有两种，一种是通过解码芯片产生的AVID指示信号检测高低电平，从而判断输出数据是否为灰度数据或无效数据。AVID用来检测指示VPIN有效视频起始SAV信号和有效视频结束EAV信号，图2是通过在线逻辑分析仪ChipscopePro得到的系统设计内部信号波形图。由图可知，A