实时图像处理系统的设计与实现

实时图像处理系统的设计与实现

1dsp的发展有利于实时图像处理随着数字技术人员的发展，数字图像处理技术在各种应用于个人、工业和生产领域的应用，如视听、电视会议、监控系统、智能交通监控、目标跟踪、机器人在线等。但在这些数字图像处理系统中,一个突出的问题就是数据量庞大,数据处理相关性高,实现实时比较困难。因此图像处理速度成为实时性的主要因素,这就要求实时图像处理系统必须具有强大的运算能力。高性能DSP的发展为实时的图像处理提供了一个解决途径。高速DSP不仅可以满足在运算性能方面的需要,而且由于DSP的可编程性,还可以在硬件一级获得系统设计的极大灵活性。本设计采用TI公司TMS320C6711为核心处理器,结合CPLD构成通用数字图像处理系统。2dsp系统总体框架设计数字图像处理系统需要完成视频采集、数字处理视频合成等功能为了满足实时性的要求数字处理部分必须采用高速处理芯片,本设计选用了TI公司TMS320C6711浮点DSP,该芯片运算速度快,指令周期为6ns,峰值运算能力1336MIPS,对于双精度运算为250MFLOPS。这样既可以满足高速处理的要求,又可以满足高精度运算时的浮点要求。本系统的图像信号源为标准的模拟视频信号,系统包含:视频信号采集系统(SAA7110、CPLD、双端口RAM、单片机)、视频处理模块(DSP器件TMS320C6711、SDRAM图像帧存储器、FLASH程序存储器等)、其它DSP外围电路(复位、电源连接、JTAG调试端口等)、视频信号输出系统(双端口RAM、BT121)、供电系统等。该系统构成的原理框架如图1所示。其基本工作过程为:系统加电后,单片机对SAA7110进行初始化,设置SAA7110的工作模式。初始化完成后,开始对输入的模拟视频信号进行数字化。同时DSP也进行复位、初始化的工作,DSP将主程序调入SDRAM中。当DSP准备就绪后,通知CPLD,输入控制信号帧存(左侧双端口SRAM)写入由采样来的视频图像数据数据写满后将发中断给DSP,通知DSP读取数据,开始进行数据处理。数据处理完成后,DSP通知CPLD,控制数据写入输出帧存(右侧双端口SRAM)。数据写满后发中断给BT121,进行D/A转换,将数字信号转化为模拟信号,送往监视器显示。系统设计考虑的重点为处理速度,充分利用了C67XX系列DSP中EDMA的优势,用EDMA来进行整个系统的数据传输。由于EDMA可以进行背景操作,因而整个采样和输出过程基本不影响DSP的数据运算。同时也利用了C67XX系列的二级缓存结构,加上系统外围采用高速的数据存储器芯片,这样就大大提高了整个系统的处理速度。3该系统各部分的详细介绍3.1基于fpga的视频数据采集该部分主要完成的功能为数字化标准模拟视频信号,提取出所需大小的数字图像并存入帧存中,系统构成见图2。A/D转换和同步分离由SAA7110来完成,CPLD控制写入数据的时序、图像采集大小,同时根据行、场同步信号和数据同步信号,CPLD要为双端口SRAM提供地址信号和片选、读写等控制信号,将数字图像存于双端口SRAM中。本系统图像采集芯片采用的是Philips公司的解码芯片SAA7110。SAA7110是可编程的数字图像处理芯片,它不仅可以完成图像数字化,而且可以实现行场同步信号的自动检测和分离这样就可以省去同步分离电路的设计。SAA7110有6路模拟输入,有3路模拟信号处理通道,输入可以通过编程来选择是NTSC、PAL或者SECAM的信号。SAA7110的初始化是通过I2C总线对其内部控制寄存器相应位置实现。将SAA7110的I2C总线的时钟线SCL与单片机的SCL相连,双向数据线SDA与单片机的SDA相连,在系统上电时通过单片机程序初始化数字视频解码器SAA7110。系统中双端口存储器采用的是IDT70V657S。它具有两套独立的地址、数据线及读/写控制线,将双端口存储器控制逻辑与存储器集成在一片大规模集成电路内,双端口控制逻辑具体到每个存储器单元,实现了真正的双端口,并且具有完善的握手控制信号电路,使得信息交换窗口的设计大大简化,信息交换更加快速、可靠,所选IDT70V657S的读写时间是10ns。整个系统的时序是通过CPLD来控制的,CPLD器件选用美国Xilinx公司的XC95144X。CPLD是在Xilinx公司的EDA工具FoundationSeries3.1环境下设计的,使用VHDL高级硬件描述语言开发完成,可以根据不同的需要进行编程。上电后,CPLD会等待DSP初始化的完成,当DSP初始化完成后会通知CPLD开始工作。CPLD要控制由SAA7110采样的数字图像数据写入输入帧存,写入地址由CPLD编程控制。提取的图像大小也由CPLD控制,大小可以根据需要通过编程来进行控制。在本系统中,视频信号为PAL制式黑白全电视信号,一场图像有312.5行,场消隐宽度为25个行周期,为使图像的采集行范围不落入场消隐期中,我们确定一场的采集从场同步滞后27个行同步开始,奇偶场各采集128行。这样可以保证不会采到消隐电平。图像每行时间为64μs,其中图像占52.2μs,行消隐宽度为11.8μs,行消隐期中有4.7μs的行同步头,我们确定从采集行行同步滞后7.1μs后开始采集,每行采集256个点。这样从每帧图像中采集256×256大小的数字图像。对于图像的采点可以根据自己的需要进行控制,可以随意采集整个图像中的不同位置、不同大小,也可以隔点进行采样,关键在于要选取适合系统需要的图像。3.2基于fpga的高效数据存储视频处理模块如图3所示。它以DSP为核心,它主要完成图像数据的读取、处理和输出,输出帧存的地址信号和片选、读写控制信号仍由CPLD来控制。本系统我们选择TMS320C6711数字信号处理器作为中心处理单元。是公司最新推出的浮点DSP,拥有8个并行处理单元(两个浮/定点32×32位乘法器、四个浮/定点算术逻辑单元和两个定点算术逻辑单元)工作频率为150Hz,最高可达900MFLOPS。C6711的CPU都采用VelociTI体系结构,其编译效率可以达到手工汇编的70%到80%。这使得我们在绝大多数应用中可以采用C语言编写DSP程序,从而充分利用大量用C描述的算法程序,并获得远胜于传统DSP程序的可维护性、可移植性、可继承性,缩短开发周期。C6711具有片内cache存储器L1和L2。C6711有两层cache,一层是4kbyte的程序和数据cache,第二层cache是统一的64kbyte的数据和指令RAM。C6711还具备16个通道的EDMA控制器,各自进行独立的传输。同时,C6000系列DSPs的EMIF具有很强的接口能力,可以与目前所有类型的存储器直接接口,本系统扩展了16kFLASH、32MBYTESDRAM及32k×36bitSRAM,SDRAM为数据提供了很大的存储空间,保证了复杂算法的需求。上电后,DSP通过芯片自举方式从FLASH读入1kbyte大小的程序数据,该引导程序继续将其他主程序调入SDRAM中,在以后的运行过程中,DSP自动将运行所需程序从SDRAM装入片内存储器。当CPLD控制数据写入输入帧存完成后,会发中断给DSP。DSP接到中断后从输入帧存中读取数据,进行处理。数据处理完成后,DSP通知CPLD,由CPLD控制数据写入输出帧存。为了提高系统效率,我们将双端口RAM的存储空间分为了两部分,见图3。在其中一部分的数据写满后,由DSP读取,进行处理。与此同时在另一部分开始写入采集的图像数据。这样可以保证视频采集系统和数据处理同时进行,互不干扰,极大提高了系统的效率。数据输出端也采用相同的划分,当DSP向其一部分写入数据时,另一部分正由BT121读取数据,进行D/A变换,这样也保证了数据处理和视频输出的同时进行。3.3d/a转换电路视频信号输出显示系统的功能是将经过处理后的数字信号转换成复合模拟视频信号输出到监视器上,D/A转换由BT121来完成,CPLD控制数据的读取。D/A是A/D的逆过程,D/A重新将离散的数字信号转换成连续的模拟信号。根据系统的不同要求,该模块可以处理彩色和黑白信号。在此系统中,我们只处理Y信号,所以输出为黑白图像。本系统中选用的D/A芯片是BROOKTREE公司的BT121。BT121使用方便,电路简单,其最高D/A速度为80MHz。它具有3路8位D/A转换,输出与RS-343A标准兼容。外电路只要给出BLANK、SYNC以及CLOCK信号,芯片将自动与数据D/A的结果合成全电视信号输出。其工作过程为:CPLD控制输出双端口RAM,将存在其中的处理好图像数据读出,送入到BT121中,进行D/A转换。BT121接受由SAA7110分离出来的同步控制信号和消隐信号,在这些信号的协同下形成符合CCIR标准的视频输出信号,送到监视器显示。4系统实现了一个电子稳像系统本文运用TI公司的高性能浮点DSPTMS320C6711设计了一种通用实时图像处理系统,详细讨论了系统的具体结构。设计结果基本上令人满意,尝试在该系统中运行一些基本的图像处理(锐化、平滑、边缘检测)和压缩算法(JPEG、H.263),都达到了实时处理的目的。运用该系统,我们建立了一个电子稳像系统,在系统上进行电子稳像算法的运算。稳像算法主要包括图像搜索算法和图像补偿算法,其运算量要大于一般的图像算法。在此系统中实现了搜索窗为128×128(像素),匹配窗为32×32(像素),运算速度为23帧/s的稳像