基于FPGA的高速图像数据采集系统设计

1、武汉理工大学硕士学位论文基于FPGA的高速图像数据采集系统设计 姓名:张小琴申请学位级别:硕士专业:通信与信息系统指导教师:陈适20100501武汉理工大学硕士学位论文摘要随着嵌入式图像处理系统的发展和应用,其前端图像采集系统随之受到了 极大地关注,该前端模块采集的图像优劣在很大程度上决定着其后续设计的分 辨率及准确率。视频图像采集系统作为视频信号处理系统的一部分,它正在向 高速度、高集成度、高分辨率、高可靠性的方向发展。如今,在工业、军事、 医学等领域,图像采集系统都有着极其广泛的应用,如可视电话、图像模式识 别、电视会议、监控系统、工业控制、远程监控等等。如何实现更大数据量、更可靠、更低成

2、本的图像采集处理系统,成为我们 研究的热门话题,FPGA的快速发展为这一研究提供了新的解决方案。本文在对 图像采集系统的应用及研究现状做概述的基础上, 比较DSP、ASIC、FPGA这 三种芯片在图像采集及处理系统应用中的优缺点,提出一种基于FPGA的图像 采集处理系统的设计方案。该设计方案将整个采集系统分为五个大的功能模块, 分别为:图像采集模块、图像存储模块、图像显示模块、FPGA核心处理模块及 外围模块。首先对这些模块进行芯片选型,再分别进行模块的硬件设计,包括:图像采集电路、D/A转换电路、SDRAM接口电路、VGA接口电路、时钟电路、 JTAG接口电路及电源电路等。其中各模块芯片的逻

3、辑控制、外围接口逻辑控制 及数据算法处理均由FPGA来实现。本文对FPGA的开发流程及常用EDA工具做了简单介绍,并设计图像采集 系统的功能模块结构。在Quartus II软件平台上做模块的功能仿真,得到预期的 仿真结果,证明系统设计的正确性及可行性。这些模块主要包括:CMOS时序 驱动模块、串行数据解串模块、SDRAM读写控制模块及图像预处理模块。在预 处理模块,对三种图像预处理方式进行了Matlab算法仿真,证明了双曲变换的 近似算法的精确度达到设计要求。最后讨论了图像处理算法的FPGA实现,结 合几种卷积运算特点,利用CyeloneII系列芯片特点,提出一种FPGA卷积运算 的优化方案。

4、关键词:FPGA;图像采集;CMOS传感器;双曲算法武汉理工大学硕士学位论文AbstractWith the development and application of the embedded image processing system, the front-end image collection system has caused serious concern.It determinate the resolution ratio and accuracy rate of the subsequent design.The video image acquisition shou

5、ld be high speed,high integration,hi曲-resolution and hi曲reliability to meet market demand.It has a widely use in industrial,military,medical,image acquisition system,for example,in the video phone,image recognition,video conferencing,monitoring system,industry control,remote monitoring.FPGAS rapid d

6、evelopment provides a new solution for image acquisition and pr-ocessing system.This paper describes the application and research status of imageacquisition system.Compare advantages anddisadvantages of DSP,ASICand FPGAin image acquisition and processing system,proposed a FPGA-based imageacquisition

7、 andprocessingsystem.The whole system is divided into five majorfunctional modules,there were image acquisition module,image storage module, image display module,FPGA core processing module and peripheral achieve module. Select chips and design the hardware circuit.Including image acquisition circui

8、t,D/A converter circuit,SDRAM interface circuit,VGA interface circuit,clock circuit, JTAG interface circuit and power supply circuit.The chipS logical control,peripheral interface logical control and data processing algorithm are all realized by FPGA. This paper discussed EDA tools,and designed of i

9、mage collection system function module structure.Do the module simulation in Quartus II software platform, the simulation results have proved that the correctness and feasibility of the system design.These modules mainly includes:the CMOS timing driving module,Serial data string module,SDRAM literac

10、y control module and image preprocessing module.In the pretreatment modules,three image preprocessing algorithm simulated by Matlab,the hyperbolic approximation algorithm proved to meet the design requirements.Finally a new deconvolution algorithm is proposed based on the characteristics of Cyclonel

11、I chip.Keyword:FPGA,Image Acquisition,CMOS Image Sensor,Hyperbolic algorithm 独创性声明本人声明,所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外, 论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得 武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。签名:熟!:婆 日期:丝12:兰!兰2学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定,即:

12、学校有权保留并向国家有关部门或机构送交论文的复印件和电子版, 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索,可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文,并向社会公众提供信息 服务。(保密的论文在解密后应遵守此规定研究生(签名:矾11烤导师(签名冲袅奎日期如fo'r-二7武汉理1大学硕士学位论文第1章 绪论1.1图像采集系统的应用随着计算机技术的发展,电子产品不断地更新换代,高速、高效、高可靠 性的产品成为研究必然。在视频图像处理技术领域,传统的脱机图像

13、处理系统 已经满足不了市场的需求,在这种趋势下,大规模集成电路或专用芯片处理系 统发展壮大。目前市场上,DSP芯片不论集成度还是运算速度都有了大幅度提 升,市场价格也大幅降低,种种因素使得DSP芯片成为图像处理系统的主流趋 势,而图像采集处理系统也在这种情况下飞速发展【l】。数字计算机对于图像处理技术有着划时代的意义,在数字化信息时代,传 统的模拟存储处理方式正在被数字化方式取代。图像采集以及处理技术也逐渐 向数字化方向转变。随着微电子技术的发展,超大规模集成电路被运用于电子 设计的各个领域,数字图像处理技术也有了突破性的进步。在现代多媒体技术 中,实时图像采集占有极其重要的地位。如今,图像采

14、集系统大多采用实时图 像采集技术。实时图像采集系统已经被广泛的应用于手机、PDA、可视电话、 工业控制、机器视觉、实时监控等领域。近十年来,现场可编程门阵列FPGA (Field Programmable Gate Array的飞速发展为实时图像采集设计提供了新的方 向与思路121。1.2国内外研究现状视频图像经过数字化后其数据量相当的庞大,传统的图像采集处理系统已 经不能满足如此高速数据的处理要求。目前,嵌入式系统已经成为实时图像采 集系统的热门话题。嵌入式系统功能与可靠性强、软硬件结合、体积小、功耗 小、成本低,为图像采集系统的发展提供了一种新的解决方案。特别是以DSP、 FPGA为核心处

15、理器的图像采集研究方法,已经成为实时图像采集领域的趋势【3J。 相比较国内,发达国家在图像采集处理系统研究领域发展较快,其产品性 能好、耐用、可靠性强、使用范围广,但价格比较昂贵。国内产品价格较低、 但不论在可靠性、制造工艺及精度上都有所欠缺。因此,如何改进现有图像采武汉理工大学硕士学位论文集处理技术具有相当的积极意义【4J。在九十年代前,主要是以模拟设备为主的图像信息处理系统,称为第一代 模拟图像处理系统。但由于工业应用中视频监控等系统中信息流的形式以模拟 视频信号为主,其系统的网络结构主要是一种单功能、单向、集总方式的信息 采集网络,介质专用的特点,因此系统尽管已经发展到很高的水平,却无多

16、少 潜力可挖,其固有局限性存在,难以满足更高的要求,数字化是必由之路【5】。 九十年代中期,计算机技术和视频技术飞速发展,人们利用计算的的高速 数据处理能力进行视频的采集和处理,利用显示器的高分辨率实现图像的多画 面显示,大大提高了图像质量,这种基于PC机的多媒体主控台系统称为数字化 视频图像处理系统【6J。基于PC的视频图像处理系统的组成结构为:兼容+工控 PC机+视频采集卡+普通/较可靠的操作平台+应用软件。这种系统处理方式对视 频图像进行了数字化,充分利用计算机的快速处理能力,对视频图像进行压缩、 分析、存储和显示。九十年代末,随着网络带宽、计算机处理能力和储存容量的进一步提高, 以及各

17、种视频图像处理技术的出现,图像采集处理进入全数字化时代。大规模 集成电路或专用芯片取代计算机的脱机图像处理系统【.71。随着DSP芯片集成度 和运算速度的大幅提高及价格的大幅降低,DSP芯片成为脱机图像采集系统的 主流处理器。美国TI公司的DSP及其图像处理平台在世界市场上处于主导和领 先地位。国内的DSP技术起步较晚,但发展较快,90年代末就有比较成熟的产 品出现【8J。典型产品有WT620IP/PA、WT6701P/PA图像处理系统和WT32EA通 用图像处理系统。在专用图像处理系统方面,西南物理研究所开发的机遇DSP 的视频跟踪警戒装置和中科院沈阳自动化研究所开发的基于DSP的视频跟踪装

18、 置,都取得了很好的效果。台湾凌阳公司的图像识别芯片SPCA563,用于智能 交互式玩具中,能识别颜色、形状和障碍物。现代大容量高速度的FPGA以及相应可编程片上系统SOPC技术的出现, 为图像采集和处理系统提供了一种新的解决方案【9】。目前,在图像方面已经有很 多成熟的IP Core,如2D滤波器、2D快速傅里叶变换、颜色空间转换、JEPG 图像编码器等。利用FPGA来实现“DSP”系统已经十分普遍,应用在诸如实时图 像处理、联合战术无线通信等【lo】。使用Altera公司FPGA内嵌SOPC构架完成图像的采集、处理及显示功能, 目前在国内还处于初级阶段,这种系统SOPC软核构架具有一定的风

19、险性。但2武汉理工大学硕士学位论文Altera的技术支持可以使用FPGA内部的硬件资源和内部IE进行外部设备的驱 动开发等,这样大大减少硬件设计的复杂性【111。而且,FPGA实现数字信号处理 最显著的特点就是高速性能好,以软件方式控制操作和运算的系统速度显然无 法与纯硬件系统相比,因为软件是通过顺序执行的方式来完成控制和运算步骤 的,而HDL语言描述的系统是以并行方式工作的。目前,国内外对基于FPGA 这种“虚拟SOC”的需求呈上升趋势【12】。在FPGA中,一般内嵌可配置的RAM、LVDS、PLL及硬件乘法累加器等 模块。用FPGA来处理数字信号可以很好的解决数据量大、处理速度不匹配、 可

20、靠性低及精度小等问题,并能很好协调并行性与顺序性的矛盾。因FPGA灵 活的可配置特性,使其构成的DSP系统易于测试与修改。如今,利用FPGA来 实现DSP系统已经发展普遍,以FPGA为代表的数字系统处理技术也有了新的 发展,主要有113J:1高效性:各大现场可编程逻辑器件厂商在不断地补充其知识产权(口 核心库。设计人员可以直接利用这些经过测试和优化、可保证正确性的现成的 资源来完成复杂的片上系统设计,提高设计的准确性及高效性。2密度及功耗小:便携式产品的发展,使得产品对现场可编程器件的高密 度、低功耗要求逐步提升。芯片正朝着高密度、低功耗方向发展。3实现片上系统:深亚微米技术的发展使得片上系统

21、SOPC的实现成为可 能。1.3本文研究主要内容本文共分为五章,每一章根据不同的重点围绕论题进行阐述或设计。第一章对图像采集系统的应用及国内外研究现状做了简要描述。第二章介绍了目前广泛应用的数字图像采集系统构架,对这些系统的特点 及处理速率进行分析,在此基础上改良设计出基于FPGA的高速图像数据采集 系统的系统构架。然后提出系统设计方案,包括总体设计思路与系统结构。 第三章主要描述系统的模块设计。将整个图像采集系统分为5个大的功能 模块,分别为:图像采集模块、图像存储模块、图像显示模块、FPGA核心处理 模块及外围模块。首先为这些模块进行芯片选型,然后进行模块的硬件电路设 计,包括:图像采集电

22、路的设计、D/A转换电路设计、图像存储电路SDRAM设 计、VGA接口电路设计、SDRAM接口电路设计、VGA控制模块设计、时钟电路设计、JTAG接口电路及电源电路等。第四章主要对图像采集系统做模块功能仿真。这些模块包括:CMOS时序 驱动模块、串行数据解串模块、SDRAM读写控制模块及图像预处理模块。在 Quartus II平台上进行模块仿真及结果分析。最后,本章讨论了FPGA实现图像 处理算法,在几种卷积运算的基础上,提出运算结合方案对图像处理算法进行 优化,提高FPGA处理效率。第五章对本文进行总结与展望,总结论题完成工作外,提出进一步改进系 统的设计思想。4第2章系统总体设计2.1可编

23、程逻辑器件概述可编程逻辑器件(PLD发展至今,市场上已经出现多种类型的技术产品, 其主要分类如图2.1所示【141。臣j囱J隙.PLD 卤一醒 图2.1可编程逻辑器件分类图可编程阵列逻辑PAL(programmable array logic是由美国MMI公司于20世纪70年代后期推出的一款电子器件,它可以算作最早的可编程器件之一,随 后便出现了通用阵列逻辑GAL(generic array logic和CPLD(Complex Programmable Logic Device41。其中,PAL和GAL属于早期的PLD。这些早期 的可编程逻辑器件只具有可编程只读存储器(EEPROM、紫外线可

24、擦除只读存 储器(EPROM和电可擦除只读存贮器(EEPROM这三种类型。其规模小,只 能实现简单的逻辑功能。其后,一类结构较复杂的可编程逻辑器件CPLD出现 了,与GAL和PAL不同,CPLD含有丰富的逻辑资源,能够完成大规模的逻辑 电路设计ll引。典型的PLD是由一个“与门”和一个“或门”来组成的,任意的组合逻辑都可 以由这“与一或”表达关系式来实现。可编程阵列逻辑PAL就由“与一或”这两个 有连接关系的可编程平面构成。GAL是在PAL的基础上发展起来的,如 GALl6V8、GAL22V10等等,它主要采用EEPROM-1-艺,其输出可编程的逻辑 宏单元,GAL的设计带有较强的灵活性。PA

25、L和GAL可以实现速度特性较好的逻辑功能,但由于其固有的简单结构决定了它们只能实现小规模逻辑电路。 CPLD(Complex Programmab l e Logic Device和FPGA(Field Programmable Gate Array就是在这个基础上发展起来的,它们具有结构灵活、集成度高和适用范 围广等特点。与其他的专用集成芯片相比,CPLD和FPGA又有比较明显的优势, 比如开发周期短、制造成本低、工具先进、质量稳定、产品无需测试及可实时 在线检测等等。因此,CPLD和FPGA被广泛的应用于产品原型设计及小批量生 产(一般用于10,000以下。CPLD和FPGA几乎适用所有应

26、用门阵列和中小 规模集成电路。2.2FPGA与其它芯片系统的优劣比较2.2.1FPGA/CPLD与ASIC比较FPGA(现场可编程门阵列作为电子技术的一个重要组成部分,其飞速发 展有其必然性。现今社会数字电路应用越来越广泛,其复杂程度越高,所需通 用集成电路的数量越多,导致系统的体积增大,速度减慢,可靠性难以得到保 证。另外,数字产品的生命周期较短,不同的电路可能需要在短的周期内作出 改动以满足新的功能需求,采用传统的通用集成电路就意味着需要重新设计和 重新布线。因此,设计者们希望能够设计出专用的集成电路芯片(ASIC,能使 设计周期尽可能的短,且通用性强。在这种情况下,现场可编程逻辑器件(F

27、PLD 便应运而生。其中,现场可编程门阵列(FPGA和复杂可编程逻辑器件(CPLD 运用最为广泛【l引。经过近70年的不断发展,FPGA已经由最初的1200门发展到现在的百万门 级,正在向更高的性能、更集成的逻辑单元、更低功耗与成本方向迈进。在电 子行业,产品的功能、成本、性能及上市时间决定其是否迎合市场需求,取得 更大的市场占有率,拥有更多的用户。下面我们从这四个方面来分析FPGA和 ASIC各自的发展潜力【17】。1产品功能:FPGA因其本质特性在集成度和灵活性上就具备了优势。如 今,厂商在使用ASIC技术的同时,不得不考虑产品升级兼容性问题,而使用FPGA 则无此顾虑。2成本:从目前公布

28、的市场价格来看,通过ASIC实现0.18mm的工艺,其 仅仅掩模成本就在10万到30万美元之间,90nmT艺更是高达500万美元。而FPGA6武汉理工大学硕士学位论文需要的成本仅仅是ASIC的十几分之一甚至几十分之一。3性能:FPGA近几年在性能上发展迅速,如今FPGA的性能已经能够满足 大多数的设计需求,在一些领域已经取代了ASIC。4开发周期:ASIC在理想的状态下,从立顶到样片一般需要12-18个月的 时间,相比之下,FPGA的产品开发周期一般3.6个月。2.2.2FPGA与CPLD比较FPGA和CPLD都是可编程的ASIC器件,他们有很多的共同点,但因其结 构上的差异,也具有其独特性【

29、18】:1FPGA采用SRAM方式进行功能配置,可以重复编程,一旦系统掉电, SRAM中的数据会丢失,需要重新配置。如不然,可在FPGA外加一EPROM,将 其写入数据,则系统每次重新上电后会自动将数据写入SRAM。CPLD则采用 EEPROM技术,系统掉电后,数据不会丢失,适用于数据保密。2FPGA内部含有丰富的连线资源,CLB(可编程逻辑块分块较小,使得芯 片的利用率较高。CPLD宏单元的与或阵列比较大,宏单元之间主要通过高速数 据通道连接,容量有限,限制了器件的灵活布线,相对来说,CPLD的利用率要 比FPGA低。3FPGA含有丰富的触发器资源,适合实现时序逻辑。CPLD的与或门阵列 结

30、构,使其易于实现各种算法和组合逻辑,但其触发器资源较之FPGA要少一些。 这主要体现在以下几个方面:1在编程上FPGA要比CPLD具有灵活性;2FPGA 的集成度相对来说比CPLD高;3一般FPGA功耗要小于CPLD。2.2.3FPGA结构一般来说,PLD逻辑电路都有一个共同的基本组成:输入电路、与一或阵 列和输出电路,基本PLD器件原理结构如图2.2所示。h输入 与 或 输出 L 缓冲氩 阵 氏 、阵 A 缓冲 (, 矽 电路列 列 电路r 图2-2基本PLD结构图7输 出我们将PLD按不同的内部结构可以分为这两类【19】:基于乘积项 (Product-Term的PLD结构和基于查找表(Lo

31、ok.Up-Table的PLD结构。基 于乘积项的PLD主要可分为以下三块结构:宏单元(Marocell、可编程连线(P认 和I/O控制块。宏单元的主要作用是实现基本逻辑功能。PIA负责连接所有的宏 单元。I/O控制块用于输入输出的控制,比如设定集电极开路输出、三态控制等。 下面我们以D触发器的电路为例,来说明基于乘积项的PLD是如何实现逻辑功 能的,电路图如图2.3所示。图2.3基于乘积项D触发器逻辑电路图我们可以做如下假设:组合逻辑的输出(AND3的输出为:f=(A+BxCx(1D=AxCxID+BxCxD。逻辑原理如图2-4所示。I. 厂. 厂 I. 厂 I . .厂 A一 一 一 一

32、, A B B c c D D , , , 、 f1.二 图2.4基于乘积项D触发器逻辑原理图A、B、C、D由芯片管脚输入可编程连线阵列,图中的叉表示可编程熔丝 导通。这样,f=fl+f2就实现了上述的组合逻辑。 上述的简单电路,只用一个宏单元就能完成。要实现一个更为复杂的逻辑功能,就需要通过并联和共享扩展项将多个宏单元相连接,每个宏单元的输出 也可以和可编程阵列连接,作为另一个宏单元的输入。本设计中要使用的主要是基于查找表(LUT的FPGA结构。LUT本质上 就是一个RAM。比如一个4输入的LUT,就可以看做一个有4位地址线的16xl 的RAM。用户利用原理图或者是HDL语言描述一个逻辑电路

33、以后,PLD/FPGA 开发软件就会自动计算出该电路所有可能的结果,并将之写入RAM。这样,每 次输入一个信号对它进行逻辑运算就相当于输入一个地址进行查表,得到地址 对应的内容进行输出。我们还是以图2.3中D触发器电路为例,A、B、C、D由FPGA芯片管脚 输入,作为地址线连接到LUT,所有可能的结果已被事先写入LUT,通过查找 表就可以找到相应的数据输出,这样就实现了电路的组合逻辑。我们通过这个简单的例子来说明通过LUT如何实现逻辑功能。当然,对于 一个复杂的电路,就需要通过进位逻辑将多个单元相连来实现,这就是FPGA 实现复杂逻辑的基本原理。2.3现有的图像采集系统构架数字图像采集系统的应

34、用越来越广泛,设计者们也在根据自己的要求不断 地改进其系统构架。目前使用的较多的数字图像采集系统有如下几类20l:(1如图2.5所示,此种构架的图像采集系统对所采集到得图像不作实时 处理,由计算机完成对图像的处理,通常采集速率小于15fps。图2.5图像采集系统构架1(2如图2-6所示,此类型的采集系统常用于数字监控系统。其优于图2.5 9武汉理工大学硕士学位论文所示构架采集系统地方在于:它能对采集到得图像进行实时处理。通常采集速 率小于lOOfps。图2-6图像采集系统构架2(3如图2.7所示,此种构架的采集系统不对图像进行实时处理,将其直 接存储下来。由于其采集数据量大,系统传输压力也大,

35、理想情况下,只要存 储空间够大,任意速率的采集要求都可以满足。但是也会带来系统成本增大、 数据线要求、占用空间过大及系统整体灵活性较低等等问题。通常采集速率大 于lOOfps。图2.7图像采集系统构架3(4如图2.8所示,此种构架是目前研究高速图像采集系统的方向之一。 系统能对采集到的图像进行实时的图像压缩、图像增强、图像降噪等一系列处 理。但是这种构架的采集系统仍然存在一些问题,比如如何简化数据传输方式、 如何在高信噪比的情况下实现高压缩比。图2-8图像采集系统构架4lO武汉理工大学硕士学位论文2.4系统设计方案2.4.1总体设计思路本文希望设计出一种能够进行实时采集、实时处理的高速图像采集

36、系统, 以FPGA来控制完成前端图像采集模块。其主要设计模块由FPGA和视频解码 芯片共同构成。设计中新的图像采集处理系统要具有大吞吐量数据处理、多算 法、高实时性等特点,对所选的FPGA系统也提出了较高的要求。FPGA的发展使得图像采集技术的提高成为可能,本文将详细阐述图像采集 系统的基本结构和各部分硬件实现,基于FPGA方式实现其核心逻辑功能。一 般来说,FPGA系统设计基本流程如下:(1系统功能定义和逻辑功能模块划分,其中包括要考虑系统的端口定义 及系统功能复用;(2设计规模的初步估算;(3设计时序初步估算,包括频率、时钟结构、关键路径等等;(4芯片选型;(5逻辑功能模块的划分与各模块接

37、口定义;(6各子模块设计,必须在遵循FPGA完整设计流程的前提下完成;(7模块合并及仿真测试,包括完成整个系统的时序仿真及功能测试; 2.4.2系统结构本文在分析了传统图像采集处理系统构架的基础上,根据研究课题要求, 采用FPGA方式设计高速图像采集系统。从原理上来说,一个图像采集处理系 统主要分三部分:图像的提取、处理及输出。一般图像获取部分由图像传感器 完成,图像的处理和输出则可以由FPGA功能块和外部模块来实现。这三个大 的部分在图像采集处理体统内部又可以划分为7个功能模块:图像传感器模块、 实时处理模块、帧缓存模块、预处理模块、复杂图像高端处理模块、图像缓存 处理模块和外围接口模块。系

38、统模块结构图如下。图2-9通用图像采集处理系统模块划分图(1图像传感器模块:将光信号转化为电信号。根据信号输出分类,图像 传感器可以划分为模拟摄像头和数字摄像头。(2实时采集模块:主要对图像传感器的输出信号作处理,当输出信号为 模拟信号时,该模块实现模拟信号的A/D转换;当输出信号为数字信号时,该模 块完成摄像头时序和曝光控制。(3帧缓存模块:该模块一般采用大容量SDRAM、DDRAM或SGRAM完 成所有图像帧存储,在一些采集速度高、采集数据量大的场合中,可以采用两 个或者是多个缓存模块相连,来实现更快的数据存储。(4预处理模块:该模块一般在FPGA内部实现,当需要处理的数据量比 较大时,对

39、图像做前期的预处理可以缓解后期的高端图像数据处理模块的压力。 (5高端处理模块:在预处理模块基础上,对系统整体进行后期图像处理。 特别是需要大数据量处理的场合中。一般用于需要大数据量处理的场合中。 (6缓存模块:该模块一般通过高速SRAM实现,主要将部分将要处理的 图像数据缓存起来,以待下一步的数据处理,改善系统存储不及时带来的数据 拥塞及速度瓶颈。(7外围接口模块:该模块包括HPI接口、JTAG接口、SDRAM接口、VGA 接口及总线接口等等,实现核心处理模块与其他处理系统的通讯。2.5本章小结本章首先介绍可编程逻辑器件FPGA的特性及用途,并对FPGA、ASIC、 CPLD的发展及结构作了

40、简单比较。然后对高速图像采集系统的设计方案及系统 结构作概述,为下文系统各模块结构的硬件实现做铺垫。第3章 图像采集系统模块设计3.1系统硬件结构根据上文系统总体设计方案,本章将对图像采集系统的各部分硬件电路进 行详细论述。本设计硬件电路主要包括图像采集电路、视频A/D转换电路、 JTAG(Joint Test Action Group接口电路、串行接口电路、SDRAM存储电路、视 频D/A转换电路、VGA(Video GraphicsArray接口电路和电源电路。图3.1图像采集处理系统的整体硬件结构图像采集处理系统的整体硬件结构如图3.1所示。其中,FPGA处理模块是系统的核心模块,主要对

41、输入图像数据流、SDRAM 存储、VGA显示等进行控制,并完成图像数据的分析和处理。然后将处理过的 图像数据输出到D/A转换器,进行下一步的转换输出。下面对各模块的主要任 务做简单论述121J。(1图像采集模块主要完成目标图像的采集并将该图像光信号进行处理。(2加转换模块将采集到的模拟信号直接转换为数字图像信号。(3SDRAM储存电路主要用来处理图像帧缓存、中间数据及程序存储和 缓解数据拥塞等。(4图像显示电路主要包括两个模块:D/A转换电路和VGA接口电路。D/A转换完成图像数据从数字到模拟的转化,VGA接口完成模拟图像到显示器的输 出。(5JTnG(Joint Test Action Cr

42、oup是一种国际标准测试协议,主要用于芯 片内部的测试。这里JTAG接口电路用来辅助FPGA内部模块的调试。(6串行接口主要连接串行配置器件,用于保存FPGA的配置数据,使得 FPGA每次初始化都能快速重新装载数据。(7电源模块为整个硬件设计模块提供所需电压。这里,串行接口电路、 JTAG接口电路和电源电路都属于系统外围接口模块,图像采集和视频A/D转换 电路属于图像采集模块,VGA接口电路和视频D/A转换电路属于图像显示模块, SDRAM存储电路属于图像存储模块,FPGA核心处理模块又包括12C总线电路及 图像数据采集处理。下面就通过45节对这些主要模块进行详细分析说明。3.2FPGA芯片选

43、择FPGA模块是整个系统的核心部分,主要对系统各个模块处理及数据通信进 行控制并实现采集图像的识别跟踪和处理运算。本次设计采用CyclonelI系列芯 片。CyclonelI系列主要包括5个型号的芯片产品:EP2C5、EP2C8、EP2C20、 EP2C35、EP2C50和EP2C70。CycloneII系列FPGA芯片特性如下表3.1所示瞄】【231。 表3-1CyclonelI系列芯片特性表Feature EP2C5EP2C8EP2C20EP2C35EP2C50EP2C70 M4K RAM blocks 263652105129250 TbtalRAMbits 119.,808165,88

44、8239,616483,840594,A321,152,000 Embedded multipliers 1318263586150 PLLs 224444 Maximum user I/O pins 158182315475450622 L,Es 4,6088.25618,75233,.21650.,52868,416 CyclonelI系列芯片内部器件主要包括逻辑阵列块(Logic Array Block, LAB、嵌入式乘法器和嵌入式存储模块等。芯片锁相环(PLL提供时钟,I/O 单元提供输入输出的接口逻辑。逻辑单元(LE是CyclonelI系列芯片的最小逻 辑单元,每16个LE又组成一

45、个逻辑阵列块(LAB。CyclonelI系列芯片有多达16个全局时钟为逻辑阵列快、嵌入式乘法器、嵌武汉理工大学硕士学位论文入式存储模块和I/O单元提供时钟控制,其FPGA全局时钟线也可作为高速数字 输出信号利用。综合考虑芯片的逻辑资源量、最大存储量、最大时钟频率、I/O引脚数、集 成度及价格等因素,本设计采用具有240个引脚封装的EP2C20Q240。它主要具 有如下结构或特性瞄】:(1186752个逻辑单元;(252个M4K嵌入式存储器模块;(3240Kb的RAM总容量;(44-1"PLL锁相环;(526个嵌入式18x18乘法器;(6315个用户可用引脚。其I/O口可分为8个I/O

46、 Bank,每个Bank可根据需要配置1.2或3.3伏的电 平来与外围硬件电路连接。3.3图像采集模块3.3.1图像传感器的选择图像传感器是组成数字摄像头的重要部分,根据元件的不同可分为CCD(Charge Coupled Device,电荷耦合元件和CMOS(Complementary Metal.Oxide Semiconductor,金属氧化物半导体元件,CCD和CMOS都是现在图像采集常 用到的两种图像传感器。CCD属于摄影摄像方面的高端技术元器件,一般来说,CCD有以下优点【24】: (1低杂讯高敏感度:CCD具有极低的暗电流杂讯及读出杂讯,能够提高 信噪比(SNR,同时,CCD又有

47、高敏感度特性,使得其应用较少受到气候影响。(2高解析度:CCD可以感测识别极精细物体,从而提高摄像品质。(3良好的线性特性:入射光强度和输出信号成良好的线性正比关系,使 得暗处远处的景物也可以侦测到。(4低影响失真:影像处理不会有失真现象,还原本来影像讯息。CMOS图像传感器起步比CDD晚,初期由于制造工艺的限制发展较慢,时 至今日,随着商业化进程及制造工艺的不断提高,CMOS传感器不仅分辨率得 到很大提高,而且噪声也得到明显改善。目前CMOS图像传感器的应用也非常武汉理工大学硕士学位论文的广泛,包括数码相机、第三代手机、视讯会议、智能保安系统、汽车雷达、 影像电话等。与CCD相比,CMOS有

48、如下特点【25】【26】:(1COMS体积小、集成度高、耗电量不到CCD的1/10;(2CMOS是标准工艺制造,可以直接利用现有的半导体设备,不需要增 加额外的设备投资,其品质随着半导体技术的发展而提高;(3其市场价格比CCD低;(4CCD本身无法将图像信号直接转化成数字信号,需要加上A/D转换 芯片对其进行模数转换,CMOS传感器的每个感光元件中都整合了放大器和模 数转换器,可以直接将模拟信号转换为对应的数字信号。本文将采用CMOS传感器完成图像采集模块设计,目前还只有Micron和 Cypress生产出具有全局快门的CMOS传感器。由于拥有半导体产业背景,Micron 相比起同行业其他公司

49、有具有竞争优势。Micron生产的MT9V032图像传感器不仅能够提供宽动态范围,还能提供全 局快门功能。与一般的图像传感器相比,具有全局快门功能的CMOS图像传感 器能够在读出期间进行曝光,从而降低运动图像的模糊度。MT9V032图像传感 器具有这样一些特性,适合在本设计中应用【z1分辨率为752x480;2动态 范围达100分贝;3敏感度接近红外线;4IZc串行总线接1:3;5四个独立 的串行控制寄存器总线,可支持多传感器共用;6全局快门功能,支持瞬间积 分读出;7片内10位A/D转换通道。3.3.2CMOS传感器接口图像采集电路主要将目标图像的光信号转化为模拟信号,再经过A/D转换 输出

50、数字信号。为了避免工作环境不一样带来的影响,利用模块主处理器通过 i2c总线对传感器进行参数设置。12C总线在工业电子行业中,很多看上去不相关的设计里面存在相通之处,几乎每 个系统都包括这样一些元素【2sJ:1智能控制;2通用电路,比如RAM、远程 I/O等;3面向应用模块。为了简化设计,提高硬件效益,Philips开发出简单的双向总线,来实现有 效的IC控制,我们通常将这个双向总线称为12C总线。所有符合i2c总线的器 件组合成为一个片上系统接口,器件通过12C总线通信。12C总线的设计概念解决了很多数字控制电路设计的接121问题。一般来说,i2c总线有如下特征:(1两条总线线

51、路:串行数据线(SDA和串行时钟线(SCL;(2串行的8位双向数据传输,其速率在标准模式下达到100kbit/s:(3每个连接到总线的器件能够通过唯一的地址和主机/从机关系软件设定 其地址;(4如果两个或多个主机同时初始化,数据可以利用冲突检测和仲裁防止 数据破坏:(5连接到相同总线的IC数量只受总线最大电容限制。串行总线的器件之间通信必须利用协议来避免数据丢失、信息混乱等现象,应 当设计一个过程来决定哪些器件可以何时控制总线。这就涉及到总线的时钟同步问 题,设计时必须定义总线的时钟源。在i2c总线规范中建立了如下设计标准281:(1完整的系统由至少一个微控制器和其外围器件构成;(2不同器件的

52、连接成本必须最小;(3总效益由器件和总线结构决定;(4控制系统不要求高速传输。12C总线只需要两根信号线:串行数据线SDA和串行时钟线构成,利用12C 总线主机与从机间通信如图3.2。图3-2i2c总线连接框图主要有两种方法实现IZC总线通信:1利用MCU(Micro Control Unit对 两根I/O线实行软件编程;2使用12C总线控制核。因第二种方式受接口方式 和时钟频率限制,本次设计主要采用编程方式对图像采集模块和FPGA处理模 块进行12C总线控制。接口设计图像采集模块的设计主要采用Micron公司生产的新一代专用图像传感芯片 17MT9V032,该芯片主要具有数字明

53、晰(Digital Clarity和全局快I'-J(Global Shutter 功能。MT9V032关键性能参数如表3.2所示【271291。表3.2MT9V032性能参数快门类型 全局快门。最大数据速率 26.6Mp/s主时钟 26.6MHz分辨率 752x480帧率 60帧(全分辨率动态范围 >55dB电源电压 3.3V十/-0.3V输出增益 15.3e-/LSBADC分辨率 10.bit工作温度 -300C-700CMT9V032芯片有源晶振提供26.6Mp/s的时钟输入,其时钟信号和复位信号 由FPGA核心处理单元控制。在时序同步信号Pixclk、Linevalid、F

54、ramevalid 控制下,FPGA完成CMOS图像传感器的寄存器的设置,图像数据通过i2c总线 由CMOS9.0】数据端口传送给FPGA处理单元。MT9V032除了传统的并行输出 模式还具有串行输出功能,本设计连接,直观表示如下图3.3所示。图3.3MT9V032并行输出模式外部连接图3.4系统存储模块在图像采集系统的设计过程中,有两个地方需要配置外部存储器。一是采集到的图像通过VGA向PC机传送显示图像帧时,数据量大,需外 接大容量存储器件进行缓冲。由于MT9V032的采集速率和VGA的显示速率不 匹配,在FPGA内部的图像数据接口和VGA间加一个缓冲器可以解决数据冲突, 保护图像数据,使

55、图像显示连续。一是FPGA进行图像处理时,其内部RAM资源不够,也需要外接存储器件 来存放临时数据。FPGA采集到RGB格式的图像,每个像素点换算成数值需要 一个字节的存储空间,MT9V032的分辨率为752x480,那么每帧图像的数据量 将达到3.44MB。这样一来,FPGA每读完一帧图像并进行处理时,由于图像采 集速度大于处理速度,此时FPGA就会先将一帧图像暂存在外接存储器中,缓 解这种速度不匹配带来的冲突。3.4.1芯片配置SDRAM(Synehronous Dynamie Random Aeeess Memory,同步动态随机存储 器发展到现在已经经历了四代:SDR SDRAM、DD

56、R SDRAM、DDR2SDRAM 和DDR3SDRAM.(其中显卡上的DDR已经发展到DDR5。第一代和第二代 SDRAM采用单端(Single.Ended时钟信号,第三代和第四代采用差分时钟信 号作为同步时钟。所谓同步是指Memory工作时其内部命令发送和数据传输都以 同步时钟为基准【30。一般在系统设计中,FPGA内部RAM有限,影响系统控制处理速度。因此 外加两片SRAM芯片辅助FPGA来进行信号的采集处理。本设计主要采用Hynix 公司生产的DDR SDRAM HY5DUl21622B芯片。该芯片容量为 32Mxl6bit=512Mb。512m系列的SDRAM是高速CMOS动态随机存

57、储器,主 要具有以下特性:. (1兼容PCI00和PCI33;(2信号存储与时钟完全同步;(3自动预充电,并自动刷新模式;(4输入/输出与LVTTL(Level Transistor-Transistor Logic,电平式晶体管/晶体管逻辑电路兼容;(5电源电压为+3.3V 4-0.3V。193.4.2SDR AM设计两片SDRAM芯片可以进行32位数据存储,存储器芯片与FPGA的连接如 图3-4所示。图3.4S洲与FPGA接口电路对于CyclonelI系列基于SRAM技术的FPGA,系统掉电后,再上电时FPGA 的配置需要重新装载。为了防止多次重复下载数据,本设计为SDRAM设计了 一个控

58、制模块,该模块负责完成对SDRAM的初始化、连续读写和刷新等。Altera 公司提供的EPCS系列芯片是一种基于FLASH技术的专用串行配置芯片。该系 列芯片具有串行接口,能够及时存储FPGA的配置信息,一旦系统掉电,EPCS 系列器件就将这些配置信息存储起来,在系统上电需要重新配置FPGA时向 FPGA发送配置信息13¨。EPCS串行器件内部框图如下图3.5所示。图3.5EPCS串行器件内部框图EPCS系列器件容量如表3-3所示。表3.3EPCS系列器件容量Device EPCSl EPCS4EPCSl6EPC￥64 Memery(Mbit l,048,5764,194,30416,777,21667,108,864EPCS系列器件具有如下特性:(1低成本,存储稳定;(2操作起来简单方便,引