（控制科学与工程专业论文）基于fpga的数码相机研究.pdf

独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说 明并表示了谢意。 签名：日期：! 塑! ： 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) 导师c 签名) 砌耕日期缈f ( 注：此页内容装订在论文扉页) 摘要 随着人们生活水平的提高、电子产品的发展，数码相机在日常生活、航空 测量、水下拍摄、卫生医疗等方面得到广泛的应用。本论文以日常生活取景的 数码相机为研究对象，虽然当前数码相机集成度比较高，但如果利用相应技术 还可以提高集成度和降低成本。 本论文首先介绍数码相机的背景及意义，其次简要阐述国内外数码相机的 核心器件，最后详细分析和讨论了数码相机软硬件的设计原理及实现方法，并 对处理器中的核心功能进行了探讨和研究。 本文数码相机硬件、软件设计是以a l t e r a 公司c y c l o n ei i i 系列f p g a e p 3 c 4 0 f 3 2 4 c 6 为基础，加以外围电路和文字程序实现数码相机的功能。f p g a 主 芯片用来控制a d 转换器、存储器、u s b 接口芯片工作时序，接收它们输送的数 据信息并做相应的计算处理，然后输出地址存储信息或显示。本设计改变了以 往以d s p + a r m 构成的数码相机系统结构，具有更方便扩展外设，与c f 卡无缝 连接等优点。本系统的重点是完成了从初始的光电转换的模拟信号输入、编解 码、色度空间及图片格式转换的视频计算处理核心过程。该系统嵌入n i o si i 处理器、图像处理i p 内核，n i o si i 处理器可直接读取外设中的图片和视频信 号并显示播放；i p 内核包含h 2 6 4 和j p e g 2 0 0 0 编解码器，调用该内核可直接转 换图片格式简化图片处理。 软件设计部分叙述了基本原理和图像处理中的重要算法，并给出了仿真结 果。论文用v e r i l o gh d l 详细描述了图像存取中f p g a 控制s d r a m 实现“乒乓球 操作；讨论1 2 c 工作原理及用v e r i l o gh d l 编写该原理程序；利用中值滤波的方 法去除图像噪声，该方法的优点在于简单方便的同时可以得到较好的图片视觉 效果；比较基于一阶导数的索贝尔算子、罗伯特算子、普瑞维特算子和基于二 阶导数的拉普拉斯算子，最终选取索贝尔算予进行边缘检测；图像的融合是根 据小波帧变换分解与重构实现，并简要介绍了融合过程；最后介绍压缩原理及 j p e g 2 0 0 0 的i p 核设计。 本文的设计重点在于由f p g a 完成以往d s p + a r m 共同完成的功能，通过仿真 结果显示，实验效果完全可以满足日常数码相机的要求。 关键字：数码相机f p g a 中值滤波j p e g 2 0 0 0 。j a b s t r a c t w i t ht h e d e v e l o p m e n to fp e o p l e sl i v i n gs t a n d a r d sa n de l e c t r o n i cp r o d u c t s ， d i g i t a l c a m e r a sa r eaw i d er a n g eo fa p p l i c a t i o n si nd a i l yl i f e ，a e r i a l s u r v e y , u n d e r w a t e rp h o t o g r a p h y , h e a l t ha n do t h e ra s p e c t s t h i sp a p e rs e l e c tt h ed i 。g i t a lc a m e r a w h i c hi su s e di nt h ed a i l yl i f ea st h eo b j e c to fs t u d y , a l t h o u g ht h ec u r r e n td i g i t a l c a m e r ai n t e g r a t i o ni sr e l a t i v e l yh i 曲，b u ti fy o uu s et h ea p p r o p r i a t et e c h n o l o g yc a n a l s oi m p r o v et h el e v e lo fi n t e g r a t i o na n dr e d u c ec o s t s t h i sp a p e rf i r s td e s c r i b e st h eb a c k g r o u n da n ds i g n i f i c a n c eo ft h ed i g i t a lc a m e r a , f o l l o w e db yb r i e f st h ec o r ed e v i c e so fd i g i t a lc a m e r aa th o m ea n da b r o a d ，f i n a l l y g i v e sa d e t a i l e da n a l y s i sa n dd i s c u s s i o no fd e s i g np r i n c i p l e sa n dr e a l i z a t i o nm e t h o do f d i 百t a lc a m e r as o f t w a r ea n dh a r d w a r e ，a n dt h ee x p l o r a t i o na n ds t u d yo fp r o c e s s o r c o r ef e a t u r e s t h i sd i 西t a lc a m e r ah a r d w a r ea n ds o f t w a r ed e s i g na r eb a s e dc y c l o n ei i if a m i l y f p g ae p 3 c 4 0 f 3 2 4 c 6o na l t e r a , c o m et r u et h ef u n c t i o no fd i g i t a lc a m e r aw i t h p e r i p h e r a lc i r c u i t sa n dp r o g r a m s t h em a i nf p g ac h i pi s u s e dt oc o n t r o la d c o n v e r t e r , m e m o r y , t i m i n go f u s b i n t e r f a c ec h i p ，r e c e i v e st h ed a t ai n f o r m a t i o nw h i c h m c yt r a n s p o r ta n dm a k e sc o r r e s p o n d i n gc o m p u t i n g , a n dt h e no u t p u tt h ea d d r e s s i n f o r m a t i o ns t o r e do rd i s p l a y e d t h i sd e s i g nc h a n g e st od s p + a r mo ft h ef o r m e r d i g i t a lc a n l e r as y s t e ms t r u c t u r e ，h a s am o r ec o n v e n i e n tp e r i p h e r a le x p a n s i o n , s e a m l e s sc o n n e c t i o nw i t hc fc a r d s ，a n ds oo n t h es y s t e mf o c u s e so nt h ec o m p l e t i o n o ft h ea n a l o gs i g n a li n p u tf r o mt h ei n i t i a lp h o t o e l e c t r i cc o n v e r s i o n , e n c o d i n ga n d d e c o d i n g , c o l o rs p a c ea n di m a g ef o r m a tc o n v e r s i o no fv i d e oc o m p u t i n gc o r ep r o c e s s t h en i o si ie m b e d d e dp r o c e s s o rs y s t e m s ，i m a g ep r o c e s s i n gi pc o r e ，n i o si ip r o c e s s o r c a nd i r e c t l yr e a dt h ep e r i p h e r a l so ft h ep i c t u r e sa n dv i d e os i g n a la n dd i s p l a y s lt h e p l a y e r ；i pc o r ei n c l u d e sh 2 6 4a n dj p e g 2 0 0 0c o d e c ，c a l lt h ek e r n e lt od i r e c t l y c o n v e r tp i c t u r ef o r m a t ss i m p l i f yi m a g ep r o c e s s i n g t h es o f t w a r ed e s i g nn a r r a t e di nt h eb a s i cp r i n c i p l ea n dt h ei m p o r t a n ta l g o r i t h m o fi m a g e r yp r o c e s s i n g , a n dg i v e st h es i m u l a t i o nr e s u l t s t h ep a p e r , u s i n gv e r i l o g h d l ，d e s c r i b e sd e t a i l e d l yt h ef p g ac o n t r o l l i n gs d r a m t oa c h i e v e ”t h ep i n g p o n g ” o p e r a t i o ni ni m a g ea c c e s s ；d i s c u s s i n g1 2 cw o r k i n gp r i n c i p l ea n dc o m p i l i n gt h i s 。 p r i n c i p l ep r o c e d u r e 、析mv e r i l o gh d l ；u s i n gt h em e t h o do fm e d i a nf i l t e r i n g t on o i s e f o ri m a g e ，t h em e t h o do fa d v a n t a g ei s s i m p l ea n dc o n v e n i e n t ，a n dg a i n sab e t t e r p i c t u r ev i s u a le f f e c t a tt h es a m et i m e ；c o m p a r i n gw i t hb a s e do nt h ef i r s t - o r d e r d e r i v a t i v es o b e l l o p e r a t o r , t h e r o b e r t o p e r a t o r , p u r iw i t t eo p e r a t o r a n dt h e s e c o n d o r d e rd e r i v a t i v el a p l a c i a n ，a n df i n a l l ys e l e c t i n gt h es o b e l lo p e r a t o rf o re d g e d e t e c t i o n ；i m a g ef u s i o ni sb a s e do nw a v e l e tf r a m et r a n s f o r md e c o m p o s i t i o na n d r e c o n s t r u c t i o nt oa c h i e v e ，a n db d e f l yd e s c r i b e st h ep r o c e s so fi n t e g r a t i o n ；i n t r o d u c t i o n i m a g ec o m p r e s s i o np r i n c i p l ea n dj p e g 2 0 0 0i pc o r ed e s i g n t h i sp a p e rf o c u s e so nd s p + a r md o n ei nt h ep a s tb yf p g a c o m p l e t i n gf e a t u r e n o w , s i m u l a t i o nr e s u l t sc a nb ed r a w nt h a tt h ee x p e r i m e n te f f e c tf u l l ym e e tt h ed a i l y r e q u i r e m e n t so ft h ed i g i t a lc a m e r a k e y w o r d s ：d i g i t a lc a m e r a , f p g a ，m e d i a nf i l t e r i n g , j p e g 2 0 0 0 i i i 目录 摘要i a b s t r a c t ：i i 第1 章引言1 1 1 选题背景及意义：1 1 2 国内外研究现状及分析2 1 3 本文研究内容5 第2 章数码相机结构概述7 2 1 数码相机一般结构：二7 2 2c c d 器件8 2 2 1c c d 器件的工作原理8 2 2 2c c d 的特性参数8 2 3f p g a 器件1 0 2 3 1c y c l o n e 系列f p g a 的基本结构与原理1 0 2 3 2f p g a 的特点：。1 3 2 3 3f p g a 开发平台及流程1 4 2 4 本章小结1 9 第3 章数码相机电路设计。2 0 3 1 电源电路设计。2 0 3 2 模数与数模转换电路设计2 1 3 2 1a d 芯片选型及外围电路设计2 1 3 2 2d a 芯片选型及外围电路设计2 2 3 3 存储器电路设计2 3 3 3 1f l a s h 电路设计j 2 3 3 3 2s d r a m 和s r a m 芯片选取2 4 3 3 3c f 卡硬件设计2 6 3 4 复位电路设计2 8 3 5u s b 接口设计2 8 3 6f p g a 配置电路设计2 9 3 7 本章小结3 0 i v 。、 第4 章软件设计原理3 1 4 1 乒乓球操作原理及程序仿真31 4 21 2 c 设计3 4 4 3 图像去噪处理3 6 4 4 图像边缘检测3 8 4 5 图像融合技术4 3 4 5 1 小波帧变换的分解与重构4 3 4 5 2 图像融合过程及仿真结果4 4 4 6c c d 的软件驱动4 5 4 7 图像压缩基本原理4 8 4 7 1 压缩基础4 8 4 7 2 压缩标准。4 8 4 7 3 压缩流程4 9 4 8j p e g 2 0 0 0i p 核设计5 1 4 8 1 基础结构5 l 4 8 2d w t 变换5l 4 8 3e b c o t 5 3 4 8 4 内存管理5 6 4 9 本章小结：5 7 第5 章总结与展望5 8 5 1 总结5 8 5 2 展望5 8 致谢6 0 参考文献6 1 作者在攻读硕士学位期间发表的学术论文6 3 v 武汉理工大学硕士学位论文 1 1 选题背景及意义 第1 章引言 进入了高数字化时代后，数字产品替代了传统影像设备。数字电视、数码 摄像机、数码相机、手机、m p 5 等等在我们周围已经随处可见，他们所带来的 方便快捷给我们的生活增添了多彩。最初的数码相机产生于在上世纪八十年代， 相对于今日市面上的数码相机而言，功能比较简单结构复杂，但在当时已经取 得了飞跃性的发展。经过近三十年的发展，数码相机已经遍布世界的各个角落， 高像素化、小型化、多功能化、时尚化等特点已经受到人们的喜爱，应用在个 人拍摄、广告摄影、新闻图像采集、侦查取证、网络远程教育等日常生活方面， 同时也被广泛地利运用于医疗卫生，探险旅游，科技探测等诸多方面。因此， 数码相机技术、应用和产业的发展推动我国生活信息化起到不可磨灭的作用。 数码影像技术最初是由美国柯达、日本索尼、尼康、富士、佳能和荷兰飞 利浦公司通过光学、电子、和计算机等领域技术联合研发而成。上世纪，主要 是由美国、欧洲和日本知名企业掌握了数码相机的核心技术；近年来，韩国、 中国台湾、中国地区发展势头迅猛。s o n y 、t o s h i b a 、n e c 、s a n y o 的c c d 图像 传感器；o m n iv i s i o n 、a g i l e n t 、p h o t o b i t 、m i c r o n 、三星的c m o s 图像传感器： t i 、m o t o r o l a 的数码相机处理器，甚至各个数码相机品牌都有自己的处理器，例 如，佳能：d i g i ci i 、d i g i ci i i 、d i g i c4 数码影像处理器、索尼：b i o n z 真实 影像处理器、奥林巴斯：t r u e p i ct u r b o 、t r u e p i ei i i 影像处理器、富士：r p 自然 影像处理器、松下：v e n u s ( 维纳斯) i i 代、i i i 代影像处理器、卡西欧：e x i l i m 影像处理器、尼康：e x p e e d 数码影像处理、宾得：p r i m e 真实影像处理器等。 在我国，数码相机已成为普通消费者的生活必需品。，进入二十一世纪后数 码相机销售量呈现爆炸性增长态势。国内的一些科研机构、著名高校和知名企 业等也已陆续开展了数码相机相关核心技术的研究和开发，国家有关部门也大 力支持相关课题的研究，例如：2 0 0 2 年在国家8 6 3 计划中，国家财政资助多家 单位研发j p e g 2 0 0 0i p 核。同年复旦大学也设计出国内第一款数码相机处理器， 成为国内数码相机处理器的领军人。 一 武汉理工大学硕十学位论文 1 2 国内外研究现状及分析 目前市面上数码相机核心图像处理器主要采用d s p 和m c u 双内核结构， 其中m c u 主要是控制数码相机信号的使能功能，d s p 则用于图像信号采集、压 缩、解压处理以及一些其它附加功能。在排除外界环境的印象下，数码相机拍 照生成的图像质量好坏主要由图像处理引擎性能决定。随着数码相机的进一步 普及和相应技术的不断提高，未来数码相机的像素会愈来愈高，图像的效果和 自然景象愈拉愈接近，长时间高清晰的视频录像、音频录音的高科技技术将逐 渐嵌入到数码相机，这将是数码相机在发展史上的又一次革新。现在高像素数 码相机在市面上已经屡见不鲜了，这时生产厂家则会考虑到图像本身的品质问 题，提高图像对防噪、色彩、亮度的处理能力以及数码相机的对焦、曝光、防 震等功能，这就要求数码相机需要有更优质的处理引擎和简单优化的算法。 c c d 器件的突飞猛进的发展带动了数码相机高速发展，如k o d a kd c 系列、 c a n o ni x u s 系列c a s i oq v 系列、n i k o nc o o l p i x 系列相机都是针对家庭日用、 不同档次设计的消费型数码相机。消费型c c d 数码相机在分辨率、功能多样化、 信息存储多样化、操作简便等方面有了很大的提高，以真正流入千家万户。 在数码相机中采用最为广泛的两大图像传感器分别是：c c d ( c h a r g e c o u p l e dd e v i c e 电荷耦合器) 和c m o s ( c o m p l e m e n t a r ym e t a l o x i d e s e m i c o n - d u c t o r 互补型金属氧化物半导体) 。c c d 和c o m s 是把光转为电的器件， 它们对光照强度敏感，可把自然光通过r e d 、b l u e 、g r e e n 滤光镜分色后可转换 成对应的信号。而c c d 最大的特点就是以电荷的转移为信号，有别于其它以电 压或电流为信号的器件。c c d 的工作过程主要包括信号电荷的产生、存储、传 输和检测。数码相机可以划分为单c c d 单芯片数码相机、单c c d 多芯片、双 c c d 单芯片数码相机、双c c d 多芯片、以及3 c c d 单芯片和3 c c d 多芯片数码 相机六大类。目前c c d 几乎被日系厂商垄断，只有少数几个厂商例如索尼、夏 普、松下、富士、东芝等掌握这种技术。c m o s 图像传感器是上世纪9 0 年代兴 起的新技术，掌握该技术的公司较多，美国有o m n iv i s i o n ，a p t i n a ；欧洲有s t ； 韩国的三星，s i l i c o n f i l e ，h y n i x 等；日本的s o n y ，东芝等；中国台湾的晶像； 大陆地区的比亚迪，格科微等公司。由于c c d 技术出现早，相对成熟，前期占 据了绝大部分的高端市场。 c m o s 图像传感器自从问世以来， 与c c d 相比，仅功耗与成本优势明显， 已表现出强劲的增长势头。早期c m o s 因此多用于手机，p cc a m e r a 等便携产 2 武汉理工大学硕十学位论文 品中，他们主要区别是由感光单元及读出电路结构不同而导致制造工艺的不同。 c c d 感光单元实现光电转换后，以电荷的方式存贮并以电荷转移的方式顺序输 出，需要专用的工艺制造实现；c m o s 图像感光单元为光电二极管，可在通用 c m o s 集成电路工艺制造中实现，除此之外还可将图像处理电路集成，实现更 高的集成度和更低的功耗。随着c c d 与c m o s 图像传感器技术含量的进一步提 高，两者的差异性就会越来越小，例如，s a n y o 降低c c d 传感器在功耗方面的 性能使其运用在移动通信领域；比亚迪c m o s 图像传感器b f 3 0 0 3 可以完全替 换中低端c c d 产品。 1 9 6 9 年，在美国贝尔实验室维拉博伊尔( w i l l a r ds b o y l e ) 、乔治史密 斯( g e o r g ee s m i t h ) 等人在研究影像电话和半导体气泡式内存时，发现了电荷 沿着一片半导体表面势阱发生传递的现象，但只能“记忆很短的时间，随即 发现光电效应可使该器件表面产生电荷，组成数位影像，到7 0 年代，他们能用 简单的线性装置扑捉影像，从而提出了c c d 器件模型。在2 0 0 9 年维拉博伊 尔和乔治史密斯因“发明了成像半导体电路电荷耦合器件图像传感器 c c d 而获得诺贝尔物理学奖。至1 9 7 4 年，快捷半导体( f a i r c h i l d s e m i c o n d u c t o r ) 的产品率先上市，并发表5 0 0 单元的线性装置和1 0 0 1 0 0 像素的平面装置。随着超大规模集成电路工艺的提升，一些电子产业兴盛发达 国家也陆续推出了自己的c c d 器件。线阵c c d 器件主要应用处理静态图像， 性能正朝着高速度、宽动态范围、高灵敏度、高集成度和画质方向发展；面阵 c c d 器件主要应用处理动态画面图像，最具典型的是1 9 8 5 年美国t e k t r o n i x 公 司推出了2 0 4 8 * 2 0 4 8 像素的面阵c c d 图像传感器；目前在国内5 0 0 万以上像素 的数码相机的品种繁多，我们对c c d 的发展可见一斑；美国在军用、空间应用 c c d 技术方面处于世界领先地位。2 0 1 0 年i n t e r s i l 公司推出新款电荷耦合器件 ( c c d ) 驱动器i s l 5 5 1 1 2 ，为数码成像产品提供了业内最快、最精确图像 传感器驱动解决方案。新的i s l 5 5 11 2 双路c c d 驱动器使用了i n t e r s i l 的专利技 术，在高容性的图像传感器负载中实现了快速、匹配的上升和下降时间，从而 产生稳定、可预知的c c d 驱动器波形。而且在高时钟频率下工作时，波形在整 个温度范围内的变化极小。上升和下降时间是用户可编程的，因此省却了常用 的电磁干扰( e m i ) 阻尼器件。i s l 5 5 1 1 2 具有快速从待机状态恢复和极为高效 的断电模式等节能特性，大大延长了数码相机的电池寿命，而且还兼容低功耗 的3 v 逻辑器件。科学级c c d 相机广泛用于天文学、光谱学、x 射线显像、航 天航空、水下拍摄、医药生物等科学研究领域。 武汉理工大学硕十学位论文 微电子技术、工艺在近几十年里迅猛发展，数字集成电路越来越复杂，从 最初的电子管到晶体管、小规模集成电路、大规模集成电路、超大规模集成电 路，再到今天的a s i c 。由于a s i c 本身设计的周期比较长，如果须变更其中一 个小模块则须更改整个系统，真乃牵一发动全身，这些缺点严重限制了它的推 广范围。硬件工程师则希望找到一种更为灵活设计方案来克服a s i c 的缺陷，这 时就提出了可编程逻辑控制硬件的思想，具有实时性、灵活性。 f p g a 的发明在当时是一种革命性的创举，赛灵思共同创始人之一 r o s s f r e e m a n 先生因为发明f p g a ，在2 0 0 9 年荣登了美国发明家名人堂，与爱 迪生、贝尔、英特尔的创始人安迪葛洛夫等著名发明家共享荣耀。他认为f p g a 灵活和可制定性满足客户的不同需求，最初的f p g a 只对基本固定逻辑电路设 计，在现在愈来愈多的人认可f f ( 3 a ，并由它替代了传统意义上的定制芯片。赛 灵思的第一款产品x c 2 0 6 4 在1 9 8 5 年诞生，但一般的性能没能引起业界认可， 它使用2 9 m 工艺制作，、只含有不过1 0 0 0 个门电路，8 5 0 0 0 个晶体管和6 4 个逻 辑模块。到2 0 0 7 年，f p g a 两个领头羊公司a l t e r a 和x i l i n x 分别推出了属于自 己的6 5l l l n 工艺的f p g a 产品，在2 0 1 0 年已经有4 51 1 1 1 1i 艺的f p g a 产品上 市，其门的数量级已达千万，晶体管数量更是超过十个亿。一路走来，f p g a 在 不断地紧跟并推动着半导体工艺的进步- 2 0 0 1 年采用1 5 0 r i m 工艺、2 0 0 2 年采 用1 3 0 r i m 工艺，2 0 0 3 年采用9 0 n m 工艺，2 0 0 6 年采用6 5 r i m 工艺，2 0 1 0 年采用 4 5 n m 工艺。a l t e r a 和x i l i n x 公司的f p g a 一般基于s r a m 结构设计，l a t t i c e 公 司的f p g a 基于反熔丝( a n t i d f u s e ) 或f l a s h 结构设计，他们先进的工艺、集成了 处理器内核、硬核与固化a s i c 、低成本硬件等特点并将带动整个电子市场的繁 荣。 当赛灵思推出第三代产品x c 4 0 0 0 系列产品后，业界就开始注意并考虑可编 程技术的发展前景，一些制造商认为f p g a 可在制造芯片过程中测试它们的性 能好坏。最后用事实阐明了f p g a 独特优厚的条件在初期的测试领域发挥了重 要的作用。该系列的x c 4 0 0 3 产品采用0 7 岫工艺制作，并含有4 4 万个晶体管 充当了当时测试领域的优异工具，替代了原始以储存器验证的这一角色。自那 以后，半导体的发展突飞猛进，新的工艺不断的推出，f p g a 进入崭新时期。 在很长的一段时间内，业界对f p g a 的认可程度停留在原型设计上，而相 对批量生产的d s p 系统来说，它的成本高、功耗大等劣势没能在图像领域与d s p 相抗衡。现今两大领头x i l i n x 公司和a l t e r a 公司纷纷生产出自己的f p g a ，集 成了诸多d s p 模块，成本高、功耗大等特点已经不复存在，并且较d s p 功能更 4 武汉理工大学硕士学位论文 为强大，今后会逐步取代d s p 产品。当前绝大多数视频图像处理系统都是基于 d s p 和a s i c 的联合结构进行研发设计的。现今人们对系统集成度越来越高，致 力提升f p g a 的性能和集成度势在必行，各f p g a 厂商也开始为视频图像处理 设计人员提出了全新的解决方案，运用一片f p g a 芯片来控制和处理整个图像 信息，这将成为f p g a 的下一步发展趋势。f p g a 灵活性，研发周期短，上市时 间快，其价格、性能可以和a s i c 媲美。特别是a l t e r a 公司自主研发的嵌入式微 处理器n i o si i 更是体现上述特点，并且在国外已经得到广泛利用，而国内还处 于初级阶段。 历史上，可编程逻辑器件经历了从p r o m ( p r o g r a m m a b l er e a do n l y m e m o r y ) 、p l a ( p r o g r a m m a b l el o g i ca r r a y ) 、p a l ( p r o g r a m m a b l ea r r a yl o g i c ) 、 可重复编程的g a l ( g e n e r i ca r r a yl o g i c ) ，继而到大规模集成电路e p l d 上， 现在c p l d 和f p g a 已经成为各个领域的主流芯片产品，高集成度、低功耗、 高度度、优越的灵活性可时序分析的结构等等诸多特点赢得了用户的一致好评。 可编程逻辑器件在发展过程中主要经历过一下几个阶段： ( 1 ) 2 0 世纪7 0 年代初期，可编程逻辑器件诞生，采用熔丝编程，例如： p r o m 和p l a ； ( 2 ) 2 0 世纪7 0 年代末期，针对p l a 的不足进行修正，首先由a m d 公司 研发出器件p a l ； ( 3 ) 随着可编程逻辑器件的发展，2 0 世纪8 0 年代初，p a l 的不足凸显出 来，莱特斯基于p a l 技术研发了可电擦写的、更具有灵活性的g a l 器件； ( 4 ) 到了中期以后，由x i l i n x 公司研发并生产出了世界上的第一款f p g a 芯片，具有现场可编程功能。同时a l t e r a 公司也推出自己的一款e p l d 器件， 它与g a l 比较有更优势的集成度，可使用电和紫外线两种方式擦除； ( 5 ) 在8 0 年代后期9 0 年代初期，l a t t i c e 公司又提出在系统可编程技术， 并且推出了一系列具备在系统可编程能力的c p l d 器件，将可编程逻辑器件的 性能和应用技术推向了一个全新的高度； ( 6 ) 2 0 世纪9 0 年代后，可编程逻辑集成电路技术进入飞速发展时期。器 件的可用逻辑门数超过了百万门，并出现了内嵌的复杂功能模块( 如加法器、 乘法器、r a m 、c p u 核、d s p 核、a r m 核、p l l 等) 的s o p c 。在2 1 世纪头 十年内，x i l i n x 公司和a l t e r a 公司纷纷技术革新，拥有自己的更多市场用户。 1 3 本文研究内容 5 武汉理工大学硕士学位论文 本论文的核心是研究和设计f p g a 数码相机，利用日益兴盛的f p g a 芯片取代 传统的d s p + a s i c 结构系统设计，一切控制和算法都由强大的f p g a 完成。该数码 相机可以满足人们对一般拍摄的需求。 本章结构如下： ( 1 ) 第一章描述了当前国内外数码相机的研究现况，分析本论文的选题背 景和意义； ( 2 ) 第二章概述数码相机的一般结构及数码相机中核心部件c c d 和f p g a 工 作原理、特性参数、平台流程； ( 3 ) 第三章设计数码相机的外围电路，包括模数数模转换电路设计、存 储器电路设计、复位电路设计、u s b 接口设计、f p g a 配置电路设计等； ( 4 ) 第四章主要研究该设计的软件部分及软件研究方法原理，主要内容包 括乒乓球操作原理、1 2 c 设计、图像去噪、边缘检测、图像压缩、j p e g 2 0 0 0 i p 核： ( 5 ) 第五章总结本论文的创新点及不足点，展望未来数码相机的发展趋势。 6 武汉理工大学硕士学位论文 第2 章数码相机结构概述 21 数码相机一般结构 数码相机是集光、电、声、机一体化的产品，如下图所示，通用性数码相 机的主要结构原理图，并介绍对应的功能。 m i c l 扬声器l 弓彳f l c d 音频处理器 、玉 么 l 中央处理器控制k i 蹴u c f s b s 接m 阐s s f a 分允 v s r a i f l a s hs d r a m 数 程序存储器 据存储器 图2 - 1数码相机结构原理图 镜头：包括镜头保护玻璃、镜头组件、光学低通滤光片( o l p f ) 和红外截止 滤光片。镜头保护玻璃是防止外界污染源影响镜头组件的采光效果；镜头组件 作用是将外部自然光尽好的集聚起来；o l p f 是将景物图像信息的光通过该光 学低通滤光片后产生双折射，异常光e 光束和寻常光0 光束；红外截止滤光片是 将人眼无法看到但c c d 却可检测出的红外光线滤除掉。 c c d ：将通过c c d 保护玻璃的光信号变换成电信号的感光器件，在单位面积 上，像素越高，景物成像就越清晰。 a d 模数转换器：将输入连续的电压模拟电信号转换为输出的离散数字信号； 中央处理器及控制：控制数码相机的整体操作，将输入的数字信号通过高速 计算转换成图片格式并存储。 7 武汉理工大学硕士学位论文 c f s m s s f ：储存图像信息，可通过u s b 接口与p c 机传输图片信息。 l c d 液晶显示器：显示外界景物图像或者查看所存储图片信息。 u s b 接口等：主要完成储存图片信息与p c 机或打印机的通信，同时可作为充 电电源的输入端口。 数码相机根据所取景物的背景，通过自然光反射到相机镜头上，此时按下 快门，凸透镜把以直线射入的光线聚集起来，经过o l p f 和红外截止滤光片滤掉 人眼感觉不到的光线，之后到达c c d 上，c c d 感受不同的光强度则把接受到的 光信号转变成电信号，该电信号以r g b 三色三路电路经过放大电路作用后生成 不同的电流传送至模数转换器中，最后以数字信号输入到中央处理器中处理， 中央处理器以事先设计好的算法计算图片信息，以此来转化成图片格式，最终 存储在储存器中。这是可以使用u s b 接口传输到p c 机上或者通过数码相机的 按键操作在l c d 上观看效果图。 2 2c c d 器件 2 2 1c c d 器件的工作原理 c c d 不同于其他大部分以电流或者电压作为信号工作的器件，它最显著的 特点是以电荷的转移工作。当对它添加一定脉冲时，其本身存储的电荷可以作 定向转移，并存储由电或光产生的电荷信号。构成c c d 的基本单元是m o s ( 金 属氧化物半导体) 结构。首先在p 型硅衬底上覆盖一层极薄的二氧化硅作为隔 离层，在s i 0 2 两旁蒸镀一层金属层构成源级s 和漏极d ，之上蒸镀一层金属构 成栅极g ( 栅极g 、源级s 和漏极d 金属层不相接) ，则m o s 电容结构完成。 n 沟道耗尽型m o s 的结构与增强型基本相同，不同之处在于n 沟道耗尽 型m o s f e t 在制造过程中在栅源之间的s i 0 2 中注入了大量的正离子，使漏源之 间的导电沟道在u 翳= o 时导电沟道就已经存在了，这一沟道称为初始沟道。由 于u 萨0 时就存在初始导电沟道，所以只要加上u d s 就能形成漏极电流i d 。 当自然光射到c c d 上时，根据光强度的不同每个像素m o s 电容产生并存 储了一定的电荷，收集每一行m o s 电容中的电荷集中在各行的一个电荷容量中 组成一列，然后电荷转移并测量输出。 2 2 2c c d 的特性参数 8 武汉理t 大学硕士学位论文 c c d 数码相机的特性参数主要由自身决定，其特性参数主要包括：噪声特 性、动态范围、灵敏度、分辨率、暗电流信号。 ( 1 ) 噪声特性 c c d 本身是属低噪声器件，但是因为其电荷在内部的注入、转移和检测产 生噪声污染而影响原始信息的纯正度。概括分类主要有散粒噪声、k t c 噪声和 转移噪声。 散粒噪声主要是由于在相同像素、单位时间上光注入所产生电荷数并不是 绝对相等的，这样就在一个平均值上来回波动而引起散粒噪声。虽然散粒噪声 相对较小，但在可行范围内降低其他噪声时，它也会成为主噪声了。 k t c 噪声则是在注入和检测复位时，他们的电路可等效成r c 回路，电流 流过电阻r 时产生热量而引起。 转移噪声具有叠加性和关联性。叠加性是在转移中逐渐累加而成，转移次 数越多则噪声越大；关联性是指彼此相邻的点荷包在转移过程中有相互干扰性。 ( 2 ) 动态范围 动态范围是由输出满势电压与噪声电压的均方根比值决定。 d y n a m i c = 2 0 l o g 惫 协d 其中v 砌是满势电压，由c c d 的有效面积、结构、驱动方式和电压等决定。 它反映了c c d 器件可以工作的范围，一般情况下在6 0 - - 8 0 分贝。 ( 3 ) 灵敏度 灵敏度是决定c c d 性能的重要指标之一，表示光电转换的一种能力的大小。