（航空宇航制造工程专业论文）车牌自动识别系统的研制与开发.pdf

西北工业大学硕士学位论文 摘要 摘要 智能交通是当前交通管理发展的主要方向，汽车牌照自动识别技术是智能交 通系统的核心，是目前交通部门十分重视的科研项目之一。 车牌识别是一项涉及数字图像处理、计算机视觉、模式识别等多学科的技术， 它在交通监督和控制中占有很重要的地位，已成为现代交通工程领域中研究的重 点和热点之一。该项技术应用前景广泛，例如在闯红灯自动抓拍系统等中的应用。 车牌识别一般可以分为车牌的定位、牌照上的字符分割和字符识别三个主要 部分。本文研究了进行车牌识别的关键技术，在分析近年来一些典型的车牌识别 算法的基础上，最终确定一系列有效的算法对车牌进行识别。 本文的处理对象为y t z p x 系列机动车辆闯红灯自动抓拍系统所抓拍到的近景 彩色车辆照片，任务是完成车牌定位和字符的分割与识别。整个系统包括视频采 集和传输系统的设计、汽车图像的预处理、汽车牌照定位、车牌字符分割和字符 识别五个部分。 视频采集和传输系统的设计，是基于删处理器与嵌入式l i n u x 操作系统的， 对y r 口x 系列机动车辆闯红灯自动抓拍系统的改进，旨在降低该系统的成本和提 高该系统的性能。 在图像预处理模块中，在对抓拍系统获取的照片特点进行分析的基础上，制 定了相应的图像预处理的方案，采用相应的方法来消除或减轻天气和光线等因素 对图像质量的影响。 在车牌定位模块中，根据车牌自身的纹理特点，采用了移差扫描的方法消除 车辆本身和背景的干扰，从而突出车牌上字符的竖直纹理边缘，为后续处理做好 准备。 在字符分割模块中，对于预处理后比较规则的车牌图像，使用常用的垂直投 影法对字符进行分割，对于预处理结果不理想的车牌，比如车牌二值化后，存在 字符的断裂、交叠等情况，本文对这样的字符的分割方法做出了更进一步的讨论， 并提出了自己的观点。 在字符识别模块中，使用了常规的b p 神经网络的方法，因为神经网络具有优 异的分类性能，能准确的把众多的字符准确的分类。 关键字：智能交通系统；车牌定位；字符分割；字符识别，移差扫描 西北工业大学硕士学位论文 a b s 自f a c t a b s 仃a c t n o w a ( 【a y s ，i n t e l l i g e n t 订a n s p o r ts y s t e m ( r r s ) h 蠲b e c o m et h ec e m r a la s p e c tt o d e v e l o p m a l to f 仃攒cd e p a m n e n t a u 姗a t i ci d c n t i f i c a t i o nt e c b i l o l o l ；yi st 1 1 ef b c u so f r r s ，姐db er e g 算i r d 舔o n eo f n l ei m p o l 恤ts c i a l t i f i cr e s e a r c ho f 仃a 伍cd 印a r t r n 锄t r e s e a r c ho nv e h i c l e s 。1 i c s ep l a t er e c o g n j t i o ns y s t 锄( l p r s ) 如l v o l v e st e c 嘶q u e s s u c h 雒d i 百t a li m a g ep r o c e s s ，c o l p u t e rv i s i o n p a t t e mr e c o g l l i 畦o n 觚d 硎丘c i a l i m e m g c ee t c l p r sp l a y s 她i m p o n 锄tr o l ei i li m d l i g e m 麟cc c 咀仃o ls y s t 锄，a n di t c 锄b ea 口口l i e di nv e h i c l em a n a g 锄a l ti i ls i t i i a t i o n so f a l ll e v e l sa n da n 虹n d s l p r sc o n s i s t so ft h r m o d l i l e si l lg c i l e r a l ，m o s ea r e ：l i c e l l s ep l a t cl o c a d o n ， c h 铷麓c t e fs e 毋n t a t i 孤dc h a r a c t e rr e c o 嘶廿o n a i 鸳o r i m m so fa l lm o ( i u l e sr e l a t c dt o l p r s i s d o e p l ys t l l m e d 姐d 锄a l y z c d i n t l l i s p 印既a n d i n t h i s p 印e r 丘n a l l ys e t t l e d o w l l as e r i e 8o fa l 鲥t l l n l s u s e d i n l p r s b a s c d o n o l l r r e s e a r c h o i l rp r o c e s s 吨o b j e c t sa r ec l o s ec o l o ri i i l a g em 删血g b yy t 四xs y s t 锄嘲e d m s h 职dh p 蛳c a 培羽l 胁a t i s m 姐a t c l l i n gs y s t e m t h et 噶ki st oa c c o 埘【p l i s hp l a l e l o c a t i o i l ，c h a r a c t e 塔d i 、，i s i o na i l dc h a r a c t e r sr e c o 嘶d t h ew h o l es y s t 锄i n c l u d e st h e n e x t 丘v es e c 吐o n s ：t h ed e s i g 皿o ft h ev i d e oc 0 1 1 e c t i o n 舡l d 劬n s f b r ss y s t 黜，i n l a g e p r e p m c 髂s i l l gm o d u l c p l a t ep o s i t i 删n gm o d u l e ，曲【撇c t e 墙d i 、，i s i o nm o d u l e 锄d c h a r t e r sr e c o g i l i n o nm o 血l e v i d c 0c o l l o c t i o na n dt m n s f b 塔s y s t e mi sb a s eo na i t mp r o c 嚣s o r 孤d 锄b e dl i n u x t oi m 口v e y t z p xs y s t e mn 锄e dm s hr e dh 曲tc a 培孤l t 咄a t i s m 秘埔：t c h i n g s y s t e m a n da i m e dt or c d u c ec o s t 趾da l l l 粕c ep 幽n n a n c e o f t h es y s t 锄 h i m a g ep r 印r o c e s s i n gm o d l l l e ，a c c o r d i n gt o t h ed l 删e r i s d c so fm ei m a g e 缸唧蛐g 正b my t z p xs y s t 锄，w ep u tf 0 州盯da p p r o p r i a t ep r e p m c e s s i n ga l g o 一廿l mt o 玎= m o v eo rw e a k e nt l l ee 丘毫c tc 哪e 丘d mw e a t l l e ro rr a v hh c e m ep l a t el o c a 血l gm o d l l l e ，a c c o r d i n gt ot l l e 锄【慨c b a r a c t e r i s t i c so fl i c e 璐e p l a t c ，i l i h 咖c i n gh o r i z o n t a ld i 缗珊l c et oe l i m i i l a t ed i s t i l r bc o m e 丘锄v e b j c l ei t s e l f a n d i m a g eb a c k 毋o 曲d s oa st oo u t s t a n dp l l l | n be d g eo f l i c e n s ep l a t e hc h a r a c t e r sd i “s i o nm o d | u l e ，t om o s ec a n 0 1 l i c a li m a g e sa | 免e fr c ：p r o c e s s i n g ， a d o p d n gp l u 埘bl l i s t o 霉锄，t o t l l o s en o n s t a l l d a r di m a g 酷a n e rr e p r o c e s s i n 岛w e d i s c i l s s e da b o u tf h 聊e n t e dc h a r a c t e r 锄do v e r l 卸_ p e dd l a r a c t e r m e m i o n o d 坞 c o 丌e l a t i v em 锄g ew a y s mc l l a r 犹t e r sr c c o g n i 吐o nm o d u l e ，i l lv i r t u eo ft h en e r y en e t w o r kl l a v eo u t s t a n d i n g c 印a b i l i t yt 0c l 勰s i 甄s oi nt h i sp a p e ra d o p tb p n e n ，en e t w o r kt oi d 洲匆c i l a r a c t e 墙 k e y w o r d s ：i n t e i l i g e n t 仃a n s p o r ts y s t e m ； p i a t el o c a t i o n ；c h a r a c t e 瑙d i v i s j o n ； c h a r a c t e 璐n c o g n i 廿o n ；h o r j z o n t a id i f k 代n c e l i 西北工业大学 学位论文知识产权声明书 本入完全了解学校有关保护知识产权的规定，即：研究生在校攻 读学位期间论文工作的知识产权单位属于西北工业大学。学校有权曝 留并向国家有关部门或机构送交论文的复印件和电子版。本人允许论 文被查阅和借阅。学校可以：瞄本学位论文的金部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。同时本人保证，毕业后结合学位论文研究课题再撰写的 文章一律注明作者单位为西北工业大学。 保密论文待解密后适用本声明。 学直硷文作者签名篓挺逝 月0 占日 指导教师签名 贮1 每 ) 月扩日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交 的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽 我所知，除文中已经注明引用的内容和致谢的地方外，本论文不包含 任阿其他个人或集体已经公开发表或撰写过的研究成果，不包含本人 或他人已申请学立或其它用途使用过的成果。对本文的研究做出重要 贡献的个人和集体，均已在文甲以明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文怍者签名 王臻摊 3 嗣年月对日 西北工业大学硕士学位论文第一章绪论 1 1 研究目的和意义 第一章绪论 2 0 世纪8 0 年代以来，随着我国国民经济的迅速发展，机动车辆规模及流量大 幅度增加，全国机动车量年均增长1 5 以上，城市通路里程年均增长7 9 ，高速 公路和城市交通管理现代化水平的提高势在必行，迫切需要采用高科技手段来充 实和加强交通管理水平1 】【4 】1 5 1 【6 】，因此智能交通系统( i n t e l l i g tt r 粕s p o n a l i o n s y s t 鼬s ，i t s ) 便应运而生了。 智能交通系统是运用“信息化”和“智能化”来解决道路交通堵塞、改善环 境污染、减少交通事故、提高运输质量等问题的系统，是人与道路及车辆之间接 收和发送信息的系统【l l 】【1 2 】。它综合考虑人、道路、交通、车辆等因素，实现交通 及运输的优化，是保障社会可持续发展的一个先决条件【2 】【3 1 。智能交通系统是综合 性的技术，既包括装备在汽车内的车载技术，使车辆智能化，也包括对车辆及车 队进行控制、协助、指导、警示的技术。如城市道路和交通状况的图像监控、交 通信息流检测、路口红绿灯控制、城市交通调度算法、对违章车辆的监测抓拍及 不停车电子收费系统等掣7 1 。 车牌识别( l i c e 璐ep la _ c e 胝。嘶t i o n ，简称l p r ) 是r r s 的一个重要的组成部 分。其任务就是在装备了数字摄像设备和计算机信息管理系统等软硬件平台的基 础之上，通过对车辆图像的采集，采用相应的图像处理、模式识别和人工智能技 术，在图像中找到车牌的位置，提取出车牌上的全部字符图像，再识别出车牌中 的汉字、字母和数字，最后给出车牌的真实号码。车牌自动识别是计算机视觉技 术的一种具体应用，其功能就是自动识别静止的或行进中的汽车牌照号码。作为 r r s 的一个重要组成部分，车辆牌照识别的快速、准确实现对于交通管理、治安 处罚等工作的智能化起着非常重要的作用。从2 0 世纪9 0 年代人们就开始了对汽 车牌照自动识别的研究1 1 0 1 。 从应用上来讲，l p r 技术应用范围非常广泛，具体包括【1 1 l ： ( 1 ) 交通流量检测； ( 2 ) 交通控制与诱导： ( 3 ) 机场、港口等出入口车辆管理： 西北工业大学硕士学位论文第一章绪论 ( 4 ) 小区车辆管理； ( 5 ) 闯红灯等违章车辆监控； ( 6 ) 不停车自动收费； ( 7 ) 道口检查站车辆监控； ( 8 ) 公共停车场安全防盗管理； ( 9 ) 计算出行时间； ( 1 0 ) 车辆安全防盗、查堵指定车辆等。 因此，u r 有着巨大的应用潜力和市场实际应用价值。 从理论上来讲，车辆识别系统是图像处理技术中典型的先分割目标后识别的 应用系统，其实现涉及到数字图像处理、计算机视觉、模式识别与人工智能等众 多领域，对它的研究将会极大促进相关领域理论与实践的发展。与其类似的应用 包括信封上邮政编码的分割与识别，图文混排文档的图文分割与文字识别等。这 些问题的共性在于图、文并存，因而必须将图文进行分离，找到目标文字，如车 牌号码、邮政编码等，然后采用相关的技术对文字目标进行识别。因此，解决这 些问题对各相关学科又是一个深入研究的推动，有着非常现实的理论意义。 1 2 车牌识别技术中的难点 车牌识别系统在实验室里己经取得了令人满意的效果，但很难应用于实际工 程中，这是因为实验室的环境是处于理想状态的，而在自然环境里，由于受到天 气等因素的影响，识别率很难达到要求1 1 3 】。 1 2 1 汽车牌照本身的特征 ( 1 ) 牌照缺乏统一的标准，使得车牌识别过程中字符的分割难度较大，缺乏统 一模式规则的指导作用。 ( 2 ) 牌照的质量无法保证。有些牌照有污迹破损，有些牌照的字符模糊不清， 对光线的散射性不好，这些不确定性极大的影响了识别的准确率。 ( 3 ) 车牌附近环境恶劣。车牌附近往往有复杂的外形或挡车器等，不利于车牌 的定位和分割。 1 2 2 外部环境的特征 ( 1 ) 外界光照条件各不相同，白天和晚上光照不同。光照对图像质量影响很大。 2 西北工业大学硕士学位论文第一章绪论 不同的光照角度，对车牌光照的不均匀度影响也较大。不同视觉，不同气候条件， 以及背景光、车牌反光程度决定了车牌区域的亮度特征。 ( 2 ) 外界背景的复杂程度也影响车牌的定位准确率。背景中与车牌区域特征相 似区域的大小反映了背景的噪声程度。例如与车牌字符相似的车体上的或背景远 处的广告语，容易影响车牌的粗定位。 1 2 3 车牌识别系统应用方案的特征 ( 1 ) 不同实际工程其摄像方位和角度不一样。实际工程中摄像方位相对于车辆 行驶的方向一般是正上方、左侧和右侧。相对来说，摄像角度越小，车牌在平面 图像中变形越小，识别效果越好。摄像方位和角度对车牌字符分割影响较大，对 车牌校正方法的校正能力的要求也更高了。 ( 2 ) 光线较暗时，不同的人工光照角度、方位和亮度对车牌识别系统影响也不 一样。尽管规范的车牌对光的散射能力较强，但光照的方位角度不同时，也会影 响车牌的亮度亮度不均匀对车牌二值化算法的适应性提出了更高的要求。 ( 3 ) 不周的实际工程，图像的分辨率要求也不同。分辨率大小影响车牌识别系 统的识别速度和字符的识别率。o c r 中字符的象素分辨率一般为3 2 3 2 ，而车牌 识别系统字符的分辨率一般在1 2 1 2 和2 4 x 2 4 之间。分辨率过高时，整个识别系统 的处理时间会明显增多，特别是在车牌分割、车牌二值化的处理时间会显著增加。 分辨率过低，字符识别率会下降，字符中的汉字的二值化效果较差，车牌识别系 统的识别率会下降。 1 2 4 我国车辆牌照识别的特殊性 由于车辆字符识别受到车牌图像噪声及分割等因素的影响，识别率一直不能 达到实际使用的要求。目前，国外汽车牌照识别系统研究工作已有较高水平 f 8 】【9 】【1 3 14 】【1 5 1 ，但我国存在一些特殊情况，主要有以下五个方面【1 1 】【1 2 】： ( 1 ) 我国标准车辆牌照是由汉字、英文字母和数字组成，汉字的识别与字母和 数字的识别有很大的不同，从而增加了识别的难度； ( 2 ) 国外许多国家车辆牌照的底色和字符颜色通常只有对比度较强的两种颜 色( 例如韩国，其车牌底色为红色，车牌上的字符为白色) ，而我国车辆牌照仅底色 就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、红、白等多种颜色； ( 3 ) 其他国家的汽车牌照格式( 如汽车牌照的尺寸大小，牌照上字符的排列等) 通常只有一种，而我国则根据不同车辆、车型、用途，规定了多种牌照格式( 例如 西北工业大学硕士学位论文第一章绪论 军车、警车、普通车等) ； ( 4 ) 我国汽车牌照的规范悬挂位置不唯一； ( 5 ) 由于环境、道路或人为因素造成牌照污染严重的车辆，发达国家不允许上 路，而我国则没有此规定。 总之，车牌识别系统的研究由于受到多方面的限制，其技术还存在着一些不 足。相信随着研究的不断深入，车牌识别技术肯定会逐步走向成熟。 1 3 车牌识别系统组成及原理 汽车牌照自动识别系统由高性能工控计算机，检测单元，高分辨率c c d 摄像 机、高放大倍数镜头、辅助光源( 闪光灯) 、视频采集设备和识别软件等组成。 远景相机1 近景相机l 近景相机2 近景相机3 ( 近景相机 包含闪光 灯) b 向 远景相机2 近景相机4 近景相机5 近景相机6 ( 近景相机包含 闪光灯) 工业控制机 检测凳制单 卜_ 至兀 f 一 闪光驱动单 兀 图1 1u r 系统原理图 指挥中心 自动识别模 块 数据库管理 系统 系统的原理框图如图1 1 所示，其主要工作流程为【1 h ：交通信号控制系统输出 路口红绿灯信号，确定放行车道和禁行车道。禁行车道的视频信号送到视频车辆 检测单元，车辆检测单元检测到有车辆通过禁行车道时，通过主控机来控制闯红 灯违章抓拍单元拍摄违章车辆号牌图片和该方向的全景图片，为确保所拍照片能 作为交警执法依据，系统抓拍二幅连续全景照片和一张特写图片，以反映车辆运 行轨迹和违章车辆的违章信息。所有处理结果都存储于主控机( 工控机) 存储单 4 堕些三些奎堂堡主兰垡笙茎 元中。存储信息可通过人工控制下载到相关存储媒介， 端管理系统( 指挥中心) 。 第一章绪论 图1 烈麟系统抓拍的近景图片 或由传输系统自动传给上 图1 _ 3y t 四x 闻红灯抓拍系统( 1 7 l 堕苎三些盔堂堡主堂垡丝壅笙二兰笙堡 图1 4 牌照识别流程图 ”】 本文所处理的车辆图像正是由y e 卫x 系统机动车闯红灯自动抓拍系统所拍 摄的车辆照片。如前述，该系统拍摄的照片为两张远景，一张近景( 特写) ，这里 主要研究近景图片中车牌的识别，该系统拍摄的近景照片如图1 2 所示。从图中可 以看出，车辆一般都严重地偏离照片的中部，并且车牌部分的长度约占整幅图像 长度的1 5 ，车牌部分的宽度约占整幅图像宽度的l 1 0 。 y r z p x 闯红灯抓拍系统采集图像过程的u m l 语言描述图1 3 所示。 本文中，识别模块是研究的核心问题，该识别模块主要包括以下四个小模块： 车辆图像预处理模块、牌照定位模块、牌照字符切割模块及字符识别模块。牌照 的识别流程如图1 4 所示。 1 4 研究现状 国内外对汽车牌照识别技术进行了大量的研刭1 0 1 【1 1 】【1 2 】f 1 3 l 【1 4 】【1 5 】【1 6 1 。目前，西方 发达国家的l p r 系统己经进入实用化阶段，已有多家厂商推出此类产品，如香港 s a s i o nr i h l l i l o l o g ) ，公司的v e c 0 n 系统，新加坡o p t a s i a 公司的m 口s ( h n e g r a t e d m u l t i _ p 硒s ) ，以色列碰t c c h 公司的s e 胡二a n e 系统等。但这些产品还不能识别中国 的牌照，原因是中国的牌照类型品种多而且有汉字，国外的车牌识别系统一般不 能进行汉字识别。 我国的实际情况与国外有所不同，国外车牌比较规范统一，而我国的车牌颜 色多，且位数不统一，不同汽车的类型有不同的规格大小和颜色，给识别带来了 一定的困难。国防科技大学，上海交通大学，吉林大学都在做此研究，但是大都 因条件各异而适用范围很有限，离实际应用还有一定的差距，比如对汽车拍摄时 的要求较高，距离不能太远，光线要求较强，对实际因素考虑少，只是对研究提 供了一个参考，要想在实际中达到满意的效果还是需要做很多工作。 图像采集方面的非理想化，由于采集误差和噪声、光照不均匀、曝光不够等 因素使得图像质量较差，而且运动又不同程度的造成图像模糊退化，加上背景复 杂多变使得图像预处理过程很复杂。 6 西北工业大学硕士学位论文 第一章绪论 1 5 本文的主要研究内容 本文从多媒体技术、数字图像处理、模式识别的角度出发，以解决牌照识别 中的问题为主要内容，内容包括从图像采集和传输、图像预处理到牌照区域搜索， 再到文字识别的各个方面，完成了以下五个方面的工作： ( 1 ) 视频图像的采集和传输系统的设计，介绍了基于目前市场上主流的a 蹦处 理器与嵌入式l i n u x 操作系统的视频采集和传输系统的硬件和软件的设计过程， 以期降低y t z p x 系列机动车辆闯红灯自动抓拍系统该的成本和提高该系统的性 能。 ( 2 ) 图像预处理模块的开发，介绍了牌照识别系统中对采集到的图像进行的一 系列预处理工作，以优化图像质量，提高识别率。这是车牌图像定位前要完成的 工作，预处理模块的准确性关系到车牌定位的准确与否。 ( 3 ) 车牌定位模块的开发，这个模块是车牌识别系统中的重点和难点部分，只 有准确地完成车牌图像的定位，才能进行后续的工作。 ( 4 ) 字符分割模块的开发，详细介绍了常见的字符分割方法，以及本文采用的 一些相关分割方法。 ( 5 ) 字符识别模块的开发，详细介绍采用b p 神经网络方法识别牌照中的英文 字母和数字字符的网络设计过程。 “本文的结构如下： 第一章为绪论部分，介绍了当前牌照识别及其发展现状，牌照识别的意义及 论文的主要研究内容。 第二章为视频采集和传输系统的设计。主要完成基于删和嵌入式1 i n u x 操 作系统的视频采集和传输系统的硬件和软件设计工作。 第三章为图像预处理模块的开发。考虑到彩色图像的信息过多，不但在存储 上开销很大，而且在处理上也会降低系统的执行速度，所以我们首先对彩色图像 进行灰度化处理。由于阴天条件摄取图像的灰度范围狭窄，导致图像的信息量减 少，图像变得模糊，我们通过灰度均衡法使灰度均匀化，增加灰度的对比度，同 时还介绍了采用同态增强的方法处理亮度不够的图像的方法，以解决这个问题。 第四章是车牌定位模块的开发，主要介绍如何准确定位牌照位置，将牌照从 图片中分割出来，本环节是u r 的关键环节。首先介绍常用的方法，这些方法的 适用情况分析以及不足，进而提出适合本文要处理图片的算法，通过对图片一步 一步的处理，突出有用信息，逐步找到牌照位置。 7 西北工业大学硕士学位论文 第一章绪论 第五章是字符分割模块的开发，对于正常的车牌，根据垂直投影的方法找到 牌照字符分割的基点。对于二值化后存在字符的断裂、相连和交叠的情况，提出 了修正后再分割的新方法，从而准确切分出字符。 第六章是字符识别模块的开发，利用了逐像素的字符特征提取法，有效提取 字符的特征。 第七章总结与展望。对本文的工作进行了总结并对牌照识别工作进行了展望。 西北工业大学硕士学位论文 第二章视频采集与传输系统的设计 第二章视频采集与传输系统的设计 在车牌自动识别系统中，视频图像的采集与传输是一个非常关键的步骤，相 应的视频采集与传输系统也成为车牌识别系统中的主要部分，在y r z p x 系列机动 车辆闯红灯自动抓拍系统中，其视频采集与传输系统采用的原始的p c 机+ 视频采 集卡的形式，占地面积大、成本高，因此，为了解决这一问题，本文对y r z p x 系 列机动车辆闯红灯自动抓拍系统进行改造，为其设计了基于a 跚处理器与嵌入式 1 i n u x 操作系统的视频采集和传输部分，解决了占地大和成本高的问题。本章将对 视频采集和传输系统的设计过程进行介绍，包括它的硬件和软件的设计。 本文的方案基于三星公司的含有视频采集接口的s 3 c 2 4 4 0 i l 卅c p u 芯片和 c m o s 图像传感器，软件平台是l 衙呱- 2 4 2 0 操作系统内核。由于i j n u x 操作系统 免费开放的源代码、优良的网络支持性能、模块化的结构即可根据系统需要来配 置软件模块，较好满足系统的需要。c m o s 图像传感器以其低廉的价格、低功耗、 高集成度在多媒体、视频监控领域获得广泛的应用，本系统采用的图像传感器芯 片是0 n l n i 、，i s i 公司的0 v 9 6 4 0 ，是一款高分辨率的( 1 3 0 万像素) c m o s 图像传 感器。 2 1 系统的硬件设计 该系统由嵌入式处理器、c m o s 图像传感器、存储器、以太网接口、串口及 电源管理电路构成，如图2 1 所示。 图2 1 系统结构图 嵌入式处理器是韩国三星公司的基于a i t m 9 2 0 t 内核的1 6 3 2 位i u s c 嵌入式 9 西北工业大学硕士学位论文第二章视频采集与传输系统的设计 微处理器，型号：s 3 c 2 4 4 0 ，主要面向高性价比、低功耗的应用。为了处理图像数 据，c p u 的工作频率可达4 0 0 m h z 。s 3 c 2 4 4 0 的资源包括l c d 控制器，s d r a m 控制器，摄像头接口，3 路串行接口，c b u s 接口，u s b 接口，触摸屏接口。在 处理器丰富资源的基础上，还进行了相关的扩展，配置了3 2 mf l a s hr o m 和6 4 m s d r a m 。在嵌入式处理器的控制下，c m o s 图像传感器( 片上) 采集到的数据经帧 同步信号触发，产生中断后被拷贝到s d r a m 。然后通过网络接口利用u d p 协议 传输到远端做进一步处理。 2 1 1 视频采集模块的设计 图像传感器接口电路是硬件设计的关键部分，如何有效的采集数据也是系统 的关键问题。 i i c s d as i o d i i c s c ls i o c c k 峨o 峨= ：= = = = = = = = = y 2 y 9 p c l k p c l k v s y n cv s y n c h r e fh r e f c a m c l kx c l k l c a u ! s e tr e s e t a g n da g n d d g n dd g n d s 3 c 2 4 4 0o v 9 6 4 0 图2 2 视频模块接口电路 视频采集模块采用o v 9 6 4 0 图像传感器刚，o v 9 6 4 0 是美国o m n i 、，i s i 公司 生产的c m o s 彩色图像传感器芯片。最大分辨率可以达到1 2 8 0 9 6 0 。其内部结构 包括：1 2 8 0 9 6 0 视频感光阵列、模拟信号处理、1 0 位的a d 转换器( 转换速率可 达到1 2 m i l z ) 、时序发生器( 生成控制信号) 、s c c b 接口、数字信号处理( d s p ) 、 数据视频输出口等。0 v 9 6 4 0 图像传感器采用2 4 引脚c s p 封装，引脚功能见参考 文献 2 0 】。0 v 9 6 4 0 集成了s c c b ( s e r i a lc 锄e mc o n n 0 lb 1 l s ) 控制接口以访问片 内寄存器。该芯片内部有1 3 8 个设备控制寄存器，地址从o 】【o o o ) 【8 a ，通过对片内 寄存器的读写可以方便对图像帧频、曝光时间、增益进行控制。各寄存器的功能 见参考文献【2 0 】。该芯片支持r g b ( 4 ：2 ：2 ) ，w v ( 4 ：2 ：2 ) ，y c 疋b ( 4 ：2 ：2 ) 数据输 出格式。由于s 3 c 2 4 4 0 芯片有一个专用的视频接口，所以c p u 可以直接和c m o s 1 0 西北工业大学硕士学位论文第二章视频采集与传输系统的设计 图像传感器连接。图像传感器输出的数据及控制信号包括像素时钟( p c l k ) 、水平 参考( h r e f ) 、帧同步( 、r s y n c ) 和数据总线( d o d 7 ) ，分别和主处理器的相应信号相 连。p c l k 与m 也f 在处理器内部相与后产生有效的像素时钟信号，在有效时钟信 号的上升沿将数据锁定【2 “。模块和s 3 c 2 4 4 0 接口电路如图2 2 所示。在0 v 9 6 4 0 图像传感器中，如果输出格式【2 2 】，要用到数据线的y 2 y 9 ；如果输出r g b 格式，则要用数据线y 0 y 9 。本设计中采用了格式。 2 1 2 网络接口的设计 在s 3 c 2 4 4 0 芯片上无网络接口，为了实现在系统调试时，下载操作系统内核、 文件系统映像，及在系统运行中实现视频数据的网络传输等功能，所以在系统中 扩展网络接口模块( d m 9 0 0 0 0 ) 。该芯片为1 伽1 0 0 m 以太网物理层芯片，具有通用 的处理器接口，支持i s a u p 接口，支持半双工流控制下的反向电压模式和全双工 模式下的i e e e8 0 2 3 x 流控制，支持连接状况变更、远程唤醒可选的e e p r 删配置。 模块与2 4 4 0 接口如图2 3 所示：其中c m d 为命令类型引脚，在高电平时为数据周 期，在低电平时为地址周期。可通过咖与数据总线访问内部5 4 个控制及状态寄 存器。当a s 9 _ a s 8 设置成高，s a 7 设置成低，s a 6 - 4 与t 】【d 2 - o 匹配时，咖9 0 0 0 0 由 a e n 引脚唯一控制是否被选中。此外，d m 9 0 0 0 工作在正常模式，t e s t 卜4 依次为l 、 1 、0 、0 。为了保证d m 9 0 0 0 0 收发正常，还要加上2 5 m 的晶振。 2 2 系统的软件设计 图2 3 网络接口电路 软件平台由三部分组成：系统引导加载程序、嵌入式l i n u x 内核、文件系统 及应用程序。本设计中通过向a r m 平台移植u - b o o t 一1 1 1 实现系统的引导加载， u b o o t 除了正常的引导嵌入式l i n u x 外，还可以方便的切换到下载更新模式，利用 西北工业大学硕士学位论文第二章视频采集与传输系统的设计 t f t p 功能对内核映像及文件系统实时更新。嵌入式操作系统采用l i n u x 2 4 2 0 ， 开发模式采用最为普遍的宿主开发模式，即在宿主机上编译内核及应用程序然后 通过网口下载到目标平台上运行，通过打印终端打印调试信息。文件系统是嵌入 式系统软件平台占用存储量最大的一部分，它存储了系统配置文件、系统程序和 系统外设驱动程序。嵌入式l i n u x 内核移植【1 9 l 好后，主要工作就变成在操作系统 下编写驱动程序。这里我们着重介绍o v 9 6 4 0 的驱动程序的开发及视频数据的网络 传输。 2 2 10 v 9 6 4 0 驱动的开发 在l i 叫x 下编写o v 9 6 4 0c m o s 图像传感器驱动嘲，首先要初使化0 v 9 6 4 0 。通 过s c c b 总线设置o v 9 6 4 0 的工作模式，各种参数，分配连续内存空间，容量与采 集图像的点阵数相匹配。然后用r e q u e 乳j r q ( ) 函数为o v 9 6 4 0 登记中断，其中断 号为0 6 。当s 3 c 2 4 4 0 捕捉到v s y n c 信号时触发中断，把一帧图像数据拷贝到用户 空间。如此反复，视频数据源源不断的被采集到s d r a m 。软件流程如图2 4 所示。 我们知道，用户进程是通过设备文件同硬件打交道，对设备文件的操作就是 一些系统调用。要想把系统调用和设备驱动程序关联起来，必须用到一个非常关 键的数据结构：s t r u c tf i l e _ o p e r a t i o n s ( ) 。因此编写设备驱动的主要工作就是 编写数据结构中定义的予函数，并填充f i l e - o p e r a t i o n s 的各个域。 摄像头f i l e _ o p e r a t i o n s 的数据结构如下 s t a t i cs t r u c tf i l e o p e r a t i o n sc a f i l f o p s = ( o w n e r ：t h i s o d u l e ，设备标志 o p e n：c a m _ o p e n ，打开设备函数 r e a d： c a 珥- r e a d ，读设备函数 i o c t l： c a m _ i o c t l ，控制设备函数 r e l e a s e ：c a i n _ r e l e a s e ，关闭设备函数 ) ： 编写好成员函数后，接下来编写m o d u l e - i n i t ( ) 和m o d u l e e x i t ( ) 。 m o d u l e _ i n i t ( ) 是驱动程序的入口，当用i n s m o d 命令加载模块时自动运行。 此函数中包括： ( 1 ) 初使化c 1 4 0 s 图像传感器； ( 2 ) 分配连续内存地址空间； ( 3 ) 注册设备文件； 西北工业大学硕士学位论文 第二章视频采集与传输系统的设计 ( 4 ) 登记中断。 m o d u l e _ e x i t ( ) 函数在r 姗o d 卸载模块时调用。 函数功能包括： ( 1 ) 释放内存空间； ( 2 ) 释放中断； ( 3 ) 注销设备文件。 至此，驱动模块编写好了，编译加载后，我们就可以像操作普通文件一样对 摄像头进行读取数据了。 图2 4 读o v 9 6 4 0 流程 2 2 2 视频数据的网络传输 u d p 是面向数据报的传输协议层，它建立在i p 协议之上，提供了一种无连 接的高效率的服务。不保证数据的可靠而且时延短，很适合实时性高而不要求数 据绝对可靠的场合，由于视频数据的实时性强，数据量大，所以我们采用此协议 传输数据洲。 数据传输过程中用到的基本套接字函数包括： ( 1 ) i n ts o c k e t ( i n td o 舱i n ，i n tt y p e ，i n tp r o t o c 0 1 ) 用于创建一个套接 字描述符，d o 眦i n 用于说明采用的通讯协议，t y p e 指套接字类型，在这里用数据 报套接字( s 0 c i ( _ 【) g r a m ) 。p r o t o c o l 通常设置成o 。 ( 2 ) i n tb i n d ( i n ts o c k f d ， s t r u c ts o c k a d d r 奉m y a d d r ，i n ta d d r l e n ) 此i 函 数用于将本地地址与套接字绑定在一起。在主机有多个网络接口时使用，客户机 西北工业大学硕士学位论文第二章视频采集与传输系统的设计 一般不用绑定。 ( 3 ) i n ts e n d t o ( i n ts o c k f d ，c o n s tv o i d 木m s g ，i n tl e n ，u n s i g n e di n tf l a g s ， s t r u c ts o c k a d d r t o ，i n tt o l e n ) 发送数据函数，成功则返回发送数据的长度。 ( 4 ) i n tr e c v f r o m ( i n ts o c k f d 。v o i d半b u f ，i n tl e n ，u n s i g n e di n tf l a g s ， s t r u c ts o c k a d d r f r o ，i n tf r o m l e n ) 接收数据的函数，接收成功返回接收数 据的长度。图2 5 给出了在u d p 协议下，数据传输的软件流程。 2 3 小结 图2 5u d p 通讯流程 传统的视频采集一般是p c 机+ 视频采集卡的形式、此方案体积大，成本高， 由于p c 总线插槽数目及采集卡通道的限制，实现多点采集比较困难。本方案基于 目前市场上主流的a 雕处理器与嵌入式l i n u x 操作系统，符合数字化、网络化的 发展趋势，整个系统布线集中，智能化程度高，与传统的采集系统相比有不可比 拟的优势。经初步测试，该方案在4 0 0 m 的时钟频率下，图像的采集速率可以达到 2 0 帧秒，采集到的数据利用u d p 传输协议通过网络接口传输到远端做进一步的处 理。 1 4 西北工业大学硕士学位论文 第三章图像预处理 第三章图像预处理 本章将介绍车牌定位前的图像预处理技术，目的是提高图像质量，以便后续 处理中能够更加容易的突出车牌信息。首先介绍数字图像处理的一些相关概念， 然后介绍数字图像处理的特点及其与车牌识别技术的相同点，最后详细介绍和本 文相关的图像预处理方法，从而为车牌定位和字符分割工作打下坚实的基础。 3 1 数字图像处理概述 3 1 1 数字图像处理简介 数字图像处理是一门多学科的综合学科，它汇聚了光学、电子学、数学、摄 影技术和计算机技术等众多学科方面。它通过使用数字计算机对原始图像进行加 工与处理【1 0 1 ，使之能具备更好的视觉效果或能满足某些应用的特定要求。数字图 像处理技术经过半个多世纪的发展，目前已经广泛地应用于工业、医疗保健、航 空航天、军事等各个领域，在国民经济发展中发挥着越来越大的作用i l ”。目前高 度的图像信息化己成为了热门的课题，图像、图形信息技术在信息领域的应用地 位也越来越广泛。随着人类社会的进步，科学技术的发展，人们对信息处理和信 息交流的要求越来越高。图像信息具有直观、形象、易懂和信息量大等特点，因 此它是在人们日常的生活、生产中接触最多的信息种类之一。近年来，图像信息 的处理和传输无论是在理论研究方面还是在实际应用方面都取得了长足的进展。 尤其是计算机技术的应用、遥感技术和数字通信的发展、计算机网络的普及以及 微电子芯片密度的增加，对数字图像处理技术的发展起了关键性的推动作用，而 数字图像处理技术的发展又反过来促进和加速了上述各项技术的发展。 数字图像处理也称为计算机图像处理( c o m p m c ri n l a g ep r o c e s s i n 曲，其处理方 法大致可分为两大类，即空域法和变换域法【1 6 1 ( 1 ) 空域法 数字图像看作是平面中各个像素组成的二维数组，可直接对这个二维数组进 行相应的图像处理。空域处理法主要有下面两大类： 1 ) 邻域处理法 包括梯度运算( g r a d i e ma 1 9 0 咖 1 i n ) ，拉普拉斯算子运算( l 丑p i a c i 孤0 pe r a _ t o r ) ， 平滑算子运算( s m o o t l l i n g0 p 锄t o r ) 和卷积运算( c o n v o l u t i o n 朋鲥t l l | n ) 。 话北工业大学硕士学位论文第三章图像预处理 2 ) 点处理法 包括灰度处理( g r c yp r o c e s s i n g ) ，面积、周长、体积、重心运算等。 ( 2 ) 变换域法 数字图像处理的变换域方法是对图像进行变换，得到变换域系数阵列，然后 在变换域中进行图像处理，处理后再反变换到空间域，得到处理结果。这类处理 包括滤波、数据压缩、特征提取等处理。 3 1 2 数字图像处理的基本内容 数字图像处理学科所涉及的知识非常广泛，具体的方法种类繁多。其中包括 传统的图像处理技术和智能图像处理技术，并且随着新工具、新方法的出现，这 些图像处理技术也一直在更新与发展。 ( 1 ) 传统的图像处理技术2 6 1 1 ) 图像数字化 由于计算机只能接收和处理数字信号，因此要将一幅模拟图像进行采样和量 化，转化成数字图像，然后交由计算机进行处理。图像采样是数字图像处理的基 础，其目的是将模拟形式的图像通过数字化设备转换为数字计算机可用的离散图 像数据。 2 ) 图像