（电力系统及其自动化专业论文）车牌图像识别技术研究.pdf

西南交通大学硕士研究生学位论文第l i 页 a b s t r a c t a u t o m a t i cr e c o g n i t i o nt e c h n i q u eo fv e h i c l el i c e n s ep l a t el i e sc o r ep o s i t i o ni n i t s ( i n t e l l i g e n tt 豫瓶cs y s t e m ) w h i c hi so n eo fd e c i d i n gf a c t o r st h a tc o n t r i b u t et o a u t o m a t i cr u no fi t s a m o n ga u t o m a t i cv e h i c l el i c e n s e p l a t er e c o g n i t i o n t e c h n i q u e s ，t h eo n eb a s e do ni m a g ew a sac o m p a r a t i v e l y 取i v 趾c e dt e c h n i q u e ，a n d w a sa l s ot h em a i nd i r e c t i o no fp r e s e n tr e s e a r c ha b o u ta u t o m a t i cv e h i c l el i c e n s e p l a t er e c o g n i t i o nt e c h n i q u e h o w e v e r ，t e c h n i q u eb a s e do ni m a g ei n v o l v e s n u m e r o u ss u b j e c t sa n dl a c k sg u i d a n c eo fau n i f 0 1 i l lt h e o r y , t h e r ew e r et o om a n y d i s t u r b i n gf a c t o r si ni m a g e 。t h ec o n t r a d i c t i o nb e t w e e na l g o r i t h m sr e a l t i m e p e r f o r m a n c ea n da c c u r a c yw a sd i f f i c u l tt os o l v e s o ，t e c h n i q u eb a s e do ni m a g e w a sa l s ot h em o s td i m c u l t i nt h i st h e s i s ，i n - d e p t h ，c o m p r e h e n s i v e ，s y s t e m i ca n a l y s i sa n ds t u d ya b o u tt h e r e s e a r c hs t a t u sq u oa n da c h i e v e m e n to fv e h i c l el i c e n s ep l a t er e c o g n i t i o nt e c h n i q u e b a s e do ni m a g eh a v eb e e nd o n e a r e rt h a t ，t h i st h e s i sp o i n t e do u tt h ep r e m i s et o e n h a n c ev e h i c l e i m a g e sg r a y s c a l ec o n t r a s t ，p i c k e d o u ta b i n a r i z i n g a l g o r i t h m ( o t s ua l g o r i t h m ) n o to n l yh a sb e t t e re f f e c t ，b u ta l s oc a ne l i m i l a t e b a c k g r o u n dd i s t u r bt oac e r t a i ne x t e n t ，f l e x i b l ya p p l i e ds o b e la l g o r i t h mt oe d g e d e t e c t i n ga i m i n ga ts u c c e s s i v ev e h i c l ep l a t el o c a t i n ga l g o r i t h m ，i m p r o v e dt h ee d g e p o i n td e n s i t ym e t h o da n dt h ev e h i c l el i c e n s ep l a t el o c a t i n gm e t h o db a s e do n g r a y s e a l eb r e a kp o i n t ，p o i n t e do u tt h el i m i t a t i o no fa p p l y i n gh o u g ht r a n s f o r mt o r e c t i f y i n gs l o p i n gv e h i c l el i c e n s ep l a t ea n dp r o p o s e das i m p l ea n dp r a c t i c a l r e c t i f y i n gm e t h o d ，p r o p o s e dac h a r a c t e rs e g m e n t i n gm e h o db a s e do nt h et l l i r d c h a r a c t e r , u s e d13f e a t u r ea sc l a s s i f y i n gf e a t u r eo fa l p h a m e r i cc h a r a c t e ra n d e x t e n d e d13f e a t u r et o2 2f e a t u r e ，t h e nu s e di tf o rc h i n e s ec h a r a c t e rc l a s s i f y i n g f e a t u r e ，d o n eac o m p r e h e n s i v e l yc o n t r a s t i v ea n a l y s i sa b o u tp r e s e n tr e p r e s e n t a t i v e n e u r a ln e t w o r k s ，t h e nu s e db pn e u r a ln e t w o r kt oi d e n t i f yc h a r a c t e ra n dd e s i g n e d t w ob pn e u r a ln e t w o r k st oi d e n t i f yt h ec h i n e s ec h a r a c t e ra n dt 1 1 ea l p h a m e r i c c h a r a c t e rr e s p e c t i v e l y , d o n eac o m p a r a t i v e l yi n d e p t hs t u d ya b o u ta na l g o r i t h m ( i e d e t e r m i n i s t i cp e r t u r b a t i o na l g o r i t h m ) u s e df o rb pn e u r a ln e t w o r kt r a i n n i n g a n dp o i n t e do u tt h es h o r t a g eo ft h i sa l g o r i t h m ，f i n a l l y , u s e db pa l g o r i t h mw i t l l m o m e n t u mf o rb pn e u r a ln e t w o r kt r a i n i n ga n dt h em o m e n t u mw a sr e m o v e da n d i n t r o d u c e di nt e r m so ft h en e t w o r k so u t p u te r r o rd u r i n gt r a i n i n g i na d d i t i o n , s o m el i t t l ei m p r o v e m e n th a v eb e e nm a d eo nt h eo t h e rp r o c e s s e sb e l o n gt o r e c o g n i t i o np r o c e d u r e a tt h es a l l l et i m eo ft h e o r e t i c a ls t u d y , a l ln e c e s s a r yp r o c e s s e so ft h ew h o l e r e c o g n i t i o np r o c e d u r eh a v eb e e ni m p l e m e n t e di nc + + l a n g u a g e o nt h ep l a t f o r mo f m i c r o s o f tv i s u a ls t u d i oi d e ，t h em a i nb o d yc o d ea n dt e s t i n gc o d et o t a l e dt o 西南交通大学硕士研究生学位论文第l li 页 1 2 6 2 1l i n e s ，t h ed a t ao fe v e r yp r o c e s s st e c h n i q u eg u i d el i n eh a v ea l s ob e e n p r e s e n t e db ye x p e r i m e n t e x p e r i m e n t a lr e s u l ts h o w st h a tt h ea l g o r i t h m si m p r o v e d i nt h i st h e s i sh a v ec o m p a r a t i v e l ys a t i s f y i n ge f f e c t ，t h er e c t i f y i n gm e t h o dp r o p o s e d i nt h i st h e s i sp o s s e s sa n t i - j a m m i n gc a p a b i l i t yt oac e r t a i ne x t e n ta n dc a nr e c t i f y v e h i c l el i c e n s ep l a t ew h e t h e rh a se d g ef l a m eo rn o t ，t h ec h a r a c t e rs e g m e n t i n g a l g o r i t h mp r o p o s e di nt h i st h e s i sc a l lm e e tr e q u i r e m e n tt oac e r t a i ne x t e n t ，t h e n e u r a ln e t w o r kd e s i g n e db yt h i st h e s i sh a sr e a s o n a b l es t r u c t u r ea n di t ss y s t e mc o s t w a sn o tl a r g e ，i t st r a i n i n ga l g o r i t h mw a se f f e c t i v e ，c a l lm e e tt h er e q u i r e m e n to f r e c o g n i z i n gv e h i c l el i c e n s ep l a t ec h a r a c t e r s a t p r e s e n t ，t h e r e e x i s t e d m a n yp r a t i c a l l y c o m m e r c i a ll i c e n s e p l a t e r e c o g n i t i o np r o d u c t sc o m ei n t oo p e r a t i o n 。b u tm o s to ft h e ma i m e da ts i m p l es c e n e a n dr e q u i r em a n ys p o tc o n d i t i o n st ob em e t m a n ya l g o r i t h m sp r o p o s e db yt h i s t h e s i sp o s s e s sp r a c t i c a lv a l u et oac e r t a i ne x t e n ta n dc a nb eu s e df o ra c t u a ll i c e n s e p l a t er e c o g n i t i o ns y s t e ma f t e ra p p r o p r i a t em o d i f i c a t i o n k e y w o r d s ： o t s u a l g o r i t h m v e h i c l el i c e n s ep l a t el o c a t i n g v e h i c l el i c e n s ep l a t es l o p er e c t i f y i n g c h a r a c t e rs e g m e n t a t i o nd e t e r m i n i s t i cp e r t u r b a t i o na l g o r i t h m 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人授权西南交通大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在5 年解密后适用本授权书； 2 不保密彭适用本授权书。 论文作者签名：善l 主 指导教师签名： 1 日期渊年，月如日日期：二穆蹿 学位论文作者签名：西1 支 指导教师签名： 日期：l - c r g 。& 二h 日期： 劲 日 钐叮 胁硼 西南交通大学 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其它个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中作了明确的说明。本人完全意识到本声明的法律结果由本人 承担。 学位论文作者签名： 日期：翮年jb 入e t 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 论文研究的背景和意义 随着我国国民经济的快速发展，国内高速公路、城市道路、停车场建设 越来越多，对交通控制、安全管理的要求也日益提高。为满足这样一种需求， 对交通进行方便、快捷、准确、有效的控制与管理，智能交通系统( i t s ， i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) 应运而生。而车牌识别( v l p r ，v e h i c l e l i c e n s ep l a t er e c o g n i t i o n ) 技术作为智能交通系统的核心技术，是智能交通系 统能否自动化运行的关键。 由于车牌识别技术的实现方法不同，与之相应的应用系统也不相同。目 前主要有两类车辆牌照自动识别系统：有源型和无源型。有源型车辆牌照自 动识别系统需要在车辆上安装专门用于发射车辆信息的车载终端设备( 如微 波、红外、可见光、超声波、条形码等) ，这类系统具有较好的实时性和较高 的识别率，但需要大范围统一车辆信息标准，很难在短时间内推广应用，并 且成本较高，会造成很大的浪费。无源型车辆牌照自动识别系统无需任何专 门用于发送车辆信息的车载终端设备即可进行非接触式车辆信息采集并进行 智能识别，这种系统融合了多种先进技术，与有源型车辆牌照自动识别系统 相比，节省了用于硬件设备安装及维护的大量资金，提高了经济效益，其次， 这种系统很容易实施，很容易实现人机交互。 目前，车牌识别技术已经广泛应用于：( 1 ) 高速公路监控、车辆收费管 理；( 2 ) 城市道路监控、车辆违章管理：( 3 ) 智能小区、停车场管理；( 4 ) 车辆注册、验证；( 5 ) 车流统计、安全管理。 对车牌识别技术的研究具有重要的理论意义和现实意义。以基于图像的 无源型车牌识别技术为例，基于这一技术的车牌识别系统是一个综合的计算 机视觉系统，其研究与开发涉及到数学、物理、信息论、语言文字学、心理 学、生物学、计算机科学、图像工程、电子信息工程、人工智能、形式语言 与自动机、模式识别、统计决策理论、自动化技术、气象等众多学科。基于 这一技术的车牌识别系统的开发与应用能够为这些学科的理论提供实验验 证。另一方面，这些学科又为车牌识别技术提供有力的理论支撑，它们的发 展将极大地推动车牌识别技术的进步。基于图像的无源型车牌识别技术的一 些原理和方法可以应用到其它检测和识别领域。车牌识别技术对智能交通系 统的发展和交通事业的发展起着重要的推动作用，具有广阔的市场前景。 西南交通大学硕士研究生学位论文第2 页 从原理上讲，基于图像的无源型车牌识别系统的组成及工作流程如图l l 所示。 图l lv l p r 系统的组成及工作流程 1 2 国内外研究现状 车牌识别技术自1 9 8 8 提出以来已经历了2 0 年的发展，出现了很多的技 术方法。到目前为止，根据车牌识别技术在实现原理上的不同，车牌识别技 术主要分为两类：有源型和无源型。在有源型识别技术方面又有两种很有代 表性的技术，一种是条形码识别技术( b a r - c o d e - b a s e di d e n t i f i c a t i o n ) ，另一种是 无线射频技术( r a d i of r e q u e n c yi d e n t i f i c a t i o i l ) 条形码识别要求预先在车 身上安装条形码，在系统的某一固定位置上安装扫描设备，通过扫描来读取 条形码，以达到识别车辆的目的。无线射频技术则要求在车内安装标识卡， 在系统某一位置安装收发器等装置，通过收发器来接收标识卡的信号，从而 识别经过的车辆。由于有源型识别技术经济性差，实施起来比较难，因此很 难推广。无源型识别技术主要是指基于图像的识别技术，与有源型相比基于 图像的识别技术显现出了很大的优越性，因此成了当今研究的热点和发展的 西南交通大学硕士研究生学位论文第3 页 主流。但由于基于图像的识别技术是一门多学科综合的技术，其中的一些学 科本身也有待于发展完善，加之从实际现场获取的图像存许多不利的影响， 所以车牌车牌识别一直是一个有解，但又没有得到很好解决的课题。 在国外，欧美国家率先开始车牌自动识别技术的研究，在车牌识别过程 的各个环节都相继出现了许多较为效且有代表性的方法。 在我国，车牌自动识别系统的研究起步较晚，进展相对较慢，9 0 年代后 逐步在成果转化上有了一些进展。 目前，国内外有代表性的商业化车牌识别系统产品主要有【7 】【3 1 】f 3 2 】【3 6 】： ( 1 ) 国外产品： 1 ) 美国h i t e c h 公司的s e e c a rs y s t e m 系列：正确识别率可以达到 9 3 。基于灰度图像进行识别，没有利用图像的彩色信息，并且输入图像只 能含有一个车牌。可以提供针对某一个具体国家的产品，其中s e e c a rc h i n e s e 系统可以对中国大陆的车牌进行识别，但存在很大的缺陷，而且不能识别车 牌中的汉字。 2 ) 新加坡o p t a s i a 公司的v l p r s ：正确识别率可以达到9 7 。基于 灰度图像进行识别，没有利用图像的彩色信息，并且输入图像只能含有一个 车牌，识别速度相对低一些，主要适用于新加坡车牌。 3 )日本、加拿大、德国、意大利、英国等各个西方发达国家都有适合 于本国车牌的识别系统。 上述产品中v l p r s 识别率最高，但速度并非最快。s e e c a rc h i n e s e 的速 度较快，但识别率有待提高。各个国家的产品虽然各不相同，但基本上都是 基于车辆探测器的系统，设备投资较大，其中的车辆探测器主要有：踏板式 探测器、光探测器、微波雷达通过型探测器、压力探测器、声控探测器、红 外探测器、电磁感应环探测器、测速雷达探测器、磁强探测器和压敏探测器 左篷 可o ( 2 ) 国内产品： 1 ) 香港a s i av i s i o nt e c h n o l o g y 公司的v e c o n ：基于灰度图像进行识 别，没有利用图像的彩色信息，并且输入图像只能含有一个车牌。主要适用 于香港车牌，现在已经研发出了可识别中国内地车牌的产品。 2 ) 中科院自动化研究所汉王公司的“汉王眼 ：在车牌识别相关算 法研究方面，一直处于国际、国内领先水平。 3 ) 浙江大学的“车牌通”：该产品最大特点就是针对我国车辆的现 状，在不作任何改动的情况下，能够实现汽车牌照识别自动化。该系统具有 友好的软件接口，与其他系统连接非常方便，可以很容易地用于交警稽查系 统、路桥卡口收费站、停车场等需要对车辆牌照进行识别的系统。 4 ) 其它一些主要车牌识别系统研发机构还有：中科院沈阳自动化所的 西南交通大学硕士研究生学位论文第4 页 沈阳聚德公司、深圳市吉通电子有限公司、中国信息产业部下属的中智交通 电子有限公司、西安交通大学的图像处理与识别研究所、上海交通大学的计 算机科学与工程系、清华大学人工智能国家重点实验室、四川大学图像图形 研究所等。 为了提高系统的识别率，很多产品都采用了一些硬件探测器和其它的辅 助设备，如红外照明等。其中“汉王眼 就是采用主动红外照明和光学滤波 器来减弱由可见光线及恶劣气候引起的不可控制的影响。对应用于高速公路 的“汉王眼系统，还要求在高速公路管理窗口到“汉王眼 识别点埋设两 条线路管道，一条管道铺设2 2 0 伏5 0 赫兹1 安培的交流供电线路，另一条管 道铺设触发信号线路和“汉王眼 与管理计算机的通讯线路。 目前，车牌自动识别系统正朝高识别率与高速度，以及嵌入式方向发展 【1 7 j 。从现有系统的整个社会应用效果来看，基于图像的车牌自动识别技术的 主要问题是识别速度和识别的正确率。这两个指标决定了车牌自动识别系统 是否具有实用价值，而影响这两个指标的主要因素除了系统的硬件外，就是 自动识别的算法。然而，目前图像处理技术还不够成熟，而且车牌图像的获 取受到摄像设备、计算机等性能等客观条件的限制，识别率和识别速度难以 同时提高。所以，如何在不增加硬件投资的基础上，采用优化的算法组合来 得到系统的高可靠性，即提高车牌的识别率和识别速度成为车牌自动识别技 术的主要研究方向。其中最为关键的是怎样快速、有效地将感兴趣目标( 即 车牌) 从复杂的背景中分割出来，怎样进行正确的识别。总的来说，基于图 像的车牌自动识别技术中还存在一些不足，还有许多研究工作要做。 1 3 车牌识别系统的主要技术指标 在实际应用中，人们总是期望车牌识别系统能够准确快速地识别出牌照 字符。为了达到这一目的，对车牌识别系统的性能进行定量分析，指导车牌 识别系统的研究与开发，人们制定了相应的技术性能指标。其中主要的性能 指标有：正确识别率、识别速度、拒识率、误识率、可信度。 1 3 1 正确识别率 正确识别率是车牌识别系统最重要、最根本的指标，没有满意的正确识 别率，识别速度再快也毫无意义。正确识别率分两种，一种是被正确切分的 字符图像被正确识别的概率，称为单字正确识别率；另一种是整块车牌的识 别结果相对输入系统的原始图像而言被正确识别的概率，称为系统的正确识 西南交通大学硕士研究生学位论文第5 页 别率。系统的正确识别率定义如下： r = 丝1 0 0 ( 1 1 ) n i 其中厂为被正确识别的车牌数目，f 为输入系统的原始图像数目。从 原始图像输入系统到识别结果的输出，要经过一系列的处理，中间每一个环 节都可能影响到系统的正确识别率。另外，原始图像的质量也对系统的正确 识别率有显著的影响。因此，在原始图像质量不同的情况下，难以进行不同 系统间正确识别率的比较。 1 3 2 识别速度 识别速度也可分为单字识别速度和系统识别速度两种。单字识别速度是 指每个字符从特征提取到识别结果输出所用的时间；系统识别速度是指从原 始图像输入开始，直到全部字符识别结果输出所用的时间。 系统识别速度和系统的正确识别率相互矛盾，这是因为一般必须采取较 复杂的预处理、特征提取和匹配算法，花费较多的计算代价才能获得高的正 确识别率，特别是高鲁棒性的识别率，而这势必使得识别速度下降。因此， 系统设计时必须综合考虑两者，一般是将高正确率的要求放在首位，因为在 缺乏高识别率的前提下提高速度并无意义。 1 3 3 拒识率 拒识率是拒绝识别的字符占全部输入字符的百分比。 1 3 4 误识率 误识率是指识别错误的字符占全部输入字符的百分比。 1 3 5 可信度 对单字进行识别时，存在一个识别结果的可信度问题。采用相关法、复 合类似度法进行识别时，两类字符越接近则可信度越大，因此，相关度、复 合类似度的值即可作为识别字符的可信度。如采用模板匹配法时，距离越小， 两个字符越相近，可用l 减去相对距离作为识别字符的可信度。 一个能够推向市场的车牌自动识别系统应达到以下要求： ( 1 ) 人工干预少，自动化程度高。 ( 2 ) 具有很高的识别率，只有拒识，没有误识。 ( 3 ) 具有实时的数据处理能力，完成一辆车的车牌识别的时间在0 5 1 秒 种以内，否则会造成对下一辆车的漏识。 西南交通大学硕士研究生学位论文第6 页 ( 4 ) 能够在应用环境中全天候工作( 白天、黄昏、夜间、黎明) ，能适应各 种不同的天气条件( 如晴天、多云、阴天，下雨天、下雪天等) 。 1 4 车牌识别技术的难点 车牌识别是在自然条件下进行的字符识别，构成车牌自动识别系统的环 节较多，任何一个环节都会影响系统的性能。基于图像的车牌识别技术，由 于图像会受到拍摄设备性能、车牌的整洁程度、光照条件、天气、车牌图像 背景和车辆运动等因素的影响而出现较严重的模糊、缺损、污染、扭曲和倾 斜等现象，所以，相对于其它的图像识别来说，车牌图像识别要困难得多。 实际的车牌识别系统投入运行时，现场环境对原始车辆图像主要有两方 面的影响： ( 1 ) 有利影响 1 ) 一般来说，在车辆图像拍摄现场，车辆相对于摄像头的距离是固定 的，摄像头的焦距也是一定的，因此，车辆图像大小和位置都是不变的。 2 ) 车辆图像拍摄现场很少有复杂的背景，如树木，多纹理、多色彩的 建筑等，因而减少了图像处理的复杂性。 ( 2 ) 不利影响 1 )由于车辆牌照的法线方向与拍摄设备的光轴方向有偏差，得到的图 像往往存在倾斜( 倾斜角度一般为1 5 。+ 1 5 。) ，因而需要进行校正。 2 ) 阴天或光线不足会使图像变暗。 3 ) 牌照的长期使用会出现字符磨损、污染等情况，因而需要考虑识别 字符的容忍度。 4 ) 夜间其它照明( 如，车灯、工作照明灯等) 会使图像出现光照不均匀 等干扰。 此外，在车牌图像识别中车辆图像本身的分辨率大小也会影响车牌识别 系统的识别速度和识别率，而且，识别速度和识别率之间的矛盾表现得特别 突出。一般的图像识别大都采用分辨率为2 5 6 x 2 5 6 或1 2 8 x1 2 8 的图像，例 如o c r ( o p t i c a lc h a r a c t e rr e a d e r ，光学字符阅读机) 系统，从图像中分割出 的字符的分辨率一般为3 2 x 3 2 像素。而在车牌识别系统中字符分辨率一般在 1 2 x1 2 像素到2 4 x 2 4 像素之间，为保证从车牌图像中分割出的单个字符尺 寸有2 0 x 2 0 点左右，输入图像的尺寸一般不能小于5 1 2 x 5 1 2 。分辨率过高， 整个识别系统的处理时间会明显增多，特别是车牌定位与提取、车牌二值化 西南交通大学硕士研究生学位论文第7 页 时的处理时间将会显著增j j l ：l ；分辨率过低，字符中汉字的二值化效果会变差， 系统识别率会下降。 与国外车牌的识别相比，中国车牌的识别难度更大，这主要是因为以下 五个方面的原因： ( 1 ) 我国的标准车牌由汉字、英文字母和阿拉伯数字组成，汉字的识 别与字母和数字的识别有很大的不同，从而增加了识别的难度。 ( 2 ) 国外许多国家的车牌底色和字符颜色通常只有对比度较强的两种 颜色( 例如韩国，其车牌底色为红色，车牌上的字符为白色) ，而我国车牌仅 底色就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、红、白等若干种颜 色。 ( 3 ) 其他国家的车牌格式( 如车牌尺寸大小，车牌字符的排列等) 通 常只有一种，而我国则根据不同车辆、车型、用途，规定了多种牌照格式( 如 分为军车、警车、普通车等) 。 ( 4 ) 我国车牌的规定悬挂位置不统一。 ( 5 ) 当由于环境、道路或人为因素造成车牌污染严重时，国外发达国 家不允许上路，而在我国仍可上路行驶。 由于上述多方面的原因，目前，基于图像的国内车牌识别主要面临以下 技术上的难点： ( 1 )自然环境导致的复杂背景、车体本身的干扰( 如车辆生产厂家的 标志、车体广告、个性车主在车体上设置的图案等) 等因素给图像处理带来 的困难。 ( 2 ) 采集误差、噪声和光线会降低图像质量，车辆运动也会不同程度 地造成图像的恶化，透视会使图像产生几何变形。这些都给图像预处理造成 了一定程度的困难。车辆牌照上目标的大小不同，距离不等，目标尺寸不规 范，都使图像产生了一定程度的仿射变形和模糊，大量的随机噪声干扰，光 线、光照角度的不同会造成车牌区域灰度的无规律变化。车辆速度也会对车 牌识别有较大的影响。 ( 3 ) 国内车辆牌照号码的构成字符较多，车牌具有不同的颜色和格式， 字符与车牌背景的灰度比也不一致，这些因素均给车牌识别增加了难度。 ( 4 ) 为了达到实际应用的要求，系统必须能够实时地对过往车辆的车 牌进行识别，因此算法不能过于复杂，而大多数的传统算法计算量都偏大， 根本无法达到实时的要求。 ( 5 ) 在实际情况下由于各类车型不同，大小不同，同一车型的车牌位 置不同，加上车身纹理线条复杂，所以在非车牌区域可能形成同车牌区域类 似的色彩和纹理，可能导致定位时出现误差。快速准确的找到车牌的位置一 西南交通大学硕士研究生学位论文第8 页 直是一个难题。 ( 6 ) 字符的粘连处理，字符断裂时的合并，是字符分割的难点。 总的来说，要研究开发出一套适应性好、抗干扰能力强和实时性好的车 辆牌照快速识别系统难度是非常大的。 1 5 中国车牌的构成及特点 我国机动车使用的牌照主要是根据公安部1 9 9 2 年颁布的中华人民共 和国机动车号牌标准( g a 3 6 9 2 ) 制作的，解放军、武警部队等特殊部门的牌 照另有自己的标准。但是，无论是地方车牌还是部队车牌都由下列基本元素 构成： ( 1 ) 汉字( 牌照中使用的汉字大约有5 4 个，对于地方车牌来说共有 3 1 个汉字) ： ( 2 ) 大写英文字母( a - z ，共2 5 个，在车牌标准中规定不使用字母 “i ， ) ： ( 3 ) 数字( o _ _ 9 ，共1 0 个) ； ( 4 ) 颜色( 蓝、黄、白、黑、红) 。 目前我国的车牌总体上可分为6 类： ( 1 ) 小型民用汽车蓝底白字牌； ( 2 ) 大型民用汽车黄底黑字牌； ( 3 ) 军车或警车白底黑字、红字牌； ( 4 ) 国外驻华机构( 大使馆、领事馆等) 黑底白字牌； ( 5 ) 试车牌照和临时牌照是白底红字，并且数字前分别有“试”和“临 时标志； ( 6 ) 汽车补用牌照是白底黑字。 标准地方车牌( 军车、警车、教练车、领事馆车除外) 都具有以下规格： ( 1 ) 轮廓尺寸：4 4 0 m i n x1 4 0 r a m ( 宽x 高) ： ( 2 ) 车牌上每个字符宽4 5 m m ，字高9 0 m m ，第2 字符与第3 字符之 间相隔3 4 m m ( 其中分隔符，即中间小圆点，宽1 0 m m ，小圆点与 第2 、第3 字符之间相隔1 2 r a m ) ，其余字符之间相隔1 2 m m ，字 符总长度为4 0 9 r a m ： ( 3 ) 字符顶端、底端与车牌上下边缘的距离都为2 5 r a m ： ( 4 ) 字符左端、右端与车牌左右边缘的距离都为1 5 5 m m 。 西南交通大学硕士研究生学位论文第9 页 标准车牌的字符为规则的印刷体字，其字符串的长度、字符间隙、字符 的宽高比及笔画宽高都是按照严格的标准制造的。 对于标准地方车牌来说，图像上的车牌区域是一个宽高比近似为2 2 7 的矩形区域，车牌内容由水平排列的7 个字符组成，字符的宽度与高度固定， 字符间距除第2 字符与第3 字符间略宽外，其余间距相等，第1 个字符为汉 字( 是省或者直辖市简称) ，第2 个是大写英文字母，第3 、4 个是大写英文字 母或者数字，后面的字符是数字，具体如图1 - - 2 所示。 车牌分双层车牌和单层车牌，双层车牌包括两行字符，一般为特种车辆 所用，不属于标准车牌。本文仅研究标准单层车牌。 1 6 本文的主要研究工作 1 5 5 4 5 田囹囡圈 1 垒垒q j 图l 2 标准地方车牌结构示意图 ( 1 ) 在查阅大量国内外资料的基础上，对前人在车牌识别方面的研究 成果进行了系统、全面的归纳、总结和对比分析研究； ( 2 ) 对前人研究成果中的一些有效、可行的图像处理、识别方法进行 了保留，删除了一些不必要的处理环节： ( 3 ) 通过实验指出了对车辆图像进行对比度增强的前提条件，从众多 二值化算法中找出了一种既有较好二值化效果，又能消除一定背景干扰的算 法( o t s u 算法) ； ( 4 ) 针对后续的车牌定位，灵活地应用了s 0 b e l 算法； ( 5 ) 对二值背景去除方法、基于跳变点的车牌定位方法进行了改进； 西南交通大学硕士研究生学位论文第1 0 页 ( 6 ) 指出了h o u g h 变换用于车牌倾斜校正的局限性，并提出了一种简 单实用的校正方法： ( 7 ) 提出了一种基于第3 字符位置的字符分割算法； ( 8 ) 采用1 3 特征作为字母数字的分类特征，并将1 3 特征扩充为2 2 特 征作为汉字的分类特征： ( 9 ) 对目前具有代表性的各种神经网络做了全面的对比分析，然后确 定用b p 网络进行字符识别，并设计了两个b p 网络分别对汉字、字母和数字 进行识别； ( 1 0 ) 对用于b p 神经网络训练的一种算法( 即确定扰动算法) 进行了 深入的研究，指出了它的不足，最后，采用带动量项的变步长b p 算法进行 神经网络的训练，并根据网络误差动态取舍动量项，随机交叉输入训练样本。 ( 1 1 ) 在进行理论研究的同时，在m sv i s u a ls t u d i oi d e 中用c + + 语言 编写了车牌图像识别技术研究实验系统，对车牌识别过程的必要环节进行了 实现，编写算法、测试等代码约1 2 6 2 1 行，实验得出了各环节的技术指标数 据。 由于实验条件的限制，本文主要研究车牌图像获取后，图像预处理、车 牌定位与提取、车牌图像预处理、车牌字符分割、字符特征提取与识别等问 题，不包括图像信息采集和信息管理等内容。主要研究大型、小型地方汽车 形如“川a b c 0 1 2 的牌照的识别。 最后，为了论述方便，避免引起混乱，本文约定：( 1 ) 含有车辆牌照及 其它背景( 车辆其它部分及现场景物) 的原始图像称为车辆图像：( 2 ) 通过 定位与分割从原始图像中提取的仅含牌照区域的局部子图像称为车牌图像。 1 7 本论文的组织结构 本论文主体部分共分6 章。第一章介绍了车牌图像识别技术研究的背景 和意义，国内外研究现状，车牌图像识别系统的构成及技术指标，深入分析 了中国车牌的构成和特点以及车牌图像识别的难点，最后介绍了本文的主要 研究工作。第二章对车辆图像预处理方法进行了研究，主要内容包括图像灰 度化，图像增强，图像二值化，降低图像背景等内容。第三章对车牌定位技 术进行了分析研究，在对车牌定位难点及现有定位方法进行全面分析总结的 基础上改进了其中的一种定位算法。第四章研究了车牌图像预处理，主要包 括车牌图像二值化，消噪，统一背景色，倾斜校正，边框及铆钉去除等内容。 第五章是字符分割，本章介绍了字符平滑，字符规范化，分析对比了各种分 西南交通大学硕士研究生学位论文第1 1 页 割方法，然后提出了一种可行的分割方法。第六章对字符识别作了简要介绍， 研究分析了字符分类特征，字符识别方法，神经网络，b p 神经网络及其训练 算法。论文以车牌识别系统各环节在整个系统中的位置为顺序展开论述，并 在各章节适当位置穿插了详实的实验结果图像、数据和结果分析。 西南交通大学硕士研究生学位论文第12 页 第2 章车辆图像预处理 通常为了使车辆牌照识别程序能够稳定运行，要求原始车辆图像具有适 当的亮度、较大的对比度、牌照区域清晰可辨。但是车牌识别系统实际运行 时，图像获取设备往往处于开放的户外环境，获取的车辆图像往往不能满足 这一要求。因此，需要对原始车辆图像进行预处理。 2 1 图像灰度化 目前，车牌识别系统的输入图像( 即车辆图像) 大都是通过摄像机、数 码相机等拍摄设备获取的，因而图像大都是真彩色图像。真彩色图像又称 r g b 图像，r g b 图像利用r 、g 、b 三个颜色分量表示一个像素的颜色，r 、 g 、b 分别代表红、绿、蓝三种不同的颜色，称为三基色，通过三基色的线 性组合可以获得任意颜色。所以对一个尺寸为所捍的r g b 图像来说，它将 被存储为一个3 m 刀的多维数组。 彩色图像信息量很大，不但会占用很大存储空间，而且在处理时也要耗 用很多的c p u 时间。另外，彩色图像的每个像素都具有三个不同的颜色分量， 存在许多与识别无关的冗余信息，不便于进一步的识别工作，因此在对图像 进行识别等处理前常常将彩色图像转变为灰度图像。 r g b 图像灰度化的方法主要有以下三种 ( 1 ) 最大值法： r = g = b = m a x ( r , g 功( 2 1 ) ( 2 ) 平均值法： r ：g ：b ：r + g + b ( 2 - 2 ) 3 ( 3 ) 加权平均值法： r = g ：b ：g r r + w c g + w b b( 2 _ 3 ) 3 其中，、分别是r 、g 、b 三颜色分量的权重。因人眼对绿 色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，所以当 西南交通大学硕士研究生学位论文第13 页 ( a ) 原2 4 位真彩色图像 ( b ) 灰度化后的图像 圈2 1 加权平均值法灰度化效果 监：02 9 9 、堕：0 5 8 7 、竖：01 1 4 1 j 寸，能得到最合理的狄度图像。 333 本文就采用了这种方法，狄度化效果如图2 1 所示。 22 图像增强 为了改善视觉效果或者便于人或机器对图像的理解和分析，根据图像的 特点或存在的问题对图像视觉效果进行改善或对图像特征进行加强的处理过 程称为图像增强。 221 对比度增强 造成图像对比度不足的主要原因有： 1 ) 目标与拍摄设备之间相对位置( 如，距离、角度等) 的变化： 2 ) 拍摄设备c c d 上不同点的光敏度有较大的差异，从而产生图像狄度 失真； 3 ) 成像时曝光不足或者曝光过度使得图像的灰度变化范围太窄； 4 )自然光照的变化( 随天气、昼夜等变化) 。 当图像对比度不足时，会使图像细节分辨不清，影响进一步的处理。因 此，需要将图像进行对比度增强，以改善图像的质量，提高字符识别率。常 用的对比度增强方法自：1 ) 直接狄度映射；2 ) 直方图变换。 西南交通大学硕士研究生学位论文第1 4 页 2 2 1 1 直接灰度映射 直接灰度映射是一种点操作，即根据原始图像中每个像素的灰度值，按 照某种映射规则，将其转化成另一灰度值。这样通过对原始图像中每个像素 赋一个新的灰度值来达到增强的目的。直接灰度映射的关键是根据增强要求 设计映射规则，或称为变换函数。下面以一种映射规则为例进行描述。 设原始图像厂( 墨) ，) 的灰度变化范围为【口，b 】，变换后的图像2 ( 五y ) 的灰度 变化范围为c d 1 ，则变换函数为 g “力= 罢兰【厂h 力一口】+ c ( 2 叫) d a 进行灰度映射后图像的细节更加清楚，各灰度等级的比例更加平衡，图 像质量得到了改善。文献【1 6 】采用了直接灰度映射法对图像灰度进行了拉伸。 2 2 1 2 直方图变换 直方图变换是以概率论为基础的，常用的方法主要有直方图均衡化和直 方图规定化。 直接灰度映射仅考虑图像灰度在哪个区间上取值，对于图像中某个灰度 级上像素点的多和少都同等对待，这样会导致图像的某些细节反而被掩盖。 而对图像的直方图进行均衡可以得到更好的效果。 自然图像的灰度直方图通常向低灰度值区间集中，使得图像中较暗区域 中的细节难以觉察。直方图均衡化