智能交通系统是目前世界交通运输领域的前沿研究课题

哈尔滨工业大学工学硕士学位论文哈尔滨工业大学工学硕士学位论文-PAGEII--PAGEIII-摘要智能交通系统是目前世界交通运输领域的前沿研究课题，车辆牌照的自动识别系统作为智能交通系统中的一项重要技术，结合了图像处理，模式识别，自动化等多项技术,现在得到了广泛的应用。汽车牌照是车辆最清晰、准确、唯一的标志。车辆牌照识别系统作为一个专门的计算机视觉系统，能够自动地拍摄车辆行进的动态数据、有效地判断和提取有车牌的图像数据并实时准确的识别出车辆牌照上的字符。本文提出了一个完整的车牌照识别方法。主要内容包括综述了国内外流行的车辆牌照识别技术，分别介绍了车辆牌照系统的每一个组成部分和国内外的识别方法。采用了基于灰度图像的二值化算法对图像进行二值化，提出了基于连通域搜索的车牌照粗分类算法，根据车牌照本身的特点，提取了车辆牌照区域特征，采用BP神经网络对车牌进行精确定位。本文还采用了面向车牌的基于彩色模型的车牌区域二值化算法进行车牌区域的二值化。提出了结合垂直投影和连通域对车牌区域进行字符切分，很好的解决了字符粘连和过度切分的问题。切分结束后提取字符的加权组合特征，利用模板匹配法进行车牌照字符识别。本文提出的动态车牌识别方法是对现有的车牌识别自动技术的进一步提高，提高了车牌识别系统的识别速度、准确性，扩大了适用范围。使车牌识别系统能够真正的实现智能交通管理系统对交通情况进行实时监控的要求。实验表明，文本介绍的车辆牌照自动识别方法速度快，适合应用在实时系统中，适应性和抗干扰能力强，能够在不同环境下进行正常的工作，识别率较高，能够在实际中进行应用。关键词车牌照识别；二值化；字符分割；BP神经网络AbstractTheIntelligentTransportationSystem(ITS)isthestudytopicinthefrontofthetransportationrealmofworldcurrently,theVehicleLicensePlateRecognition(VLPR)tobeanimportanttechniquewithintheIntelligentTransportationSystem,combiningtheimageprocessing,patternrecognition,automatization,hasagreatappliedforeground.Thevehiclelicenseplateistheclearest,exactest,andexclusivesymbol.TheVehicleLicensePlateRecognitionsystemwhichisaspecialvisionsystem,canautomaticallyrecordthedynamicdataoftheVehicletraveling,judgeandextracttheimagedataofvehiclelicenseplateeffective,andalsocanrecognizethecharacterofvehiclelicenseplateprecisely.ThispaperdiscussesawholecompletedVLPRsystem.Inthispapersomeworkshavebeendone,includeoverviewthedevelopmenthistoryoftheVLPR’stechnique,introducingtheeverycomponentofVLPRsystem,domesticandinternationalmethodofrecognitionpopularly,Thispaperdiscussesanimagebinarizationmethodwhichisbasedgrayimagetranslation,purposesaroughclassificationmethodofvehiclelicenseplatebasedonsearchingoftheconnectedarea,basedontheinherentfeaturesofthevehiclelicenseplate,extractingthefeaturesoftheplatearea,andusingBPnervenetworktomakeaccurateclassification.Thispaperpurposesalicenseplateorientedimagebinarizationbasedoncolormodel,combiningthemethodofconnectedareaandperpendicularshadowtosegmentthecharacteroftheplate.Aftersegmentthecharacteroftheplate,thispaperdiscussesthecharacterrecognitionusingcombiningfeatures,andusingthemethodofmodelmatchingtorecognizethecharacter.ThedynamicvehiclelicenseplaterecognitiondiscussedinthispaperputsforwardtheexistingtechniqueoftheVLPR,increasesthespeedandaccuracyoftherecognition,extendthescopetoapply.AndtheVLPRsysteminthispaperwillaccordwiththerequirementofreal-timeITS.Experimentshowsthatthisalgorithmisefficientinthereal-timevehiclelicenseplaterecognitionwhilenotsensitivetotheunconstrainedilluminationconditionsandirregularbackground.Platelocationprocessisaccurateandrapid.Designofthesystemisreasonable.Thissystemfitstherequirementofreal-timerecognitionandachievesoutstandingveracity,speedinessandfaulttolerance.KeywordsVehicleLicensePlateRecognition，ImageBinarization,CharacterSegment，BPNetworkPAGEII---PAGEV-目录摘要 IAbstract II第1章绪论 11.1课题背景及其理论与实际意义 11.2国内外车辆牌照识别系统的发展与现状 31.3国内外车辆牌照识别技术综述 41.3.1实时图像的采集 51.3.2图像的预处理 51.3.3复杂背景下的车辆牌照检测和定位 61.3.4字符切分 61.3.5字符识别 71.4现有车辆牌照识别系统存在的不足与改进的难点 71.5本文的主要内容及章节安排 8第2章复杂背景下车辆牌照区域的检测与定位 92.1车辆牌照区域的检测与定位方法概述 92.2图像的预处理 102.2.1RGB颜色模型 102.2.2彩色图像转换成灰度图像 112.2.3灰度图像的增强 122.3基于灰度图像的二值化 152.4车牌区域的粗定位 172.4.1标记二值图像的8连通区域 172.4.2车牌照区域的粗定位 182.5车辆牌照区域的特征提取 212.5.1图像归一化 212.5.2图像特征提取 222.6基于BP人工神经网络的分类器设计 242.6.1人工神经网络简介 242.6.2基于BP神经网络的分类器设计 252.7实验及结果分析 272.8本章小结 28第3章面向车辆牌照的字符切分 293.1基于彩色HSI模型面向车牌的二值化 293.1.1HSI彩色模型 293.1.2面向车牌的彩色二值化 313.2常用的车牌字符切分算法 333.3垂直投影法与连通域法相结合的切分方法 343.3.1切分算法 343.4实验及结果分析 363.5本章小结 37第4章车牌照字符识别 384.1车辆字符识别方法概述 384.2字符图像预处理 394.2.1去除干扰噪声 394.2.2归一化 414.3特征提取 424.3.1常用的字符特征 434.3.2提取加权的组合特征 444.4分类器设计 444.5实验及结果分析 454.6本章小结 46第5章实验结果 475.1实验系统构成 475.2实验设计及识别结果 485.3实验结果分析 49结论 51参考文献 52哈尔滨工业大学硕士学位论文原创性声明 56致谢 57-PAGE10--PAGE32-绪论课题背景及其理论与实际意义当今社会已经步入了全面信息化的新时代，随着计算机硬件发展的日新月异和计算机网络技术、通讯技术、自动化技术水平的不断提高，自动化信息处理已经融入到社会的每个角落，在各行各业都得到了广泛的应用，自动检测、图像处理和模式识别技术也越来越受到人们的重视。我国是一个经济持续发展的发展中国家，改革开放以来，城市化与汽车化发展十分迅猛。改革开放前，城市化水平不足19%，目前已经发展到超过30%，预测2010年将接近50%。机动车拥有量目前已达6000万辆，并以每年10%以上的速度增长，预计2010年达到1.3亿多辆。改革开放以来，中国道路交通设施及管理设施虽然有较大改观，但跟不上机动车增长速度。总体水平与发达国家有较大差距，特别是大多数城市路网结构不合理，道路功能不完善，道路系统不健全。交通管理设施缺乏，管理水平不高。即使各地都建立了交通控制中心，大多只是实现了监视功能，而远没有发挥控制功能的效应。党的十六大提出:“信息化是我国加快实现工业化和现代化的必然选择。坚持以信息化带动工业化，以工业化促进信息化，走出一条科技含量高、经济效益好、资源消耗低、环境污染少、人力资源优势得到充分发挥的新型工业化路子。”交通作为国民经济基础性产业，大力推进信息化，对于实现交通新的跨越式发展具有十分重要的意义。信息化是实现交通现代化的必然选择。在这种大背景下如何建立一个集中、高效、快捷、网络化的智能交通管理系统（IntelligentTransportationSystem,简称ITS）[1][2]就成为信息处理技术的一项重要课题。智能交通系统是目前世界交通运输领域的前沿研究课题，发达国家提出并执行了一系列研究计划，其核心是针对日益严重的交通需求和环境保护压力，采用信息技术、通信技术、计算机技术、控制技术等对传统交通运输系统进行深入的改造，以提高系统资源的使用效率、系统安全性，减少资源的消耗和环境污染。1995年3月美国交通部首次正式出版了《国家智能交通系统项目规划》，明确规定了智能交通系统的7大领域和29个用户服务功能，并确定了到2005年的年度开发计划。我国现在也在积极研究、发展并推广智能交通技术，有关部门从1996年开始组织了ITS领域的一系列国际交流和合作，支持在国内开展研究和开发，并计划在三到五年内在八到十个典型城市进行ITS工程示范。智能交通系统的研究领域广阔，各国各地区侧重点也有所不同。如：电子收费系统是ITS在公路收费领域的具体表现，其应用可解决收费站的“瓶颈”制约作用，较好地缓解收费站的交通拥挤、排队等候以及环境污染等问题。在电子收费系统中，由于收费过程需要实现自动化，车辆直接驶过收费站而不停车，因而对车辆准确迅速的识别和分类就成了关键的问题。为了满足这些需求，有必要在智能交通管理系统中引入车辆牌照自动识别技术。汽车牌照是车辆最清晰、准确、唯一的标志。车辆牌照识别(VehicleLicensePlateRecognition,简称VLPR)[3]系统作为一个专门的计算机视觉系统，能够自动地拍摄车辆行进的动态数据、有效地判断和提取有车牌的图像数据并实时准确的识别出车辆牌照上的字符。车辆牌照识别系统综合运用了图像处理、模式识别以及人工智能等方面的理论技术。系统主要包括：检测动态视频数据中含有车牌的图像，对复杂背景中的车牌进行定位以及车牌上的字符切分和识别。车辆牌照识别系统具有不影响车辆行驶状态，不需要车辆安装额外的设备,自动化水平高等优点。由于车辆牌照识别系统的处理方法简单有效，适用于多种不同环境，车辆牌照识别系统正成为ITS系统最主要的组成部分。车辆牌照识别系统可以广泛地应用于众多车辆认证的实际系统中，例如：智能交通系统；公路和桥梁自动收费管理系统；公路流量观测系统；城市车辆安全监控系统；车库和停车场自动管理系统；门卫系统等。车辆牌照识别系统可以切实有效地提高交通系统的车辆监控和管理的自动化程度，对车辆牌照的有效识别是ITS的重要环节，对于车牌照识别的研究也就成为了建设ITS的重点之一。车辆牌照识别系统是一个面向车辆牌照识别的专用计算机视觉系统，属于典型的先分割目标，再对目标进行识别的实例。针对这类问题的研究和探索不但是工程方面的问题，同时也可以对图像处理、模式识别等领域的发展起到推动作用。国内外车辆牌照识别系统的发展与现状上世纪80年代，美国等一些发达国家为了适应现代交通事业的迅猛发展，将图像处理技术引入交通自动化管理系统，从此揭开了对车辆牌照识别系统的研究。当时的研究方向包括：车辆速度的检测，车流量的检测，车辆形状的检测，车辆牌照的检测，车辆事故检测等。早期的交通监控系统所使用的图像处理技术比较简单：把一幅不含车辆的图像作为基准图像，比较待分析图像和基准图像对应部分的图像灰度，利用差分的原理找到车辆区域。利用这种方法，可以粗略地计算出车辆的速度、车流量、道路负载等数据。随着社会的发展，车流量的不断加大和道路建设的不断完善，对交通自动化管理系统有了更高的要求。不停车收费系统，交通监控系统，停车场的自动管理系统等任务要求识别出不同的车辆。随着摄像机清晰度，计算机处理能力，和DSP技术的不断发展，对车辆最明显的标示——车牌的实时采集和识别成为可以实现的技术，车辆牌照识别技术也受到了人们的广泛重视。自从在1988年提出以来，车辆牌照识别系统经过十几年的发展，在国外已有一些实际系统应用于自动收费，自动识别等场合。（见表1-1）但是这些系统都是对英文字母或是阿拉伯数字进行识别，未对汉字进行识别。表1-1国际上的车辆牌照识别系统Table1-1someforeignVLPRsystem公司名产品名识别率识别速度Hi_techLtdSee/CarChinese93%500msOptasiaLtdVLPRS99.7%400ms-2sAsiaVisionVECON95%1s近几年，在国内也有一些牌照识别的系统，如汉王，高德威等公司的产品。（见图1-1）图1-1国内的VLPR产品模型Figure1-1ChineseVLPRmodel由于车辆牌照识别系统具有不影响车辆行驶状态，不需要车辆安装额外的设备,自动化水平高等优点，使用车辆牌照识别系统大大减少了车辆管理的工作时间和降低了工作复杂度。因此，实时车辆牌照识别系统无论是在国内还是在国外都具有更加广泛的应用前景。国内外车辆牌照识别技术综述从上世纪80年代，欧美等发达国家率先开始了车牌照识别方面的研究工作。由于受当时的硬件处理条件所限—处理器运算速度慢，存储器容量低，车牌照识别系统的研究工作仅限于一些低速，要求较低的场合，例如停车场管理，停车交费等场合。随着人们生活水平的提高，智能交通系统研究和应用的不断深入，对车牌照识别系统的性能的要求也越来越高，早期的产品已经不能满足现今社会的需要。随着硬件技术的不断发展，发达国家的车牌自动识别系统在实际交通系统中已取得了成功的应用。而我国在车牌自动识别系统方面的开发和应用还处在起步阶段，主要原因是识别速度这一瓶颈问题限制了应用和推广。车牌照系统主要分为图像采集，图像处理，车牌定位，字符切分，字符识别几个部分[4][5]：图1-2车牌照系统流程图Figure1-2ChineseVLPRmodel图像采集：目前图像采集主要采用专用摄像机连接图像采集卡或者直接连接便携式笔记本进行实时图像采集，将模拟信号转换为数字信号。图像处理：需对采集的图像进行增强、恢复、变换等处理，目的是突出车牌的主要特征，以便更好地提取车牌区域。车牌定位：从人眼视觉的角度出发，并根据车牌的字符目标区域的特点，在二值化图像的基础上提取相应的特征。车牌定位是车辆牌照自动识别系统中的关键和难点，实际图像中的噪声、复杂的背景等干扰都会使定位十分困难。车辆牌照的分割是一个寻找最符合牌照特征区域的过程。从本质上说，就是一个在参量空间寻找最优定位参量的问题，需要用最优化方法予以实现。字符分割：是从获得的牌照区域分割出单个字符（包括汉字、字母和数字）以便于进行字符识别的过程。考虑到车牌上的字符一般除了一个汉字外其他的都是字母和数字，即在理想状态下每个字符是全连通的且互不相连，因此可以使用特定的方法进行字符切分。字符识别：是使分割得到的字符进一步转化为文本并存入数据库或者直接显示出来的过程。实时图像的采集图像采集部分目前主要采用两种方法[6]：一种方法是首先利用硬件探测传感器检测是否有车辆存在，当车辆存在时进行图像采集；另一种方法是不检测拍摄区域内是否存在车辆，直接进行图像采集。前一种方法国外常采用压力探测器、光探测器、踏板式探测器、电磁感应环探测器、红外探测器等作为探测传感器，国内主要采用红外探测器和电磁感应环探测器。这种做法的好处是识别错误率低，比较准确而缺点则是成本过高，不适于大范围推广。后一种方法直接利用CCD数码摄像机进行实时拍摄，通过采集卡或者直接连接便携式笔记本电脑进行模拟数字信号的转换，可以全天候不间断工作。相比前一种方法成本低，便于移动，目前已经被广泛地采用。图像的预处理作为图像识别的第一步，图像预处理直接影响到后续的识别方法和识别效果。目前对于待识别的车牌图像有多种处理方法，主要分为基于彩色图像和基于灰度图像的两类预处理方法。基于彩色图像的处理方法又根据采用的颜色模型分为基于HSV，基于RGB和基于CMY等几种方法，主要采用基于不同色彩模型的对比度调整、色调均衡、降噪二值化等的方法[7][8][9]。基于彩色模型处理方法的方法好处是较高的保留了图像的信息，便于进一步的识别特征提取。但由于彩色图像信息量大，需要的存储空间和计算量十分巨大，在实时的车牌照识别系统中对硬件的要求过高，成本较高。基于灰度的方法是将采集到彩色图像首先转换成灰度图像再进行进一步识别，主要采用基于灰度的二值化[10]、滤波降噪[11]、膨胀腐蚀[12][13][14]等方法。基于灰度的处理方法的优点在于需要的存储空间少，运算量较低，对硬件的要求较低，但由于损失的一定的图像信息，识别效果较基于彩色模型的差。复杂背景下的车辆牌照检测和定位复杂背景下的车牌照检测和定位是车辆牌照识别系统的最为重要的一个环节，它直接关系到车辆牌照识别的准确率和错误率，对后续步骤有着巨大的影响。目前国内外学者都集中研究车牌检测和定位这一课题，并取得了很多成果，提出了许多有效的方法。传统的有采用Hough变换[15]检测车辆牌照外边框的矩形的算法，但是Hough变换时间复杂性高，很难应用在实时的检测系统中。还有利用车牌区域纹理特征匹配来确定车牌区域的，利用纹理分割的这种方法主要缺点也是耗时多，不能在实时系统上采用。还有基于小波和数学形态学的分割方法[16][17]，但该方法中由于结构元素的尺寸与形状对分割结果有较大的影响，有时对不同的背景或不同的目标图像需要采用不同的结构元素，或者施以不同的形态变换才能取得满意的实验结果。当然还可通过自适应形态学等方法来对该方法进行改进，但该方法总体来说比较复杂。为了解决好车牌自动识别过程中的处理速度这个瓶颈问题，使用计算机分布式结构进行处理[18]则不失为一种可行的选择方案，但该方案实施起来难度较大。其他的还有采用灰度图像的数学形态学运算法，二值图像的数学形态学运算法，区域生长法，边缘算子运算法，边界聚类算法，模糊聚类法等方法[19--21],这些方法都存在着容易受车牌所在复杂背景干扰从而影响识别效果且时间复杂性高的缺点。近年来，小波变换、FFT、DFT、DCT等变换技术[22-26]在国外均得到了应用，神经网络[27][28][29]，模糊技术[30-33]和遗传算法[34][35]在车牌识别中的应用研究也在进行，这些技术和其他技术相结合在车牌定位中也取得了一定的成果。字符切分车辆牌照本身是按照一定的标准制成，组成车辆牌照的字符大小间距都有一定的规范，因此车辆牌照的字符切分方法就有一定的特殊性。常见的方法有区域生长法[36][37]，使用这种方法的前提是字符区域清晰明显，一旦车牌照被污染或者光照雨雪等因素使得车牌字符部分模糊时，这种算法的准确率将大大下降。还可以采用垂直投影法[38][39]，这种方法利用了字符块在垂直方向上的投影在字符块间的位置取得最小值的原理，当车牌由于外部因素有点模糊不清晰的时候，这种方法的效果比较好。另外，由于车牌字符为印刷体的标准字符，字符之间保持固定的间隔，并且字符本身和车牌背景存在较大差异等特点，也可以使用一些基于固定规则的字符切分方法[40]。字符识别车辆牌照的字符识别与普通的印刷体字符识别相类似，采用的大多也是成熟的光学字符识别（OpticalCharacterRecognition）算法[41]。并且由于车辆牌照的特殊性，其字符集比较小，通常只包含数字，字母和少量的汉字，其方法也有一定的特殊性。国内外对于车牌照的字符识别根据所应用的模式识别技术主要可以分为：统计模式识别法、结构模式识别法[42-47]。统计模式识别其要点是提取待识别模式的一组统计特征，按照一定的决策函数进行分类判决。常用的统计特征有字符二维平面的位置特征、字符在水平或者垂直方向投影的直方图特征、矩特征和字符经过频域变换或其它形式变换后的特征等[48]。结构模式识别主要应用在识别汉字中，其主要出发点是汉字的组成结构。汉字由笔划（点横竖撇捺等）、偏旁部首或者更小的基元构成的，识别时利用上述结构信息及句法分析的方法进行识别，类似一个逻辑推理器。结构模式识别与统计模式识别各有优缺点，随着我们对于两种方法认识的深入，这两种方法正在逐渐融合。网格化特征[49]就是这种结合的产物。现有车辆牌照识别系统存在的不足与改进的难点随着智能交通系统研究的不断深入，车牌照识别系统应用的范围越来越广。从最初的在停车场计费，高速公路，大桥入口收费等车辆静态或者低速牌照识别渐渐发展到十字路口车辆监测，高速公路监测等对高速行驶的车辆进行动态车辆牌照识别。以往的车辆牌照识别系统识别速度较慢，一般每秒钟处理5—10帧图像，而一般数字录像或者实时采集的图像每秒钟有25—30帧，这样将漏识大量的有效信息，已经不适合现在交通管理的需要。而且以往的车牌照识别系统的抗干扰能力较弱，光照强度的变化和雨雪天气均能对识别的准确率有较大的影响。目前车辆牌照识别系统的发展方向就是，在满足一定的识别准确率的基础上提高识别速度，以满足实时高速系统的需要，并能适应多种场合的应用。实际上，由于车辆牌照所受的干扰因素很多：复杂的背景，光照的变化，车牌照区域的污损，雨雪等天气因素等等，处理多种情况下的车牌照识别势必增加算法的复杂性，特别是采用较高分辨率的图像来提高车牌识别精度时，其计算量将大幅度增长，处理时间大大增加，不能满足实时系统的要求。因此如何在不同环境条件下取得识别准确率和识别速度之间的平衡，是现在车牌照识别方法的研究难点。本文的主要内容及章节安排为了满足现在车牌照识别系统对速度和识别准确率的需求，本文提出了一种新的实时车辆牌照识别的方法，通过数字摄像机进行图像采集，利用软件进行识别，识别速度快，能满足实时系统的要求，并且准确率足以在实际中应用。本文的主要内容包括：对车辆牌照识别系统的发展及其每个组成模块都进行了综述，论述了每一个模块的作用，并比较了目前流行的算法。提出了现有识别算法的不足和改进的难点。采用基于灰度图像的灰度拉伸算法和全局二值化算法对车牌图像进行处理。提出了基于连通域搜索的车牌照粗分类算法。并采用BP神经网络对车牌进行精确定位。在处理速度，存储空间和识别率上均取得了良好的效果。采用了基于彩色模型的面向车牌的车牌区域二值化算法。提出了结合垂直投影法和连通域法的车牌照字符切分方法。可以很好的解决字体粘连和过度分割的问题。采用了基于加权组合特征的字符识别方法，利用模板匹配法进行车牌照字符识别。对本文提出的识别方法进行实验，并得出结论，提出了可能的改进方向。本文第一章综述了关于车辆牌照识别相关理论知识，并提出了现有识别算法的不足和改进的难点；第二章提出了一种新的车牌照检测定位方法；第三章提出了基于彩色模型的车牌照字符切分算法；第四章采用了组合加权特征进行字符识别；最后在第五章对本文提出的车牌照识别方法进行实验，通过实验结果对系统进行评价。复杂背景下车辆牌照区域的检测与定位车辆牌照区域的检测与定位方法概述本章提出的车辆牌照区域检测与定位方法的目的是要从图像采集部分所传输过来的图像中检测是否存在车牌区域，如果存在车牌区域的话，给出车牌区域在图像中的位置信息并传送给接下来的字符切分和字符识别单元进行处理。车牌检测定位方法包括图像预处理，车辆牌照粗定位，车辆牌照精确定位几个组成部分。图2-1车牌定位流程图Figure2-1flowchartofLocatingtheplate本章中采用了基于灰度图像的预处理技术，将由图像采集单元传输过来的彩色图像转换成灰度图像进行预处理，有效地增强图像，使车牌区域清晰并与背景图像相区别，主要采用灰度拉伸对图像进行增强。然后采用动态全局选取阈值的方法将灰度图像转换成二值黑白图像。本文提出了一种新的利用连通域搜索的车牌照粗定位方法。本文提出的粗定位方法首先计算二值图像的连通域，然后根据车辆牌照区域先验的结构特征，以及水平投影特征和竖直投影特征计算得到的连通域进行搜索，标记出待识别的候选区域的位置。车牌照粗定位部分将给出若干个待进一步判断识别的候选车牌区域，如果候选区域的个数为零，则说明本幅图像不含车牌，就不用进行下一步的识别。本文采用人工神经网络进行车牌照精确定位。车牌照精确定位是对车牌候选区域进行分类，判断哪一个是真正的车牌区域并给出车牌区域的坐标。由于候选区域的大小可能不一致，首先要对候选区域的图像进行归一化，再提取水平方向连通域穿越特征和竖直方向上的投影特征，利用KL变换压缩特征的维数，最后用神经网络作为分类器进行判断该区域是否为车牌区域。图像的预处理在本章中所采用的图像预处理方法是基于灰度图像的，将彩色图像转换成灰度图像进行处理有效的缩小了一幅图像的大小，降低了对存储器容量的要求，有效的减少了运算量，节约了运算时间，从而满足实时系统对处理速度的要求。本文的预处理方法把经过采集得到的彩色图像经过彩色--灰度变换，灰度拉伸处理，得到车牌区域突出显示的256级灰度图像。RGB颜色模型一幅由图像采集单元传输过来图像通常是24位真彩色图像，这里提到的图像是采用了RGB颜色模型。颜色模型的用途是在某个颜色域内方便地图2-2RGB颜色Figure2-2RGBcolors指定颜色，由于每一个颜色域都是可见光的子集，所以任何一个颜色模型都无法包含所有的可见光。大多数的彩色图形显示设备一般都是使用红、绿、蓝三原色，在本文中也使用RGB颜色模型。RGB颜色模型通常用于彩色阴极射线管等彩色光栅图形显示设备中，它是我们使用最多、最熟悉的颜色模型。它采用三维直角坐标系，红、绿、蓝为原色，各个原色混合在一起可以产生复合色，如图2-2所示。RGB颜色模型通常采用图2-3所示的单位立方体来表示，在正方体的主对角线上，各原色的强度相等，产生由暗到明的白色，也就是不同的灰度值。(0，0，0)为黑色，(1，1，1)为白色。正方体的其它六个角点分别为红、黄、绿、青、蓝和品红，需要注意的一点是，RGB颜色模型所覆盖的颜色域取决于显示设备荧光点的颜色特性，是与硬件相关的。图2-3RGB颜色模型Figure2-3colorsmodelofRGB彩色图像转换成灰度图像由于RGB模型的红、绿、蓝颜色模型用起来不太方便，它与直观的颜色概念如色调、饱和度和亮度等没有直接的联系。通常我们对彩色图像处理时会把采用RGB模型的图像转换成用其他模型表述的图像，或者转换成灰度图像进行处理。本文提出的车辆牌照识别系统是实时系统，对于运算速度有着很高的要求，而采用RGB彩色模型的图像每一个像素点要占用3Byte，一般一幅500*400的图像大小在1000Kbyte左右，虽然保存很多颜色信息，但是大大增加了运算量和存储量，不适应实时系统的要求。因此在本文中需要把彩色图像转换成灰度图像进行进一步的处理。利用公式(2-1)[52]将彩色图像转换成灰度图像：p=0.114*R+0.587*G+0.299*B(2-1)其中p代表图像中某点的灰度值，R，G，B分别代表彩色图中对应点的RGB模型中的R，G，B分量的值。图2-4和图2-5就是转换成灰度的效果：图2-4彩色图像图2-5灰度图像Figure2-4colorimageFigure2-5grayimage灰度图像的增强为了便于后一部分的二值化及连通域的计算，这里需要对图像进行增强处理，增强处理的目的是使含有车牌的图像中车牌区域更加突出，便于后面定位工作，而由于整个系统是实时处理的，不能采用过分复杂的增强技术。在这里，本文采用灰度直方图线性拉伸作为主要的预处理方法。采集后的彩色图像转换为灰度图像后，由于背景的复杂性和不可知性，车牌照区域在图像中不突出，湮没在大量的其它信息之中。通过采用灰度拉伸可以突出车牌区域，并有效的减少其它的一部分干扰信息。灰度拉伸的主要方法就是对图像在某一灰度变换区间内的象素点的灰度值进行线性变换，以达到突出某一灰度区间图像，增强对比度的目的。灰度拉伸的时间复杂性低，适宜应用在本文设计的实时系统中，对其中参数进行适当的调整能取得很好的图像增强效果。一般的灰度变化方程[53]为：D=AX+B(2-2)其中D为灰度变换后灰度，X为变换前灰度，A,B为变换方程系数。灰度拉伸是指根据灰度值方图的分布有选择的拉伸某段灰度区间以改善输出图像。如果一幅图像灰度集中在较暗的区域而导致图像偏暗,可以用灰度拉伸功能（斜率A>1）来拉伸物体灰度区间以改善图像;同样如果图像灰度集中在较亮的区域而导致图像偏亮,也可以用灰度拉伸功能（斜率A<1)来压缩物体灰度区。一般含有车牌区域的灰度图像的灰度直方图如图2-6所示，点x1，x2将0-255之间的灰度值划分成[0，x1]，[x1，x2]和[x2，255]的三个灰度区间，车辆牌照区域的前景象素点和背景象素点的灰度值主要分布在[0，x1]和[x2，255]两个区间内，本文采用分段式的线性拉伸方程（见式2-3），通过调整y1，y2点的大小来改变灰度拉伸方程在[0，x1]和[x2，255]区间的斜率，加深车牌背景灰度，增亮车牌区域前景字符，从而增加前景和背景的对比度，突出了车牌区域，并且可以有效的抑制一部分其它的干扰信息。图2-6变换前灰度直方图Figure2-6grayhistogrambeforetranslating(2-3)其中，为图2-6所示的转折点坐标，为预先设定的阈值。图2-7灰度变换曲线图Figure2-7graphofgrayimagetranslation对比灰度拉伸前后的灰度直方图（图2-6，图2-8）和变换前后的灰度图（图2-5，图2-9），我们可以看出灰度拉伸很好的在背景中突出了车牌区域，并且有效的去除了一部分噪声和干扰信息。图2-8变换后灰度直方图Figure2-8grayhistogramaftertranslating图2-9变换后灰度图像Figure2-9grayimageaftertranslating基于灰度图像的二值化本文提出的车牌照定位方法是基于二值图像的连通域搜索，需要把灰度图像经过变换转换成二值图像，图像二值化同时也可以滤除掉一部分干扰信息。二值化图像算法又称为阈值算法，其目的就是要找出一个合适的阈值，将待研究的区域划分为前景和背景两部分。二值化后的车牌要能再现原字符图像，基本不出现笔画断裂和粘连现象，尽量不丢失原字符的特征。对于灰度图像的二值化实际上就是确定一个最佳的分割阈值。假设一幅灰度车牌图像的大小为M行N列，用f(x,y)（0≤x<M，0≤y<N，x和y均为整数）来表示一像素的灰度值。那么二值化处理可以表示如式(2-4)所示：(2-4)这里的T称为阈值（Threshold），经过二值化处理后,前景和其他背景就由黑白两种颜色分开,选择不同的阈值会得到不同的分离结果。在车牌识别中对灰度图像进行二值化的方法主要有全局动态二值化、局部二值化。本文采用了全局动态二值化的方法。全局动态二值化[54]从整个灰度图像的像素分布出发寻求一个最佳的门限值,它是在判别最小二乘法的基础上推导出来的。基本思想是：取一个阈值t，将图像像素按灰度大小分为大于等于t和小于t两类，然后求出两类像素的平均值方差（类间方差）和两个类各自的均方差（类内方差），找出使两个方差比/最大的阈值t，该阈值即为二值化图像的最佳阈值。这种方法不论图像的直方图有无明显的双峰,都能得到较为满意的效果。因此这种方法是阈值自动选取的较优方法。设给定图像具有1,2,3,..,L,共L级灰度,阈值设为k，把灰度大于k和小于k的像素分为两类。类1中的像素总数为W1(k),平均灰度为M1(k),方差为；类2中的像素总数为W2(k)，平均灰度为M2(k)，方差为，所有图像像素的平均值为Mr。类间方差和类内方差分别由下两式决定：(2-5)(2-6)算法的描述如下：输入：灰度图像输出：阈值k算法：求图像中最大的灰度max;令k=0;求出大于和小于k的这两类像素总数和像素的灰度平均值；计算类间方差和类内方差；k=k+1,循环3～5步,直到k>max；找出/最大的值,得到相应的阈值k。采用本算法可以根据全局灰度图像进行动态的二值化，对于灰度图像的直方图曲线没有明显的两个波峰的时候，仍然能取得比较好的二值化效果，实现起来也相对简单，时间消耗较少。二值化后的图像如图2-10所示，车牌照区域被很好的突出出来，其他干扰信息被很好的抑制。图2-10变换后二值图像Figure2-10binaryimageaftertranslating车牌区域的粗定位经过一系列的图像处理工作，已经把采集的彩色图像转换成黑白二值图像，在这一节里我们主要讨论车牌照候选区域的粗定位方法。本文提出一种新的利用连通域搜索的车牌照区域的粗定位算法，速度快，准确率高。连通域搜索是常用的图像处理方法之一，它很好的表现出相邻象素点之间的关系。一幅图像也是由若干个连通区域构成的。车牌照区域是由若干个字符，车牌照边框构成的，而车牌照的连通区域是由字符或者字符的一部分连通域，车牌照边框，车牌照背景及部分构成。可以通过车牌照固有的比例，位置信息，以及在图像中出现的特点来确定车牌照的候选区域。标记二值图像的8连通区域一幅图像由若干个连通域组成的，所谓连通域就是由相邻的点所构成的区域。一个连通域通常是图像中一个物体或者物体的一部分，一些目标识别问题可以转化成确定目标的连通域位置的问题。根据定义一个点的相邻点的不同，连通域可以分为4连通和8连通。点S在图像中8连通的相邻点定义为点1，2，3，4，5，6，7，8；4连通的相邻点定义为点2，4，6，8（见图2-11）。8连通相对于4连通更好的体现了相邻性，尤其对于车牌图像经过二值变换某些字符的比划变得很细，如果计算4连通域的话，容易将把一个字符分成两部分。因此本文采用计算图像的8连通域。图2-11点S的8连通相邻点Figure2-11adjacentpointofpointS本文采用先深搜索每一个点的相邻点的方法来计算整个图像的连通区域，具体算法如下：输入：二值图像矩阵输出：连通区域矩阵（每一个黑像素都标记所在连通区域的标号）算法：读入二值图像矩阵，令连通区号k=0；扫描一个标记为未读的像素点；依次扫描该点相邻的八个点，比较其值，如果相等就进栈，并令其标记为k；弹出栈顶第一个像素，回到第3步，直到栈空；选取下一个标记为未读的像素点，k++，转第2步，直到所有象素点均扫描过。通常计算出来的连通域是不规则的形状，很难直接用于计算，因此本文在计算出的二值图像所有的连通区域的基础上，计算出每一个连通区域的外接矩形和外接矩形的中心位置，以便于下一步的计算。车牌照区域的粗定位车牌照区域的粗定位需要标记出若干个待识别的候选区域，当候选区域的数目为零的时候，认为图像中不存在车牌区域。车辆牌照区域在画面上的大小是在一定的变化范围以内的，根据经验值以及摄像设备具体参数以及预先训练的结果来确定车牌照长宽的范围：,，,。车辆牌照图像是由若干个大小相近的字符构成，而车牌照区域的连通域是若干个字符或者字符的一部分的连通区域和车牌照边框的连通域和车牌照背景的连通域几部分构成的。在正常的曝光，车牌照没有被遮挡污损的条件下，基本上每一个字符都会形成一个大小基本相近的连通区域的外接矩形，并且有以下的分布特点：每个字符的连通区域外接矩形中心在垂直方向的投影点间距H很小，基本上投影在一个点状区域内；每个字符的连通区域的外接矩形中心在水平方向上的投影点分布在一个宽度基本不变的一段区域内，且其相邻的两个连通区域的中心横坐标之差W变化在一定的范围内；车牌照是由若干字符构成，一般为7个。图2-12车牌连通区域外界矩形中心水平垂直投影Figure2-12levelanduprightnessprojectionofthecenterinvehicleplateareaexternalrectangle根据计算得到连通区域的外接矩形和中心位置，利用以上叙述的车牌图像的分布特点，在图像上寻找车牌区域就转换成了寻找在同一水平位置相邻的若干个连通区域的外接矩形的问题了。首先搜索长宽满足规定阈值的连通域外接矩形作为候选区域，这样就可以得到一部分由于车牌字符与车牌边框粘连而形成的较大连通域，或者是车辆牌照背景所形成的连通域。然后搜索连通区域外接矩形中心在垂直方向的投影在一个点状区域内的连通域，并且事先设定阈值NUM，如果垂直方向投影在同一点状区域内的连通域数目少于NUM，则认为这几个连通域不构成候选区域，这样就可以排除一部分由于车牌部分被阻挡而无法识别的车牌。然后判断垂直方向投影在同一点状区域内的连通域是否相邻的两个连通区域的中心横坐标之差W变化在一定的范围内，去除掉超过事先设定阈值的连通域。因此有如下的候选区域标记算法：输入：二值图像连通域标记矩阵输出：候选车牌区域矩形坐标算法：读入图像连通矩阵，初始化，，，，H,W，NUM，k扫描标记未读的连通矩形，如果连通矩形长，宽分别介于[,]，[,]，标记为候选区域；如果队列为空，待搜索矩形加入队列，标记为已读；如果队列不为空，与队列内矩形纵坐标y进行比较，得到纵坐标差Hy：如果存在一个矩形，间距Hy<H,加入队列，标记已读如果Hy>H，且还有没有扫描的矩形，回到2图2-13车牌粗定位算法示意图Figure2-13flowchartofroughvehicleplatelocating判断队列内矩形数>=NUM，那么标记这些矩形为备选区域k,k++，清空队列，回到3；如果k=0，转7；如果k≠0，顺序扫描上一步所标记的备选区域的横坐标x，如果相同标记的矩形横坐标x的最大差值Wx<W,，标记为候选输出所有后选区域矩形坐标，算法结束。经过如图2-13所描述的车牌粗定位算法的流程，得到了若干个车牌照的候选区域（见图2-14），显然这里得到的区域不全都是车牌区域，在实际测试条件下车前灯，保险杠等等都有可能成为候选区域，因此我们需要用分类器区分出候选区域是否为车牌区域。图2-14车牌粗定位结果Figure2-14resultofroughvehicleplatelocating车辆牌照区域的特征提取得到了若干个车辆牌照的候选区域之后，需要对这些候选区域进行特征提取来进行分类识别是否为车牌照。由于这些区域的大小不一致，首先要把这些大小不同的图像进行归一化，归一化到相同大小的图像上，然后提取这些图像的水平穿越特征和垂直投影特征，由于特征的维数比较高，增加了计算负担和存储的容量，还要采用K-L变换[45]压缩特征的维数。图像归一化车牌候选区域字符图像在提取特征的时候要具有一个统一的大小，这样提取出来的特征才具有可比性。经过车牌粗定位所得到车牌候选区域的大小可能不太相同，所以要把候选区域的图像归一到一致的大小，便于特征的提取。归一化是一个相当重要的步骤，一个有效的归一化算法，将大大提高系统识别的稳定性，并且能很好地克服图像噪声带来的诸多影响。车牌图像的归一化，一般分为两类：线性归一化和非线性归一化[45]。线性归一化是将图像成比例地线性放大或缩小，算法比较简单；非线性归一化则是根据图像像素分布的多少不成比例地放大缩小，使整幅图像达到密度均衡。前者对有白边或边框有噪声点的图像效果较差，但图像变换简单，运算量小；后者是基于x，y方向离散度的尺寸归一化，时间开销大于前者。本文采用了运算量较小的线性归一化，将车牌图像成比例地线性放大或缩小，归一化后得到120*30大小的图像。假设原始图像宽为Width，高为Height，图像矩阵为Origin(x,y)，x属于[0,Width]，y属于[0,Height]，采用线性归一化的方法将原图像归一化为120*30的大小。根据式(2-7)得到归一化后的图像Norm(m,n)，m[0，120]，n[0，30]：(2-7)图2-16是归一化后的车牌照区域：图2-15归一化前的车牌照区域Figure2-15vehicleplateareabeforetranslating图2-16归一后的车牌照区域Figure2-16vehicleplateareaaftertranslating图像特征提取为了进一步判断车牌区域，确定车牌照的精确位置，需要对车牌照候选区域提取特征。常见的车牌照特征有纹理特征，水平穿越特征，竖直投影特征[55]，本文采用提取候选区域的水平穿越和垂直投影两种特征进行识别。水平穿越特征是指从候选区域竖直一侧边界的某点出发，假设有一条水平直线穿过该点并穿越整个候选区域的连通域，计算这条直线所穿越的连通区域的边界个数作为该点的水平穿越特征。垂直投影特征是指从候选区的水平一侧边界的某点出发，假设有一条垂直的直线穿过该点并穿越整个候选区域，计算这条直线上二值化后的图像白色点的个数作为该点的垂直投影特征。典型的车牌候选区如图2-17所示：图2-17典型的车牌区域Figure2-17vehicleplatearea其二值化后图像向水平方向投影具有明显的波峰波谷特征，另外字符在水平，垂直方向的穿越特征也区别于一般背景图像，因此采用这两种特征是合适的。最后本文确定采用提取二值化后的车牌图像的水平穿越，和垂直方向上的投影作为特征。本文对归一化的车牌侯选区区域进行特征提取,归一化后的图像大小为120*30，因此得到的特征数=水平穿越特征30+垂直投影特征120=150维。特征的维数过多影响了计算速度，并且加重了神经网络的训练量。因此我们采用K-L变换来降低特征的维数。我们以归一化后的标准图像作为训练样本集，以该样本集的总体散度矩阵作为产生矩阵，即=(2-8)其中：为第i个训练样本的图像向量，u为训练样本集的平均向量。，M为训练样本总数，矩阵R=R的特征值为及相应的正交归一特征向量为，的正交归一向量其中i=0，1，2,…,M-1(2-9)把特征值从大到小排序：其对应的特征向量是。选取最大的前k个特征向量，使得：=99%(2-10)这样特征f经过变换压缩到k维.，最后确定采用k=64维特征。基于BP人工神经网络的分类器设计通过分类器我们利用提取的特征将车牌照区域确定下来，分类器设计的好坏直接影响到车辆牌照识别的速度和准确性。由于BP神经网络有很好的分类性能，所以本文采用了BP神经网络作为分类器。人工神经网络简介“人工神经网络”(ARTIFICIALNEURALNETWORK，简称ANN)是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。神经元是构成人工神经网络的最基本单位，人工神经元的基本构成如下图2-17所示。人工神经元所具有的一阶特性：输入：连接权：网络输入：(2-11)向量形式：(2-12)激活函数：执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：(2-13)图2-18人工神经元Figure2-18nervecell人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。基于BP神经网络的分类器设计BP（Backpropagation）神经网络又称为多层前馈神经网络。为n层前馈神经网络的拓扑结构，这种神经网络模型的特点是：各层神经元仅与相邻层神经元之间有连接；各层内神经元之间无任何连接；各层神经元之间无反馈连接，网络拓扑结构如图2-19所示。其网络构成为：神经元网络输入式：(2-14)神经元网络输出式：(2-15)(2-16)神经元网络输出函数分析：应该将net的值尽量控制在收敛比较快的范围内；可以用其他函数作为激活函数，只要该函数处处可导。如图2-19所示：a)输出函数b)输出导数函数图2-19输出函数Figure2-19outputfunction本文BP神经网络设计为包含一层隐藏层，输入节点为64，输出节点为2，隐藏层节点为128。输入的特征为64维是通过对得到的图像中的特征区域提取特征后，再根据K-L变换对特征进行降维得到的。输出的两个节点分别表示特征区域是车牌区域或者不是车牌区域。训练神经网络的样本采用归一化后的500幅车牌图像候选区样本和1000幅非车牌图像的候选区样本。网络的训练过程：首先用小随机数初始化权值。向前传播阶段：从样本集中区一个样本，这两个值分别表示输入向量和理想输出向量，将输入网络；计算相应的实际输出为式(2-17)：(2-17)向后传播阶段——误差传播阶段：计算实际输出也相应理想输出的差；按极小化误差的方式调整权矩阵；网络关于第p个样本的误差测度为式(2-18)：(2-18)网络关于整个样本集的误差测度为式(2-19)：(2-19)图2-20网络拓扑结构Figure2-20networktopology实验及结果分析实验选取了含有车牌照图像1500幅，不含车牌照的图像1500幅对本章提出的车牌定位方法进行测试。车牌定位结果如图2-21所示。实验结果见表2-1。表2-1静态图片测试车牌定位模块Table2-1staticimagetestingplatelocatingpart定位准确率车牌错检率车牌检测率平均处理速度（秒/幅）静态图片测试车牌定位模块98%1%91%0.032其中，定位准确率表示车牌识别模块在确定含有车牌照图像的图像中准确定位的比例。车牌错检率表示车牌识别模块将未含有车牌图像误识别成含有车牌图像的比例。车牌检测率代表车牌识别模块检测出含有车牌图像与实际含有车牌图像的比例。静态图片实验中定位准确率98%，车牌检测率91%，得到了很好的车牌定位效果，证明本文提出的车牌照定位算法的优越性，在多种条件下均能能够取得良好的定位效果。但其中也存在一些漏识和错识的现象，错误的主要原因是由于部分车辆牌照本身有瑕疵，制作不规范，牌照两边有弯折，或者表面上有污迹，遮掩了车牌照字符，这些牌照的污损部分影响了连通域的计算，直接影响了车牌照粗分类的结果，导致错误或者漏识；还存在着由于光照过强，车牌照表面反光，或者由于光线过暗，车牌字符模糊，摄像机位置抖动，图像不清晰，这些都会影响二值化或者连通域的计算效果，对车牌定位有着很大的影响。实验中对静态图像的平均处理速度达到了0.032秒/幅，证明了本文提出的定位方法完全可以满足实时系统对识别速度的要求。图2-21车牌定位结果Figure2-21resultofvehicleplatelocating本章小结本章对应用在实时车辆牌照系统中的车辆牌照检测和定位方法每个步骤进行了阐述，一共分为图像预处理，图像二值化，基于连通域搜索的粗定位，特征提取，基于BP神经网络的分类器几个部分。本章提出的车辆牌照检测和定位方法很好的解决了实时系统的速度问题，并有较高的准确率，为下面的字符分割和字符识别打下了良好的基础。下一章介绍车辆牌照的字符切分方法。面向车辆牌照的字符切分车辆牌照的字符切分是把经过定位后的车牌区域切分成若干个子区域，每一个子区域包含一个字符。本文采用了面向车牌的基于HIS彩色模型的二值化法将车牌图像二值化，并提出一种垂直投影法和连通域法相结合的切分方法进行字符切分。基于彩色HSI模型面向车牌的二值化由于车牌照颜色种类比较特殊，车牌区域的颜色种类比较少，而且是固定的几种颜色组合，所以很适合用彩色模型进行二值化，可以充分利用图像的色彩信息，并且由于车牌区域象素点相对较少，所以计算量也不是很大。HSI彩色模型颜色是外界光刺激作用于人的视觉器官而产生的主观感觉。颜色分两大类：非彩色和彩色。非彩色是指黑色,白色和介于这两者之间深浅不同的灰色，也称为无色系列。彩色是指除了非彩色以外的各种颜色。颜色有三个基本属性，分别是色调，饱和度和亮度。HSI色彩空间是从人的视觉系统出发，用色调（Hue）、色饱和度（Saturation）和亮度（Intensity）来描述色彩。HSI色彩空间可以用一个圆锥空间模型来描述。这个模型的建立基于两个重要的事实：I分量与图像的彩色信息无关；H和S分量与人感受颜色的方式是紧密相联的。这些特点使得HSI模型非常适合借助人的视觉系统来感知彩色特性的图像处理算法。通常把色调H分量和饱和度S分量通称为色度，用来表示颜色的类别与深浅程度。用H和S分量判断颜色由于不受亮度信息干扰，判断颜色更加准确。并且由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于色彩处理和识别，人的视觉系统经常采用HSI色彩空间，它比RGB色彩空间更符合人的视觉特性。在图像处理和计算机视觉中大量算法都可在HSI色彩空间中方便地使用，它们可以分开处理而且是相互独立的。因此，在HSI色彩空间可以大大简化图像分析和处理的工作量。本章根据车牌颜色的不同采取不同的二值化策略，采用HSI模型判断车牌颜色避免了亮度信息干扰，较RGB和其他颜色模型判断更为准确，并可以简化处理算法。图3-1HSI颜色模型Figure3-1colormodelofHSIHSI色彩空间和RGB色彩空间只是同一物理量的不同表示法，因而它们之间存在着转换关系，如式（3-1），（3-2），（3-3），（3-4）[56]所示：面向车牌的彩色二值化用HSI彩色模型进行图像二值化较基于灰度图像的二值化由于原始图像中信息的损失量较少，所以二值化的结果较好。我们国家的车辆牌照根据颜色种类的不同大概分为蓝底白字、黄底黑字、黑底白字和白底黑字几种，可以通过统计牌照区域的颜色象素点数量来判断车牌照的种类，根据不同种类的车辆牌照来采取不同的二值化策略，采用这样的二值化方法更有针对性，更加符合车牌照本身的颜色特点。为了用HSI颜色模型表示彩色图像，首先要将RGB彩色图像转换成HSI模型表示的图像矩阵，再根据每一个象素点的H，S，I分量来判断象素点所属的颜色。由于I分量与图像的彩色信息无关，I分量只用来判断象素点是否为黑色或者是白色，当I>225为白色，I<30为黑色。本文利用计算象素点的S分量在蓝色和黄色分量上的投影大小来判断该象素点的颜色。分别计算该点的色调值与蓝色的色调值和黄色的色调值之间的夹角和，见图3-2，然后用夹角的余弦乘以饱和度得到两个值，和，用得到的值分别与事先选择的阈值和进行比较；如果大于其中一个阈值则确定其为相应的颜色，如果大于两个阈值则选择与阈值差值最大的颜色为该点的颜色，如果不大于则根据其亮度分量将其确定为黑色或白色，当I>120标记为白色，否则标记为黑色。图3-2二值化示意图Figure3-2graphofbinarytranslating当所有象素点全都标记一遍之后统计标记为黄色象素点和蓝色象素点占全部象素点的百分比，如果超过预先设定的阈值的话，就认为该车牌是黄黑或者是蓝白车牌，本文中阈值设定为25%。当车牌的种类确定之后，根据车牌种类的不同，采用不同的二值化阈值，图像中每一个象素点按照H和S分量的不同，标记为黑点或者是白点。具体算法如下：输入：车辆牌照区域RGB矩阵；输出：二值化后的图像矩阵；算法：根据公式（3-1）（3-2）（3-3）（3-4），将输入RGB图像矩阵转换成HSI图像矩阵；统计图像矩阵每一点颜色：根据亮度分量I判断其是否为黑色或者白色，I>225为白色，I<30为黑色；若该点不是黑色和白色，则分别计算该点的，和和将MB，MY和阈值，进行比较；如果大于其中一个阈值则确定其为相应的颜色，如果大于两个阈值则选择与阈值差值最大的颜色为该点的颜色，如果均不大于则根据其亮度分量I将其标记为黑色或白色。根据上一步所标注的每一点颜色进行统计，如果蓝色或者黄色象素点数目占整个图像的数目的25%以上，我们认为该车牌图像为蓝底白字或者是黄底黑字。否则的话我们认为该车牌图像为黑底白字，或者是白底黑字；如果图像为黑底白字，或者是白底黑字，那么遍历图像上每一点，如果I>120该点为1，否则该点为0。如果图像为蓝底白字，如果30<H<70并且S>0.2，该点为1，否则该点为0；如果图像为黄底黑字，如果170<H<250并且S>0.2，该点为1，否则该点为0；算法结束。图3-3和3-4就是车牌照区域的二值化结果。图3-3彩色车牌图像Figure3-3colorimageofvehicleplate图3-4二值车牌图像Figure3-4binaryimageofvehicleplate常用的车牌字符切分算法常用的车牌识别的字符切分算法主要有垂直投影法[38]和连通域法[36]两种。垂直投影法：投影法利用了字符块在垂直方向上的投影必然在正确的分割位置上（即字符或者字符内的间隙处）取得了局部最小值，且这个位置要满足车牌照字符规则和字符尺寸限制。对车牌照区域作垂直方向上投影，在水平方向上从左至右检测各坐标的垂直投影数值，当找到第一个局部最小点的时候，认为这个点是最左面字符的边界。在水平方向上从右至左检测坐标的垂直投影数值，当找到第一个局部最小点的时候，认为这个点是最右面字符的边界。得到两边字符的边界之后，用同样方法可以找到每个字符的边界。如果单纯采用投影法的话会造成字符的切分过度，将一个字符的两个部分切分开来。我们可以利用一些先验知识来做进一步的处理，通过最左和最右面两个字符的边界我们可以估算出整个车牌区域的宽度，标准车辆牌照由7个字符组成，大约为8个字符宽，我们可以利用这些先验知识估计出每个字符的大概宽度，然后把切分过度的字符进行合并，这样可以取得较好的切分效果。连通域法：采用基于连通域的切分方法是利用了每一个字符或者字符的一部分构成了一个连通域，把这些连通域切分出来，也就切分出单个字符了。但是考虑到车牌上的字一般除了一个汉字外,其它的都是字母或数字,即在理想状态下是“全”连通的,我们才使用了连通域的方法来对字进行分割。对第一个字可以利用位置,大小等信息进行连通域的合并。但在实际情况中,很多车牌的噪声非常大,极端的情况是连人眼都分辨不出来,单凭连通域很难取得让人满意的结果。于是在其基础上加上了很多改进方法，例如二值化方法的改进，由于车牌是固定的几种颜色的组合，利用彩色二值化更有目的性和针对性。也可以考虑利用车牌本身的先验知识对连通域进行合并或者切分。另外对字符粘连所产生的大的连通域可以考虑重新选取阈值再进行切分。采用了这些方法也能取得较好的切分效果。垂直投影法与连通域法相结合的切分方法由于垂直投影法对车牌照字符的切分容易产生过度切分，容易将一个字符切分成两个，而连通域法由于受到二值化算法的限制，容易产生字符粘连，产生大的连通域，几个字符连在一起，综上所述，将两种方法相结合，克服了互相的缺点就会产生很好的效果。本文提出一种新的面向车牌的切分方法，首先将图像二值化，然后计算垂直方向上的投影，利用投影法确定最左和最右字符的位置，估算整个车牌的宽度，从而得到单个字符的宽度，然后计算车牌区域的连通域，将最左和最右字符位置之间的连通域提取出来，最后根据估算的字符大小把较大的连通域进行再分割就得到了最后的切分结果。切分算法垂直投影法对车牌照字符的切分由于某些噪声点的干扰，或者由于某些字体的断裂容易产生过度切分，将一个整体的字符切分成两部分；而连通域法由于受到二值化算法的限制，经常产生字符粘连，几个字符的连通域连在一起产生大的连通域，因此本文提出一种新的切分方法将垂直投影法和连通域法相结合有效的克服了过度切分和字符粘连的现象。算法首先将图像二值化，计算水平方向和垂直方向上的像素投影，利用投影法确定车牌字符最上和最下点坐标以及最左和最右字符的位置，估算出整个车牌的高度和宽度，从而得到单个字符的高度和宽度，然后计算车牌区域的连通域，将最左和最右字符位置之间的连通域提取出来，最后根据估算的字符大小把较大的连通域再进行分割就得到了最后的切分结果，算法整个过程见图3-4。具体算法如下：输入：图像二值化矩阵；输出：字符切分矩形位置坐标。算法：计算每一行的所有象素点值为0的个数，即水平投影；从上至下寻找水平投影的第一个局部最小点作为图像的上界；从下至上寻找水平投影的第一个局部最小点作为图像的下界；计算每一列在上下界之间所有象素点值为0的个数，即垂直投影；从左至右寻找第一个局部最小点作为切分图像的左边界；从左至右寻找第一个局部最小点作为切分图像的右边界；整个切分区域宽度Width=右边界横坐标-左边界横坐标；整个切分区域高度Height=上界坐标-下界坐标；单个字符宽度w=切分区域宽度/8；图3-5字符切分算法流程图Figure3-5flowchartofcharactersegment计算上下边界和左右边界之间的8连通域；判断每一个连通域的宽度是否大于1.2*w：否：转到10；是：转到9；计算每一个连通域宽度大于1.2*w的连通域的垂直投影的最小值点，用最小值点将连通域分成两部分；转到8；输出所有的切分区域坐标；算法结束。本文提出的面向车牌区域的字符切分算法有效的克服了过度切分和字符粘连的现象，但是由于光照强度和天气情况等多种因素的干扰，有些情况下难以得到令人满意的二值化效果和字符切分结果，在这种条件下可以采用回溯的方法：将字符识别的结果返回字符切分部分来验证字符切分结果的是否正确，如果不正确可以考虑重新二值化，合并过度切分的字符部分或者继续切分粘连的字符。图3-6和3-7就是车牌切分的结果。图3-6字符切分之前的车牌照Figure3-5plateimagebeforecharactersegment图3-7字符切分结果Figure3-6resultofcharactersegment实验及结果分析实验选取了静态车牌图像1000幅，对本章提出的车牌字符切分算法进行实验。实验结果见表3-1表3-1静态图片测试车牌字符切分模块Table3-1staticimagetestingplatecharactersegment正确切分率字符粘连率过度切分率静态图片测试车牌字符切分98.9%0.2%9%其中正确切分率表示字符被正确切分的车牌占全部测试车牌的比例；字符粘连率表示字符切分时存在字符粘连，多个字符切分成一个字符的车牌占全部测试车牌的比例；过度切分率表示将一个完整字符切分成多个字符的车牌占全部车牌的比例。静态图片实验中正确切分率98.5%，错误切分的车牌只有1.5%,得到了很好的车牌切分效果，证明本文提出的车牌照切分算法的优越性，在多种条件下均能能够取得良好的定位效果。但是其中也存在着一定的错误，其中字符粘连的车牌有两幅，错误的主要原因是车牌本身受到污损，车牌表面有污迹，影响了切分效果。还存在9幅字符过度切分的车牌图像，其主要原因是部分车牌拍摄效果较差，多个字符和外框联在一起，造成了切分错误。这些误识车牌的存在证明了本文的切分算法的抗干扰性有待于进一步的加强。本章小结本章主要论述了车牌照字符切分方法。目前常见的切分方法有基于连通域的分割算法，基于垂直投影的切分算法还有基于规则的切分算法等等。本文提出了一种结合投影和连通域的新的切分方法，有效的克服了过度切分和字符粘连的现象。字符切分的结果将被字符识别器识别为中英文，数字字符并输出，本文在下一章里主要论述字符识别部分。车牌照字符识别字符识别是车牌照识别系统的最后一个组成部分，这一部分需要对图像采集，图像处理，车牌照定位，字符切分所得到的结果进行识别处理，最终得到车辆牌照的字符。车辆牌照的字符识别方法与普通OCR字符识别有很多相似之处，通常是直接利用或者借鉴OCR字符识别的方法，并且能取得很好的识别效果。车辆字符识别方法概述车辆牌照字符识别属于模式识别领域的一个分支，采用的是模式识别的经典理论和方法。通常的模式识别过程可以概述为：从测量空间映射到特征空间，再映射到模式空间。对于一般