汽车牌照识别系统

PAGE中文摘要随着城市交通管理现代化水平的提高，建立在车辆牌照识别基础上的交通信号自适应控制系统、智能交通监控系统、GPS车辆管理及导航系统、智能化交通管理系统应运而生。由于汽车牌照是机动车辆管理的主要标志符号之一，因此对车辆牌照识别系统的研究就尤为重要，该研究的核心是提高车牌识别准确性，这就需要识别算法能够对环境光照条件，拍摄位置和车辆行驶速度等因素的影响有较大的鲁棒性，并能够满足实时性的要求。本文设计的主要内容包括：运用MATLAB仿真软件对后台图像进行高速，准确的处理。主要工作是利用BP神经网络算法对牌照的字符识别进行了研究。在牌照的定位之前，本文首先运用不同于当下传统的方法，而是结合当前比较热门的BP神经网络来对图像进行预处理，得到了比较突出的牌照信息。然后结合牌照自身的一些固有特征，用形态学的方法进行了车牌区域的准确定位；对定位得到的车牌，再次结合牌照内部细节特征，对车牌进行投影，从而得到了车牌较为完整的分割;最后在车牌字符识别阶段，以现今比较流行的神经网络为理论基础，在原有的神经网络算法基础上进行有效改进。仿真结果表明本算法在车牌识别中具有明显的优势。本文研究内容的创新性体现在以下三个方面：(1)车牌定位阶段，采用一个改进的自适应PCNN神经网络对图像进行预处理可以得到一个细节丰富，边缘完整的二值图像，随后基于牌照固有特征，结合一种新的形态学方法，可以得到多个车牌候选区域：(2)车牌字符分割阶段，为了满足算法实时性的要求，对畸变车牌进行预处理时，采用字符的行特征来描述本文的倾斜校正算法，之后，基于改进的投影特征图对字符图像分割；(3)字符识别阶段，为了提高算法的准确性，采用改进的BP神经网络。关键词：数字图像处理车牌识别字符识别神经网络

AnArithmeticResearchBasedOnNeuralNetworkforCarLicensePlateRecognitionAbstractWiththerapiddevelopmentofdomestictrafficmanagement,thesesystemsthatarebasedonthelicenseplaterecognitionappearedattherightmoment,suchasthetrafficsignalautomationmanagementsystem,intelligenttrafficmonitorsystem,GPS,automationparkingtollsystem,andintelligencetrafficsystem,.Becauselicenseplateisaimportantpartofvehiclemanagementsystem,sotheresearchoflicenseplatesystemisparticularlyimportant.Thecoreofarithmeticoflicenseplatesystemishowtoimprovetherecognition,soitrequiresrecognitionalgorithmhasgreatrobustnessfortheimpactoflightconditionsoftheenvironmentandtakenthepositionandvehiclespeeditalsocansatisfythetimelyrequirement.Inthispaper,myworkisfocusedontheimageprocessingbasedonMATLABemulator.Threeproblemswereanalyzed,whicharelicenselocating,segmentationandcharacterrecognition.Beforelicenselocating,artificialneuralnetwork(ANN)isadoptedtohandletheimage,thentheinformationoflicenseplateisobtainedinevidence.Tolocatethelicenseplate,theinherentfeaturesoflicenseplatebeingused,andthenusemathematicalmorphologytolocatethelicenseplateaccurately;Accordingtotheinsidefeaturesoflocatinglicenseplate,theplate-areaispopoutbyprojectthelicenseplate;Thelaststepischaractersrecognition,ANNisthekeytoolinrecognition.Animprovedneuralnetworkisdesignedtosegmentthecharacters.Thewholelicenseplaterecognitionisachievedthroughthosesteps.Theresultofemulatorprovesthatmyarithmeticwouldbeabletoimprovetherateofrecognition,effectively.Myworkhasthreeinnovations.Firstly,AnimprovedandautomaticPCNNneuralnetworkisusedtodisposetheimage,andAbinaryimageisgained,whichhasanabundantdetails,intactedges,thenTgetlotsofcandidateareasoflicenseplate,basedontheinsidefeaturesoflicenseplateandanewmathematicsmorphology.Secondly,whenthechangeimageishandled,anarithmeticbasedonthelinefeaturesofcharactersisused,andthensegmenttheimageofcharactersbasedonimprovedprojectfeatures.Thirdly,IimproveonBPneuralnetworktoimprovetherateofrecognition.KEYWORDS:DigitalImageProcessingLicensePlateRecognitionCharacterRecognitionNeuralNetwork.目录TOC\o"1-2"\f第一章绪论 11.1选题的背景和意义 11.2车牌识别的技术研究 21.3本文研究的内容 5第二章车牌预处理及定位与分割算法研究 72.1图像预处理 72.2车牌定位算法介绍 11第三章汽车牌照字符分割方法研究 123.1车牌字符的一般特征分析 123.2字符分割方法研究 123.3基于垂直投影和优割字符分割方法 143.4实验结果及分析 18第四章汽车牌照字符分割 204.1车牌图像倾斜的纠正 204.2基于投影图的字符图像的分割 244.3字符的归一化 27第五章汽车牌照的字符识别 305.1车牌字符特征提取 305.2基于BP神经网络的字符识别 315.3本文的BP网络结构 42总结 43参考文献 44附录 46致谢 47-PAGE47-第一章绪论20世纪90年代以来，伴随着我国经济的快速腾飞，国民经济的高速发展，机动车辆规模及数量大幅度增加，与此同时，公路上违章违规的车辆也屡见不鲜，由此造成的交通事故、环境污染屡见不鲜，鉴于此，城市交通管理现代化水平的提高势在必行，迫切需要采用高科技手段来实时监控和检测路上行驶的车辆，以加强交通管理水平。针对这种情况，管理部门已经着手进行诸如交通信号自适应控制系统、智能交通监控系统、GPS车辆管理及导航系统、停车场自动收费系统、汽车牌照自动识别等智能化交通管理系统的研制。由于汽车牌照是机动车辆管理的主要标志符号之一，因此车辆牌照识别系统的研究就显得愈加重要。该系统的应用要求对车牌正确识别具有较高的识别率。这就需要该系统能够对环境光照条件，拍摄位置和车辆行驶速度等因素的影响有较大的鲁棒性，并能够满足实时性的要求。1.1选题的背景和意义鉴于交通管理的现状，智能交通系统(IntelligentTransportationSystems，ITSs)的研究正在如火如荼的开展，目前的研究表明：ITSs可以帮助提高交通管理的机动性和交通安全，通过使用这些先进的技术，也提高了交通管理的效率。ITSS由16种基础技术知识系统构成[l]，这些系统又被分为：智能基础设施系统和智能车辆系统。LPR技术隶属于于智能交通系统，也是车辆自动识别技术(automaticvehicleidentification，AVL)的重要组成部分，它在现代交通监管及管理中发挥着越来越大的作用。LPR被认为是智能基础设施系统的核心构成，例如电子收费系统(收费站，负费停车场)，高速公路，和交通监管上的人工管理系统。此外，由于日益增长的安全需求，使得车辆识别技术变得极为重要，为了监控身份未知的车辆进入一些隐私领域，上述提到的系统也可被用于车辆进出控制系统。LPR的任务是处理、分析摄取的汽车图像，用以自动识别汽车牌号。在不影响汽车状态的情况下，大部分LPR系统的工作由计算机自动完成，从而可降低工作复杂度。已有的LPR技术或多或少都还存在某些缺陷，尤其是在实时性和识别率方面不够成熟。本文的研究是希望通过算法深入探讨，建立基于算法的实际系统，在固定的交通路口或收费站口，配合已安装的视频监视系统，在接收视频的后台实时的对前方或后方运行的汽车进行车辆牌照检查。当发现违章车辆闯关或排放大量污物、灰尘时，通过采集该汽车的静态视频图片，并将其资料纳入后台处理，实现实时的车辆信息管理，从而既达到了省时、省力的效果，提高了交通管理的现代化、智能化水平，又减轻交通管理、环境监护部门的压力。因此，本课题的研究对于提高城市交通管理水平，维护城市环境清洁，加快交通管理，环境保护现代化步伐具有很重要的实际使用价值。1.2车牌识别的技术研究一个LPR系统通常包括前端视频采集设备，照明设备，基于DSP的硬件图像处理平台，终端计算机系统，识别软件，后台数据LPR系统中，外围摄像系统把采集到的视频信息，经由一个高速的网络传输系统，把图像交由后台的视频图像处理平台进行处理，处理的结果根据实际需要与终端平台，数据库，或其它输入输出外设进行互连。在整个系统中，核心的部分是基于软件算法实现的图像处理模块。硬件参考图如图1-1：图1-1汽车牌照识别系统硬件构成根据图1-1，车牌自动识别的算法主要分成三个步骤:车牌定位、字符分割、字符识别。目前这三方面的研究情况大致如下：1.2.1车牌定位技术在对实际车牌区域定位之前，需要进行相应的预处理。这些预处理包括边缘检测、二值化、灰度均衡化和对比度处理等等。预处理的效果对随后的定位处理有很大的影响，因此选择可靠的预处理算法也是非常重要的。为了快速、准确、可靠地定位出车牌位置，学者们提出了许多定位算法，大部分定位算法是基于车牌所具有的特征来进行的。目前所利用的车牌特征主要分为空域特征和变换域特征两大类其中空域特征主要有：（1）车牌区域内的边缘灰度直方图统计特征，车牌区域内的边缘灰度直方图具有两个明显且分离的分布中心，可以较好地提取边缘。（2）车牌区域的灰度分布特征，穿过车牌的水平直线其灰度呈现连续的峰、谷、峰的分布，具有纹理特征。（3）车牌区域水平或垂直投影特征，车牌区域水平或垂直灰度投影呈现连续的峰、谷、峰的分布。（4）车牌的颜色特征，即车牌字符和背景为几种固定的颜色组合。（5）车牌的几何特征，即车牌的高、宽以及高宽比，应在一定的范围内。（6）车牌形状特征，字符排列格式特征。车牌有矩形边框，字符位于矩形框中，且有间隔，并且每个字符的高宽和字符间的间隔满足一定的条件。目前车牌变换域特征被利用的较少，主要是频谱特征，即对图像做行或列的DFT变换，其频谱图中包含了车牌的位置信息。车牌定位方法涉及到的具体方法有：区域生长法，构造灰度模型法，二值图像的数学形态学运算法，灰度图像的数学形态学运算法，自适应边界搜索法，DFT变换法，模糊聚类法等。1.2.2字符分割技术车辆牌照字符分割是指将车牌区域分割成单个的字符区域，以便后续字符识别算法对单个字符进行处理，其难点是对粘连、断裂字符的分割。字符分割常采用垂直投影法[2]实现。由于字符块在竖直方向上的投影，必然在字符间或字符内的间隙处取得局部最小值，因此字符的正确分割位置应该在上述局部最小值附近，并且这个位置应满足车牌字符的书写格式、字符尺寸限制和其它一些条件。在理论上，利用垂直投影法对断裂字符进行分割应具有较好效果；但是对于字符区域连接紧密的字符的分割利用投影法可能效果比较差，可以利用模板的方法或者回溯的方法来进行处理。1.2.3字符识别技术目前用于车牌字符识别中的算法主要有基于模板匹配的方法、基于特征匹配的方法以及基于人工神经网络的方法。（1）基于模板匹配的字符识别的基本过程是：首先对待识别字符进行二值化并将其尺寸大小归一化为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳匹配作为结果。但是字符大小、方向、字体的变化以及噪声都将严重地影响模板匹配的正确率。在实际应用中，为提高正确率，往往必须使用多个模板进行匹配，而处理时间则随着模板个数的增加而增加。基于关键点的模板匹配算法对传统的模板匹配算法做出改进，此算法先对待识别字符进行关键点提取，即对字符进行拓扑分析以得到边符边缘的关键点，然后对关键点去噪，最后再确定字符的分类。使用关键点进行模板匹配有效地减少了模板中象素点的个数，只利用字符的关键点进行模板匹配，既提高了识别速度，又具有较高的识别率。（2）基于特征匹配的字符识别方法是:提取字符的相关特征，然后利用这些特征来进行字符匹配，选择最接近匹配结果。基于特征匹配的算法效率比模板匹配算法效果更好，但是特征的正确提取比较困难。（3）近年来，人工神经网络以其抗噪声、容错、自适应、自学习能力强，融合预处理和识别于一体，识别速度快等特点受到人们重视，在字符识别技术中得到了广泛应用。在许多系统中，其字符识别均采用了人工神经网络方法。用人工神经网络进行字符识别主要有两种方法：一种方法是先对待识别字符进行特征提取，然后用所获得的特征来训练神经网络分类器。这种网络的识别效果与字符特征的提取有关，而字符特征的提取比较困难。另一种方法则充分利用神经网络的特点，不进行特征提取，直接把待处理图像输入网络，由网络自动实现特征提取直至识别，这种网络信息处理量很大，但是随着DSP和计算机硬件性能/价格比的提高，其性能将会进一步得到改善。我国车牌识别系统技术相对他国的车牌识别系统来讲，其需求和难度更大[3]，原因是：1.我国车牌的字符种类较多。我国汽车牌照的构成除了常规的英文字母和数字外，还有汉字，而汉字的识别和字母与数字的识别有很大的不同，从而增加了识别的难度。2.我国汽车牌照的类型众多。对应于不同用途和车型的车辆，我国规定了军车，警车，摩托车，农用运输车，货车，普通车等牌照格式。3.我国车牌本身的种类较多。对应于不同类型的牌照，我国汽车牌照的底色有蓝、黄、黑、白等多种颜色，字符颜色有黑、红、白等。4.牌照的质量无法得到保证。由于我国交通管理相对不太严格，经常会出现牌照被污损，字符模糊不清的车辆上路，这样的车牌对光线的散射性不好，会影响识别的准确率。现阶段，国外对汽车牌照识别的研究，较为著名的有以色列HI-TECH公司的SEE/CARSYSTEM系列，新加坡OPTASIA公司的VLPRS系列都是比较成熟的产品。但是其中的VLPRS产品主要适合新加坡的车牌，而HI-TECH公司的SEE/CARSYSTEM有多种变形的产品来分别适应某一个国家的车牌，其中包括对我们中国大陆的车牌进行识别，但是这些产品都存在着一定的缺陷，特别是这些产品都不能很好的支持我们内地车牌中的汉字。另外日本，加拿大、德国、意大利、英国等各个西方发达国家都有适合本国车牌的识别系统。国内在上个世纪90年代开始了车牌识别的研究。目前比较成熟的产品有中科院自动化研究所汉王公司的“汉王眼”，它采用CMOS摄像头+DSP+MPU组成一个高速运行的硬件平台，C帕S摄像头直接输出数字信号，可方便地与DSP连接；用DSP+MPU代替工控机，可充分利用DSP在图像处理方面的速度优势和单片机工作可靠的优点，使图像处理成为一个完整的系统。“汉王眼”的核心技术是光学字符识别(OCR)，这项技术可以对摄像机、扫描仪等设备采集的图像数据进行自动处理，识别图像中的文字符号，并存入计算机智能交通管理系统用于交通管理。同时，各大高校如西安交通大学的图像处理和识别研究室、上海交通大学的计算机科学和工程系、清华大学人工智能国家重点实验室、浙江大学的自动化系等也做过类似的相关研究。目前的国外科研机构正试图通过揭示人的文字识别的机制，进而希望建立在这个基础上来进行文字识别理论的研究和技术的开发。目前离线的文字字符识别产品已大量问世，有代表性的国内外系统和研究小组有：美国的Expervision的PTK(RecognitionCoolKits)和纽约州立大学Bufalo分校的Cedar研究中心，加拿大Conordia大学的Cenparmi实验室，日本东芝的Textreader。同时，构成字符的识别理论中的一个重要分支是对我们汉字识别的研究，1996年美国IBM公司的Casey和Nagy发表了一篇关于用模本匹配法识别1000个印刷体汉字的汉字识别文章拉开了对汉字识别研究的帷幕，之后，我国、日本和加拿大分别掀起了研究汉字识别的浪潮。1.3本文研究的内容由于神经网络具有较强的自组织学习能力、容错性、鲁棒性及非线性处理等优点，所以本文选择了神经网络技术作为研究的主要方法，在此基础上，详细研究了车牌识别算法的实现方法，主要包括车辆牌照的分割与提取和车牌字符的识别。其中车牌字符的识别又包括了字符的分割与提取和字符识别两部分。本文车牌识别的步骤为:图像预处理、车牌定位、字符分割、BP网络训练、字符识别等几个部分。其主要安排如下：1.第二章首先介绍车牌预处理及定位与分割的基础知识，包括图像预处理的知识、车牌定位算法、Radon倾斜矫正知识等。2.第三章介绍汽车牌照字符分割方法。通过研究几种传统的车牌定位方法及相应的算法，最后提出本系统采用的方法：基于一个改进的自适应PCNN神经网络来进行边缘检测，随后结合数学形态学的操作来进行车牌定位。3.第四章介绍对车牌进行定位分割和字符归一化的方法。首先介绍并比较几种典型的校正车牌的方法并分析其不足之处，然后提出本系统采用的一种改进后的倾斜校正车牌方法。之后用投影特征图得到分割后的字符，为了方便下步的处理，本文随后采用了字符归一化的技术。4.第五章介绍字符识别算法。考虑到传统的串行，无学习功能的机械式计算方法的缺陷，本文采用了具有大规模并行处理和分布式信息存储，良好的自适应，自学习能力的改进即人工神经网络，使得该法成为本文进行字符识别所使用的主要方法。5.最后，对本文的工作进行总结，并指出不足和需要进一步改进的地方。

第二章车牌预处理及定位与分割算法研究2.1图像预处理采集的车牌图像在进行定位、分割、识别之前需要对原图像预处理，这是因为一些诸如车牌本身问题及拍摄环境条件等因素的影响，导致图片模糊，无法直接进行车牌的定位及后续的处理工作。因此在进行车牌定位之前，都会对采集的原图像进行必要的预处理，比如图像格式转换、平滑去噪处理、几何变换等。通过图像的预处理，可以使车牌的主要特征更加突出，便于更好的提取车牌。2.1.1灰度化通过摄像头采集的车牌原始图像都是彩色图像。彩色图像包含大量的颜色信息，它的每个像素都包含三个不同的颜色分量R、G、B，占用的存储空间比较大，对其进行处理时会降低系统的执行速度。灰度图只含亮度信息不含颜色信息，其中亮度值量化为256。灰度图进行算法处理相对简单，处理灰度图像的速度会比处理彩色空间的图像快很多，因此常常将彩色图像进行灰度处理后再做下一步的算法分析。常规的灰度化转换方法为：首先将原始图像从RGB空间转化YCbCr空间，Y分量包含亮度信息，Cb分量包含色度信息，Cr分量包含饱和度信息，然后仅提取Y分量即生成灰度图。进行灰度转换时使用如公式(2-1)：Y=0.299R+0.58G+0.114B(2-1)灰度化效果如图2-1所示。（a）原图（b）灰度化处理后图2-1灰度化处理前后对比2.1.2二值化彩色图片转换成灰度图片后，灰度值是介于0到255之间的数值，为了方便识别，还会对灰度图进行二值化，大于阈值以上的值取1，小于阈值的值取0，阈值的选择是车牌图像二值化的关键步骤，通常有全局阈值和局部阈值。全局阈值的二值化算法是指在整幅图像中使用一个统一的阈值对灰度图像进行二值化，当图像背景比较单一时，采用全局阈值进行图像处理一般可得到比较满意的结果，并且算法较简单易于实现。局部阈值的二值化算法是指在整幅图像中使用多个阈值对灰度图像进行二值化，主要针对照明不均匀、背景灰度变化较大的图像，根据像素的坐标位置关系自动确定不同阈值，由像素的灰度值和该像素点周围的像素局部特性来确定像素的阈值进行二值化。二值化效果如图2-2所示图2-2二值化处理2.1.3均值滤波滤波是一种对图像进行增强的算法，通过对图像进行滤波处理可以实现图像的光滑、锐化。均值滤波是一种非线性的图形滤波器，它的原理是基于排序统计理论的一种能有效抑制噪声的信号处理技术，就是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的中间值，从而消除孤立的噪声点。图2-3显示了对加入了椒盐噪声的图片进行均值滤波后的效果。（a）均值滤波前（b）均值滤波后图2-3均值滤波前后对比2.1.4形态学预处理数学形态学形成于1964年，法国巴黎矿业学院G.Matheron和其学生J.Serra从事铁矿核的定量岩石学分析，提出了该理论[4]。它是一门建立在严格数学理论基础上的学科，其基本思想和方法对图像处理的理论和技术产生了重大的影响。近年来，数学形态学的应用已经覆盖了图像处理的所有领域，包括文字识别、医学图像、视觉检测、工业检测、材料科学等。数学形态学图像处理是一种邻域运算，将这种邻域称作结构元素，在每个像素位置上，结构元素与对应的区域进行运算，结果作为输出图像的对应像素。数学形态学的运算对象主要是二值图像。数学形态学运算的效果由结构元素的大小和逻辑运算决定，通常有膨胀运算、腐蚀运算、开运算和闭运算。(1)膨胀运算膨胀的原理是把与物体接触的全部背景点合并到该物体中，使边界向外扩张的过程，通熟易懂地理解就是可以对图像进行变粗。定义结构A被结构B腐蚀表示为A⊕B，数学形式可表示为：(2-2)膨胀运算效果如图2-4所示图2-4膨胀处理(2)腐蚀运算腐蚀的原理是消除边界点，使图像的边界向内收缩，具有收缩图像的作用。简单地讲就是用结构元素对一幅图像进行某种操作，通过这种操作可以消除图像内部不相关的细节。定义结构A被结构B腐蚀表示为AΘB，数学形式可表示为：(2-3)(3)开运算该运算是先进行腐蚀运算再进行膨胀运算的结合过程，作用是可以消除图像中一些孤立的毛刺以及小点，同时可以连通两块或几块区域中的小点，使较大物体图像的边界得到平滑，同时，总的位置和形状没有改变。定义结构A被结构B腐蚀表示为AoB，数学形式可表示为：（2-4）(4)闭运算和开运算过程相反，即先膨胀后腐蚀。该运算的作用是填平小孔，连接临近物体图像，平滑物体图像边界，结果是总的位置和形状不变。定义结构A被结构B腐蚀表示为A●B，数学形式可表示为：（2-5）2.1.5边缘检测边缘检测是一种对图像进行定位、分割和提取的重要方法，其主要是对图像的边界进行分析，可以大幅度地减少了数据的运算量，并且可以剔除一些不相关的信息，这样子就保留了图像原本的一些重要的结构属性。目前广泛使用的边缘检测的方法有以下几种：Robert算子，Sobel算子，Canny算子，Prewitt算子，log算子等。在本文的仿真中，采用的是：Robert算子对图像进行边缘提取，下图为Robert算子边缘提取图像，如图2-5所示。图2-5Robert算子边缘检测图2.2车牌定位算法介绍车牌定位就是将车牌图像从整个待处理的图像中定位分割出来。由于车牌字符的多样性以及车牌背景的复杂性，使得车牌定位成为车牌识别过程中关键的一步，目前还没有通用的定位算法。现在常用的车牌定位算法有基于字符纹理的定位、基于数学形态学的定位、基于边缘检测的定位、基于颜色空间的定位等方法。下面对这些算法进行比较如表2-1所示。表2-1字符定位算法比较方法复杂度稳定性纹理特征定位法简单定位较精确，应用广，缺点是容易受到车牌图像质量的影响，造成车牌定位失败数学形态学定位法简单不受噪声影响，不依赖图像的状况，定位较精确，适用于对车牌区域进行粗定位，缺点是对车牌图像的背景环境有一定要求边缘检测定位法简单不受图像形态如倾斜等情况的影响，定位分割较精确，速度快，适合对车牌进行粗定位颜色空间定位法较复杂根据车牌字符与背景颜色的差别，进行车牌区域定位，定位准确度较高，缺点是车牌颜色和车身颜色要有一定的对比度

第三章汽车牌照字符分割方法研究3.1车牌字符的一般特征分析在对车牌字符进行分割之前，先分析一下车牌中字符的一般特征，为后面进行字符的分割打下基础。中国的车辆牌照一般由三种字符组成：汉字、英文字符、阿拉伯数字。牌照的规格也各不相同，各种字符的组合多种多样，概括起来具有以下一些特征：①车牌中均为七个字符，常规情况第一个字符为汉字，第二个字符为字母，第三个到第七个字符为字母或者数字；②车牌中七个字符的外接矩形相同，高度和宽度的比例相同（除“1”外）；③车牌的牌照架，以前是根据车主的要求牌照架有所不同，有的还没有安装牌照架，这不适合利用边框信息进行字符分割。④由于多种原因，比如车牌的磨伤和破坏，使得在进行二值化处理的时候，字符不连续断裂或者粘连在一起；⑤摄像机在采集车牌图像的时候，由于曝光、焦距等原因，不是字符的区域会成为高亮度区域；⑥车牌上面有安装的柳钉，在处理的时候也会受到它的影响。上述特点只有第一条对字符分割有所帮助，第二条到第六条都给字符分割增加了困难。3.2字符分割方法研究对字符分割技术的研究从20世纪70年代研究目前常用的车牌字符分割算法主要有两种，分别是垂直投影法和连通域法。3.2.1基于垂直投影的字符分割算法由于字符块在竖直方向上的投影不仅在字符间取得局部最小值，而且在字符内的间隙处也能取得局部最小值。因此，字符的正确分割位置应该在上述局部最小值的附近，并且这个位置应满足车牌字符的书写格式、字符的尺寸限制等条件。基于垂直投影的字符分割算法是在车牌照区域垂直投影图上从左至右检测各坐标的垂直投影数值，当找到第一个局部最小点的时候，认为这个点是最左面字符的边界；然后，在水平方向上从右至左检测坐标的垂直投影数值，当找到第一个局部最小点的时候，认为这个点是最右面字符的边界；得到两边字符的边界之后，用同样方法可以找到每个字符的边界。基于垂直投影法字符分割的步骤为：（1）计算车牌二值图像的垂直投影图，并归一化到合适的范围。（2）从左到右取投影图外围包络线的波谷点，并将这些波谷点按照横坐标值升序排列。（3）根据各波谷点的纵坐标以及相邻波谷点横坐标的差值对所有的波谷点进行取舍，并将取舍后的波谷点依序重新排列。（4）从波谷点序列中选取最左和最右的波谷点，作为车牌第一和最后一个字符的分割界限，并计算两波谷点的距离作为车牌的长度。（5）由波谷点序列及评判函数来确定其余各字符最佳的分割点，并对各字符进行分割。（6）输出分割后的字符图像。从计算过程可以看出，该算法对字符因断裂分成上下两个部分的情况有较强的纠错能力。但是，当字符因断裂而形成左右两个部分时，在计算波谷点时，该算法就会出错。因此，可以利用一些先验知识来做进一步的处理，通过最左和最右边两个字符的边界估算出整个车牌区域的宽度，标准车辆牌照由7个字符组成，大约8个字符宽，可以利用这些先验知识估计出每个字符的大概宽度，然后把切分过度的字符进行合并，这样可以改进切分效果。3.2.2基于连通域的字符分割算法车牌上的字符除了第一个是汉字外，其它的都是字母或数字，即在理想状态下是“全”连通的。因此，可以使用连通域的方法对车牌进行字符分割。连通域算法的思想是：对车牌图像的二值化图像进行扫描，标记连通域，将不符合车牌字符特征的连通域删除，对保留的连通域使用某种评判函数进行评判，选取合适的连通块作为切割后车牌字符。基于连通域算法的步骤可描述为：（1）找到图像的所有连通域，然后确定对每个连通域的起动和结束位置，构成最少矩形区包含连通域，表示为A(i)i=1,2…n，n为连通域总数。（2）计算的每矩形地周围边境，并分别记为A(i)l和A(i)r。（3）按顺序从左到右，跟随每个矩形，相比矩形左右边界利用合并、分割算法将过小区域合并、过大区域分割。然后，依据每个区域的坐标位置重新组织所得的区域。（4）利用评判函数将最佳分割位置选取出来，进行字符分割。（5）输出分割后的字符图像。但在实际情况中，由于实际车牌图像通常会有噪声，产生字符的断裂和交叠等情况，因此，单凭连通域很难取得满意的结果。于是提出了许多改进方法，例如二值化方法的改进，使二值化图像尽量避免字符的粘连和断裂。也可以考虑利用车牌本身的先验知识对连通域进行合并或者切分。另外，对字符粘连所产生大的连通域可以考虑重新选取阈值再进行切分的方法。3.3基于垂直投影和优割字符分割方法由于垂直投影法对车牌照字符的切分容易产生过度切分，将一个字符切分成两个，而连通域法由于受到二值化算法的限制，容易产生字符粘连，产生大的连通域。综合分析以上算法，本文研究了一种基于垂直投影和优割字符的字符分割算法，该算法综合了垂直投影法和连通域法的优点。首先将图像二值化，计算垂直方向上的投影图；再利用字符的高度信息来确定优割字符；最后由优割字符生成各种可能的分割结果，计算评判函数代价，选择代价最小的组合作为输出的分割结果。3.3.1图像预处理倾斜校正和水平切割后，需要牌照图像二值化，转化为黑底色白字对不同颜色的牌照处理，采用CASDA算法进行二值化处理，然后计算二值化后的图像垂直投影，结果如图3-1所示。(a)水平切割图像（b）二值化图像（c）垂直投影图像图3-1二值图像的垂直投影图3.3.2字符垂直切分法从图3-1可以看出，二值化图像有严重断裂、粘连和边框等干扰噪声的存在，如果直接采用传统的垂直投影或者连通域的方法进行分割，则很难达到准确分割的目的。为此，本文提出一种优割字符的方法，并将其用于垂直分割算法。（1）优割字符确定通过垂直投影法和连通域法可知，连通域法是在车牌的二值化图像中寻找外接矩形或中心点符合标准车牌的区域，而投影法是在车牌的二值化图像的垂直投影图中寻找投影宽度或“波谷”符合的标准车牌的区域。假设车牌图像在二值化过程中某一字符有下列某种情况：①如果发生字符断裂，使字符分成上下两个部分，那么使用连通域算法进行字符分割时，会将一个字符判别为两个字符，而使用垂直投影算法则不受此影响。②如果发生字符断裂，使字符分成左右两个部分，那么，不论使用连通域算法还是使用垂直投影算法都不能准确确定该字符。③如果发生字符粘连，使两个或两个以上字符发生粘连或字符和边框发生粘连形成一个连通部分，那么使用连通域算法进行字符的确定就会失败，而使用垂直投影算法则应通过垂直投影图的阈值来排除这种情况，而在一般情况下这个阈值很难确定。⑤对于外形特殊的字符，例如字符“1”，通过连通域方法的中心点可以很好的确定出字符的位置，而投影法常常无能为力。为此，引入优割字符的概念。优割字符即在车牌的二值图像的垂直投影图中，寻找满足区域连通，且宽度与车牌高度的比值介于0.4与0.7之间的投影区域。因为在水平界精确确定以后，图像的高度即为字符的高度，由理想车牌的先验知识可知，车牌中字符的高宽比为2：1。因此，可以确定字符的宽度约为0.5倍的车牌图像宽度。在确定出优割字符宽度之后，在车牌图像二值化图像的垂直投影图中，将符合优割字符条件的区域进行标注，这些区域为字符分割时的优先选择区域。然后，对垂直投影图进行扫描，将位于两个优割字符之间且宽度大于一个优割字符宽度的空隙进行优割字符填补，这样就得到了一系列连续的优割字符。（2）标准模板的生成在确定了分割的优割字符之后，即确定了字符的高度和宽度，可由车牌的先验知识生成理想的车牌结构，包括各字符的位置以及字符的中心点距离等。（3）字符的试探分割算法本算法首先从垂直投影图中的所有优割字符出发进行试探分割。由于优割字符并不一定就是最后分割出的字符，有时车牌的边框等也满足优割字符的条件，但它并不是一个车牌字符，因此，需要将这些伪字符在后续处理中剔除。试探法计算过程描述如下：计算获得的优割字符的平均宽度，以该宽度值作为车牌字符的理想宽度，然后结合车牌的高度以及车牌的句法特征，构造出理想的车牌模板。保证车牌模板在实际车牌区域中，依次选取优割字符，并以该优割字符依次作为实际车牌的七个字符，结合其余的优割字符来构造出实际分割车牌，最后利用前面所构造的车牌模板与当前构造出的实际分割车牌进行覆盖匹配，试探过程如图3-2所示。图3-2试探分割对比在每次试探分割后由评判函数评判本次的可信度，在全部试探完成后选择可信度最大的分割作为最终的分割结果。由于车牌自身条件的约束，评判都是在很少的次数内结束，评判次数由车牌粗定位的效果决定，如果车牌定位后的图像中车牌左右残留部分较大，那么字符分割的评判次数就多，反之次数很少。一般评判次数为2～3次，最多不超过5次，可以满足实时车牌识别系统的要求。评判函数定义如下：(3-1)其中，函数表示车牌中除第2、3个字符的间距是最大的，其它字符间距都是均等这一特征：s2表示的是第2、3个字符的间距与其它字符间距的误差之和；表示标准模板的字符与车牌各个字符中心点的匹配情况，其中y是模板与实际车牌中各个字符中心距离的方差；0.3M是表示优割字符可能是一个实际车牌的字符，M表示滑动匹配过程中采用的优割字符数量。3.3.3字符分割结果调整方法对于个别车牌，当第一个或者最后一个字符不是优割字符时，也就意味着该字符是一个插入形成的字符，此时，需要对该字符进行字符空隙及字符宽度的调整。调整的方法为：首先计算除该字符外的其余六个字符的平均字符宽度及平均字符空隙宽度。然后，判断该字符距前后一个或者前一个字符的空隙的宽度是否等于所计算的平均空隙宽度，如果相等则不进行调整，否则将该字符与后一个或前一个字符的空隙宽度设置为所计算出的平均空隙宽度。同理，如果该字符的宽度不等于计算出的平均字符宽度，则将该字符宽度设置为计算出的字符平均宽度。在将每个字符分割出来之后，还需对其进行大小归一化和亮度归一化，以便于下一步的特征提取和神经网络识别。本文将所有分割出的字符图像全部归一化为16×32大小，并采用POSHE算法对字符图像进行亮度归一化。图像的分割结果如图3-3所示。图3-3图像的分割结果从上图的结果中可以看出，分割的效果较好，消除了字符粘连、断裂和车牌边框影响，对下一步的识别非常有利。3.4实验结果及分析为了验证算法的有效性，本文分别对100张收费口、停车场等抓取的理想车牌和100张高速公路及夜间抓取的模糊车牌进行分割，取得了较好的测试效果。图像分割结果如表3-1所示。表3-1分割结果车牌情况图像张数分割比例清晰的车牌200100%模糊的车牌20095%从表3-1可以看出，对于理想环境下拍摄的车牌，本文研究的算法可以达到100%的分割率，对于模糊车牌也可以达到94%的分割率。本文的优割字符方法的实质是将垂直投影与连通域分割算法有机结合。因此，可以获得单一技术无法达到的良好性能，对不同规则的车牌字符分割具有一定的指导意义。通过实验可知，一些受光照影响和模糊的车牌，其二值化图像中断裂和粘连严重，但在新方法下均能得到正确的分割。通过对分割错误的6张模糊车牌进行进一步调试，发现有4张是由于车牌本身模糊难辨，垂直投影图中没有找到优割字符造成的。剩余的2张是由于字符断裂、粘连及边框干扰严重而导致分割错误。部分车牌图像分割效果如图3-5所示。a定位结果图像b分割结果图像图3-5部分图像分割效果图从图3-5可以看出，本文研究的方法对图像中字符模糊及光照不均匀等有很强的鲁棒性能，分割效果良好。对于图中第二副图像“辽F03118”和第三幅图像“辽F82232”，由于车牌污损使得字迹模糊、断裂。此外，在第四幅图像“吉B29679”中，车牌区域的光线明显要强于非车牌区域，对于这些非理想状态下的车牌图像，如果采用单一的垂直投影法或连通域法进行字符的分割往往会失败或部分字符分割失败，而由于本文方法结合了垂直投影和连通域方法的优点，通过优割字符以及垂直投影图进行评判分割，使得这些车牌都得到了正确的分割。

第四章汽车牌照字符分割定位后的车牌，为了在后续的过程中，把车牌字符准确的识别出来，必须要把单一的车牌字符一个一个的准确分割出来。但在实际的处理中，我们要识别的车牌字符情况比较复杂，可能会存在较大的畸变、噪声干扰、多余边缘等问题，同时，字符的切分又是在水平和竖直两个方向上将单个字符区域给框起来。为了正确的对字符进行分割，便于后继的字符识别，在进行字符切分之前，需要进行车牌倾斜角度的判断，若倾斜角度超过一定的值，使得字符发生畸变，就要对车牌进行旋转。本章主要完成如下工作；1.对车牌进行倾斜检测，对超出倾斜角度范围的车牌，进行校正；2.根据车牌本身的物理特征，进行字符分割。4.1车牌图像倾斜的纠正4.1.1车牌图像纠正的几种方法车牌图像在拍摄时，由于摄像机的俯仰角度，摄取方向与车辆牌照的不平行，造成拍摄的牌照图像会发生倾斜与变形，这个问题会影响到后续牌照字符的分割与识别。为了提高字符识别的正确率，对发生倾斜角度的牌照进行纠正是非常必要的。目前常用的车牌校正方法主要有以下几种:(1)HOUGH变换法[5]，这是目前最常用的一种方法。HOUGH变换最早是1962年由PaulHough[6]首先提出，用来实现一种直线从图像空间到参数空间的映射。它的基本思想是点—线的对偶性，即图像空间里共线的点对应参数空间里相交的直线。反过来，参数空间相交于一点的所有直线在图像空间里都有共线的点与之对应。为了解决垂直直线斜率无限大的问题，一般通过直线的极坐标方程:（4-1）进行Hough变换，即用正弦曲线表示图像空间中直线上的点，其中:，是图像空间中直线到原点的距离，是直线与x轴正向的夹角。实际应用中，将参数空间离散化成一个累加器阵列，按照上式将图像空间中的每一点(x,y)映射到参数空间对应的一系列累加器中，使对应的累加器值加1。如果图像空间中包含一条直线，则根据其原理，在参数空间中有一个对应的累加器会出现局部最大值。通过判断这个局部最大值，可得到与该直线对应的一对参数，从而检测出该直线。实际应用中，首先通过HOUGH变换求取车牌的边框，进而确定车牌的倾斜角；或者由HOUGH变换提取牌照边框的参数后，再求解牌照区域四个点的直角坐标，然后通过双线性空间变换对发生畸变的车牌图像进行纠正。(2)通过模板匹配寻找牌照区域的四个顶点，再通过双线形空间变换重建矩形车牌区域[7]。(3)通过求取车牌字符区域的局部极小和局部极大特征点，再进行投影确定车牌的倾斜角。(4)通过求取车牌上各字符连通区域的中心点，然后拟合为直线来确定车牌的倾斜角[8]。由于图像中车牌的边框有时并不明显，而且由于外部环境如噪声、污迹，运动模糊等干扰的影响，造成HOUGH变换后参数空间的峰值点很分散，这会影响到方法(1)和(2)的实际纠正效果，也会使得(3)的检测精度下降；同时，由于，二值化的原因，车牌上的字符不可避免的会发生粘连和断裂现象，这也影响到了方法(4)的处理效果。4.1.2基于字符行特征的车牌倾斜校正算法车牌图像的倾斜主要分为水平倾斜和竖直倾斜两种。由于实际的车牌倾斜问题多集中在车牌水平图像的纠正上，本文提出了一种运算量小，校正效果明显的车牌水平倾斜校正方法。为了从字符行倾斜度恢复车牌原貌，本文采取从多个角度来对图像倾斜的方向扫描，然后分别记录个扫描平行线组中具有车牌字符信息的行数，对应的字符行数目最多的扫描角度就是图像的倾斜角度。具体如下：如图4-1所示意，对于一个发生水平倾斜的汽车牌照所在的矩形abcd，其所在的矩形直角坐标参考面为ABCD，如果用一组等间隔的平行直线ABCD来对汽车牌照abcd进行扫描，各次扫描线组的行距不变，只是在一定的范围内以顺时针或逆时针的方向逐渐改变扫描线组ABCD与水平方向的夹角，并设置一个数组来记录每次扫描后，行组中具有车牌字符信息的行数，由下图可以看出，当且仅当平行直线组ABCD与汽车牌照abcd在水平方向上的夹角相同时，该角度对应行组中车牌字符信息数最大。也就是说，该行组偏离水平方向的扫描角度，即是车牌图像在水平方向上的倾斜角度。求得该倾斜角度后，就需要对车牌图像进行校正。校正采取的方法是以图像的中心或原点为中心，以车牌倾斜角度为基准，对图像进行旋转。图4-1理论依据图图4-2公式推导图如图4.2所示，若是以原点为基准，进行旋转，其公式如下:旋转前：(4-2)(4.3)旋转后：(4.4)(4.5)若是以某一个定点为基准，进行旋转，如图4-3，应采用公式如下:图4-3公式推导如上图，未旋转时候的矩形框中心为02，在X_0_Y坐标系中为(a，b)，旋转后的中心坐标02在新坐标系Xl_Ol_Yl中为(c，d)，则整个旋转过程矩阵可以描述如下[9]：（4-6）对上述矩阵求逆有：（4-7）有即如下：（4-8）（4-9）实际计算时，以[-15°,+15°]为倾斜校正范围，每次校正的幅度为1°。对定位后的牌照图像进行行组扫描，初始化一个数组。cha[0-30]，用来记录在相的倾斜角度后，对cha数组内的元素进行排序，得到的最大一个元素，它所对应的倾斜角度，即可判定为车牌的倾斜角度。然后根据此角度，选择合适的旋转方法，对车牌进行校正。图4-4发生倾斜的车牌图像图4-5校正后的车牌图像4.2基于投影图的字符图像的分割当对待分割的车牌图像进行预定的倾斜校正后，需要把字符从车牌图像中分割出来。目前的字符分割算法，较常用的可以分成两大类。第一类算法就是对每一个字符采用阴影掩膜技术进行编码，提取字符特征，用神经网络技术等进行字符识别。这种算法是基于二值化后的图像分割，对图片的清晰度要求较高，在图像质量高的情况下分割效果比较好，但是如果图像质量不高的话，分割效果较差。另一类较常用的算法是：利用先验知识，如车牌的宽高比，字符的宽度固定，车牌字符间距信息，以及汉字结构特征等来逐一提取单一的车牌内的字符。这种分割的方法成功率较高，且受图像的噪声干扰较小，但是这种方法须进行预定义，不能够自适应。本文采用垂直投影法来实现分割。通常，提取后的牌照，其字符块在竖直方向上的投影会在字符间取得局部最小值，这样，字符的正确分割位置应该是在上述局部最小值附近。但注意到对于复合的字符，如汉字“沪”，其垂直投影图在字符内的间隙处也能取得局部极小值，因此为了获得正确的字符分割，结合投影图局部最小值，以及车牌字符的书写格式、字符的尺寸限制等其他条件。这样，利用垂直投影法对断裂字符进行分割才会有较好的效果。国内标准的车辆牌照(本文暂不考虑军车，警车，教练车、领事车)，其内部包含七个字符，顺序为:首字符为省、自治区或直辖市名称缩写，次位为英文大写字母，后五位为英文大写字母与阿拉伯数字的混合，标准车牌的长度为409毫米，其中单个字符统一宽度为45毫米，高90毫米，第二，第三个字符间间隔较大，总间隔为34毫米，间隔中间存在一个小圆点，其宽度为10毫米，该圆点与其左右两边的字符均为12毫米，其余字符间隔为12毫米。字符“1”的宽度约为13.5毫米[10]。充分利用这些先验知识，有助于单一字符边框的精确切分。本文采用垂直投影法，对于二值化后的图像，由于每个字符块在垂直方向的投影必然在字符间或字符内的间隙处取得局部最小值，依据此并结合字符牌照固有的上述特征等先验知识，采取如下步骤来实现字符的分割。1.对牌照区域进行初试化垂直投影，得到length为汽车牌照图像的长度；2.令W=length/9，对牌照图像进行扫描，若有大于w的线段可以认为是牌照边框，由此线段进行区域生长，去处边框。3.字符首先进行粗分割，分析车牌在Y轴方向上的投影，确定字符区域的上边界upline和下边界downline；4.进行左右边界字符的切分。首先根据车牌在X轴方向上的投影，确定字符区域的左边界leftlin。和右边界rightline，并得到字符区域的总长度platewidth为:rightlin-leftline；5.依照上述的车牌固有特征计算字符的宽度charwidh，字符间距charspace，第二，第三字符间距bigcharspace。考虑到光照不均匀和二值化的因素，字符的实际间距与计算值是有一定的浮动。charwidth=platewidthx4/409；charspace=platewidthx12/409；bigcharspace=platewidthx34/409；6.把字符图像在X轴上进行投影。实践证明最易判定字符间距中，是第二、三个字符间的间距bigcharspace，因此首先从投影图中检测该段间距，得到第二个字符的右边界，第三个字符的左边界。根据已计算出的charwidth，从第二个字符右边界开始，向左检测出第二个字符的左边界，并依次类推，结合charspace得到第一个字符的左右边界；同理，以第三个字符的左边界为基准得到后5个字符的左右边界。7.根据上述得到的七个字符的左、右边界分割出单一字符，算法结束。车牌字符分割前后对比图如下：图4-6待分割的车牌图4-7分割后的单个车牌字符实践证明结合牌照固有特征进行车牌字符分割，算法简单，处理速度快，适合实时处理的环境，而且分割准确率也较高。缺点是，实际分割过程中，得到的分割结果图可能会有1~3个象素的偏移，从而影响到分割的质量。4.3字符的归一化目标图像长由于初始拍摄距离和角度的不同，会引起车牌字符的尺寸有不同程度的差别，车牌大小不一会给后期的车牌字符识别带来一定的困难，因此，为了把在前述提取到的车牌图像中的字符调整到与后续神经网络中的标准模板中的字符特征一致，在车牌字符识别过程之前，需要先将车牌尺寸归一化20x16的点阵。通常对图像进行空间变换，使其大小归一化时，主要有两种方法[21]：一种是将字符的外边框按一定的比例线性放大或缩小到标准字符尺寸；另一种是通过插值变换来进行大小归一化。根据此，归一化方法分为两种：分裂合并归一化与插值变换归一化。1.分裂合并的归一化方法设原始图像的大小为M×N，归一化后的图像大小为I×J。归一化的过程有两步，分别是：分裂(split)和合并(merge)。在分裂阶段，将原有图像的每一个点复制放大I×J倍，即将该点的像素值复制到I×J的阵列中，则M×N的阵列变成一个MI×NJ大小的阵列;随后进入合并阶段，将MI×NJ阵列中划分成阵列大小为划分成阵列大小为M×N的I×J个区域，对M×N区域的像素进行平均，阵列M×N缩成一个点像素，这样M×N尺寸的原始图像就归一化为I×J大小的图像。2.插值变换的归一化方法该方法是通过归一化图像中的像素对应在原图像中点的位置来决定归一化图像中像素点的灰度值[70]。设f（x，y）为原始图像，g(x,，y)为归一化后的图像，(x1，y1)为g(x，y)中任意一点，对应f(x，y)中的点(x0，y0)。假定图像X轴方向缩放比率是fx，Y轴方向缩放比率是fy，那么原图中点(x0，y0)对应新图中的点(x1，y1)的转换矩阵为：(4-10)其逆运算如下：(4-11)也即：(4-12)当(x0，y0)是整数时，表明(x1，y1)对应在原图像的网格点上，不必进行任何变换，直接令(x1，y1)等于(x0，y0)处的灰度值。当(x0，y0)不是整数时，要进行插值变换。一般的插值变换有3种，即邻近插值，线性插值，三次插值。邻近插值法中归一化的图像g(x，y)，其点(x1，y1)是由(x0，y0)邻接的4个点(m，n)，(m+1，n)，(m，n+1)，(m+1，n+1)中几何距离最接近它的点的灰度值来近似。线性插值算法中的(x1，y1)的灰度值是用(x0，y0)邻近的4个点(m，n)，(m+1，n)，(m，n+1)，(m+1，n+1)按照如下规则计算出来的：(4-13)三次插值算法中的(x1，y1)的灰度值是用(x0，y0)邻近的16个点的灰度值按照一定规则计算得到。考虑到算法复杂性和实时性的处理要求，本文选用了邻近插值法来进行字符归一化。将字符归一化为20x16的点阵。图4-8归一化前的单个车牌字符图4-9归一化后的单个车牌字符

第五章汽车牌照的字符识别汽车图像经过预处理、车牌定位、字符分割后，得到单个的归一化字符，随后就要进入汽车牌照识别中的最重要的环节，字符识别。本文在基于传统的BP神经网络算法基础上，为了提高识别速度和识别正确率，提出了改进的BP新算法。算法的流程如下:归一化后的字符，分为完全不同的3种类型，分别是汉字字符，阿拉伯数字，英文大写字母。针对不同类型的字符，进行不同的特征提取，然后采用了不同类别的识别神经网络，分别用来识别汉字字符，阿拉伯数字和大写英文字符。图5-1汽车牌照字符识别的流程5.1车牌字符特征提取基于字符特征的字符识别算法一般包括以下3个步骤[11]：（1）提取字符的特征，建立一个字符特征向量空间，每个字符对应向量空间中的一个向量；（2）定义分类函数；（3）对输入的字符图像自动提取相应的特征，根据分类函数进行特征匹配，识别出相应的字符。用于字符识别的分类特征应满足以下要求：（1）有较强的分类能力。分类后的样本要实现:类内各样本具有较好的一致性，类间各样本的区分度应尽量大；（2）具有较好的鲁棒性，稳定性。车牌字符经常会发生变形、断裂等情况，使字符结构等受损，应尽量减少其影响；（3）易于提取，方便运算。特征的选取直接影响到最终的识别效率，因此好的模式特征应具有较好的平移不变性、旋转不变性和尺度不变性。一般，涉及到车牌内字符的识别，最常用的有两大类特征，分别是:结构特征和统计特征[12]。结构特征可以准确的描述待识别汉字字符的几何特征，同时受噪声和字符形变的影响较小，因此基于结构的识别方法是字符识别的一种有力工具。字符的结构特征通常包括：特征点、笔画、线段等，字符结构特征的提取主要有两种方法:第一种是基于像素的字符轮廓获取方法，这种方法没有考虑全局信息和结构信息，因而结果中会存在诸如毛边和交叉点变形等问题；第二种方法是用一组线段及它们相互间的关系来描述字符并进行识别，但该方法易受边界噪声和交叉点的影响。字符的统计特征，是从原始数据中提取与分类最相关的信息，这些信息使得类内差距最小，类间差距最大，同时这些信息对同一类字符的形变应尽量保持不变。本文中，为了保证识别的正确率，简化网络规模，提高神经网络的处理速度，对英文大写字母，阿拉伯数字的特征提取与对汉字字符的特征提取，采用不同的提取方法。对英文和阿拉伯数字的特征提取，采用具有统计性质的，根据局部特征的，适应性较好的13特征提取法，也就是直接利用每个点的像素值作为特征提取的基础，从构成该字符的像素点中，统计提取出13个特征点。为了提取出这13个特征点，首先把字符分8份，统计每一份内目标像素点的个数作为8个特征。如下图所示：图5-2字符分割然后依此规律，统计水平方向上的中间两列和竖直方向上的中间两列的目标像素个数作为4个特征，即画四条穿过该位置的线，然后，统计线内所占的目标像素的个数。最后统计整个字符中目标像素的个数作为一个整体特征，最后，一共得到了关于该字符的13个特征。这样，对于每一个输入样本，输入节点个数为13个。对于汉字字符，考虑到其自有的特性，采用密度笔画特征。它首先将归一化后字符图像向不同的方向进行投影，然后对文字黑像素的个数做累加运算，形成笔画密度直方图[13]。5.2基于BP神经网络的字符识别5.2.1神经网络理论概述人工神经网络的研究背景最早开始于19世纪末，20世纪处。它源于物理学、心理学和神经生理学的跨学科研究。神经网络(NeuralNetwork)是由大量神经元(处理单元)，广泛连接而成的网络，它是在人类对其大脑工作机理认识的基础上，以人脑的组织结构和活动规律为背景，反映了人脑的某些基本特征，可以说是对人脑的某种抽象，简化和模仿。它是一个数学模型，可以用电子线路来实现或用计算机来模拟人的自然智能。神经网络是巨量信息并行处理和大规模平行计算的基础，它既是高度非线形动力学系统，又是自适应系统。可用来描述认知决策及控制的智能行为，它具有存储知识和应用经验知识的自然特性，它与人脑相似之处可概括为如下两个方面:一是通过学习从外部环境中获取知识；二是内部神经元具有存储知识的能力。神经网络具有高度非线性映射能力、自组织和适应能力、记忆联想能力。它可以在外界环境的刺激作用下调整网络自由参数，并以新的方式来响应外部环境。能够从环境中学习并在学习中提高自身性能是神经网络最有意义的性质。神经网络的工作方式，由两个阶段构成：（1）学习期：神经元之间的连接权值可由学习规则进行修改，以使目标函数达到最小；（2）工作期：在此期间，保持连接权值不变，由网络的输入得到相应的输出。神经网络有不同的分类方法，但从总的方面来讲，一般将神经网络分为以下四种模型[14]：前馈网络模型、反馈网络模型、自组织网络模型与随机型网络模型。5.2.2BP神经网络算法的描述图5-3BP神经网络结构BP网络是一个多层前馈网络(FFN-ForwardFeedbackNetwork)，最常用的BP神经网络结构如图5-3，由3层网络，即输入层，隐含层，输出层共同组建而成，其运行机理如下：（1）初始化神经网络的结构，置所有的权值为随机任意小，以一个随机分布随机地挑选闭值，该分布选择为均值等于0的均匀分布[15]，其方差的选择应该使得神经元的输出应尽量在激活函数的线性部分变化；(2)确定输入的学习训练集合：，期望的输出集合:，输入层到隐含层之间存在一个权值矩阵，其中的列向量为隐含层第i个神经元所对应的权值向量：隐含层到输出层之间存在一个权值矩阵：，其中的列向量为输出层第j个神经元对应的权值向量。假设：隐含层输出向量记为：,输出层的输出向量定义为：。(3)通过前馈网络，使隐藏层和输出层的所有神经元都采用非线性激活函数(一般取单极性:Sigmoid函数):，逐级计算输出值;输入层的神经单元不对输入做函数变换，只起缓冲作用。各层信号之间的数学关系如下：对于隐含层，有如下公式：（5-1）（5-2）对于输出层有如下公式：（5-3）（5-4）(4)利用误差反馈调整权值，用递归的方法从输出节点开始返回到中间隐层，按下式进行调整权值：首先计算网络输出值与期望输出值之间的误差E：（5-5）将该式展开至隐含层，可得：（5-6）将该式展开至输入层，可得：（5-7）由上式可看出，通过调整权值wij，vjk，可以改变误差E。因此，为使误差不断减小，以满足实际要求，得到如下的权值调整量：对于输出层，有：（5-8）定义一个误差信号：（5-9）又由式（1），得：（5-10）最后，可得：（5-11）对于隐含层，有：（5-12）定义一个误差信号：（5-13）又由式（2），得：（5-14）最后可得：（5-15）（5）迭代。首先判断训练学习后的误差是否达到预定要求，如果没有达到，则返回第（2）步输入新的样本输入集；如果己经达到预定目标或某一给定值，则学习过程结束。5.2.3即网络存在的缺陷及其原因分析BP神经网络的层数、及节点数，对整个网络的收敛性，收敛时间、泛化能力都有极大的影响。因此，对于BP神经网络的具体应用，网络最佳结构的确定非常关键;另外，网络的繁简程度对BP网络的硬件实现也有很大的影响，因此，如何确定网络层数和每层应选的节点数非常重要。目前，对于BP神经网络隐含层结构的确定，最常用的方法是依靠经验来确定。而且，对于不同应用问题其遵循的规律也不一样，这就给BP神经网络的应用及推广带来了很大的障碍。BP神经网络采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。一个典型的BP网络采用的是梯度下降算法，也就是Widrow-Hoff算法所固定的，这种算法计算量小，易实现，但对于定义在多维空间上的函数，其误差函数是多维空间的曲面，曲面本身凹凸不平，存在多个局部极小点或平坦区域，因此，使用BP网络，在训练的过程中，梯度法很容易陷入某一局部最小点中，以至于使得训练无法进行，得到全局最优解。BP神经网络在训练学习的后期，算法的收敛速度会相当慢，通常会需要成百上千次迭代甚至更多。主要是有以下两个方面的原因：(1)固定的学习率η和惯性因子α因为根据上述公式，BP神经网络本质上是优化计算中的梯度下降法，利用误差对权值、阈值的一阶导数信息来指导下一步的权值调节方向，以求达到最终误差达到预设的误差范围，使之最小；为了保证算法的收敛性，学习η必须小于某一上界。这就决定了BP神经网络的收敛速度不可能很快。BP神经网络中的学习率η和惯性因子α一般都是由经验确定，在训练过程中保持不变。在接近极小点时，目标函数一般可用二次函数近似，其等势面接近椭球面，由于梯度法相邻两次迭代的搜索方向是正交的，这样，如果同心的椭球面族很扁，会导致迭代过程呈现锯齿现象。如果不能求出正确的学习率，会使得收敛非常缓慢。BP网络在执行过程中，权值和阈值每次调整的幅度，均以一个与网络误差函数或其对权值或阈值的导数大小成正比的项乘以固定的因子进行。这样就出现:在误差曲面较平坦处，由于这一偏导数值较小，以至于需要经过多次调整才能将误差函数曲面降低;在误差曲面较偏斗处，偏倒数值较大，权值和阈值的调整幅度也较大，以至在误差函数最小点附近发生过冲现象，难以收敛到最小点。(2)学习训练过程中的“假饱和”现象所谓“假饱和”现象，是指在学习过程中误差在一定的时间范围内，并不随着学习次数的增多而减小，而过了这段时间以后，误差才明显下降的现象。学习一旦进入“假饱和”状态，会需要较长时间才能脱离这种状态，甚至无法达到全局最优。5.2.4BP算法的改进对于BP神经网络，构成它的多层前馈网络，在理论上能够以任意精度逼近连续非线性函数，但这一结论成立的前提是:网络要足够复杂。对于其实际的应用，如何根据其实际的完成能力来设计相应的BP神经网络，是一个需要探讨的过程。一般，对于一个实际的BP神经网络，如果它的网络比较简单，则网络可能对实际的应用解决能力不够；如果它的网络比较复杂，网络的计算量相应增大很多，同时网络的泛化能力，即经过学习训练后的网络对于未在学习训练中集中出现的样本输入做出正确反应的能力，可能并不会得到相应的提高。由于BP网络存在的固有局限性，为了改进网络的整体性能，本文对其做了改进，具体方法如下：1.隐含层数目的确定BP神经网络的隐含层，有多层和单层网络之分。对于一个BP神经网络，增加它的隐含层数，可以增加网络的处理能力，但同时，需要更多的运算和反馈调整，增加了运算量，并且划分空间过细会导致网络的归纳与泛化能力下降。在BP神经网络的具体运用中，首先要确定隐含层的结构。Hecht-Nielsen曾经证明了当各个节点具有不同的门限时，对于在任何闭区间内的一个连续函数都可以用含一个隐含层的神经网络来逼近。因而一个三层的BP神经网络可以完成任意的从n维到m维的映射。Cybenko也指出，当各节点均采用Sigmoid型函数时，一个隐含层就足以实现任意的判决分类问题两个隐含层足以表示输入图形的任意输出函数。这个结论对BP神经网络隐含层数目的确定具有指导性的意义。采用两个隐含层的BP神经网络比采用一个隐含层的BP网络训练次数要多得多：一个隐含层的BP神经网络逼近函数时，在函数的细节部分(如最大、最小值附近)要精确的多。结论：一般来说，开始选取一个隐含层，如果隐含层内节点数目不是太多的情况下，就能按要求完成任务，则可以不加