基于数学形态学和投影法的车牌定位算法

大学本科学生毕业设计（论文）基于数学形态学和投影法的车牌定位算法大学光电工程学院GraduationDesign(Thesis)ofChongqingVehicleLicensePlatelocationBasedonprojectionandMathematicalMorphologyUndergraduate:LiHuiyingSupervisor:Prof.LiZhiminAssistantSupervisor:LiangJunMajor:InformationEngineeringCollegeofChongqingJune2009重庆大学本科学生毕业设计（论文）摘要PAGEI摘要车牌识别技术是智能交通领域的重要课题之一，它主要包括车牌定位、字符分割、字符识别三个部分。其中，车牌定位算法的处理效果对字符识别起着决定性的作用。因此研究车牌定位算法有着重要的现实意义。本文采用了一种由数学形态学和投影法相结合的车牌定位方法，定位过程由以下几个步骤实现：首先，是车牌图像的预处理，它包括图像的灰度化、灰度线性变换、二值化、图像去噪等；然后，采用数学形态学算子进行车牌粗定位以提取候选车牌区域，因为它可增大目标、缩小孔洞，填补目标中的空洞，使目标形成连通域；最后，对车牌进行行扫描和列扫描，通过对跳变点的判断完成车牌细定位。这种利用数学形态学方法对传统投影定位法进行改进,从而实现车牌的准确定位的方法，具有定位准确、运算快速的优点，适合实际应用。通过实验表明，该方法的定位准确率达到了98.3%，定位时间约为40ms，基本上满足了在复杂背景下有效提高了车牌图像定位的准确性和运算速度等要求。关键词：数学形态学，投影法，车牌定位，二值化重庆大学本科学生毕业设计（论文）ABSTRACTPAGEIIIABSTRACTThetechnologyofLicensePlateRecognitionisanimportantissueinthefieldofintelligenttransportation,whichincludesthreeparts:licenseplatelocation,charactersegmentation,characterrecognition.Amongthem,theeffectofthelicenseplatelocationplaysadecisiveroleinthecharacterrecognition.Sothereisaverypracticalsignificanceinstudyingthealgorithmoflicenseplatelocation.Thispaperpresentsalicenseplatelocationalgorithmbasedonprojectionwhichassociatewithmathematicalmorphology.Locationprocessingiscametruebythefollowingsteps:firstofall,preprocessingofthelicenseplateimage,whichincludesthecolortogray,gray-linear-transformation,binarization,imagedenoising,etc;then,usemorphologicaloperatorsforlicenseplateregion’sroughdetection,becauseitcaneliminatelittleobjectsandfillinlittleholesofobjects;finally,licenseplateexactlylocation,ontheplateforhorizontalandverticalprojection,hoppingtojudgetheaccuratepositionoftheplatesthroughthesaltuspoint.Thismethodwhichisusedmathematicalmorphologytoimprovethetraditionalprojectioninordertoachieveaccuratepositioningissuitableforpracticalapplicationwiththeadvantagesofpositioningaccuracyandsimpleoperation.Experimentsshowthatthemethod’spositioningaccuracyratereach98.3percent,positioningtimeisabout40ms,itmeetsthebasicrequirementsthatimprovingpositioningaccuracyandcomputationalspeedinthecomplexitybackgroundofthelicenseplateimageeffectively.Keywords:mathematicalmorphology,projections,platelocation,binarization重庆大学本科学生毕业设计（论文）目录PAGEV目录中文摘要 IABSTRACT II1绪论 11.1课题背景和现实意义 11.2国内外研究现状 21.2.1LPRS的主要应用技术 21.2.2车牌定位的研究现状 31.2.3车牌字符识别的研究现状 51.3本文研究内容和各章安排 62图像预处理 82.1图像的灰度化 82.2灰度线性变换 92.2.1图像增强介绍 92.2.2灰度线性变换 102.2.1基于区域分割的分段线性变换 112.3二值化 122.4中值滤波去噪 142.4.1中值滤波 143车牌定位 173.1基于数学形态学的粗定位 173.1.1数学形态学的发展史 173.1.2数学形态学与图像处理 183.1.3数学形态学的有关定义 193.1.4基于形态学运算的候选区域选取 203.1.5基于结构特征的候选区域筛选 223.2基于投影法的车牌图像精确定位 223.2.1水平方向定位 233.2.2牌照垂直方向的定位算法 244结论与展望 264.1实验结果 264.2课题主要研究成果和创新点 264.3研究工作的展望 27参考文献 28重庆大学本科学生毕业设计（论文）第1章绪论PAGE261绪论近年来，随着国民经济的快速发展，各种机动车辆不断增加，导致道路交通量不断增大，交通事故、交通堵塞等问题日益严重，我国正面临着道路网通行能力不能满足交通量增长需求等问题。为了解决这些问题，部分发达国家相继推出了适应未来运输需求的智能交通系统(IntelligentTrafficManagementSystem,ITS)，我国也将发展ITS作为今后交通建设的一个重要发展方向。作为现代智能交通系统中的一项非常重要的技术，车牌识别(LicensePlateRecognition，LPR)技术是近几年来的研究热点。其涉及的领域包括模式识别、图像处理、人工智能、信息论、计算机等多门学科，是一门综合的应用技术。它主要包括车牌定位、字符分割、字符识别三个部分。其中，车牌定位与字符分割算法的处理效果对字符识别起着决定性的作用。车牌识别系统既具有重要的理论意义，也具有良好的实际应用价值，并且在现实生活中已经得到一定程度的应用。虽然它的研究已经有一段时间，但现有的车牌定位算法环境适应性差，在复杂背景下存在着定位困难的问题，因此车牌定位算法的研究仍有着很深的现实意义。本章首先就本课题提出的背景和现实意义进行阐述，然后对国内外车牌识别技术的研究现状做一个概况。最后讲述本文的内容安排。1.1课题背景和现实意义随着21世纪经济全球化和信息时代的到来，计算机技术、通信技术和网络技术迅猛发展，自动化的信息处理能力和水平不断提高，并在人们社会活动和生活的各个领域得到广泛应用。高速度、高效率的生活节奏，使汽车普及成为必然趋势。伴随着世界各国汽车数量的增加，城市交通状况日趋严峻，如何有效地进行交通管理，越来越成为各国政府相关部门关注的焦点。针对这一问题，人们运行先进的科学技术，相继研发了各种交通道路监视管理系统、车辆控制系统及公共交通系统。这些系统将车辆和道路综合起来进行考虑，运行各种先进的技术解决道路交通的问题，统称为智能交通系统。ITS是90年代兴起的新一代交通运输系统。它利用先进的信息处理技术、导航定位技术、无线通信技术、自动控制技术、图像处理和识别技术及计算机网络技术等加强道路、车辆、驾驶员和管理人员的联系，实现道路交通管理自动化和车辆行驶的智能化，增强交通安全，减少交通堵塞，提高运输效率，减少环境污染，节约能源，提高经济活力。车牌识别系统，是智能交通系统的重要组成部分，是交通管理自动化的重要手段和车辆检测系统的一个重要环节，在交通监视和控制中占有很重要的地位。车辆牌照识别系统本身是一个整体的智能化解决方案，系统同时具有良好的维护性和扩展性，可在无需为车辆加装其他特殊装置情况下实现对车辆的自动检测。车牌识别技术的推广普及，必将对加强城市道路管理、提高运输效率、提高经济活力、减少交通事故及车辆被盗案件的发生、保障社会稳定等方面产生重大而深远的影响，因而对LPR技术的研究和应用系统开发具有重要的实际意义。目前的车牌识别系统主要是针对车辆自动注册和收费、停车场管理等场合，所监视区域的背景一般比较简单。而实际应用中，所监视的如高速公路、城市要道等往往都比较复杂，它包括一些路标、广告牌、树木、行人、建筑物等，都会对车辆检测造成干扰，加上光照条件、拍摄角度等因素的影响，造成目前的算法不够准确、快速，不能够适应复杂背景下的车牌识别。这就要求车牌识别算法必须要具有较强的适应性，能够去除各种干扰背景，可以克服视角不同所造成的车牌的变形，并能对不同尺度大小的车辆进行检测等。因此，复杂背景下的车牌识别系统，如果能够实现高实时性和高识别率的话，必定可以创造出可观的社会经济效益。1.2国内外研究现状本课题重点是对LPRS的相关技术进行研究，因此本节主要介绍与此相关的研究现状，且分为以下三个部分：“LPRS的主要应用技术”、“车牌定位”和“车牌字符识别”的研究现状。1.2.1LPRS的主要应用技术上世纪90年代初，各国学者对LPRS展开了研究，当前主要采用IC卡识别、条形码识别、数字图像处理、传统模式识别和人工神经网络等技术来实现系统要求。eq\o\ac(○,1)IC卡识别技术：IC卡是一种集微电子技术、通讯技术和计算机技术于一体的高科技产品，利用IC卡技术进行车牌识别，主要是指在车上安装一个微型的电子信号接收和发射装置即IC卡，卡内存储了该车的车牌号码以及其他一些信息，当车通过设有车辆检测装置的路口时，IC卡系统将与路口的计算机系统进行对话，使之识别出车牌号码及其他信息，从而实现车辆的监督和管理。IC卡识别技术具有识别率高，运行可靠和全天候作业等优点，但整套装置价格昂贵，硬件十分复杂，不适用于异地作业，且需要制定出全国统一的标准。eq\o\ac(○,2)条形码识别技术：在车辆的侧面印刷条形码或是制作带有条形码的车牌，条形码包含了该车车型、车牌号码等基本信息，当车通过红外线扫描器时，条形码上的信息被反射到读取单元并被抽取出来，从而实现识别功能。条形码识别技术具有识别速度快识别率高、成本低等优点，但是该技术对于扫描器的要求很高，而且同IC卡技术一样，须在全国范围内制定出统一的标准。eq\o\ac(○,3)数字图像处理技术：数字图像处理（DigitalImageProcessing）又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程，具体的讲就是将连续的模拟图像变成离散的数字图像后，用建立在特定的物理模型和数学模型基础上编制的程序控制、运行并实现种种要求的处理。在LPRS中，用数字图像处理实现识别的技术具有低成本、对硬件依赖性小等优点，但其识别率的高低主要取决于识别算法。eq\o\ac(○,4)传统模式识别技术：传统模式识别技术一般包括模版匹配算法，统计特征等。进入90年代，由于计算机视觉技术（ComputerVisionTechnique）的发展，开始对车牌识别进行系统化的研究。1990年A.S.Johnson等运用计算机视觉技术开发出一套LPRS。该系统分为图像分割、特征提取和模块构造、字符识别等三个部分。利用不同阈值对应的直方图，经过实验确定出车牌位置的阈值范围，从而根据特定阈值对应的直方图分割出车牌，再利用预先设置的标准字符模块进行模块匹配。它具有识别率高的优点，但识别速度较慢。eq\o\ac(○,5)人工神经网络技术：近几年来，一些发达国家开始探讨用人工神经网络解决车牌识别问题。它具有并行计算，分布式信息存储，容错能力强以及具备自适应学习功能等一系列优点，但是它常常将初始权值取为零或随机数，从而增加网络的训练时间或陷入非要求的局部最小值。总结上述技术，发现现阶段最可行的车牌识别方法就是数字图像处理技术。1.2.2车牌定位的研究现状车牌定位(LicensePlateLocation，LPL)就是把车牌区域完整的从一幅具有复杂背景的车辆图像中分割出来，它是LPRS中至关重要的一步。对于一幅车辆图像来说,车牌区域只占全图的一小部分,要想将其准确定位并分割出来是非常困难的,这就要求研究人员对车牌区域内字符的纹理特征和字符与其背景之间的灰度特征进行分析，寻找它们之间的差别。当前最常见的定位技术主要有：“基于边缘检测的方法”、“基于彩色分割的方法”、“基于小波变换的方法”和“遗传算法”等。eq\o\ac(○,1)基于边缘检测的车牌定位方法：所谓“边缘”就是指其周围像素灰度有阶跃变化的那些像素的集合。边缘的两侧分属于两个区域，每个区域的灰度均匀一致，而两个区域的灰度在特征上存在一定差异。边缘检测的基本原理是对图像进行微分来达到检测的目的。微分运算的结果表明：凡是灰度迅速变化的点都具有较高的微分值。大多数的边缘检测方法是基于方向导数掩模求卷积的方法。eq\o\ac(○,2)基于彩色分割的车牌定位方法：该方法由彩色分割和目标定位等模块组成，采用多层感知器网络对彩色图像进行分割,然后通过投影法分割出潜在的车牌区域。在进行彩色分割时采用神经网络模型，一般图像采用RGB三原色，但RGB三原色中两点的欧氏距离与颜色距离不成线性比例。为了更好的进行彩色分割，将RGB模式的彩色图像转化为HSI模式，然后对输出图像的饱和度作调整。为了减少计算量，将彩色图像抽稀后再进行模式转化，同时为了减少光照条件对图像分割产生的影响，采用对数方法进行彩色饱和度调整。然后对模式转化后的彩色图像进行彩色神经网络分割，最后根据车牌底色及长宽比等先验知识，采用投影法分割出合理的车牌区域。当获取的彩色图像质量较高时，尤其是车牌区域颜色与附近颜色差别较大时，该定位算法正确率较高，但当区域颜色与附近颜色相似时，正确率将有所下降，且由于采用了神经网络计算，因而计算速度较慢。eq\o\ac(○,3)基于小波变换的车牌定位：提出了一种基于小波分析和数学形态学的车牌定位方法，该方法通过小波多尺度分解提取出纹理清晰且具有不同空间分辨率、不同方向的边缘子图；然后利用车牌目标区域具有水平方向低频、垂直方向高频的的特点实现子图提取；最后用数学形态学方法对小波分解后的细节图像进行一系列的形态运算，进一步消除无用信息和噪声，以确定车牌位置。该方法在噪声较小条件下定位效果好，分割精度高，其缺点是速度较慢，且在噪声较大时误定位机率也随之增大。eq\o\ac(○,4)基于遗传算法的车牌定位：该方法利用遗传算法对图像进行优化搜索，结合区域特征矢量构造适应度函数，最终寻找车牌区域的最佳定位参量。车牌定位是寻找一个符合“车牌区域特征”最佳区域的过程，本质上就是从参量空间寻找最优定位参量的问题，而寻找参量空间的最优解正是遗传算法最擅长的，但是在实时系统中，车牌定位速度受遗传算法中迭代次数的影响很大。1.2.3车牌字符识别的研究现状eq\o\ac(○,1)研究现状：车牌字符识别实际上就是对车牌上的汉字、字母和数字进行准确确认的过程，其基本原理是将输入字符与各个标准字符模版进行模式匹配，计算类似度，将具有最大类似度的标准字符作为识别结果输出，当前字符识别的主要方法有“模板匹配法”、“神经网络方法”、“特征点匹配法”、“光电混合联合变换相关方法”和“小波法”等。模板匹配法计算快速，但对字符的噪声、变形和光照较敏感。常用的神经网络有BP神经网络、Hopfield网络和Coonan网络等，其优点是对于字符的噪声和变形不敏感，缺点是不易区分特征值相近的字符，例如：0，D，Q，8，B等。特征点匹配法选取了能够区分各字符的若干特征点，进而得到各字符的编码，从而能较好的区分特征值相近的字符，但是该方法只适用于二值图。光电混合联合变换相关方法是利用“联合变换相关器”根据输出面上相关峰的位置确定目标图像和参考图像，但速度较慢。eq\o\ac(○,2)国内外字符识别的技术水平：字符识别中较难处理的是汉字识别。汉字识别技术是在英文、数字识别的基础上，由日本学者于60年代末期最先开始研究的。并于1977年完成了日本通产省制定的“图像信息处理系统”中的印刷汉字识别装置，该装置是一个庞大的硬件专用设备，可识别2000个汉字，识别速度可达到100字/秒。到80年代中期，日本的汉字识别技术已经相当成熟，并由东芝、三菱、三洋、松下等公司开发的以软件为主并使用通用高档微机的产品也已走向市场。我国于70年代末期开始对数字、英文、符号的识别进行研究，同期有少数大学和研究所对汉字识别方法进行了探索，并发表了一些学术论文，研究出少量模识识别软件和系统。到80年代中期，我国汉字识别技术进入了研究的高潮，印刷体汉字识别技术的研究获得了丰硕的成果，有11个单位进行了14次印刷体汉字识别成果的鉴定。进入90年代，在国家重点科研计划的支持和市场驱动下，汉字识别系统一直朝着实用化的方向发展。今天，印刷体汉字识别已有四五个系统，如北京信息工程学院研制的BI-OCR，清华大学研制的TH-OCR，国家智能计算机研究开发中心研制的NC-OCR,台湾研究的丹青OCR等。它们能识别4000多个不同体、不同号的常用汉字，识别率达到95-99%，识别速度达到20-40字/秒。大陆和台湾研制的联机手写汉字识别系统已有10多种，如中国科学院自动化研究所研制的汉王笔，台湾研制的蒙恬笔等，市场销售量已超过5万套。这些系统能实时识别10000个以上的规范书写的简繁体汉字，笔顺无限制或少限制，少数常用字可以连笔,识别率可达90%以上。总之，我国印刷体汉字识别和联机手写汉字识别已经进入实用阶段，其技术水平和当前世界最高水平并驾齐驱。1.3本文研究内容和各章安排本文以汽车牌照自动识别为背景，以车辆图像为主要对象，深入研究了计算机图像处理、人工智能、模式识别等背景知识，探索了用数字图像处理进行车牌定位的方法。上述算法尽管在一定的条件下能够分割出车牌，但车牌识别系统大多是在室外使用，这就会存在许多客观的干扰，如天气、背景、车牌磨损、图像倾斜等因素，因此，定位并不理想，使得后期识别车牌难度增加，甚至产生拒绝识别或误识别。而且这些方法多有针对性和局限性，适用范围不大。传统的投影定位法作为一种常用的车牌图像定位技术也取得了一定的效果，但对车牌图像质量有较高的要求，在实际应用中正确分割率不理想。由于形态学梯度基本能够反映图像的所有边缘，而车牌图像区是梯度变化较多区域，即边缘信息较多区域，为此本文提出了一种新的车牌定位方法，采用一种基于投影法和数学形态学梯度相结合的车牌定位算法，即利用数学形态学方法对传统定位方法投影法进行改进和优化，将此二种方法相结合，最终获得准确的车牌区域。定位流程图如下：投影法定位投影法定位形态学边缘检测中值滤波去噪二值化彩色图像灰度化灰度线性变换图1.1程序流程图本文各章安排如下：第一章：绪论部分，介绍了本课题的研究背景与现实意义。概述了车辆牌照识别系统在国内外的发展和应用现状；简单介绍了车牌识别系统中存在的难点；最后给出了本文的内容安排。第二章：详细阐述了本文采用的车牌车牌图像预处理的方法。首先，将图像灰度化；然后对灰度图像进行基于阈值分割的分段线性变换；再利用全局动态阈值化方法对图像进行二值化后，最后对二值图像进行中值滤波平滑去噪。第三章：结合形态学运算进行膨胀运算，并对膨胀后的连通区域进行筛选；再使用水平投影和垂直投影分别确定车牌的上下和左右边界。第四章：总结全文，并对车牌定位和分割算法的研究加以展望，并提出了有待解决的问题。重庆大学本科学生毕业设计（论文）第2章图像预处理2图像预处理由CCD摄像机采集的图象可以存储在计算机中，为了用于牌照的分割和牌照字符的识别，原始图像应具有适当的亮度，较大的对比度和清晰可辨的牌照图像。但由于摄像工作在开放的户外环境，加之车辆牌照的整洁度、自然光照条件、拍摄时CCD摄像机与牌照的距离和角度以及车辆行驶速度等因素的影响，牌照图像可能出现模糊、歪斜和缺损等严重缺陷，因此需要对原始图像进行识别前的预处理。2.1图像的灰度化预处理前的图像都是彩色图像。对于彩色图像，颜色本身就是其一个非常重要的属性，所以在识别中可以利用颜色信息，于是发展了很多色彩模式，例如RGB模式、HSV模式、CMY模式、HSI模式、YUN模式等。颜色模型是三维颜色空间中的一个可见光子集，它包括某个颜色域的所有颜色。RGB(red,green,blue)(红、绿、蓝)是最常见的彩色模型，它是一种正方体的空间结构模型。红、绿、蓝是相互正交的坐标轴，每个坐标轴都量化为0～255,0对应最暗，255对应最亮。彩色立方体中任一点都表示一种颜色，RGB图像又称真彩色图像，它是利用R,G,B这3个分量表示一个像素的颜色，通过三基色可以合成出任意颜色。以下是常见颜色的RGB数值，黑色＝(0,0,0)，白色＝(255,255,255)，灰色＝(128,128,128)，红色＝(255,0,0)，绿色＝(0,255,0)，蓝色＝(0,0,255)，青色＝(0,255,255)，品红＝(255,0,255)，黄色＝(255,255,0)。RGB彩色系统是通过对颜色进行加运算来完成颜色综合的彩色系统，其原点是黑色，通过在黑色中加入不同分量的红色、绿色、蓝色来得到某种彩色。大多数图像格式都采用RGB模型来表示像素的颜色，Windows内部和位图也采用RGB颜色模型。YUV模型（Y代表亮度，U和V是两个彩色分量，表示色差）是另一种常见的颜色模型，主要用于多媒体计算机技术中，比如JPEG的图像格式。其基本特征是将亮度和色度信号分离。由于人眼对亮度的变化比对彩色的更敏感，因此YUV模型中Y分量所占的带宽大于彩色分量的带宽。主要的YUV格式有4:1:1，4:2:2。彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度。由于图像的每个象素都具有三个不同的颜色分量，存在许多与识别无关的信息，不便于进一步的识别工作，因此在对图像进行识别等处理时需要将彩色图像转变为灰度图像，以加快处理速度。YUV和RGB具有线性关系，其换算公式为：（2.1）灰度化结果如图2.2所示：图2.1原始图像图2.2灰度化后的图像2.2灰度线性变换2.2.1图像增强介绍对质量下降的图像一般要进行改善。改善的办法有两类：一类是不考虑图像质量下降的原因，只将图像中感兴趣的特征有选择地突出，而衰减其它不需要的特征，故改善后的图像不一定要逼近原图像。这类图像改善方法统称为图象增强技术。另一类改善图像的方法是针对图像质量下降的原因，设法去补偿降质因素，从而使改善的图像尽可能地逼近原图像，这类图像改善方法统称为图像复原技术。车辆图像处理的目的是为了将感兴趣的目标突出，因而要采用图像增强技术来提高图像质量。图像增强技术有两类方法：空间域法和频率域法。空间域法主要是在空间域内对图像灰度值直接运算处理。频率域法是在图像的某种变换域内，对图象的变换值进行运算。这是一种间接处理方法。空间域增强是以对图像的像素直接处理为基础的增强，可用下式表示：（2.2）其中,是输入图像,是处理后的图像,是对的一种操作，是图像像素点的位置，操作最简单的形式是邻域为的尺度（即单个像素）。在这种情况下,仅依赖于在点的值,操作是灰度级变换函数，形式为。其中和分别为和在任意点的灰度级。2.2.2灰度线性变换如果一幅图成像时由于光线过暗或曝光不足，则整幅图将偏暗（如灰度范围从0到63)；光线过亮或曝光过度则图像偏亮(如灰度范围从200到255)，这都会造成图像对比度偏低问题，即灰度都挤在一起了，没有拉开。在这种情况下，可以采用灰度变换的方法来增强图像的对比度。所谓灰度变换就是将一个灰度区间映射到另一个灰度区间的变换。它是空间域图像增强的一种，也就是通过分段线性变换函数来调整图像灰度级的动态范围，这样的变换可以把我们感兴趣的灰度区间拉开，使得亮的越亮，暗的越暗，从而达到增强对比度的目的。如图2.3所示，通过点和点的位置控制变换函数的形状，使得和之间的灰度级不同程度的展开，因而影响其对比度，以达到增强图像之目的。图2.3灰度线性变换示意图分段线性变换公式如下：（2.3）（2.4）（2.5）（2.6）2.2.3基于区域分割的分段线性变换分段线性变换给出了变换的原理，合理的划分灰度区间是取得较好增强效果的保证。灰度直方图描述了一幅图像的灰度级内容，任何一幅直方图都包括了可观的信息，可以结合它来划分灰度区间。但由于不能直观地把某一灰度范围和图像中对应的区域联系起来，调整灰度区间时带有一定的盲目性，需要反复调整多次。本文提出的基于区域分割的分段线性变换提供了一种划分灰度区间的方法，可以较快的确定图像中需要增强的目标灰度范围，然后变换到所需的灰度范围。确定灰度变换区间包含如下三个方面：eq\o\ac(○,1)显示图像的灰度直方图图像的灰度直方图是进行图像处理的一种有利的工具，它显示了图像的灰度分布情况。通常，对于目标和背景的灰度可明确区分的图像，目标对应直方图中某一灰度范围。通过观察直方图来确定谷点的大致位置，以它为分界点来确定目标的大致灰度范围。本文生成了可以调节大小的灰度直方图，其中横坐标为0~255灰度级，纵坐标为图中具有该灰度值的像素的个数。当图像中包含较多的灰度级时，直方图图像的许多线会连成一片，这时调节直方图的宽度，加大相邻直线之间的距离即可找出分界点；当图像中一些直线的长度较短又相距较近时，很难看出它们之间的相对长短，这时调节直方图的高度，就可以看出它们之间的区别。当鼠标在直方图图像上移动时，可显示纵横坐标值。把灰度直方图调整到合适的大小，这时就可以较容易确定谷点的大致位置。eq\o\ac(○,2)显示图像的像素灰度值灰度直方图提供了图像灰度分布的统计信息，但丢失了图像像素的空间位置信息。对于含有多个目标的图像，察看它们较大和较小的灰度级，可以确定多个目标的大致灰度范围。图像以像素为单位，当鼠标在图像上移动时，显示该位置处的坐标值和对应的灰度值。把鼠标放在目标上较亮和较暗的位置，就得到了较大和较小的灰度值。当灰度范围太小，不宜察看较亮和较暗的位置，可以使鼠标在目标上来回移动来确定较大和较小的灰度值。eq\o\ac(○,3)显示图像的变换区域确定了某个灰度变换区间，我们并不知道所对应的图像区域的确切范围，通过显示该灰度区间对应的图像区域，可以知道要增强的目标是否包含在其内。由于人眼对颜色的信息较为敏感，对于灰度图像，可以把某灰度区间对应的图像区域显示为彩色，这样就可以得知划分的灰度区间是否合理。通过显示目标中没有包含的区域或彩色部分中非目标区域的较大和较小的灰度值，调整灰度区间范围，根据需要确定变换后的彩色部分大小是否合乎要求。实际应用时，我们可以灵活应用以上方法，大大加快了确定灰度变换区间的过程。然后进行分段线性变换，增强目标的对比度。灰度线性变换结果如图2.4，变换后的图像可以看清目标区域更多的细节信息，比较变换前后的直方图，可见拉伸了目标对应的灰度区间，压缩了背景对应的灰度区间。虽然损失了背景的一些信息，但目标得到了增强，变得清晰可见。图2.4灰度线性变换后的图像2.3二值化二值图像是指整幅图像画面内仅有黑、白二值的图像。在数字图像处理中，二值图像占有非常重要的地位。这是因为，一方面，有些需要处理的如文字图像、指纹图像、工程图纸等图像本身是二值的；另一方面，在某些情况下即使图像本身是灰度的，我们也设法使它变成二值图像再进行处理（即灰度图像的二值化）。这是考虑到实用的图像处理系统要求处理的速度高、成本低，信息量大，采用二值图像进行处理，能大大地提高处理效率。而且，二值化后的图像能够用几何学中的概念进行分析和特征描述，比灰度图像优势大的多。在实际的车牌系统中，进行图像二值变换的关键是要确定合适的阈值，根据阈值t来区分图像中的对象和背景。在各种二值化方法中，全局阈值方法对输入图像量化噪声或不均匀光照等情况抵抗能力差，在分割时会出现断裂和大面积粘连现象，应用受到极大限制；局部阈值法也存在缺点和问题，分割时会出现非字符区域的干扰和粘连现象。当两个相邻的块的阈值相差太大，二值化后的车牌字符就可能造成变形，不能保证字符笔划连通性，降低了识别率。而且，该方法实现速度慢、容易出现伪影现象。本文采用全局动态阈值化方法进行二值化。该方法是从整个灰度图像的像素分布出发，寻求一个最佳的阈值。其中经典算法是OTSU算法—类间最大方差算法。该方法的主要思想是从图像的灰度直方图中把灰度的集合用阈值t分为两类，然后根据两个类别的平均值方差（类间方差）和各类的方差（类内方差）的比为最大来确定阈值t。该阈值即为二值化图像的最佳阈值。这种方法不论图像的直方图有无明显的双峰，都能得到较为满意的效果，因此这种方法是阈值自动选取的较优方法。按灰度阈值t将图像划分为两类：和，因此，和类的类出现概率及均值分别由下列各式给出：（2.7）（2.8）（2.9）（2.10）其中，，不难得出，对于任何t值，都有和类可由下式得（2.11）（2.12）定义类内方差，类间方差，总体方差为：（2.13）（2.14）（2.15）我们把使得和两类得到最佳分离的t值作为最佳阈值，最佳阈值t应使类间方差最大，即选（2.16）为判断准则，从1,2,…,L改变t，使最大的t值即为分割门限即最佳阈值。Ostu算法有以下优点：算法实现较为简单且适应性较强；它是基于图像的整体特性而非局部特性的，可以推广到多阈值的分割方法中去。图2.5显示了经过全局阈值法Ostu方法获得的二值化图像，从图中可看到Ostu方法处理效果明显，车牌区域在图像中得到了完整的保留。图2.5二值化图像2.4中值滤波去噪2.4.1中值滤波中值滤波是一种非线性滤波技术，不属于卷积算法的区域处理方法。它将区域中所有值按大小进行排序，并将排序后位于中间的像素值赋予中心像素。由于区域中像素值发生随机突变的像素，经排序后将位于队首或队尾，因此取得的中位像素值是正常的像素值。噪声往往以孤立点的形式随机出现，这些点对应的像素数很少，而图像则是由像素数较多、面积较大的小块构成的，因此中值滤波可以采用一个含有奇数个像素的滑动窗口在图像上滑动，将窗口中心点所对应像素值，用窗口内所有像素值的中间值代替。中值定义为：一组数据，把这n个数据按值的大小顺序排列如下：则：（2.17）y称为序列的中值。例如，在一维的情况下，若中值滤波器的窗口长度为5，窗口中像素的灰度值为80、90、200、110和120，则中值为110。因为，按小到大(或大到小)排序后，第三位的值是110，于是原来窗口正中的灰度值200就由110取代。如果200是一个噪声的尖峰，则将被滤除，达到消除噪声的目的。这样中值滤波在一定条件下既可以克服线性滤波器滤波带来的图像细节模糊，又可以有效的滤除脉冲干扰和图像的扫描噪声。中值滤波器可以推广到二维，即对二维图像操作。对数字图像进行中值滤波，实质是对二维序列的中值滤波，滤波窗口也是二维的。设表示数字图像各点的灰度值，滤波窗口为A的二维中值滤波可定义为：（2.18）式中，A为窗口。二维中值滤波的窗口形状和尺寸对滤波效果影响较大，不同的图像内容和不同的应用要求，往往采用不同的窗口形状和尺寸。常用的窗口形状有线形、方形、圆形、十字形以及圆环形等，窗口的尺寸一般先用3再取5逐点增大，直到其滤波效果满意为止。一般对于有缓变的较长轮廓线物体的图像，采用方形或圆形窗口为宜，对于包含有尖顶角物体的图像，适宜用十字形窗口。而窗口大小则以不超过图像中最小有效的细线状物体为宜，如果图像中点、线、尖角细节较多，不宜采用中值滤波。本课题由于采集车辆图像的噪声点往往是孤立的，且这些点对应的像素数很少，而彩色图像的各区域颜色具有单一性和连通性，其像素数较多、面积较大，因此，很适合用中值滤波来滤除噪声。本文选用了的模板进行滤波去噪，效果如图2.6显示：图2.6中值滤波后的图像重庆大学本科学生毕业设计（论文）第3章车牌定位3车牌定位车牌定位的算法很多，不过，所有的车牌定位算法基本上都考虑了牌照区域的特点。所以在此也有必要先了解一下车牌区域的特征，其大体可分为以下几类：eq\o\ac(○,1)车牌的几何特征：车牌为矩形，宽、高比例约在3.0左右；eq\o\ac(○,2)车牌字符格式特征：车牌字符位于矩形框中且有间隔；eq\o\ac(○,3)车牌区域的纹理特征：车牌区具有排列基本均匀的字符；eq\o\ac(○,4)车牌区域内灰度直方图统计特征：具有两个明显且分离的分布中心；eq\o\ac(○,5)车牌区域的灰度分布特征：水平灰度呈现连续的峰、谷、峰的分布；eq\o\ac(○,6)车牌区域图像的水平（垂直）投影特征：投影呈现连续的峰、谷、峰的分布。直接利用车牌的某个或某几个特征一般总能把车牌从车牌图像中分离出来，不过并不一定能得到精确的车牌位置。本文采用了一种由数学形态学和投影法相结合的车牌定位方法，即利用数学形态学方法对传统投影定位法进行改进,从而实现车牌的准确定位。3.1基于数学形态学的粗定位3.1.1数学形态学的发展史数学形态学是研究数字影像的形态、结构及其特征与快速并行处理方法的理论，它通过对目标影像的形态变换来实现结构分析和特征提取的目的。数学形态学是一门新兴学科，1964年，法国的G.Mathern和J.Serra在积分几何的基础上首次创立了这门学科，此后，他们又在法国建立了“枫丹白露数学形态学研究中心”，在该中心学者和其他各国研究人员的共同努力下，数学形态学得到了不断的丰富和完善。最初，由Maheron和Serra提出的数学形态学研究以二值图像为对象，称为二值形态学；此后，Serra和Sternberg等借助于伞理论，把二值形态算子推广到灰度图像，因而使灰度形态学的理论和应用研究也得到很大的发展。1982年，J.Serra的专著《图像分析与数学形态学》问世后，数学形态学才在图像处理、模式识别和计算机视觉等领域引起广泛的重视和应用，并成为数字图像信号处理和计算机视觉领域中的一种有效方法，这些应用反过来又促进它的进一步发展。数学形态学的理论内容包含十分广阔。特别地，传统图像处理中的线性算子和非线性算子均是形态学算子的特例！这个令人吃惊的结论说明数学形态学是图像处理的一个统一理论，是对传统理论的推广，在这个统一理论的框架下，经典的方法得以在一个新的、统一的层次上进行分析，从而帮助我们从不同的侧面更深入地了解经典算法的性质，并在更广泛的范围以更灵活的方式对它们进行改进。目前国内许多有效的图像处理系统有的是基于数学形态学方法原理设计的，有的是把数学形态学算法纳入其基本软件，并以其运算速度作为系统性能的重要标志之一。它被广泛地应用到图像处理的很多领域中，这些领域涉及医学成像、显微镜学、生物学、机器人视觉、自动字符读取、金相学、地质学、冶金学、遥感技术等等。在这些领域中，利用数学形态学可以对图像进行增强、分割、边缘检测、结构分析、形态分析、骨架化、组分分析、曲线填充、图像压缩等。3.1.2数学形态学与图像处理随着计算机技术的飞速发展，图像处理成为了当前人们广泛关注的科学领域。它包含的领域宽广，诸如：检测图像的质量，实现图像清晰化的图像增强；提取图像的几何特征，实现图像分割和编码压缩；通过对图像的分析、理解实现对投影图像的三维重建；通过序列图像分析，从而实现运动场景分析等。数学形态学是一种特殊的图像处理技术，它的描述语言是集合论，它设计了一整套的基于集合运算的概念和方法，提供了统一而强大的工具来处理图像中遇到的问题。它通过研究图像中对象的几何特征等来描述图像中各个研究对象的特征和对象之间的相互关系。数学形态学进行图像处理的基本思想是：用结构元素对原图像进行位移、交、并等运算，然后输出处理后的图像。数学形态学算法的思想简单直观并且几何描述的特点非常适合与视觉信息相关的信息处理与分析。利用数学形态学进行图像分析的基本步骤一般有：eq\o\ac(○,1)提出所要描述的物体的几何结构模式，即提取物体的几何结构特征；eq\o\ac(○,2)根据模式选择相应的结构元素，结构元素应简单且对模式具有最强的表现力；eq\o\ac(○,3)用结构元对图像进行形态变换，得到比原图像更突出研究对象特征信息的图像；eq\o\ac(○,4)从经过形态变换的图像中提取出所需要的图像信息。数学形态学方法比起其它图像处理方法具有一些明显的优势，它可以有效的滤除噪声，同时保留图像中的原有信息，并且突出图像的几何特征使得对图像的进一步分析更加简便。在数学形态学运算中，结构元的选择对于能否有效的提取图像的有关信息至关重要。故选择结构元时一般要注意以下两个原则：eq\o\ac(○,1)结构元有凸性；eq\o\ac(○,2)结构元在几何结构上比原图像简单，且有界。3.1.3数学形态学的有关定义数学形态学的基本运算有4个：膨胀，腐蚀，开启和闭合。他们在二值图像和灰度图像中各有特点。由于本文处理的是二值图像，所以只需对二值形态学的基本运算进行探讨。二值图像是指图像的灰度只有1和0构成。传统的图像处理一般取图像中目标的灰度值为1，背景灰度值为0。二值形态学中的形态变换是针对集合的处理，记图像中所有灰度值为1的点组成的集合为X。图像形态处理时，就是在图像中移动一个结构元素，然后对集合X用结构元素与图像进行交，并等运算。以下是形态学有关算子的定义：eq\o\ac(○,1)具有某种确定性质的对象的全体或范围称之为集合，常常用大写的英文字母表示；若这种全体或范围中不包含任何对象称为空集，计作。eq\o\ac(○,2)若设全集为I，集合,称是集合B的补集。eq\o\ac(○,3)设X是某一基本集合，记,称为X的幂集，若集合，则集合A,B之间只能有以下三种关系：1）集合包含于集合B，记作；2）集合A击中集合B，记作；3）集合A相离于集合B，记作。eq\o\ac(○,4)设A,B是二维集合，记是集合A,B的元素，任意的二维向量，记，称集合A平移X。显然，若集合由一幅图像中的每个点组成，则集合的平移表示图像的每个点沿着坐标轴移动一定位置；集合的映像表示图像的每个点关于原点的对称点。eq\o\ac(○,5)若记集合,记为空集，则集合A被集合B膨胀记为：（3.1）其中“”数学形态学的膨胀算子。由上可以看出：集合A被集合B膨胀即是集合B中的元素先作关于原点的对称点，每个对称点平移x后，总有点落在集合A中。eq\o\ac(○,6)若记集合记为空集，则集合A被集合腐蚀记为：（3.2）其中“”数学形态学的腐蚀算子。显然：集合A被集合B腐蚀即是集合B中的每个元素平移x后，全部落在集合A中。eq\o\ac(○,7)设A是输入图像，B是结构元图像，则集合A被集合B作开运算记为，用膨胀和腐蚀记为：（3.3）开运算的结果实质上是集合A先被结构元B腐蚀后结果再被B膨胀。开运算可以平滑图像轮廓，除去图像中不能包含结构元的部分即是除去图像中细小突出。A被B开后的边界就是B在A内平移所能达到的B的边界的集合。eq\o\ac(○,8)设A是输入图像，B是结构元图像，则集合A被集合B作闭运算记为，用膨胀和腐蚀记为：（3.4）A被B作闭运算的实质就是A被B膨胀后结果再被B腐蚀。由闭运算的定义可知：闭运算也能平滑图像，他能去掉原图像中的小洞，填补轮廓上的小缝隙并能融合图像上狭窄的缺口和细长的弯口。由于膨胀和腐蚀的对偶性，开运算与闭运算也可得到相应的对偶性。故而，A被B闭后的边界就是B在内平移所能达到的B的边界的集合，故A被B开还可记为：（3.5）腐蚀具有使目标缩小、目标内孔增大以及外部孤立噪声消除的效果；膨胀是将图像中与目标物体接触的所有背景点合并到物体中的过程，结果是使目标增大、孔洞缩小，可填补目标中的空洞，使其形成连通域。对于开运算就是在腐蚀的基础上再进行一次膨胀，对于闭运算就是在膨胀的基础上再进行一次腐蚀。由上述定义可知，若取，即为一大小可调的正方形灰度平面，则膨胀运算的实质就是以为模板，寻找图像在结构元大小范围内所有点的灰度极大值，以该极大值代替该结构元大小范围内所有点的类度值，在图像灰度曲面上移动结构元模板，重复同样的操作，直到图像上所有点都参与运算为止。因此，膨胀的结果就滤去了小于二倍结构元的波峰，同时原图像灰度曲面在原有基础上有了一定程度的膨胀。而腐蚀运算就相当于削去小于二倍结构元的波谷。如果用原图减去开运算的结果，就可以提取出原图像小于结构元的波峰；用原图减去闭运算的结果就可以提取出小于结构元的波谷，改变结构元的大小就可以提取不同的目标。3.1.4基于形态学运算的候选区域选取为了进一步确定车牌区，用形态学运算对二值图像进行分割，形成若干闭合的连通区域，并从这些区域中提取真实的车牌。为了防止连通区域断裂和尽可能减少与背景纹理的粘连，结构元的形状和尺寸的选取尤为重要。尺寸过大，会使车牌区域跟周围非车牌区域的边缘点发生粘连；尺寸过小，会使车牌区域无法粘连在一起，可能使真正的车牌区域不包含在可能的候选区域中。在车牌区，各字符之间的最大距离(一般情况下为第二、三字符的间距)约为笔画宽度w的4倍。为了避免形态运算后车牌区发生断裂，将此间距作为设计结构元的一个主要依据。设width为采集图像的宽度(以像素为单位)，同时考虑到字符间距最大情况以及车牌倾斜等因素，为了保证能够形成一个完整车牌连通区，设计了一个水平结构元，其长度为：（3.6）式中，是车牌宽度与图像宽度之比，是字符最大间距与车牌宽度之比。本文取=l/4，我国车牌的标准宽度为440mm，最大字符间距为34mm，其比例约为0.08，考虑到字符断裂及磨损等因素，取=0.10。用此结构元进行形态闭运算，形成可能的字符连通域如图3.1所示：图3.1水平闭运算大多数情况下车牌区域经过上述闭运算后已经粘连，但对于车牌周围纹理较为密集的情况，附近的其他纹理区也容易融入连通域范围，从而扩大了有效车牌区域的范围。为了断开粘连，同时保证车牌字符形成的连通域不被断开，需使用垂直方向上的结构元。大量实验表明，该结构元尺度约为车牌字符高度的1/4到1/3时效果较好。基于这个尺度设计一个垂直结构元：（3.7）为结构元尺寸与字符高度的比例，本文取1/3；为字符高度与车牌宽度的比例，车牌的标准字符高度为90mm，则取值约为90/4400.20。用上述结构元对上一步形态学闭运算后得到的图像进行开运算后，纹理区域集中部分得到较好的分割，实验结果如图3.2所示，方便了后续的连通域结构特征分析。图3.2垂直开运算3.1.5基于结构特征的候选区域筛选车牌区具有明显的结构和纹理特征，车辆前部的车牌宽高比约为3.14（考虑到拍摄及倾斜等原因，宽高比可取1.3到4），剔除不符合宽高比要求的连通域，此时若只有一个连通域，则可确认为车牌区域，否则再根据车牌的特征筛选出候选区，结果如图3.3所示：图3.3符合结构特征的连通域大量实验结果表明，可能出现的候选区包括车体上的车灯、车牌，以及散热器等部分，也可能包括周围环境带来的干扰。3.2基于投影法的车牌图像精确定位经过车牌图像粗定位后获得的图像中不仅有含有车辆的车牌架，而且也包含了其他的图像信息，为了便于后续的车牌图像的字符分割和识别的效果，对粗定位后的车牌图像进行精确定位是很必要的，本文采用的车牌图像精确定位的算法流程如下图所示：通过区域剪裁得到精确定位车牌图像通过区域剪裁得到精确定位车牌图像水平投影和垂直投影得到车牌图像的精确边界坐标车牌图像的粗定位图像图3.4车牌图像精确定位算法流程车牌的字符和背景的灰度对比较大，对应于车牌区域的水平灰度变化较频繁，而且在车牌图像中每个字符号码本身都大小一致，即宽度和高度都相等，使得车牌区域在水平方向上的投影具有明显的规律，且车牌一般挂在汽车的防撞器上或附近，靠近整幅图像的下部，同时，在图像的下部一般干扰较少，因此可通过自下而上的搜索方法确定车牌的上下边界。另外，在投影图上，车牌区与背景相比有较多的竖向纹理，车牌字符之间具有较低的谷点，较低谷点之间又至少有一个较高的峰值点，且谷点与谷点近似等距，根据这些特征就可以确定出车牌的左右边界。由此推出的算法步骤为：eq\o\ac(○,1)对二值图像做水平投影确定候选车牌的上下边界，得到一个或多个带状区域；eq\o\ac(○,2)对带状区域作垂直方向上的投影确定左右边界；eq\o\ac(○,3)根据车牌的几何特征即长宽比为3.1-3.2排除伪车牌。3.2.1水平方向定位本文采用的车牌水平方向定位算法如下：eq\o\ac(○,1)对车牌灰度图像进行水平方向的投影运算；eq\o\ac(○,2)找出车牌水平区域对应的峰值；eq\o\ac(○,3)确定切割点，在图像上进行水平切割。对图像的灰度值按（3.8）式做水平投影：（3.8）图3.5水平投影图在投影图中，车牌投影值区域一般有以下特点：一般情况下，车牌区域中出现的投影波峰值为图像下部往上搜索时出现的第一个较大波峰值；车牌投影区域大致对应于上述波峰值上、下临近的波谷之间包含的投影值区域，且这两个波谷大致对称于波峰，波峰和波谷变化率较大。根据车牌特征，车牌中的垂直边缘较为密集，而且车牌一般悬挂在车身较低的位置，其下方没有很多的边缘密集区，因此在车牌对应的水平位置上会出现一个或连续多个峰值，连续峰群的第一个和最后一个峰值作为车牌边缘峰。从图中可以看出，这样就得到了包含了车牌的带状区域。图3.6投影图确定车牌上下边界第一个边缘峰左边的波谷点作为分割点，最后一个边缘峰右边的波谷点作为分割点，对图像进行切割。图3.7车牌水平切割区域3.2.2牌照垂直方向的定位算法车辆牌照垂直方向的定位算法跟车辆牌照水平方向的定位算法类似，首先对图像做垂直方向的投影运算，然后确定切割点。平滑后的投影图如图3.8所示：图3.8垂直投影图从图中可以看出，对于垂直方向的投影切割，车牌区域内的差分投影不是只有一个单峰，而是一群多峰，并且这一峰群对于车牌外区域的峰值相对要高出很多。于是我们选取最大峰值的0.6作为阈值，找出第一个和最后一个高于此阈值的峰作为车牌边缘峰。第一个边缘峰左边的波谷点作为分割点，最后一个边缘峰右边的波谷点作为分割点，对图像进行切割。对垂直方向进行投影切割的效果如图3.9所示。图3.9投影图对应的车牌垂直区域图3.10精确定位后的车牌重庆大学本科学生毕业设计（论文）第4章结论与展望4结论与展望4.1实验结果综上所述，为了检验本章提出的车辆牌照定位算法，本文建立了包含车牌的图像的集合。实验所用车辆图像为用数码相机在自然场景中拍摄的彩色图像，其中牌照为普通牌照（底色为蓝，字符为白）。图像中牌照大小不一，背景不一，背景包括人、其它车辆、树木、建筑物等，光照条件也不一。需要说明的是，所