毕业论文-车牌预处理及定位与分割算法研究.doc

摘摘 要要 随着城市交通管理现代化水平的提高，建立在车辆牌照识别基础上的交通信号自 适应控制系统、智能交通监控系统、GPS 车辆管理及导航系统、智能化交通管理系统 应运而生。由于汽车牌照是机动车辆管理的主要标志符号之一，因此对车辆牌照识别 系统的研究就尤为重要，该研究的核心是提高车牌识别准确性，这就需要识别算法能 够对环境光照条件，拍摄位置和车辆行驶速度等因素的影响有较大的鲁棒性，并能够 满足实时性的要求。 本文设计的主要内容包括：运用 MATLAB 仿真软件对后台图像进行高速，准确的 处理。主要工作是利用 BP 神经网络算法对牌照的字符识别进行了研究。在牌照的定位 之前，本文首先运用不同于当下传统的方法，而是结合当前比较热门的 BP 神经网络来 对图像进行预处理，得到了比较突出的牌照信息。然后结合牌照自身的一些固有特征 ，用形态学的方法进行了车牌区域的准确定位；对定位得到的车牌，再次结合牌照内 部细节特征，对车牌进行投影，从而得到了车牌较为完整的分割;最后在车牌字符识别 阶段，以现今比较流行的神经网络为理论基础，在原有的神经网络算法基础上进行有 效改进。仿真结果表明本算法在车牌识别中具有明显的优势。 本文研究内容的创新性体现在以下三个方面：(1)车牌定位阶段，采用一个改进的 自适应 PCNN 神经网络对图像进行预处理可以得到一个细节丰富，边缘完整的二值图 像，随后基于牌照固有特征，结合一种新的形态学方法，可以得到多个车牌候选区域 ：(2)车牌字符分割阶段，为了满足算法实时性的要求，对畸变车牌进行预处理时，采 用字符的行特征来描述本文的倾斜校正算法，之后，基于改进的投影特征图对字符图 像分割；(3)字符识别阶段，为了提高算法的准确性，采用改进的 BP 神经网络。 关键词：数字图像处理 车牌识别 字符识别 神经网络 An Arithmetic Research Based On Neural Network for Car License Plate Recognition Abstract With the rapid development of domestic traffic management, these systems that are based on the license plate recognition appeared at the right moment, such as the traffic signal automation management system, intelligent traffic monitor system, GPS, automation parking toll system, and intelligence traffic system, . Because license plate is a important part of vehicle management system, so the research of license plate system is particularly important .The core of arithmetic of license plate system is how to improve the recognition, so it requires recognition algorithm has great robustness for the impact of light conditions of the environment and taken the position and vehicle speed it also can satisfy the timely requirement. In this paper, my work is focused on the image processing based on MATLAB emulator. Three problems were analyzed, which are license locating, segmentation and character recognition. Before license locating, artificial neural network (ANN) is adopted to handle the image, then the information of license plate is obtained in evidence. To locate the license plate, the inherent features of license plate being used, and then use mathematical morphology to locate the license plate accurately; According to the inside features of locating license plate, the plate- area is pop out by project the license plate; The last step is characters recognition, ANN is the key tool in recognition. An improved neural network is designed to segment the characters. The whole license plate recognition is achieved through those steps. The result of emulator proves that my arithmetic would be able to improve the rate of recognition, effectively. My work has three innovations. Firstly, An improved and automatic PCNN neural network is used to dispose the image, and A binary image is gained, which has an abundant details, intact edges, then T get lots of candidate areas of license plate, based on the inside features of license plate and a new mathematics morphology. Secondly, when the change image is handled, an arithmetic based on the line features of characters is used, and then segment the image of characters based on improved project features. Thirdly, I improve on BP neural network to improve the rate of recognition. KEY WORDS: Digital Image Processing License Plate Recognition Character Recognition Neural Network. 目录目录 第一章 绪论 .1 1.1 选题的背景和意义.1 1.2 车牌识别的技术研究.2 1.3 本文研究的内容.5 第二章 车牌预处理及定位与分割算法研究 .7 2.1 图像预处理.7 2.2 车牌定位算法介绍11 第三章 汽车牌照字符分割方法研究 12 3.1 车牌字符的一般特征分析12 3.2 字符分割方法研究12 3.3 基于垂直投影和优割字符分割方法14 3.4 实验结果及分析18 第四章 汽车牌照字符分割 20 4.1 车牌图像倾斜的纠正20 4.2 基于投影图的字符图像的分割24 4.3 字符的归一化27 第五章 汽车牌照的字符识别 30 5.1 车牌字符特征提取30 5.2 基于 BP 神经网络的字符识别.31 5.3 本文的 BP 网络结构.42 总结 .43 参考文献 .44 附录 .46 致谢 .47 - 1 - 第一章 绪论 20 世纪 90 年代以来，伴随着我国经济的快速腾飞，国民经济的高速发展，机动车辆 规模及数量大幅度增加，与此同时，公路上违章违规的车辆也屡见不鲜，由此造成的交 通事故、环境污染屡见不鲜，鉴于此，城市交通管理现代化水平的提高势在必行，迫切 需要采用高科技手段来实时监控和检测路上行驶的车辆，以加强交通管理水平。针对这 种情况，管理部门已经着手进行诸如交通信号自适应控制系统、智能交通监控系统、GPS 车辆管理及导航系统、停车场自动收费系统、汽车牌照自动识别等智能化交通管理系统 的研制。由于汽车牌照是机动车辆管理的主要标志符号之一，因此车辆牌照识别系统的 研究就显得愈加重要。该系统的应用要求对车牌正确识别具有较高的识别率。这就需要 该系统能够对环境光照条件，拍摄位置和车辆行驶速度等因素的影响有较大的鲁棒性， 并能够满足实时性的要求。 1.1 选题的背景和意义 鉴于交通管理的现状，智能交通系统 (Intelligent Transportation Systems，ITSs)的研 究正在如火如荼的开展，目前的研究表明：ITSs 可以帮助提高交通管理的机动性和交通 安全，通过使用这些先进的技术，也提高了交通管理的效率。ITSS 由 16 种基础技术知识 系统构成l，这些系统又被分为：智能基础设施系统和智能车辆系统。 LPR 技术隶属于于智能交通系统，也是车辆自动识别技术 (automatic vehicle identifi cation，AVL)的重要组成部分，它在现代交通监管及管理中发挥着越来越大的作用。LPR 被认为是智能基础设施系统的核心构成，例如电子收费系统(收费站，负费停车场)，高速 公路，和交通监管上的人工管理系统。此外，由于日益增长的安全需求，使得车辆识别 技术变得极为重要，为了监控身份未知的车辆进入一些隐私领域，上述提到的系统也可 被用于车辆进出控制系统。 LPR 的任务是处理、分析摄取的汽车图像，用以自动识别汽车牌号。在不影响汽车 状态的情况下，大部分 LPR 系统的工作由计算机自动完成，从而可降低工作复杂度。已 有的 LPR 技术或多或少都还存在某些缺陷，尤其是在实时性和识别率方面不够成熟。本 文的研究是希望通过算法深入探讨，建立基于算法的实际系统，在固定的交通路口或收 费站口，配合已安装的视频监视系统，在接收视频的后台实时的对前方或后方运行的汽 车进行车辆牌照检查。当发现违章车辆闯关或排放大量污物、灰尘时，通过采集该汽车 的静态视频图片，并将其资料纳入后台处理，实现实时的车辆信息管理，从而既达到了 省时、省力的效果，提高了交通管理的现代化、智能化水平，又减轻交通管理、环境监 护部门的压力。 因此，本课题的研究对于提高城市交通管理水平，维护城市环境清洁，加快交通管 理，环境保护现代化步伐具有很重要的实际使用价值。 1.2 车牌识别的技术研究 一个 LPR 系统通常包括前端视频采集设备，照明设备，基于 DSP 的硬件图像处理平 - 2 - 台，终端计算机系统，识别软件，后台数据 LPR 系统中，外围摄像系统把采集到的视频 信息，经由一个高速的网络传输系统，把图像交由后台的视频图像处理平台进行处理， 处理的结果根据实际需要与终端平台，数据库，或其它输入输出外设进行互连。在整个 系统中，核心的部分是基于软件算法实现的图像处理模块。 硬件参考图如图 1-1： 图 1-1 汽车牌照识别系统硬件构成 根据图 1-1，车牌自动识别的算法主要分成三个步骤:车牌定位、字符分割、字符识别 。目前这三方面的研究情况大致如下： 1.2.1 车牌定位技术 在对实际车牌区域定位之前，需要进行相应的预处理。这些预处理包括边缘检测、 二值化、灰度均衡化和对比度处理等等。预处理的效果对随后的定位处理有很大的影响 ，因此选择可靠的预处理算法也是非常重要的。 为了快速、准确、可靠地定位出车牌位置，学者们提出了许多定位算法，大部分定 位算法是基于车牌所具有的特征来进行的。目前所利用的车牌特征主要分为空域特征和 变换域特征两大类其中空域特征主要有： （1）车牌区域内的边缘灰度直方图统计特征，车牌区域内的边缘灰度直方图具有两 个明显且分离的分布中心，可以较好地提取边缘。 （2）车牌区域的灰度分布特征，穿过车牌的水平直线其灰度呈现连续的峰、谷、峰 的分布，具有纹理特征。 （3）车牌区域水平或垂直投影特征，车牌区域水平或垂直灰度投影呈现连续的峰、 谷、峰的分布。 （4）车牌的颜色特征，即车牌字符和背景为几种固定的颜色组合。 （5）车牌的几何特征，即车牌的高、宽以及高宽比，应在一定的范围内。 （6）车牌形状特征，字符排列格式特征。车牌有矩形边框，字符位于矩形框中，且 有间隔，并且每个字符的高宽和字符间的间隔满足一定的条件。 目前车牌变换域特征被利用的较少，主要是频谱特征，即对图像做行或列的 DFT 变 换，其频谱图中包含了车牌的位置信息。车牌定位方法涉及到的具体方法有：区域生长 法，构造灰度模型法，二值图像的数学形态学运算法，灰度图像的数学形态学运算法， - 3 - 自适应边界搜索法，DFT 变换法，模糊聚类法等。 1.2.2 字符分割技术 车辆牌照字符分割是指将车牌区域分割成单个的字符区域，以便后续字符识别算法 对单个字符进行处理，其难点是对粘连、断裂字符的分割。字符分割常采用垂直投影法2 实现。由于字符块在竖直方向上的投影，必然在字符间或字符内的间隙处取得局部最小 值，因此字符的正确分割位置应该在上述局部最小值附近，并且这个位置应满足车牌字 符的书写格式、字符尺寸限制和其它一些条件。在理论上，利用垂直投影法对断裂字符 进行分割应具有较好效果；但是对于字符区域连接紧密的字符的分割利用投影法可能效 果比较差，可以利用模板的方法或者回溯的方法来进行处理。 1.2.3 字符识别技术 目前用于车牌字符识别中的算法主要有基于模板匹配的方法、基于特征匹配的方法 以及基于人工神经网络的方法。 （1）基于模板匹配的字符识别的基本过程是：首先对待识别字符进行二值化并将其 尺寸大小归一化为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳 匹配作为结果。但是字符大小、方向、字体的变化以及噪声都将严重地影响模板匹配的 正确率。在实际应用中，为提高正确率，往往必须使用多个模板进行匹配，而处理时间 则随着模板个数的增加而增加。基于关键点的模板匹配算法对传统的模板匹配算法做出 改进，此算法先对待识别字符进行关键点提取，即对字符进行拓扑分析以得到边符边缘 的关键点，然后对关键点去噪，最后再确定字符的分类。使用关键点进行模板匹配有效 地减少了模板中象素点的个数，只利用字符的关键点进行模板匹配，既提高了识别速度 ，又具有较高的识别率。 （2）基于特征匹配的字符识别方法是:提取字符的相关特征，然后利用这些特征来进 行字符匹配，选择最接近匹配结果。基于特征匹配的算法效率比模板匹配算法效果更好 ，但是特征的正确提取比较困难。 （3）近年来，人工神经网络以其抗噪声、容错、自适应、自学习能力强，融合预处 理和识别于一体，识别速度快等特点受到人们重视，在字符识别技术中得到了广泛应用 。在许多系统中，其字符识别均采用了人工神经网络方法。用人工神经网络进行字符识 别主要有两种方法：一种方法是先对待识别字符进行特征提取，然后用所获得的特征来 训练神经网络分类器。这种网络的识别效果与字符特征的提取有关，而字符特征的提取 比较困难。另一种方法则充分利用神经网络的特点，不进行特征提取，直接把待处理图 像输入网络，由网络自动实现特征提取直至识别，这种网络信息处理量很大，但是随着 D SP 和计算机硬件性能/价格比的提高，其性能将会进一步得到改善。 我国车牌识别系统技术相对他国的车牌识别系统来讲，其需求和难度更大3，原因是 ： 1.我国车牌的字符种类较多。我国汽车牌照的构成除了常规的英文字母和数字外，还 有汉字，而汉字的识别和字母与数字的识别有很大的不同，从而增加了识别的难度。 - 4 - 2.我国汽车牌照的类型众多。对应于不同用途和车型的车辆，我国规定了军车，警车 ，摩托车，农用运输车，货车，普通车等牌照格式。 3.我国车牌本身的种类较多。对应于不同类型的牌照，我国汽车牌照的底色有蓝、黄 、黑、白等多种颜色，字符颜色有黑、红、白等。 4.牌照的质量无法得到保证。由于我国交通管理相对不太严格，经常会出现牌照被污 损，字符模糊不清的车辆上路，这样的车牌对光线的散射性不好，会影响识别的准确率 。 现阶段，国外对汽车牌照识别的研究，较为著名的有以色列 HI-TECH 公司的 SEE/C ARSYSTEM 系列，新加坡 OPTASIA 公司的 VLPRS 系列都是比较成熟的产品。但是其中 的 VLPRS 产品主要适合新加坡的车牌，而 HI-TECH 公司的 SEE/CARSYSTEM 有多种变 形的产品来分别适应某一个国家的车牌，其中包括对我们中国大陆的车牌进行识别，但 是这些产品都存在着一定的缺陷，特别是这些产品都不能很好的支持我们内地车牌中的 汉字。另外日本，加拿大、德国、意大利、英国等各个西方发达国家都有适合本国车牌 的识别系统。 国内在上个世纪 90 年代开始了车牌识别的研究。目前比较成熟的产品有中科院自动 化研究所汉王公司的“汉王眼” ，它采用 CMOS 摄像头+DSP+MPU 组成一个高速运行的 硬件平台，C 帕 S 摄像头直接输出数字信号，可方便地与 DSP 连接；用 DSP+MPU 代替 工控机，可充分利用 DSP 在图像处理方面的速度优势和单片机工作可靠的优点，使图像 处理成为一个完整的系统。 “汉王眼”的核心技术是光学字符识别(OCR)，这项技术可以 对摄像机、扫描仪等设备采集的图像数据进行自动处理，识别图像中的文字符号，并存 入计算机智能交通管理系统用于交通管理。同时，各大高校如西安交通大学的图像处理 和识别研究室、上海交通大学的计算机科学和工程系、清华大学人工智能国家重点实验 室、浙江大学的自动化系等也做过类似的相关研究。 目前的国外科研机构正试图通过揭示人的文字识别的机制，进而希望建立在这个基 础上来进行文字识别理论的研究和技术的开发。目前离线的文字字符识别产品已大量问 世，有代表性的国内外系统和研究小组有：美国的 Expervision 的 PTK(Recognition Cool Kits)和纽约州立大学 Bufalo 分校的 Cedar 研究中心，加拿大 Conordia 大学的 Cenparmi 实验室，日本东芝的 Textreader。同时，构成字符的识别理论中的一个重要分支是对我们 汉字识别的研究，1996 年美国 IBM 公司的 Casey 和 Nagy 发表了一篇关于用模本匹配法 识别 1000 个印刷体汉字的汉字识别文章拉开了对汉字识别研究的帷幕，之后，我国、日 本和加拿大分别掀起了研究汉字识别的浪潮。 1.3 本文研究的内容 由于神经网络具有较强的自组织学习能力、容错性、鲁棒性及非线性处理等优点， 所以本文选择了神经网络技术作为研究的主要方法，在此基础上，详细研究了车牌识别 算法的实现方法，主要包括车辆牌照的分割与提取和车牌字符的识别。其中车牌字符的 识别又包括了字符的分割与提取和字符识别两部分。本文车牌识别的步骤为:图像预处理 - 5 - 、车牌定位、字符分割、BP 网络训练、字符识别等几个部分。其主要安排如下： 1.第二章首先介绍车牌预处理及定位与分割的基础知识，包括图像预处理的知识、车 牌定位算法、Radon 倾斜矫正知识等。 2.第三章介绍汽车牌照字符分割方法。通过研究几种传统的车牌定位方法及相应的算 法，最后提出本系统采用的方法：基于一个改进的自适应 PCNN 神经网络来进行边缘检 测，随后结合数学形态学的操作来进行车牌定位。 3.第四章介绍对车牌进行定位分割和字符归一化的方法。首先介绍并比较几种典型的 校正车牌的方法并分析其不足之处，然后提出本系统采用的一种改进后的倾斜校正车牌 方法。之后用投影特征图得到分割后的字符，为了方便下步的处理，本文随后采用了字 符归一化的技术。 4.第五章介绍字符识别算法。考虑到传统的串行，无学习功能的机械式计算方法的缺 陷，本文采用了具有大规模并行处理和分布式信息存储，良好的自适应，自学习能力的 改进即人工神经网络，使得该法成为本文进行字符识别所使用的主要方法。 5.最后，对本文的工作进行总结，并指出不足和需要进一步改进的地方。 - 6 - 第二章 车牌预处理及定位与分割算法研究 2.1 图像预处理 采集的车牌图像在进行定位、分割、识别之前需要对原图像预处理，这是因为一些 诸如车牌本身问题及拍摄环境条件等因素的影响，导致图片模糊，无法直接进行车牌的 定位及后续的处理工作。因此在进行车牌定位之前，都会对采集的原图像进行必要的预 处理，比如图像格式转换、平滑去噪处理、几何变换等。通过图像的预处理，可以使车 牌的主要特征更加突出，便于更好的提取车牌。 2.1.1 灰度化 通过摄像头采集的车牌原始图像都是彩色图像。彩色图像包含大量的颜色信息，它 的每个像素都包含三个不同的颜色分量 R、G、B，占用的存储空间比较大，对其进行处 理时会降低系统的执行速度。灰度图只含亮度信息不含颜色信息，其中亮度值量化为 256 。灰度图进行算法处理相对简单，处理灰度图像的速度会比处理彩色空间的图像快很多 ，因此常常将彩色图像进行灰度处理后再做下一步的算法分析。常规的灰度化转换方法 为：首先将原始图像从 RGB 空间转化 YCbCr 空间，Y 分量包含亮度信息，Cb 分量包含 色度信息，Cr 分量包含饱和度信息，然后仅提取 Y 分量即生成灰度图。进行灰度转换时 使用如公式(2-1)： Y = 0.299 R + 0.58G +0.114B (2-1) 灰度化效果如图 2-1 所示。 （a）原图 （b）灰度化处理后 图 2-1 灰度化处理前后对比 2.1.2 二值化 彩色图片转换成灰度图片后，灰度值是介于 0 到 255 之间的数值，为了方便识别， 还会对灰度图进行二值化，大于阈值以上的值取 1，小于阈值的值取 0，阈值的选择是车 牌图像二值化的关键步骤，通常有全局阈值和局部阈值。全局阈值的二值化算法是指在 整幅图像中使用一个统一的阈值对灰度图像进行二值化，当图像背景比较单一时，采用 全局阈值进行图像处理一般可得到比较满意的结果，并且算法较简单易于实现。局部阈 值的二值化算法是指在整幅图像中使用多个阈值对灰度图像进行二值化，主要针对照明 不均匀、背景灰度变化较大的图像，根据像素的坐标位置关系自动确定不同阈值，由像 - 7 - 素的灰度值和该像素点周围的像素局部特性来确定像素的阈值进行二值化。 二值化效果如图 2-2 所示 图 2-2 二值化处理 2.1.3 均值滤波 滤波是一种对图像进行增强的算法，通过对图像进行滤波处理可以实现图像的光滑 、锐化。均值滤波是一种非线性的图形滤波器，它的原理是基于排序统计理论的一种能 有效抑制噪声的信号处理技术，就是把数字图像或数字序列中一点的值用该点的一个邻 域中各点值的中值代替，让周围的像素值接近的中间值，从而消除孤立的噪声点。图 2-3 显示了对加入了椒盐噪声的图片进行均值滤波后的效果。 （a）均值滤波前 （b） 均值滤波后 图 2-3 均值滤波前后对比 2.1.4 形态学预处理 数学形态学形成于 1964 年，法国巴黎矿业学院 G.Matheron 和其学生 J.Serra 从事铁 矿核的定量岩石学分析，提出了该理论4。它是一门建立在严格数学理论基础上的学科， 其基本思想和方法对图像处理的理论和技术产生了重大的影响。近年来，数学形态学的 应用已经覆盖了图像处理的所有领域，包括文字识别、医学图像、视觉检测、工业检测 、材料科学等。数学形态学图像处理是一种邻域运算，将这种邻域称作结构元素，在每 个像素位置上，结构元素与对应的区域进行运算，结果作为输出图像的对应像素。数学 形态学的运算对象主要是二值图像。数学形态学运算的效果由结构元素的大小和逻辑运 算决定，通常有膨胀运算、腐蚀运算、开运算和闭运算。 (1)膨胀运算 膨胀的原理是把与物体接触的全部背景点合并到该物体中，使边界向外扩张的过程 ，通熟易懂地理解就是可以对图像进行变粗。定义结构 A 被结构 B 腐蚀表示为 AB， 数学形式可表示为： (2-2) 膨胀运算效果如图 2-4 所示 - 8 - 图 2-4 膨胀处理 (2)腐蚀运算 腐蚀的原理是消除边界点，使图像的边界向内收缩，具有收缩图像的作用。简单地 讲就是用结构元素对一幅图像进行某种操作，通过这种操作可以消除图像内部不相关的 细节。定义结构 A 被结构 B 腐蚀表示为 AB，数学形式可表示为： (2-3) (3)开运算 该运算是先进行腐蚀运算再进行膨胀运算的结合过程，作用是可以消除图像中一些 孤立的毛刺以及小点，同时可以连通两块或几块区域中的小点，使较大物体图像的边界 得到平滑，同时，总的位置和形状没有改变。定义结构 A 被结构 B 腐蚀表示为 A o B， 数学形式可表示为： BBABA)( （2-4） (4)闭运算 和开运算过程相反，即先膨胀后腐蚀。该运算的作用是填平小孔，连接临近物体图 像，平滑物体图像边界，结果是总的位置和形状不变。定义结构 A 被结构 B 腐蚀表示为 AB，数学形式可表示为： BBABA)( （2-5） 2.1.5 边缘检测 边缘检测是一种对图像进行定位、分割和提取的重要方法，其主要是对图像的边界 进行分析，可以大幅度地减少了数据的运算量，并且可以剔除一些不相关的信息，这样 子就保留了图像原本的一些重要的结构属性。目前广泛使用的边缘检测的方法有以下几 种：Robert 算子，Sobel 算子，Canny 算子，Prewitt 算子，log 算子等。在本文的仿真中 ，采用的是：Robert 算子对图像进行边缘提取，下图为 Robert 算子边缘提取图像，如图 2-5 所示。 - 9 - 图 2-5 Robert 算子边缘检测图 - 10 - 2.2 车牌定位算法介绍 车牌定位就是将车牌图像从整个待处理的图像中定位分割出来。由于车牌字符的多 样性以及车牌背景的复杂性，使得车牌定位成为车牌识别过程中关键的一步，目前还没 有通用的定位算法。现在常用的车牌定位算法有基于字符纹理的定位、基于数学形态学 的定位、基于边缘检测的定位、基于颜色空间的定位等方法。下面对这些算法进行比较 如表 2-1 所示。 表 2-1 字符定位算法比较 方法复杂度稳定性 纹理特征定位法简单 定位较精确，应用广，缺点是容易受 到车牌图像质量的影响，造成车牌定位失 败 数学形态学定位 法 简单 不受噪声影响，不依赖图像的状况， 定位较精确，适用于对车牌区域进行粗定 位，缺点是对车牌图像的背景环境有一定 要求 边缘检测定位法简单 不受图像形态如倾斜等情况的影响， 定位分割较精确，速度快，适合对车牌进 行粗定位 颜色空间定位法较复杂 根据车牌字符与背景颜色的差别，进 行车牌区域定位，定位准确度较高，缺点 是车牌颜色和车身颜色要有一定的对比度 - 11 - 第三章 汽车牌照字符分割方法研究 3.1 车牌字符的一般特征分析 在对车牌字符进行分割之前，先分析一下车牌中字符的一般特征，为后面进行字符 的分割打下基础。中国的车辆牌照一般由三种字符组成：汉字、英文字符、阿拉伯数字 。牌照的规格也各不相同，各种字符的组合多种多样，概括起来具有以下一些特征： 车牌中均为七个字符，常规情况第一个字符为汉字，第二个字符为字母，第三个 到第七个字符为字母或者数字； 车牌中七个字符的外接矩形相同，高度和宽度的比例相同（除“1”外） ； 车牌的牌照架，以前是根据车主的要求牌照架有所不同，有的还没有安装牌照架 ，这不适合利用边框信息进行字符分割。 由于多种原因，比如车牌的磨伤和破坏，使得在进行二值化处理的时候，字符不 连续断裂或者粘连在一起； 摄像机在采集车牌图像的时候，由于曝光、焦距等原因，不是字符的区域会成为 高亮度区域； 车牌上面有安装的柳钉，在处理的时候也会受到它的影响。上述特点只有第一条 对字符分割有所帮助，第二条到第六条都给字符分割增加了困难。 3.2 字符分割方法研究 对字符分割技术的研究从 20 世纪 70 年代研究目前常用的车牌字符分割算法主要有 两种，分别是垂直投影法和连通域法。 3.2.1 基于垂直投影的字符分割算法 由于字符块在竖直方向上的投影不仅在字符间取得局部最 小值，而且在字符内的间 隙处也能取得局部最小值。因此，字符的正确分割位置应该在上述局部最小值的附近， 并且这个位置应满足车牌字符的书写格式、字符的尺寸限制等条件。基于垂直投影的字 符分割算法是在车牌照区域垂直投影图上从左至右检测各坐标的垂直投影数值，当找到 第一个局部最小点的时候，认为这个点是最左面字符的边界；然后，在水平方向上从右 至左检测坐标的垂直投影数值，当找到第一个局部最小点的时候，认为这个点是最右面 字符的边界；得到两边字符的边界之后，用同样方法可以找到每个字符的边界。 基于垂直投影法字符分割的步骤为： （1）计算车牌二值图像的垂直投影图，并归一化到合适的范围。 （2）从左到右取投影图外围包络线的波谷点，并将这些波谷点按照横坐标值升序排 列。 （3）根据各波谷点的纵坐标以及相邻波谷点横坐标的差值对所有的波谷点进行取舍 ，并将取舍后的波谷点依序重新排列。 （4）从波谷点序列中选取最左和最右的波谷点，作为车牌第一和最后一个字符的分 割界限，并计算两波谷点的距离作为车牌的长度。 - 12 - （5）由波谷点序列及评判函数来确定其余各字符最佳的分割点，并对各字符进行分 割。 （6）输出分割后的字符图像。 从计算过程可以看出，该算法对字符因断裂分成上下两个部分的情况有较强的纠错 能力。但是，当字符因断裂而形成左右两个部分时，在计算波谷点时，该算法就会出错 。因此，可以利用一些先验知识来做进一步的处理，通过最左和最右边两个字符的边界 估算出整个车牌区域的宽度，标准车辆牌照由 7 个字符组成，大约 8 个字符宽，可以利 用这些先验知识估计出每个字符的大概宽度，然后把切分过度的字符进行合并，这样可 以改进切分效果。 3.2.2 基于连通域的字符分割算法 车牌上的字符除了第一个是汉字外，其它的都是字母或数字，即在理想状态下是“ 全”连通的。因此，可以使用连通域的方法对车牌进行字符分割。连通域算法的思想是 ：对车牌图像的二值化图像进行扫描，标记连通域，将不符合车牌字符特征的连通域删 除，对保留的连通域使用某种评判函数进行评判，选取合适的连通块作为切割后车牌字 符。 基于连通域算法的步骤可描述为： （1）找到图像的所有连通域，然后确定对每个连通域的起动和结束位置，构成最少 矩形区包含连通域，表示为 A(i) i=1,2n，n 为连通域总数。 （2）计算的每矩形地周围边境，并分别记为 A(i)l 和 A(i)r。 （3）按顺序从左到右，跟随每个矩形，相比矩形左右边界利用合并、分割算法将过 小区域合并、过大区域分割。然后，依据每个区域的坐标位置重新组织所得的区域。 （4）利用评判函数将最佳分割位置选取出来，进行字符分割。 （5）输出分割后的字符图像。 但在实际情况中，由于实际车牌图像通常会有噪声，产生字符的断裂和交叠等情况 ，因此，单凭连通域很难取得满意的结果。于是提出了许多改进方法，例如二值化方法 的改进，使二值化图像尽量避免字符的粘连和断裂。也可以考虑利用车牌本身的先验知 识对连通域进行合并或者切分。另外，对字符粘连所产生大的连通域可以考虑重新选取 阈值再进行切分的方法。 3.3 基于垂直投影和优割字符分割方法 由于垂直投影法对车牌照字符的切分容易产生过度切分，将一个字符切分成两个， 而连通域法由于受到二值化算法的限制，容易产生字符粘连，产生大的连通域。综合分 析以上算法，本文研究了一种基于垂直投影和优割字符的字符分割算法，该算法综合了 垂直投影法和连通域法的优点。首先将图像二值化，计算垂直方向上的投影图；再利用 字符的高度信息来确定优割字符；最后由优割字符生成各种可能的分割结果，计算评判 函数代价，选择代价最小的组合作为输出的分割结果。 - 13 - 3.3.1 图像预处理 倾斜校正和水平切割后，需要牌照图像二值化，转化为黑底色白字对不同颜色的牌 照处理，采用 CASDA 算法进行二值化处理，然后计算二值化后的图像垂直投影，结果如 图 3-1 所示。 (a) 水平切割图像 （b）二值化图像 （c）垂直投影图像 图 3-1 二值图像的垂直投影图 3.3.2 字符垂直切分法 从图 3-1 可以看出，二值化图像有严重断裂、粘连和边框等干扰噪声的存在，如果 直接采用传统的垂直投影或者连通域的方法进行分割，则很难达到准确分割的目的。为 此，本文提出一种优割字符的方法，并将其用于垂直分割算法。 （1）优割字符确定 通过垂直投影法和连通域法可知，连通域法是在车牌的二值化图像中寻找外接矩形 或中心点符合标准车牌的区域，而投影法是在车牌的二值化图像的垂直投影图中寻找投 影宽度或“波谷”符合的标准车牌的区域。假设车牌图像在二值化过程中某一字符有下 列某种情况：如果发生字符断裂，使字符分成上下两个部分，那么使用连通域算法进 行字符分割时，会将一个字符判别为两个字符，而使用垂直投影算法则不受此影响。 如果发生字符断裂，使字符分成左右两个部分，那么，不论使用连通域算法还是使用垂 直投影算法都不能准确确定该字符。如果发生字符粘连，使两个或两个以上字符发生 粘连或字符和边框发生粘连形成一个连通部分，那么使用连通域算法进行字符的确定就 会失败，而使用垂直投影算法则应通过垂直投影图的阈值来排除这种情况，而在一般情 - 14 - 况下这个阈值很难确定。对于外形特殊的字符，例如字符“1” ，通过连通域方法的中 心点可以很好的确定出字符的位置，而投影法常常无能为力。为此，引入优割字符的概 念。优割字符即在车牌的二值图像的垂直投影图中，寻找满足区域连通，且宽度与车牌 高度的比值介于 0.4 与 0.7 之间的投影区域。因为在水平界精确确定以后，图像的高度即 为字符的高度，由理想车牌的先验知识可知，车牌中字符的高宽比为 2：1。因此，可以 确定字符的宽度约为 0.5 倍的车牌图像宽度。 在确定出优割字符宽度之后，在车牌图像二值化图像的垂直投影图中，将符合优割 字符条件的区域进行标注，这些区域为字符分割时的优先选择区域。然后，对垂直投影 图进行扫描，将位于两个优割字符之间且宽度大于一个优割字符宽度的空隙进行优割字 符填补，这样就得到了一系列连续的优割字符。 （2）标准模板的生成 在确定了分割的优割字符之后，即确定了字符的高度和宽度，可由车牌的先验知识 生成理想的车牌结构，包括各字符的位置以及字符的中心点距离等。 （3）字符的试探分割算法 本算法首先从垂直投影图中的所有优割字符出发进行试探分割。由于优割字符并不 一定就是最后分割出的字符，有时车牌的边框等也满足优割字符的条件，但它并不是一 个车牌字符，因此，需要将这些伪字符在后续处理中剔除。试探法计算过程描述如下： 计算获得的优割字符的平均宽度，以该宽度值作为车牌字符的理想宽度，然后结合车牌 的高度以及车牌的句法特征，构造出理想的车牌模板。保证车牌模板在实际车牌区域中 ，依次选取优割字符，并以该优割字符依次作为实际车牌的七个字符，结合其余的优割 字符来构造出实际分割车牌，最后利用前面所构造的车牌模板与当前构造出的实际分割 车牌进行覆盖匹配，试探过程如图 3-2 所示。 图 3-2 试探分割对比 在每次试探分割后由评判函数评判本次的可信度，在全部试探完成后选择可信度最 大的分割作为最终的分割结果。由于车牌自身条件的约束，评判都是在很少的次数内结 束，评判次数由车牌粗定位的效果决定，如果车牌定位后的图像中车牌左右残留部分较 大，那么字符分割的评判次数就多，反之次数很少。一般评判次数为 23 次，最多不 超过 5 次，可以满足实时车牌识别系统的要求。 评判函数定义如下： - 15 - (3-1) 其中，函数表示车牌中除第 2、3 个字符的间距是最大的，其它字符间距 都是均等这一特征：s2 表示的是第 2、3 个字符的间距与其它字符间距的误差之和； 表示标准模板的字符与车牌各个字符中心点的匹配情况，其中 y 是 模板与实际车牌中各个字符中心距离的方差；0.3M 是表示优割字符可能是一个实际车牌 的字符，M 表示滑动匹配过程中采用的优割字符数量。 3.3.3 字符分割结果调整方法 对于个别车牌，当第一个或者最后一个字符不是优割字符时，也就意味着该字符是 一个插入形成的字符，此时，需要对该字符进行字符空隙及字符宽度的调整。调整的方 法为：首先计算除该字符外的其余六个字符的平均字符宽度及平均字符空隙宽度。然后 ，判断该字符距前后一个或者前一个字符的空隙的宽度是否等于所计算的平均空隙宽度 ，如果相等则不进行调整，否则将该字符与后一个或前一个字符的空隙宽度设置为所计 算出的平均空隙宽度。同理，如果该字符的宽度不等于计算出的平均字符宽度，则将该 字符宽度设置为计算出的字符平均宽度。 在将每个字符分割出来之后，还需对其进行大小归一化和亮度归一化，以便于下一 步的特征提取和神经网络识别。本文将所有分割出的字符图像全部归一化为 1632 大小 ，并采用 POSHE 算法对字符图像进行亮度归一化。图像的分割结果如图 3-3 所示。 图 3-3 图像的分割结果 从上图的结果中可以看出，分割的效果较好，消除了字符粘连、断裂和车牌边框影 响，对下一步的识别非常有利。 3.4 实验结果及分析 为了验证算法的有效性，本文分别对 100 张收费口、停车场等抓取的理想车牌和 100 张高速公路及夜间抓取的模糊车牌进行分割，取得了较好的测试效果。图像分割结果如 表 3-1 所示。 表 3-1 分割结果 车牌情况图像张数分割比例 清晰的车牌200100% 模糊的车牌20095% 从表 3-1 可以看出，对于理想环境下拍摄的车牌，本文研究的算法可以达到 100%的 - 16 - 分割率，对于模糊车牌也可以达到 94%的分割率。本文的优割字符方法的实质是将垂直 投影与连通域分割算法有机结合。因此，可以获得单一技术无法达到的良好性能，对不 同规则的车牌字符分割具有一定的指导意义。通过实验可知，一些受光照影响和模糊的 车牌，其二值化图像中断裂和粘连严重，但在新方法下均能得到正确的分割。通过对分 割错误的 6 张模糊车牌进行进一步调试，发现有 4 张是由于车牌本身模糊难辨，垂直投 影图中没有找到优割字符造成的。剩余的 2 张是由于字符断裂、粘连及边框干扰严重而 导致分割错误。部分车牌图像分割效果如图 3-5 所示。 a 定位结果图像 b 分割结果图像 图 3-5 部分图像分割效果图 从图 3-5 可以看出，本文研究的方法对图像中字符模糊及光照不均匀等有很强的鲁棒 性能，分割效果良好。对于图中第二副图像“辽 F03118”和第三幅图像“辽 F82232” ， 由于车牌污损使得字迹模糊、断裂。此外，在第四幅图像“吉 B29679”中，车牌区域的 光线明显要强于非车牌区域，对于这些非理想状态下的车牌图像，如果采用单一的垂直 投影法或连通域法进行字符的分割往往会失败或部分字符分割失败，而由于本文方法结 合了垂直投影和连通域方法的优点，通过优割字符以及垂直投影图进行评判分割，使得 这些车牌都得到了正确的分割。 - 17 - 第四章 汽车牌照字符分割 定位后的车牌，为了在后续的过程中，把车牌字符准确的识别出来，必须要把单一 的车牌字符一个一个的准确分割出来。但在实际的处理中，我们要识别的车牌字符情况 比较复杂，可能会存在较大的畸变、噪声干扰、多余边缘等问题，同时，字符的切分又 是在水平和竖直两个方向上将单个字符区域给框起来。为了正确的对字符进行分割，便 于后继的字符识别，在进行字符切分之前，需要进行车牌倾斜角度的判断，若倾斜角度 超过一定的值，使得字符发生畸变，就要对车牌进行旋转。 本章主要完成如下工作； 1.对车牌进行倾斜检测，对超出倾斜角度范围的车牌，进行校正； 2.根据车牌本身的物理特征，进行字符分割。 4.1 车牌图像倾斜的纠正 4.1.1 车牌图像纠正的几种方法 车牌图像在拍摄时，由于摄像机的俯仰角度，摄取方向与车辆牌照的不平行，造成 拍摄的牌照图像会发生倾斜与变形，这个问题会影响到后续牌照字符的分割与识别。为 了提高字符识别的正确率，对发生倾斜角度的牌照进行纠正是非常必要的。 目前常用的车牌校正方法主要有以下几种: (1) HOUGH 变换法5，这是目前最常用的一种方法。 HOUGH 变换最早是 1962 年由 Paul Hough6首先提出，用来实现一种直线从图像空 间到参数空间的映射。它的基本思想是点线的对偶性，即图像空间里共线的点对应参 数空间里相交的直线。反过来，参数空间相交于一点的所有直线在图像空间里都有共线 的点与之对应。为了解决垂直直线斜率无限大的问题，一般通过直线的极坐标方程: （4-1） 进行 Hough 变换，即用正弦曲线表示图像空间中直线上的点，其中: ，是图像R 空间中直线到原点的距离，是直线与 x 轴正向的夹角。实际应用中，将参数空20， 间离散化成一个累加器阵列，按照上式将图像空间中的每一点(x, y)映射到参数空间对应 的一系列累加器中，使对应的累加器值加 1。如果图像空间中包含一条直线，则根据其原 理，在参数空间中有一个对应的累加器会出现局部最大值。通过判断这个局部最大值， 可得到与该直线对应的一对参数，从而检测出该直线。， 实际应用中，首先通过 HOUGH 变换求取车牌的边框，进而确定车牌的倾斜角；或 者由 HOUGH 变换提取牌照边框的参数后，再求解牌照区域四个点的直角坐标，然后通 过双线性空间变换对发生畸变的车牌图像进行纠正。 (2)通过模板匹配寻找牌照区域的四个顶点，再通过双线形空间变换重建矩形车牌区 域7。 - 18 - (3)通过求取车牌字符区域的局部极小和局部极大特征点，再进行投影确定车牌的倾 斜角。 (4)通过求取车牌上各字符连通区域的中心点，然后拟合为直线来确定车牌的倾斜角8 。 由于图像中车牌的边框有时并不明显，而且由于外部环境如噪声、污迹，运动模糊 等干扰的影响，造成 HOUGH 变换后参数空间的峰值点很分散，这会影响到方法(1)和(2) 的实际纠正效果，也会使得(3)的检测精度下降；同时，由于，二值化的原因，车牌上的 字符不可避免的会发生粘连和断裂现象，这