基于字符分割树形状的多风格车牌识别系统

1、A Multi-style License Plate Recognition SystemBased on Tree of Shapes for CharacterSegmentationFrancisco Gomez Fernandez1, Pablo Negri2, Marta Mejail1, and Julio Jacobo11 Universidad de Buenos Aires2 PLADEMA, Universidad Nacional del Centro de la Provincia de Buenos Aires基于字符分割树形状的多风格车牌识别系统摘要:这项工作的目

2、的是要开发出一个多风格的车牌识别（LPR）系统。 LPR系统大部分是由国家开发利用的。在这里，本文提出了一种新的基于图像树形状的特征提取算法。这种方法能很好地应用于不同风格的车牌，不需要倾斜或旋转校正并且它是无参的。此外它在规格变化时是不变的，相反在光照仿射改变时是变化的。我们用两个不同的数据集测试了LPR系统，实现了高性能率：车牌检测和字符识别的成功超过了90，而在字符分割方面成功率则高达98.17。1 引言 因为车牌识别（LPR）直接应用于现实生活的方方面面，所以它是一个非常热门的研究领域。安全控制及交通安全应用，如识别被盗车辆和车速限制执法，已成为非常重要的应用领域，其中车牌（LP）分析

3、起着根本性的作用1。一个车牌识别系统可分为三个步骤：LP检测，字符分割和字符识别。字符的成功识别在很大程度上取决于通过分割步骤获得的限位框的质量。因此，我们认为分割是车牌识别系统中的非常重要的一步。在1中，我们对LPR进行广泛地检测。然而，现阶段，能够使LPR系统成功地处理来自不同国家的风格迥异的车牌问题（形状、前景、背景、颜色等）是一个开放的研究领域。几个试验检测的LPR工作都能实现高性能率，但其大部分是取决于国家的。6，10，11中，处理了多风格的LPR分析。此外，6和11使用类似的程序来搜寻LP区域并增加了识别反馈，当识别失败时能完善检测步骤。特征提取步骤通常是通过二值化方法执行关联的成

4、分分析10，11。二值化阈值的选择是一项艰巨的任务，如果选择不正确，我们很容易得到多余的检测或错过一些检测。4中提出了一个有趣的方法，即同时处理检测与分割。在11，我们使用傅立叶描述的统计方法和Reeb图的结构方法来区分模棱两可的字符。此外，为更好地识别字符，我们通过6三层人工神经网络将之前提取的字符固定分块，再进行计算。在这项工作中，我们开发适应于不同国家的静像LPR系统。我们的工作重点进行是基于图像树的形状的LPR系统的分割步骤。这被认为是一种新的特征提取方法。这种方法能很好地应用于不同的LP风格，并不需要旋转或倾斜校正并且是无参的。此外它在规格变化时是不变的，相反在光照仿射改变时是变化的

5、。这些属性可通过派生树的形状8得到。我们用两个数据集测试了系统（参见例子，如图1），并获得了高性能率。图1 用两个数据集来测试我们系统的例子。第一行显示了美国的车牌图像。第二行显示了阿根廷车的图像本文组织如下：第2部分详细介绍了执行LPR系统的步骤。第3部分给出了实验结果。最后，在第4部分中给出了结论和今后的工作。2 车牌识别系统在本节中，我们介绍LPR系统的三个步骤：车牌检测，字符分割和字符识别（图2）。 在可能的几个区域（ROI）使用形态滤波器。为了验证ROIs，即Ri ，i=1，N和选择出最有可能的LP区域，我们应更详尽地分析，对每个区域使用地模板匹配和特征提取9进行评分。然后，找出得分

6、最高的区域进行分割步骤，当遇到三个以上边界框（|bbx| 3，在图2），就验证其结果。最后，在边界框中输入字符识别，并如在2.3节中所述那样进行验证。11如果字符分割或字符识别步骤分析失败了，系统将评估第二个最有可能的区域，一直进行下去，直到达到了RN区域。在这种情况下，系统是没有返回检测的。图2 LPR系统图，菱形块代表验证步骤2.1车牌检测在本节中，我们讨论对每个区域所做的分析，并给它们一个可信值。ROI的一代。形态学顶级过滤用于图像输入，以提高亮度值差别很大的区域的对比度。垂直轮廓的计算使用了索贝尔过滤器，并在连续形态下操作，然后应用于连接的可能LP区域的边缘。这些操作是简单而快速的，系

7、统提供了一些潜在的车牌区域。这是车牌识别系统中的关键一步：如果形态滤波器没有检测到LP，那么LP将会被丢失。ROI的评估。每个ROIs，即Ri ，i=1，N是由两种方法计算得到：模板匹配和文本检测5。然后，我们定义了四个评价向量的长度为N：pcv用于模板匹配，mgd，nts和tbr用于文本检测，其中pcv（i）通过累积边界内相关值Ri 而mgd（i），nts（i），tbr（i） 是最大的梯度差，即在Ri 内文本段的数量和文本块比率。我们需要合并他们的信息，以便决定N个区域中哪个是最有可能存在一个车牌的。我们这样做就创建了四个排序索引向量：pcvsi，mgdsi，ntssi和tbrsi。这些载体

8、指数评价向量的升序排列取决于每个Ri。通过特征向量的最低值得到指数1，通过最高值获取指数N，然后，我们定义长度为N的向量表决：votes=（i）= pcvsi（i）+ mgdsi（i）+ ntssi（i）+ tbrsi（i）区域Rm，m= argmax1iN，votes（i）被保留作为LP。适应临界值。检测步骤可以应用到不同的数据集。但是，阈值必须适应从不同的相机或环境中获得的图像的LP检测。要做到这一点，我们先分析第一个数据集的图像。由于每个车牌的位置会标在每个图像的数据集中，此信息用于固定检测时的阈值。这些阈值的选择用以验证公认前五LP的所有文本段的95。同时，作为相关模式的LP设置为数据

9、集的第一图像。2.2 字符分割从LP中提取的字符后，我们提出了一个新的算法，即用图像树的形状8来搜索字符组。树的形状是一个完整的代表性图像，即可以用它重建原始图像。此外，树的形状与我们所期望的“对象”的形象相一致。例如，图像中的字符将代表树中的一个（或一组）形状。此过程的目标是在每个LP样式上实现没有任何限制的属性共享。树的形状。一个形状被定义为“填充”（正式的定义8）的孔的水平集的连接组件。然后，上下水平集的水平的形象分别定义为Xu=x| u（x）和Xu=x| u（x）。据悉，水平集的连接组件，可以通过安排其灰色的水平8在下令列入树。此外，从图像中提取的形状可以让其由几何纳入（如果是在其内部

10、包括，形状就是另一个形状的孩子）来建立树的形状。字符分组算法。该算法使用一个依据，即在车牌字符有共同的属性，如相同的前背景对比，调整和最低的边界框重叠，类似的宽度和高度。该算法的步骤可归纳如下。ROI的Rm通过检测步骤返回，用来计算形状的树。然后，对树中的所有节点（形状）两两相比，将类似的形状，连接一个给定的标准。最后，最相连的节点和其相邻的边界框作为结果返回。算法1显示了该算法的伪代码。为了避免包括已经与其他形状或形状的形状进行比较，遍历树的形状是利用它的结构：节点访问自上而下的，节点从未与它的后代（4号线）节点的后代相比。这是一个适当的移动，由于包含树的形状的性能，所以有没有重复步骤，也不

11、缺少比较。事实上，任何两个形状都是不相交或嵌套的（解释见8）。字符比较。特征向量是建立在树的每个节点的。这个特征向量承担有关边界框和类型及其相关的形状（上限或下限）的信息。特征向量（线2）由SimilarChars的（n，m）进行了比较，它将返回ture如果节点的n和m有相同的类型并且相应的形状之间的距离是一个固定的阈值，否则返回false。功能W()和H ()分别返回边界框的宽与高n，m。同时x (n)x (m)和y(n)y(m)代表边界框在x与y上重叠。此外，缺乏垂直矩形度时要在执行比较之前丢弃或太小或太大或太遥远的形状。算法1：字符分组算法输入：树的形状T输出：设置的边界框K1：对于所有

12、的n,mT2:如果SimilarChars（n,m），然后3：链接（N，M）4：跳过n的孩子和M的孩子5：设nmax的最大的连接节点6：对所有的nT，执行7：如果链接（N，nmax），然后8：SSboundingBox的（n）9：返回S 图3显示了字符分组算法计算边界框的例子。可以看出，风格迥异的LP字符无需修改算法就可以检测。第一列显示杂乱的图像，检测的文本区域是高度过大的例子，但仍然成功地分割了。第二列显示了不同的前景、背景色彩组合（顶部和中间分割的例子：暗前景和背景明亮，底部：亮前景和暗背景）。第三列显示在几个图像采集和不均匀的照明条件下工作的优势，即树形状对比不变性。第四列显示在不是测

13、试数据集下的车牌分割。正如我们所看到的，字符分组算法不需要旋转或倾斜校正，它有独立的风格，此外，它是无参数的。另外，它可以工作在在车牌规模变化时，并根据对比或照明条件而改变。 这些属性没有限制牌照或先验信息的风格。图3 使用字符分组算法的字符分割的例子2.3 字符识别基于分类的支持向量机（SVM）训练使用特征的梯度直方图（HOG）。直方图梯度。此功能使周围的兴趣点或一个区域的形象，构建一个直方图的梯度幅值和方向。HoG空间组成如下定义的模式：里面一个像素转移的矩形区域获得的直方图。一旦一个字符被分割，它将调整到1612像素的模式，然后申请一个33 的Sobel算子滤波器。每个像素的梯度方向量化

14、为0到5之间的整数值，使用模数，而不是模2。通过这种方式，亮字符的暗背景给出相同的方向比暗字符的亮背景多。对于每个像素p的格局，我们用九个区域与p左上角和大小MM，M2M，2MM，M4，6，8建立直方图。然后，正常化直方图使他们的总和等于1。支持向量机。在这项工作中，我们建立了支持向量机使用libsvm的库2。分类的策略是反对所有的方法之一。非恶化标记（见第3节），不包括从测试数据集的图像中提取的训练字符。我们兴建35二进制（O和0是同样的分类），在同一类SVM分类器中，每个分散的跳过一个字符。为了得到k个支持向量机分类的训练集，它组成如下：正集对应第k类样本，负集对应到其他类别的样本。字符输

15、入（调整大小和规范化）是在测试阶段进行每个分类的输入。然后，它会作为类的分类产生的最高值。字符识别的验证。11开发的战略后，对字符识别的结果进行测试。 SVM分类器输出：铬、镉将表明分类性能和辨别力，分别从两个可信值进行估计。对于每个字符，这些值计算的整体性能得到执行。这些结果意味着，获得cr和cd。如果crCr并且cdCd，所有的操作将是无效的并被拒绝。Cr和Cd的临界值估计验证了99%的训练数据集。3实验结果我们测试了两个数据集的车牌识别系统的性能（参见例子图1）。第一个数据集，从现在起，被称为美国数据集，是由从UCSD/Calit2数据库得到158幅非恶化3图像组成。这些图像从露天停放的

16、车辆上获得，所以这些车牌有不同的风格，没有包含字母数字字符的既定的配置。第二个数据集，从现在开始被称为阿根廷数据集，由来自阿根廷的439辆卡车图片组成。这些图像是由放在卡车大门口的红外摄像机所拍摄。所有图像具有相同的风格，但这种风格不是用来调整系统的。两个数据集通过手动来标记板文字、车牌定位和字符的边界框。添加一个额外的标签来说明图像是变质的或不变质，失真的图像来自杂乱、损坏或不完整的车牌。为了验证检测结果，当检测到的相交区域超过标签区域的一半多时，我们进行检查。用一个类似的方法，我们验证了字符的分割。此外，字符识别是使用的Levenshtein距离来评估的。此外，我们在分割步骤7测试系统使用

17、的最大稳定极值区域（MSER）。MSER的已被广泛用于许多场合，包括车牌识别4。MSER的两种变型可以被计算作为MSER+和MSER-。第一次检测到黑暗边界的光明区域，第二次检测光明边界的黑暗地区。为了提取特征，我们将敏感参数定为= 10，我们还筛选出不稳定或重复的区域。表1显示了阿根廷和美国的数据集的检测、分割和识别率。 LPR系统的字符分组算法（CGA）和MSER，取得了如预期的类似的检测性能利率，这是因为检测的步骤是相同的。然而，在分割步骤上海巡署优于MSER的3，因此，我们要承认字符识别很大程度上取决于分割步骤时边界框的质量。此外MSER的程序需要前景背景对比信息，例如： 阿根廷的MSER+数据集和美国的MSER-数据集导致系统的多风格特征的损失。同时，CGA和MSER在ARG 数据集上比美国数据集上有更好的表现，因为在两个数据集之间的图像采集条件存在差异，数据库数据集有着更好的性能。表1 使用char分组算法（CGA）和最大极值稳定的地区（MSER+和MSER-）的检测、分割和识别率(a)阿根廷数据集 （b）美国数据集检测率分割率识别率检测率分割率识别率CGA97.2798.1795.08CGA90