利用多帧信息融合提高视频车牌识别系统性能的研究

1、利用多帧信息融合提高视频车牌识别系统性能的研究赵永辉 刘长松(清华大学 电子工程系 智能技术与系统国家重点实验室，北京 100084)摘要：针对视频车牌识别系统中，同一车辆被多次采样，多次识别的情况，本文提出了一种结果融合的策略。该策略能从同一车辆产生的多次结果中选取一个最可靠的结果输出。该策略主要有两个部分组成：1） 找出由同一车辆产生的所有结果。2）从这些结果中选取最可靠的一个作为输出。通过实验表明，采用此策略的系统识别率比相同质量的图像识别率提高6个百分点以上。关键词：模版匹配 识别分数 匹配分数 识别奖励 Research on Video Vehicle License Plate

2、Recognition System PerformanceImprovement using Multi-frame Information AmalgamationZHAO Yong-hui LIU Chang-songState Key Laboratory of Intelligent Technology and SystemsDept. of Electronic Engineering, Tsinghua University, Beijing 100084 ChinaAbstract:In this paper, a result amalgamation method in

3、video vehicle license plate recognition (LPR) system is proposed. This method can choose the best result from several results of the same car, since a car can be sampled several times in video LPR system. The method is divided into two steps: 1) find the results of the same car, and 2) judging which

4、 result is the best. An experiment has been performed to prove the effect. The correct rate of our video LPR system is 6 percent more than the same quality images correct rate.Keywords: Template Matching Recognition Score Match Score Recognition Award1 引言作为智能交通系统的重要组成部分，视频车牌自动识别系统可以大大提高车辆管理的工作效率，加速交

5、通管理自动化和智能化的步伐。因此，视频车牌识别系统在高速公路收费管理和超速监控、公安海关车辆管理、城市交通路口监控、交通参数调查等方面有着广泛的应用前景。图1出示了图像车牌识别系统结构。从中可以看出，图像车牌识别系统主要由车牌定位，车牌切分和字符识别三部分组成。图1 传统车牌识别系统结构一般的视频车牌识别方法是针对于单幅图片，通过地感线圈1，红外触发，背景差法2等方式获得车辆经过的信号，抓拍一张图像识别。而实际上在车辆经过的过程中，摄像机可以取得多帧图像，车牌在多帧图像中由于位置和视角不同，其信息具有相当大的互补性，充分融合和利用多帧图像中的信息，是提高识别率的重要手段。由于同一车辆会被采样在

6、多幅图像中，对每一幅图像都进行识别后如果没有识别结果融合，那么同一车辆会对应多个识别结果，而且这些识别结果可能并不相同。通常要求对同一车辆只输出一个结果，因此识别结果融合是视频车牌识别系统中一个重要部分。一个好的融合策略能从多个识别结果中挑选出一个最可靠的结果输出，因此融合策略对提高视频车牌识别系统的性能很重要。 对每一帧图像都进行检测识别后通过分析每帧图像的车牌检测和识别信息，还可以对视频图像中通过的车辆进行统计和监控，不需要地感线圈等外触发设备，大大方便系统的使用。本文提出的识别结果融合算法主要分为两步：1. 通过识别结果的相似性判断出同一车辆对应的多个识别结果。2. 从这些候选结果中选取

7、一个最可靠的结果输出。2 识别结果的归属和可靠性判断对图像识别后，如果有识别结果产生，那么可以得到的附加信息有：车牌的号码，车牌的类型（图2）, 车牌的颜色（蓝底白字，黑底白字，白底黑字，黄底黑字）。a) 标准车牌b) 警车车牌c) 武警车牌d) 个性化车牌 e) 黄色双排图2 车牌的类型以及其他附加信息：车牌的匹配分数3,每个字符的识别分数以及车牌的宽度。车牌的匹配分数是车牌切分的矩形框结果按照一个最佳比例缩放后和对应模版的吻合度。匹配分数越高，说明这个车牌切分的越可靠。图3是一个标准车牌的模版。图3 标准车牌的模版2.1 识别结果的归属判断 背景重建和背景差法2是一种常见的判断是否有新的车

8、辆到来方法。其原理是：假设摄像头位置不变，重建出一个背景。以后每帧图像与这个背景比较当差别超出一个阈值后，认为有新车到来，当差别恢复为0时则认为此车已经离开。背景重建和背景差法有如下3个缺点：1. 摄像头不能移动。2. 当车流量较大，摄像头范围内不止一个车时，容易被误判成同一车辆。3. 背景重建和背景求差消耗的时间相对于整个识别过程较长。对两个识别结果，判断是否是同一车辆产生的最简单可行的方法就是检查两个结果的相似程度。检查两个结果相似度前，首先判断车牌类型和车牌颜色是否相同，如果不同的话就不用继续判断了，这两项结果不同的话肯定不是同一车辆产生。在满足类型和颜色都相同后，继续判断结果的相似程度

9、。如果两个车牌的类型和颜色都相同，而且一一对应的位置上有4个以上字符相同的话，我们认为这两个结果是同一车辆产生的。下面以最普遍的标准车牌为例来分析不同车辆产生的两个结果被判为同一车辆产生的误判率和同一车辆产生的两个结果被判为不同车辆产生的误判率。标准车牌共7个字符，第一位只能出现汉字， 第二位到第四位可能出现字母和数字，最后三位则只能出现数字。第一位的汉字可能有30多种（各个省以及其他特殊字)，第二位到第四位字母和数字的可能有36种，最后三位可能有10种。为计算简单期间把前四位字符归为一类每个字符共36种可能，后三位字符归为另一类每个字符共10种可能。 为两个不同车辆产生的结果中前四位某一位相

10、同的概率 为两个不同车辆产生的结果中后三位某一位相同的概率因此不同车辆产生的两个结果被判为同一车辆产生的误判率为： 是7个字符中有且只有位字符相同的概率。 假设进行比较的两个结果互相独立，显然有下面分析同一车辆产生的两个结果被判为不同车辆产生的误判率。以下的分析是在车牌中字符切分正确的假设下所进行的。如果切分错误那么识别出来的结果肯定是错误，而且与正确切分的识别结果相差很大。我们只考虑只有两个对应位置的字符都被识别对了才可能相同的情况，不考虑两个字符都被识别错了而且还相同的情况。为简单起见假设每一位字符被识别正确的概率相同为，则某一位相同的概率为。那么同一车辆产生的两个结果被判为不同车辆产生的

11、误判率为： 是7个字符中有且只有位字符相同的概率。 现在需要对进行估计，由于在相同质量的图像测试库上(513个样本)测得的识别率是，由于每一位的识别是独立的，因此可以认为有， 取估计得 ，都很低，因此采用这个方法来判断两个识别结果是否是属于同一辆车是可以接受的。2.2 识别结果的可靠性判断对同一车辆多次识别的结果，根据识别后的附加信息来判断哪一个识别结果最可靠。显然车牌的匹配分数以及每个字符的识别分数4越高越可靠，匹配和识别分数最高都是100。车牌的宽度越大越可靠，因为车牌宽度比较大说明该车离摄像头比较近，图像质量比较高不容易识别错。当两个结果中同一位置的结果相同时，比较字符对应的识别分数就失

12、去了意义了。因此重新定义一种识别奖励来代替识别分数，当两个结果中同一位置的结果不同时，识别分数高的结果对应的识别奖励加1分，识别分数低的结果对应的识别奖励不变。有了识别奖励后，可以用识别奖励，匹配分数，车牌宽度3个指标来衡量结果的可靠性。我们采用一定的权重把这3个指标线性加权起来得到一个可靠性评价分数，可靠性评价分数高则结果更可靠。系统采用的权重：匹配分数的权重为1，识别奖励的权重为3，车牌宽度的权重为1。则评价分数计算公式如下：3 利用融合的方法实时检测和识别通过的车辆视频车牌识别系统中采用融合的方法需要达到的目的是：实时的尽量准确的为每一个识别出结果的车输出一个且仅一个识别结果。由于必须等

13、车辆通过视频采集设备后即此后无该车的识别结果出现才会确定所有的候选结果，因此融合策略是延时的输出最佳结果。但长时间的延时是又违背了实时的要求，我们要求车辆的识别结果在车辆通过视频采集设备后的一定时间内必须输出。为了实现只输出最佳结果我们需要用一个缓存区保存着当前最佳结果。如果当前结果和缓存区的结果是同一车辆产生的，则只要决定是否更新最佳结果即可，否则输出缓存区最佳结果，把当前结果存入缓存区。识别结果融合的算法主要流程如下：1 对每次采集的视频图像识别后有结果产生转2，否则转32 缓存区不为空转4，否则转53 缓存区有结果长时间未输出，输出未输出的结果返回1，否则返回14 缓存区的结果和此次结果

14、是同一辆车产生的，转6，否则转75 将当前结果存入缓存区，返回16 当前结果优于缓存区的结果，更新缓存区返回1，否则返回17 缓存区的结果未曾输出，转8，否则转98 输出缓存区结果，将当前结果保存在缓存区返回19 将当前结果保存在缓存区返回1图4为系统框架图： Initialization：参数初始化Sample Image Input：视频采样图像输入Recognition：车牌识别Result Output：有结果输出BufAns：缓存区保存的结果，每次都保存着截至目前最可靠的结果，初始化为空CurAns：当前图像识别出的结果，初始化为空OutAns：上次输出的结果，初始化为空Count：

15、时间计数器，初始化为0T：时间计数器阈值，防止缓存区的结果长时间未输出，初始化为15帧Empty：结果为空=：赋值：两个识别结果近似相同，认为是同一辆车产生的：两个识别结果不同better than：前一个识别结果比后一个更可靠图4 识别结果融合策略的系统框架4 实验结果本文中的实验采用文献3中的车牌识别算法来识别每一幅单帧图像。测试视频是在河南省内某公路旁DV拍摄的视频，长度一小时。所分析的车辆是迎着摄像头开来的车。该视频截图所组成的图像测试库的识别率是。实验方法：采用此融合策略的系统对该视频输出结果的图像和识别结果共同保存下来，然后由人工进行比对。实验结果：共有车辆804个，识别正确的车辆785个，识别错误的19个。识别率为，相对于图像测试库提高了6个以上百分点。重复输出结果的共39个，重复输出率为。原因分析：重复输出中的13个是由于摄像头拍摄范围内同时有两个车辆，导致的间隔输出，即一辆车的两个输出结果之间有另一车辆的结果输出。其余26个重复输出是由于切分错误导致的识别结果不相似。造成切分错误的主要原因是由于摄像头位置在公路旁边，导致很多车辆开始出现在摄像头内的车牌并不完整。没有一例是由切分正确而识别错误导致的重复输出，这一点和前面的分析相吻合。参考文献1 许海波，罗以宁，米兰. 基于线圈与