复杂车辆图像中的车牌定位

1、随着我国城市规模的急剧扩大 , 对智能交通系 统 (ITS 的需求越来越迫切 。 车牌照自动识别技术广泛应用于闯红灯 车辆监控 、 停车场管理 、 电子收费系统等领域 1。 完整的车牌 识别系 统 一 般分 为 3部 分 :车 牌 定 位 、 字 符 分 割和 字 符 识别 , 其中车牌定位技术是整个车牌识别系统的核心 , 直接影响整 个识别系统的速度和准确率 。目前 已 有 的车 牌 定 位算 法 众 多 , 包 括 边 缘 检 测 、 数 学 形 态学 2、 小波分析 3、 投影法 、 颜色特征提取和神经网络 4等 。 基 于边缘检测 、 数学形态学及小波分析的方法 , 定位较准确 , 但

2、 在背 景 信 息复 杂 或 车牌 上 方 有引 擎 散 热孔 的 图 像 中 容 易 产 生错误定位 。 而投影法速度较快 , 很难区分车牌文字与车灯 区域 , 因而准确率低 。 基于颜色特征和神经网络的方法定位 准确 , 但是运算速度慢 , 并且受天气 、 光照及车牌磨损等情况 的影响较大 。由于以上各种单一方法的明显局限性 , 提出了一种综合 边缘检测 、 数学形态学 、 彩色特征和投影法的算法 , 通过质心 排序去除了引擎散热孔及其他边缘丰富区域的干扰 , 并通过 谷值分析补全车牌区域 。 实验结果表明该方法克服了以往各 种定 位 方 法的 缺 点 , 既提 高 了 定位 的 准 确性

3、 , 也 保 证 了 定 位 的实时性和鲁棒性 。1车牌识别的粗定位1.1边缘检测及数学形态学处理由于 彩 色的 车 牌 中富 含 的 信息 量 太 大 , 干 扰 强 , 故 不 适合做直接分析 。 因此 , 往往将彩色的 RGB 图像转成灰度图再 进行处理 。 待定位的车牌区域含有较多字符 , 边缘量丰富 。 而 车身背景中的边缘量较少 , 并不密集 。 因此 , 可以用边缘检测 的方法对灰度图做预处理 。由于边缘是图像上灰度变化较为剧烈的地方 , 在灰度突 变处 进 行 微分 则 会 得到 突 起 值 , 因 此 , 在 数学 上 可 用 灰 度 的 导数来表示边缘 。 而在实际应用中往

4、往采用的是边缘检测算 子 , 通 常 使 用 的 边 缘 检 测 算 子 有 :Sobel 算 子 、 Prewitt 算 子 、Roberts 算子和 Canny 算子等 。 本实验采用的是 Sobel 算子 , 对水平边缘分量和垂直边缘分量同时进行检测 。数学 形 态学 的 基 本思 想 是 利用 “ 结 构 元 素 ” 来 收 集 图 像收稿日期 :2010-05-23稿件编号 :201005078作者简介 :喻 晓 (1988, 男 , 湖北孝感人 。 研究方向 :图像处理及识别 、 ITS 。复杂车辆图像中的车牌定位喻 晓 , 李慕龙 , 张礽婧 , 周晓思(武汉大学 电子信息学院

5、, 湖北 武汉 430079摘要 :针对复杂背景的车牌定位问题 , 提出了一种综合形态 、 颜色 、 投影等多种特征的车牌定位算法 。 基于车牌区域 边缘信息丰富的特点 , 首先利用边缘检测和数学形态学方法定位候选车牌区域 , 并消除噪声干扰 ; 然后根据质心所在 位置对候选区域进行由低到高的排序 , 并通过颜色识别作进一步筛选 , 以排除车灯等区域的干扰 ; 最后采用投影法及 谷值分析对截取出的缺损车牌进行补全 , 从而得到准确的车牌位置 。 实验结果表明 , 算法的效率与精度与车辆图像的 清晰度 、 曝光度及车牌大小等因素有关 , 与传统车牌定位算法相比 , 效率和精度分别提高了 15%和

6、 20%以上 。 关键词 :图像处理 ; 车牌定位 ; 质心排序 ; 投影法 ; 谷值分析 中图分类号 :TP391.41文献标识码 :A文章编号 :1674-6236(2010 12-0120-04License -Plate locating in complex vehicle imagesYU Xiao , LI Mu -long , ZHANG Reng -jing , ZHOU Xiao -si(School of Electronic Information , Wuhan University , Wuhan 430079, China Abstract:A vehicle l

7、icense -plate locating algorithm is proposed based on the morphology , color and projection features of license -plates. The algorithm uses edge detection and mathematical morphology to locate candidate regions and filter noise , basing on the fact that the license -plate region contains abundant ed

8、ges. Further screening is then performed by sorting the centroids and identifying the colors of the candidate regions. Finally , restore the incomplete license -plate image using projection method and valley -value analysis , so as to obtain the accurate license -plate location. Experimental results

9、 show that the efficiency and accuracy of the algorithm is related to the definition and exposure of the vehicle images and the sizes of the license -plates. Compared to the traditional algorithm , the efficiency and accuracy has been improved 15%and 20%separately.Key words:image processing ; licens

10、e -plate locating ; centroid sort ; projection method ; valley -value analysis电子设计工程Electronic Design Engineering第 18卷Vol.18第 12期 No.122010年 12月 Dec. 2010-120-图 3形态学开运算Fig. 3Morphological opening信息 5。 结构元素可被当成探针 , 当探针在图像中移动时 , 便 可考察图像各部分之间的相互关系 , 从而了解图像的结构特 征 。 其算法为 :1 先进行数学形态学闭运算 :其可简单定义为先膨胀再腐 蚀 。

11、闭运 算 一 般会 将 狭 窄的 缺 口 连接 起 来 形成 细 长 的 弯 口 , 并填充比结构元素小的洞 。 这样便可以连接邻近物体 , 在 不明显改变物体面积的情况下起到平滑边界的作用 。闭运算定义为 :A B=(A 茌 B 苓 B(1实验结构如图 1、 图 2所示 。2 再进行数学形态学开运算 , 可简单定义为先腐蚀再膨胀 。 开运算后完全删除了不能包含结构元素的对象区域 , 平 滑了对象轮廓 , 断开了狭窄的连接 , 去掉了细小突出部分 。开运算定义为 :A B=(A 苓 B 茌 B(2实验结构如图 3所示 。1.2待选区域的质心定位及颜色判断对待 选 区 域的 传 统 处理 方 法

12、 有 多 种 , 其 中 包 括 面 积 排序 , 长宽比排序和颜色识别 。1 面积 排 序由于 无 法 保证 车 牌 区 域 的 边 缘 分 量 最 丰富 。 当车体上图案较多 , 或车灯纹理较为明显时 , 对定位准确率的干扰很大 。2 长宽比排序 数学形态学处理后 , 常常引入了较多符合车牌长宽比特性的区域 。 而且当车牌角度出现偏差时 , 长 宽比判定的准确率明显下降 。3 颜色识别 在多数情况下可以识别车牌 , 但是当车体上有较为丰富的图案且颜色与车牌颜色相近时 , 颜色识别的准确率便大大下滑 。对于绝大多数汽车来说 , 车牌基本位于车辆的最底部 , 而车牌下部不像车身那样拥有大量文字

13、或图案 , 给识别带来 干扰 , 它形式较为单一 , 这给识别带来极大方便 。 同时 , 地面 因为样式单一 , 干扰量更是微小 。 因此 , 可采用对候选区域进 行自下而上检测的方式 。然而 , 还需注意的是 , 车灯往往与车牌区域平行 , 其边缘 量也很丰富 , 故其干扰相对较大 。 考虑到车灯多数为红色 , 白色或 透 明 , 和车 牌 颜 色相 差 较 大 , 因 此 可 以用 颜 色 识别 来 区 分车牌区域和车灯区域 。 故本实验采用质心检测与颜色识别 相结合的方法 。 先对待选区域质心的纵坐标进行排序 , 并由 图像最底部向上进行检测 。首先 , 将候选区域内各像素点由 RGB

14、模型转为 HSV 模型 , 即色度 (Hue 、 饱和度 (Saturation 和强度 (Value 6。 由于直接 转成 HSV 模型后 , 均匀量化的结果导致量化数据量巨大 。 而在车牌识别中只需要对特定的几种颜色进行识别 , 不需要将 各种颜色详细区分开来 , 量化过细反而会造成颜色判断的歧 义 , 导致结果失真 。 因此 , 可采用非均匀量化的方法来减少量 化级别 , 提高计算效率 。 同时 , 非均匀量化还可将相似的颜色 归为同一颜色 , 大大减小了算法的复杂度 。 将色度分为 16个 等级 , 饱和度和强度各分 3个等级 。 其算法过程为 :1 对候选区域各个像素点的 H 、 S

15、 、 V 值进行统计 ;2 找到 H 、 S 、 V 3个变量的最大值点 H_max、 S_max、 V_max,这几个特征值便能代表整个区域的颜色特征信息 ;3 颜色判断的算法为if (V_max=2&S_max=0 Color=0; /车牌为白底黑字break ; /跳出判别候选区域是否为车牌的循环 if (H_max=2 Color=1; /车牌为黄底黑字break ; /跳出判别候选区域是否为车牌的循环 if (H_max=9|H_max=10 Color=2; /车牌为蓝底白字break ; /跳出判别候选区域是否为车牌的循环 else 由质心检测排序查找下一候选区域 , 再做如上

16、判定循环 。实验 结 果 证明 , 该 算 法识 别 准 确率 比 传 统 算 法 高 , 能 对 车身有大量图案干扰的车辆进行准确识别 。 质心位置检测可 以排除颜色与车牌相近的车身图案 、 标志的干扰 。 颜色识别图 1车辆原图 Fig. 1Original drawing of vehicles图 2形态学闭运算Fig. 2Morphological closing喻 晓 , 等 复杂车辆图像中的车牌定位-121- 电子设计工程 2010年第 12期 图 8投影二值化Fig. 8Binary of the projection则可以排除位于车牌附近车灯 、 保险杠等干扰 。2车牌识别的细

17、定位2.1竖直投影处理在粗定位的候选区域里 , 常会存在错误和误差 。 错误大多是因为在车牌下部还附带有文字广告 , 警示语等 。 而误差 的 产生 大 多 是由 于 图 像清 晰 度 低或 曝 光 不足 等 因 素导 致 的 车牌识别中字符间断裂等情况 。为解决此类问题 , 采用竖直分量投影 7的方法 。 选取能包 含待选区域且与原图像等宽的最小区域的灰度图 , 利用以下 公式将相邻 2个像素点两两进行相减再求和 , 即可求得该列 上边缘信息的变化情况 。ni =1I (i -I (i +1 (3将每一列的投影值均计算出来后 , 即可作出候选区域的 投影图 , 如图 4, 5, 6, 7所示

18、 。由投 影 图可 以 看 出 , 有 字 符 的区 域 有 明 显 峰 值 , 而 字 符 之间均为谷值 。 通过该峰谷的交替变换 , 即可判断字符的位 置和数量 。2.2基于字符间隔的细定位在实际操作过程中 , 有时选区域是由其他字符组成 , 如广 告或 字 符 图案 , 其 特 征与 车 牌 特征 过 于 相似 , 导 致 一般 方 法很难将其区分开来 。 此时 , 可采用谷值数量检测的方法判 断字符数目来区分车牌与字符图案 。 另外由于图像曝光等原 因 , 导致字符处出现断裂 , 使车牌区域变成两个候选区域 。 因 此 , 在最终输出时往往只能输出车牌的一部分 , 而不是全部 。 为了

19、解决字符断裂的问题 , 采用谷值跟踪技术 。 即由质心点 分别向左右两侧检测谷值处 , 并统计谷值的个数 。 对于普通 车牌 , 即 7个字符 , 应有 6个谷值点 。 当检测到确实为 6个谷值 点时 , 则找到车牌 , 当检测谷值点小于 6个时 , 放宽阈值 , 继续 检测 , 直到谷值点为 6个为止 。 具体操作过程为 :1 找到投影图像的峰值 peak , 并将整个投影图像二值化 。 即 :if (投影点处数值 0.6*peak 投影点处数值赋值为 1;else 投影点处数值赋值为 0;这样便可得到二值化的投影图如图 8所示 。2 由质心处分别向两边进行检测 。 1值作为起点 , 当检测

20、到下个 点也 为 1时 , 再继 续 检 测下 个 点 ; 当检 测 到 下个 点 为 0时 , num_zero=num_zero+1, 再 继 续 检 测 下 len 个 点 , 若 len 个 点 中有一个为 1, 则把这个点当作起点继续检测 。 若 len 个点均为 0, 则最后的 1值处即为车牌的端点处 。 3 若 num_zero=6, 则车牌区域完整 , 跳出循环 。 若 num_zero6, 放宽阈值 len_new=1.2*len, 再进行检测 。 直到 len_new=2*len时 , 若还未跳出循环 , 则说明该区域不是车牌区域 , 转入上层 循环 , 查找下一候选区域

21、。结果表明 , 在该细定位的算法下 , 车牌识别较为准确 , 只 有少数车牌出现字符断裂的情况 。 出现断裂的车牌图像是因 为车 牌 尾字 符 为 数字 1, 在 做 差分 投 影 时 , 其 显 示 为谷 值 , 故 漏检一位字符 。 针对此种情况 , 将最终定位的车牌边缘值与 初始候选区域的边缘值相比较 , 若投影后的边缘值小于候选 区域 1个字符长度以上 , 则认为其尾字符在差分投影中被减 掉 , 可将其补上 。 最终输出车牌图像如图 9所示 :图 4图 1中左车投影前Fig. 4Original of the left car in Fig.1图 5图 4的投影图Fig. 5Proje

22、ction of Fig.4图 6图 1中右车投影前Fig. 6Original of the right car in Fig.1图 7图 6的投影图Fig. 7Projection of Fig.6-122-图 9最终输出车牌Fig. 9Ultimate output of the license -plate3实验结果实验所采用的图像为 640480像素 256级灰度图像 , 其中 车 牌包 括 小 型民 用 车 牌照 (蓝 底 白字 、 大 型 民用 车 牌 照 (黄 底黑字 、 军用牌照 (白底黑字 。 图像中车牌所占的大小比例 各异 , 背 景不 同 , 其 中部 分 车 辆车 身

23、 有 明显 的 字 符图 案 和 粘 贴的警示语 。 在集中检测的 80幅图中正确检测了 77幅 , 漏检 1幅 , 误检 2幅 。 漏检图像由于车牌掉色过于严重 , 导致最后几 位字符无法检测 ; 而误检的两幅图是因为车牌底部有颜色 、 字符均与车牌相近的广告语 , 无法将其与车牌区分开来 。 该 问题可以在车牌定位之后的字符识别环节中可以得到解决 。4结 论本文提出的算法综合了质心检测排序 , 颜色判别和投影 法字符跟踪检测的方法 。 该算法通过质心检测排序的方法解 决了 车 身上 部 文 字花 纹 和 广告 语 、 警 示语 对 车 牌 识 别 的 干 扰 ; 通过颜色识别排除了类似车灯

24、区域等有着高边缘特性区 域对车牌区域的干扰 ; 而投影法字符跟踪检测算法解决了在 精确车牌字符定位中字符断裂 、 缺损等情况的发生 。 该算法 定 位检 测 准 确率 高 , 且 抗干 扰 能 力强 , 在 实 际应 用 过 程中 是 可行有效的 。参考文献 :1李伟 , 朱伟良 , 孔祥杰 , 等 . 一 种 新型 的 基 于数 学 形 态学 和颜 色 特 征 车 牌 定 位 算 法 J.科 技 通 报 , 2009, 25(2:214-219.LI Wei , ZHU Wei -liang , KONG Xiang -jie , et al. A new fast vehicle lice

25、nse plate location algorithm on mathematical morphology and color feature J.Bulletin of Science and Technology , 2009, 25(2 :214-219.2王文涛 , 马启新 , 杜鹏飞 . 基于边缘检测和数学形态学的车 牌 定位 J.中 南 民族 大 学 学报 :自 然 科学 版 , 2008, 27(4: 83-87.WANG Wen -tao , MA Qi -xin , DU Peng -fei. Based on edge detection and mathematica

26、l morphology of license plate loc ationJ.Journal of South -Central University for Nationalities : Natural Science Edition , 2008, 27(4 :83-87.3张国才 , 王召巴 . 小波变换在车牌定位中的应用 J.机械管 理开发 , 2010, 25(1:199-200.ZHANG Guo -cai , WANG Zhao -ba. The application of wavelet transformation in vehicle plate locationJ

27、.Mechani cal Management and Development , 2010, 25(1 :199-200. 4周科伟 .Matlab 环境下基于神经网络的 车 牌 识别 D.西 安 :西安电子科技大学 , 2009.5冈萨雷斯 , 伍兹 , 埃丁斯 , 等 . 数字图像处理 :MATLAB版 M.北京 :电子工业出版社 , 2005:250-284.6郭 大 波 . 彩 色 汽 车 图 像 车 牌 定 位 技 术 分 析 J.山 西 大 学 学 报 :自然科学版 , 2005, 28(1:40-43.GUO Da -bo. License plate location of colored car imageJ. Journal of Shanxi Universtiy :Natural Science Edition , 2005, 28(1 :40-43.7陈利 . 车牌识别系统中的字符分割技术研究 J.电脑知识与 技术 , 2008, 4