基于特征融合的车牌字符识别

1、5号楷体，居中小5号宋体，居中小5号宋体5号楷体，居中小小5号楷体，居中宋体小小5号楷宋体，居中小52号黑体，居中，上下各空一行1小5号楷黑体，居中小基于组合特征的车牌字符识别*路小波 凌小静 刘 斌（东南大学教育部智能运输系统工程研究中心 南京 210096）摘要 提出了基于Zernike矩和小波变换特征相结合的车牌字符识别方法。利用Zernike矩描述字符全局特征，小波变换系数描述字符细节特征，采用神经网络进行车牌字符分类。测试结果表明，这种组合了两种特征优点的方法实用有效，识别效果优于两种特征独立使用的情况。关键词 车牌字符识别 Zernike矩 小波变换 特征提取中图分类号 TP2 文

2、献标识码 A 国家标准学科分类与代码 520.6044号楷体，居中黑体，居中，上下各空一行5号楷体，居中4号楷体，居中黑体，居中，上下各空一行5号楷体，居中License Plate Character Recognition Based on the Combined Features5号楷体5号正体，居中Lu Xiaobo Ling Xiaojing Liu Bin(Engineering Research Center for Intelligent Transportation Systems under Ministry of Education,5号楷体5号黑正体，居中，居小5号斜

3、体，居中，下空一行5号楷体5号黑正体，居中Southeast University, Nanjing 210096，China )5号楷正体，居中小5Abstract This paper presents a method of license plate character recognition based on the combination of Zernike moment and wavelet transformation features. The Zernike moment is used to describe the global feature of the cha

4、racters, and the wavelet transform coefficient for the detailed feature of the characters. A neural network is used to classify the license plate characters. Experimental results show the presented method achieves better recognition accuracy than using two features separately.Key words license plate

5、 character recognition Zernike moment wavelet transform feature extraction5号楷体，居中小4号黑体，顶格，上下各空一行小51 引 言车牌自动识别技术在智能交通系统中具有重要的应用价值，其中的关键技术是车牌定位和车牌字符识别。国内外学者在车牌定位和字符识别方面进行了大量研究，促进了该领域的发展。这里主要对车牌字符识别进行研究，在车牌定位的基础上，进行车牌字符特征提取和字符分类。车牌识别系统工作在室外环境，拍摄的图像易出现变形失真，且分辨率低、易受各种因素干扰，采用传统的字符识别（OCR）方法进行车牌字符识别难以取得理想效果

6、。车牌字符识别的典型方法是基于模板匹配的识别方法1-2，但模板匹配法对车牌图像的伸缩、倾斜及背景干扰比较敏感，识别效果不够理想。一些矩函数能够较好的提取全局特征。Teh4评价了各种不同类型的图像矩，发现Zernike矩具有最好的综合性能。Khotanzad5的研究也表明，使用Zernike矩的神经网络分类器有很强的类分离能力。由于多数矩特征仅仅提取了图像的全局信息，用它们很难区分一些相似的字符，特别是在字符受噪声干扰的情况下。字符图像在不同分辩率上的细节反映了字符的不同结构特征，Lee6将二维小波变换应用于手写体数字识别，并且对ETL样本库中的字符进行了测试，得到很好的识别效果。这里将Zern

7、ike矩和小波特征相结合，提出了基于组合特征的车牌字符识别方法。利用Zernike矩提取字符全局特征、小波变换提取字符细节特征，采用神经网络进行车牌字符分类，组合特征综合了两种特征方法的优点，识别结果优于两种特征独立使用的情况。* 本文于2005年2月收到，系高等学校科技创新工程重大项目培育资金项目（705020）、 江苏省自然科学基金项目（BK2004077）资助项目。5号楷体，居中5号黑体，顶格 小52 Zernike矩特征提取2.1 图像的Zernike矩n阶的Zernike多项式定义为在极坐标系中，的函数7： （1）小5号楷体，居中5号黑体，居中 小5式中：是一实数值的径向多项式，由下

8、式给出： （2） （2） （2）（2）2）这里： （3）对数字图像，其阶重Zernike矩为： （4）式中：2.2 Zernike矩特征提取假设图像的Zernike矩为，可以证明8，旋转后图像的Zernike矩为， （5）从上式可以看出， Zernike矩的数值在旋转后没有变化。因此，可以看着一个旋转不变量。因为，则，所以只要考虑时的作为特征。通过将原图像进行变换，得到，可实现尺度和平移不变性。 （6）式中：是的中心，；，为一限定值；。实现尺度和平移不变，会影响两个Zernike矩特征：和。可以证明， ，。因此和不用作字符分类的特征。2.3 矩特征向量维数的选取好的特征集应该能够很好的刻画和描

9、绘原图像，原图像与从其矩的有限集重构之间的差异，可作为衡量这个矩集描绘原图像能力的测度8。假设表示使用图像的0到阶矩进行重构后的二值图像。 （7）这里表示映射到灰度区间，直方图均衡后进行二值化。用和之间的Hamming距离作为表征两者差异的测度。如果（是阈值），则阶矩就具有了足够的信息表征原图像。3 小波变换特征提取小波变换可通过系数矩阵表征字符图像不同分辨率上的特性。字符图像在不同分辨率的细节表征字符不同的结构，小波变换的系数可作为表征字符的特征。对图像进行正交小波分解9，在分辨率，代表信号的低频分量，和分别代表和方向的高频分量，代表对角方向的高频分量。4 Zernike矩和小波变换特征组合

10、假设两个字符样本，它们有着相似的形状，它们的Zernike矩特征分别用和表示，则有10： （8）式中：为两个字符样本特征元素之间的差异， 为计算误差。由于Zernike矩定义为径向变量圆内的全局径向函数，它是在整个字符图像空间的积分，弱化了局部细节，值就较小，值较大。因此Zernike矩趋向于将有相似形状的字符样本识别为同一字符，而不管这些样本是否来自同一字符，这种特性有利于识别属于相同类别却有着较大形状差异的字符，但对属于不同类别却具有相似形状的字符识别不利。小波分解后，和分别代表和方向的高频分量，代表对角方向的高频分量，因此、和描述了字符不同分辨率下的细节特征，因此小波变换在识别具有相似形

11、状的不同类字符时有着很好的效果。如果将小波变换特征和Zernike矩特征进行组合，形成车牌字符特征向量， Zernike矩特征提取字符的全局信息，小波特征提取字符的细节特征，则有可能同时利用字符图像的细节信息和全局信息，从而得到更好的分类性能。5 测试结果采用从高速公路收费站现场拍摄的图像，将经过车牌定位、字符分割后得到的字符分为两组，一组作为训练样本集（如表1所示），另一组作为测试样本集（如表2所示）。由于所采集的样本中汉字和字母数量较少，所以样本集中只包含数字。表1 训练样本集字符0123456789数量66526177364051534964表2 测试样本集字符0123456789数量9

12、1634239363433324843通过上节的分析，这里将Zernike矩和小波变换特征组合形成特征向量，采用3层（输入层、隐层、输出层）BP神经网络进行车牌字符识别。采用表1的训练样本集，利用2.3节的方法选取矩特征向量的维数。10个字符各有其合适的矩特征向量维数，为便于后面的分类，各字符的特征数应该一致。因此，这里选择其中最大的维数12作为字符矩阶数，除去不作为特征的和，Zernike矩共有47个特征元素；对字符图像进行两级小波分解，取第二级高频分量、和共48个特征值，因此特征向量共有47+48=95个元素。采用3层BP神经网络进行车牌字符识别。字符特征向量维数95，因此神经网络有95个

13、输入节点。采用表1的训练样本集对神经网络进行训练，输出层10个节点，经试验，取隐层节点数为16，训练结果如图1所示。小5号楷体，居中5号宋体，居中 小5图1 字符特征图 1 神经网络训练曲线采用表2的测试样本集，利用训练收敛后的神经网络进行车牌字符识别，识别结果如表3所示。为显示该方法的优点，基于同样的训练样本集和测试样本集，笔者分别采用Zernike矩特征提取方法和小波变换特征提取方法 ，采用3层神经网络进行车牌字符识别。基于Zernike矩特征提取方法，特征向量维数47，神经网络输入层节点数为47个，输出层节点数为10，经试验，取隐层节点数为8，利用表1的训练样本集进行神经网络训练，训练结

14、果如图2所示，识别结果如表3所示。图2 神经网络训练曲线基于小波变换特征提取方法6 ，对字符图像进行两级小波分解，取两级小波分解分量、和共320个特征值，神经网络输入层节点数为320个，输出层节点数为10，经试验，取隐层节点数为39，利用表1的训练样本集进行神经网络训练，训练结果如图3所示，识别结果如表3所示。图3 神经网络训练曲线从以上测试结果可以看出，同两种独立特征识别方法相比，文中提出的基于组合特征的方法分类神经网络收敛快，识别率高。6 结 语由于车牌识别系统工作在室外环境，使得车牌字符识别具有特殊性，采用传统的字符识别方法效果不佳。文中提出了基于Zernike矩和小波变换组合特征的车牌

15、字符识别方法，Zernike矩特征提取字符的全局信息，小波特征提取字符的细节特征，通过对收费站现场采集的车牌字符的测试表明，该方法具有很好的识别效果，识别结果优于两种特征独立使用的情况。表3 识别结果字符0123456789总数91634239363433324843组合特征方法识别数87584238363231324642组合特征方法识别率/%95.6092.06100.0097.44100.0094.1293.94100.0095.8397.67Zernike矩特征识别数89543936353130304540Zernike矩特征识别率/%97.8085.7192.8692.3197.22

16、91.1890.9193.7593.7593.02小波变换特征识别数88584138353132294441小波变换特征识别率/%96.7092.0697.6297.4497.2291.1896.9790.6391.6795.355号楷体，居中5号黑体，缩进2个字，上下各空一行 小5参考文献1 Paolo Comelli. Optical recognition of motor vehicle license plates J. IEEE Transactions on Vehicular Technology, 1995, 44(4): 790-799.小5号楷体，居中5号宋体，居中 小5

17、2 Takashi Naito. Robust license plate recognition method for passing vehicles under outside environment J. IEEE Transactions on Vehicular Technology, 2000, 49(6): 2309-2319.5号楷体，居中5号黑体，缩进2个字，上下各空一行 小5 3 黄卫，路小波，余彦翔，等.基于小波与纹理分析的汽车牌照定位J. 中国工程科学，2004，6（3），16-22.4 C. H. Teh. On image analysis by the meth

18、ods of moments J. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1988, 10(4): 496513.5 Khotanzad. Classification of Invariant Image Representations Using a Neural Network J. IEEE Trans. on Acoustics, Speech, and Signal Processing, 1990, 38(6): 10281038.6 S.W. Lee. Multi-resolution recognition of unconstrained handwritten numerals with wavelet transform and multi-layer cluster neural network J.