不均匀光照车牌增强算法研究(小微最终)

1、收稿日期： 基金项目：国家自然科学基金项目（51177002）；国家自然科学基金重点项目合作项目（61032007）资助 作者简介：朱仁欢，男，1989年生，硕士研究生，主要研究方向为图像处理，模式识别；魏海锋，男，1990年生，硕士研究生，主要研究方向为图像处理，模式识别；卢一相，男，1980年生，博士研究生，讲师，主要研究方向为图像增强，模式识别；孙冬，男，1982年生，博士研究生，讲师，主要研究方向为图像处理，模式识别不均匀光照车牌增强算法研究朱仁欢，魏海锋，卢一相，孙冬（安徽大学 电气工程与自动化学院，合肥230601）E-mail： HYPERLINK mailto: 摘 要:当车牌

2、光照不均匀时，会给车牌的进一步处理带来很大的困难。本文针对这一问题，提出了基于本征图像分解的不均匀光照车牌的增强算法。把定位好的车牌图像转换成灰度图像，对图像中包含相似亮度分量的像素集合，用本文所提出的约束进行处理。该约束和传统的Retinex邻近像素约束有效地减少了分解中的不确定性。使用这两个约束，使得分解问题转换成求二次函数最小值的问题，即形成了用封闭解来求本征图像分解。由实验可知，本文算法增强效果较好，降低了车牌进一步处理的难度。关键词：光照不均匀；本征图像分解；Retinex约束；封闭解中图分类号：TP39 文献标志码：A 文章编号：Study on enhancement algor

3、ithm of license plate under non-uniform illuminationZHU Ren-huan，WEI Hai-feng， LU Yi-xiang，SUN Dong(College of Electrical Engineering and Automation, Anhui University, Hefei 230601,China)Abstract: It is difficult to further processing of the license plate under non-uniform illumination. This paper p

4、roposed an enhancement algorithm of license plate under non-uniform illumination based on intrinsic image decomposition. The license plate image located was converted to gray image. For the pixels set that contained similar shading component, it was processed using the constraints proposed in this p

5、aper. This constraints and the traditional Retinex constraints reduced uncertainty in decomposition effectively. We formulated the decomposition problem as the minimization of a quadratic function which incorporates both the two constraints, it yielded a closed-form solution for the intrinsic image

6、decomposition problem. The experiments shows that the method processed in this paper eliminates the effect of the non-uniform illumination to a certain degree, reduced the difficulty of the further processing.Key words: non-uniform illumination; intrinsic image decomposition; Retinex constraint; clo

7、sed-form solution1.引言随着城市汽车数量的不断增多，对车辆管理的负担越来越重，这使得越来越多的国家对智能交通系统（Intelligent Transportation System, ITS）越来越重视，而车牌识别技术是智能交通系统的重要组成部分。车牌识别技术主要包括三个部分：即车牌定位、车牌字符分割和字符识别。车牌定位的作用是确定出车牌在图像中的具体位置；车牌字符分割的主要任务是在定位出来的车牌区域中将字符一一分割出来；字符识别的主要任务是将分割出来的字符一一识别出来。但当光照条件复杂时，获得的车牌图像可能会出现光照不均匀现象，这会使得车牌字符和背景很难分离，会给车牌的进一

8、步处理带来很大的困难，甚至无法完成车牌的识别任务。所以对光照不均匀的车牌进行预处理是十分必要的。到目前为止，涌现出大量的图像增强算法：基于Retinex的增强算法12、同态滤波增强算法3、直方图均衡化算法45。基于Retinex的算法是提取出反射分量作为增强后的结果，但对于非平滑深度的场景不可能精确地提取出反射分量。非锐化掩膜算法是把一个图像分解成高频和低频部分，然后分别处理这两部分，最后通过相加合并在一起，这可能使得增强后图像在细节和图像保真度之间很难折中。直方图均衡化算法容易导致过增强，使得图像增强效果较差。本文在此基础上，提出了基于本征图像分解的不均匀光照车牌增强算法。本征图像分解是把图

9、像分解成反射分量(reflectance)和亮度分量(shading)，其模型为，为图像，、分别为反射分量和亮度分量，表示对应点像素值相乘。亮度分量是被物体表面反射的光的数量，反射分量是物体本来的面目。因此只要能够求出反射分量，即可恢复出物体的本来面目，达到增强的目的。因为本征图像分解在一个像素值有两个未知数，所以它是一个不适定问题。国内外学者对此进行了大量的研究，例如文献67通过使用多幅图像来降低分解中的不确定性。这些方法虽然能获得较高质量的结果，但是需要多幅图像的条件会限制其应用范围。于是基于单幅图像的分解算法大量出现，例如基于Retinex算法的单幅图像分解算法89、根据启发规则10和训

10、练分类器1112的分解算法。这些方法的主要缺点是只根据局部小窗口来进行分解。所以本文在传统Retinex约束的基础上，提出了新的非邻近像素的约束。由实验结果可知，本文所提出的算法，能在一定程度上消除光照的影响，降低了车牌进一步处理的难度。2.Retinex约束Retinex13是视网膜（Retina）和大脑皮层（Cortex）的缩写。它的基本原理是将一幅图像分为亮度分量和反射分量两部分，然后通过降低亮度分量对反射分量的影响而达到增强图像的目的。根据Retinex理论，环境在人眼中的成像取决于环境的入射光（即亮度分量）和物体的反射性质（即反射分量）。成像过程可以用下式表示： (1)其中表示亮度分

11、量，决定一幅图像的动态范围；表示物体的反射分量，即物体对入射光反射能力的大小，决定图像的内在性质；是反射光，如果被人眼接受，物体的图像就会形成。本征图像分解就是把图像分解成和的过程。为了后续处理方便，对(1)两边取对数，变换为，为了表示简单，在不特别说明的情况下，仍用原符号表示取对数后的量。图1 Retinex算法流程图Fig.1 Flow chart of Retinex algorithmRetinex具体的计算流程如图1所示。由图1可以看出，用Retinex进行图像增强最关键的一步是如何获得亮度分量，但亮度分量的计算在数学上是一个奇异问题，因此只能近似地计算出来。传统Retinex约束假

12、设亮度分量和反射分量的邻近像素梯度在大部分情况下变化是较小的。9它主要通过分析邻近像素梯度来进行图像分解，当邻近像素梯度较大时认为是因为反射分量改变引起的，把该点归为反射分量；反之，当邻近像素梯度较小时则被归为亮度分量。在这里，定义为： (2)其中，为所有的邻近像素点的集合。(2)式是求邻近像素点的反射分量和亮度分量梯度的平方和，这里用来进行平衡。有很多种的计算方法，如文献14当梯度大或者小时，使得取小值或者大值；文献15通过相关性分析来确定的值；文献16用训练分类器确定的值。本文为了处理简单，用反型曲线来进行计算。具体计算公式如下： (3)其中为归一化的图像、两点像素值差的绝对值, 为阈值，

13、为了更加强调梯度大时小，梯度小时大，并结合实验，阈值按照(4)式选取： (4)3.非邻近像素约束 本征图像分解的难度主要是因为在一个像素有两个未知数，所以本征图像分解是一个不适定问题。减少分解中的未知数，会降低分解的不确定性，从而能够提高分解的精确性。本文提出了基于相似亮度分量集合的非邻近约束，处理过程主要分为两步。第一步，通过一定的算法找到相似亮度分量的像素集合；第二步，对该集合用非邻近像素约束进行处理。具体过程如下：本文选用高斯核17函数估计图像的亮度分量，高斯核用(5)式所示： (5)其中，是常量，其控制着高斯滤波器的宽度，即平滑程度。越大，高斯滤波器的频带就越宽，平滑程度就越好。（本文

14、取80）。估计出亮度分量后，求其非相邻两像素邻域差的平方和，如果其小于某阈值(本文根据大量实验，选0.0005)则认为两像素有相似的亮度分量，用相同方法遍历整个图像，求出相似亮度分量的像素集合。对该集合用(6)式进行处理。 (6)其中，是相似亮度分量的像素集合，是中的一组， 是中的任意两点。对于本征图像分解()，可以增加任意值同时减少相同值，可以得到不同的分解。为了减少在绝对尺度处的分解不确定性，定义如下式： (7)其中，为图像最大像素值的集合。4.分解算法本征图像分解依赖多个约束，这样可以减少分解过程中的不确定性，提高分解的精确性。这里根据能量最小化原则18，定义本征图像分解问题为求目标函数

15、最小化问题，即： (8)其中，是连接多个约束的是正系数（在本文中，）。因为，所以。把代入 = 2 * GB2 式，则(8)式是只含有一个未知数的函数，于是可以化简成标准的二次形式： (9)其中，是对称的正定矩阵（因为都是非负的）；是一个包含所有亮度分量像素的(是像素个数)列向量(是亮度分量按行拼接成的列向量)；是另一个列向量。因为是对称的正定矩阵，所以(9)式有唯一全局最小值。对(9)式求导，并令导数为零，可得(10)式。 (10)即得到用封闭形式解来求本征图像分解。可以利用共轭梯度算法来求解(10)式，从而得到，即得到。再利用，可得到，完成本征图像的分解。是一个的矩阵，可见存储会占用很大的内

16、存空间，有可能出现电脑内存无法存储的情况。通过大量实验我们可以看到，矩阵是一个下带宽为1，上带宽也为1的带状矩阵，所以可以从需要存储空间下降到只需要的存储空间。对于矩阵可以通过(11)式转化为矩阵进行存储。 (11)表1 实验结果对比表Table1 Contrast table of experimental results对比图 均值 相对平均梯度 熵(a3) 0.3208 0.0703 7.4023(a5) 0.3385 0.0576 7.3529(b3) 0.2320 0.0663 7.0179(b5) 0.2883 0.0443 6.8231(c3) 0.5249 0.0305 6.6

17、007(c5) 0.5288 0.0232 6.4637其中，分别表示矩阵的行、列坐标。因此如果为如下矩阵，利用(11)式转换成可见，利用(11)式可以大大降低占用的存储空间。5.实验结果及分析 (a1) (b1) (c1) (a2) (b2) (c2) (a3) (b3) (c3) (a4) (b4) (c4)图3 本文算法与传统算法处理结果对比图Fig.3 Contrast figure of our algorithm and traditional algorithm (a1) (b1) (c1) (a2) (b2) (c2) (a3) (b3) (c3) (a4) (b4) (c4)

18、 (a5) (b5) (c5)图2实验结果对比图Fig.2 Contrast figure of experimental results本文实验所选用的车牌都拍摄于现实生活中，而且通过一定的算法进行了车牌定位，实验只对定位后的不均匀光照车牌进行处理。本文提出了传统的Retinex约束和非邻近像素约束算法对不均匀光照车牌进行处理，所以实验首先比较了加入非邻近像素约束算法和未加入非邻近像素约束算法的处理效果，处理效果对比图见图2（(a1)(b1)(c1)为光照不均匀车牌；(a2)(b2)(c2)和(a3)(b3)(c3)为加入非邻近约束算法处理后的亮度分量图和反射分量图；(a4)(b4)(c4)

19、和(a5)(b5)(c5)为未加入非邻近约束算法处理后的亮度分量图和反射分量图）。本文增强算法主要是为了得到反射分量，所以接下来只比较上述两种方法所得到的反射分量，不比较亮度分量。把图2(a3)和(a5)两图与原图对比，可以看出字母“A”旁边的光照都在一定程度上被去除，但是(a5)字母“A”对比度下降，去除光照效果比(a3)差；(b3)和(b5)对比原图，“贵”字右上角以及两个“A”旁边的光照在一定程度上被去除，但(b5)两个“A”对比度下降，比(b3)效果差；(c5)“8”和“2”对比度较(c3)都有所下降。总之，由图2可见，加入非邻近像素约束和未加入非邻近像素约束都能在一定程度上去除不均匀

20、光照的影响，但加入非邻近像素约束的算法去除效果要优于未加入非邻近像素约束的算法。表1列出了(a3)、(a5)、(b3)、(b5)、(c3)和(c5)的均值、相对平均梯度和熵。由表1可以看出，加入非邻近像素约束，均值有所下降，说明去除光照不均匀的效果更好；相对平均梯度有所提高，因为相对平均梯度在一定程度上可以反应图像的清晰度，所以可见加入非邻近像素约束处理后的图像变得更加清晰；另外，加入非邻近像素约束，图像的信息熵也有所提高。可见加入非邻近像素约束的算法，处理后的图像效果会更好。另外，实验还比较了本文算法和文献3、9的处理效果。处理效果对比图见图3（(a1)(b1)(c1)为原图；(a2)(b2

21、)(c2) 为文献3处理结果图；(a3)(b3)(c3) 为文献9处理结果图；(a4) (b4) (c4)为本文算法处理结果图）。由图3(a2)、(b2)和(c2)，可以看出用文献3增强算法可以在一定程度上去除不均匀光照的影响，但是去除光照后图像有伪影，不利于后续处理；图3(a3)、(b3)和(c3)较图3(a2)、(b2)、(c2)处理效果好，处理后图像没有文献3后所产生的伪影。比较(a3)和(a4)可以看出，(a3)中的字母“A”较(a2)对比度有所下降，所以(a4)的效果要优于(a3)；比较(b3)和(b4)可以看出，(b3)字符“A”对比度下降，二值化后字符有可能会缺损，可见(b4)的

22、效果要优于(b3)；同样，比较(c3)和(c4)可以看出，(c4)效果要优于(c3)。总之，实验比较了本文算法与文献3、9的增强算法，可见本文所提出的算法最优。表2列出了对图3求均值、相对平均梯度和熵。由表2可以看出，(a2)、(b2)和(c2)均值与其它相比，都有稍许偏低，这是经过文献3方法进行增强后，图像整体变暗的原因。比较表2中的相对梯度和熵可以看出，本文所提出的方法增强后的图像相对梯度和熵值都有所提升，故优于文献39所提出的方法。 (a1) (b1) (c1) (a2) (b2) (c2) (a3) (b3) (c3) (a4) (b4) (c4)图4 实验结果Fig.4 Experi

23、mental results为了更直观地比较本文算法、文献3和9增强方法对不均匀光照车牌的增强效果，于是用同一种二值化算法对原图、经过文献3、9以及本文算法处理的图像进行二值化处理，效果图见图4（(a1)(b1)(c1)为对原图进行二值化；(a2)(b2)(c2)为对文献3处理后的图进行二值化；(a3)(b3)(c3)为对文献9处理后的图进行二值化；(a4) (b4) (c4)为对本文算法处理后的图进行二值化）。由图4(a1)、(b1)和(c1)可见，直接对原图进行二值化，因为光照不均匀的影响，使得二值化后字符和车牌背景难以分开，给字符的分割以及字符的识别带来了很大的困难；由图4可见，经过文献

24、3、9以及本文算法增强后，二值化效果图都优于直接对原图进行二值化，但经过本文所提出的算法增强后，再进行二值化，效果最好。总之，本文所提出的算法在一定程度上去除了光照不均匀的影响，为接下来的字符分割、字符识别带来了便利。6.结论表2 本文算法与传统算法对比结果表Table2 Contrast table of our algorithm and traditional algorithm对比图 均值 相对平均梯度 熵(a2) 0.2400 0.0766 7.2603(a3) 0.4061 0.0732 7.1677(a4) 0.3208 0.0790 7.4033(b2) 0.2003 0.05

25、61 6.9986(b3) 0.2698 0.0516 7.0416(b4) 0.2320 0.0632 7.0435(c2) 0.1797 0.0407 6.8777(c3) 0.5937 0.0436 6.7444(c4) 0.5249 0.0516 6.8942随着城市车辆的不断增多，越来越多的国家会更加重视ITS，其中重要的是车牌识别技术。但由于各种原因，如车牌污损、不均匀光照等，使得车牌识别技术的普及遇到一定的限制。于是本文提出了基于本征图像分解算法来去除不均匀光照对车牌识别的影响。在本征图像分解算法中，本文提出了新的基于相似亮度分量集合的非邻近像素约束，可以有效地减少在分解过程中的

26、不确定性，提高分解的精确性。另外，本文算法存在一定的不足，因为本文所使用的阈值是根据实验的主观经验而取的而且是固定的，这必然会影响该算法的适用范围，所以在以后的研究中着重解决阈值如何根据输入图像而自适应调整，无需凭借经验选取阈值的问题。虽然本文算法存在不足，但是由实验可知，本文所提出的算法对光照不均匀的车牌增强效果较好，为对车牌的后续处理降低了难度。参考文献：1 J. H. JANG, S. D. KIM, J. B. PA. Enhancement of Optical Remote Sensing Images by Subband-decomposed Multiscale Retine

27、x with Hybrid Intensity Transfer Function J. IEEE Geoscience and Remote Sensing Letters, 2011, 8(5): 983-987.2 WANG Rong-gui, ZHANG Xuan, ZHANG Xin-long,et al. A novel adaptive retinex algorithm for image enhancementJ. Acta Electronica Sinica, 2010, 38(12): 2933-2936.3 FEI GUO, MAI ZHOU, MEI ZHAO, e

28、t al. Out of plane displacement measurement based on electronic speckle pattern interferometry: International Conference on Computer Science and Information ProcessingC. Xian, Shaanxi, 2012: 1323-1326.4 D. SEN, S. K. PAL. Automatic Exact Histogram Specification for Contrast Enhancement and Visual Sy

29、stem Based Quantitative Evaluation J. IEEE Transactions on Image Processing, 2011, 20(5): 1211-1220.5 MENG Tian-you, WANG Yun-jia. Ideal equalization of remote images and quantitative assessment of image qualityJ. Journal of Image and Graphics. 2012, 17(5): 729-739.6 Y. WEISS. Deriving Intrinsic Ima

30、ges from Image Sequences: proceedings of eighth IEEE International Conference on Computer Vision C. Vancouver, BC, 2001: 68-75. 7 Y. MATSUSHITA, S. LIN, S. B. KANG, et al. Estimating Intrinsic Images from Image Sequences with Biased Illumination: proceedings of European Conference on Computer Vision

31、 C. 2004: 274-286.8 B.V. FUNT, M.S. DREW, M. BROCKINGTON. Recovering Shading from Color Images: proceedings of the second European Conference on Computer Vision C. Springer Berlin Heidelberg, 1992: 124-132.9 QI ZHAO, PING TAN, QIANG DAI , et al. A Closed-Form Solution to Retinex with Nonlocal Textur

32、e Constraints J. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1437-1444.10 P. SINHA, E. ADELSON. Recovering Reflectance and Illumination in a World of Painted Polyhedra: proceedings of fourth International Conference on Computer VisionC. Berlin, 1993: 156-163.11 M. F.

33、 TAPPEN, W. T. FREEMAN, E. H. ADELSON. Recovering Intrinsic Images from a Single Image J. IEEE Trans. Pattern Analysis and Machine Intelligence, 2005, 27(9):1459-1472. 12 M. F. TAPPEN, W. T. FREEMAN, E. H. ADELSON. Estimating Intrinsic Component Images Using Non-Linear Regression: proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition C.2006: 1992-1999.13