基于图像预处理的二维码识别技术的研究概要

《基于图像处理的二维码识别技术的基本研究》作者：丁真真《计算机视觉》指导教师：梁栋③能够有效编码中国汉字和日本汉字。图1QR码的符号结构2.2DataMatrix的简介[4]DataMatrix二维码（DM码）是由美国国际资料公司于1989年发明的，DM是矩阵式二维条码，其发展的初衷是在较小的标签上嵌入更多的资料信息。DM的最小尺寸是目前条码中最小的，尤其适用于小零件的标识，直接印刷在实体上。DM分为ECC000—ECC140和ECC200两种类型，ECC000—ECC140具有多种不同等级的错误纠错功能，而ECC200则通过Reed-Solomon纠错算法产生多项式计算出错误纠错码，不同尺寸的ECC200符号应有不同数量的错误纠错词。由于DM只需读取资料的20%即可精确辨认，因此很适合在条码容易受损的场合，例如在暴露于高热、化学剂清洗、机械腐蚀等特殊环境的零件上。DM码最大特点就是存储效率高，因此被广泛应用于标示集成电路、药品等小件物品。如图2所示，DM码看起来像是一个由黑白两种颜色组成的点阵组合，每一个相同大小的黑色或白色方格成为一个数据单位。矩阵中的1、0就是DM的黑白两色小方格，及数据单位。图2DM码示例每个DM码符号由规则排列的房型模组组成，如图3所示。其中，(a)是一个完整的DM码；(b)是DM码寻边区L型实心边界；(c)是DM码寻边区的反L型虚线边框；(d)是数据区，包含被编码的有用信息；(e)是结构链接情况下的DM码。DM码看起来像一个由深浅颜色组成的国际象棋棋盘，每一个相同大小的黑色或白色方格，分别对应于二进位0或1，被称为数据单位。DM符号就是由许多这样的数据单位组成。在寻边区外层有宽度为一个数据单位的静区，静止区的主要作用为将二维条码与其他的背景信息隔离。寻边区是“棋盘”的边界，包括L型的实心边界和反L型的虚线边界，只用于定位和定义数据单位大小，而不含有任何编码信息。被寻边区包围的数据区则包含着编码信息，是对待编码的符号，包括数字、字母和汉字等按照一定的编码规则生成的。值得指出的是;寻边区是DM的边界，主要用于限定DM码的物理尺寸，定位和符号失真。反L型的虚线边界同样主要用于限定符号的单元结构，但也能帮助确定物理尺寸及失真。图(e)是结构链接的DM码，中间一个黑白交替的十字形称为铁路线，在取样时需要利用它以提高识别率。图3DM的符号结构3.图像预处理二维码的识别是通过将采集到的图像通过数学和图像的方法，尽可能地将其中所容纳的信息恢复出来的过程，但无论是从什么仪器所采集的图像都不可避免地会和原图像有所差异。如果图像采集过程中存在各种噪声、模糊、光照不均、畸变，甚至是图像部分区域的沾污，在识别之前都需要进行图像的预处理，才能尽可能保证条码的读取顺利。二维码的预处理包括：图像的灰度化、图像的增强、图像滤波处理、光照不均处理、二值化、边缘检测、图像的定位、图像校正和畸变校正等。下面就以上图像处理的现有方法进行总结和比较。3.1图像灰度化一般情况下，由智能手机或相机的摄像头采集到的图像信息通常是彩色图像，以常见的RGB格式彩色图像数据来看，每个像素点是由Red、Green、Blue三种颜色的数据信息描述。但在二维码的解码中只需要正确描述出条状区域和空白区域即可，所以进行灰度化的处理，是为了将影响不大的色彩信息去掉，不仅可以降低存储空间，还可以增加解码的速度。灰度化的主要方法有[5]：最大值法：在像素点的三个色彩分量信息中，选出数值最大的一项作为该像素点的最大值。这种方法得到的灰度图像亮度将会比较大。平均值法：将像素点三个色彩分量信息相加求出平均值，将该平均值视为灰度值。这种方法得到灰度图像比较柔和但会丢失部分图像边缘信息。加权平均法：将像素点三个色彩分量信息按照一定的权重相加求出平均值，该平均值被作为像素点的灰度值。其转换公式如下：（1）这种方法得到的图像效果最好，几乎所有的灰度化过程都采用这样的方法。 (a)彩色图像(b)灰度化图像图4二维码灰度图像效果图3.2图像滤波由于CMOS或CCD摄像头的光学或电学特性，在图像采集过程中不可避免地会采集到噪声，这些噪声一般为椒盐噪声或斑点噪声，在二值化等进一步操作之前，需要将噪声除去。常用的滤波方法分为线性滤波和非线性滤波[5]。线性滤波是指利用一定的变换关系对图像中每个像素点的灰度值做变换，线性算子的计算方式不同，线性滤波的算法也就不同。非线性滤波多采用取绝对值、置零或分区域变换等非线性的方法。通过分析采集到的二维码图像可知其引出的噪声一般为高斯噪声，利用低通线性滤波可以对其进行很好地去除，但缺点是可能会使边缘信息变得模糊，这对之后的二值化操作具有很大的影响，会因为边缘模糊将原本白色空白间隔的区域二值化为黑色条状区域，直接导致“1”和“0”的误判，在解码过程中有非常大的可能是最终结果出错。而非线性低通滤波方法——中值滤波可以很好地避开这点，中值滤波是将待处理的像素点以及以其为中心的小窗口内的像素点的灰度值按照大小进行排列，取中间值代替需要处理像素点的灰度值。中值滤波的数学表达式如下：(2)优点是：中值滤波对椒盐噪声、斑点噪声去除效果非常好，且由于其处理算法的特殊性使得图像中的阶跃序列和周期序列不会被滤除，很好地保存了二维码的边缘信息。缺点是：虽然方法简单易实现，但有时会失掉图像中的细线和小块的目标区域。对于中值滤波，一般采用5*5的窗口进行滤波，效果图如图5所示：图5中值滤波效果图3.3光照均衡化由于二维码特点和摄像头等相关缺点知，光照均衡化在二维码前期处理当中起到至关重要的作用。非均衡化的光照很容易使二值化过程产生误差，将本来是白色空白区域的位置二值化为合适条状区域，从而影响解码正确率。目前已有很多学者提出各种光照均衡算法[5]，如直方图修正法，Retinex增强，童泰滤波，对数变化和梯度增强等，但是这些算法普遍存在计算时间长，运用大量对数运算，丢失图像边缘细节等问题。随着数学形态学的发展，诞生出许多基于数学形态学的去光照算法。Jimenez-Sanchez等提出的不均匀光照校正算法[8]，Chen研究出的基于数学形态学的光照均衡方法。这些方法优点：能够获得很好地效果。缺点是：当分块较大的时候，处理后的图像块效应会分成明显。针对此缺点，Xu提出利用大尺度的结构元素对原始图像进行白TOP-HAP变换来去除光照影响[9-10]，优点是：实现起来较简单，大多数情况下的处理效果令人满意。缺点是：因为仅仅使用单一的结构元素，所以对复杂光照处理效果欠佳。张萌提出利用数学形态学实现的基于多结构元素的不均衡光照校正算法，其核心思想即：选用大尺度的多结构元素对图像进行白TOP-HAP变换，之后利用熵理论对图像进行融合，得到最总图像。优点：与传统算法相比较，算法过程简单，无复杂数学运算，充分保留图像细节，去光照效果好，实验对比如图6。 (a)原图像(b)去光照后的图像图6去光照处理效果图3.4图像的二值化由于二值图像易得到图像的特征信息，所以滤波后的图像都要进行二值化。所谓二值化就是把灰度图像经过一定的变换关系转化为只有黑色和白色两种颜色的图像信息。在二值化的过程中最重要的就是阈值的选择，阈值是指选取一个灰度值，将小于灰度值的像素置为最小灰度即黑色，大于灰度值的像素置为最大灰度值即白色。根据二值化中对阈值的选取方法不同，二值化算法主要全局选取阈值法和局部区域选取阈值法和动态阈值法[11]。全局阈值分割方法是指在二值化的过程中只使用一个固定阈值的方法，此法对于质量较好的图像有效。包含的方法有：方差阈值分割法、最大熵法、模糊阈值分割法、共生矩阵分割法、区域生长法等。优点是：应用广泛，算法简单，对于对比度较高、照度均匀、无阴影的图像，能够达到很好地分割效果。缺点是抗噪能力不强，对目标和背景灰度有梯度变化的图像效较差。局部阈值分割法：将原始图像划分为较小的图像，并对每个子图像选取相应的阈值。优点：能够适应较复杂的情况，抗噪能力强，对一些用全局阈值法不易分割的图像有较好的效果。缺点是：算法的复杂度增加，速度慢，难以适应实时性的要求；容易受到背景不均匀性的影响，在某些情况下会产生失真。常用的方法有灰度差直方图法、微分直方图法。动态阈值法：其阈值确定不仅取决于改像素的灰度值及周围像素的灰度值，而且与像素位置有关。事实上，专门适用于二维码的图像二值化比较少[12]。针对DM解码，大部分采用的是现有的算法，如Ostu法进行处理。杨硕[13等提出一种DM码算法的二值化算法。它首先根据Kittler算法找到图像发生光照不均的区域，然后改进Bernsen算法的处理过程、调整参数、削弱原算法的伪影问题，并用改进后的算法处理光照不均的部分，具有较好的稳定性和自适应性。缺点是：该算法的计算量较大，实时性受到影响。3.5边缘检测边缘检测就是检测条码的边界，将图像与周围非相关信息区别开来。图像的边缘是指图像灰度上有明显突变的部分，基本思想是：利用边缘增强算子，突出图像中的局部边缘，然后定义像素的“边缘强度”，通过设置阈值的方法提取边缘点集[11]。传统的图像边缘检测方法基本上都可以概括为对图像的高频分量进行增强，微分计算理所当然成为边缘检测与提取的重要技术手段。最早提出的一阶边缘检测算子有Robert算子，以及在此基础上发展出来的Sobel算子，Prewitt算子和Kirsh算子等，这些算子会在图像的边缘附近区域发生较宽的响应，这样检测时就需要细化的过程，从而影响图像边缘的精确定位。之后提出二阶边缘检测算子如Laplacian算子。以LOG算子和Canny算子为代表的最优算子则是经过微分算子进行发展和优化产生的。随着科学技术的发展，借助于各种新的理论研究边缘检测的方法被提出并应用。如基于形态学的边缘检测算子，借助统计学的检测方法、利用神经网络的检测技术、利用 模糊理论的检测技术、利用信息论的检测技术、利用遗传算法的检测技术、基于分形特 征的边缘检测技术等[14]。3.6图像定位由设备采集到的图像一般包含二维码图像和背景，因此需要将整个二维码从整个图像中分离出来。具体来说：QR码中需要确定定位图形，DM码的定位则是通过L型的寻边区决定的。Radon和Hough变换[14]是常用的两中直线提取方案。可以用这两种算法确定条码的旋转角度和坐标。Randon变换的几班原理：对一个平面内沿不同的直线（直线与原点的距离是d，方向角为θ）对f(x,y)做线积分，得到的像F(d,θ)就是函数f的Randon变换。标准的Randon变换的格式如下：(3)用求出的最大积分的只，求得的对应角度θ，就是二维码的旋转角度。此变换求得的旋转角度具有提高算法抗噪声性的优点，但由于受到设定的条码的旋转角度范围和步进角度的限制，算法的运算速度将受到一定影响。Hough变换基本原理：利用图像二维空间和hough参数极坐标空间的点-线对偶关系，把图像二维空间中的检测问题巧妙地转换到极坐标参数空间。在参数空间再进行简单的累加统计，然后在hough参数空间寻找累加器最大值的方法来检测图像二维空间中的直线。Hough变换的优点是：受噪声和曲线间断的影响较小，对于形状为正方形的QR码，尤其具有一定的优势。3.7图像校正图像的校正就是对由于各种因素导致失真的图像进行恢复原貌的操作。以QR码为例，其几何校正的基本方法是寻找QR码的3个寻像图形，根据寻像图形确定四个控制 点，然后利用四个控制点进行图像的校正。但是当图像失真严重时，寻像图像难以寻找，以至无法识别。 得到四个控制点的算法[15]：把二值化的图像灰度值取反，得到图7(a)。对图7(a)进行多次的膨胀腐蚀，得到中间挖空的图像图7(b)。然后对图7(b)进行边缘检测，得到图7(c)。对图7(c)进行hough变换，找出四条边线，如图7(d)，然后求出四条边线的交点，得到四个控制点。 (a)灰度化后的图像(b)多次膨胀腐蚀后的图像(c)边缘检测后的图像(d)提取四条边线的图像图7四个控制点的确定过程然后运用二维图像的6参数投影变换[15,16,17]，可以将几何失真的图像校正。如图8所示。图8二维图像投影变换得到校正后的像素坐标后，再进行双线性插值，可直接得到校正后的图像。值得注意的是：几何校正之后的图像并非严格意义上的原图像，仍然存在少量的失真。如图7中的图像，失真最少的是左下角的部分，失真最大的是右上角的部分。如果使用8参数的仿射变换，校正的效果会更好，但其计算量过大，不易处理。3.8图像的采样图像的取样就是对定位、校正后的图像进行解码得到其编码信息的过程。以DM为例，其主要方法是：通过定位后的DM码，得到版本号确定DM尺寸，并以此为依据画网格，得到每个小格内代表的位是0还是1，就可以得到DM码的点阵式数据流，经简单的译码就可以还原DM码的内容。表1列举DM码的版本号与分区个数之间的关系。表1DM码的版本号与分区个数之间的关系版本号范围符号分块的个数1-9110-15416-211622-2436事实上，符号分块的个数越多，基于分块的网格取样在提高识别率上的效果越好。存在的问题域研究展望4.1存在的问题前面介绍了基于图像预处理的二维码识别的基本流程以及现有的各种，比较之下回去发现，各种方法均有好处，相对的也都有缺点。从目前研究现状来看，仍然存在的问题是：对非正常图像的识别率不高，也就是说没有一种通用的办法能够在识别QR码的同时识别所有的DM码，且识别率达到100%。4.2研究展望图像预处理技术是一门多学科的综合研究问题，涉及计算机视觉、信号处理、计算机图形学、机器学习、成像传感器、模式识别等，而二维码是应用很广泛的“商品”，对各种状态下的二维码的识别，会给社会各界带来非常巨大的影响。未来对此技术的研究还可以集中在以下方面：建立统一的图像预处理技术理论研究图像预处理的方法经过几十年来科学理论的沉淀以及后人不断的创新，其数量已经很多，但在这些理论的基础上，整合出一套适用于各种码制的处理方法是现在图像处理领域急需解决的事情。实现自动化与多层次的图像处理一个理想的图像预处理系统应该是全自动的，并且能够提供多层次的分析。但是目前提出的基本都是分阶段，半自动化的，需要人为对其方法进行选择，判断。未来的图像处理如果能够通过机器的智能学习，通过其自主的图像处理，自动识 别二维码或图像。将是一个很好的未来。总结面向图像预处理的二维码识别在二维码日益广泛的应用中会变成研究的主流，如何找到充分、可靠、有说服力的方法则是未来研究的关键。本文主要介绍了二维码图像处理的基本流程，并对当前主要的处理办法进行分析、比较和探讨。该领域还存在在大量的问题和挑战，深入的研究将可以获得更多原创性的研究成果。参考文献[1]黄宏博，穆志纯.基于图像处理的复杂条件下手机二维码识别[J].北京信息科技大学学报,2011,26(5)：40~44.[2]中国物品编码中心.GB/T18284—2000,快速响应矩阵码[S].北京:中国标准出版社,2001.[3]黄宏博,肖峻岭,佟俐鹃.基于Reed-Solomon算法的QR码纠错编码[J].计算机工程，2003.[4]邹沿新.DataMatrix二维条形码图像预处理及识别技术研究[D].湖南.湖南大学.2009.[5]张萌.基于二维条码图像的光照均衡VISI设计[D].四川.电子科技大学.2013.[6]李世进.数字图像的平滑处理[J].湖南科技学院学报.2008.1(29):23-24.[7]S.J.KO,Y.H.Lee.CenterWeightedMedianFilterandtheirApplicationtoImageEnhancement[J].IEEETrans.circ.syst,1991,vol,38:984-933.[8]A.R.Jimenez-Sanchez,J.D.Mendiola-Santibanez,I.R.Terol-Villaloborset.Al.Morphologicalbackgrounddetectionandenhancementofimagewithpoorlighting[J].IEEETrans,Imageprocessing,vol.18(3):613~623.[9]G.B.Xu,Zh.B.Su,J.Wang