基于图像预处理的二维码识别技术的研究教材

1、计算机视觉指导教师：梁栋基于图像预处理的二维码识别技术的研究摘要：随着计算机科学技术的发展，自动识别技术得到了广泛的应用。在众多自动识别的技术中，条码技术已经成为当今主要的计算机自动识别技术之一。为解决条码信息容量有限的问题，九十年代以来出现一种新的条码一一二维码。二维码是指在平面二维方向上，使用某种特定的几何图形按一定规律分布的黑白相间的，用以记录信息的符号。在代码编制上巧妙地利用构成计算机内部逻辑基础的“0“1比特流的概念，使用若干个与二进制相对应的几何形体来表示文字数值信息，通过图象输入设备或光电扫描设备自动识读以实现信息自动处理：它具有条码技术的一些共性：每种码制有其特定的字符集；每个

2、字符占有一定的宽度；具有一定的校验功能等。同时还具有对不同行的信息自动识别功能、及处理图形旋转变化等特点。二维码主要分为两大类：一是堆叠式是二维码，其主要代表是pdf417;二是矩阵式二维码，主要包括QR码和DataMatrix码。在现代商业活动中，二维码以其低成本、快速识读、含有大量信息而广泛应用于各个行业，如：产品防伪/溯源、广告推送、网站链接、数据下载、商品交易、定位/导航、电子凭证、车辆管理、信息传递、名片交流、wifi共享等，人们通过手机二维码的扫描软件就可以轻松获得二维码中所储藏的信息。对QR码进行识别需要使用采集设备采集的图像，但图像的采集过程中由于受到各种因素（如光照不均匀、拍

3、摄角度、二维码有褶皱等）的影响，可能导致二维码图像背景有各种噪声，收到的图像可能存在几何畸变或者图像有阴影，从而导致识读设备很难识读，给解码带来相当大的困难。因此，如何对收集到的图像进行适当的去噪和校正已成为二维码识别的关键问题1。本文主要针对异常QR码以及DataMatrix码的识别进行描述，先表明二维码识别要解决的问题、任务和框架，并对现有方法进行阐述，最后讨论二维码识别技术仍需解决的问题，并展望看其未来研究方向。1 .二维码识别的概念框架随着二维码的广泛使用，二维码被广泛认知，当人们遇到二维码扫描失败的时候，对其产生的影响也是巨大的，人们会怀疑是不是产品是假的，或者是有诈骗信息，但其主要

4、问题可能是：1） 二维码的扫描不够精确；2）不是真的二维码图形；1作者：丁真真基于图像处理的二维码识别技术的基本研究3）更新的条码种类未被录用到扫描软件中；4）二维码图案被破坏，或没有处于理想状态下；上述问题只是二维码不能识别的部分原因，就上述问题，还没有某一款软件或产品能够同时解决上面所有的问题，由此，二维码的识别过程中所要完成的主要任务，即在用二维码软件扫描二维码时，先对其图案进行图像的预处理，使其符合各二维码的种类规范，然后再对其进行读取。基于图像预处理的二维码识别的基本流程包括：图像灰度化、图像滤波、光照均衡化、图像分割、图像二值化、边缘检测、图像定位、图形旋转，失真校正等。本文主要总

5、结针对二维码图形预处理的方法，以期能够提高二维码的识别度。2 .二维码条码2.1 QR码简介QR码是快速识别矩阵码（quickresponsecode）的简称，最早由日本DENSO公司在1994年9月推出，我国于2000年底颁布了QR码的国家标准。QR码符号呈正方形，由空白区、功能图形区、数据图形区组成。功能图形区又分为位置探测图形、校正图形、格式信息、版本信息、定位图形等不同的图形形式，如图1所示。各部分图形都由深色模块（代表二进制1）或浅色模块（代表二进制0）组成，位置清晰，功能性强，有利于进行图像处理和识别2。根据编码数据量的多少，QR码可以分为40个版本，从版本1到版本40,符号容量越

6、来越大，相应的图形所占的面积也增大，每增大一个版本，符号图像的每边就多出4个模块。QR码有较强的数据容错能力，使用Reed一Solomon码进行查错控制。根据需要，可设置L、M、Q、H四个纠错等级，分别可恢复传输或识读出错的7%、15%、25%、30%的码字信息。详见文献33-10,493-95。QR码的基本特点：识读速度超高；全方位读取；能够有效编码中国汉字和日本汉字。计算机视觉指导教师：梁栋空白区F位置探测图形分隔符定位图形校正图形格式信息版本信息数据和纠错码字图1QR码的符号结构2.2DataMatrix的简介4DataMatrix二维码（DM码）是由美国国际资料公司于1989年发明的，

7、DM是矩阵式二维条码，其发展的初衷是在较小的标签上嵌入更多的资料信息。DM的最小尺寸是目前条码中最小的，尤其适用于小零件的标识，直接印刷在实体上。DM分为ECC000-ECC140和ECC200两种类型，ECC000ECC140具有多种不同等级的错误纠错功能，而ECC200则通过Reed-Solomon纠错算法产生多项式计算出错误纠错码，不同尺寸的ECC200符号应有不同数量的错误纠错词。由于DM只需读取资料的20%即可精确辨认，因此很适合在条码容易受损的场合，例如在暴露于高热、化学剂清洗、机械腐蚀等特殊环境的零件上。DM码最大特点就是存储效率高，因此被广泛应用于标示集成电路、药品等小件物品。

8、如图2所示，DM码看起来像是一个由黑白两种颜色组成的点阵组合，每一个相同大小的黑色或白色方格成为一个数据单位。矩阵中的1、0就是DM的黑白两色小方格，及数据单位。【找个汉字舒个汉字20个汉字图2DM码示例作者：丁真真基于图像处理的二维码识别技术的基本研究每个DM码符号由规则排列的房型模组组成，如图3所示。其中，（a）是一个完整的DM码；（b）是DM码寻边区L型实心边界；（c）是DM码寻边区的反L型虚线边框；（d）是数据区，包含被编码的有用信息；（e）是结构链接情况下的DM码。DM码看起来像一个由深浅颜色组成的国际象棋棋盘，每一个相同大小的黑色或白色方格，分别对应于二进位0或1,被称为数据单位。

9、DM符号就是由许多这样的数据单位组成。在寻边区外层有宽度为一个数据单位的静区，静止区的主要作用为将二维条码与其他的背景信息隔离。寻边区是“棋盘”的边界，包括L型的实心边界和反L型的虚线边界，只用于定位和定义数据单位大小，而不含有任何编码信息。被寻边区包围的数据区则包含着编码信息，是对待编码的符号，包括数字、字母和汉字等按照一定的编码规则生成的。值得指出的是；寻边区是DM的边界，主要用于限定DM码的物理尺寸，定位和符号失真。反L型的虚线边界同样主要用于限定符号的单元结构，但也能帮助确定物理尺寸及失真。图（e）是结构链接的DM码，中间一个黑白交替的十字形称为铁路线，在取样时需要利用它以提高识别率。

10、顺制（02图3DM的符号结构3 .图像预处理二维码的识别是通过将采集到的图像通过数学和图像的方法，尽可能地将其中所容纳的信息恢复出来的过程，但无论是从什么仪器所采集的图像都不可避免地会和原图像有所差异。如果图像采集过程中存在各种噪声、模糊、光照不均、畸变，甚至是图像部分区域的沾污，在识别之前都需要进行图像的预处理，才能尽可能保证条码的读取顺利。计算机视觉指导教师：梁栋二维码的预处理包括：图像的灰度化、图像的增强、图像滤波处理、光照不均处理、二值化、边缘检测、图像的定位、图像校正和畸变校正等。下面就以上图像处理的现有方法进行总结和比较。3.1 图像灰度化一般情况下，由智能手机或相机的摄像头采集到

11、的图像信息通常是彩色图像，以常见的RGB格式彩色图像数据来看，每个像素点是由Red、Green、Blue三种颜色的数据信息描述。但在二维码的解码中只需要正确描述出条状区域和空白区域即可，所以进行灰度化的处理，是为了将影响不大的色彩信息去掉，不仅可以降低存储空间，还可以增加解码的速度。灰度化的主要方法有5:最大值法：在像素点的三个色彩分量信息中，选出数值最大的一项作为该像素点的最大值。这种方法得到的灰度图像亮度将会比较大。平均值法：将像素点三个色彩分量信息相加求出平均值，将该平均值视为灰度值。这种方法得到灰度图像比较柔和但会丢失部分图像边缘信息。加权平均法：将像素点三个色彩分量信息按照一定的权重

12、相加求出平均值，该平均值被作为像素点的灰度值。其转换公式如下：(1)W=0.299R0.587G0.114B这种方法得到的图像效果最好，几乎所有的灰度化过程都采用这样的方法。(a)彩色图像(b)灰度化图像图4二维码灰度图像效果图3.2 图像滤波由于CMOS或CCD摄像头的光学或电学特性，在图像采集过程中不可避免地会采集到噪声，这些噪声一般为椒盐噪声或斑点噪声，在二值化等进一步操作之前，需要将噪声除去。常用的滤波方法分为线性滤波和非线性滤波5。线性滤波是指利用一定的变换关系作者：丁真真基于图像处理的二维码识别技术的基本研究对图像中每个像素点的灰度值做变换，线性算子的计算方式不同，线性滤波的算法也

13、就不同。非线性滤波多采用取绝对值、置零或分区域变换等非线性的方法。通过分析采集到的二维码图像可知其引出的噪声一般为高斯噪声，利用低通线性滤波可以对其进行很好地去除，但缺点是可能会使边缘信息变得模糊，这对之后的二值化操作具有很大的影响，会因为边缘模糊将原本白色空白间隔的区域二值化为黑色条状区域，直接导致“1”和“0”的误判，在解码过程中有非常大的可能是最终结果出错。而非线性低通滤波方法一一中值滤波可以很好地避开这点，中值滤波是将待处理的像素点以及以其为中心的小窗口内的像素点的灰度值按照大小进行排列，取中间值代替需要处理像素点的灰度值。中值滤波的数学表达式如下：Wx,y=Medf(x,y)(2)优

14、点是：中值滤波对椒盐噪声、斑点噪声去除效果非常好，且由于其处理算法的特殊性使得图像中的阶跃序列和周期序列不会被滤除，很好地保存了二维码的边缘信息。缺点是：虽然方法简单易实现，但有时会失掉图像中的细线和小块的目标区域。对于中值滤波，一般采用5*5的窗口进行滤波，效果图如图5所示：图5中值滤波效果图3.3 光照均衡化由于二维码特点和摄像头等相关缺点知，光照均衡化在二维码前期处理当中起到至关重要的作用。非均衡化的光照很容易使二值化过程产生误差，将本来是白色空白区域的位置二值化为合适条状区域，从而影响解码正确率。目前已有很多学者提出各种光照均衡算法5,如直方图修正法，Retinex增强，童泰滤波，对数

15、变化和梯度增强等，但是这些算法普遍存在计算时间长，运用大量对数运算，丢失图像边缘细节等问题。随着数学形态学的发展，诞生出许多基于数学形态学的去光照算法。计算机视觉指导教师：梁栋Jimenez-Sanchez等提出的不均匀光照校正算法8,Chen研究出的基于数学形态学的光照均衡方法。这些方法优点：能够获得很好地效果。缺点是：当分块较大的时候，处理后的图像块效应会分成明显。针对此缺点，Xu提出利用大尺度的结构元素对原始图像进行白TOP-HAP变换来去除光照影响9-10,优点是：实现起来较简单，大多数情况下的处理效果令人满意。缺点是：因为仅仅使用单一的结构元素，所以对复杂光照处理效果欠佳。张萌提出利

16、用数学形态学实现的基于多结构元素的不均衡光照校正算法，其核心思想即：选用大尺度的多结构元素对图像进行白TOP-HAP变换，之后利用嫡理论对图像进行融合，得到最总图像。优点：与传统算法相比较，算法过程简单，无复杂数学运算，充分保留图像细节，去光照效果好，实验对比如图6。(a)原图像(b)去光照后的图像图6去光照处理效果图3.4 图像的二值化由于二值图像易得到图像的特征信息，所以滤波后的图像都要进行二值化。所谓二值化就是把灰度图像经过一定的变换关系转化为只有黑色和白色两种颜色的图像信息。在二值化的过程中最重要的就是阈值的选择，阈值是指选取一个灰度值，将小于灰度值的像素置为最小灰度即黑色，大于灰度值

17、的像素置为最大灰度值即白色。根据二值化中对阈值的选取方法不同，二值化算法主要全局选取阈值法和局部区域选取阈值法和动态阈值法11。全局阈值分割方法是指在二值化的过程中只使用一个固定阈值的方法，此法对于质量较好的图像有效。包含的方法有：方差阈值分割法、最大嫡法、模糊阈值分割法、共生矩阵分割法、区域生长法等。优点是：应用广泛，算法简单，对于对比度较高、照度均匀、无阴影的图像，能够达到很好地分割效果。缺点是抗噪能力不强，对目标和背景灰度有梯度变化的图像效较差。作者：丁真真基于图像处理的二维码识别技术的基本研究局部阈值分割法：将原始图像划分为较小的图像，并对每个子图像选取相应的阈值。优点：能够适应较复杂

18、的情况，抗噪能力强，对一些用全局阈值法不易分割的图像有较好的效果。缺点是：算法的复杂度增加，速度慢，难以适应实时性的要求；容易受到背景不均匀性的影响，在某些情况下会产生失真。常用的方法有灰度差直方图法、微分直方图法。动态阈值法：其阈值确定不仅取决于改像素的灰度值及周围像素的灰度值，而且与像素位置有关。事实上，专门适用于二维码的图像二值化比较少12。针对DM解码，大部分采用的是现有的算法，如Ostu法进行处理。杨硕13等提出一种DM码算法的二值化算法。它首先根据Kittler算法找到图像发生光照不均的区域，然后改进Bernsen算法的处理过程、调整参数、削弱原算法的伪影问题，并用改进后的算法处理

19、光照不均的部分，具有较好的稳定性和自适应性。缺点是：该算法的计算量较大，实时性受到影响。3.5 边缘检测边缘检测就是检测条码的边界，将图像与周围非相关信息区别开来。图像的边缘是指图像灰度上有明显突变的部分，基本思想是：利用边缘增强算子，突出图像中的局部边缘，然后定义像素的“边缘强度”，通过设置阈值的方法提取边缘点集11。传统的图像边缘检测方法基本上都可以概括为对图像的高频分量进行增强，微分计算理所当然成为边缘检测与提取的重要技术手段。最早提出的一阶边缘检测算子有Robert算子，以及在此基础上发展出来的Sobel算子，Prewitt算子和Kirsh算子等，这些算子会在图像的边缘附近区域发生较宽

20、的响应，这样检测时就需要细化的过程，从而影响图像边缘的精确定位。之后提出二阶边缘检测算子如Laplacian算子。以LOG算子和Canny算子为代表的最优算子则是经过微分算子进行发展和优化产生的。随着科学技术的发展，借助于各种新的理论研究边缘检测的方法被提出并应用。如基于形态学的边缘检测算子，借助统计学的检测方法、利用神经网络的检测技术、利用模糊理论的检测技术、利用信息论的检测技术、利用遗传算法的检测技术、基于分形特征的边缘检测技术等14。3.6 图像定位由设备采集到的图像一般包含二维码图像和背景，因此需要将整个二维码从整个图像中分离出来。具体来说：QR码中需要确定定位图形，DM码的定位则是通

21、过L型的寻边区决定的。Radon和Hough变换14是常用的两中直线提取方案。可以用这两种算计算机视觉指导教师：梁栋法确定条码的旋转角度和坐标。Randon变换的几班原理：对一个平面内沿不同的直线(直线与原点的距离是d,方向角为。)对f(x,y)做线积分，得到的像F(d,。)就是函数f的Randon变换。标准的Randon变换的格式如下：-beR(x)=f(xcosi-ysin?,xsin二ycos【)dy(3)用求出的最大积分的只，求得的对应角度0,就是二维码的旋转角度。此变换求得的旋转角度具有提高算法抗噪声性的优点，但由于受到设定的条码的旋转角度范围和步进角度的限制，算法的运算速度将受到一

22、定影响。Hough变换基本原理：利用图像二维空间和hough参数极坐标空间的点-线对偶关系，把图像二维空间中的检测问题巧妙地转换到极坐标参数空间。在参数空间再进行简单的累加统计，然后在hough参数空间寻找累加器最大值的方法来检测图像二维空间中的直线。Hough变换的优点是：受噪声和曲线间断的影响较小，对于形状为正方形的QR码，尤其具有一定的优势。3.7 图像校正图像的校正就是对由于各种因素导致失真的图像进行恢复原貌的操作。以QR码为例，其几何校正的基本方法是寻找QR码的3个寻像图形，根据寻像图形确定四个控制点，然后利用四个控制点进行图像的校正。但是当图像失真严重时，寻像图像难以寻找，以至无法

23、识别。得到四个控制点的算法15: 把二值化的图像灰度值取反，得到图7(a)。对图7(a)进行多次的膨胀腐蚀，得到中间挖空的图像图7(b)。 然后对图7(b)进行边缘检测，得到图7(c)。 对图7(c)进彳Though变换，找出四条边线，如图7(d),然后求出四条边线的交点，得到四个控制点。(a)灰度化后的图像(b)多次膨胀腐蚀后的图像作者：丁真真基于图像处理的二维码识别技术的基本研究(c)边缘检测后的图像(d)提取四条边线的图像图7四个控制点的确定过程然后运用二维图像的6参数投影变换15,16,17,可以将几何失真的图像校正。如图8所示。图8二维图像投影变换得到校正后的像素坐标后，再进行双线性

24、插值，可直接得到校正后的图像。值得注意的是：几何校正之后的图像并非严格意义上的原图像，仍然存在少量的失真。如图7中的图像，失真最少的是左下角的部分，失真最大的是右上角的部分。如果使用8参数的仿射变换，校正的效果会更好，但其计算量过大，不易处理。10计算机视觉指导教师：梁栋3.8 图像的采样图像的取样就是对定位、校正后的图像进行解码得到其编码信息的过程。以DM为例，其主要方法是：通过定位后的DM码，得到版本号确定DM尺寸，并以此为依据画网格，得到每个小格内代表的位是0还是1,就可以得到DM码的点阵式数据流，经简单的译码就可以还原DM码的内容。表1列举DM码的版本号与分区个数之间的关系。表1DM码

25、的版本号与分区个数之间的关系版本号范围符号分块的个数1-9110-15416-211622-2436事实上，符号分块的个数越多，基于分块的网格取样在提高识别率上的效果越好。4 .存在的问题域研究展望4.1 存在的问题前面介绍了基于图像预处理的二维码识别的基本流程以及现有的各种，比较之下回去发现，各种方法均有好处，相对的也都有缺点。从目前研究现状来看，仍然存在的问题是：对非正常图像的识别率不高，也就是说没有一种通用的办法能够在识别QR码的同时识别所有的DM码，且识别率达到100%。4.2 研究展望图像预处理技术是一门多学科的综合研究问题，涉及计算机视觉、信号处理、计算机图形学、机器学习、成像传感

26、器、模式识别等，而二维码是应用很广泛的“商品”，对各种状态下的二维码的识别，会给社会各界带来非常巨大的影响。未来对此技术的研究还可以集中在以下方面：1) 建立统一的图像预处理技术理论研究图像预处理的方法经过几十年来科学理论的沉淀以及后人不断的创新，其数量已经很多，但在这些理论的基础上，整合出一套适用于各种码制的处理方法是现在图像处理领域急需解决的事情。11作者：丁真真基于图像处理的二维码识别技术的基本研究2) 实现自动化与多层次的图像处理一个理想的图像预处理系统应该是全自动的，并且能够提供多层次的分析。但是目前提出的基本都是分阶段，半自动化的，需要人为对其方法进行选择，判断。未来的图像处理如果

27、能够通过机器的智能学习，通过其自主的图像处理，自动识别二维码或图像。将是一个很好的未来。5 .总结面向图像预处理的二维码识别在二维码日益广泛的应用中会变成研究的主流，如何找到充分、可靠、有说服力的方法则是未来研究的关键。本文主要介绍了二维码图像处理的基本流程，并对当前主要的处理办法进行分析、比较和探讨。该领域还存在在大量的问题和挑战，深入的研究将可以获得更多原创性的研究成果。12计算机视觉指导教师：梁栋参考文献1黄宏博，穆志纯.基于图像处理的复杂条件下手机二维码识别J.北京信息科技大学学报,2011,26(5):4044.2中国物品编码中心.GB/T182842000，快速响应矩阵码S.北京：中国标准出版社,2001.3黄宏博，肖峻岭，佟俐鹃.基于Reed-Solomon算法的QR码纠错编码J.计算机工程，2003.4邹沿新.DataMatrix二维条形码图像预处理及识别技术研究D.湖南.湖南大学.2009.5张萌.基于二维条码图像的光照均衡VISI设计D.四川.电子科技大学.2013.6李世进.数字图像的平滑处理J.湖南科技学院学报.2008.1(29):23-24.7 S.J.KO,Y.H.Lee.CenterWeightedMedianFilterandtheirApplicationtoImageEnhancementJ.IEEETrans.circ