（计算机应用技术专业论文）芯片字符自动识别的研究与实现.pdf

摘要 摘要 随着印制电路板( p c b ) 生产的数量和速度的提高，质量控制变得越来越重要。 质量控制的其中一个任务是检查印制电路板上的芯片有没有错焊。芯片上的字符 串非常小，数量也非常多，用人工的方法无法完成这项工作。因此一个自动检 查系统就非常重要了。在这个自动检查系统中，对芯片上的字符进行自动识别是 一一个必需的步骤。在过往的监控系统中。对印制板的检测项目局限于焊点质量、 芯片位置等。运用新的数码摄像技术，我们可以获得更高精度的电路板图像。高 分辨率的印制电路板图像为我们实现一个更高信度的检测方法提供了必要的技术 基础。 本文描述了一个芯片字符自动识别系统，其作用是自动识别芯片上的印刷文 字，它是印制电路板生产质量控制的核心部分。这是一个实用的系统。所有错焊 的芯片都会被此系统检查出来。不过有部分正确焊接的芯片会被认为是错焊芯片。 遇到这种情况的话，需要通过人工进行再次检查。 根据系统的处理流程顺序，本文叙述了系统应用的算法及其原理。对其中的 关键技术还给出了详细的阐述，包括图像预处理中的图像二值化和噪声去除、文 字定位和切分，字符正规化，光学字符识别( o c r ) 等。 在芯片图像预处理过程中，根据图像以及上面的字符的特征，我们有针对性 的提出了一些新的方法，例如图像二值化和字符正规化，解决了在系统中遇到的 芯片图像大小不一、干扰严重、字体类型多等各种各样的问题。这些方法涉及到 当今图像处理领域的前沿技术，例如o s t u 二值化方法、n i b l a c k 二值化方法、连 通域分析方法、z h a n g s u e n 细化算法和数学形态学变化等等。我们还具体讨论了 在o c r 中用到的误差反向传播神经网络( b p n n ) 的原理和方法以及取样、训l 练问 题。 接下来论文还简要描述了系统的模块设计、划分和实现，以及模块之间的关 系，对系统的接口也作了简单的说明。 在论文的最后，我们对系统作了总结，并给出了未来工作的方向和目标。 关键字：芯片；二值化：字符正规化：o c r ；自动识别 a b s t r a c t w i t ht h ea m o u n ta n ds p e e do fp c b ( p r i n t e dc i r c u i tb o a r d ) p r o d u c t si n c r e a s i n g ， q u a l i t yc o n t r o lb e c o m e sm o r ea n dm o r ei m p o r t a n t o n eo ft h et a s k si st of i n dw r o n g s o l d e r e dc h i p so np c b s t h ec h a r a c t e r s t r i n g so nc h i p sa n dc o m p o n e n t sa r es ot i n ya n d s om a n y ，i ti sav e r yd i f f i c u l tw o r kf o rp e o p l e ，a na u t o m a t i c c h e c k i n gs y s t e mi sh i g h l y d e s i r a b l e c h a r a c t e r r e c o g n i t i o n f o r c h i p s o np c bi sa ne s s e n t i a l p r o c e s so f t h i s s y s t e m i nt h ep a s t ，s o m ec h e c k i n gs y s t e mw a sf o c u s e do nq u a l i t yo fs o l d e r e dj o i n t ， p o s i t i o no fc h i p s , e t c u s i n ga d v a n c e dd i g i t a lp h o t o g r a p h yt e c h n o l o g y ，p c bi m a g e s w i t hm u c hh i g h e rr e s o l u t i o nc a nb eo b t a i n e da n dt h i se n a b l e su st oi m p l e m e n tam o r e c r e d i b l ed e t e c t i o nm e t h o d t h i s p a p e r d i s c u s s e sa na u t o m a t i cc h a r a c t e r r e c o g n i t i o ns y s t e m f o r r e a d i n g p r i n t e dc h a r a c t e rs t r i n g o nc h i p sa n dt o s u p p o r tt h eq u a l i t yc o n t r o lo fc i r c u i tb o a r d p r o d u c t i o n i ti s ap r a c t i c a ls y s t e m a l lt h ew r o n g s o l d e r e dc h i p sc a nb ef o u n do u tb y t h i ss y s t e m b u ts o m ec o r r e c tc h i p sw i l lb ec o n s i d e r e da sw r o n g s o l d e r e do n e s t h e s e c h i p sh a v et ob ec h e c k e da g a i nb ym a n p o w e r i nt h eo r d e ro ft h es y s t e mp r o c e s s ，t h i sp a p e r d e s c r i b e st h ea l g o r i t h m sa n dt h e o r y u s e di nt h es y s t e m b e s i d e s ，ad e t a i ld e s c r i p t i o ni sg i v e no ft h ek e yt e c h n i q u eo ft h e s y s t e mf l o w ，i n c l u d i n gi m a g eb i n a r i z a t i o n a n dd e n o i s i n go fi m a g ep r e p r o c e s s i n g ， c h a r a c t e rl o c a t i o n a n d e x t r a c t i o n ，c h a r a c t e r n o r m a l i z a t i o n ，o p t i c a l c h a r a c t e r r e c o g n i t i o n ( o c r ) ，e t c i nt h ep r o c e s so fc h i p si m a g ep r e p r o c e s s ，s o m en e wm e t h o d sa r ea l s op r e s e n t e d ， s u c ha s i m a g e b i n a r i z a t i o na n dc h a r a c t e rn o r m a l i z a t i o n ，t os o l v et h e p a r t i c u l a r p r o b l e mw ee n c o u n t e r e di nt h i ss y s t e ma c c o r d i n gt o t h ef e a t u r e so ft h ec h i p si m a g e s a n dc h a r a c t e rs t r i n g so ni t t h e s em e t h o d sa r eb a s e do nt h ea d v a n c e dt e c h n i q u ei n i m a g ep r o c e s s i n g ，s u c h a so s t um e t h o d ，n i b l a c k m e t h o d ，z h a n g s u e nt h i n n i n g a l g o r i t h m a n dm a t h e m a t i c a lm o r p h o l o g yt r a n s f o r m s w ea l s od i s c u s st h es a m p l i n ga n d t r a i n i n go fb a c kp r o p a g a t i o nn e u r a ln e t w o r k ( b p n n ) ，w h i c h i su s e di no c r a f t e rt h a t ，d e s i g na n di m p l e m e n t a t i o no ft h es y s t e mm o d u l e s ，a l s ot h ei n t e r f a c eo f t h es y s t e ma r es k e t c h e do u t a tt h ee n do ft h i s p a p e r ，as u m m a r yi sg i v e n a n dt h ef u t u r ew o r ki s a l s o p r e s e n t e d k e y w o r d sc h i p ；b i n a r i z a t i o n ；c h a r a c t e rn o r m a l i z a t i o n ；o c r ；a u t o m a t i cr e c o g n i t i o n - 髓 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特另c l d i ：t 以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名：巷丢爱。 日期：加。够年月7 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密哦 ( 请在以上相应方框内打“4 ”) 作者签名：力云窭。 翩鲇蚴 f 日期：h 1 ) 眵年g 月7 日 日期：冲么月萝日 第一章绪论 1 1 课题研究背景 第一章绪论昂一早殖化 近二十年来，计算机制造及应用技术取得了闩新月异的进展，并渗透到几乎 所有的技术领域，人类正在步入一个技术迅猛发展的新时期。这个新时期的个 重要标志就是计算机在信息处理领域的广泛应用。文字识别作为新一代智能计算 接口的重要组成部分，显示了越来越重要的作用。它涉及到计算机数字图像处理、 模式识别、人工智能、模糊数学、组合数学、信息论、自然语言理解等学科，也 涉及到语言文字学、一i i , 理学、生物学等，是一门综合性的科学技术。近二十年来， 国内外对数字、英文符号、汉字及其他语言文字进行了广泛深入的研究，提出了 许多行之有效的识别方法，应用软件也越来越丰富，并且有实用装置出现。 p c b 上芯片字符自动识别系统是种基于文字识别技术的实用系统，是现代 印刷电路板自动化生产的重要组成部分。由于现代化生产对产品质量的要求，印 制电路板( p r i n t e d c i r c u i t b o a r d ，p c b ) 的质量监控( q u a l i t y c o n t r o l ，q c ) 成为板卡 生产过程中的重要步骤。在过往的监控系统中，对印制板的检测项目局限于焊点 质量、芯片位置等。其中检测焊点的方法是截耿焊点的图像，检测其色度，饱和 度等以确定有没有虚焊现象；检测焊接位置则是基于模式匹配。而在实际情况中， 由于自动分拣和流水线作业，经常会发生在某些位置上错焊别的种类的芯片的现 象。对这种问题，传统的检测手段无法预防和解决。 由于p c b 芯片上都会印有一些标记文字，因此，我们可以通过识别p c b 芯 片上的文字来确定电路板某个位置上焊接的芯片是否正确。这样可以在保证流水 线效率的同时，大大提高成品的合格率。新的检测方法是以科学技术的发展为依 托的。高精度数码相机的出现为高分辨率的图像采集提供了硬件基础。由于相当 多的芯片的尺寸非常小，用肉眼都几乎无法看清楚上面的文字，因此必须使用高 精度的数码相机获取芯片的图像( 例如本系统中图像精度为每象素1 8um ) 。 p c b 芯片图像及其字符有其特殊性，包括：( 1 ) 图像对比度低，图像质量 容易受到芯片材质和两端焊点干扰。( 2 ) 由于焊接的原因，芯片图像会有一定 角度的偏转。 ( 3 ) 不同的芯片之间体积悬殊，形状不一。有一些电阻芯片非常 小，上面的字符用肉眼也无法分辨和识别。( 4 ) 部分芯片上的字符边界模糊， 对比度很低。( 5 ) 文字粘连和断裂的现象比较严重。以上两点是由芯片的材质 特点决定的。( 6 ) 字体非常多，几乎每一种芯片的字体都不相同，而且新的字 体不断出现。( 7 ) 有些字母和数字具有相近的形态特征。 望亘墨：! ；尘堂i ：主堡主耋堡笙苎 图1 - 1 给出了几种典型的芯片图像的示例。 酎l 一1 几种典型的芯片幽像 f i g1 1t y p i c a lc h i p si m a g e s 近年来，图像处理和模式识射成为了计算机应用技术研究的热点，在工业生 产、医学、办公自动化等各种领域应用非常广泛。与我们的系统同类的应用软件 和系统相当多，包括： p h o t o s h o p ( 图像处理部分) ，a d o b es y s t e m si n c o r p o r a t e d ： t h o c r ，清华紫光软件中一心； f i n e r e a d e r ，a b b y ys o f t w a r eh o u s e ： 车辆牌照识别系统，北京汉王科技有限公司； 视票自动识别系统，华工明天科技有限公司m ； 炼钢炉炉火色温控制系统； 基于图像分析的矿石粉碎自动控制系统。 p h o _ t o s h o p 提供了多种图像处理方法。但并非面对文字识别而设计，而且不 提供应用程序接口，因此无法应用于背景和噪声干扰多变的图像以及针对识别的 图像预处理。清华紫光t h o c r 和a b b y yf i n e r e a d e r 主要用于文档和表格的识 别，在文字识别方面效果不错，但是对图像质量和字体有较高的要求。车辆牌照 识剐系统和我们的系统有定的相似之处，但是车牌的文字字体种类少，对比度 大，但是所在的背景复杂，干扰较多，所以它的重点在于车牌的定位。机幕自动 识剐系统的识跗引擎以及其中的一些技术可以作为借鉴，但是并不能完全解决 2 第章绪论 p c b 芯片识别特有的问题。另外，在流程处理上我们可以借鉴以往的电路板焊点 质量控制系统、炼钢炉炉火色温控制和基于图像分析的矿石粉碎自动控制系统， 但是与这些系统相比，p c b 芯片字符自动识别系统的核心在于精确的文字识别， 而不是对某些模式的模糊度量。因此可以说，现有的技术和软件都无法解决面临 的问题，需要发掘和创造新的算法。 另外，电子芯片上字符的自动识别系统必须具备很好的健壮性，能够在不同 情况下对不同种类的芯片都保持较高的识别率，以保证最终检验结果的可信度。 我们结合各种现有的图像处理和模式识别技术，针对系统的具体情况，在几个关 键技术环节提出了一些新方法，较好的解决了上述问题，给出了较为实用的解决 方案。 1 2 当前文字识别的研究方向 文字识别是模式识别的一个重要分支，是迄今为止在模式谚 别中研究得比较 充分的一个领域。而在大多数的应用中，图像预处理办成为文字识别的关键步骤。 文字识别实际上就是解决文字的分类问题。一般通过特征判断( f e a t u r e d i s c r i m i n a t i o n ) 及特征匹配( f e a t u r em a t c h i n g ) 的方法来进行处理。当前文字识 别技术方面研究的问题主要有以下两个： 1 ) 算法研究方面，主要着眼于新的去噪( d e n o i s i n g ) ，文字切分以及特征提 取与识别方法，以应付复杂背景、噪声干扰、字体多变( 包括手写体) ，输出集 大等问题。 2 ) 应用方面，主要着眼于基于现有的算法构建系统，用于批量文档识别，主 要目标是提高识别率、降低误识率、提高识别速度，令算法能经受大规模待识别 对象的考验。 这两个方面是相辅相成的，但是不能互相代替，其中算法研究是系统应用的 基础。 1 3 课题的研究内容 本课题的研究内容主要包括以下两个方面： 1 ) 图像预处理技术，主要是针对文字识别的图像预处理技术，包括图像去噪 和二值化，文字定位和提取，字符正规化。涉及的算法包括：n i b l a c k 二值化， o s t u 二值化，数学形态学的腐蚀、膨胀和开闭运算，灰度投影和统计，边缘检测， 连通域分析，会字塔，重心正规化，中心正规化，图像倾斜校正，骨骼化等。 2 ) 模式谚 别技术，主要是o c r ( o p t i c a l c h a r a c t e rr e c o g n i t i o n ) 技术，涉及的 - 3 华南理t 1 大学工学硕+ 学1 1 7 = 论文 研究内容包括反向传播神经网络，卷积神经网络，神经网络训练及优化，基于笔 划的字符识别方法等。 1 4 论文组织结构 论文的第二章和第三章分别介绍了我们在系统中应用和仓b 新的图像预处理 与文字识别关键技术和算法，并描述了它们的具体实现。 第四章描述了系统的设计与实现以及系统测试与使用情况。 最后给出了论文的结论。 第二章图像预处理算法及其实现 第二章图像预处理算法及其实现 文字识别中的一个基本步骤是把一个不理想的原始图像转化成比较理想的 二值图像。一般来说，在经c c d 模数转换后的图像中总包含有各种各样的噪声 和畸变。各种具有文字笔划特征的非文字笔划的部分对文字识别来说也是一种噪 声，例如污渍，阴影等。另外，其它诸如笔划断裂、扭曲等各种因素也属于畸变， 会造成文字特征缺失，从而导致识别困难。去掉这些噪声和畸变，或把图像变成 某种标准形式，使得特征的提取和识别变得容易进行，这些都是文字识别的重要 内容。这些处理在模式识别中通常叫做图像预处理。 预处理是文字识别处理的第一步，占有十分重要的地位，预处理的好坏将直 接影响识别方法的难易及识别结果的好坏。预处理工作做得好，使反映文字本质 特征的部分得到保留甚至突出出来，议别就容易进行，识别率高且识别速度快。 反之，就会使识别变得困难，甚至造成无法识别或者识别错误等不良后果。 在p c b 芯片字符自动识别系统中，主要用到的图像预处理技术有图像的 几何变换( 主要是旋转和缩放) 、图像二值化，文字切分，文字正规化等a 2 1 图像的旋转和缩放 在实际应用中，我们取得的芯片图像有可能会出现倾斜，对文字切分和识别 都会造成不好的影响。另外，由于有一些芯片图像非常小，二值化的时候由于边 缘效应等因素，会造成较大的误差。因此，在图像二值化之前，需要对图像进行 一定的几何变换，将其旋转和缩放到合适的位置和大小。 2 1 1 图像的旋转 一般图像的旋转是以图像的中心为原点，旋转一定的角度。旋转后，图像大 小一般会改变。我们可以把转出显示区域的图像截去，也可以扩大图像范围以现 i = j 詈：c i 卫一c s o 絮s ( c a 口) ，c s 。i n 苫( a 目) ，；e 0i b c z ， 其中( n ，6 ) 为图像未旋转时中心坐标，( c ，d ) 为旋转后中心坐标( 在新的坐标系 下，以旋转后新图像左上角为原点) ，( x o ，y 。) 为旋转前的点坐标，( 工。，y ) 为旋转 5 ! 堕登王查堂工堂堡堂垡笙茎 如果旋转角度为x 2 ( 9 0 ) 的倍数，则可以将图像象素值看作一个二维矩阵， 直接将矩阵做一个对应的转换就行了。这种旋转不会产生误差，是与原图像精确 匹配的，不需要使用插值算法。 2 1 2 图像的缩放 假设图像x 轴方向缩放比率为，y 轴方向缩放比率为r 、，那么原图中点 ( ，y o ) 对应与新图中的点( 五，y j ) 的转换矩阵为： 孽涮亿z ， 例如当= _ = 仅5 时，图像在水平和垂直方向被缩小到原来的一半，当 = r 、= 2 时，图像在水平方向和垂直方向被扩大两倍。 2 1 3 插值算法 在图像旋转和图像缩放过程中，在产生的图像中的象素可能在原图中找不到 相应的象素点，这就必须进行近似处理。般来说会通过插值算法来处理。常用 的插值算法t2 i 有最邻近插值、双线性插值、双三次插值、b 一样条插值、l a n c z o s 插 值、m i t c h e l l 插值等等。 2 1 3 1 最邻近插值 最简单的方法是是直接赋值为和它最相近的象素值，这也是一种插值算法 称为最邻近插值( n e a r e s t n e i g h b o u r i n t e r p o l a t i o n ) ，也称为零阶插值。它输出的 象素次度值就等于离它映射到的位置最近的输入象素的灰度值。最邻近插值算法 比较简单，但是当图像中包含象素之间灰度级有变化的细微结构时，最邻近插值 法会产生较孵显的锯齿。 2 1 3 2 双线性插值 双线性插值( b i l i n e a ri n t e r p o l a t i o n ) 算法又称一阶插值算法，它的效果要好 于最邻近插值算法，只是算法相对复杂一些，运行时间也稍长些。其插值公式如 下： 在单位正方形中，设0 x 曼l ，0 y l f ( x ，y ) = 【，( 1 o ) 一，( o ，0 1 k 十【，( o ，1 ) 一，( o ，o _ ) r 23 1 + ，( 1 。1 ) + ，( o ，o ) 一f ( 0 ，1 ) 一，( 1 ，o ) t x y + ，( o ，o ) 、。 一 苎三主型堡垩丝里墨鎏垦茎壅翌 上式可以推广到一般情况。 2 1 。3 3 双三次插值 在几何运算中，双线性灰度插值的平滑作用可能会使图像的细节产生退化， 在进行放大处理的时候，这种影响更加明显。在其它应用中，双线性插值得斜率 不连续性也会产生不希望的结果。这些情况可以通过高阶插值得到修j 下，当然这 需要增加计算量。在我们的系统中，就采用了双三次插值( b i c u b i ci n t e r p o l a t i o n ) 的方法。 双三次插值算法根据相应点的附近的1 6 个象素( 4 x 4 区域) 来计算插值。其 插值公式如下： 在单位正方形中，设0 工1 ，0 f 时， ，( f ) = 0 ，表示将此点转为背景；当采样点( f ，) 的欢度值f ( i ，j ) f 时，( i ，) = l ， 表示将此点转为前景。 一般来泌，二值化方法可以分为全局二值化方法和局部自适应二值化方法。 全局二值化方法( g l o b a lb i n a r i z a t i o nm e t h o d ) 对每一幅图像计算一个单一的 阕值。灰度级深于阚值的象素被标记为背景字符，否财为前景。 而局部自适应二值化方法( l o c a la d a p t i v eb i n a r i z a t i o nm e t h o d ) 以象素的邻 域的信息为基础来计算每一个象素的闽值。其中一些方法还会计算整个图像中的 一个阂值面。如果图像中的一个象素( 善。y ) 的灰度级高于在( j ，y ) 点的阈值面的计 算值，那么把象素( 工，y ) 标记为背景，否则为前景字符。其他方法不用精确的阈值， 而是通过在转换后的图像中搜索字符点或者其它特征来自动调整闺值，获得最佳 效果。 毫 第二章图像预处理算法及其实现 接下来我们将介绍几种文字识别中常用的二值化方法，并通过对这几种方法 的分析，阐述系统最终使用的二值化方法及其实现。 2 3 2 双峰直方图阈值分割法和平均灰度法 求出给定文字图像的灰度直方图，如果直方图中有两座明显的山峰( 分别对 应于背景部分和前景文字部分) ，那么可以选择这两座山峰中最低处作为阈值( 如 图2 2 所示) 。这种方法称为双峰直方图闽值分割法 3 1 ( b i m o d a l i t yh i s t o g r a m ) 。 对灰度变化不明显有两个山峰的，也可以采用平均灰度法，即求整个图像各 象素灰度的和，除以象素数，求出图像的平均欢度，并以这个灰度值作为闽值， 把灰度图像转变成二值图。 2 3 3o s t u 方法 图2 - 2 根据直方幽分布的闽值选择 f i g2 - 2t h r e s h o l dc h o s e nd e p e n d s o nh i s t o g r a m 这种方法是由日本大津展之在1 9 8 0 年提出的，所以称为o s t u 方法1 4 1 。它是 在最小二乘法原理基础上推导出来的，这种方法的基本思想是将直方图在某一阈 值处分割成两组，一组对应于背景部分，一组对应于前景文字部分，当被分成的 两组的组内方差最小，组问方差最大时，决定闽值。这种基于两组间最佳分类而 决定阈值的方法也称为最大类间方差阈值分割法。 具体做法如图2 3 所示。设给定图像具有l 级灰度值，对l k l 中的每个k 将【l ，l 】分成两组【1 ，七】和k + 1 ，l 】，分别计算组1 的象素数q ( ) ，平均灰度肘。( 七) ， 方差旺( k ) ：组2 的象素数奶( 七) ，平均狄度 f 2 ( ) ，方差t 7 2 ( k ) 。则： 组内方差 = q l，。 组间方差 盯：= 吼( m 一m 2 ) 2l 、 对于一幅给定的图像可以证明商+ 2 = 常数，因此只需求出m a x ( g 。) ，则 华南理t 大学工学硕士学位论文 自然达到最小。 结束 幽2 - 3o s t u 二值化方法流科图 f i g2 - 3p r o c e s s o fo s t ub i n a r i z a t i o nm e t h o d 这种方法，在直方图中具有两个波峰( 存在一个波谷) 的时候，k 将取波谷 处灰度值，与前述方法一致。即使不存在波谷也可以求出最佳分界阈值k ，所 以这种方法经常被采用。 2 3 4n i b l a c k 方法 n i b l a c k 二值化方法的思想是根据局部平均值( l o c a l m e a n ) 和局部标准差 俺 第二章图像预处理算法及其实现 ( l o c a ls t a n d a r dd e v i a t i o n ) 在图像中变动阈值。点( 石，y ) 处的闽值这样来计算： t ( x ，y ) = m ( x y ) + k s ( x ，y )( 2 6 ) 其中m ( x ，y ) 和s ( x ，y ) 依次是( j ，y ) 的局部邻域的样本平均值和标准差。邻域的 大小应当足够小以便保存局部细节。但同时也要足够大来抑制噪声。在文档识别 中，通常选择使用1 5 x 1 5 邻域。k 值是用来调整决定多大的字符目标边界被作为 给定目标的一部分。对大多数的文档识别来说，k = - 0 2 给出了分离的很好的字符 目标。 n i b l a c k 方法在文档识别中应用得最广泛，效果也最好。但是它也有不足， 那就是会产生连续大块的非目标黑色区域，我们将其称为暗影块( g h o s to b i e c t ) ， 要经过后续处理m 去除。另外，由于n i b l a c k 方法对一个象素点做二值化时，需要 考察其1 5 1 5 邻域的象素值，因此，对于输入图像边缘宽为7 的带状方框，由于 其阈值计算没有足够的邻域用以分析，会存在边缘效应，边缘部分的二值化是不 准确的。 为了去除n i b l a c k 二值化之后的暗影块，需要进行后续处理。具体方法是； 计算每一个字符目标的边缘的平均梯度。梯度小于闽值l 的目标标记为误分类， 并且去除。算法的主要步骤如下： ( 1 ) 用3 x 3 中通滤波器平滑输入图像，去除噪声。 ( 2 ) 用苏贝尔( s o b e l ) 边缘算子计算平滑后图像的梯度图g ( 3 ) 选择瓦值。迄今为止，对给定的图像还没有一个有根掘的自动方法来指 定l 。耳只能通过试验和错误来得到。对一般的文档识别取耳= 1 0 0 。 对所有四连通的字符元素，计算边缘象素的平均梯度。边缘点是与背景四连 通的字符点。去除平均边缘梯度小于阈值l 的字符元素。 2 3 5 我们的方法 2 3 5 1 基于o s t u 和n i b l a c k 的方法 在我们的系统中，先后尝试过简单单一阈值、o s t u 、n i b l a c k 等方法。但是效 果都不理想。对于一些尺寸较小的芯片图像，在使用n i b l a c k 二值化方法的时候， 如果加上n i b l a c k 后处理( p o s tp r o c e s s i n g ) 步骤，那么相当多的文字部分会被当成 暗影块( g h o s to b j e c t ) 而被去掉，造成笔划损伤和严重断裂，甚至几乎所有的文字 笔画都被去除。这样的话，在进行连通域分析的时候，就会将真正的文字笔划部 分错误的过滤掉。如果不使用后续处理，则会有很多噪声部分残留，之后的连通 域分析就会将这些噪声当成是字符笔画，送入识别引擎，这样也会严重影响最后 的识别结果( 图2 - 4c ) ) 。而使用o s t u 二值化方法，则文字边缘保留太多，粘连 华南理工人学小学硕+ 学位论文 现象严重( 图2 - 4d ) ) 。 经过分析，我们决定结合两种二值化方法，将不带后续处理的n i b l a c k 方法 和o s t u 方法处理后的结果进行与操作，最终得到了较为令人满意的二值图像。具 体效果如图2 - 4 所示。 在实际应用中，有两点需要注意： ( 1 ) 为了消除n i b l a c k 方法的边缘效应，应将原图像先置入一幅全部象素与 图像背景色相同的较大的图像中心。 ( 2 ) 对于过小的图像必须先放大再进行二值化，否则笔划损伤会非常严重。 在本系统中，我们在进行二值化之前，使用了双三次插值算法将原宽度小于1 0 0 象素的芯片图像放大至原来的两倍。 a ) 原j 雩| 像b ) 放大井反色2 j 一的州像c ) n i b l a c k 一优化办法 i ma ：7 ： d ) o s t u 二仇化 法 - e 1 我们的冉法 酗2 。4 对较小的芯片酗像二值化的方法、步骤与结果 f i g2 - 4p r o c e s sa n dr e s u l to fs m a l l e ri m a g e sb i n a r i z a t i o n 2 3 5 2 基于灰度宣方图分析的方法 在我们的系统中，我们还采用了一种狄度基于直方图分析的二值化方法。对 整幅图像计算其狄度分布直方图，即每个象素值分别对应多少个象素点，然后根 据波形图开始和结束的相对位簧计算阚值。如图2 - 5 所示。 ，1 2 第二章图像预处理算法及其实现 l a 1 砸阳像b ) 灰班分带直方嘲c ) 二值1 蕃| 怔 幽2 - 5 对较人的芯片图像二值化的方法、步骤与结果 f i g2 - 5p r o c e s sa n dr e s u l to fl a r g e ri m a g e sb i n a r i z a t i o n 这两种二值化方法各有优劣，一般来说对于对较大的图像两种方法都可行， 但是第二种方法，即基于直方图分析的方法速度快，总体效果也稍好一些，而第 一种方法在图像较大的情况下，执行时间将会咀几何级数增加，从而导致识别速 度急剧下降；而对较小的图像，由于第二种方法的效果很不理想，会严重影响文 字切分和最后的识别，所以只能采用第一种方法，在图像面积较小的情况下，即 时在放大之后，执行计算复杂度为o ( n 2 ) 的n i b l a c k 二值化算法的时蚓也在可以接 受的程度。 执行时间 二值化图像 ( m s ) 大小 第篱 原图像( 象素) = ( 宽高)第神方法 第二种方法种神 方方 法法 4 3 3 1 2 2l 力f 9 0 1 2 5 2 9 2 o o 2 6 0 l 图2 - 6 两种二值化方法的效果对比 f i g2 - 6c o m p a r eb e t w e e nt w ob i n a r i z a t i o nm e t h o d s 一y 华南理正人学【：学硕士学位论文 图2 - 6 详细给出了两种二值化方法的效果和执行时间对比( 执行操作的机器 配置为c e l e r o n i i6 6 7 ，2 5 6 m b ，操作系统为w i n d o w ss e r v e r2 0 0 3e n t e r p r i s e v e r s i o n ) ，图中所给出的分别是较小和较大的图像两种例子。 2 4 文字切分 在得到芯片的二值化图像后，就要对这一区域的文字进行分割，得到单个的 文字，再经过后面几步预处理后，进行识别。 文字切分( t e x ts e g m e n t a t i o n ) 的方法有很多种。一般都是先进行行切分， 再进行字切分。一般来说用投影法就可以得到较好的行切分效果。在字切分时， 最简单的就是把图像做一个水平“或”投影，投影连续一起的作为一个文字，断 裂处作为文字间距来进行切分。或者也可以做水平累加投影，然后按照投影的峰 谷进行文字切分。但是，这两种方法对文字粘连和断裂的处理方法都很有限，只 能通过限定单个文字宽度的最小、最大值，当投影得出的文字宽度超出限制时， 认为分离或者合并。在我们的系统中，由于字符大小变化比较多，所以这种方法 只能在知道字符个数的情况下作为一种重要的辅助方法。在很多情况下，并不知 道字符的数量和参考宽度。对于一般情况，我们采用的基于连通域分析的方法。 接下来我们将分别介绍这两种方法。其中连通域分析方法适用于一般情况， 灰度投影方法适用于字符有严重断裂或粘连，但各个字符宽度比较接近的情况。 由于芯片上字符的情况比较复杂，我们同时使用两种方法进行字符定位。如果两 种方法有冲突，则以最终的识别结果作为评判标准。 2 4 1 灰度投影法 如果事先知道电子芯片上字符的参考字符信息，就根据这一点可以定出字符 分界的大致位置。首先通过初步的连通域分析，将字符区域从芯片上切割出来， 然后使用扶度投影法确定字符分界点。 具体步骤如下： ( 1 ) 根据字符总宽度定出初步分界点。由于字符“1 ”和“i ”字形较窄，可 假定它们的宽度是正常字符宽度的l ，2 。例如文字为r i c ，则两个初步分界点分 别为： 厂6 d “n d l = 二一x w i d t h t 扯1 + 0 1 5 + 1 w 渤 厶d “n d 2 = 一w d f 一1 4 釜三耋璺堡堡丝翌簦鎏垄茎塞翌 ( 2 ) 对原图像进行灰度投影，以初步分界点为基点，分别向左、右搜索， 得出夹着此点的两个灰度值波峰之间的波谷。波谷所在位置为最后的分界点。 a ) 麒脚缘 b ) 罔像前文字馘域( 反乜并放太) 从这里开始搜索 c ) 根槲灰虚投影搜索分摊点 图2 7 基于灰度投影的文字切分方法 f i g2 - 7c h a r a c t e re x t r a c t i o nm e t h o db a s e do ng r a y s c a l ep r o j e c t i o n 2 4 2 连通域分析法 由于文字笔划具有一定的数学形态特征，所以可以使用带有面积滤波的8 一连 通种子填充连通域分析方法，提取出图像的各个连通区域，存放在链表中。这些 区域可以被认为是文字笔画区域。 种子填充算法是图形学中的算法，是轮廓提取算法的逆过程。它首先假定封 闭轮廓线内某点是已知的( 种子) ，然后算法开始搜索与种子点相邻且位于轮廓 线之内的点。如果相邻点不在轮廓线内，那么就到达轮廓线的边界；如果相邻点 位于轮廓线之内，那么这一点就成为新的种子点，然后继续搜索下去。种子填充 区域的连通情况有4 连通和8 连通之分。4 连通区域中各象素在水平和垂直四个 方向上是连通的；8 连通区域中各象素在水平、垂直以及四个对角线方向都是连 通的。通过种子填充连通域分析1 7 1 ，得到图像的各个连通域，然后通过面积滤波， 将不可能是文字笔画的连通域剔除，以防止芯片图像上的焊点、污渍、干扰以及 二值化过程中产生的各种噪声的影响，得到文字笔画区域。 然后我们可以对文字笔划区域的种子坐标、面积大小，相对位置等特征进行 一 兰空堡：! ：盔兰! ：堂堡主兰堡笙兰 分析，从而确定单个字符区域。 设有这样一个矩形框符合以下条件： 它包含( 覆盖) 所有相交的字符笔划区域； 没有比它更小且符合条件的矩形框 则此矩形框为单个文字区域。 具体算法如下：将各个连通域按照从左到右的顺序进行排序，然后合并相 交的连通域，最后对合并之后的连通域进行分析，进行相应的合并或者切割处理。 具体如图2 8 所示。其中( c ) 中的矩形框为连通域。 a ) 原| 苷i 像b ) 优化刚像c ) 丘：字笔厕m 域d ) 竹个字符陋域 图2 8 基丁连通域分析的文字切分方法 f i g2 - 8c h a r a c t e re x t r a c t i o nm e t h o db a s e do nc o n n e c t e d - a r e aa n a l y s i s 2 5 字符正规化 对待识别的文字图像进行f 规化处理，是由识别的需要决定的。如前所述， 芯片上的印刷体文字的字体、字号都有很多种，而即使是同一个字体字号，由于 污损、扫描精度等原因，文字大小常常不一致，即使这也是一致的，经过二值化 处理之后，其大小也极可能产生变化。当采甩基于模板匹配的方法进行识别对， 计算机中对相同的字种只有一种模板。因此，需要对不同字号的尺寸进行正规化 处理( n o r m a l i z a t i o n ) ，使它们变成同一个尺寸的文字图像。另一方面，不同的 数字、字母大小通常不一样，比如数字“1 ”就比数字“8 ”要窄，此时，就需要 进行重心一中心变换。根据识别方案的不同，有时候对笔划的粗细也要规范化。 总之，文字的f 规化处理应当按照识别方案的要求进行。下面我们首先对字符正 规化的基本概念和方法进行介绍，然后简述几种常用的字符正规化方法一i ，最后 给出我们在系统中使用的正规化方法。 第二章图像预处理算法及其实现 2 5 1 位置正规化 为了消除文字点阵位置上的偏差，将整个文字图像移到规定的位置，称为位 置证规化。位置正规化的方法有两种，一种是基于重心的位置正规化，另一种是 基于文字中心的位置正规化。前者是找出文字的重心，赋予重心规定的坐标，以 重心坐标为参考点，决定其他象素点的位置。后者是找出文字的外接矩形框，再 找出矩形的中心位置，并赋予中心规定的坐标值，以中心为参考点决定其他象素 点的坐标值。 2 5 2 尺寸正规化 不同规格尺寸的文字，经过缩放处理变成同一尺寸的文字称为尺寸正规化。 一般的尺寸正规化处理首先要先得到一个字的前后沿_ 、工：，顶与底y 。、y ：，但 在本系统中，这一步已经在文字定位与切分中完成，所以这里可以直接使用已经 得到的 、工2 以及y 。、y 2 。 尺寸正规化方法如下： 当以x 、x 2 和y 。、y 2 组成的文字的外接矩形框的尺寸( 工：一上。) ，( y 2 一y t ) 大于 某个给定值，w 。时，可以按照公式( 2 4 ) 进行正规化，使f ( x ，y ) 变成f ( u ，p ) 。 f ( u ，v ) = ，( ( j 2 一上i ) x ( u 1 ) w + 工l ，( y 2 一y 1 ) ( v i ) i h + y l ( 2 7 ) 其中和圩分别是f 规化后水平方向和垂直方向的尺寸，也就是文字的宽 ( w i d t h ) 和商( h e i g h t ) 。在芯片字符识别中，一般取w = 2 4 ，h = 3 0 。 f 2 7 ) 式只是一般的正规化公式，但对于数字图像处理，由于图像的存储下标 是从0 丌始，而不是从1 开始的，而且，离散的数字图像如果按照( 2 7 ) 式处理， 会产生比较大的失真，表现为图像向左上角偏移，因为( 2 7 ) 式是以左上角为参考 点作f 规化变换。这样，就需要按照( 2 8 ) 式来进行尺寸f 规化变换，其结果才能 很好的达到要求。 f ( u ，v ) = ，( ( w 1 ) x u i w + 0 5 ，( 一1 ) x v l h + 0 5 ( 2 8 ) 其中w 和h 分别是正规化前原图像的高和宽，因为在文字定位和分割中，已 经把单个文字切割出来，所以输入图像的就是所需要的外接矩形框。所加的o 5 是 一种失真校j