基于matlab的文字识别算法课程设计之欧阳歌谷创编

欧阳歌谷创编

摘

2021年1欧阳歌谷（2021.02.01）本课程设计主要运用MATLAB的真平台设计进行文字识别算法的设计与仿真。也是用于实现文字识别算法的过程。从图像中提取文字属于信息能化处理的前沿课题，是当前人工智能与模式识别领域中的研热点。由于文字具有高级语义特征，对图片内容的理解、索引检索具有重要作用，因此，研究图片文字提取具有重要的实际义。又由于静态图像文字提取是动态图像文字提取的基础，故重介绍了静态图像文字提取技术。随着计算机科学的飞速发展以图像为主的多媒体信息迅速成为重要的信息传递媒介，在图中，文字信息（如新闻标题等字幕）包含了丰富的高层语义信，提取出这些文字，对于图像高层语义的理解、索引和检索非有帮助。关键字：文字识别算法；态图像文字提取；检索欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1目录课程计的课程计求相关识5课程计析系统现9系统试分6.1果176.2基于别19基于字符别19基于单词别20现存算法题21大多文字征21脱离上下义21简单的单性22训练样本琐22参考献欧阳歌谷创编

2021年1

欧阳歌谷创编1课程设计目的

2021年1图像文字提取又分为动态图像文字提取和静态图像文字提取两种，其中，静态图像文字提取是动态图像文字提取的基础，其应用范围更为广泛，对它的研究具有基础性，所以本文主要讨论静态图像的文字提取技术。静态图像中的文字可分成两大类：一种是图像中场景本身包含的文字，为场景文字；另一种是图像后期制作中加入的文字，称为人工文字，如右图所示。场景文字由于其出现的位置、小、颜色和形态的随机性，一般难于检测和提取；而人工文字则字体较规范、大小有一定的限度且易辨认，颜色为单色，相对与前者更易被检测和提取，又因其对图像内容起到说明总结的作用，故适合用来做图像的索引和检索关键字。对图像中场景文字的研究难度大，目前这方面的研究成果与文献也不是很丰富，本文主要讨论图像中人工文字提取技术。静态图中文字的特静态图像中文字（本文特指人工文字，下同）具有以下主要特征：（1）文字位于前端，且不会被遮挡；（2）文字一般是单色的；（3）文字大小在一幅图片中固定，并且宽度和高度大体相同，从满足人眼视觉感受的角度来说，图像中文字的尺寸既不会过大也不会过小；（4）文字的分布比较集中，排列一般为水平方向或垂直方向；（6）多行文字之间，以及单行内各个字之间存在不同于文字区域的空隙。在静态图片文字的检测与提取过程中，一般情况下都是依据上述特征进行处理的。数字图处理静态图像文字提取一般分为以下步骤：文字区域检测与定位、文字分割与文字提取、文字后处理。其流程如图所示。图1静文字处理流程图欧阳歌谷创编

2021年1

欧阳歌谷创编2课程设计要求

2021年1在高速发展的计算机软硬件技术的支撑下，多媒体技术的发展非常迅速，计算机技术从传统的办公和计算逐渐向人工智能和数字娱乐发展。在人工智能技术中，对环境信息的拾取处理和响应显得尤为重要，其中文本信息占环境信息很大一部分，为了使人工智能系统更为完善，则需要系统能够像人眼一样对周围环境信息进行理解，尤其是环境信息中的文本信息。实验表明，人类日常生活中，50%以上的信息量来源于眼睛捉的周围环境的图像，人眼可以快速捕捉到图像中感兴趣的信息，而对于计算机来说，一幅图像仅仅是杂乱的数据，如何让计算机想人眼一样快速读取图像中的信息并进行分类及检索等相应处理，一直是多年来计算机视觉和模式识别研究者们探索的问题，如果能很好解决这些问题，能给工业生产及国防科技带来巨大的改进。文字是信息存储和传递的重要载体，在很多由摄像设备拍摄的图片中，都存在或多或少的文字，比如路牌、店名、车站牌、商品简介等，识别图片中的文字对计算机理解图像的整体内容有非常重大的作用。如何将图片中的文字信息抽象出来形成具有完整语义的信息，再将其表达出来用于信息传递，从而辅助人类的生产和生活是研究计算机视觉的学者们多年来一直致力于解决的问题。研究如何对自然场景图片中的字符进行识别，提取出有用信息，在获取图片文本信息的各个领域都有极大的商业价值。场景文字识别在日常生活也有着重要的地位，例如车牌的识别，盲人对周边环境信息的获取、图书馆管理的数字化和髙效化，以及网络中对指定的内容的图像和视频的检索等。自然场景文本识别，就是将提取出来的自然场景图片中的进行识别，提取出信息用于进一步的处理。在对场景文字识别的研究中，获取自然场景图片时候，由于背景物体、光线、阴影、拍摄角度引起的图片背景千变万化，摄像器材的精度、拍摄人员的技术等软硬件的不同为拍摄同样的自然场景图片也带来了相当大的差别，被拍摄的图片中包含的文字大小、颜色、书写风格的各不相同等因素都为自然场景文字识别的实现增加的相当的难度。需要对自然场景图片中的识别首先需要对图片中的文本进行定位，然后再对己经精确定位的图片进行识别。文本定位技术作为整个自然场景文本信息获取系统中的基础技术，已经得到较好发展，相同地，文本识别技术在近年来也得到了比较好的发展，但是由于文本的复杂性和随机性，较文本定位技术来说，文本识别技术发展较欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1为缓慢。欧阳歌谷创编

2021年1

欧阳歌谷创编3相知识

2021年11.在Matlab调用i1=imread（原始图像，如图所示：图2字识别算法调制器模型2.调用i2=rgb2gray（），则得到了灰度图像，如图所示：图度图像调用（i1;b=size（）;得到：，b=2即三维图像变成了二维灰度图像3.调用i3=i2）;中thresh为门限，介于图4所示之间图4门值图得二值得到二值图像，如图所示：图值图像4.把二值图像放大观察，可看到离散的黑点对其采用腐蚀膨胀处理，得到处理后的图像，如图所示欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1图7腐蚀膨胀处理后的二值图像可见，腐蚀膨胀处理后的图像质量有了很大的改观。横向、纵向分别的腐蚀膨胀运算比横向、纵向同时的腐蚀膨胀运算好上很多。5、对腐蚀胀后的图像进行Y方向上的区域选定，限定区域后的图像如图所示：扫描方法：中间往两边扫。6、对腐蚀胀后的图像进行X方向上的区域选定，限定区域后的图像如图11所示：描方法：两边往中间扫，纵向扫描后的图像与原图像的对照。7.调用i8=），使背景为黑色（0），字符为白色（1），便于后期处理。8.调用自定义函数（字符获取函数）（i8）。9、调用自义的字符获取函数对图像进行字符切割，并把切割的字符装入一维阵列。10.调用以下代码，可将阵列中的字符显示出来。for%cnum统计的字符个数5，8，j，word{j}），title（int2str（j）;%显示字符11.调用以下代码，将字符规格化，便于识别：for（word{j}，［4040］）%字符规格化成12.调用以下代码创建字符集：（由于作者水平有限书中难免存在缺点和疏漏之处恳请读批评指正，。’）;将创建的字符集保存在一个文件夹里面，以供匹配时候调用。13.字符匹配采用模板匹配算法：将现有字符逐个与模板字符相减，认为相减误差最小的现有字符与该模板字符匹配。欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1图符匹配也就是说，字符A与模板字符T1更相似，我们可以认为字符集中的字符是字符A。经模板匹配。14调用以下代码，将字符放入文本：new=［’，’］;（new‘a+’）;fprintf（c，‘%s\’Code（））fclose（）;欧阳歌谷创编

2021年1

欧阳歌谷创编4课程设计分析

2021年11、算法具局限性。对于左右结构的字符（如：川）容易造成误识别，“川”字将会被识别成三部分。当图片中文字有一定倾斜角度时，这将造成识别困难。2、模板匹效率低。对于处理大小为m&TImes;m的字符，假设有n个模板字符，则识别一个字符至少需要m&TImes;m××运算，由于汉字有近万个，这将使得运算量十分巨大！此次字符识一共花了。3、伸缩范比较小。对于受污染的图片，转换成二值图像将使字符与污染源混合在一起。对于具体的图片，需反复选择合适的行二值化处理，甚至在处理之前必须进行各种滤波。欧阳歌谷创编

2021年1

欧阳歌谷创编5系统实现

2021年1文字识别算法仿真代码如下：function[Stroke]=StrDetect01(LeftD,Y1,Y2,ST,PT)为结构阈值，为了指定高度和宽度构变化的不同SL=0;SR=0;SV=0;Count=0;%突变的阈值Str='T';T表示结构未定，用于保存当的基本结构Stroke='T';于保存基本结构Range=Y2-Y1+1;符的宽度或者高度forif(abs(LeftD(j))<PT)if(LeftD(j)<0)SL=SL+1;if(LeftD(j)>0)SR=SR+1;SV=SV+1;%检测到突变的策if((Count>=fix(Range/4)+1))%设定字符轮廓可能发生的突变范围ifif((SV>=2*(SL+SR))&&((max(SL,SR)<3)||(min(SL,SR)<2)))if欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1ififStr];if'P'];SL=0;SR=0;SV=0;Count=0;Str='T';%=========提取结构===============%if(Count>=fix(Range/4)+1)%发生突变后，剩余部分可能无法形成字符结构if((SL>=ST)&&(SR>=ST))if((SV>=2*(SL+SR))&&((max(SL,SR)<3)||(min(SL,SR)<2)))ifif欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1ifStr];function采用四边的轮廓结构特征和笔划统计（仅针对08）识别残缺数字是用于识别0和8底部补充信息StrL='T';StrR='T';StrB='T';RStr='T';%于保存识别出的数字[tempXT]=size(StrokeTop);[temp[tempXR]=size(StrokeRight);%[tempforTi=2:XTif(StrokeTop(Ti)=='C')ifif((Comp>=3)||((StrokeBottom(2)~='C')&&(StrokeLeft(2)=='C')&&(StrokeRight(2)=='if((StrokeLeft(XL)=='L')&&(StrokeLeft(XL-欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1if((StrokeLeft(2)=='C')&&(XL>=3)&&(StrokeLeft(3)=='P'))if(XL>2)forLi=2:XLif(StrokeLeft(Li)=='P')ifforRi=2:XR-1ifif(StrokeTop(Ti)=='V')%Topif((XR==2)&&(StrokeRight(2)=='C'))%数字右端只有一个结构if((XR==2)&&((StrokeLeft(2)=='P')||(StrokeLeft(3)=='P')||(StrokeLeft(XL)=='V')))if(XR>2)forif欧阳歌谷创编

2021年1

欧阳歌谷创编I0=imread('8.jpg');%必须为二值图像I=im2bw(I0,0.4);[y0x0]=size(I);Range=sum((~I)');Hy=0;forif(Range(j)>=1)Hy=Hy+1;RangeX=sum((~I));Wx=0;forif(RangeX(i)>=1)Wx=Wx+1;

2021年1Amp=24/Hy;%将文字图像归一化到24像素点的高度。I=imresize(I,Amp);[yx]=size(I);%I=~I;tic%======本结构第一类：竖（V）；左斜（L）；右斜（）；突变（P）第二类：左半圆弧（）；右半圆弧（）的三类：结构待定（T）；%=====================================%Left=zeros(1,y);端轮廓检测欧阳歌谷创编

2021年1

欧阳歌谷创编forj=1:yi=1;whileif(i<=x)for构特征提取=============%j=1;while((Left(j)<1)&&(j<y))while((Left(j)<1)&&(j>1))

2021年1Y2=j-1;掉急剧变化的两端%==============边==================%Right=zeros(1,y);%端轮廓检测forj=1:ywhileif(i>=1)Right(j)=i;欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1forRightD(j)=Right(j+1)-Right(j);%=====================================%Top=zeros(1,x);%顶端轮廓检测fori=1:xj=1;whileif(j<=y)Top(i)=j;forTopD(i)=Top(i+1)-Top(i);i=1;whilewhileX2=i-1;掉急剧变化的两端%===================================%Bottom=zeros(1,x);底部轮廓检测欧阳歌谷创编

2021年1

欧阳歌谷创编fori=1:xwhileif(j>=1)Bottom(i)=j;for字1的宽度特征forj=1:yWidth(j)=Right(j)-Left(j);W=m

2021年1欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年16系测试与分析6.1识别原图如图9）所示，仿真结果如图（b）所示。图9）识别原图欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1图（b）仿真结果6.2基于字符的识别Strokelets:AMulti-scaleforRecognition（2014）通过聚类图像块来学习中层笔特征，然后使用霍夫（HOG）投票算法检测字符。在笔画特征和HOG特征的基础上，使用随机森林分类器来进行字符分类。scenetext（2011）借鉴计算机视觉通用的目标检测方法，提出了一个新的文本识别系统。他们利用字符置信度以及字符之间的空间约束关系，给出最可能的检测和识别结果。但是该算法只能用于水平方向排列的文本的检测识别。TextRecognitionHybridHMMMaxoutModels（）和PhotoOCR:inConditions（等人通过无监督的二分类技术或有监督的分类器，将单词图像分割为潜在的字符区域。TextRecognitionHybridHMMMaxoutModels（）使用一种复杂的，包含分割、矫正以及字符识别的NN网络，结合使用固定词典的隐马尔科夫模型（HMM），生成最终的识别结果。系统使用基于H特征的神经网络分类器，对分割得到的候选欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1结果进行打分，使用结合N元语言模型（）的Beam搜索算法，得到候选字符集合。最后，再进一步使用语言模型和形状模型对候选字符组合进行重新排序。forSpotting（结合了文本一非文本分类器、字符分类器、二元语言模型分类器，对整张图进行稠密的基于滑动窗口的扫描。最后结合固定词典，对图片中的单词进行分析。基于字符的识别技术依赖于使用字符分类器对图像进行逐字符识别，最终将识别得到的字符进行集成，得到图像中的整个单词。基于单词的识别TextRecognitionusingHigherOrder以及Large-LexiconTextinNaturalImages工作依旧依赖于显式的字符分类器，但是通过构建一个图结构来推导整个单词。这会遇到和基于字符识别方法类似的困难。isSumofRecognizing2013）使用整张文字图片来识别单词:们使用基于梯度的特征图与预先制作好的单词图像进行对比，利用动态k近邻来判断当前图片所包含的单词。该方法依赖于一个固定词典以及预先生成的单词图片。Labeltextrecognition（使用集成的Fisher向量以及结构化的支持向量机框架来建立图片和整个单词编码的关系。WordRecognitionEmbedded（2014）进一步探索了单词编码的概念，他们为图片和单词字符串创建了一个编码空间。这其实是Supervisedmid-levelfeaturesforimage（2014）方法的扩展:显式利用字符级别的训练数据来学习中间特征。NumberfromViewImageryNeural（2013）等人使用深度CNN对整张图片进行编码，并使用多个位置敏感的字符级分类器来进行文字识别。他们在街景门牌号识别任务中取得了极大的成功。他们还将该模型应用到长达的验证码识别任务上，并使用了合成的训练数据对模型进行训练。该方法在街景门牌号识别任务中获得了96%上的识别率。同时还在对goggle验证码识别务中获得了以上的识别率。SyntheticArtificialNetworksforText欧阳歌谷创编

2021年1

欧阳歌谷创编

2021年1（2014）和TextinthewithNeuralNetworks（2014）对上述模型了细微变动:取消了预测字符长度的分类器，并引入了结束符表示文字结尾。他们随后证明了，使用合成的训练数据训练出的模型，能够成功应用到现实世界的识别问题中。将单词编码为向量是一种可行的词典单词识别方法，但是在无约束情况下，字符之间可以任意组合。当字符数量足够多时，基于固定长度向量编码的方法性能会显著下降。但是依然存在一些不足:些研究将深度学习技术用于单个字符的识别步骤中，但整体框架依旧遵循传统处理流程设计，因此在其它步骤中依旧会遇到绪论所述问题。fellow等人的究使用纯神经网络直接完成整个识别流程，取得了业界领先的成绩。但是由于他们需要使用固定大小的图像作为输入，并且将输入图像编码为固定长度的特征向量，在图片中字符较多的情况下，模型的识别精度会显著下降。另一方面，由于他们的模型没有对图片进行显式地字符定位和分割，因此无法得知每个字符在原图中所处位置。现存算法的问题大多文字识别方法依赖于人工定义的特征虽然有大量工作研究如何定义一组好的文字特征，但是大部分实际应用的特征都不具有通用性。在极端情况下（如图10（）），很多特征几乎无效或甚至无法提取，如笔画特征，形状特征，边缘特征等。另一方面，定义和提取人工特征也是一件极为耗时耗力的工作。脱离上下文的字符识别易造成显著的歧义基于字符的识别方法通常以字符为处理单位，通过分割或者滑动窗口搜索的方法，将单个字符进行分离。然后利用字符分类器来预测字