基于人工神经网络的光学字符识别系统及硬件实现实用教案

1、贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所1选题背景(bijng)及意义 人工神经网络目前已经广泛地用来解决模式识别和人工智能领域的一些复杂问题。由于人工神经网络的非线性以及并行性和鲁棒性等特点，在上述领域，其取得了以往传统算法无法获得的成功。 由于人工神经网络等新技术的引入，从上世纪70年代以来，光学字符识别技术逐渐走向成熟。对于脱机印刷体字符的识别，目前已经有了很高的识别率；对于小规模的手写体字符识别，也已经走向实用。 当前，由于半导体加工工艺的进步，微处理器的体积越来越小，速度越来越快。这使得构建能够替代PC机功能(gngnng)而体积更小、造价更低的硬件平台

2、成为可能。 第1页/共27页第一页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所2选题(xun t)背景及意义 小规模光学字符识别系统应用广泛，有着巨大的商业前景。如：邮政编码(yu zhn bin m)识别、汽车照牌识别、交通标示识别、产品编码识别等。 能够处理视频的嵌入式设备也有着广泛的应用前景。如视频监控、视频通讯、机器视觉系统等。第2页/共27页第二页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所3研究了人工神经网络及光学字符识别的基本理论、一般方法：对人工神经网络的发展、现状、理论做了深入的研究。重点研究了BP网

3、络的原理(yunl)、特点、应用方法。研究了脱机光学字符识别的方法、理论。重点研究了基于K-L变换的字符图像的特征抽取方法。研究了基于ARM技术的嵌入式系统的构造、设计：通过实际动手，研究了基于ARM技术的处理器的基本构造、使用方法；使用并比较了三星4510b、atmel at91rm9200芯片的性能；掌握了高频印刷版的设计工艺。研究了Linux操作系统的结构及移植方法：本文的嵌入式系统使用ucLinux或Linux操作系统。通过对操作系统的移植及对其代码研究，掌握了在ARM系统上移植ucLinux操作系统和Linux操作系统的方法、步骤。本文所做的主要工作(gngzu)与创新之处第3页/共

4、27页第三页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所4实现了图像处理函数库：针对脱机光学字符处理的应用需要，实现了一套高效的图像处理函数库，包含图像转换、图像抽取、图像调整、图像变换、图像滤波、边缘检测、轮廓跟踪、轮廓检测、简单几何形状识别几大类。实现了BP人工神经网络函数库：实现了基于矩阵运算的BP神经网络算法。能够利用Matlab生成的网络数据进行快速的运算。 掌握了利用Matlab工具构建人工神经网络系统的方法：Matlab包含了能强大的人工神经网络工具箱。BP神经网络的规模、激活函数的选择，直接影响了BP神经网络的效果。而BP神经网络的规模、激

5、活函数的选择，目前并没有完善的理论做支持，必须通过实验(shyn)来确定其规模或者激活函数。另外，BP神经网络的训练算法也必须通过实验(shyn)来选取一种最佳的方案。 由于Matlab工具具有可视化效果、Matlab具有完善的训练算法，因此，我们使用Matlab来确定网络规模、结构，并使用Matlab训练BP网络。本文(bnwn)所做的主要工作与创新之处第4页/共27页第四页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所5实现了小规模光学字符识别算法：利用K-L变换，完成字符图像的特征抽取，利用BP网络，以K-L变换抽取的特征为输入，完成光学字符识别。文中

6、利用美国USPS数据库，训练了手写体阿拉伯数字识别网络，识别率高于92%。对样本的每个分类，单独构造一个BP神经网络分类器：通常，在构造BP神经网络分类器时，输出层节点数目等于分类的数目，输出层每个节点就对应于一个分类。本文中对每个分类都构造一个BP网络分类器，每个分类器输出层包含一个节点，表示样本为本分类的概率。这样的设计，大大降低了BP网络的训练难度。利用阿拉伯数字的拓扑结构。使用2级分类器，提高了识别率：在初级网络识别结果的基础上，进一步利用阿拉伯数字的拓扑结构，成像特征，构建了第2级分类器。第二级BP网络分类器的加入，大大提高的数字的识别率。 实现了用于邮件自动分拣机的邮政编码识别装置

7、：综合(zngh)上述的研究工作，文中实现了一个邮政编码识别装置。该装置能够识完成邮编的定位、邮编抽取、识别等系列工作。配合邮件自动分拣机的其他物理动作单元，完成邮件的自动分拣工作。本文(bnwn)所做的主要工作与创新之处第5页/共27页第五页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所6n 技术概述n 技术详解 n 应用(yngyng)前景内容提要(ni rn t yo)第6页/共27页第六页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所7人工神经网络(wnglu)及BP网络(wnglu) 神经网络领域研究的背景工作始

8、于19世纪末和20世纪初。它源于物理学、心理学和神经生物学的跨学科研究 。人工神经网络的第一个实际应用出现在20世纪50年代后期，Frank Rosenblatt提出了感知机网络和学习规则 。 神经网络的基本组成单元是神经元，在数学上的神经元模型是和在生物学上的神经细胞对应的。或者说，人工神经网络理论是用神经元这种抽象的数学模型来描述客观世界的生物细胞的。 BP神经网络是一种多层前馈神经网络，或被称为多层感知机。严格地说，这种神经网络之所以被称为BP神经网络，并非由于(yuy)其网络结构，而是由于(yuy)其连接权值的训练是基于一种叫做误差反向传播的算法(backpropagation)。BP

9、算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。第7页/共27页第七页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所8光学(gungxu)字符识别 光学字符识别（Optical Character Recognition，OCR）技术出现(chxin)于上个世纪50年代。它是属于模式识别（Pattern Recognition，PR）领域的一个重要分支。50多年以来，光学字符识别技术随着模式识别和人工智能研究的发展而逐步趋于成熟 。字符识别包含联机识别和脱机识别两种。本文研究对象为脱机识别。 结构

10、模式识别方法是人们最初用来进行手写字符识别研究的方法，早期的研究主要集中在如何准确地抽取基元、轮廓、特征点等能够反映字符结构信息的特征上。然而，单纯采用结构模式识别方法的脱机手写字符识别系统，识别率较低，这就促使人们将目光转向了统计模式识别方法。 统计法具有良好的抗噪声、抗干扰的性能，其鲁棒性主要体现在统计特征的抽取和模式匹配方法上。用于脱机手写字符识别的统计特征，根据特征抽取区域的不同可粗略地分为全局统计特征和局部统计特征两大类。 第8页/共27页第八页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所9光学(gungxu)字符识别 全局统计特征是将整个字符点

11、阵作为研究对象，从整体上抽取特征。常用的是全局变换特征：对字符图象进行各种变换，利用变换系数作为特征，常用的变换有Fourier变换、Hadamard变换、DCT变换、Walsh变换、Rapid变换、K-L变换等。另外还有：不变矩（Moment）特征、笔画穿透数目特征、全局笔画方向特征、背景特征。 局部统计特征是将字符点阵图象分割成不同区域或网格，在各个小区域内分别抽取统计特征，主要包括局部笔画方向特征、细胞特征、相补特征、方向线素特征、Gabor特征、四角(s jio)特征。 根据抽取特征的不同，可以选用不同的匹配方法，常用的统计匹配方法有模板匹配、相关匹配、树分类器等。常用的距离度量有欧氏

12、距离、城市块距离、马氏距离等。 第9页/共27页第九页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所10准备(zhnbi)样本 针对特定的应用，准备样本集。并利用图像处理(t xin ch l)技术，将样本标准化。例：美国邮政服务（USPS）数据库第10页/共27页第十页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所11对样本做主(zu zh)分量分析（PCA） 计算样本集的主分量(fn ling)（特征图），准备K-L变换矩阵例：美国邮政服务（USPS）数据库的特征图第11页/共27页第十一页，共28页。贵州大学计算机软

13、件与理论贵州大学计算机软件与理论(lln)研究所研究所12抽取样本(yngbn)的特征 利用前面计算的K-L变换矩阵(j zhn)，计算每个样本图的特征例：本文的数字识别研究中，利用K-L变换将16X16点阵的图像变换为维度为32或20的特征向量。第12页/共27页第十二页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所13训练(xnlin)BP网络分类器 利用样本(yngbn)集对应的特征向量集，在Matlab中设计、训练BP神经网络例：本文的数字识别研究中，构造了10个20,20,16,8,1、输出层使用purelin函数，其他层使用logsig函数的BP

14、神经网络。第13页/共27页第十三页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所14图像(t xin)采集 利用摄像头采集大小适中(shzhng)、亮度适中(shzhng)的信封图像第14页/共27页第十四页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所15邮政编码(yu zhn bin m)的定位 利用(lyng)邮政编码边框的颜色信息，分割出邮政编码边框图像第15页/共27页第十五页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所16邮政编码(yu zhn bin m)的定位 轮廓(

15、lnku)提取，并使用Hough变换，检测出邮政编码的具体位置第16页/共27页第十六页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所17邮政编码图像(t xin)的提取 提取出邮政编码图像，并根据图像倾角，进行姿势(zsh)校正第17页/共27页第十七页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所18灰度化 将图像(t xin)灰度化第18页/共27页第十八页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所19二值化 将图像(t xin)二值化第19页/共27页第十九页，共28页。贵州

16、大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所20笔画粗细(cx)调整 将图像中的文字笔画粗细(cx)做调整第20页/共27页第二十页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所21图像(t xin)标准化并识别 将图像标准化为16X16大小(dxio)，并识别第21页/共27页第二十一页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所22第22页/共27页第二十二页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所23第23页/共27页第二十三页，共28页。贵州大学计算

17、机软件与理论贵州大学计算机软件与理论(lln)研究所研究所24应用(yngyng)前景 提高视频部分的分辨率，使识别(shbi)效果进一步提高。使其能够作为机器视觉系统应用于生产线做为产品质量监控。 生成汽车牌照号字符集，训练分类器，使其能够应用于汽车牌照号识别(shbi)应用中。第24页/共27页第二十四页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所25发表(fbio)论文及参加学术会议 在读研究生期间，已在国家中文核心期刊计算机科学发表一篇科研论文。 参加学术会议 2005年全国理论计算机科学学术年会，并在会上(hu shn)做学术报告 2005第四届中国嵌入式系统技术应用研讨会 第25页/共27页第二十五页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究所26致谢(zh xi)衷心感谢我的导师李祥教授！从论文的选题、可行性研究、文献的收集到研究工作的开展，特别(tbi)是论文的撰写，导师都给予了无微不至的关怀，提出了许多宝贵的建设性意见。感谢答辩委员会主席，感谢各位评委，感谢在座的各位来宾！最后，我还要感谢我的家人及朋友对我的学习工作的全力支持。 谢 谢！ 2006年5月第26页/共27页第二十六页，共28页。贵州大学计算机软件与理论贵州大学计算机软件与理论(lln)研究所研究