基于Hopfield神经网络的字符识别算法研究.docx

基于Hopfield神经网络的字符识别算法研究摘要 字符识别是计算机视觉和图像处理领域的研究热点。相关技术在车牌识别、图像中的文本提取等方面有广泛的应用前景。目前Hopfield神经网络是实现字符识别的成熟技术，它可以实现字符图像的高效联想记忆。为此，本课题通过分析Hopfield神经网络的算法原理，针对图像字符识别问题，深入开展了在低噪声和高噪声背景下，字符识别的可靠性研究。实验结果表明，Hopfield神经网络对小规模图像数据具有较好的识别效率，其联想记忆功能可以有效降低噪声对识别效果的影响。关键字 Hopfield神经网络 神经网络 字符识别The Research of Character Recognition Algorithm based on Hopfield Neural NetworkAbstract The Character recognition is a hot research topic in the field of computer vision and image processing. The related technology has wide application prospect in the aspects of technical text extraction and the license plate recognition. At present, the Hopfield neural network is the mature technology of the character recognitions realization. It can realize efficiently associative memory of the character image. Therefore, this topic through the analysis of the algorithm principle of Hopfield neural network, aiming at the problem of image character recognition，carry out the research on reliability of character recognition in low noise and high noise background. The experimental results show that hopfield neural network has good recognition efficiency of small scale image data, The associative memory function of it can effectively reduce the influence of noise on the identification effect.Keywords Hopfield neural network Neural network Character recognition目录1 引言11.1研究意义与研究现状11.2 神经网络的发展过程和神经网络的概念21.3 神经网络在字符识别上的应用32 Hopfield神经网络简介32.1 Hopfield神经网络简介32.2 Hopfield神经网络的工作流程43 Hopfield神经网络在字符识别上的应用53.1 Hopfield神经网络在字符识别上的应用53.2 设计可以实现字符识别的Hopfield神经网络53.3 实现字符识别的Hopfield神经网络的实验结果64 Hopfield神经网络检测试验与分析64.1 问题的提出74.2 基于Hopfield神经网络的字符识别84.3 实验结果分析94.4 得出结论10致谢语12参考文献13_Toc3577909791 引言近年来，世界各地众多学者对字符识别这个领域进行了深入的研究，各种字符识别算法已经被大量应用于交通管理、商业信息安全、邮政信息等领域。目前国际上常用的字符识别包括基于Hopfield神经网络的字符识别算法、基于BP神经网络的字符识别算法以及基于图片模型方法等1。虽然字符识别已经不是一个新兴的研究领域，但目前仍然存在着很多需要去克服和解决的难题。在日常生活中，经常会遇到带噪声的字符识别的问题，如交通系统汽车号牌，由于汽车在使用过程中，要经受自然环境的风吹日晒和雨水侵蚀，造成字体模糊不清，难以辨认。如何从这些残缺不全的字符中提取完整的信息是字符识别的关键问题。字符识别在交通、邮政及商业票据管理方面有着广泛的应用价值。神经网络在汽车牌照字符识别中也可以应用，采用汽车牌照字符识别系统结构模型:首先利用摄像机和图像采集卡获得车辆牌照的原始图像,再次对汽车牌照原始图像进行预处理(包括图像提取、图像增强、图像分割等),最终提取到汽车牌照的各个字符的24*16的图像像素二值化特征2。1.1研究意义与研究现状随着信息的快速发展，字符识别的应用取得了令人瞩目的进展，字符识别也成为了近年来噪声识别、人工神经网络最为注重的一个研究话题。字符识别是指电子设备检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。它在噪声识别（图1-1），车牌识别（图1-2）等都拥有广泛的应用前景。目前字符识别还分成了很多种不同的方法，主要分为神经网络识别，概率统计识别和模糊识别等。传统的字符识别方法在有干扰的情况下不能很好的对数字和字母进行识别，而离散型Hopfield神经网络具有联想记忆的功能，可以取得令人满意的效果，并且计算的速度很快3。图1-1 噪声识别：不同频率的噪声识别不同图1-2 车牌识别：颜色亮度对车牌识别的影响1.2 神经网络的发展过程和神经网络的概念自1943年M-P模型开始，至该世纪60年代为止，这一段时间可以称为神经网络系统理论的初期阶段，这个时期的主要特点是多种网络的模型的产生与学习算法的确定。上个世纪60年代到70年代，神经网络系统理论的发展处于一个低潮时期，造成这种情况的原因是发展过程中遇到了本质的困难，即电子线路交叉极限的困难，后来芬兰的Kohonen在1971年开始了随机连接变化表方面的研究工作，从次年开始，他将研究目标集中到联想记忆方面。Kohonen将LVQ网络应用到语音识别,模式识别和图像识别方面，取得了很大的成功。神经网络系统理论研究方面还有很多问题尚未解决，如多层感知器的学习算法问题，Hopfield网络的假吸引点问题，大量工程应用中提出的神经网络模型中的学习算法问题，都迫切需要解决4。神经网络是由大量的处理单元互相连接而成的网络。为了模拟大脑的基本特性，在神经科学研究的基础上，提出了神经网络的模型。但是，实际上神经网络并没有完全反映大脑的功能，只是对生物神经网络进行某种抽象,简化和模拟。神经网络的信息处理通过神经元的相互作用来实现，知识与信息的储存表现为网络元件互连分布式的物理联系。神经网络的学习和识别取决于各神经元链接权系数的动态演化过程。1.3 神经网络在字符识别中的应用神经网络作为一种自适应的模式识别技术，并不需要预先给出有关模式的经验知识和判别函数，它通过自身的学习机制形成所要求的决策区域。网络的特性由其拓扑结构、神经元特性、学习和训练规则所决定。神经网络在故障模式识别中的应用就是一个明显的例子，它的识别方法主要是统计分类方法、聚类分类方法和模糊模式识别。利用神经网络来进行图像处理也是一个活跃方向。如信息的分布式储存和并行处理、信息储存与处理的合一、具有自组织、自学习能力，它已经被广泛应用于模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等各个方面。随着神经网络理论的进一步研究，让我们对神经网络的特点得到了更多的认识，在图像处理的各个领域得到了充分的应用，如印刷体和手写字符识别、语音识别、指纹识别、人脸识别、图像压缩复原等。2 Hopfield神经网络简介2.1 Hopfield神经网络Hopfield网络是一种典型的单层反馈网络，这种网络可以分为离散型和连续型两种，Hopfield网络是一个动力学系统，在确定连接权重后，若输入某个向量之后，网络将不断演化，一般情况下系统将趋向某一个定态，称为状态空间的不动点吸引子。1982年，J.Hopfield提出了可用作联想储存器的互联网络，这个网络称为Hopfield网络模型，也称为Hopfield模型。Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接5。Hopfield网络是一种反馈型神经网络，具有丰富的动力学特性。它采用了与阶层型神经网络完全不同的结构特征和学习方法，模拟了生物神经网络的记忆机理，获得了很好的结果。当前，Hopfield网络广泛地应用于优化计算和联想记忆。一个有效的联想记忆能力不仅依赖于它的模型结构，而且与所采用的学习算法有关。一般的，Hopfield基本采用Hebb规则，它具有学习速度快和信息储存方便等优点，但是它要求训练权值的“联想记忆模式对”是一组正交的矢量集。对于工程实际问题，所构造的训练样本是很难满足这一个苛刻的条件的，致使所建网络的记忆能力受到限制。例如基于Hebb规则的外积法、伪逆学习算法和广义逆学习算法都是采用Hopfield神经网络的算法6。2.2 Hopfield神经网络的工作流程Hopfield网络是有反馈的全互联型网络。令N为神经元的数目，V表示神经元的输入向量，U表示输出向量，W为神经元之间的权值。离散Hopfield网络中每个神经元的输出只能取“1”或“-1”两种状态，各神经元的状态可用向量V表示：V=v1，v2vn。网络中各神经元彼此互相连接，即每个神经元将自己的输出通过连接权传给其他神经元，同时每个神经元接受其他神经元传来的信息7。Hopfield网络的稳定性是由能量函数来描述的，即对网络的每个状态发生变化时，能量函数E随网络状态变化而严格单调递减，这样Hopfield模型的稳定与能量函数E在状态空间的布局极小点将一一对应。设有N个神经元构成的Hopfield网络，其中第i个和第j个神经元节点状态分别记为vi和vj；w是经元i和j的连接权，q为神经元i的阈值。设计好标准的数字点阵（本文采用10*10矩阵表示），根据这些标准的数字点阵创建并训练网络，使网络达到稳定状态，用带噪声的数字测试训练的网络。噪声有两种形式：一种是固定噪声；一种是随机噪声。按照这样一个工作流程下来就能把论文主要研究的问题说明清楚8。3 Hopfield神经网络在字符识别上的应用3.1 Hopfield神经网络在字符识别上的应用本文将Hopfield神经网络应用于数字识别分析中,Hopfield神经网络的“能量函数”的能量在网络运行过程中,具有不断地减少最后趋于稳定的平衡状态的特性,而且网络一旦建立即可自动运行,无需要训练。接着讨论了数字识别预处理的一般过程,主要包括灰度化、图像增强、二值化、倾斜矫正、字符细化、字符分割和归一化等。在对手写数字图像进行预处理时,引入了基于小波变换的图像特征提取算法,该算法比像素级特征提取更能适应数字变动性大的特点。数字的识别过程分为两步:训练阶段,识别阶段。数字识别一般分为图像预处理、特征提取、数字串分割、识别这几个阶段。例如设计一个Hopfield神经网络，使其具有联想记忆功能，能够应用于字符识别，也能够正确地识别阿拉伯数字，当数字被噪声污染后仍可以正确的识别。假设网络由0-9共10个稳态构成，每个稳态由10*10的矩阵构成，该矩阵用于模拟阿拉伯数字点阵。即将每个数字划分成10*10方阵，有数字的部分用1表示，空白处用-1表示。则结果就显而易见了9。实验结果表明,基于Hopfiled网络的数字识别分类器大大的降低了误识率,得到了较高的识别正确率,可以达到实际应用的要求。3.2 设计可以实现的字符识别的Hopfield神经网络将给出实现字符识别的Hopfield神经网络的两个通用领域：1民用应用领域有：语言识别、图像识别与理解、计算机视觉、智能机器人故障检查、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等。2军用应用领域有：语言、图像、信息的录取与处理，雷达、声纳的多目标识别与跟踪，战场管理和决策支持系统，军用机器人控制，各种情况、信息的快速录取、分类与查询，导弹的智能引导，保密通信，航天器的姿态控制等。在本节中，我们从识别与聚类、神经优化、建模与预测、控制与处理等大的方面对人工神经网络的应用进行介绍。运用Hopfield神经网络来实现字符识别，主要从噪声字符识别开始10。3.3 实现字符识别的Hopfield神经网络的实验结果在Hopfield网络中，有离散和连续两种系统。其中离散Hopfield网络的神经元变化函数为符号函数，网络节点状态只取两个值+1、-1，它在模式识别中常用作联想记忆。从动力学的观点，如果网络节点的初始状态为X(0)，连接权值为Wij，当其运行t步后处于状态Xi(t+1)即 （3-1）由于能量函数E是有界的，系统最终必定是要达到某个稳定的状态，或者是在某几个状态绕行，这些状态就是非线性动力学系统的吸引子，即能量函数的局部最小点。Hopfield网络用于联想记忆时分为两个阶段：学习阶段和联想阶段。学习阶段的任务是：给定m=1，.，p个输入样本Vjm，按照Hebb学习规则 （3-2）调整好权Wij，使得存储样本成为系统的吸引子。联想阶段的任务是：在上述Wij已调整好的情况下，对于给定残缺不全或者受到干扰的信息，令其作为联想关键字，按照动力学规则变化神经元的状态，使得最终的稳态成为动力学的吸引子11。利用神经网络进行字符识别，实际上是通过训练神经网络，使其能够根据字符的特征输入得到期望目标矢量的过程。然而，在实际识别过程中，字符的特征输入矢量中可能会混入噪声，应使网络具备一定的抑制噪声的能力。 4 Hopfield神经网络检测试验与分析4.1 问题的提出进行Hopfield神经网络的检测试验应该从字符识别这方面入手，主要通过代码来实现（代码在附录1），步骤为：1、清除环境变量；2、导入记忆模式；3、外积法计算权系数矩阵，生成n*n零矩阵；4、导入待记忆模式。通过上述步骤可以得到在噪声影响下，字符识别出现的问题，以图片形式体现，如图3。图4-1 噪声干扰和恢复过程Hopfield神经网络的结构并不复杂，假设Ri是输入矢量的维数，而Si是神经元的个数，输入P作为网络的初始状态，当网络根据输入得到输出后，该输出将被反馈到输入端，成为新的输入，如此反复，通过对网络权值和阈值的调整，直到网络的输出稳定为止。该网络的所有神经元都是一样的，它们之间相互连接。从系统观点看，该网络的演变过程是一个非线性动力学系统，可以用一组非线性差分方程或微分方程来描述。系统的稳定性可用“能量函数”进行分析。在满足一定条件的情况下，“能量函数”的能量在网络运行过程中不断地减少，最后趋于稳定平衡状态。一个非线性动力学系统具有许多性质，例如稳定问题，各种类型的吸引子以至混沌现象等，利用这些特性可以完成各种复杂的计算。Hopfield神经网络的应用形式有联想记忆和优化计算两种。其中联想记忆是指当网络输入某个矢量后，网络经过反馈演化，从网络输出端得到另一个矢量，这样输出矢量称作网络从初始输入矢量联想得到一个稳定记忆，即网络地一个平衡点。优化计算是指当某一问题存在多种解法时，可以设计一个目标函数，得到寻求满足这一目标函数的最优解法。本文将采用联想记忆的形式进行英文字母识别。4.2 基于Hopfield神经网络的字符识别本次试验经过两次对比，使得字符识别的作用更加明显，通过代码来实现（代码在附录2），主要步骤如下：1、 网络的建立（1）导入待记忆模式；可得到相关的图片，如图4.图4-2 字符识别的应用2、 网络测试（1） 导入待记忆模式；（2） Hopfield神经网络的联想记忆字符识别；（3） 清空环境变量（4） 数据导入；（5） 训练样本（目标向量）；（6） 创建网络，数字1和2的带噪声数字点阵（固定法）和数字1和2的带噪声数字点阵（随机法）；（7） 进行数字识别，分别为测试向量的个数以及测试的步数；（8） 显示结果，如图5。图4-3 数字1和2的带噪声数字点阵4.3 实验结果分析本论文现采用噪声均值为0，均方差依次为0到0.5，间隔为0.05的白噪声模型对所设计的神经网络进行仿真。对每一种不同方差的白噪声，产生100组含有该类型噪声的样本，然后利用这些样本对识别网络进行仿真，根据仿真结果计算出100组样本的误识率。为了测试系统，实验了英文字母A，并对它加入均方差为0.2的噪声，观察其得到的输出结果，可见，在此条件下，Hopfield网络经过学习，能够完全正确地识别出所有字母。本文对26个大写字母进行识别，通过改变仿真时间步数n，得到不同的识别曲线，这里n分别取为10到50，由仿真结果可看出，网络经过n步仿真后，随着噪声均方差的逐步变大，网络的误识率呈上升趋势，但在噪声均方差小于0.15之前，网络的误识率很小。并且在同一个噪声级别上网络的误识率随着仿真时间步数的逐步提高而变小。当仿真时间步数达到一定值时，系统的误识率曲线就基本趋于同一曲线。4.4 小结本章主要内容是对我们所研究的课题进行了实验并对实验的结果进行了分析。首先我们对该实验所采用的样本集进行了简单的说明；接着我们介绍实验所需要的环境；最后，我们选取了一些测试图片进行了实验，并展示和分析了测试图片的实验结果。实验结果表明，Hopfield神经网络在噪声识别当中运用得很广泛，它可以使因为噪声而扭曲的信息得到完完整整的复原，这对我们以后信息技术的发展是很有益的。结论字符识别是属于信息技术领域的一个典型，是一个具有挑战性的、跨学科的具有研究意义的一个课题。字符识别有着广泛的市场前景和理论研究价值，由于其物理媒介（如摄像头、计算机和内存等）的价格越来越低，其在现实中得到了不断的推广及使用。本论文针对当前信息技术领域热门的话题字符识别，对基于Hopfield神经网络的字符识别算法进行研究。详细的分析和研究了Hopfield神经网络主要的思想和其所运用的原理，再结合相对于的算法原理和工作流程对字符识别进行了实现。基于理论的分析和实践的结果，说明了该字符识别算法还是具有一定的有效性和可靠性的。但同时该算法在我们的实验中也出现了一些漏检和误判的问题，而且其检测需要一定的时间，对于实时检测的实现还是有一定的距离的。虽然，目前字符识别所使用的特征中Hopfield神经网络的表现相对较好，但对于字符识别实际效果来说，我们还有较大的改进空间。还有，目前字符识别所使用的测试噪声和识别车牌的大部分测试图片的清晰度高，主要以街道、停车场为背景，在图片里噪声对原信息的扭曲已经被字符识别顺利纠正。然而，在实际的使用中图片的背景是多样化的、图片的清晰度普遍不高及拍摄的距离问题（距离的远近不同会使车辆车牌的像素相差较大）。这一系列的存在问题使得字符识别的实用性大打折扣，因此字符识别还有很大的研究空间。致谢语十分感谢我的指导老师蔡国榕老师对本人悉心的帮助和指导，在该课题论文的完成过程中，从论文选题、文章结构，以及最后的反复修改定稿，这都是在蔡国榕老师细心的点拨下进行，这期间凝聚着蔡国榕老师辛勤的汗水和大量的心血。期间有很多本人没有发现的细节性的问题都是您一一细心地指出，并耐心指导我正确的修改。我不是您最出色的学生，而您却是我最尊敬的老师。您治学严谨，学识渊博，思想深邃，视野广阔，一丝不苟的工作态度以及谦逊和善的人格品质，都深深的影响了我，使我能较快的接受一种全新的思想观念并领会其基本的思想，这将对我以后的工作和生活起到很大的帮助。在此，我谨向尊敬的蔡国榕老师致以最真诚的谢意！