基于特征提取人工神经网络和自组织映射网络的手写字母数字识别

基于特征提取人工神经网络和改进型自组织映射网络的手写字母数字识别简介本文提出了一种手写字母和数字识别的新方法。本文使用特征来表示手写字母的相对拓扑结构，这些特征包括：行的终点、角、联结点、交叉点、不同特征点之间的线段、孤立的圆。这些特征的提取通过多层相互联结的人工神经网络提取。标准样本的特征点通过自组织神经网络（SOM）映射到样本上。通过比较与标准样本的特征分布的相似度来识别样本的特征。改进型的SOM有如下几点优点：1.因为一个特征被分类到几个组中所以它的特征点会很少。2.为了找到合适的特征点，SOM网络从不同的环形区域组建。3.特征点同时从样本和标准样本的提取。4.会从不同的行特征提取相邻的点。这些改进会使SOM网络更加稳定，组建网络更加快速。计算机访真显示，提出的方法能够识别大量的不同的样本。1引言手写字母的识别是人工神经网络非常重要的一个就用。因为传统的计算方法无法很好的达到识别目标，科学家希望人工神经网络在此方面能够表现得更好些，因为人工神经网络是通过模拟人的大脑对信息的处理方式来对数据进行处理。但是要模拟出人的信息处理方式并不是件容易的事，这方面的知识太少。然而仍然提出了有许多与人大脑信息处理方式相接近的人工神经网络感知识是第一个用于模试识别网络模型。近年来，提出了许多与bp神经网络及SOM网络相似的网络模型。其中的一些通过不同的网络模型从手写字母中提取大量的特征，这此特征又被用于神经网络的模式识别。另一种方法则是输入特征真接作用于神经网络，特征提取和模式识别的过程则在网络中同时完成。本文中，我们提出了一种新的手写字母数字的识别方法。本文中的系统由特征提取网络和改进的SOM网络组成。为表示出相近的网络拓扑结构，我们只保留关键的特征。本文提出了几个对SOM的改进，以便使som网络能够更好的应用于手写字母的识别。同时我们做了字母和数字识别的的访真。2手写数字，字母的特征特征的提取是手写数字、字母识别过程中很重要的一个环节。因此我们提出了以下几种特征：行的终点。小于等于90度的角。联结点（像T型的）。十字交叉点（十）孤立圆中的一个任意点两个特征点之间的中点中点表示了两个特征点之间的线段。图1中分别表示了这些不同的特征。○：代表无效区域。●☆★：代表有效区域。更进一步，★代表特征点，☆代表两个特征之间的中点。（a）行的终点（b1）（b2）小于等于90度的角，（c）联结点，（d）十字交叉点，（e）两个特征之间的中点，（f）孤立圆中的一个任意点和中点。3特征提取神经网络3.1结构框图图2是特征提取网络的结构框图。手写字母输入到Ⅰ层。在Ｆ层，F1层提取行的终点，F2层会提取物征：小于90度的角、联结点、十字交叉点，F3层则提取由两角直线组成的90度的角。在TR层有一个神经网络，用于从特征点开始跟踪模式的每行。通过统计从同一特征点开始跟踪点的数目来确定它的特征。同时两条跟踪路线的相交点则认为是一两个特征的中点。3.2F层的特征提取本文中所说的模式被认为是标准的模式，事实上要获得很好的标准模式必须要有些预处理。一个模式首先从Ⅰ层输入，它的输出只有0或1。第Ⅰ层中的第i个神经元到F层的第j个神经元的连接权W（IF）由下式决定：每个神经元单元有8个邻接单元如图：Ⅰ层到F层的连接，单元●有8个邻接单元○（a）F1层神经网络通过控制神经元的输入是不否等于9，是否激活，提取行的终点。（b）F2神经网络候选的特征点通过使用等式1中的连接权值，位于特征点右侧或邻接的单元有最大的输入，这些单元至少有3个邻接单元，当这些单元的输入大于等于11时则会激活这些单元。如图：◆：输入大于等于11的单元。竞争学习在初始时由于可能有多个单元处于激活状态，此情况通过竞争学习来挑选出合适的单元。每一个单元都和它的邻接单元相连接,并且有一个自循环。假设邻接单元中的第ｉ个单元到第ｊ个单元之间的连接权是由下式决定的：式中：，其中Ｖf2i(n)和Ｖf2j(n)是输出。Ｖf2j(n)是初使输出由下式决定上：Vij是第Ⅰ层的输出。当n>=1时第j个单元的输出由下式决定上：其中:0<η<ε。如果一个单元的输出值比与它相连的单元阈值要大，则此单元接收正输入，否则此单元接收负输入。通过重复上述的步骤，如果某个单元在n=0时有最大输入，或者位于所有活动单元的中心，则比单元会被选定。（c）F3神经网络如图所于的90度角是不能在F2层网络中提取出来的：因为它只有两个邻接的单元。这样的90度角将在F3层网络中提取出来。下图是各层的连接关系：

1，

2，

3，

4，是F3层的输入，它们接收第I层的输出，对就为（①②）（①③）（②④）（③④）。如果这些单元的输入是2输出是1，那么它们就会被激活。◎单元通过连接权WtF3j=8和Waf3kj=1接收★单元和

k的输出并且通过Wif3ij=-8接收○k的输入。可看出WiF3j+Waf3kj=9，所以当◎k=9时，此单元则是激活的。3.3TR层的标准模式跟踪正如前面所介绍的F2网络从特征点提取唯一的特征，它们的特征通过TR层的模式跟踪来确定。TR层的网络是一个互相连接的人工神经网络。它的第i个单元通过权值Wtij和第j个单元相连接。更进一步，它接收第I层的第F层的输出作为输入，通过权值WiTij和Wftij，它们的值由下式决定：下图表示了这种关系：○单元是◎T单元的邻接单元，它们通过权值Wtij相连。在初使状态，标准的模式单元从第I层接收输入8。更进一步如果输入特征和标标准的模式单元一致，那么它将从F层接收入输入1。从而8+1=9，通过设置它的阈值为9，则只有合适的特征单元才能激活，它们成为了起始的单元。下一步，激活的单元通过连接权Wtij向它们邻接单元输出1。因此邻接单元的输入变成了9。然而激活单元通过模式行传递，为了跟踪一行有两个激活单元的行，每一个活动单元在两个时间段保持激活状态。3.4M层网络确定特征和中点行终点，角，连接点，十字交叉点，分别有一，二，三，四个跟踪点。跟踪点的个数在M层确定。M层接收第I层，F层，TR层的输出作为输入。如下图所示：○D1，○D2检测包含两个激活单元的跟踪点。它们分别通过权值Wtd1ij=0.5和权值Wtd2ij=1.5接收单元①和单元②的输入。通过设置此单元的阈值为2，只有当检测到跟踪点时它们才会被激活。○F单元用于统计跟踪点的数目。它分别通过权值Wffij=10接和权值Wdfkj=1接收单元

F和单元

DK的输出。当它的输出大于等于11时将会被激活。它的输入是跟踪点的数目加10，并且会被起直接传递到M层的

M单元。○p单元检测两上跟踪点交汇处的中点。为了避免把特征点当成中点对待，此单元通过权值Wffij=-10和一个大的抑制连接接收第F层

f的输出。此单元同时也分别通过权值Wifjj=8，Wtpjj=1和Wdpkj=1接收第I层

i单元，第TR层

T单元和○Dk单元的输出。更进一步它通过继承连接关系接收○单元的输出。当它的输出等于10时此单元会被激活，并且输出10到M层的

M单元。

M单元有两个来自于○F单元和○P单元的输入。因此，如果它的输入等于10，则

M单元代表的是中点。另一方面，如输入等于或者大于11，

M单元则代表了特征点，此输入减10是跟踪点的个数，并且决定的些特征。3.5孤立圆的提取孤立的圆，在前面的过程中没有到它的特征，因此也不能在F层中提取出来。在TR层的跟踪过程之后，一个圆单位会被随机的提取出来。在此单元中圆开始被跟踪提取，并且中点也将会被确定。4特征点的分布式映射4.1标准模式的选择使用P(m)和Q分别代表标准样本和输入样本。它们的特征点分别用(α,β,...)和(a,b,...)代表。α和a代表行的终点，依此类推。标准样本能过下面的公式近似选取：N（α）和N（a）代表分别α和a的特征点的个数。它们都是P和Q向量的一个元素。分子中的||表示向量的规一值。4.2改进型SOM网络P(m)和Q的特征点都被分布到同一个平面上。为了简化，将会使用一个N*N的矩阵来表示平面。每个特征点都分配在此矩阵之中，它们的坐标用（i，j）表示。映身到P(m)上的特征点都被映射到时相应的Q上。因为标准的模式保存了合适的拓扑结构，这些约束用于映射。第1步：从一个区域选出坐标为（1，j）（N，j）（i，1）（1，N）的特征点（1<=I,j<=N），这些区域叫做第1区域（1st-regin）。下图是一个例子：为了避免在映射过程中的振动，特征点会同时从两个模式中提取。第2步：当α中的一个元素αm被选择，相就的a中的特征am也会被选取。此点以αn表示，它可以在第1区域中找到。另一方面，如果αn是第一个从第1区域选取的，那么相应的am也会从a中选取。以下的过程与此类似。第3步：选择那些通过标准模式连接到αm的特征点作为αm的邻接点。我们把它们称为第一阶邻接点。下一个特征点叫做第二阶邻接点。第r阶邻接点为αmrk。第4步：把αm向an移动d(αm)个距离。同样的，把第r阶αr向ar移动d(αmrk)个距离。移动的距离按如下规律减小：通过使用第2步中邻接点和权值的距离移动，P(m)中相似的拓扑网络结构能够保存在网络映射中。第5步：在相同的区域中选择另外一个特征点，重复第2到第4步之间的过程。如果第一个区域中的特征点被选择完，则从下一个区域中选择特征点，也就是第二个区域：(2，j)，(N-1，j)，(i，2)，(i，N-1)，2<=I,j<=N-1。同样的在此区域中重复第2到第4步的过程。因此映射的区逐步向内部中心变小，如上图，向中心移动的区域。可以通过设置一个变量可以方便人选择出合适的特征点坐标对。当到达区域的中心，映射处理过程返回到第1步，不断的重复上述过程，直到网络达到时一个合适的收敛值。4.3模式识别在特征点映射之后，通过以下式的近似计算来从向量P(m)和Q中分辨出样本所对应的正确的字符。在上式中，每一个变量的值按如果方式取值：如果αm是精确的映射到an上，则(αm,an)=1,αm=0,an=0并且rmn=1。如果αm与an只是相近，则(αm,an)=1,αm=0,an=0并且rmn>1。rmn是αm与an之间距离的比例系数。如果没有合适的特征与和αm与an相近则(αm,an)=0,αm=1,an=1，[β]N,D和[γ]N,D与前面的[]N，D与α和a的操作一样。如果P(m)的特征分布完全映射到Q上，则C的近似值为1，否则小于1。5访真5.1特征提取本例中使用打印表上16*16点阵字母和数字作为标准模板。下图显示了标准样本特征提取的结果：●：行终点，◆：角，T：连接点，十：十字交叉点，▼：第1中点，▲：第2中点。本例中太短的线并没有检测中点，这个可以通过增加点阵来改进。尽管有些特征点会偏向左边，但是可通过SOM网络进行补偿。5.2特征点映射下图是一个样本的特征点实例：此样本的特征点通过式9提取，包含模式4，5，N，Z和z。为了能连续的移动特征点，在处理过程中使用了一个32*32的矩阵。下图是一个特征点映射的网络的实例（使用N，Z，5作为标准模式）：分别使用虚线和实线来分别表示样本和映射的网络。这些线并不是精确的和样本模式一样。模