SOFM算法.docx

SOFM网络的工作原理是:当网络接受外界输入模式时,将会分为不同的区域,各区域对输入模式具有不同的响应特征。也就是说,特征相近的输入模式靠得比较近,差异大的分得比较远。在各神经元联接权值的调整过程中,最邻近的神经元相互刺激,而较远的神经元则相互抑制,更远一些的则具有较弱的刺激作用。输入层所有神经元通过相互竞争和自适应学习,形成空间上的有序结构,从而实现输入矢量到输出矢量空间的特征映射。SOFM的学习则使网络节点有选择地接受外界刺激模式的不同特性,从而提供了基于检测特性空间活动规律的性能描述。其实,SOFM的学习过程就是在某个学习准则的指导下,逐步优化网络参数的过程。该网络分为输入层和竞争层两层。两层之间实行全互连。它将任意维输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。在竞争层中，让竞争获胜的那个神经元c的兴奋程度最高，并使其周围VBc的区域内的神经元在不同程度上都得到兴奋，VBc是时间的函数，随着时间的增加,NBc的范围不断的减小，通过图可以直观的看出来。SOFM的算法流程见图从上述算法可以看出,网络训练完毕后,各输出单元对应一个权值。在分类过程中,每个分类对象必与其中一个权值的距离最近,把与同一输出单元的权值最近的点作为同一类,并由该输出单元输出,即达到了分类的目的。SOFM分类算法:步骤1：对图像数据作归一化处理，将各点象素值归一化到区间0,1内，由此得到图像X=（x1，x2，xn），其中xi为图像一点的归一化后的模式.步骤2：初始化网络连接权值Wj，其中1=j=M，M对应竞争层神经元向量元素的个数。步骤3：选择获胜单元c,dc=jmin|xi-wj|.步骤4：进行连接权调整邻域函数一般选用Gaussian函数:NB(t)=exp-dj,i(x)2)22其中dj,i(x)表示邻域中神经元与获胜神经元间的距离,采用Euclid距离计算;为邻域的有效半径,随离散时间指数衰减(t)=(0).exp(-t/1),t=0,1,2,j=1,2,m的初始值,1为时间常数,(0)是(t)的初始值.步骤5：按照以上步骤，反复训练每一个输入的模式值xi,直至完成规定的训练次数.经过学习后，再次将xi输入网络，其输出结果即为分类结果。SOFM网络是一种基于Hebb学习规则进行网络训练,具有自组织功能的神经网络。它可把任意维的输入信号变换到一维或二维的离散网格上,并保持一定的拓扑有序性。SOFM网络具有特征抽取作用,通过自身训练可以自动对输入模式进行聚类,用聚类中心(各输出节点的权向量)代表原输入。SOFM的基本思想是网络输出层各神经元竞争对输入模式的响应机会,最后仅一个神经元成为竞争的胜者,并对那些与获胜神经元相邻的指定邻域内的各神经元的所有连接权朝着更有利于它们竞争获胜的方向调整。假设输入为M个节点,输出为N个节点,则输入层到输出层之间的权值为一MN的矩阵W,其中wij为输入层的第i个节点到输出层第j个节点的权值.经过竞争,输出层的获胜节点被分离出系统。网络学习及工作规则如下:1)初始化.将网络的连接权wij赋予0,1区间的随机值,i=1,2,M;j=1,2,N.确定学习率(t)的初始值(0)(0(0)1);确定邻域Ng(t)的初始值Ng(0).邻域Ng(t)是指以骤4)确定的获胜神经元g为中心,且包含若干神经元的区域范围.这个区域一般是均匀对称的,Ng(t)的值表示在第t次学习工程中邻域所包含的神经元的个数;总的学习次数为一确定值T.2)选q个学习模式中的一个模式Pk提供给网络的输入层,并进行归一化处理.3)连接权Wj=(w1j,w2j,wMj)进行归一化处理,计算Wj与Pk之间的欧式距离4)找出最小距离dg,确定获胜神经元g.dg=mindj,j=1,2,N5)进行连接权的调整.对竞争层邻域Ng(t)内所有神经元与输入层神经元之间的连接权进修正.wijt+1=wijt,j不属于Ng(t)6)选取另一个学习模式提供给网络的输入层,返回步骤2),直至q个学习模式全部提供给网络7)更新学习率(t)及邻域Ng(t).其中(0)为初始学习率,Ng(0)为Ng(t)的初始值,INTx为取整符号,t为学习次数,T为总的学习次数.8)令t=t+1,返回步骤2),直至为止t=T.对于连接权初值的确定,学习规则是将网络的连接权wij赋予0,1区间内的随机值,但我们发现,这种方法会出现网络学习时间过长,甚至无法收敛的现象,这在对实时性要求较高的场景中,影响是致命的.本实验将所有连接权矢量赋予相同的初值,这样可以减少输入模式在最初阶段对连接权矢量挑选余地,增加每一个连接权矢量被选中的机会,尽可能快地校正连接权矢量与输入模式之间的方向偏差.对于Ng(t)的初值选择一般为竞争层节点数的1/3,1/2,随着网络学习的不断深入,Ng(t)的范围逐渐缩小,最后达到预定范围.根据SFOM网络的模糊聚类原理，学习样本由N个分类指标的P个实测样本组成假设这P个学习样本是N维空间的点，显然类别相同或某些特征相似的样本在N维空间就比较接近，这些比较接近的样本就在N维空间形成一个集群。当输入样本分别属于多个类型时N维空间就会呈现出多个集群状分布的特点，每个集群代表一个类型集群的中心就是聚类中心，同属一类的样本与该类的聚类中心的欧氏距离最短.所谓邻域NEj(t)是指以选择具有最小距离的输出节点j*作为获胜节点,即,所确定的获胜神经元节点j*为中心,包含若干神经元的区域范围.这个区域可以是任何形状,但一般来说是均匀对称的.NEj(t)的值表示在第t次学习过程中邻域中所包含的神经元个数.对于SOFM网络的输出层,其每一个输出神经元节点都代表着一个不同的分类,对某一特定的输出节点而言,按照式,输入样本同输入样本与该节点权向量完全相同时,其欧氏距离d=0,即最小距离.故每一输出节点的权向量可以看成是该类输出样本中的最佳样本.因此,在网络初始化时,可采用典型样本矢量作为初始权向量,即预先在待学习样本中,按照欧氏距离准则,挑选出样本特征相差最大的N个样本作为权向量的初始值,N为输出节点的个数.这样,在学习过程中网络可以迅速地捕捉到输入向量的大致概率结构,从而明显地加快了网络的收敛速度.SOFM网络分为上下两层,网络上层为输出节点,按某种形式排成一个邻域结构。对输出层中的每个神经元,规定它的邻域结构,即哪些结点在它的邻域内和它在哪些结点的邻域内。输入节点处于下方,若输入向量有n个元素,则输入端有n个节点,所有输入节点到所有输出节点都有权值连接,而输出节点相互之间也有可能是局部连接的.SOFM网络训练算法:(1)初始化,对输出层各权向量赋一小随机数并进行归一化处理,得到Wj,j=1,2,m;建立初始优胜邻域Nj*(0);学习率赋初始值。(2)接收输入,从训练集中随机选取一个输入模式并进行归一化处理,得到Xp,p1,2,P。(3)寻找获胜节点,计算Xp、Wj的点积,j=1,2,m,从中选出点积最大的获胜结点j*;如果输入模式未经归一化,应按式|X-Wj*|=min|X-Wj|,j=1,2,3m,计算欧式距离,从中找出距离最小的获胜节点。(4)定义优胜邻域Nj*(t),以j*为中心确定时刻的权值调整域,一般初始邻域Nj*(0)较大,训练过程中Nj*(t)随训练时间逐渐收缩,如图所示(5)调整权值,对获胜邻域Nj*(t)内的所有节点调整权值.式中:(t,N)为训练时间t和邻域内第j个神经元与获胜神经元j*之间的拓扑距离的函数。该函数一般有以下规律:t,N。在初始阶段,权值会形成某种排序,称为排序阶段,此后的阶段是收敛阶段,一般比较长,在此阶段(t,N)应较小。一般情况下,在开始约1000次迭代中的学习率(t,N)可取为接近于1,然后逐步减少.(6)结束检查,SOFM网络的训练不存在类似BP网中的输出误差概念,训练何时结束是以学习率(t)是否衰减到零或某个预定的正的较小数为条件,不满足结束条件则回到步骤(2)。高斯函数作为邻域函数，形式如下：.网络的竞争层神经元的个数根据Melssens1994年建议的2MnMeP确定（Mn为竞争层神经元数目；Me为期望的隐含于输入数据中的分类数；P为样本的个数）。在输入新样本对其判别时，网络通过“回想”确定输出层的获胜单元，该单元的状态即为待判别样本的稳定等级.自组织特征映射神经网络的特性SFOM神经网络由输入层和输出层两层神经元组成,网络的工作原理可归纳为对于某一外界输入矢量，输出层的所有神经元通过某种原则进行竟争选出得胜神经元与之对应，各输出层神经元间采用侧反馈连接方式，由此使得在竞争得胜的神经元周围形成一个聚类区，聚类区内的神经元采用自适应的学习方式，聚类区外的神经元不作学习，通过以上的自组织过程，网络输出层的神经元在结构上将趋于有序化，这种有序结构能反映出输入矢量集合在其空间的拓扑结构和概率分布情况，这一特性可以成功地应用于解决组合优化问题.网络的回想将需要分类的输入模式提供给网络的输入层，按上式寻找出竞争层中连接权向量与输入模式最接近的神经元g，此时神经元g有最大的激活值1，而其他神经元被抑