自组织神经网络基本概念

1、基本概念自组织神经网络模型自组织神经网络模型CONTENTS目录123在人类的认识过程中，除了从教师那里得到知识外，还有一种不需要通过教师，自动向环境学习的能力。自组织神经网络的无导师学习方式类似于人类大脑中生物神经的学习，其最重要的特点是通过通过自动搜寻样本的内在规律和本质属性，自组织自适自动搜寻样本的内在规律和本质属性，自组织自适应地改变网络参数与结构。应地改变网络参数与结构。实际神经网络中存在“侧抑制”现象，致使各细胞之间相互竞争，其最终结果是：兴奋作用最强的神经细胞所产生的抑制作用战胜了它周围所有其他细胞而“赢”了，其周围的其他神经细胞则全输了。自组织网络的自组织功能是通过竞争学习竞争

2、学习实现的。二01内星学习规则 02外星学习规则 03科荷伦学习规则 三种联想学习规则两类神经元模型内星：可以被用来识别一个矢量特点：信号流向星的内部内星：可以被训练来产生矢量特点：信号流向星的外部0*W, 00*W, 1)*(bPbPbPWfA内星学习规则激活函数(硬限制函数)学习规则(单内星)rjawplrwjjj, 2 , 1,)(, 1, 1rjawplrwjjj, 2 , 1,)(, 1, 1 如果内星输出 被某一外部方式维持高值时，那么通过反复学习，权值将能够逐渐趋于矢量 的值，从而达到利用内星来识别矢量的目的。但是当内星输出值保持为低值时，网络学习的可能性较小，甚至不能被学习。a

3、jpbPWbPWfA*)*(外星学习规则激活函数学习规则(单外星)sipwalrwiii, 2 , 1,)(1 ,1 ,sipwalrwiii, 2 , 1,)(1 ,1 , 与内星不同，外星连接强度的变化 是与输入矢量 成正比。即当输入矢量被保持高值，比如接近1时，每个权值将趋于输出 ，则外星权值产生输出矢量。若输入矢量维持低值，网络权值将得不到任何学习与修正。 WP1 , iwiaia科荷伦学习规则 科荷伦学习规则是由内星发展而来的。对于0或1的内星输出，当只对输出为1的内星权值矩阵进行修正，即学习规则只应用于输出为1的内星上，将内星学习规则中 取值为1，则可导出科荷伦学习规则)(, 1,

4、jjjiwplrw 科荷伦学习则实际上是内星学习规则的一个特例，单它比采用内星规则进行网络设计要节省更多地学习，因而常用来代替内星学习规则三01竞争网络结构 02竞争学习规则 03竞争网络的训练规则 自组织竞争网络竞争网络结构输入层：输入与其相连的权值竞争层(输出层) 竞争网络由单层神经网络组成，其输入节点与输出节点为全互联。实际中，在竞争网络中，输入层和竞争层共用同一个激活函数。竞争网络的激活函数为二值型0,1函数), 2 , 1;, 2 , 1(,rjsiwji),2,1(,skwkiikkiww,从网络结构图中可以看出，自组织竞争网络的权值有两类。一类是输入节点j到i的权值 ，这些权值通

5、过训练是可以被调整的。另一类是竞争层中互相抑制的权值 ，这类权值是固定不变的，且满足一定的分布关系，如距离近的抑制强，距离远的抑制弱。另外它们是一种对称权值；同时相同神经元之间起加强作用，即 ，而不同神经元之间的权值相互抑制， 且有 。jiw,kiw,0,2, 21 , 1kkwww)( , 0,ikwki竞争网络的输出设网络的输入矢量 (要求为单位归一化向量)则对应的网络输出矢量为21rpppP21saaaA由于竞争网络中含有两种权值，所以其激活函数加权输入也分为两部分：来自输入节点的加权输入和N，来自竞争层互相抑制的加权输入和G。具体对于第i个神经元有：rjjjipw1,inDkkkiaw

6、,ig这里D表示竞争层中含有神经元节点的某个区域。如果D表示整个竞争层，竞争后就只能有一个神经元兴奋获胜；如果竞争层被划为若干区域，则竞争后每个区域可产生一个获胜者则对第i个神经元的加权输入总和竞争网络的输出为iiign S其它, 0), 2 , 1,max(, 1iksiSSak为了便于理解我们假定D为整个竞争网络的输出节点竞争学习规则竞争网络在经过竞争而求得获胜节点后，则对与获胜节点相连的权值进行调整，调整权值的目的是为了使权值与输入矢量之间的差别越来越小，从而使训练后的竞争网络的权值能够代表对应输入矢量的特征，把相似的输入矢量分成同一类，并由输出指示所代表的类别。其中相似性测量常用到以下两种方法：(1) 欧式距离法：(2)余弦法：)()(iiiPPPPPPiiPPPPcos竞争网络的训练过程因为只有与获胜节点相连的权值才能得到修正，通过其学习法则使修正后的权值更加接近获胜输入矢量。结果是，获胜的节点对将来再次出现的相似矢量更加容易赢得该节点的胜利；而对于一个