自组织竞争型神经网络概述

1、第四章第四章 自组织竞争型神经网络自组织竞争型神经网络本章主要介绍自组织竞争型神经网络的结构、本章主要介绍自组织竞争型神经网络的结构、学习算法，及相关理论。学习算法，及相关理论。1第四章自组织竞争型神经网络第四章自组织竞争型神经网络4.1 前言前言4.2 竞争学习的概念和原理竞争学习的概念和原理4.3自组织特征映射神经网络自组织特征映射神经网络4.4自组织特征映射神经网络自组织特征映射神经网络的设计的设计4.5 对偶传播神经网络对偶传播神经网络4.6小结小结24.1 前言前言n在生物神经系统中，存在着一种侧抑制现象，即在生物神经系统中，存在着一种侧抑制现象，即一个神经细胞兴奋以后，会对周围其他

2、神经细胞一个神经细胞兴奋以后，会对周围其他神经细胞产生抑制作用。这种抑制作用会使神经细胞之间产生抑制作用。这种抑制作用会使神经细胞之间出现竞争，其结果是某些获胜，而另一些则失败。出现竞争，其结果是某些获胜，而另一些则失败。表现形式是获胜神经细胞兴奋，失败神经细胞抑表现形式是获胜神经细胞兴奋，失败神经细胞抑制。制。n自组织竞争型神经网络就是模拟上述生物神经系自组织竞争型神经网络就是模拟上述生物神经系统功能的人工神经网络。统功能的人工神经网络。3n自组织竞争型神经网络是一种无教师监督学习，自组织竞争型神经网络是一种无教师监督学习，具有自组织功能的神经网络。网络通过自身的训具有自组织功能的神经网络。

3、网络通过自身的训练，能自动对输入模式进行分类。这一点与练，能自动对输入模式进行分类。这一点与Hopfield网络的模拟人类功能十分相似，自组织网络的模拟人类功能十分相似，自组织竞争型神经网络的结构及其学习规则与其他神经竞争型神经网络的结构及其学习规则与其他神经网络相比有自己的特点。网络相比有自己的特点。n在网络结构上，它一般是由输入层和竞争层构成在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。还存在横向连接。4n在学习

4、算法上，它模拟生物神经元之间的兴奋、在学习算法上，它模拟生物神经元之间的兴奋、协调与抑制、竞争作用的信息处理的动力学原理协调与抑制、竞争作用的信息处理的动力学原理来指导网络的学习与工作，而不像大多数神经网来指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准络那样是以网络的误差或能量函数作为算法的准则。则。n竞争型神经网络构成的基本思想是网络的竞争层竞争型神经网络构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会，最后仅有各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的胜者。这一获胜神经元则一个神经元成为竞争的胜者。这一获胜神经元则表示对输

5、入模式的分类。表示对输入模式的分类。5n自组织竞争人工神经网络是基于上述生物结构自组织竞争人工神经网络是基于上述生物结构和现象形成的。它能够对输入模式进行自组织和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。训练和判断，并将其最终分为不同的类型。 n与与BP网络相比，这种自组织自适应的学习能网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核类方面的应用，另一方面，竞争学习网络的核心心竞争层，又是许多种其他神经网络模型竞争层，又是许多种其他神经网络模型的重要组成部

6、分。的重要组成部分。6常用的自组织网络常用的自组织网络n自组织特征映射自组织特征映射(Self-Organizing Feature Map)网络网络n对偶传播对偶传播(Counter propagation)网络网络 返回返回 7自组织神经网络的典型结构自组织神经网络的典型结构 竞争层竞争层输入层输入层4.2 竞争学习的概念与原理竞争学习的概念与原理8分类分类分类是在类别知识等导师信号的指分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模导下，将待识别的输入模式分配到各自的模式类中去。式类中去。聚类聚类无导师指导的分类称为聚类，聚类无导师指导的分类称为聚类，聚类的目的是将相

7、似的模式样本划归一类，而将的目的是将相似的模式样本划归一类，而将不相似的分离开不相似的分离开。4.2 竞争学习的概念与原理竞争学习的概念与原理竞争学习的概念竞争学习的概念9 相似性测量相似性测量欧式距离法欧式距离法)()(iTiiXXXXXX 类 1 类 2 类 1 类 2 T T (a)基于欧式距离的相似性测量 (b)基于余弦法的相似性测量 两个模式向量的欧式距离越小，两个模式向量的欧式距离越小，两个向量越接近，因此认为这两两个向量越接近，因此认为这两个模式越相似，当两个模式完全个模式越相似，当两个模式完全相同时其欧式距离为零。如果对相同时其欧式距离为零。如果对同一类内各个模式向量间的欧式同

8、一类内各个模式向量间的欧式距离作出规定，不允许超过某一距离作出规定，不允许超过某一最大值最大值T T，则最大欧式距离，则最大欧式距离T T就成就成为一种聚类判据，同类模式向量为一种聚类判据，同类模式向量的距离小于的距离小于T T，两类模式向量的，两类模式向量的距离大于距离大于T T。10 相似性测量相似性测量余弦法余弦法iiTXXXXcos类 1 类 2 类 1 类 2 T T (a)基于 欧式 距离 的相 似性 测量 (b)基于余弦 法的 相似 性测 量两个模式向量越接近，其夹角两个模式向量越接近，其夹角越小，余弦越大。当两个模式越小，余弦越大。当两个模式向量完全相同时，其余弦夹角向量完全相

9、同时，其余弦夹角为为1 1。如果对同一类内各个模式。如果对同一类内各个模式向量间的夹角作出规定，不允向量间的夹角作出规定，不允许超过某一最大夹角许超过某一最大夹角a a，则最大，则最大夹角就成为一种聚类判据。同夹角就成为一种聚类判据。同类模式向量的夹角小于类模式向量的夹角小于a a，两类，两类模式向量的夹角大于模式向量的夹角大于a a。余弦法。余弦法适合模式向量长度相同和模式适合模式向量长度相同和模式特征只与向量方向相关的相似特征只与向量方向相关的相似性测量。性测量。11竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-AllWinner-Take-All网络的输出神经元

10、之间相互竞争以求被激活，网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为其它神经元的状态被抑制，故称为Winner Winner Take AllTake All。4.2 竞争学习的概念与原理竞争学习的概念与原理121.1.向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量X X和竞争层中各神经元对应的内星向量和竞争层中各神经元对应的内星向量W Wj j 全部进行归一化处理；全部进行归一化处理； (

11、j=1,2,m)(j=1,2,m)Tnjjnnjjxxxx12121.XXX13向量归一化之向量归一化之 * * * * * * * * 14向量归一化之向量归一化之 * * * * * * * * * * 15竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All2.2.寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。判为竞争获胜神经元。欲使两单位向量最

12、相似，须使其点积最大。即：欲使两单位向量最相似，须使其点积最大。即：)(max,.,2, 1*XWXWTjmjTj16从上式可以看出，欲使两单位向量的欧式距离最小，须使两向从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：量的点积最大。即：)(max,.,2, 1*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj竞争学习规则竞争学习规则Winner-Take-All173.3.网络输出与权值调整网络输出与权值调整*01) 1(jjjjtoj*(1)( )( )( )()jjjjjtttt

13、WWWWX W)()1(ttjjWW j j j j* *步骤步骤3 3完成后回到步骤完成后回到步骤1 1继续训练，直到学习率衰减到继续训练，直到学习率衰减到0 0。竞争学习规则竞争学习规则Winner-Take-All18 * * * * * * * * 竞争学习的几何意义竞争学习的几何意义19 * 1W *jW * )()()()(*ttttjpWXW * )(*1tjW )(tpX jW mW * *竞争学习的几何意义竞争学习的几何意义20例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类类：6 . 08 . 01X9848. 01736. 02X7

14、07. 0707. 03X9397. 0342. 04X8 . 06 . 05X解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：89.3611X8012X5 .4413X7014X13.5315X竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：0101)0(1W180101)0(2W21 x5 x3 x1 w2 w1 x2 x4 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1

15、1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0

16、0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 22 x5 x3 x1 w2

17、 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4

18、3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8

19、1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 23 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 .

20、. 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1

21、1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 24 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1

22、1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . .

23、5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7

24、5 5 25 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4

25、4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 -

26、- 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 26 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4

27、3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - -

28、1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 27 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9

29、9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 .

30、. 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 -

31、- 7 7 5 5 - - 7 7 5 5 28 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4

32、4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0

33、0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 29 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0

34、0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 -

35、- 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 30 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4

36、5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3

37、. . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - -

38、8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 31 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4

39、4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0

40、0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 32n1981年芬兰年芬兰Helsink大学的大学的T.Kohonen教授提出教授提出一种自组织特征映射网，简称一种自组织特征映射网，简称SOM网，又称网，又称Kohonen网。网。nKohonen认为：一个神经网络接受外界输入模认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输式时，

41、将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类法提出来的，其特点与人脑的自组织特性相类似。似。4.3自组织特征映射神经网络自组织特征映射神经网络33SOMSOM网的生物学基础网的生物学基础生物学研究的事实表明，在人脑的感觉通道上，神经元生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定

42、区域兴奋，而且类的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。似的外界信息在对应区域是连续映象的。对于某一图形或某一频率的特定兴奋过程，神经元的有对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。中竞争机制的生物学基础。34SOMSOM网的拓扑结构网的拓扑结构SOMSOM网共有两层，输入层模拟感知外界输入信息的视网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。网膜，输出层模拟做出响应的大脑皮层。 (a)一维线阵

43、 (b)二维平面线阵 35SOMSOM网的权值调整域网的权值调整域 SOM网的获胜神经元对其邻近神经元的影响是由网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：这种调整可用三种函数表示：3637SOMSOM网的权值调整域网的权值调整域以获胜神经元为中心设定一个邻域半径，该半径圈以获胜神经元为中心设定一个邻域半径，该半径圈定的范

44、围称为优胜邻域。在定的范围称为优胜邻域。在SOM网学习算法中，优网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。增加不断收缩，最终收缩到半径为零。38SOMSOM网的运行原理网的运行原理n训练阶段训练阶段 * W4 W1* W2 * W3* *W5 * * W1 W2 * W3*W5 * W4 w1 w2 w3 w4 w539 * * W1 W2 * W3*W5 *

45、 W4 * * W1 W2 * W3*W5 * W4SOM网的运行原理网的运行原理n工作阶段工作阶段40SOM网的学习算法网的学习算法( (1)初始化初始化 对输出层各权向量赋小随机数并进行归一化处对输出层各权向量赋小随机数并进行归一化处理，得到理，得到 ，j=1,2,m；建立初始优胜邻域；建立初始优胜邻域Nj*(0)；学习；学习率率 赋初始值。赋初始值。jW(2)接受输入接受输入 从训练集中随机选取一个输入模式并进行从训练集中随机选取一个输入模式并进行归一化处理，得到归一化处理，得到 ，p 1,2,P。pX(3)寻找获胜节点寻找获胜节点 计算计算 与与 的点积，的点积，j=1,2,m，从，从

46、中选出点积最大的获胜节点中选出点积最大的获胜节点j*。pXjW(4)定义优胜邻域定义优胜邻域Nj*(t) 以以j*为中心确定为中心确定t 时刻的权值调整域，时刻的权值调整域，一般初始邻域一般初始邻域Nj*(0)较大，训练过程中较大，训练过程中Nj*(t)随训练时间逐随训练时间逐渐收缩。渐收缩。Kohonen 学习算法学习算法41 Nj*(0) Nj*(0) Nj*(1) Nj*(1) Nj*(2) Nj*(2)42(5)调整权值调整权值 对优胜邻域对优胜邻域Nj*(t)内的所有节点调整权值：内的所有节点调整权值： i=1,2,n j Nj*(t) 式中，式中， 是训练时间是训练时间t 和邻域内

47、第和邻域内第j 个神经元与获胜经个神经元与获胜经元元 j* 之间的拓扑距离之间的拓扑距离N 的函数，该函数一般有以下规律：的函数，该函数一般有以下规律：)(),()()1(twxNttwtwijpiijij),( NtNt,43NetNt)(),(t) (t) (t)(0) (0) (0) 0 t 0 t 0 t(6)结束检查结束检查 学习率是否衰减到零或某个预定的正小数？学习率是否衰减到零或某个预定的正小数？44初始化、归一化权向量 W：jW，j=1,2,m；建立初始优胜邻域 Nj*(0)学习率(t)赋初始值输入归一化样本pX，p1,2,P计算点积pTjXW，j=1,2,m选出点积最大的获胜

48、节点 j*定义优胜邻域 Nj*(t)对优胜邻域 Nj*(t)内节点调整权值：)()()()(twxN, ttw1twijpiijiji=1,2,n jNj*(t) N )(tmin Y结束K o h o n e n 学 习 算 法 程 序 流 程学 习 算 法 程 序 流 程45功 能 分 析(1)保序映射保序映射将输入空间的样本模式类有序地映射在输出层上。将输入空间的样本模式类有序地映射在输出层上。例例1：动物属性特征映射。：动物属性特征映射。 动 物 属 性 鸽 子 母 鸡 鸭 鹅 猫 头鹰 隼 鹰 狐 狸 狗 狼 猫 虎 狮 马 斑 马 牛 小 中 大 2只 腿 4只 腿 毛 蹄 鬃 毛

49、 羽 毛 猎 跑 飞 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0

50、 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 46功能分析功能分析 鸭 马 牛 斑马 虎 鹅 狼 猫 隼 头 狮 鸽 鹰 狗 鹰 母鸡 狐 猫47功功 能能 分分 析析(2) 数据压缩数据压缩-将高维空间的样本在保持拓扑将高维空间的样本在保持拓扑结构不变的条件下投影到低维的空间，在这结构不变的条件下投影到低维的空间，在这方面方面SOM网具有明显的优势。无论输入样本网具有明显的优势。无论

51、输入样本空间是多少维，其模式都可以在空间是多少维，其模式都可以在SOM网输出网输出层的某个区域得到相应。层的某个区域得到相应。SOM网经过训练以网经过训练以后，在高维空间输入相近的样本，其输出相后，在高维空间输入相近的样本，其输出相应的位置也相近。应的位置也相近。(3) 特征提取特征提取-从高维空间样本向低维空间的从高维空间样本向低维空间的映射，映射，SOM网的输出层相当于低维特征空间。网的输出层相当于低维特征空间。484.4 自组织特征映射网络的设计自组织特征映射网络的设计1. 输出层设计输出层设计a.节点数设计节点数设计节点数与训练集样本有多少模式类有关。如果节点数少于模节点数与训练集样本

52、有多少模式类有关。如果节点数少于模式类数，则不足以区分全部模式类，训练的结果势必将相近式类数，则不足以区分全部模式类，训练的结果势必将相近的模式类合并为一类。这种情况相当于对输入样本进行的模式类合并为一类。这种情况相当于对输入样本进行“粗粗分分”。如果节点数多于模式类数，一种可能是将类别分得过。如果节点数多于模式类数，一种可能是将类别分得过细，而另一种可能是出现细，而另一种可能是出现“死节点死节点”，即在训练过程中，某，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过调整。在解决分类问题时，如果对类别数没有确切未

53、得到过调整。在解决分类问题时，如果对类别数没有确切的信息，宁可先设定较多的节点数，以便较好的映射样本的的信息，宁可先设定较多的节点数，以便较好的映射样本的拓扑结构，如果分类过细再酌情减少输出节点。拓扑结构，如果分类过细再酌情减少输出节点。“死节点死节点”问题一般可通过重新初始化权值得到解决。问题一般可通过重新初始化权值得到解决。491. 输出层设计输出层设计b.节点排列的设计节点排列的设计输出层的节点排列成哪种形式取决于实际应用的需要，排输出层的节点排列成哪种形式取决于实际应用的需要，排列形式应尽量直观反映出实际问题的物理意义。例如，对列形式应尽量直观反映出实际问题的物理意义。例如，对于旅行路

54、径类的问题，二维平面比较直观；对于一般的分于旅行路径类的问题，二维平面比较直观；对于一般的分类问题，一个输出节点节能代表一个模式类，用一维线阵类问题，一个输出节点节能代表一个模式类，用一维线阵意义明确结构简单。意义明确结构简单。502. 权值初始化问题权值初始化问题SOM网的权值一般初始化为较小的随机数，这样做的目的网的权值一般初始化为较小的随机数，这样做的目的是使权向量充分分散在样本空间。但在某些应用中，样本整是使权向量充分分散在样本空间。但在某些应用中，样本整体上相对集中于高维空间的某个局部区域，全向量的初始位体上相对集中于高维空间的某个局部区域，全向量的初始位置却随机地分散于样本空间的广

55、阔区域，训练时必然是离整置却随机地分散于样本空间的广阔区域，训练时必然是离整个样本群最近的全向量被不断调整，并逐渐进入全体样本的个样本群最近的全向量被不断调整，并逐渐进入全体样本的中心位置，而其他权向量因初始位置远离样本群而永远得不中心位置，而其他权向量因初始位置远离样本群而永远得不到调整。如此训练的结果可能使全部样本聚为一类。解决这到调整。如此训练的结果可能使全部样本聚为一类。解决这类问题的思路是尽量使权值的初始位置与输入样本的大概分类问题的思路是尽量使权值的初始位置与输入样本的大概分布区域充分重合。布区域充分重合。512. 权值初始化问题权值初始化问题一种简单易行的方法是从训练集中随机抽取

56、一种简单易行的方法是从训练集中随机抽取m m个输入样本作个输入样本作为初始权值，即为初始权值，即 (0),1,2,ramkjWXjm=K其中其中 是输入样本的顺序随机数，是输入样本的顺序随机数， 。因为。因为任何一定是输入空间某个模式类的成员，各个权向量按上式任何一定是输入空间某个模式类的成员，各个权向量按上式初始化后从训练一开始就分别接近了输入空间的各模式类，初始化后从训练一开始就分别接近了输入空间的各模式类，占据了十分有利的占据了十分有利的“地形地形”。另一种可行的办法是先计算出。另一种可行的办法是先计算出全体样本的中心向量全体样本的中心向量ramk1,2, ramkPK11PppXXP=

57、在该中心向量基础上迭加小随机数作为权向量初始值，也在该中心向量基础上迭加小随机数作为权向量初始值，也可将权向量的初始位置确定在样本群中。可将权向量的初始位置确定在样本群中。523. 优胜邻域的设计优胜邻域的设计优胜领域设计原则是使领域不断缩小，这样输出平面上相邻优胜领域设计原则是使领域不断缩小，这样输出平面上相邻神经元对应的权向量之间既有区别又有相当的相似性，从而神经元对应的权向量之间既有区别又有相当的相似性，从而保证当获胜节点对某一类模式产生最大响应时，其领域节点保证当获胜节点对某一类模式产生最大响应时，其领域节点也能产生较大响应。领域的形状可以是正方形、六边形或者也能产生较大响应。领域的形

58、状可以是正方形、六边形或者菱形。优势领域的大小用领域的半径表示，菱形。优势领域的大小用领域的半径表示，r r( (t t) )的设计目前的设计目前没有一般化的数学方法，通常凭借经验来选择没有一般化的数学方法，通常凭借经验来选择11/1( )(1)( )mmB tttr tCtr tCe-=-= 为于输出层节点数为于输出层节点数m m有关的正常数，有关的正常数， 为大于为大于1 1的常数，的常数，为预先选定的最大训练次数。为预先选定的最大训练次数。1C1Bmt534. 学习率的设计学习率的设计在训练开始时，学习率可以选取较大的值，之后以较快在训练开始时，学习率可以选取较大的值，之后以较快的速度下

59、降，这样有利于很快捕捉到输入向量的大致结的速度下降，这样有利于很快捕捉到输入向量的大致结构，然后学习率在较小的值上缓降至构，然后学习率在较小的值上缓降至0 0值，这样可以精值，这样可以精细地调整权值使之符合输入空间的样本分布结构。细地调整权值使之符合输入空间的样本分布结构。22/2( )(1)( )mmB t tttCttC ehh=-=54 d1 dk dl o1 ok ol W1 Wk Wl 输输 出出层层 y1 y2 yj ym 竞竞争争层层 V1 Vm 输输入入 层层 x1 x2 xi xn-1 xn 4.5 对偶传播神经网络对偶传播神经网络对偶传播网络对偶传播网络55 X X( (x x1 1, ,x x2 2 ,x xn n) )T T Y Y( (y y1 1, ,y y2 2 ,y ym m) )T T，y yi i 0 0, ,1 1 ，i i=1,2,=