自组织竞争神经网络

1、1 4.1 前言前言 n在生物神经系统中，存在着一种侧抑制现象，即在生物神经系统中，存在着一种侧抑制现象，即 一个神经细胞兴奋以后，会对周围其他神经细胞一个神经细胞兴奋以后，会对周围其他神经细胞 产生抑制作用。这种抑制作用会使神经细胞之间产生抑制作用。这种抑制作用会使神经细胞之间 出现竞争，其结果是某些获胜，而另一些则失败。出现竞争，其结果是某些获胜，而另一些则失败。 表现形式是获胜神经细胞兴奋，失败神经细胞抑表现形式是获胜神经细胞兴奋，失败神经细胞抑 制。制。 n自组织竞争型神经网络就是模拟上述生物神经系自组织竞争型神经网络就是模拟上述生物神经系 统功能的人工神经网络。统功能的人工神经网络。

2、 2 n自组织竞争型神经网络是一种无教师监督学习，自组织竞争型神经网络是一种无教师监督学习， 具有自组织功能的神经网络。网络通过自身的训具有自组织功能的神经网络。网络通过自身的训 练，能自动对输入模式进行分类。这一点与练，能自动对输入模式进行分类。这一点与 Hopfield网络的模拟人类功能十分相似，自组织网络的模拟人类功能十分相似，自组织 竞争型神经网络的结构及其学习规则与其他神经竞争型神经网络的结构及其学习规则与其他神经 网络相比有自己的特点。网络相比有自己的特点。 n在网络结构上，它一般是由输入层和竞争层构成在网络结构上，它一般是由输入层和竞争层构成 的两层网络。两层之间各神经元实现双向

3、连接，的两层网络。两层之间各神经元实现双向连接， 而且网络没有隐含层。有时竞争层各神经元之间而且网络没有隐含层。有时竞争层各神经元之间 还存在横向连接。还存在横向连接。 3 n在学习算法上，它模拟生物神经元之间的兴奋、在学习算法上，它模拟生物神经元之间的兴奋、 协调与抑制、竞争作用的信息处理的动力学原理协调与抑制、竞争作用的信息处理的动力学原理 来指导网络的学习与工作，而不像大多数神经网来指导网络的学习与工作，而不像大多数神经网 络那样是以网络的误差或能量函数作为算法的准络那样是以网络的误差或能量函数作为算法的准 则。则。 n竞争型神经网络构成的基本思想是网络的竞争层竞争型神经网络构成的基本思

4、想是网络的竞争层 各神经元竞争对输入模式响应的机会，最后仅有各神经元竞争对输入模式响应的机会，最后仅有 一个神经元成为竞争的胜者。这一获胜神经元则一个神经元成为竞争的胜者。这一获胜神经元则 表示对输入模式的分类。表示对输入模式的分类。 4 n自组织竞争人工神经网络是基于上述生物结构自组织竞争人工神经网络是基于上述生物结构 和现象形成的。它能够对输入模式进行自组织和现象形成的。它能够对输入模式进行自组织 训练和判断，并将其最终分为不同的类型。训练和判断，并将其最终分为不同的类型。 n与与BP网络相比，这种自组织自适应的学习能网络相比，这种自组织自适应的学习能 力进一步拓宽了人工神经网络在模式识别

5、、分力进一步拓宽了人工神经网络在模式识别、分 类方面的应用，另一方面，竞争学习网络的核类方面的应用，另一方面，竞争学习网络的核 心心竞争层，又是许多种其他神经网络模型竞争层，又是许多种其他神经网络模型 的重要组成部分。的重要组成部分。 5 常用的自组织网络常用的自组织网络 n自组织特征映射自组织特征映射(Self-Organizing Feature Map)网络网络 n对偶传播对偶传播(Counter propagation)网络网络 返回返回 6 自组织神经网络的典型结构自组织神经网络的典型结构 竞争层竞争层 输入层输入层 4.2 竞争学习的概念与原理竞争学习的概念与原理 7 分类分类分类

6、是在类别知识等导师信号的指分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的模导下，将待识别的输入模式分配到各自的模 式类中去。式类中去。 聚类聚类无导师指导的分类称为聚类，聚类无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而将的目的是将相似的模式样本划归一类，而将 不相似的分离开不相似的分离开。 4.2 竞争学习的概念与原理竞争学习的概念与原理 竞争学习的概念竞争学习的概念 8 相似性测量相似性测量欧式距离法欧式距离法 )()( i T ii XXXXXX 类 1 类 2 类 1 类 2 T T (a)基于欧式距离的相似性测量 (b)基于余弦法的相似性测

7、量 两个模式向量的欧式距离越小，两个模式向量的欧式距离越小， 两个向量越接近，因此认为这两两个向量越接近，因此认为这两 个模式越相似，当两个模式完全个模式越相似，当两个模式完全 相同时其欧式距离为零。如果对相同时其欧式距离为零。如果对 同一类内各个模式向量间的欧式同一类内各个模式向量间的欧式 距离作出规定，不允许超过某一距离作出规定，不允许超过某一 最大值最大值T T，则最大欧式距离，则最大欧式距离T T就成就成 为一种聚类判据，同类模式向量为一种聚类判据，同类模式向量 的距离小于的距离小于T T，两类模式向量的，两类模式向量的 距离大于距离大于T T。 9 相似性测量相似性测量余弦法余弦法

8、i i T XX XX cos 类 1 类 2 类 1 类 2 T T (a)基于 欧式 距离 的相 似性 测量 (b)基于余弦 法的 相似 性测 量 两个模式向量越接近，其夹角两个模式向量越接近，其夹角 越小，余弦越大。当两个模式越小，余弦越大。当两个模式 向量完全相同时，其余弦夹角向量完全相同时，其余弦夹角 为为1 1。如果对同一类内各个模式。如果对同一类内各个模式 向量间的夹角作出规定，不允向量间的夹角作出规定，不允 许超过某一最大夹角许超过某一最大夹角a a，则最大，则最大 夹角就成为一种聚类判据。同夹角就成为一种聚类判据。同 类模式向量的夹角小于类模式向量的夹角小于a a，两类，两类

9、 模式向量的夹角大于模式向量的夹角大于a a。余弦法。余弦法 适合模式向量长度相同和模式适合模式向量长度相同和模式 特征只与向量方向相关的相似特征只与向量方向相关的相似 性测量。性测量。 10 竞争学习原理竞争学习原理 竞争学习规则竞争学习规则Winner-Take-AllWinner-Take-All 网络的输出神经元之间相互竞争以求被激活，网络的输出神经元之间相互竞争以求被激活， 结果在每一时刻只有一个输出神经元被激活。结果在每一时刻只有一个输出神经元被激活。 这个被激活的神经元称为竞争获胜神经元，而这个被激活的神经元称为竞争获胜神经元，而 其它神经元的状态被抑制，故称为其它神经元的状态被

10、抑制，故称为Winner Winner Take AllTake All。 4.2 竞争学习的概念与原理竞争学习的概念与原理 11 1.1.向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量 X X和竞争层中各神经元对应的内星向量和竞争层中各神经元对应的内星向量W Wj j 全部进行归一化处理；全部进行归一化处理； (j=1,2,(j=1,2,m),m) T n j j n n j j x x x x 1 2 1 2 1 . X X X 12 向量归一化之向量归一化之 * * * * * * * * 13 向量归一化之向量归一化之 * * * * * * * * * * 14

11、竞争学习原理竞争学习原理 竞争学习规则竞争学习规则Winner-Take-All 2.2.寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向当网络得到一个输入模式向 量时，竞争层的所有神经元对应的内星权向量均量时，竞争层的所有神经元对应的内星权向量均 与其进行相似性比较，并将最相似的内星权向量与其进行相似性比较，并将最相似的内星权向量 判为竞争获胜神经元。判为竞争获胜神经元。 欲使两单位向量最相似，须使其点积最大。即：欲使两单位向量最相似，须使其点积最大。即： ) (max ,.,2, 1 * XWXW T j mj T j 15 从上式可以看出，欲使两单位向量的欧式距离最小，须使两向从上

12、式可以看出，欲使两单位向量的欧式距离最小，须使两向 量的点积最大。即：量的点积最大。即： ) (max ,.,2, 1 * XWXW T j mj T j j mj j WXWX min ,.,2,1 * ) () ( * j T j j WXWXWX T j T j T j T * 2 WWXWXX) 1(2 *X W T j 竞争学习规则竞争学习规则Winner-Take-All 16 3.3.网络输出与权值调整网络输出与权值调整 * * 0 1 ) 1( jj jj to j * (1)( )( )( )() jjjjj ttttWWWWX W )( )1(tt jj WW j j j

13、j* * 步骤步骤3 3完成后回到步骤完成后回到步骤1 1继续训练，直到学习率衰减到继续训练，直到学习率衰减到0 0。 竞争学习规则竞争学习规则Winner-Take-All 17 * * * * * * * * 竞争学习的几何意义竞争学习的几何意义 18 * 1W * j W * )( )( )()(*tttt j p WXW * )( *1t j W )( t p X jW mW * * 竞争学习的几何意义竞争学习的几何意义 19 例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类类： 6 . 0 8 . 0 1 X 9848. 0 1736. 0 2

14、 X 707. 0 707. 0 3 X 9397. 0 342. 0 4 X 8 . 0 6 . 0 5 X 解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ： 89.361 1 X801 2 X 5 .441 3 X701 4 X13.531 5 X 竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量： 01 0 1 )0( 1 W1801 0 1 )0( 2 W 20 x5 x3 x1 w2 w1 x2 x4 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8

15、 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3

16、 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5

17、 5 - - 7 7 5 5 - - 7 7 5 5 21 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4

18、 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1

19、 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 22 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2

20、 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0

21、 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 23 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3

22、 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4

23、 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5

24、 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 24 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3

25、 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1

26、 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 25 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7

27、 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8

28、 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 26 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1

29、W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4

30、 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 -

31、 - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 27 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1

32、 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - -

33、 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 28 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5

34、 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8

35、 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 29 x5 x3 x1 x2 x4 w1 w2 训

36、训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3

37、 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8

38、 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 30 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 -

39、 - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 -

40、 - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 31 n1981年芬兰年芬兰Helsink大学的大学的T.Kohonen教授提出教授提出 一种自组织特征映射网，简称一种自组织特征映射网，简称SOM网，又称网，又称 Kohonen网。网。 nKohonen认为：一个神经网络接

41、受外界输入模认为：一个神经网络接受外界输入模 式时，将会分为不同的对应区域，各区域对输式时，将会分为不同的对应区域，各区域对输 入模式具有不同的响应特征，而且这个过程是入模式具有不同的响应特征，而且这个过程是 自动完成的。自组织特征映射正是根据这一看自动完成的。自组织特征映射正是根据这一看 法提出来的，其特点与人脑的自组织特性相类法提出来的，其特点与人脑的自组织特性相类 似。似。 4.3自组织特征映射神经网络自组织特征映射神经网络 32 SOMSOM网的生物学基础网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，神经元生物学研究的事实表明，在人脑的感觉通道上，神经元 的组织原理是有序排

42、列。因此当人脑通过感官接受外界的组织原理是有序排列。因此当人脑通过感官接受外界 的特定时空信息时，大脑皮层的特定区域兴奋，而且类的特定时空信息时，大脑皮层的特定区域兴奋，而且类 似的外界信息在对应区域是连续映象的。似的外界信息在对应区域是连续映象的。 对于某一图形或某一频率的特定兴奋过程，神经元的有对于某一图形或某一频率的特定兴奋过程，神经元的有 序排列以及对外界信息的连续映象是自组织特征映射网序排列以及对外界信息的连续映象是自组织特征映射网 中竞争机制的生物学基础。中竞争机制的生物学基础。 33 SOMSOM网的拓扑结构网的拓扑结构 SOMSOM网共有两层，输入层模拟感知外界输入信息的视网共

43、有两层，输入层模拟感知外界输入信息的视 网膜，输出层模拟做出响应的大脑皮层。网膜，输出层模拟做出响应的大脑皮层。 (a)一维线阵 (b)二维平面线阵 34 SOMSOM网的权值调整域网的权值调整域 SOM网的获胜神经元对其邻近神经元的影响是由网的获胜神经元对其邻近神经元的影响是由 近及远，由兴奋逐渐转变为抑制，因此其学习算近及远，由兴奋逐渐转变为抑制，因此其学习算 法中不仅获胜神经元本身要调整权向量，它周围法中不仅获胜神经元本身要调整权向量，它周围 的神经元在其影响下也要程度不同地调整权向量。的神经元在其影响下也要程度不同地调整权向量。 这种调整可用三种函数表示：这种调整可用三种函数表示： 3

44、5 36 SOMSOM网的权值调整域网的权值调整域 以获胜神经元为中心设定一个邻域半径，该半径圈以获胜神经元为中心设定一个邻域半径，该半径圈 定的范围称为优胜邻域。在定的范围称为优胜邻域。在SOM网学习算法中，优网学习算法中，优 胜邻域内的所有神经元均按其离开获胜神经元的距胜邻域内的所有神经元均按其离开获胜神经元的距 离远近不同程度地调整权值。离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的优胜邻域开始定得很大，但其大小随着训练次数的 增加不断收缩，最终收缩到半径为零。增加不断收缩，最终收缩到半径为零。 37 SOMSOM网的运行原理网的运行原理 n训练阶段训练阶段 *

45、 W4 W1* W2 * W3* *W5 * * W1 W2 * W3 *W5 * W4 w1 w2 w3 w4 w5 38 * * W1 W2 * W3 *W5 * W4 * * W1 W2 * W3 *W5 * W4 SOM网的运行原理网的运行原理 n工作阶段工作阶段 39 SOM网的学习算法网的学习算法 ( (1)初始化初始化 对输出层各权向量赋小随机数并进行归一化处对输出层各权向量赋小随机数并进行归一化处 理，得到理，得到 ，j=1,2,m；建立初始优胜邻域；建立初始优胜邻域Nj*(0)；学习；学习 率率 赋初始值。赋初始值。 j W (2)接受输入接受输入 从训练集中随机选取一个输入

46、模式并进行从训练集中随机选取一个输入模式并进行 归一化处理，得到归一化处理，得到 ，p 1,2,P。 p X (3)寻找获胜节点寻找获胜节点 计算计算 与与 的点积，的点积，j=1,2,m，从，从 中选出点积最大的获胜节点中选出点积最大的获胜节点j*。 p X j W (4)定义优胜邻域定义优胜邻域Nj*(t) 以以j*为中心确定为中心确定t 时刻的权值调整域，时刻的权值调整域， 一般初始邻域一般初始邻域Nj*(0)较大，训练过程中较大，训练过程中Nj*(t)随训练时间逐随训练时间逐 渐收缩。渐收缩。 Kohonen 学习算法学习算法 40 Nj*(0) Nj*(0) Nj*(1) Nj*(1

47、) Nj*(2) Nj*(2) 41 (5)调整权值调整权值 对优胜邻域对优胜邻域Nj*(t)内的所有节点调整权值：内的所有节点调整权值： i=1,2,n j Nj*(t) 式中，式中， 是训练时间是训练时间t 和邻域内第和邻域内第j 个神经元与获胜经个神经元与获胜经 元元 j* 之间的拓扑距离之间的拓扑距离N 的函数，该函数一般有以下规律：的函数，该函数一般有以下规律： )(),()()1(twxNttwtw ij p iijij ),( Nt Nt, 42 N etNt )(),( (t) (t) (t) (0) (0) (0) 0 t 0 t 0 t (6)结束检查结束检查 学习率是否衰

48、减到零或某个预定的正小数？学习率是否衰减到零或某个预定的正小数？ 43 初始化、归一化权向量 W： j W，j=1,2,m； 建立初始优胜邻域 Nj*(0) 学习率(t)赋初始值 输入归一化样本 p X，p1,2,P 计算点积 pT j XW ，j=1,2,m 选出点积最大的获胜节点 j* 定义优胜邻域 Nj*(t) 对优胜邻域 Nj*(t)内节点调整权值： )()()()(twxN, ttw1tw ij p iijij i=1,2,n jNj*(t) N )(t min Y 结束 K o h o n e n学习算法程序流程 学习算法程序流程 44 功 能 分 析 (1)保序映射保序映射将输入

49、空间的样本模式类有序地映射在输出层上。将输入空间的样本模式类有序地映射在输出层上。 例例1：动物属性特征映射。：动物属性特征映射。 动 物 属 性 鸽 子 母 鸡 鸭 鹅 猫 头 鹰 隼 鹰 狐 狸 狗 狼 猫 虎 狮 马 斑 马 牛 小 中 大 2只 腿 4只 腿 毛 蹄 鬃 毛 羽 毛 猎 跑 飞 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0

50、1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 45 功能分析功能分析 鸭 马 牛 斑马 虎 鹅 狼 猫 隼

51、 头 狮 鸽 鹰 狗 鹰 母鸡 狐 猫 46 功功 能能 分分 析析 (2) 数据压缩数据压缩-将高维空间的样本在保持拓扑将高维空间的样本在保持拓扑 结构不变的条件下投影到低维的空间，在这结构不变的条件下投影到低维的空间，在这 方面方面SOM网具有明显的优势。无论输入样本网具有明显的优势。无论输入样本 空间是多少维，其模式都可以在空间是多少维，其模式都可以在SOM网输出网输出 层的某个区域得到相应。层的某个区域得到相应。SOM网经过训练以网经过训练以 后，在高维空间输入相近的样本，其输出相后，在高维空间输入相近的样本，其输出相 应的位置也相近。应的位置也相近。 (3) 特征提取特征提取-从高维

52、空间样本向低维空间的从高维空间样本向低维空间的 映射，映射，SOM网的输出层相当于低维特征空间。网的输出层相当于低维特征空间。 47 4.4 自组织特征映射网络的设计自组织特征映射网络的设计 1. 输出层设计输出层设计 a.节点数设计节点数设计 节点数与训练集样本有多少模式类有关。如果节点数少于模节点数与训练集样本有多少模式类有关。如果节点数少于模 式类数，则不足以区分全部模式类，训练的结果势必将相近式类数，则不足以区分全部模式类，训练的结果势必将相近 的模式类合并为一类。这种情况相当于对输入样本进行的模式类合并为一类。这种情况相当于对输入样本进行“粗粗 分分”。如果节点数多于模式类数，一种可

53、能是将类别分得过。如果节点数多于模式类数，一种可能是将类别分得过 细，而另一种可能是出现细，而另一种可能是出现“死节点死节点”，即在训练过程中，某，即在训练过程中，某 个节点从未获胜过且远离其他获胜节点，因此它们的权值从个节点从未获胜过且远离其他获胜节点，因此它们的权值从 未得到过调整。在解决分类问题时，如果对类别数没有确切未得到过调整。在解决分类问题时，如果对类别数没有确切 的信息，宁可先设定较多的节点数，以便较好的映射样本的的信息，宁可先设定较多的节点数，以便较好的映射样本的 拓扑结构，如果分类过细再酌情减少输出节点。拓扑结构，如果分类过细再酌情减少输出节点。“死节点死节点” 问题一般可通

54、过重新初始化权值得到解决。问题一般可通过重新初始化权值得到解决。 48 1. 输出层设计输出层设计 b.节点排列的设计节点排列的设计 输出层的节点排列成哪种形式取决于实际应用的需要，排输出层的节点排列成哪种形式取决于实际应用的需要，排 列形式应尽量直观反映出实际问题的物理意义。例如，对列形式应尽量直观反映出实际问题的物理意义。例如，对 于旅行路径类的问题，二维平面比较直观；对于一般的分于旅行路径类的问题，二维平面比较直观；对于一般的分 类问题，一个输出节点节能代表一个模式类，用一维线阵类问题，一个输出节点节能代表一个模式类，用一维线阵 意义明确结构简单。意义明确结构简单。 49 2. 权值初始

55、化问题权值初始化问题 SOM网的权值一般初始化为较小的随机数，这样做的目的网的权值一般初始化为较小的随机数，这样做的目的 是使权向量充分分散在样本空间。但在某些应用中，样本整是使权向量充分分散在样本空间。但在某些应用中，样本整 体上相对集中于高维空间的某个局部区域，全向量的初始位体上相对集中于高维空间的某个局部区域，全向量的初始位 置却随机地分散于样本空间的广阔区域，训练时必然是离整置却随机地分散于样本空间的广阔区域，训练时必然是离整 个样本群最近的全向量被不断调整，并逐渐进入全体样本的个样本群最近的全向量被不断调整，并逐渐进入全体样本的 中心位置，而其他权向量因初始位置远离样本群而永远得不中

56、心位置，而其他权向量因初始位置远离样本群而永远得不 到调整。如此训练的结果可能使全部样本聚为一类。解决这到调整。如此训练的结果可能使全部样本聚为一类。解决这 类问题的思路是尽量使权值的初始位置与输入样本的大概分类问题的思路是尽量使权值的初始位置与输入样本的大概分 布区域充分重合。布区域充分重合。 50 2. 权值初始化问题权值初始化问题 一种简单易行的方法是从训练集中随机抽取一种简单易行的方法是从训练集中随机抽取m m个输入样本作个输入样本作 为初始权值，即为初始权值，即 (0),1,2, ram k j WXjm=K 其中其中 是输入样本的顺序随机数，是输入样本的顺序随机数， 。因为。因为

57、任何一定是输入空间某个模式类的成员，各个权向量按上式任何一定是输入空间某个模式类的成员，各个权向量按上式 初始化后从训练一开始就分别接近了输入空间的各模式类，初始化后从训练一开始就分别接近了输入空间的各模式类， 占据了十分有利的占据了十分有利的“地形地形”。另一种可行的办法是先计算出。另一种可行的办法是先计算出 全体样本的中心向量全体样本的中心向量 ram k1,2, ram kPK 1 1 P p p XX P = = 在该中心向量基础上迭加小随机数作为权向量初始值，也在该中心向量基础上迭加小随机数作为权向量初始值，也 可将权向量的初始位置确定在样本群中。可将权向量的初始位置确定在样本群中。

58、 51 3. 优胜邻域的设计优胜邻域的设计 优胜领域设计原则是使领域不断缩小，这样输出平面上相邻优胜领域设计原则是使领域不断缩小，这样输出平面上相邻 神经元对应的权向量之间既有区别又有相当的相似性，从而神经元对应的权向量之间既有区别又有相当的相似性，从而 保证当获胜节点对某一类模式产生最大响应时，其领域节点保证当获胜节点对某一类模式产生最大响应时，其领域节点 也能产生较大响应。领域的形状可以是正方形、六边形或者也能产生较大响应。领域的形状可以是正方形、六边形或者 菱形。优势领域的大小用领域的半径表示，菱形。优势领域的大小用领域的半径表示，r r( (t t) )的设计目前的设计目前 没有一般化

59、的数学方法，通常凭借经验来选择没有一般化的数学方法，通常凭借经验来选择 1 1 / 1 ( )(1) ( ) m m B tt t r tC t r tCe - =- = 为于输出层节点数为于输出层节点数m m有关的正常数，有关的正常数， 为大于为大于1 1的常数，的常数， 为预先选定的最大训练次数。为预先选定的最大训练次数。 1 C 1 B m t 52 4. 学习率的设计学习率的设计 在训练开始时，学习率可以选取较大的值，之后以较快在训练开始时，学习率可以选取较大的值，之后以较快 的速度下降，这样有利于很快捕捉到输入向量的大致结的速度下降，这样有利于很快捕捉到输入向量的大致结 构，然后学习

60、率在较小的值上缓降至构，然后学习率在较小的值上缓降至0 0值，这样可以精值，这样可以精 细地调整权值使之符合输入空间的样本分布结构。细地调整权值使之符合输入空间的样本分布结构。 2 2 / 2 ( )(1) ( ) m m B t t t tC t tC e h h =- = 53 d1 dk dl o1 ok ol W1 Wk Wl 输出层输出层 y1 y2 yj ym 竞争层竞争层 V1 Vm 输入层输入层 x1 x2 xi xn-1 xn 4.5 对偶传播神经网络对偶传播神经网络 对偶传播网络对偶传播网络 54 X X( (x x1 1, ,x x2 2 , , ,x xn n) )T