6-自组织神经网络(SOM)ppt课件

1、竞争学习神经网络自组织神经网络的典型构造*1自组织神经网络*2自组织学习(self-organized learning) ： 经过自动寻觅样本中的内在规律和本质属性，自组织、自顺应地改动网络参数与构造。 自组织网络的自组织功能是经过竞争学习competitive learning实现的。 1 竞争学习的概念与原理1.1 根本概念分类分类是在类别知识等导师信号的指点下，将待识别的输入方式分配到各自的方式类中去。聚类无导师指点的分类称为聚类，聚类的目的是将类似的方式样本划归一类，而将不类似的别分开。*3 类似性丈量欧式间隔法*41.1 根本概念同一类内各个方式向量间的欧式间隔不允许超越某一最大值

2、*5 类似性丈量余弦法1.1 根本概念余弦法适宜方式向量一样或方式特征只与向量方向相关的类似性丈量同一类内各个方式向量间的夹角不允许超越某一最大夹角T*61.2 竞争学习原理竞争学习规那么Winner-Take-All 网络的输出神经元之间相互竞争以求被激活或点火，结果在每一时辰只需一个输出神经元被激活或点火。这个被激活的神经元称为竞争获胜神经元，而其它神经元的形状被抑制，故称为Winner Take All。胜者为王*7竞争学习规那么Winner-Take-All1.向量归一化 首先将当前输入方式向量X和竞争层中各神经元对应的内星向量Wj 全部进展归一化处置； (j=1,2,m)*8原始向量

3、*9归一化后的向量*10竞争学习原理竞争学习规那么Winner-Take-All2.寻觅获胜神经元 当网络得到一个输入方式向量时，竞争层的一切神经元对应的内星权向量均与其进展类似性比较，并将最类似的内星权向量判为竞争获胜神经元。*11 从上式可以看出，欲使两单位向量的欧式间隔最小，须使两向量的点积最大。即：竞争学习规那么Winner-Take-All*12竞争学习规那么胜者为王(Winner-Take-All)3.网络输出与权值调整 jj* 步骤3完成后回到步骤1继续训练，直到学习率衰减到0。获胜神经元输出为1，其他为0j=j*之外的j*13竞争学习的几何意义*14竞争学习的几何意义*15例4

4、.1 用竞争学习算法将以下各方式分为2类：解：为作图方便，将上述方式转换成极坐标方式 ：竞争层设两个权向量，随机初始化为单位向量：上式中，X1=x,yT*16*17*18*19*20*21*22*23*24*25*262 自组织特征映射网 Self-Organizing feature Map 1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。 Kohonen以为：一个神经网络接受外界输入方式时，将会分为不同的对应区域，各区域对输入方式具有不同的呼应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点

5、与人脑的自组织特性相类似。SOM网的生物学根底 生物学研讨的现实阐明，在人脑的觉得通道上，神经元的组织原理是有序陈列。因此当人脑经过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是延续映象的。 对于某一图形或某一频率的特定兴奋过程，神经元的有序陈列以及对外界信息的延续映象是自组织特征映射网中竞争机制的生物学根底。*27SOM网的拓扑构造 SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出呼应的大脑皮层。 *28SOM网的权值调整域 SOM网的获胜神经元对其临近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要

6、调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：*29*30SOM网的权值调整域 以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的一切神经元均按其分开获胜神经元的间隔远近不同程度地调整权值。 优胜邻域开场定得很大，但其大小随着训练次数的添加不断收缩，最终收缩到半径为零。*31SOM网的运转原理训练阶段*32 w1 w2 w3 w4 w5SOM网的运转原理任务阶段*33SOM网的学习算法Kohonen 学习算法(1)初始化 对输出层各权向量赋小随机数并进展归一化处置，得到 ，j=1,2,m；建立初始优胜邻

7、域Nj*(0)；学习率 赋初始值。(2)接受输入 从训练集中随机选取一个输入方式并进展归一化处置，得到 ，p1,2,P。(3)寻觅获胜节点 计算 与 的点积，j=1,2,m，从中选出点积最大的获胜节点j*。(4)定义优胜邻域Nj*(t) 以j*为中心确定t 时辰的权值调整域，普通初始邻域Nj*(0)较大，训练过程中Nj*(t)随训练时间逐渐收缩。*34SOM网的学习算法Kohonen学习算法*35SOM网的学习算法(5)调整权值 对优胜邻域Nj*(t)内的一切节点调整权值： i=1,2,n jNj*(t) 式中， 是训练时间t 和邻域内第j 个神经元与获胜神经元 j* 之间的拓扑间隔N 的函数

8、，该函数普通有以下规律：*36Kohonen学习算法SOM网的学习算法(5)调整权值*37(6)终了检查 学习率能否衰减到零或某个预定的正小数？Kohonen学习算法*38Kohonen学习算法程序流程 SOM网络的功能SOM网络的功能特点之一是：保序映射，即能将输入空间的样本方式类有序地映射在输出层上。例 动物属性特征映射1989年Kohonen给出一个SOM网的著名运用实例，即把不同的动物按其属性映射到二维输出平面上，使属性类似的动物在SOM网输出平面上的位置也相近。训练集选了16种动物，每种动物用一个29维向量来表示。前16个分量构成符号向量不同的动物进展16取1编码，后13个分量构成属

9、性向量，描画动物的13种属性的有或无用1或0表示。16种动物的属性向量29维向量的后13个分量 动物属性鸽子母鸡鸭鹅猫头鹰隼鹰狐狸狗狼猫虎狮马斑马牛小1111110000100000中0000001111000000大00000000000111112只腿11111110000000004只腿0000000111111111毛0000000111111111蹄0000000000000111 动物属性鸽子母鸡鸭鹅猫头鹰隼鹰狐狸狗狼猫虎狮马斑马牛鬃毛0000000000000110羽毛1111111000000000猎0000111101111000跑0000000011011110飞10011

10、11000000000泳0011000000000000 SOM网输出平面上有1010个神经元，16个动物方式轮番输入训练，最后输出平面呈现16种动物属性特征映射，属性类似的挨在一同，实现了特征的有序分布。1010神经元X向量29维前16个分量16取1，表达动物种类。后13个分量表达动物属性鸭鹅鸽母鸡马斑马牛隼狼虎狮猫狗狐猫头鹰鹰动物属性特征映射 SOM网的功能特点之二是数据紧缩。 将高维空间的样本在坚持拓扑构造不变的条件下投影到低维空间。如上例中输入样本空间为29维，经过SOM网后紧缩为二维平面的数据。 SOM网的功能特点之三是特征抽取。规律的发现 在高维方式空间，很多方式的分布具有复杂的构

11、造，从数据察看很难发现其内在规律。当经过SOM网映射到低维输出空间后，其规律往往一目了然，实现某种特征抽取的映射。即高维空间的向量经过特征抽取后可以在低维特征空间更加明晰地表达，因此映射的意义不仅仅是单纯的数据紧缩，更是一种规律发现。如上例29维映射到二维后，相近属性的动物实现了聚类分布的特点。 SOM网有许多运用实例：如的听写打字机声音识别，处理游览商最优路经问题，皮革外观效果分类等。运用实例无线车辆自组网中用SOM自动组网*44吴怡;杨琼;吴庆祥;沈连丰;林潇; 基于自组织映射神经网络的VANET组网算法，：2021年第12期，第-145页 No.1 sg1 Group 6 26.0763

12、 119.311 26.0708 119.353 348.75 90 No.2 sg2 Group 2 26.0762 119.311 26.0943 119.313 348.75 348.75 No.3 sg3 Group 6 26.0761 119.311 26.0693 119.359 348.75 90 No.4 sg4 Group 2 26.076 119.311 26.106 119.292 348.75 348.75 No.5 sg5 Group 2 26.0763 119.311 26.1103 119.32 348.75 348.75 No.6 sg6 Group 6 26.0762 119.311 26.063 119.367 348.75 90 No.7 sg7 Group 2 26.0761 119.311 26.0975 119.283 348.75 348.75 No.8 sg8 Group 2 26.076 119.311 26.0855 119.245 348.75 348.75 N