自组织神经网络模型.ppt

1、第四章,自组织神经网络模型,内容提要,自适应谐振理论（ART） 自组织映射神经网络模型（SOM） 模拟退火算法 应用实例分析,第一节,自适应谐振理论,概述,自适应谐振理论（简称ART）的目的是为人类的心理和认知活动建立统一的数学理论。 自适应谐振理论神经网络模型就是这一理论的核心经过发展而得到的一种对随机输入模式进行自稳定识别编码的模型结构。 它主要包含ART1、ART2和ART3几种模型。ART1主要用于二值输入模式，ART2和ART3主要用于连续信号输入模式。,ART神经网络结构,ART神经网络模型是一个两层神经网络网络，下层为输入神经元，上层为输出神经元，记从上到下神经元间连接权值为bi

2、j，从下到上神经元间连接权值为fij。其中i=1,，n；j=1,，m。,ART神经网络模型的学习,初始化阶段 匹配阶段 比较和搜索阶段 权值调整阶段,ART神经网络模型的学习过程,初始化阶段 对所有的i，j(i=1,，n；j=1,，m)，设置： 置 为(0,1)区间内的一个值。其中：n为输入神经元个数；m为输出神经元个数； 为警戒线值。,ART神经网络模型的学习过程,匹配阶段 将一新的样本向量X送入输入神经元。 计算匹配度，也即计算输出神经元的输出值： 其中：oj是输出神经元j的输出；xi是输入神经元i的输入，取值为0或者1。,ART神经网络模型的学习过程,比较搜索阶段 选择一最佳匹配： 警戒

3、线检查：,ART神经网络模型的学习过程,比较搜索阶段 若 ，则转向权值调整阶段； 若 ，则重新寻求最佳匹配。把刚找到的最佳匹配处理单元置上标志，下次选择较优匹配时不予参加，选择下一较优匹配，重复上述过程。,ART神经网络模型的学习过程,比较搜索阶段 如果在上述比较搜索过程中没有找到一个满足警戒线检测条件的神经元。则生成一个新的输出神经元，并将其从上至下的连接权值设置为输入向量的各个分量值，输入神经元到它的连接权值按初始化阶段设置权值的方法进行设置。并结束对该样本的学习。否则转入权值调整阶段。,ART神经网络模型的学习过程,权值调整阶段 网络自上而下权值 和网络自下而上权值 按如下两式进行调整：

4、,ART神经网络模型的学习过程,输入模式向量，可以根据网络自兴奋侧抑制竞争机制判决输入模式的类别。 根据需要，也可按照上述过程动态加入新的模式类别。从而该神经网络具有自适应聚类和识别的能力。,ART神经网络模型的一些说明,权值初始化是十分必要的 设置从上至下的神经网络权值是为了对模式进行相似性测量时能够正确地计算其相似性；设置从下至上的神经网络权值是为了保证输入向量能够收敛到其所属类别，而不会轻易增加新的输出神经元。 对警戒线取值的认识 警戒线是人为的取值方式，其值的大小直接影响着模式聚类的类别数和分类精度。如果警戒线值越大，表示分类越精细，模式聚类的类别数越多；如果警戒线值越小，表示对分类要

5、求的精度不高，模式聚类的类别数较少。,ART神经网络模型的能力,ART神经网络模型可以完成对随机输入模式的实时响应识别编码，且可适应非平稳的环境，对已学过的模式它具有稳定的快速识别能力，同时也能对未学过的模式进行稳定编码，不需要知道模式的标准输出结果，所以它的学习是一种非监督学习方式。 它的容量也不受输入通道的限制，而且存储的模式不要求是正交的。自适应谐振理论神经网络模型广泛应用于对任意多和任意复杂的二维模式进行自组织、自稳定和大规模并行处理。,ART神经网络应用实例分析,对多个样本进行模式聚类分析和识别 35个输入神经元； 26个输出神经元； 观测不同的警戒线取值对分类的影响。,第二节,自组

6、织映射 神经网络模型SOM,SOM模型提出的生物背景,在人的感觉通道上一个很重要的组织原理是神经元有序地排列着，并且往往可以反映出所感觉到外界刺激的某些物理特性。如在听觉通道的每一个层次上，其神经元与神经纤维在结构上的排列与外界刺激的频率关系十分密切，对于某个频率，相应的神经元具有最大的响应，这种听觉通道上的有序排列一直延续到听觉皮层，尽管许多低层次上的组织是预先排好的，但高层次上的神经组织则是通过学习自组织而形成的。,二维SOM模型的结构,SOM模型结构描述,二维自组织映射神经网络模型中。所有的输入信号xi 与一相应的输入神经元相联系，每一输入单元与二维阵列每一个神经元均互连，二维阵列上的神

7、经元也称为输出单元，每个输出单元与其相邻的神经元相连。,SOM模型计算的基本原理,当某类模式输入时，其输出层某一神经元得到最大刺激而竞争获胜，同时该获胜神经元周围的一些神经元也因侧向相互作用而受到较大刺激。这时，修改这些神经元和输入神经元之间的连接权值。,SOM模型计算的基本原理,当输入模式发生变化时，二维平面上获胜的输出神经元也发生改变，通过神经网络权值的调整，使得输出层特征图能够反映输入样本的分布情况。,SOM模型计算的基本原理,因此，根据SOM模型的输出状态，不但能够判断输入模式所属的类别，并使得输出神经元代表某一模式类别，还能够得到整个数据区域的大体分布情况，即从样本数据中获得数据分布

8、的大体本质特征。,SOM模型的输入、输出,输入信号 x1,x2,xn连接到所有的输入神经元，可以用向量表示为：X=(x1，x2，xn)T。输出神经元i与所有输入神经元之间连接的权向量为：Wi=(wi1，wi2，win)T，相应地，输出神经元i的输出值oi为：,SOM模型学习算法描述,初始化 输入神经元与输出神经元连接的所有权值可以随机地选取某一个较小的值。各个输出神经元j的邻接输出神经元集合NEj的选取如图。NEj(t)表示在时刻t时输出单元j的邻接单元的集合,它是随时间的增长而不断缩小的。,SOM模型学习算法描述,输入 输入单元接受一组新的输入： X=(x1，x2，x3，.，xn) 计算输入

9、X和每个输出神经元连接权向量Wj之间的距离dj,SOM模型学习算法描述,选择具有最小距离的输出神经元j*作为获胜结点。 调整输出神经元j*及其邻域Nej*(t)内的神经元所连接的权值向量。 为学习常数，随时间单调下降。,SOM模型的说明,假设样本输入和连接权值都是归一化的，则选择最小距离的神经元就是选择具有最大输出的神经元。 上面的二维SOM模型可以推广到更高维映射的情况。 SOM模型的特征映射是一种有序的映射，因此它更加适合于进行特征提取和特征变换。,归一化问题,归一化方法一,归一化问题,归一化方法二 向量的拉伸和压缩。,SOM模型应用实例1,一维拓扑排序问题 1个输入神经元；8个输出神经元

10、； 对输入信号值的大小进行排序。 观测有序拓扑的形成。,SOM模型应用实例2,二维拓扑排序问题 2个输入神经元；55个输出神经元； 将输入颜色的排序。 观测有序拓扑的形成。,SOM模型应用实例3,图形可视化 观测颜色的有序排列。,SOM模型的技术要点,神经元阵列 阵列中每个神经元从事件空间中接收相干的输入，并形成这些输入信号的简单辨识函数。 一种比较辨识函数 并选择一个具有最大函数输出值的神经元的机制。 局部互连作用 这种局部互连作用同时刺激被选择的神经元及其最相邻的邻接神经元。 一个自适应过程 这个自适应过程修正被激励的神经元的参数，以增加其相应于特定输入的辨识函数输出值。,第三节,模拟退火

11、算法,神经计算中面临的问题,利用神经网络进行计算时，我们总是期望能通过系统状态的改变，使系统的能量函数E朝其减小的方向递减，然而这个递减过程最终所达到的一个稳定状态，往往是能量函数E的一个局部极小点，而达不到全局最优。如果利用神经网络计算求解具有多个限制条件的组合优化问题时，这个局部极小点所能满足的只是其中一些限制条件，只是达到了局部最优而不是全局最优，这当然不是我们所期望的结果，但是我们又怎样才能寻求到满足多数限制条件的全局最优点（或次优点）呢？,物理中的退火过程,在物理学中，对固体物质进行退火处理时，通常先将它加温溶化，使其中的粒子可自由地运动，然后随着物质温度的下降，粒子也形成了低能态的

12、晶格。若在凝结点附近的温度下降速度足够慢，则固体物质一定会形成最低能量的基态。对于组合优化问题来说，它也有类似的过程，也就是说物理中固体物质的退火过程与组合优化问题具有相似性。组合优化问题也是在解空间寻求花费函数最小（或最大）的解。,模拟退火算法的直观解释,能量曲线,A,B,全局极小,局部极小,模拟退火算法基本思想,在神经网络系统中，设系统所有可能状态为V=v1，v2，vn，与系统相对应有一能量E，它是系统状态的函数，即E(V)。设控制参数为温度T，我们的目的便是找到某一系统状态V*，使：,模拟退火算法的基本思想,模拟退火思想是： 让T从一个足够高的值慢慢下降，对每个T，用Metropolis

13、抽样法在计算机上模拟该系统在此T下的热平衡状态，即对当前状态Vi经过随机扰动产生一个新状态Vj，计算系统的能量增量:E=E（Vj）-E（Vi），并以概率接受Vj作为新的当前状态。当重复地如此随机扰动数次后，状态Vi又重新作为当前状态的概率将服从Boltzmann分布。,模拟退火算法的基本思想,其中： k为Boltzmann常数。 若T下降足够慢，且T0,从上式可知，系统所处的当前状态Vi将具有最小的能量值E(Vi) 。,模拟退火算法描述,初始化。任给一初始状态V0，Vi=V0，计算E(V0)，将参数T置一初始温度值。 产生一随机扰动V，按下式计算E： 若E ,则转5,否则在(0,1)区间上产生一个均匀分布的随机数。,模拟退火算法描述,若 , 则转2。 用Vi+V来取代原来的Vi，并令E=E+E。 在该T下,检验系统是否稳定，若不稳定则转2。 以某一方式取T*T，令T=T*。 退火过程是否基本结束,是就停止,不是则转2。,对模拟退火算法的一些说明,在上述过程中，模拟退火是否能达到能量E的最小值，取决于T0是否足够高和T下降得是否充分慢，以及对每个T时系统是否稳定。,对模拟退火算法的一些说明,T0初始选取 均匀地随机抽样V，取E(V)的方差为T0。 在所有可能状态下，选取两个状态Vi和Vj