人工神经网络理论设计及应用教学课件汇总整本书电子教案全套教学教程完整版电子教案(最新)

1、人工神经网络第一章:绪论21 绪 论31.1 概述 人脑的结构、机制和功能中凝聚着无比的奥秘和智慧。地球是宇宙的骄子，人类是地球的宠儿，大脑是人的主宰。 现在是探索脑的奥秘，从中获得智慧，在其启发下构造为人类文明服务的高级智能系统的时候了！4(一)记忆与联想能力(二)学习与认知能力(三)信息加工能力(四)信息综合能力(五)信息处理速度一、人脑与计算机信息处理能力的比较5二、人脑与计算机信息处理机制的比较(一)系统结构(二)信号形式(三)信息存储(四)信息处理机制6三、什么是人工神经网络 生物神经网络 人类的大脑大约有1.41011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元

2、广泛相互连接，形成复杂的生物神经网络。人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。7人工神经网络定义神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。81.2神经网络的基本特征结构特征：并行式处理分布式存储容错性能

3、力特征：自学习自组织自适应性91.3 神经网络的基本功能联想记忆功能101.3 神经网络的基本功能非线性映射功能111.3 神经网络的基本功能分类与识别功能121.3 神经网络的基本功能优化计算功能13知识处理功能1.3 神经网络的基本功能14第一章小结(1)什么是人工神经网络(2)人工神经网络的基本特征(3)人工神经网络的基本功能第二章 神经网络基础知识生物神经元人工神经元模型人工神经网络模型神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。生物神经元生物神经网络2.1人工神经网络的生物学基础2.1.1生物神经元 生物神经元在结构上

4、由: 细胞体(Cell body)、 树突(Dendrite)、轴突(Axon)、突触(Synapse) 四部分组成。用来完成神经元间信息的接收、传递和处理。人工神经网络的生物学基础人工神经网络的生物学基础2.1.2 生物神经元的信息处理机理一、信息的产生 神经元间信息的产生、传递和处理是一种电化学活动。 神经元状态：静息兴奋抑制 膜电位：极 化去极化超极化人工神经网络的生物学基础人工神经网络的生物学基础2.1.2 生物神经元的信息处理机理二信息的传递与接收人工神经网络的生物学基础2.1.2 生物神经元的信息处理机理三、信息的整合空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺

5、激引起的膜电位变化的代数和。时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。人工神经网络的生物学基础2.1.3 生物神经网络 由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。 生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。 神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。人工神经网络的生物学基础2.2神经元的人工模型 神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元(节点)从三个方面进行模拟:节点本身的信息处理能力节点与节点

6、之间连接(拓扑结构)相互连接的强度(通过学习来调整)决定人工神经网络整体性能的三大要素节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)神经元的人工模型2.2.1神经元的建模(1) 每个神经元都是一个多输入单输出的信息处理单元；(2) 神经元输入分兴奋性输入和抑制性输入两种类型；(6) 神经元本身是非时变的，即其突触时延和突触强度 均为常数。(3) 神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞, 主要取决于突触延搁；(5) 忽略时间整合作用和不应期；模型的六点假设：神经元的人工模型假设1：多输入单输出图(a) 表明，正如生

7、物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。神经元的人工模型假设2：输入类型：兴奋性和抑制性生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。神经元的人工模型假设3：空间整合特性和阈值特性作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)

8、表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。神经元的人工模型神经元的输出图(d) 人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。神经元的人工模型神经元模型示意图神经元的人工模型2.2.2神经元的数学模型ij 输入输出间的突触时延； Tj 神经元j的阈值； wij 神经元i到 j 的突触连接系数或称 权重值； f ()神经元转移函数。(2. 1)(2.

9、2)神经元的人工模型(2.3) netj=WjTX Wj=(w1 w2 wn)T X=(x1 x2 xn)T 令 x0=-1，w0=Tj 则有 -Tj=x0w0(2.4)2.2.2神经元的数学模型神经元的人工模型(2.5) oj=f(netj)=f (WjTX)(2.6)2.2.2神经元的数学模型神经元的人工模型2.2.3神经元的转移函数 神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。神经元的人工模型(1)阈值型转移函

10、数 1 x0f(x)= (2.7) 0 x02.2.3神经元的转移函数神经元的人工模型(2)非线性转移函数2.2.3神经元的转移函数神经元的人工模型(3)分段线性转移函数 0 x0f(x)= cx 0 xxc (2.9) 1 xc x 2.2.3神经元的转移函数神经元的人工模型(4)概率型转移函数温度参数2.2.3神经元的转移函数神经元的人工模型节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)人工神经网络模型2.3人工神经网络模型分类：按网络连接的拓扑结构分类层次型结构互连型网络结构按网络内部的信息流向分类前馈型网络反馈型网络人工神经网络模型2.

11、3.1网络拓扑结构类型 ：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。互连型网络结构：网络中任意两个节点之间都可能存在连接路径.人工神经网络模型2.3.1网络拓扑结构类型 层次型结构2.3人工神经网络模型人工神经网络模型输出层到输入层有连接人工神经网络模型2.3.1网络拓扑结构类型 层内有连接层次型结构2.3.1网络拓扑结构类型 人工神经网络模型全互连型结构2.3.1网络拓扑结构类型 人工神经网络模型局部互连型网络结构2.3.1网络拓扑结构类型 人工神经网络模型2.3.2网络信息流向类型前馈型网络前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层

12、进行反馈型网络在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。人工神经网络模型前馈型网络2.3.2网络信息流向类型人工神经网络模型反馈型网络人工神经网络模型2.3.2网络信息流向类型节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)神经网络学习 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。2.4神经网络学习神经网络学习神经网络的学习类型：有导师学习(有监督学习)无导师学习(无监督

13、学习)死记式学习2.4神经网络学习神经网络学习学习的过程（权值调整的一般情况 ）神经网络学习2.4神经网络学习第二章小结 重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中，神经元的数学模型、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。(1)生物神经元的信息处理(2)人工神经元模型(3)人工神经网络模型(4)神经网络学习第三章 前馈人工神经网络误差反传（BP）算法的改进与BP网络设计3.4基于BP算法的多层前馈网络模型三层BP网络输入层隐层输出层模型的数学表达输入向量： X=(x1,x2,xi,xn)T隐层输

14、出向量： Y=(y1,y2,yj,ym)T输出层输出向量： O=(o1,o2,ok,ol)T期望输出向量：d=(d1, d2,dk,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)各个变量之间如何建立联系，来描述整个网络？神经网络的学习学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。学习的本质：对可变权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。BP算法是一种学习规则BP算法的基本思想学习的类型：有

15、导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有单元各层单元的误差信号修正各单元权值BP算法的学习过程正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止建立权值变化量与误差之间的关系输出层与隐层之间的连接权值调整隐层和输入层之间的连接权值调整j=0,1,2,m; k=1,2,l (3.4.9a)i=0,1,2,n; j=1,2,m (3.4.9b)式中

16、负号表示梯度下降，常数(0,1)表示比例系数，反映了训练速率。可以看出BP算法属于学习规则类，这类算法常被称为误差的梯度下降(Gradient Descent)算法。 BP算法的程序实现(1)初始化； (4)计算各层误差信号； (5)调整各层权值； (6)检查是否对所有样本完成一次 轮训； (7)检查网络总误差是否达到精 度要求。 (2)输入训练样本对X Xp、d dp计算各层输出；(3)计算网络输出误差；BP算法的程序实现然后根据总误差计算各层的误差信号并调整权值。 另一种方法是在所有样本输入之后，计算网络的总误差：多层前馈网的主要能力(1)非线性映射能力 多层前馈网能学习和存贮大量输入-输

17、出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。多层前馈网的主要能力(2)泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。(3)容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。误差曲面与BP算法的局限性 误差函数的可调整参数的个数nw等于各层权值数加上阈值数，即： 误差E是nw+1维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对

18、应着nw个权值，因此称这样的空间为误差的权空间。误差曲面的分布BP算法的局限性曲面的分布特点-算法的局限性(1)存在平坦区域-误差下降缓慢，影响收敛速度(2)存在多个极小点-易陷入局部最小点 曲面分布特点1：存在平坦区域平坦误差的梯度变化小 接近于零存在平坦区域的原因分析 接近于零的情况分析造成平坦区的原因： 各节点的净输入过大对应着误差的某个谷点 平坦区 曲面分布特点2：存在多个极小点 误差梯度为零多数极小点都是局部极小，即使是全局极小往往也不是唯一的。单权值双权值曲面分布特点2：存在多个极小点BP算法以误差梯度下降为权值调整原则误差曲面的这一特点使之无法辨别极小点的性质导致的结果：因而训练

19、经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。标准BP算法的改进引言误差曲面的形状固有的算法的作用是什么？调整权值，找到最优点那么如何更好地调整权值？利用算法使得权值在更新的过程中，走合适的路径，比如跳出平坦区来提高收敛速度，跳出局部最小点等等如何操作？需要在进入平坦区或局部最小点时进行一些判断，通过改变某些参数来使得权值的调整更为合理。标准的BP算法内在的缺陷： 易形成局部极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法

20、。3.5标准BP算法的改进改进1 ：增加动量项改进2：自适应调节学习率改进3： 引入陡度因子改进1 ：增加动量项提出的原因：标准BP算法只按t时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向从而常使训练过程发生振荡，收敛缓慢。方法：为动量系数，一般有(0，1)改进1 ：增加动量项实质：从前一次权值调整量中取出一部分迭加到本次权值调整量中作用：动量项反映了以前积累的调整经验，对于t时刻的调整起阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。改进2：自适应调节学习率提出的原因：标准BP算法中，学习率也称为步长，确定一个从始至终都合适的最佳学习率很难。平坦区域内，太小会使训

21、练次数增加；在误差变化剧烈的区域，太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。改进2：自适应调节学习率基本思想：自适应改变学习率，使其根据环境变化增大或减小。基本方法：设一初始学习率，若经过一批次权值调整后使总误差，则本次调整无效，且=(1 )。改进3： 引入陡度因子提出的原因：误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。基本思想：如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的不饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。改进3： 引入陡度因子基本方法：在原转移函数中引入一个陡度因子

22、当发现E接近零而d-o仍较大时，可判断已进入平坦区，此时令1；当退出平坦区后，再令=1。改进3： 引入陡度因子 作用分析：1 ：net坐标压缩了倍，神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的net退出饱和值。=1：转移函数恢复原状，对绝对值较小的net具有较高的灵敏度。应用结果表明该方法对于提高BP算法的收敛速度十分有效。总结基于BP算法的多层前馈网络模型BP算法的实现基本思想推导过程程序实现BP学习算法的功能BP学习算法的局限性BP学习算法的改进3.6 BP网络设计基础一 、训练样本集的准备1.输入输出量的选择2.输入量的提取与表示3.输出量的表示二、输入输出数据的归一化三、网

23、络训练与测试1 输出量的选择 输出量:代表系统要实现的功能目标系统的性能指标分类问题的类别归属非线性函数的函数值一 、训练样本集的准备输入量的选择输入量选择的两条基本原则必须选择那些对输出影响大且能够检测或提取的变量各输入变量之间互不相关或相关性很小一 、训练样本集的准备输入输出量的性质从输入、输出量的性质来看，可分为两类：一类是数值变量，一类是语言变量。数值变量的值是数值确定的连续量或离散量。语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。一 、训练样本集的准备2. 输入量的提取与表示XC

24、=(111100111)T XI=(111100111)T XT=(111100111)T(1)文字符号输入一 、训练样本集的准备（2）曲线输入p=1,2,P一 、训练样本集的准备(3)函数自变量输入一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。(4)图象输入在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。一 、训练样本集的准备3. 输出量的表示(1)“n中取1”表示法 “n中取1”是令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取1，其余 n-1 个分量全取0。例如，

25、用0001、0010、0100和1000可分别表示优、良、中、差4个类别。(2)“n-1”表示法 如果用n-1个全为0的输出向量表示某个类别，则可以节省一个输出节点。例如，用000、001、010和100也可表示优、良、中、差4个类别。(3)数值表示法 对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉开距离。一 、训练样本集的准备二、输入输出数据的归一化 归一化也称为或标准化，是指通过变换处理将网络的输入、输出数据限制在0，1或-1，1区间内。 进行归一化的主要原因： 归一化的方法：进行归一化的主要原因：网络的各个输入数据常常具

26、有不同的物理意义和不同的量纲，归一化给各输入分量以同等重要的地位；BP网的神经元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；Sigmoid转移函数的输出在01或-11之间。教师信号如不进行归一化处理，势必使数值大的输出分量绝对误差大，数值小的输出分量绝对误差小。二、输入输出数据的归一化归一化的方法：将输入输出数据变换为0，1区间的值常用以下变换式其中，xI代表输入或输出数据，xmin代表数据变化的最小值，xman代表数据的最大值。将输入输出数据变换为-1，1区间的值常用以下变换式其中，xmid代表数据变化范围的中间值。二

27、、输入输出数据的归一化三、网络训练与测试 网络的性能好坏主要看其是否具有很好的泛化能力，对泛化能力的测试不能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。三、网络训练与测试 在隐节点数一定的情况下，为获得好的泛化能力，存在着一个最佳训练次数。三、网络训练与测试4.5 自适应共振理论思考并回答以下几个问题神经网络的学习和记忆特性学习过程的本质？网络将知识存储（记忆）在什么地方？对于感知器/BP网络/SOM网络学习时，当新样本输入时，权值的改变对旧样本的影响是什么？自适应共振理论（ART）历史1976年，美国Boston大学学者G.A.Carpenter提出自适应共振理论(Adapti

28、ve Resonance Theory，缩写为ART)，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G.A.Carpenter又与S.Grossberg提出了ATR网络。 共振现象的一些例子自适应共振理论共振现象鱼洗寺院无人敲而响的磬军队过桥雪崩人类认知（图像）当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。 自适应共振理论ART网络学习算法的基本流程环境输入模式与储存的典型向量模式进行比较神经网络的连接权值选择最相似的作为该模式的代表类，并调整与该类别相关的权值，

29、以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。相似度的参考门限需要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式。C 比较层R 识别层Reset 复位信号G1和G2 逻辑控制信号4.5.1.1网络系统结构4.5.1 ART型网络4.5.1.1网络系统结构(1)C 层结构 该层有n个节点，每个节点接受来自3个方面的信号：来自外界的输入信号xi；来自R 层获胜神经元的外星向量的返回信号Tj；来自G1的控制信号。 C 层节点的输出ci是根据2/3的“多数表决”原则产生的，即输出值ci与xi、tij 、G1 3个信号中的多数信号

30、值相同。 G1=1，反馈回送信号为0，C层输出应由输入信号决定，有C=X。 反馈回送信号不为0，G1=0，C层输出应取决于输入信号与反馈信号的比较情况，如果xi=，则ci=xi。否则ci=0。网络系统结构4.5.1.1网络系统结构（2）R层结构R 层有m 个节点，用以表示m 个输入模式类。m可动态增长，以设立新模式类。由C 层向上连接到R 第j 个节点的内星权向量用Bj=（b1j，b2j，,bnj）表示。C 层的输出向量C 沿m个内星权向量Bj(j=1,2,m)向前传送，到达R 层各个神经元节点后经过竞争在产生获胜节点j*，指示本次输入模式的所属类别。获胜节点输出=1，其余节点输出为0。R 层

31、各模式类节点的典型向量。网络系统结构4.5.1.1网络系统结构(3)控制信号 控制信号G2的作用是检测输入模式X 是否为0，它等于X 各分量的逻辑“或”，如果xi(i =1,2,n)为全0，则G2=0，否则G2=1。控制信号G1的作用是在网络开始运行时为1，以使C=X，其后为0以使C 值由输入模式和反馈模式的比较结果决定。设R 层输出向量各分量的逻辑“或”用R0表示，则信号G1= ，当R 层输出向量R 的各分量为全0而输入向量X不是零向量时，G1=1，否则G1=0。控制信号Reset的作用是使R层竞争获胜神经元无效，如果根据某种事先设定的测量标准，与X未达到预先设定的相似度，表明两者未充分接近

32、，于是系统发出Reset信号使竞争获胜神经元无效。网络系统结构4.5.1.2 网络运行原理相似程度可能出现的两种情况：相似度超过参考门限 选该模式类作为当前输入模式的代表类。权值调整规则是，相似度超过参考门限的模式类调整其相应的内外星权向量，以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；对其它权值向量则不做任何变动。相似度不超过门限值需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。网络运行原理4.5.1.2 网络运行原理对于每一个输入，模式网络运行过程可归纳为四个阶段：(1)匹配阶段 网络在没有输入之前处于等待状态，此时输入端X0，因此信

33、号G20，R0= 0。当输入不全为0的模式X 时，G21，R0=0，使得G1=1。G1为1时允许输入模式直接从C层输出，并向前传至R 层，与R 层节点对应的所有内星向量Bj 进行匹配计算： j=1,2,，m (4.22)选择具有最大匹配度(即具有最大点积)的竞争获胜节点：使获胜节点输出 =1，其它节点输出为0。网络运行原理(2)比较阶段 R层输出信息通过外星向量返回到C层。R 层获胜节点所连的外星权向量激活，从节点j* 发出的n个权值信号返回到C 层的n个节点。此时，R层输出不全为零，R0=1，而G1=0，所以C 层最新输出状态C取决于由R 层返回的外星权向量和网络输入模式X的比较结果，即，i

34、=1,2,n。由于外星权向量是R 层模式类的典型向量，该比较结果C反映了在匹配阶段R 层竞争排名第一的模式类的典型向量与当前输入模式X 的相似程度。相似程度的大小可用相似度N0 反映，定义为：设输入模式样本中的非零分量数为：网络运行原理4.5.1.2 网络运行原理4.5.1.2 网络运行原理(2)比较阶段 用于比较的警戒门限为，在01范围取值。检查输入模式与模式类典型向量之间的相似性是否低于警戒门限，如果有N0/N1表明X与获胜节点对应的类别模式非常接近，称X 与 发生“共振”，第一阶段的匹配结果有效，网络进入学习阶段。网络运行原理4.5.1.2 网络运行原理(3)搜索阶段 网络发出Reset

35、 重置信号后即进入搜索阶段，重置信号的作用是使前面通过竞争获胜的神经元受到抑制，并且在后续过程中受到持续的抑制，直到输入一个新的模式为止。由于R 层中的竞争获胜的神经元被抑制，从而再度出现R0=0，G1=1，因此网络又重新回到起始的匹配状态。 由于上次获胜的节点受到持续的抑制，此次获胜的必然是上次匹配程度排在第二的节点，将该节点对应的外星权向量与输入模式进行匹配计算。如果对R层所有的模式类，在比较阶段的相似度检查中相似度都不能满足要求，说明当前输入模式无类可归，需要在网络输出层增加一个节点来代表并存储该模式类，为此将其内星向量 设计成当前输入模式向量，外星向量 各分量全设为1。网络运行原理(4

36、)学习阶段 在学习阶段要对发生共振的获胜节点对应的模式类加强学习，使以后出现与该模式相似的输入样本时能获得更大的共振。 ART网络运行中存在两种记忆方式：短期记忆：C 层和R 层输出信号称为短期记忆，用STM（Short time memory）表示，短期记忆在运行过程中会不断发生变化；长期记忆：两层之间的内外星权向量称为长期记忆，用LTM(Long time memory)表示，长期记忆在运行过程中不会变化。网络运行原理4.5.1.2 网络运行原理4.5.1.3 网络的学习算法 ART网络可以用学习算法实现，学习算法从软件角度体现了网络的运行机制，与系统结构图并不一一对应。训练可按以下步骤进

37、行：(1)网络初始化 从C 层向R 层的内星权向量Bj 赋予相同的较小数值，如 (4.25)从R 层到C 层的外星权向量Tj 各分量均赋1 (4.26)4.5.1.3 网络的学习算法(2)网络接受输入 给定一个输入模式，X(x1,x2,，xn)， xi(0,1)n。(3)匹配度计算 对R层所有内星向量Bj计算与输入模式X的匹配度： ， j=1,2,，m。(4)选择最佳匹配节点 在R层有效输出节点集合J*内选择竞争获胜 的最佳匹配节点j*，使得(5)相似度计算 R 层获胜节点j*通过外星送回获胜模式类的典型向量，C层输出信号给出对向量和X的比较结果，i=1,2,n，由此结果可计算出两向量的相似度

38、为4.5.1.3 网络的学习算法(6)警戒门限检验 如果N0/N1，表明X应归为代表的模式类，转向步骤(8)调整权值。4.5.1.3 网络的学习算法(8)调整网络权值 修改R层节点j* 对应的权向量，网络的学习采用了 两种规则，外星向量的调整按以下规则: i=1,2,n； j*J* (4.27)(7)搜索匹配模式类 若有效输出节点集合J*不为空，转向步骤(4)重选匹配模式类；若J*为空集，需在R层增加一个节点。设新增节点的序号为nc，应使 ,i=1,2,n,此时有效输出节点集合为J*=1,2,m,m+1,m+nc,转向步骤(2)输入新模式。内星向量的调整按以下规则: i=1,2,n (4.28

39、)4.5.1.3 网络的学习算法 ART网络的特点： 非离线学习 即不是对输入集样本反复训练后才开始运行，而是边学习边运行实时方式。 每次最多只有一个输出节点为l 每个输出节点可看成一类相近样本的代表，当输入样本距某一个内星权向量较近时，代表它的输出节点才响应。 通过调整警戒门限的大小可调整模式的类数 小，模式的类别少，大则模式的类别多。4个输入模式向量为：设=0.7，取初始权值bij=1/(1+n)=1/26,tij=1.例一 模式分类例一 模式分类4.5.1.4 ART网络的应用第1步：输入模式X A ，将R 层的4个节点中输出最大的一个命名为节点1，有j*=1。由于初始化后tij=1，所

40、以相似度N0/N1=1，大于警戒门限，故第一个模式被命名为第一类模式。按式(4.27)修改节点1的内星权向量，得 按式(4.28)修改节点1的外星权向量，得其余仍为初始值1/26。对比输入模式X A，可以看出，以上调整结果将模式X A 存储在神经元1的内外星权向量中。例一 模式分类第2步：输入模式X B 时，R层只有一个已存储模式，故不存在类别归属的竞争，只需判断该模式与已存储模式T1=X A 的相似度，得N0/N1=5/9 节点2净输入为1.101节点1获胜。计算T1与X的相似度，得N0/N1=5/13=0.7节点1失效后，网络应在其余的存储模式类节点中搜索，对于本例，只能取节点2作为获胜节

41、点。于是计算XC与代表X B 的T2 的相似度，得N0/N1=9/13=0.7该结果仍不能满足要求，只能把模式视为第3类模式。并按式(4.27)和式(4.28)修改节点3的内外星权向量。例一 模式分类第4步：输入模式X D 后，节点1、节点2和节点3参加竞争，结果是节点3 获胜，计算模式X D与X C的相似度，得N0/N1=13/17=0.765=0.7于是X D 归入已存储的X C类，并按式(4.27)和式(4.28)修改节点3的内外星权向量。例一 模式分类例一 模式分类例一 模式分类注意！值的选择对分类过程的影响很大。值过大，导致分类剧增。值太小，则不同的模式均划为同一类别。例一 模式分类

42、例二 带噪声模式分类例二 带噪声模式分类4.6 本章小结4.6 本章小结(1)竞争学习策略 竞争学习是自组织网络中最常采用的一种学习策略，胜者为王是竞争学习的基本算法。该算法将输入模式向量同竞争层所有节点对应的权向量进行比较，将欧式距离最小的判为竞争获胜节点，并仅允许获胜节点调整权值。按照胜者为王的竞争学习算法训练竞争层的结果必将使各节点的权向量成为输入模式的聚类中心。4.6 本章小结(2)SOM神经网络SOM 网络模型中的竞争机制具有生物学基础。SOM网的结构特点是输出层神经元可排列成线阵或平面阵。在网络训练阶段，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。获胜节点及其优胜邻

43、域内的所有节点所连接的权向量均向输入向量的方向作不同程度的调整，调整力度依邻域内各节点距获胜节点的远近而逐渐衰减。网络通过自组织方式，用大量训练样本调整网络的权值，最后使输出层各节点成为对特定模式类敏感的神经细胞，对应的内星权向量成为各输入模式类的中心向量。当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而在输出层形成能够反映样本模式类分布情况的有序特征图。4.6 本章小结(3)CPN神经网络 CPN神经网络是由Kohonen的自组织网和Grossberg的外星网组合而成的，其拓扑结构与三层BP网相同。CPN网的隐层为竞争层，按照胜者为王规则进行竞争。只有竞争获胜节点可以调整其内外

44、星权向量，内星权向量采用无导师的竞争学习算法进行调整，调整的目的是使权向量不断靠近当前输入模式类，从而将该模式类的典型向量编码到获胜神经元的内星权向量中。输出层采用有导师的外星学习规则调整，调整的目的是使外星权向量不断靠近并等于期望输出，从而将该输出编码到外星权向量中。 4.6 本章小结(4)ART神经网络 ART网接的运行分为4个阶段：匹配阶段接受来自环境的输入模式，并在输出层与所有存储模式类进行匹配竞争，产生获胜节点；比较阶段按参考门限检查该输入模式与获胜模式类的典型向量之间的相似程度，相似度达标进入学习阶段，不达标则进入搜索阶段；搜索阶段对相似度不超过参考门限的输入模式重新进行模式类匹配

45、，如果与所有存储模式类的匹配不达标，就需要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式；学习阶段对相似度超过参考门限的所有模式类，选择最相似的作为该模式的代表类，并调整与该类别相关的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。上机练习给定5个4维输入模式如下：试设计一个具有55神经元平面阵的SOM网，建议学习率(t)在前1000步训练中从0.5线性下降至0.04，然后在训练到10,000步时减小至0。优胜邻域半径初值设为2个节点(即优胜邻域覆盖整个输出平面)，1000个训练步时减至0(即只含获胜节点)。每训练200步保留一次权向量，观察其在训练过程中的变化。给出训练结束后，5个输入模式在输出平面的映射图。第五章 反馈神经网络 5 反馈神经网络 Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network)，本章重点讨论前一种类型。 根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩