遗传算法、神经算法、退火算法、模糊算法

1、计算智能计算智能计算智能计算智能智能：在给定任务或目的下，能根据环境条件制定正确的策略和决策，并能有效地实现其目的的过程或能力。信息：信息是用来消除观察者认识上的不确定性的度量。智能信息处理：利用各种智能手段进行信息变换的过程，这里的各种智能手段包括人工智能、机器智能和计算智能等。计算智能智能：有效地获取、传递、处理、再生和利用信息，使其在任意环境下成功地达到预定目标的能力。人工智能:研究如何用人工的方法模拟、延伸和扩展智能。计算智能人工智能的三个学派 符号主义学派 以知识为基础，通过推理来进行问题求解，功能模拟的方法。 联接主义学派 始于1943年的m-p模型， 1982年hopfiled提

2、出的用硬件模拟神经网络, bp算法，结构-功能模拟的方法。 行为主义学派 进化主义或控制论学派，行为模拟的方法。计算智能计算智能 定义一：以数据为基础，以计算为手段来建立功能上的联系（模型），而进行问题求解，以实现对智能的模拟和认识。 定义二：用计算科学与技术模拟人的智 能结构和行为。计算智能计算智能与软计算 计算智能是强调通过计算的方法来实现生物内在的智能行为。 软计算是受智能行为启发的现代优化计算方法,强调计算和对问题的求解。计算智能软计算方法是指利用所允许的不精确性、不确定性和部分真实性得到易于处理、鲁棒性强和成本较低的解决方案,它区别于用精确、固定和不变的算法表达和解决问题的硬计算。软

3、计算作为一种创建计算智能系统的新颖方法,正在引起人们的关注.目前已经认识到,复杂的实际问题需要智能系统对各种不同来源的知识、技术和方法进行组合. 在解决实际计算问题时,协同地而不是互斥地采用几种计算技术通常具有优越性,所产生的系统被称为互补的混合智能系统。计算智能 软计算不是一种单一的方法，而是多种方法的结合与协作，构成软计算的三个主要元素是模糊逻辑、神经计算和进化算法，这三者分别提供不同方面的能力，其中模糊逻辑主要处理非精确性和进行近似推理，神经网络使系统获得学习和适应的能力，进化算法则提供进行随机搜索和优化的能力。 1. 神经网络1 .1 神经网络的发展历史所谓人工神经网络就是基于模仿生物

4、大脑的结构和功能而构成的一种信息处理系统。nielsen的定义l人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。l这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。l每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。1 .1 神经网络的发展历史初始（萌发）期人工神经网络的兴起l1943年，美国神经生理学家warren mcculloch和数学家walter pitts合写了一篇关于神经元如何工作的开拓性文章：“a logical calculus o

5、f ideas immanent in nervous acitivity”。该文指出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。l1949年，心理学家donala hebb写了一本书：“the organization of behavior”。在该书中，他强调了心理学和生理学间的联系和沟通，指出脑细胞间的思路每当通过参与某种活动时将被加强，这就是后来的hebb学习规则。1 .1 神经网络的发展历史l到了二十世纪50年代，随着计算机的发展和软硬件的进步，有些神经系统功能的理论开始在计算机上进行模拟，拓宽了研究的路子。libm的研究室在hebb工作的基础上，对

6、神经网络的模型进行了软件模拟，虽然开始时失败了，但在使得模型像人那样适应环境的实验上取得了一定程度的成功。1 .1 神经网络的发展历史第一次高潮期 感知器模型和人工神经网络l1957年，计算机专家frank rosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。l1959年，两位电机工程师bernard widrow和marcian haff开发出一种叫作自适应线性单元（adaline）的网络模型，并在他们的论文“adaptive switching circuits”中描述了该模型和它的学习算法（ widrow- haff算法）。该网络通过训练，可以成功用于抵

7、消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。1 .1 神经网络的发展历史l1962年，rosenblatt出版了一本书“the principles of neurodynamics”，详述了他的感知器模型。该感知器具有输入层、输出层和中间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功能。l1967年，stephen grossberg通过对生理学的研究，开发了一种称作雪崩网的神经网络模型，可以控制机器人手臂的运动。l在这一时期，由于感知器的某些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键。人们夸大了神经网络的潜力（有人

8、甚至担心制造机器人的人类会很快受到机器人的攻击）1 .1 神经网络的发展历史反思期 神经网络的低潮l1969年，marvin minsky和seymour papert合著了一本书“perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为rosenblatt的感知器判了“死刑”。l此时，批评的声音高涨，导致了停止对人工神经网络研究所需的大量投资。l不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。1 .1 神经网络的发展历史第二次高潮期 hopfield网络模型的出现和人工神经网络的复苏l1982年，john hopfie

9、ld向美国科学院递交了有关神经网络的报告，主要内容就是建议收集和重视以前对神经网络的工作，其中特别强调了每种模型的实用性。lhopfield揭示了以往的网络是如何工作的，可以做些什么，并提出了他自己的模型，能从失真的或不完善的数据图像中获得完整的数据图像，引起了美国军方的兴趣。l当时，人工智能对自动制导车的研究失败，而利用神经网络有可能解决这个问题，从而使人们的注意力重新投向人工神经网络，导致了人工神经网络的第二次高潮。1 .1 神经网络的发展历史l1984年，hopfield设计研制了后来被人们称为hopfield网的电路，较好地解决了tcp问题，找到了最佳解的近似解，引起了较大轰动。l19

10、85年，hinton、sejnowsky、rumelhart等研究者在hopfield网络中引入随机机制，提出了所谓的bolziman机。l1986年， rumelhart等研究者重新独立地提出多层网络的学习算法bp算法，较好地解决了多层网络的学习问题。l1990年12月，国内首届神经网络大会在北京举行。1 .2 神经网络的基本概念生物神经网络：biological neural network（bnn）神经元： neuronl神经元经突触传递信号给其他神经元（胞体或树突）l1011个神经元/人脑l104个连接/神经元神经元基本工作机制：l状态：兴奋与抑制l互联，激励，处理，阈值1 .2 神经

11、网络的基本概念人工神经元模型(mp模型)：l多输入，单输出，带偏置lr个输入pir，即r维输入矢量pln: net input, n=wp+b。r个权值wir，即r维权矢量w阈值bl输出a=f(n)1 .2 神经网络的基本概念常用输出函数 (1)阈值函数：1(0)( )hardlim( )0(0)naf nnn1 .2 神经网络的基本概念(2)线性输出函数 :( )af nn1 .2 神经网络的基本概念(3)sigmoid函数 特性：l值域a(0,1)l非线性，单调性l无限次可微l|n|较小时可近似线性函数l|n|较大时可近似阈值函数1( )1naf ne1 .2 神经网络的基本概念人工神经网

12、络的拓扑结构(1)前向网络:1 .2 神经网络的基本概念层次划分层次划分 l信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。l层号确定层的高低：层号较小者，层次层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。较低，层号较大者，层次较高。l输入层输入层：被记作第：被记作第0层。该层负责接收层。该层负责接收来自网络外部的信息来自网络外部的信息1 .2 神经网络的基本概念l第第j层层：第：第j-1层的直接后继层（层的直接后继层（j0），），它直接接受第它直接接受第j-1层的输出。层的输出。l输出层输出层：它是网络的最后一层，具有该：它是网络的最后一层，具有该网络的最大层

13、号，负责输出网络的计算网络的最大层号，负责输出网络的计算结果。结果。l隐藏层隐藏层：除输入层和输出层以外的其它：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号的信号，也不直接向外界发送信号1 .2 神经网络的基本概念约定约定 :l输出层的层号为该网络的层数：输出层的层号为该网络的层数：n层网络，或层网络，或n级网络。级网络。l第第j-1层到第层到第j层的联接矩阵为第层的联接矩阵为第j层联接矩阵，层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用在需要的

14、时候，一般我们用w（j）表示第表示第j层矩层矩阵阵1 .2 神经网络的基本概念(2)反馈互连网络1 .2 神经网络的基本概念如果将输出信号反馈到输入端如果将输出信号反馈到输入端,就可构成一个多层就可构成一个多层的循环网络。的循环网络。输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复”。大脑的大脑的短期记忆特征短期记忆特征看到的东西不是一下子看到的东西不是一下子就从脑海里消失的。就从脑海里消失的。稳定稳定：反馈信号会引起网络输出的不断变化。我：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当们希望这种变化逐渐减小，并且最后能消失。当变化最后

15、消失时，网络达到了平衡状态。如果这变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。种变化不能消失，则称该网络是不稳定的。1.3 人工神经网络的训练 人工神经网络最具有吸引力的特点是它的人工神经网络最具有吸引力的特点是它的学习能力。学习能力。人工神经网络的学习过程就是对它的训练人工神经网络的学习过程就是对它的训练过程。过程。有导师学习、无导师学习。有导师学习、无导师学习。1.3 人工神经网络的训练有导师学习有导师学习 有导师学习有导师学习(supervised learning)与有导师训练与有导师训练(supervised training)相对应。相对应。 输

16、入向量与其对应的输出向量构成一个输入向量与其对应的输出向量构成一个“训练训练对对”。 有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1） 从样本集合中取一个样本（从样本集合中取一个样本（xi，yi）；）；2） 计算出网络的实际输出计算出网络的实际输出o； 3） 求求d=yi-o；4） 根据根据d调整权矩阵调整权矩阵w； 5 5） 对每个样本重复上述过程，直到对整个样本集对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。来说，误差不超过规定范围。 1.3 人工神经网络的训练wij( (t+1) )=wij( (t) )+ wij( (t) ) wij(t

17、(t) )=jxi(t(t) )j=yj- oj(t(t) )1.3 人工神经网络的训练无导师学习无导师学习hebb学习律、竞争与协同（学习律、竞争与协同（competitive and cooperative）学习、随机联接系统（）学习、随机联接系统（randomly connected learning）等。）等。hebb算法算法d. o. hebb在在1961年年的核心：的核心：l当两个神经元同时处于激发状态时被加强，否当两个神经元同时处于激发状态时被加强，否则被减弱。则被减弱。l数学表达式表示：数学表达式表示：wij（t+1）=wij（t）+xi（t）oj（t）1.3 人工神经网络的训

18、练存储与映射存储与映射cam方式（方式（content addressable memory）内容内容寻址方式是将数据映射到地址。寻址方式是将数据映射到地址。 am方式（方式（associative memory）相联存储方式相联存储方式是将数据映射到数据。是将数据映射到数据。 在学习在学习/训练期间，人工神经网络以训练期间，人工神经网络以cam方式工方式工作；权矩阵又被称为网络的长期存储。作；权矩阵又被称为网络的长期存储。网络在正常工作阶段是以网络在正常工作阶段是以am方式工作的；神经方式工作的；神经元的状态表示的模式为短期存储。元的状态表示的模式为短期存储。1.4 感知器mcculloch

19、 和和pitts 1943年，发表第一个系统的年，发表第一个系统的ann研究研究阈值加权和阈值加权和(m-p)数学模型。数学模型。1.4 感知器 感知器的学习是有导师学习感知器的学习是有导师学习 基本思想：逐步地将样本集中的样本输入到网络中基本思想：逐步地将样本集中的样本输入到网络中,根据输出根据输出结果和理想输出之间的差别来调整网络中的权矩阵结果和理想输出之间的差别来调整网络中的权矩阵 1.4 感知器感知器训练算法感知器训练算法 样本集：样本集：( (x, ,y)|y为输入向量为输入向量x对应的输对应的输出出 输入向量：输入向量：x=( (x1, ,x2, , ,xn) ) 理想输出向量：理

20、想输出向量：y=( (y1, ,y2, , ,ym) ) 激活函数：激活函数：f 权矩阵权矩阵w=( (wij) ) 实际输出向量：实际输出向量：o=( (o1, ,o2, , ,om) )1.4 感知器1.初始化权矩阵初始化权矩阵w；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成： 2.1 对每个样本（对每个样本（x，y），重复如下过程：），重复如下过程：2.1.1 输入输入x；2.1.2 计算计算o=f（xw）；）；2.1.3 for j=1 to m do 执行如下操作：执行如下操作： wij=wij+（yj-oj）xi1.4 感知器算法思想算法思想：将单输出感知器的处理逐个

21、地：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元用于多输出感知器输出层的每一个神经元的处理。的处理。第第1步，步，权矩阵的初始化权矩阵的初始化：一系列小伪随：一系列小伪随机数。机数。1.4 感知器第第2步，步，循环控制。循环控制。方法方法1：循环次数控制法：循环次数控制法：对样本集执行：对样本集执行规定次数的迭代规定次数的迭代改进改进分阶段迭代控制：设定一个基本分阶段迭代控制：设定一个基本的迭代次数的迭代次数n，每当训练完成，每当训练完成n次迭代后，次迭代后，就给出一个中间结果就给出一个中间结果1.4 感知器方法方法2：精度控制法：精度控制法：给定一个精度控制给定一个精度控制

22、参数参数l精度度量：实际输出向量与理想输出向精度度量：实际输出向量与理想输出向量的对应分量的差的绝对值之和；量的对应分量的差的绝对值之和；l实际输出向量与理想输出向量的欧氏距实际输出向量与理想输出向量的欧氏距离的和离的和l “死循环死循环”：网络无法表示样本所代表：网络无法表示样本所代表的问题的问题1.4 感知器方法方法3：综合控制法：综合控制法：将这两种方法结合将这两种方法结合起来使用起来使用 注意：精度参数的设置。根据实际问题选注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。成后，再给出实际的精度要求。

23、1.4 感知器 minsky在在1969年证明，有许多基本年证明，有许多基本问题是感知器无法解决问题是感知器无法解决 问题线性可分性可能与时间有关问题线性可分性可能与时间有关 很难从样本数据集直接看出问题是很难从样本数据集直接看出问题是否线性可分否线性可分1.5 bp网络网络的构成网络的构成 神经元的网络输入：神经元的网络输入：neti=x1w1i+x2w2i+xnwni神经元的输出：神经元的输出：netenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet1.5 bp网络 应该将应该将net的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内 可以用其

24、它的函数作为激活函数，只要该函数是处处可以用其它的函数作为激活函数，只要该函数是处处可导的可导的1（0,0.5）net（0,0）o 0.5f (net)0.25o0 11.5 bp网络网络的拓扑结构网络的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn1.5 bp网络bp网的结构网的结构输入向量、输出向量的维数、网络隐藏输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的层的层数和各个隐藏层神经元的个数的决定决定实验：增加隐藏层的层数和隐藏层神经实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表元个数不一定总能够提高网络精度和表达能力。达能

25、力。bpbp网一般都选用二级网络。网一般都选用二级网络。1.5 bp网络x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn1.5 bp网络训练过程概述训练过程概述权初始化：权初始化：“小随机数小随机数”与饱和状态；与饱和状态；“不不同同”保证网络可以学。保证网络可以学。1 1、向前传播阶段：、向前传播阶段：（1）从样本集中取一个样本）从样本集中取一个样本(xp，yp)，将，将xp输入网络；输入网络；（2）计算相应的实际输出）计算相应的实际输出op：op=fl(f2(f1(xpw(1)w(2)w(l)1.5 bp网络2 2、向后传播阶段、向后传播阶段误差传播阶段：误差传播阶段：（1）计

26、算实际输出）计算实际输出op与相应的理想输出与相应的理想输出yp的差；的差；（2）按极小化误差的方式调整权矩阵。）按极小化误差的方式调整权矩阵。（3）网络关于第）网络关于第p p个样本的误差测度：个样本的误差测度：mjpjpjpoye1221（4） 网络关于整个样本集的误差测度：网络关于整个样本集的误差测度：ppee1.5 bp网络误差传播分析误差传播分析1、输出层权的调整、输出层权的调整wpqanpanq第第l-1层层第第l层层wpqwpq= wpq+wpqwpq=qop=fn (netq)(yq-oq)op=oq(1-oq) (yq-oq)op1.5 bp网络2、隐藏层权的调整、隐藏层权的

27、调整anpanqanhvhppk-11kwp1wpqqkwpmmk第第k-2层层第第k层层第第k-1层层1.5 bp网络pk-1的值和的值和1k，2k，mk 有关有关不妨认为不妨认为pk-1通过权通过权wp1对对1k做出贡献，做出贡献，通过权通过权wp2对对2k做出贡献，做出贡献，通过权通过权wpm对对mk做出贡献。做出贡献。pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k)1.5 bp网络vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1(netp)(wp11k+wp22k+ wpmmk)ohk-2=opk-1(1-opk-1)(wp11k+ wp22

28、k+ wpmmk)ohk-21.5 bp网络基本的基本的bp算法算法( (算法算法1)1)样本集：样本集：s=(x1,y1),(,(x2,y2),),(,(xs,ys) ) 基本思想基本思想 ：l逐一地根据样本集中的样本逐一地根据样本集中的样本(xk,yk)计算出实际输出计算出实际输出ok和误差测度和误差测度e1，对，对w(1) ，w(2) ，w(l)各做一次调各做一次调整，重复这个循环，直到整，重复这个循环，直到ep do 4.1 e=0; 1.5 bp网络4.2 对对s中的每一个样本（中的每一个样本（xp,yp）：）： 4.2.1 计算出计算出xp对应的实际输出对应的实际输出op； 4.2

29、.2 计算出计算出ep； 4.2.3 e=e+ep； 4.2.4 根据相应式子调整根据相应式子调整w(l)； 4.2.5 k=l-1； 4.2.6 while k0 do 4.2.6.1 根据相应式子调整根据相应式子调整w(k)； 4.2.6.2 k=k-1 4.3 e=e/2.0 1.5 bp网络算法的改进算法的改进1、bp网络接受样本的顺序对训练结果有较大影响。网络接受样本的顺序对训练结果有较大影响。它更它更“偏爱偏爱”较后出现的样本较后出现的样本2、给集中的样本安排一个适当的顺序，是非常困给集中的样本安排一个适当的顺序，是非常困难的。难的。3、样本顺序影响结果的原因：样本顺序影响结果的原

30、因：“分别分别”、“依次依次” 4、用用(x1,y1)，（，（x2,y2），），（，（xs,ys）的）的“总效总效果果”修改修改w(1) ，w(2) ，w(l)。w(k)ij=p w(k)ij1.5 bp网络消除样本顺序影响的消除样本顺序影响的bp算法算法( (算法算法2)2)1 for k=1 to l do1.1 初始化初始化w(k)；2 初始化精度控制参数初始化精度控制参数；3 e=+1;4 while e do 4.1 e=0;4.2 对所有的对所有的i，j，k： w (k)ij=0； 1.5 bp网络4.3 对对s中的每一个样本（中的每一个样本（xp,yp）：）：4.3.1 计算出计

31、算出xp对应的实际输出对应的实际输出op；4.3.2 计算出计算出ep；4.3.3 e=e+ep；4.3.4 对所有对所有i，j根据相应式子计算根据相应式子计算p w (l)ij；4.3.5 对所有对所有i，j： w (l)ij= w (l)ij+p w (l)ij；4.3.6 k=l-1；4.3.7 while k0 do4.3.7.1 对所有对所有i, ,j根据相应式子计算根据相应式子计算p w (k)ij；4.3.7.2 对所有对所有i, ,j： w (k)ij= w (k)ij+p w (k)ij；4.3.7.3 k=k-1 4.4 对所有对所有i，j，k：w (k)ij= w (k)

32、ij+ w (k)ij;4.5 e=e/2.0 1.5 bp网络算法算法2 分析分析较好地解决了因样本的顺序引起的精度问较好地解决了因样本的顺序引起的精度问题和训练的抖动问题题和训练的抖动问题 收敛速度：比较慢收敛速度：比较慢偏移量：给每一个神经元增加一个偏移量偏移量：给每一个神经元增加一个偏移量来加快收敛速度来加快收敛速度 冲量冲量：联接权的本次修改要考虑上次修改联接权的本次修改要考虑上次修改的影响，以减少抖动问题的影响，以减少抖动问题 1.5 bp网络冲量设置冲量设置rumelhart等人等人1986年年lwij=joi+wijlwij为上一次的修改量，为上一次的修改量，为冲量系数，一般为

33、冲量系数，一般可取到可取到0.9 sejnowski与与rosenberg ，1987年年lwij=(1-) )joi+wij) lwij也是上一次的修改量，也是上一次的修改量，在在0和和1之间取值之间取值1.5 bp网络算法的实现算法的实现主要数据结构主要数据结构wh，m输出层的权矩阵；输出层的权矩阵；vn，h输入（隐藏）层的权矩阵；输入（隐藏）层的权矩阵；om输出层各联接权的修改量组成的向量；输出层各联接权的修改量组成的向量；hh隐藏层各联接权的修改量组成的向量；隐藏层各联接权的修改量组成的向量；o1隐藏层的输出向量；隐藏层的输出向量；o2输出层的输出向量；输出层的输出向量；(x，y)一个

34、样本。一个样本。 1.5 bp网络算法的主要实现步骤算法的主要实现步骤1 1用不同的小伪随机数初始化用不同的小伪随机数初始化w，v；2 2初始化精度控制参数初始化精度控制参数；学习率；学习率 ； 3 3循环控制参数循环控制参数e=+1；循环最大次数；循环最大次数m；循环次数控制参数循环次数控制参数n=0； 4while e & nm do 4.1 n=n+1；e=0；4.2 对每一个样本对每一个样本(x,y)，执行，执行如下操作如下操作1.5 bp网络4.2.1 计算：计算：o1=f1( (xv) )；o2=f2( (o1w) )；4.2.2 计算输出层的权修改量计算输出层的权修改量

35、for i=1 to m4.2.2.1 oi= o2 i*( (1- o2 i) )* *( (yi-o2 i) )；4.2.3 计算输出误差：计算输出误差：for i=1 to m 4.2.3.1 e=e+( (yi-o2 i) )2；1.5 bp网络4.2.4 计算隐藏层的权修改量：计算隐藏层的权修改量：for i=1 to h4.2.4.1 z=0；4.2.4.2 for j=1 to m do z=z+wi, ,j* o oj；4.2.4.3 hi=z* o1 i( (1- o1 i) ) ；4.2.5 修改输出层权矩阵：修改输出层权矩阵：for k=1 to h & i=1

36、to m4.2.5.1 wk, ,i= wk, ,i+ *o1k*o oi；4.2.5 修改隐藏层权矩阵：修改隐藏层权矩阵：for k=1 to n & i=1 to h4.2.5.1 vk, ,i= vk, ,i+ *xk* hi；1.5 bp网络几个问题的讨论几个问题的讨论网络瘫痪问题网络瘫痪问题 l在训练中，权可能变得很大，这会使神经元的在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训此时的

37、训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛练速度降得非常低，最终导致网络停止收敛 稳定性问题稳定性问题 l用修改量的综合实施权的修改用修改量的综合实施权的修改l连续变化的环境，它将变成无效的连续变化的环境，它将变成无效的 1.5 bp网络步长问题步长问题 lbp网络的收敛是基于无穷小的权修改量网络的收敛是基于无穷小的权修改量l步长太小，收敛就非常慢步长太小，收敛就非常慢l步长太大，可能会导致网络的瘫痪和不稳定步长太大，可能会导致网络的瘫痪和不稳定l自适应步长，使得权修改量能随着网络的训练自适应步长，使得权修改量能随着网络的训练而不断变化。而不断变化。1988年，年

38、，wasserman1.6 som网络在对人类的神经系统及脑的研究中，人们发现：人脑的某在对人类的神经系统及脑的研究中，人们发现：人脑的某些区域对某种信息或感觉敏感，如人脑的某一部分进行机些区域对某种信息或感觉敏感，如人脑的某一部分进行机械记忆特别有效；而某一部分进行抽象思维特别有效。这械记忆特别有效；而某一部分进行抽象思维特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认种情况使人们对大脑的作用的整体性与局部性特征有所认识。识。 对大脑的研究说明，大脑是由大量协同作用的神经元群体对大脑的研究说明，大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统；在组

39、成的。大脑的神经网络是一个十分复杂的反馈系统；在这个系统含有各种反馈作用，有整体反馈，局部反馈；另这个系统含有各种反馈作用，有整体反馈，局部反馈；另外，还有化学交互作用。在大脑处理信息的过程中，聚类外，还有化学交互作用。在大脑处理信息的过程中，聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信是其极其重要的功能。大脑通过聚类过程从而识别外界信号，并产生自组织过程。号，并产生自组织过程。1.6 som网络somsom是由芬兰赫尔辛基大学神经网络专家是由芬兰赫尔辛基大学神经网络专家kohonenkohonen教授在教授在19811981年提出的竞争式神经年提出的竞争式神经网络，它模拟大脑神经系

40、统自组织特征映网络，它模拟大脑神经系统自组织特征映射的功能，在训练中能无监督地进行自组射的功能，在训练中能无监督地进行自组织学习。织学习。由于它的强大功能，由于它的强大功能， 多年来，网络在数多年来，网络在数据分类、知识获取、过程监控、故障识别据分类、知识获取、过程监控、故障识别等领域中得到了广泛应用。等领域中得到了广泛应用。1.6 som网络somsom的基础的基础: : 尽管大脑具有大量的细胞，但生物尽管大脑具有大量的细胞，但生物学研究表明作用并不同。在空间中处于不同位置学研究表明作用并不同。在空间中处于不同位置的脑细胞控制着人体不同部位的运动。的脑细胞控制着人体不同部位的运动。同样，处于

41、不同区域的脑细胞对来自某一方面的同样，处于不同区域的脑细胞对来自某一方面的刺激信号的敏感程度也不一样。刺激信号的敏感程度也不一样。这种特定细胞对特定信号的特别反映能力这种特定细胞对特定信号的特别反映能力似乎是似乎是由后来的经历和训练形成的。由后来的经历和训练形成的。kohonenkohonen根据人脑的这一原理提出了自组织映射。根据人脑的这一原理提出了自组织映射。1.6 som网络以发出信号的神经元以发出信号的神经元为圆心，对近邻的神为圆心，对近邻的神经元的交互作用表现经元的交互作用表现为兴奋性侧反馈；为兴奋性侧反馈；以发出信号的神经元以发出信号的神经元为圆心，对远邻的神为圆心，对远邻的神经元

42、的交互作用表现经元的交互作用表现为抑制性侧反馈。为抑制性侧反馈。“强者占先、弱者退强者占先、弱者退出出”1.6 som网络somsom网络组成网络组成som神经网络由输入层和竞争层组成。神经网络由输入层和竞争层组成。输入层由输入层由n n个神经元组成，竞争层由个神经元组成，竞争层由h h个神个神经元组成。经元组成。 为可视化表示结果，常将为可视化表示结果，常将m m表示为一表示为一个二维平面阵列个二维平面阵列h=sh=s* *t t ，当然，当然, , 一维或多一维或多维也是允许的维也是允许的。1.6 som网络1.6 som网络 二维阵列神经网络由输入层和竞争层组成。二维阵列神经网络由输入层

43、和竞争层组成。输入层是一维的神经元。竞争层是二维的神经元。输入层是一维的神经元。竞争层是二维的神经元。输入层的神经元和二维阵列竞争层的神经元每个输入层的神经元和二维阵列竞争层的神经元每个都相互连接。二维阵列竞争层也称输出层。都相互连接。二维阵列竞争层也称输出层。 在二维阵列竞争层中，可以清楚看出：每一在二维阵列竞争层中，可以清楚看出：每一个输出神经元都和最近相邻的个输出神经元都和最近相邻的8个神经元相连；个神经元相连；当然，最边沿的神经元和当然，最边沿的神经元和35个神经元相连，个神经元相连，但这只是最边沿的神经元才会这样。而从二维阵但这只是最边沿的神经元才会这样。而从二维阵列内部一般有：每个

44、输出神经元和列内部一般有：每个输出神经元和8个最相邻的个最相邻的神经元相连。神经元相连。 1.6 som网络 x (x1，x2，xn)是外部输入信号；是外部输入信号； wij 是输入神经元是输入神经元i到输出神经元到输出神经元j之间权系之间权系数。数。在在som模型中，对于输出神经元模型中，对于输出神经元j，它的外部，它的外部输入信号可以用输入信号可以用knetj表示：表示： knetj=xwj = (x1，x2，xn)(w1j，w2j，wnj) t = w1j x1+w2j x2+wnj xn1.6 som网络输出神经元输出神经元k1，k2，kh的输出的输出y1，y2，yh构成向量构成向量

45、y=(y1，y2，yh) 1jhjh1 1knetknetj j=max=max knet1，knet2，kneth y yj j= = 0其它其它 1.6 som网络 神经元在自适应过程中所形成的神经元在自适应过程中所形成的“气泡气泡”，在本质上是产生和输入模式对于表示形态。在本质上是产生和输入模式对于表示形态。 而这种而这种“气泡气泡”是以特定的神经元是以特定的神经元c为中心的，为中心的，并且是以一定半径所包围的神经元子集并且是以一定半径所包围的神经元子集nc，如，如果令果令 yj(0,1)1.6 som网络 这在实质上要求这在实质上要求神经元在所给定的半神经元在所给定的半径范围之内的径范

46、围之内的nc子集子集中时，则其输出为中时，则其输出为1；而在子集而在子集nc之外时，之外时，则其输出为则其输出为0。同时，。同时，系数系数在神经元处于在神经元处于nc之内时，取值为之内时，取值为；否则取值为否则取值为0。 1.6 som网络som模型学习的具体步骤模型学习的具体步骤 一、权系数初始化一、权系数初始化 对于有对于有n个输入神经元，个输入神经元，p个输出神经元的个输出神经元的som网络，对连接输入神经元和输出神网络，对连接输入神经元和输出神经元之间的权系数设定为小的随机数经元之间的权系数设定为小的随机数a，一般有：一般有： 0a1 同时，设定邻近区域的初始半径。同时，设定邻近区域的

47、初始半径。1.6 som网络二、给出一个新的输入模式二、给出一个新的输入模式xk xk=x1k,x2k,.xnk k=1,2,.三、求模式三、求模式xk和所有的出神经元的距离和所有的出神经元的距离 对于输出神经元对于输出神经元j，它和特定的输入模式，它和特定的输入模式xk之间的距离用之间的距离用djk表示，并且有表示，并且有1.6 som网络四、选择最优匹配的输出神经元四、选择最优匹配的输出神经元c 和输入模式和输入模式xk的距离最小的神经元就是最的距离最小的神经元就是最优匹配的输出神经元优匹配的输出神经元c。 用用wc表示神经元表示神经元c对输入神经元的权系数对输入神经元的权系数向量，则应有

48、向量，则应有1.6 som网络五、修正权系数五、修正权系数 根据设定的邻近区域，或递减变小后的区域，对区域根据设定的邻近区域，或递减变小后的区域，对区域nc中中的神经元进行权系数修正。的神经元进行权系数修正。 修正按下式执行修正按下式执行 wij(t+1)=wij(t)+(t)xi(t)-wij(t) 对于区域对于区域nc外的神经元，其权系数不变，即有外的神经元，其权系数不变，即有 wij(t+1)=wij(t) 其中，其中，(t)是递减的增益函数，并且有是递减的增益函数，并且有0(t)j0if netj0当神经网络从当神经网络从t0开始，有初始状态开始，有初始状态y(0)；经过有限时；经过有

49、限时刻刻t，有：，有： y(t+t)=y(t) 则称网络是稳定的。则称网络是稳定的。1.7 hopfield网络对对hopfield网络引入一个网络引入一个lyapunov函函数，即所谓能量函数：数，即所谓能量函数：1.7 hopfield网络1.7 hopfield网络1.7 hopfield网络1.7 hopfield网络1.7 hopfield网络coben和和grossberg在在1983年给出了关于年给出了关于hopfield网络稳定的充分条件，他们指出：网络稳定的充分条件，他们指出： 如果如果hopfield网络的权系数矩阵网络的权系数矩阵w是一个是一个对称矩阵，并且，对角线元素为

50、对称矩阵，并且，对角线元素为0则这个网络则这个网络是稳定的。即是说在权系数矩阵是稳定的。即是说在权系数矩阵w中，如果中，如果 i=j时，时，wij=0；ij时，时，wij=wji 则则hopfield网络是稳定的。网络是稳定的。 这是这是hopfield网络稳定的充分条件，而不是网络稳定的充分条件，而不是必要条件。在实际中有很多稳定的必要条件。在实际中有很多稳定的hopfield网网络，但是它们并不满足权系数，矩阵络，但是它们并不满足权系数，矩阵w是对称矩是对称矩阵这一条阵这一条1.7 hopfield网络连续连续hopfield网络网络 连续连续hopfield网络的拓朴结构和离散网络的拓朴

51、结构和离散hopfield网络的结构相同。网络的结构相同。 在连续在连续hopfield网络中，和离散网络中，和离散hopfield网络一样，其稳定条件也要求网络一样，其稳定条件也要求wij=wji。 连续连续hopfield网络和离散网络和离散hopfield网络网络不同的地方在于其函数不同的地方在于其函数g不是阶跃函数，而是不是阶跃函数，而是s形的连续函数。一般取形的连续函数。一般取 g(u)=1/(1+e-u)1.7 hopfield网络 考虑对于一个神经细胞，即神经元j，其内部膜电位状态用uj表示细胞膜输入电容为cj，细胞膜的传递电阻为rj，输出电压为vj，外部输入电流用ij表示，1.

52、7 hopfield网络其中：n是神经网络神经元的个数vj(t)为输出电位；uj(t)为输入电位。1.7 hopfield网络能量函数e(t)其中：g-1(v)是vj(t)gj(uj(t)的反函数。1.7 hopfield网络hopfieldhopfield网解决网解决tsptsp问题问题1985年，年，j. j. hopfield和和d. w. tank用循用循环网求解环网求解tsp。试验表明，当城市的个数。试验表明，当城市的个数不超过不超过30时，多可以给出最优解的近似解。时，多可以给出最优解的近似解。而当城市的个数超过而当城市的个数超过30时，最终的结果就时，最终的结果就不太理想了不太理

53、想了 n n个城市间存在个城市间存在n!/(2n)n!/(2n)条可能路径条可能路径 设问题中含有设问题中含有n个城市个城市, ,用用n*n个神经元构个神经元构成网络成网络 1.7 hopfield网络dxy城市城市x与城市与城市y之间的距离；之间的距离；yxi城市城市x的第的第i个神经元的状态：个神经元的状态： 1城市城市x在第在第i个被访问个被访问yxi= 0城市城市x不在第不在第i个被访问个被访问wxi,yj城市城市x的第的第i个神经元到城市个神经元到城市y的的第第j个神经元的连接权。个神经元的连接权。 1.7 hopfield网络例如：四个城市例如：四个城市x、y、z、w城市名城市名访

54、问顺序标示访问顺序标示1234x0100y0001z1000w00101.7 hopfield网络1.7 hopfield网络xxzizizixixzxixiixzxzixixiijxjxiyyyddnycyybyyae11222221.7 hopfield网络仅当所有的城市最多只被访问一次时取得极小仅当所有的城市最多只被访问一次时取得极小值值0。xiijxjxiyya2a、b、c、d为惩罚因子为惩罚因子第第1项项1.7 hopfield网络仅当每次最多只访问一个城市时取得极小值仅当每次最多只访问一个城市时取得极小值0。ixzxzixiyyb2第第2项项1.7 hopfield网络当且仅当所有

55、的当且仅当所有的n个城市一共被访问个城市一共被访问n次时才取次时才取得最小值得最小值0。22xixinyc第第3项项1.7 hopfield网络表示按照当前的访问路线的安排，所需要走的表示按照当前的访问路线的安排，所需要走的路径的总长度路径的总长度 xxzizizixixzyyydd112第第4项项1.7 hopfield网络求解tsp问题的网络方程：2.模糊计算2.1 模糊集的基本概念模糊数学是研究和处理模糊性现象的数学方法。模糊数学是研究和处理模糊性现象的数学方法。“大胡子高个子的中年男人大胡子高个子的中年男人”.尽管这里只提供尽管这里只提供了一个精确信息了一个精确信息男人，而其他信息男人

56、，而其他信息大胡大胡子、高个子中年等都是模糊概念。子、高个子中年等都是模糊概念。模糊数学在实际中的应用几乎涉及到国民经济的模糊数学在实际中的应用几乎涉及到国民经济的各个领域及部门，农业、林业、气象、环境、地各个领域及部门，农业、林业、气象、环境、地质勘探、医学、经济管理等方面都有模糊数学的质勘探、医学、经济管理等方面都有模糊数学的广泛而又成功的应用。广泛而又成功的应用。2.1模糊理论的数学基础 经典集合具有两条基本属性：元素彼经典集合具有两条基本属性：元素彼此相异，即无重复性；范围边界分明此相异，即无重复性；范围边界分明, ,即一即一个元素个元素x要么属于集合要么属于集合a( (记作记作x a

57、),),要么要么不属于集合不属于集合( (记作记作x a) )，二者必居其一，二者必居其一. . 集合的表示法：集合的表示法： (1)(1)枚举法，枚举法，a= x1 , x2 , xn ； (2)(2)描述法，描述法，a= x | p(x). a b 若若x a，则则x b； a b 若若x b，则则x a； a=b a b且且 a b. .2.1模糊理论的数学基础集合集合a的所有子集所组成的集合称为的所有子集所组成的集合称为a的幂的幂集，记为集，记为 (a).并集并集ab = x | x a或或x b ；交集交集ab = x | x a且且x b ；余集余集ac = x | x a . .

58、2.1模糊理论的数学基础集合的运算规律集合的运算规律 幂等律：幂等律： aa = a， aa = a； 交换律：交换律： ab = ba， ab = ba； 结合律：结合律：( ab )c = a( bc )， ( ab )c = a( bc )； 吸收律：吸收律： a( ab ) = a，a( ab ) = a；2.1模糊理论的数学基础映射映射映射映射 f ： x y集合集合a的特征函数：的特征函数：., 0;, 1)(axaxxa2.1模糊理论的数学基础特征函数满足：特征函数满足： ).(1)();()()();()()(xxxxxxxxaababababac取大运算取大运算, ,如如23

59、 = 3取小运算取小运算, ,如如23 = 22.1模糊理论的数学基础 x y 的子集的子集 r 称为从称为从 x 到到 y 的的二元关系，二元关系，特别地，当特别地，当 x = y 时，时，称之为称之为 x 上的上的二元关系二元关系.二二元关系简称为元关系简称为关系关系. 若若(x , y ) r，则，则称称 x 与与 y 有有关系，记为关系，记为r (x , y ) = 1； 若若(x , y ) r，则，则称称 x 与与 y 没有没有关系，记为关系，记为r (x , y ) = 0. 映射映射 r : x y 0,1实际上是实际上是 x y 的子集的子集r上的特征函数上的特征函数.二元关

60、系二元关系2.1模糊理论的数学基础关系的矩阵表示法关系的矩阵表示法 设设x = x1, x2, , xm, ,y= y1, y2, , yn，r为从为从 x 到到 y 的的二元关系，记二元关系，记rij = =r(xi , yj )，r = (rij)mn，则则r为布为布尔矩阵尔矩阵( (boole) )，称为称为r的关系矩阵的关系矩阵. 布布尔矩阵尔矩阵( (boole) )是元素只取是元素只取0或或1的矩阵的矩阵. .关系的合成关系的合成 设设 r1 是是 x 到到 y 的关系的关系, r2 是是 y 到到 z 的关系的关系, 则则r1与与 r2的合成的合成 r1 r2是是 x 到到 z 上的一个关系上的一个关