人工智能[第九章神经网络与遗传算法]山东大学期末考试知识点复习

1、第九章神经网络与遗传算法11人工神经网络概述从广义上讲，神经网络是泛指生物神经网络与人工神经网络这两个方面。所谓生物神经网络是指由中枢神经系统(脑和脊髓)及周围神经系统(感觉神经、运动神经、交感神经、副交感神经等)所构成的错综复杂的神经网络，它负责对动物肌体各种活动的管理，其中最重要的是脑神经系统。所谓人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式建立起来的网络系统。1人工神经网络的组成及特征人工神经网络(ArtificialNeuralNets,ANN)是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能，这些处理单元称作人工神经元。图9.

2、1表示人工神经网络(ANN)的组成略图，它由多个人工神经元相互连接组成。图9.2表示每个神经元模型，图中，圆表示神经元的细胞体；xi表示该神经元的外部输入，对应于生物神经元的树突；3i为该神经元分别与各输入间的连接强度，称为连接权值；0表示神经元的阈值；y表示神经元的输出，它对应于生物神经元的轴突。人工神经网络中，各神经元的连接方式一般有很多种，不同的连接方式就构成了网络的不同连接模型。常见的连接模型有前向网络、从输入层到输出层有反人工神经网络具有以下主要特征：能较好的模拟人的形象思维。具有大规模并行协同处理能力。具有较强的学习能力。具有较强的容错能力和联想能力。是一个大规模自组织、自适应的非

3、线性动力系统。2人工神经元的工作过程假设来自其他处理单元(神经元)i的信息为xi,它们与本处理单元的互相作用强度即连接权值为3i,i=0,1,，n1,处理单元的内部阈值为8。那么本神经元的输入为而处理单元的输出为其中，xi为第i个元素的输入，3i为第i个处理单元与本处理单元的互联权重。f称为激发函数或作用函数，它决定节点(神经元)的输出。该输出为1或0取决于其输入之和大于或小于内部阈值e。令。=-，称为激活值。激发函数一般具有非线性特性。常用的非线性激发函数有阈值型、分段线性型、Sigmoid函数型(简称S型)和双曲正切型。如图9.3所示。图乩3常用的溢岌函散凶祠迫樂(切廿用毁性也(c)Sig

4、moidft但】取曲正切期3人工神经网络的分类从不同的角度进行划分，可以得到神经网络模型不同的分类结果。若按网络的性能划分，可分为连续型和离散型网络，又可分为确定型和随机型网络；若按网络的拓扑结构划分，则可分为有反馈网络和无反馈网络；若按网络的学习方法划分，则可分为有教师的学习网络和无教师的学习网络；若按连接突触的性质划分，则可分为一阶线性关联网络和高阶非线性关联网络。12基于反向传播的网络模型1反向传播模型及其网络结构反向传播模型也称B-P(Back-Propagation)模型，是一种用于前向多层神经网络的反向传播学习算法。由鲁梅尔哈特(D.Rumelhart)和麦克莱伦德(MeClell

5、and)于1985年提出的。目前，B-P算法已经成为应用最多且最主要的一种训练前向人工神经网络的学习算法，也是前向网络得以广泛应用的基础。BP算法的网络结构是一个前向多层网络，网络中不仅含有输入节点和输出节点，而且含有一层或多层隐(层)节点，如图9.4所示。2.BP算法的学习过程ffi9,也P阻站BP算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果；反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能

6、达到期望的误差要求。学习的方法是使用一组训练样例对网络的连接权值进行训练，每一个样例中，都包括输入及期望的输出两部分。在正向传播过程中，首先将训练样例的输入信息输入到网络中，输入信息从输入层经隐层节点逐层计算处理后，传至输出层。在计算处理过程中，每一层神经元的状态只影响下一层神经元的状态，如果在输出层得到的结果不是所期望的输出，那么就转为反向传播。反向传播把误差信号沿原连接路径返回，并按一定的原则对各层神经元的连接权值进行适当修改，直至第一个隐层，这时再开始进行正向传播，利用刚才的输入信息进行正向网络计算，如果网络的输出达到了误差要求，则学习过程结束，如果达不到误差要求，则再进行反向传播的连接

7、权值调整。这一过程不断往复，直到网络正向计算的输出结果达到误差要求为止，这时学习过程就告结束。一旦网络进行训练之后，在用于求解实际问题时就只需使用正向传播，而不需要再进行反向传播了。BP算法的学习过程如下：选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。从训练样例集中取一样例，把输入信息输入到网络中。分别计算经神经元处理后的各层节点的输出。计算网络的实际输出和期望输出的误差。从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。对训练样例集中的每一个样例重复的步骤，直到对整个训练样例集的误差达到要求时为止。在以上的学习过程中，第步

8、是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必须解决的问题。B-P是一个在解决实际问题时很有效的算法，由于它理论基础牢固，推导过程严谨，物理概念清晰及通用性好等优点。所以，它是目前用来训练前向多层网络较好的算法。然而BP算法也有一些缺点，主要表现在：该学习算法的收敛速度慢，常常需要成千上万次的迭代，而且随着训练样例维数的增加，网络性能会变差。网络中隐节点个数的选取尚无理论上的指导。从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是

9、不完备的。所谓算法的完备性是指，若问题有解，则运用算法就一定能够求得它的解。对于B-P算法的这些缺点，目前已提出了一些解决的办法，并且对BP算法的研究还在不断进行中。13Hopfield网络模型由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。设用X(t)表示网络在时刻t的状态，如果从t=0的任一初态X(0)开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生变化，即X(t+t)=X(t)t0(9.3)就称此网络是稳定的。离散网络

10、模型是一个离散时间系统，每个神经元只有两个状态，可以用1和0来表示，由连接权值Wjj所构成的矩阵是一个对角线为0的对称矩阵，即如果用x(t)表示整个网络在时刻的状态，则X是一个向量，它包含了网络中每个人工神经元的状态。所以，状态向量X中的分量个数就是网络中人工神经元的个数。假设网络中的节点(人工神经元)个数为n则向量X的构成如下:XT(t)=x1(t)，x2(t)，xi(t)，xn(t)(95)xi(t)表示节点i(第i个神经元)在t时刻的状态,该节点在时刻t+1的状态由式(9.6)决定：这里，二，其中的Wi.为节点i到节点j的连接权值；e.为节点j的阈值。如果设Y(t)是网络输出层节点在时刻

11、t的状态向量，它是X(t)向量的一个子向量，其中每个分量都为输出层的一个节点。如果输出层有两个节点，并且用1和0分别表示每个节点的状态，则整个网络就有4种状态，分别为：00、01、10和11。如果输出层有3个节点，则整个网络就有8种状态，分别是000、001、010、011、100、101、110和111。一般情况下，如果输出层有m个神经元，则整个网络的输出状态就可能有2m个。当输入向量信息进入网络后，网络的迭代计算过程就使得输出从一个状态转向另一个状态，直到稳定或趋于稳定于某一个状态为止。Hopfield网络离散模型有两种工作模式：一种称为串行或异步方式，另一种称为并行或同步方式。所谓串行方

12、式，是指在任一时刻t，只有一个神经元i发生状态变化，而其余的神经元保持状态不变。所谓并行方式，是指在任一时刻t，都有部分或全体神经元同时改变状态。有关离散的Hopfield网络的稳定性问题，已于1983年由Cohen和Grossberg给予了证明。而Hopfield等人又进一步证明，只要连接权值构成的矩阵是非负对角元的对称矩阵，则该网络就具有串行稳定性。由于离散的Hopfield网络模型中，各神经元的状态只有两种，即0和1，这与通常人类的大脑神经元具有较大的差异，因为人脑神经元的输入和输出是一些连续的信号，且人脑神经元存在时延。所以，为了更好地用人工神经元模拟人脑神经元，1984年，Hopfi

13、eld又提出了连续时间的神经网络，在这种神经网络中，各节点可在01的区间内取任一实数值。2Hopfield网络学习算法设置互连权值。I。IJ其中xis是s类样例的第i个分量，它可以为1或0,样例类别数为m,节点数为n。未知类别样本初始化。yi(0)=xi0WiWn1(9.8)其中，yi(t)为节点i在t时刻的输出，当t=0时，yi(0)就是节点i的初始值，xi为输入样本的第i个分量。迭代直到收敛。式(9.9)中f为阈值型激发函数。该过程一直迭代到不再改变节点的输出为止。这时各节点的输出与输入样例达到最佳匹配。否则转继续。1.4遗传算法的概念与原理遗传算法(GeneticAlgorithm，GA

14、)是一种受进化论思想启发而得出的一种全局优化搜索算法。1975年，美国密执根大学的霍勒德(J.H.Holland)提出了模拟自然进化过程的遗传算法，开创性地对遗传算法的理论和方法进行了系统性地研究，其当时的主要目的是为了说明自然和人工系统的自适应过程。由于遗传算法的本质是一种不依赖具体问题的直接搜索方法，因此，近年来在模式识别、神经网络、图像处理、机器学习、工业优化控制、自适应控制、生物科学、社会科学等领域都得到了广泛的应用，并且有人认为，遗传算法将是未来十年对计算技术有重大影响的关键技术之一。1.遗传算法的基本概念遗传算法的基本思想源于达尔文(C.R.Darwin)的进化论和门德尔(G.J.

15、Mendel)的遗传学说。在遗传算法的理论中要涉及各种进化和遗传学的概念，这些概念包括：串：以二进制数码表示的数字串，是个体的表示形式。对应于遗传学中的染色体。群体：个体的集合称为群体。群体的元素是个体，其表现形式为串。群体大小：在群体中个体的数量称为群体的大小。基因：基因是串中的元素，基因用于表示个体的特征。例如有一个串S=1011,则其中的1、0、1、1这4个元素分别称为基因。基因位置：一个基因在串中的位置称为基因位置，有时也简称基因位。基因位置由串的左边向右边计算，例如在串S=1101中，0的基因位置是3。基因位置对应于遗传学中的地点。基因特征值：在用串表示整数时，基因的特征值与二进制数

16、的权一致；例如在串S=1011中，基因位置3中的1,它的基因特征值为2；基因位置1中的1，它的基因特征值为8。串结构空间Ss：串结构空间是指，串中各基因任意组合所构成的串的集合。基因操作是在结构空间中进行的。串结构空间对应于遗传学中的基因型的集合。参数空间SP：这是串空间在物理系统中的映射。它对应于遗传学中的表现型的集合。非线性：它对应遗传学中的异位显性。适应度：表示某一个体对于环境的适应程度。除此之外，遗传算法还有一些其他的概念，我们将在下面介绍遗传算法的原理和执行过程时再进行说明。2遗传算法的原理遗传算法GA把问题的解表示成“染色体”，也即是以二进制编码的串。并且，在执行遗传算法之前，给出

17、一群“染色体”(串)，也即是假设解。然后，把这些假设解置于问题的“环境”中，并按适者生存的原则，从中选择出较适应环境的“染色体”进行复制，再通过交换、突变等遗传操作过程，产生更适应环境的新一代“染色体”群。这样，一代一代地进化，最后就会收敛到最适应环境的一个“染色体”上，它就是问题的最优解。霍勒德提出的遗传算法也称简单遗传算法(SimpleGeneticAlgorithm，SGA)，是一种基本的遗传算法，其基本过程可表示如下：begin选择适当表示模式，生成初始群体；通过计算群体中各个体的适应度对群体进行评价；cWhile未达到要求的目标dobegina.选择作为下一代群体的各个体；执行交换操

18、作；执行突变操作；对群体进行评价；endend由上述过程可以看出，SGA算法主要涉及以下内容：表示模式和初始群体生成,群体的评价，个体的选择，交换操作，突变操作。由上述过程可以看出，SGA算法主要涉及以下内容：表示模式和初始群体生成，群体的评价，个体的选择，交换操作，突变操作。表示模式是遗传算法的理论基础，是一个描述群体中串的某些确定位置上具有相似性的串子集的相似性模板。初始群体生成是指生成n个二进制串bi(i=1,2,，n)组成遗传算法的初始群体。一般可用随机方法来产生初始群体，当然最好能考虑各个体的代表性和分布概率。群体的评价是对群体中各个体的适应性进行评价，通常需构造一目标函数或称适应函

19、数。适应函数的构造对参加交换和突变操作的个体选择极为重要，例如，可以将串中的各元素的和作为适应度值来构造一个评价函数。个体选择就是从群体中选择出较适应环境的个体，并利用这些选中的个体繁殖下一代。故有时也称这一操作为再生(Reproduction)。选择个体的方法通常依据个体对环境的适应度(Fitness)作为评价依据。适应度(目标函数值)较大的个体有较高的概率生存，即在下一代群体中再次出现。交换操作又称交叉操作或杂交操作，是GA中最主要的遗传操作。该操作在所选中的用于繁殖下一代的个体中，对两个不同的个体(串对)的相同位置的基因进行交换，从而产生新的个体。突变操作又称变异操作，一般在交换操作后执行。该操作对选中的个体(即串或“染色体”)中