智能优化算法数学建模人工神经网络课件

1、智 能 优 化 算 法前言 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。 人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。 长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。前言(C.) 粗略地讲，大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。 这种神经元网络中各神经元

2、之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。 现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。前言(C.) 人工神经网络是根据人的认识过程而开发出的一种算法。 假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个

3、输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。前言(C.e) 由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。 需要指出的是，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于较低的水平。人工神经网络的定义定义方式有多种：HechtNielsen（1988年）Simpson（1987年）：人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 别名人工神经系统（ANS）神经网络（NN）自适应系统（Adaptive Systems）、自适应网（Adaptive Ne

4、tworks）联接模型（Connectionism）神经计算机（Neurocomputer）人工神经网络的发展初始期（20世纪40年代）：1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics。1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。 人工神经网络的发展(C.)第一高潮期（19501968） ：以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表

5、作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。 人工神经网络的发展(C.)反思期（19691982） ：M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年。 书中指出：简单的感知器存在非常严重的局限性，甚至不能解决简单的“异或”问题。 批评的声音高涨，不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。人工神经网络的发展(C.)第二高潮期（19831990） ：1982年，J. Hopfield提出循环网络用Lyapunov

6、函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上人工神经网络的发展(C.)第二高潮期（19831990） ：1984年， J. Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 1986年，并行分布处理小组的Ru

7、melhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。国内首届神经网络大会是1990年12月在北京举行。 人工神经网络的发展(C.e)再认识与应用研究期（1991） ：发现的问题：应用面还不够宽结果不够精确存在可信度的问题 开始研究：开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。充分发挥两种技术各自的优势是一个有效方法希望在理论上寻找新的突破，建立新的专用/通用模型和算法。进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 生物神经网构成：生物神经元由: 细胞体(Cell body)树突(D

8、endrite)轴突(Axon)突触(Synapse)生物神经网(C.)工作过程：神经元就是神经细胞，它是动物的重要特征之一，在人体内从大脑到全身存在大约1010个神经元。神经元间信息的产生、传递和处理是一种电化学活动。神经元间的信号通过突触传递。通过它，一个神经元内传送的冲击信号将在下一个神经元内引起响应，使下一个神经元兴奋，或阻止下一个神经元兴奋。生物神经网(C.)基本工作机制：一个神经元有两种状态兴奋和抑制平时处于抑制状态的神经元，当接收到其它神经元经由突触传来的冲击信号时，多个输入在神经元中以代数和的方式叠加。进入突触的信号会被加权，起兴奋作用的信号为正，起抑制作用的信号为负。如果叠加

9、总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出脉冲，并由轴突的突触传递给其它神经元。神经元被触发后有一个不应期，在此期间内不能被触发，然后阈值逐渐下降，恢复原来状态。生物神经网(C.e)特点：由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息处理功能的简单叠加。神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。人工神经元人工神经元是对生物神经元的模拟。模拟生物神经网络应首先模拟生物神经元：人工神经元(节点)。从三个方面进行模拟：节点本身的信息处理能力节点与节点之间连接(拓扑结构

10、)相互连接的强度(通过学习来调整)人工神经元(C.)人工神经元的建模：每个神经元都是一个多输入单输出的信息处理单元；神经元输入分兴奋性输入和抑制性输入两种类型；神经元具有空间整合特性和阈值特性；神经元输入与输出间有固定的时滞, 主要取决于突触延搁；忽略时间整合作用和不应期；神经元本身是非时变的，即其突触时延和突触强度均为常数。人工神经元(C.)人工神经元的基本构成：人工神经元模拟生物神经元的一阶特性输入：X=(x1，x2，xn)联接权：W=(w1，w2，wn)T网络输入：net=xiwi向量形式：net=XWxn wnx1 w1x2 w2net=XW人工神经元(C.)人工神经元的输出：针对人工

11、神经元所接收的网络输入，通过一个转移函数，得到人工神经元的最后输出。人工神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。人工神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。人工神经元(C.)转移函数：线性函数（Linear Function） o=f(net)=k*net+c neto0c人工神经元(C.)转移函数：非线性斜面函数(Ramp Function) if neto=f(net)= k*net if |net| - if net0为一常数，被称为饱和值，为该

12、神经元的最大输出。 - - net o 人工神经元(C.)转移函数：阈值函数（Threshold Function） if neto=f(net)= - if net-、均为 非负实数， 为阈值 -onet0人工神经元(C.e)转移函数：S形函数 o=f(net)= (a+b)/(1+exp(-d*net)a，b，d为常数。它的饱和值为a和a+b。人工神经网络的分类按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连互连型网络结构：网络中任意两个节点之间都可能存在连接路径按网络内部的信息流向分类：前馈型网络：网络信息处理的方向是从输入层

13、到各隐层再到输出层逐层进行反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出人工神经网络的分类(C.)按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连单纯型层次型结构人工神经网络的分类(C.)按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连输出层到输入层有连接人工神经网络的分类(C.)按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连层内有连接层次型结构人工

14、神经网络的分类(C.)按网络连接的拓扑结构分类：互连型网络结构：网络中任意两个节点之间都可能存在连接路径全互连型人工神经网络的分类(C.)按网络连接的拓扑结构分类：互连型网络结构：网络中任意两个节点之间都可能存在连接路径局部互连型人工神经网络的分类(C.)按网络内部的信息流向分类：前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行前馈型网络人工神经网络的分类(C.e)按网络内部的信息流向分类：反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出反馈型网络人工神经网络的学习神经网络能够通过对样本的学习训练，不断改变网络的连接权

15、值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。神经网络的学习类型有导师学习(有监督学习)无导师学习(无监督学习)死记式学习人工神经网络的学习(C.)神经网络的学习类型有导师学习(有监督学习) 有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值。当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导

16、师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行工作了。人工神经网络的学习(C.)神经网络的学习类型无导师学习(无监督学习) 无导师学习也称为无监督学习，学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。人工神经网络的学习(C.)神经网络的学习类型死记式学习 死记式学习是指网络事先设计成能记忆

17、特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程。人工神经网络的学习(C.e)神经网络的学习规则人工神经网络的工作原理人工神经网络的工作原理到底是怎样的，我们可以从一个最简单的网络来剖析，一定程度上打开这个黑匣子。1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经

18、网络研究中具有重要意义，是研究其它网络的基础，常作为学习神经网络的起点。人工神经网络的工作原理(C.)感知器模型j=1,2,m 人工神经网络的工作原理(C.)感知器模型净输入：输出为：Tj为阀值，sgn为符号函数人工神经网络的工作原理(C.)感知器模型具体的：设输入向量X=(x1 ,x2)T输出：则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分界线ojx1-1x2人工神经网络的工作原理(C.)感知器模型具体的：则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分界线(Why?) w1j x1+w2j x2 Tj = 0 w1j x1 = Tj - w2j x2 x1

19、 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c人工神经网络的工作原理(C.)感知器模型具体的：这样的话，我们就可以得到 ojx1-1x2人工神经网络的工作原理(C.)感知器模型一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。ojx1-1x2人工神经网络的工作原理(C.)感知器模型一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两

20、类。问题：这种知识到底是 怎么样学习的啊？人工神经网络的工作原理(C.)感知器的学习规则：关键是求：Perceptron(感知器)学习规则：人工神经网络的工作原理(C.)感知器学习规则的训练步骤：（1）权值初始化（2）输入样本对（3）计算输出（4）根据感知器学习规则调整权值（5）返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。人工神经网络工作原理(C.)神经网络的学习规则一个具体的例子：单计算节点感知器，3个输入。给定3对训练样本对如下：设初始权向量W(0)=(0.5,1,-1,0)T，=0.1。注意，输入向量中第一个分量x0恒等于-1，权向量中第一个分

21、量为阈值，试根据以上学习规则训练该感知器。X1 = (-1，1，-2，0)T d1 =1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0.5)T d3 =1 人工神经网络工作原理(C.)神经网络的学习规则学习过程： 第一步 输入X1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T人工神经网络工作原理(C.)神经网络的学习规则学习过程：第

22、二步 输入X2，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于d2= o2(1)，所以W(2)= W(1)。人工神经网络工作原理(C.e)神经网络的学习规则学习过程：第三步 输入X3，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 o3(2)=sgn(-2.1)=-1W(3)= W(2)

23、+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步 返回到第一步，继续训练直到dp- op=0，p=1,2,3。经典的人工神经网络算法BP算法BP (Error Back Proragation，BP)误差反向传播算法1986年，Rumelhart 和McCelland领导的科学家小组Parallel Distributed Processing一书它是有指导训练的前馈多层网络训练算法，是靠调节各层的加权，使网络学会由输入输出对组成的训练组执行优化的方法是梯度下降法BP算法是使用非常广

24、泛的一种算法，最常用的转移函数是Sigmoid函数经典的人工神经网络算法BP算法BP 网络模型输入层隐层输出层经典的人工神经网络算法(C.)BP算法BP 网络的数学模型输入向量： X=(x1,x2,xi,xn)T隐层输出向量： Y=(y1,y2,yj,ym)T输出层输出向量： O=(o1,o2,ok,ol)T期望输出向量：d=(d1, d2,dk,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)经典的人工神经网络算法(C.)BP算法学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的

25、输出不断地接近期望的输出。学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播；误差的反向传播经典的人工神经网络算法(C.)BP算法学习的过程：正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止经典的人工神经网络算法(C.)BP算法感知器程序BP算法程序MATLAB中BP神经网络的重要函数和基本功能 函 数 名功 能newff()生成一个前馈BP网络tansig()双曲正切S型

26、(Tan-Sigmoid)传输函数logsig()对数S型(Log-Sigmoid)传输函数traingd()梯度下降BP训练函数经典的人工神经网络算法(C.e)下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。 月份123456销量205623952600229816341600月份789101112销量187314781900150020461556经典的人工神经网络算法(C.)Hopfield神经网络反馈神经网络：根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。 美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield 网。 Hopfield网络分为离散型和连续型两种网络