智能控制技术(第5章-神经网络理论基础)

1、第第5 5章章 模糊控制从人的经验出发，解模糊控制从人的经验出发，解决了智能控制中人类语言的描述和决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为模拟人脑的感知、推理等智能行为方面迈出了重大的一步。方面迈出了重大的一步。 模糊控制在处理数值数据、自学习模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人工神经网络从另一个角度出发，即从人恼的生理学和心理学着手，通过人工人恼的生理学和心

2、理学着手，通过人工模拟人脑的工作机理来实现机器的部分模拟人脑的工作机理来实现机器的部分智能行为。智能行为。 5.1 神经网络的基本概念神经网络的基本概念 神经元具有如下功能：神经元具有如下功能： (1)兴奋与抑制：如果传入神经元的冲兴奋与抑制：如果传入神经元的冲动经整和后使细胞膜电位升高，超过动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整和后使细如果传入神经元的冲动经整和后使细胞膜电位降低，低于动作电位的阈值胞膜电位降低，低于动作电位的阈值时即为抑制状态

3、，不产生神经冲动。时即为抑制状态，不产生神经冲动。 (2)学习与遗忘：由于神经元结构的可塑学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。此神经元具有学习与遗忘的功能。 决定神经网络模型性能三大要素为：决定神经网络模型性能三大要素为： (1)神经元（信息处理单元）的特性；神经元（信息处理单元）的特性； (2)神经元之间相互连接的形式神经元之间相互连接的形式拓扑结拓扑结构；构； (3)为适应环境而改善性能的学习规则。为适应环境而改善性能的学习规则。 (3) (3) 自组织网络自组织网络 网络结构如图所示。网络结构如

4、图所示。KohonenKohonen网络是最典型的网络是最典型的自组织网络。自组织网络。KohonenKohonen认为，当神经网络在接受外认为，当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为射是通过无监督的自适应过程完成的，所以也

5、称为自组织特征图。自组织特征图。 Kohonen Kohonen网络通过无导师的学习方式进行权值网络通过无导师的学习方式进行权值的学习，稳定后的网络输出就对输入模式生成自的学习，稳定后的网络输出就对输入模式生成自然的特征映射，从而达到自动聚类的目的。然的特征映射，从而达到自动聚类的目的。输出节点输入0 x1x2x图图 自组织神经网络自组织神经网络jiijijIIkwkw)() 1(其中，其中，为连接从神经元为连接从神经元到神经元到神经元的的当前权值，当前权值，和和为神经元的激活水平。为神经元的激活水平。Hebb学习规则是一种无教师的学习方学习规则是一种无教师的学习方法，它只根据神经元连接间的激

6、活水平改法，它只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习变权值，因此，这种方法又称为相关学习或并联学习。或并联学习。)(kwijijiIjIPppPpppEydE112)(21pdpy)(ppWXfy WTnwwwW, 1, 0pXTpnpppxxxX,10Pp, 2 , 1iWEWPpipiWEWE1221pppydEppWxippppipppppipppipXfydXyyEWEWE)( )(PpippppiXfydW1)( )(5.1.5 5.1.5 神经网络特征神经网络特征 神经网络具有以下几个特征：神经网络具有以下几个特征：（1 1）能逼近任意非线性函数；）能逼

7、近任意非线性函数；（2 2）信息的并行分布式处理与存储；）信息的并行分布式处理与存储；(3) (3) 可以多输入、多输出；可以多输入、多输出；（4 4）便于用超大规模集成电路（）便于用超大规模集成电路（VISIVISI）或光）或光学集成电路系统实现，或用现有的计算机技学集成电路系统实现，或用现有的计算机技术实现；术实现；（5 5）能进行学习，以适应环境的变化。）能进行学习，以适应环境的变化。5.1.6神经网络控制的研究领域神经网络控制的研究领域 1 1 基于神经网络的系统辨识基于神经网络的系统辨识 将神经网络作为被辨识系统的模型，可在已知将神经网络作为被辨识系统的模型，可在已知常规模型结构的情

8、况下，估计模型的参数。常规模型结构的情况下，估计模型的参数。 利用神经网络的线性、非线性特性，可建立线利用神经网络的线性、非线性特性，可建立线性、非线性系统的静态、动态、逆动态及预测性、非线性系统的静态、动态、逆动态及预测模型，实现非线性系统的建模和辨识。模型，实现非线性系统的建模和辨识。(2) (2) 神经网络控制器神经网络控制器 神经网络作为实时控制系统的控制器，对不神经网络作为实时控制系统的控制器，对不确定、不确知系统及扰动进行有效的控制，使控确定、不确知系统及扰动进行有效的控制，使控制系统达到所要求的动态、静态特性。制系统达到所要求的动态、静态特性。 (3) (3) 神经网络与其他算法

9、相结合神经网络与其他算法相结合 将神经网络与专家系统、模糊逻辑、遗传算法将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。等相结合，可设计新型智能控制系统。(4) (4) 优化计算优化计算 在常规的控制系统中，常遇到求解约束优化问在常规的控制系统中，常遇到求解约束优化问题，神经网络为这类问题的解决提供了有效的途题，神经网络为这类问题的解决提供了有效的途径。径。 目前，神经网络控制已经在多种控制结构中得目前，神经网络控制已经在多种控制结构中得到应用，如到应用，如PIDPID控制、模型参考自适应控制、前馈控制、模型参考自适应控制、前馈反馈控制、内模控制、预测控制、模糊控制等

10、。反馈控制、内模控制、预测控制、模糊控制等。5.2前馈神经网络前馈神经网络 前馈神经网络是神经网络中一种典型分层结构，信息前馈神经网络是神经网络中一种典型分层结构，信息流从输入层进入网络后逐层向前传递至输出层。根据前愦网流从输入层进入网络后逐层向前传递至输出层。根据前愦网络中神经元转移函数、隐层数以及权值调整规则的不同，可络中神经元转移函数、隐层数以及权值调整规则的不同，可形成具有各种功能特点的神经网络。形成具有各种功能特点的神经网络。单层感知器单层感知器 1958年，美国心理学家年，美国心理学家FrankRosenblatt提出一种具有单提出一种具有单层计算单元的神经网络，称层计算单元的神经

11、网络，称Perceptron,即感知器。感知器是即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对所感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络的研究起了重要的推动作用。而对神经网络的研究起了重要的推动作用。单层感知器的结构与功能都很简单，以至于目前很少被单层感知器的结构与功能都很简单，以至于目前很少被应用来解决实际问题，但它是研究其他神经网络的基础。

12、应用来解决实际问题，但它是研究其他神经网络的基础。5.2.1感知器模型感知器模型y1yjymW1WjWmx1x2xixn单层感知器单层感知器处理层处理层输入层输入层处理层处理层，m个神经接点，每节点个神经接点，每节点均有信息处理能力，均有信息处理能力，m个节点向个节点向外部处理输出信息，构成输出列外部处理输出信息，构成输出列向量向量Y。Y=Y1Y2.YjYmT输入层输入层，感知层感知层，n个神经节点，个神经节点，无信息处理能力，只负责引入外无信息处理能力，只负责引入外部信息部信息X。X=x1x2xixnT两层间连接权值用权值列向量两层间连接权值用权值列向量Wj表示，表示，m个权向量构成单层感知

13、器的权值矩阵个权向量构成单层感知器的权值矩阵W。Wj=w1j w2jwijwnjTW=W1W2WjWmT由神经元数学模型，处理层中任一节点，其净输入由神经元数学模型，处理层中任一节点，其净输入netj来自输入层各节点的输入加来自输入层各节点的输入加权和：权和：niiijjxwnet1离散型单计算层感知器采用符号型转移函数，则离散型单计算层感知器采用符号型转移函数，则j节点输出节点输出为：为：niTjiijjjjXWxwnety0)sgn()sgn()sgn(5.2.2感知器的功能感知器的功能为便于直观分析，现考虑单计算节点感知器的情况：为便于直观分析，现考虑单计算节点感知器的情况：yjWjx1

14、x2xixnw1jw2jwijwnjj明显看出：单计算节点感知器实际上明显看出：单计算节点感知器实际上就是一个就是一个M-P神经元模型。神经元模型。因为采用符号转移函数，又称符号单元因为采用符号转移函数，又称符号单元。下面分三种情况讨论单计算节点感下面分三种情况讨论单计算节点感知器的功能：知器的功能：(1)设输入向量设输入向量X=x1x2T两个输入分量两个输入分量x1和和x2构成一个二维平面构成一个二维平面,输入样本输入样本X可用该平面上一个点表示。可用该平面上一个点表示。节点节点j的输出的输出yj为：为：11jy0022112211jjjjjjxwxwxwxw则方程则方程02211jjjxw

15、xw成为二维输入样本空间上的一条分界线。成为二维输入样本空间上的一条分界线。0101XWXWyTjTjj线上方的样本用线上方的样本用表示，它们使表示，它们使，的区域都会使的区域都会使yj=1;0jnet线下方样本用线下方样本用表示，它们使表示，它们使，的区域都会使的区域都会使yj=-1.0jnet显然显然，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，可将输入样本分为两类。可将输入样本分为两类。 x1x202211jjjxwxw(2)设输入向量设输入向量X=x1x2x3T,则则x1,x2,x3几何上构成一个三维空间。

16、几何上构成一个三维空间。节点节点j的输出为：的输出为：11jy00332211332211jjjjjjjjxwxwxwxwxwxw方程方程0332211jjjjxwxwxw确定的平面成为三维输入样本空间的确定的平面成为三维输入样本空间的一个分界面。把输入样本和一个分界面。把输入样本和正确分两类（对应正确分两类（对应yj=1和和-1）（3）推广到）推广到n维空间的一般情况，输入向量维空间的一般情况，输入向量X=x1x2xnT,则则n个输入分量构个输入分量构成几何成几何n维空间。维空间。方程方程02211jnnjjjxwxwxw定义的定义的n维空间超平面，将输入维空间超平面，将输入样本分为样本分为

17、2类。类。看出，一个简单的单计算节点感知器具有分类功能，其分类原理是将分类看出，一个简单的单计算节点感知器具有分类功能，其分类原理是将分类知识存储于感知器的权向量（包括阈值）中，由权向量确定的分类判决界知识存储于感知器的权向量（包括阈值）中，由权向量确定的分类判决界面（线），可将输入模式分为两类。面（线），可将输入模式分为两类。但是，权重系数和阈值一般是不可事先预知的，在初始人为给定的权值但是，权重系数和阈值一般是不可事先预知的，在初始人为给定的权值和阈值所确定的分界面也不可能将类别正确分开。和阈值所确定的分界面也不可能将类别正确分开。只有用足够多的已知其类别的输入样本只有用足够多的已知其类别

18、的输入样本X，对神经网络进行训练，让神经，对神经网络进行训练，让神经元通过学习自动地找到那些权重系数和阈值，从而，确定的分界面，才是元通过学习自动地找到那些权重系数和阈值，从而，确定的分界面，才是有实际意义的。有实际意义的。神经元在实现其分类功能以前，必须有学习和训练阶段，在此阶段向神经神经元在实现其分类功能以前，必须有学习和训练阶段，在此阶段向神经元送入足够多数量的样本元送入足够多数量的样本X，并需要指明每个矢量，并需要指明每个矢量X所属类别。所以这是所属类别。所以这是一种教师指导下的学习。一种教师指导下的学习。单计算节点感知器实现逻辑运算问题单计算节点感知器实现逻辑运算问题:逻辑逻辑”与与

19、”功能功能:真值表真值表:X1x2y000010001114个样本个样本,两种输出两种输出01属分类问题属分类问题使用单节点感知器使用单节点感知器,用感知器规则训练用感知器规则训练,得到连接权及阈值如图得到连接权及阈值如图:x1x2y5-1令计算节点净输出为令计算节点净输出为0,得分类判决方程得分类判决方程:0.5x1+0.5x2-0.75=0该直线方程正确地把两类样本分类该直线方程正确地把两类样本分类.将输出为将输出为1的样本点作、的样本点作、输出为输出为0的样本点作表示的样本点作表示。按真值表作图，得：。按真值表作图，得：（0,1）（1,0）（1,1）（0,0）x1x20

20、.5x1+0.5x2-0.75=0该分类线不唯一该分类线不唯一,取决于具体的权值训练取决于具体的权值训练逻辑逻辑”或或”功能功能:真值表真值表:X1x2y000011011114个样本个样本,两种输出两种输出01属分类问题属分类问题x1x2y11-0.5-1学习训练的学习训练的w1=w2=1,=-0.5,净输入为净输入为0得分类判决方程得分类判决方程:x1+x2-0.5=0（1,0）（1,1）x2（0,1）（0,0）x1x1+x2-0.5=0实现两类样本正确分类实现两类样本正确分类例例:设计一个感知器神经网络设计一个感知器神经网络,完成下列分类完成下列分类,以以MATLAB编编程仿真程序程仿真

21、程序,并画出分类线并画出分类线.15 . 01P01t5 . 012P12 t5 . 013P13 t114P . 04 t解解(1)问题分析问题分析输入向量输入向量2个元素个元素,取值范围取值范围-1,1;输出向量一个元素输出向量一个元素,是一是一个二值节点个二值节点,取值取值0或或1.可确定单层感知器神经网络结构可确定单层感知器神经网络结构:一一个二维输入向量个二维输入向量,一个神经元一个神经元,神经元转移函数为神经元转移函数为hardlim(硬硬限幅函数限幅函数)(2)程序设计程序设计已知已知:p1p2a-1%设计一个感知器神经网络，实现二维向量分类功能设计一个感知器神经网络，实现二维向

22、量分类功能clearall;%清除所有内存变量清除所有内存变量%初始化感知器网络初始化感知器网络pr=-11;-11;%设置感知器网络输入向量每个元素的值域设置感知器网络输入向量每个元素的值域net=newp(pr,1);%定义感知器网络，一个神经元定义感知器网络，一个神经元net.layers1.transferFcn=hardlims;%指定感知层转移指定感知层转移函数为对称硬限幅函数函数为对称硬限幅函数%训练感知器网络训练感知器网络p=0.5-1;10.5;-10.5;-1-1;%输入向量（训练样本值）输入向量（训练样本值）t=0110;%目标向量目标向量net,tr=train(net

23、,p,t);%训练感知器网络训练感知器网络%存储训练后的网络存储训练后的网络savenet35net%Example35Simclearall;%清除所有内存变量清除所有内存变量%加载训练后的网络加载训练后的网络loadnet35net%网络仿真网络仿真P=0.5-1;10.5;-10.5;-1-1%输入向量（测试样本）输入向量（测试样本）a=sim(net,P)%仿真结果仿真结果%绘制网络的分类结果及分类线绘制网络的分类结果及分类线v=-22-22;%设置坐标的范围设置坐标的范围plotpv(P,a,v);%绘制分类结果绘制分类结果plotpc(net.iw1,net.b1);%绘制分类线绘

24、制分类线net.iw1%输出权值输出权值net.b1%输出阈值输出阈值TRAINC, Epoch 0/100TRAINC, Epoch 2/100TRAINC, Performance goal met.P = 0.5000 1.0000 -1.0000 -1.0000 -1.0000 0.5000 0.5000 -1.0000a = 0 1 1 0ans = 0.5000 1.5000(权)ans = 0(阈值)5.2.3感知器的局限性感知器的局限性“异或异或”问题问题真值表真值表:X1x2y000011011104个样本个样本,两种输出两种输出01也是二值分也是二值分类问题类问题（1,0）

25、（1,1）x2（0,1）（0,0）x1任何直线均不能将两类样本正确分开任何直线均不能将两类样本正确分开!感知器由于净输入为感知器由于净输入为0,确定的分类判决确定的分类判决方程是线性方程方程是线性方程,因而只能解决线性可分因而只能解决线性可分问题的分类问题的分类,不能解决线性不可分问题不能解决线性不可分问题.这称为单计算层感知器的局限性这称为单计算层感知器的局限性.5.2.4感知器的学习算法感知器的学习算法感知器采用感知器学习规则进行训练感知器采用感知器学习规则进行训练,用用t表示学习步的序号表示学习步的序号,权值看作权值看作t的函的函数数.t =0对应学习开始前的初始状态对应学习开始前的初始

26、状态(此时权值为初始值此时权值为初始值),训练过程如下训练过程如下:(1)对各初始权值对各初始权值w0j(0),w1j(0),wnj(0),j=1,2m(m为计算层的节点数为计算层的节点数)赋予赋予较小的非零随机数较小的非零随机数;(2)输入样本对输入样本对Xp,dp,其中其中Xp=-1x1px2pxnpT,dp为期望输出向量为期望输出向量(教师信教师信号号),下标下标p代表样本对的模式序号代表样本对的模式序号,设样本集中的样本总数为设样本集中的样本总数为P,则则p=1,2,P;(3)计算各节点的实际输出计算各节点的实际输出yjp(t)=sgnWjT(t)Xp,j=1,2,m.(4)调整各节点

27、对应的权值调整各节点对应的权值Wj(t+1)=Wj(t)+djp-yjp(t)Xpj=1,2,m学习率学习率,一般取一般取01,用于调整控制速度用于调整控制速度,太大影响训练稳定性太大影响训练稳定性,太小使太小使训练的收敛性变慢训练的收敛性变慢.(5)返回到步骤返回到步骤(2),输入下一对样本输入下一对样本,周而复始直到所有样本使感知器的实周而复始直到所有样本使感知器的实际输出与期望输出相等际输出与期望输出相等(dp-yp=0,p=1,2,P).已经得到证明已经得到证明,如果输入样本线性可分如果输入样本线性可分,无论感知器的初始权向量如何取值无论感知器的初始权向量如何取值,经过有限次调整后经过

28、有限次调整后,总能稳定到一个权向量总能稳定到一个权向量,该权向量确定的超平面能将两该权向量确定的超平面能将两类样本正确分开类样本正确分开.能够将样本正确分类的权向量并不唯一能够将样本正确分类的权向量并不唯一,一般初始权向量不同一般初始权向量不同,训练过程和训练过程和所得到的结果也不同所得到的结果也不同,但都可满足误差为零的要求但都可满足误差为零的要求.例例.单计算节点感知器有单计算节点感知器有3个个输入输入,现给定现给定3对训练样本对训练样本:X1=-11-20Td1=1;X2=-101.5-0.5Td2=-1;X3=-1-110.5Td3=1.设初始权向量设初始权向量W(0)=0.51-10

29、T=0.1注意注意:输入向量中第一个分量输入向量中第一个分量x0恒等于恒等于-1,权向量中第一个分量为阈值权向量中第一个分量为阈值,试训试训练该感知器网络练该感知器网络.解解:第一步第一步,输入输入X1WT(0)X1=0.51-10-11-20T=2.5Y1(0)=sgn(2.5)=1W(1)=W(0)+d1-y1X1=0.51-10T+0.1(-1-1)-11-20T=0.70.8-0.60T第二步第二步,输入输入X2WT(1)X2=0.70.8-0.60-101.5-0.5T=-1.6Y2(1)=sgn(-1.6)=-1W(2)=W(1)+d2-y2(1)X2=0.70.8-0.60T+0

30、.1-1-(-1)-101.5-0.5T=0.70.8-0.60T第三步第三步,输入输入X3WT(2)X3=0.70.8-0.60-1-110.5T=-2.1Y3(2)=sgn(-2.1)=-1W(3)=W(2)+d3-y3(2)X3=0.50.6-0.40.1T第四步第四步,返回到第一步返回到第一步,继续训练继续训练,直到直到dp-yp=0p=1,2,35.2.5多层感知器多层感知器单计算层感知器只能解决线性可分问题单计算层感知器只能解决线性可分问题,多层感知器可解决线性不可分问题多层感知器可解决线性不可分问题.如如,采用两计算层感知器解决采用两计算层感知器解决”异或异或”问题问题:123-

31、1-1x1x2y1y2y3w11w12w21w22312输出层节点以隐层两节点输出层节点以隐层两节点y1,y2的输出作为输入的输出作为输入,其结构也相其结构也相当于一个符号单元当于一个符号单元.隐层两节点相当于两个独立的符号单元隐层两节点相当于两个独立的符号单元(单计算节点感单计算节点感知器知器).具有两个计算层感知器具有两个计算层感知器x1、x2构成的平面上构成的平面上,1、2两符号单元确定两条分两符号单元确定两条分界直线界直线s1和和s2,可构成开放式凸域如图可构成开放式凸域如图.（1,0）（1,1）x2（0,1）（0,0）x1s1s2通过网络训练，调整两直线位置，可使通过网络训练，调整两

32、直线位置，可使“异或异或”两类线性不可分样本分别位于两类线性不可分样本分别位于该开放式凸域内部和外部。该开放式凸域内部和外部。（1,0）（1,1）x2（0,1）（0,0）x1s1s2123x1x2y1y2w11w12w21312y3y1=0y2=0y1=1y2=1对隐节点对隐节点1：s1下面的样本，使其输出为下面的样本，使其输出为y1=1,而而s1上面样本使上面样本使y1=0；对隐节点对隐节点2：s2上面的样本，使其输出为上面的样本，使其输出为y2=1,而而s2下面样本使下面样本使y2=0；这样可实现：输入类信息时有这样可实现：输入类信息时有y1=1y2=1(在凸域内）在凸域内）输入类样本时有

33、输入类样本时有y1=0y2=1（同时处在（同时处在s1、s2上上方，即方，即s1上面的上面的）和有和有y1=1y2=0（同时处在（同时处在s1、s2下下方，即方，即s2下方的下方的）这样，把输出层节点这样，把输出层节点3以隐层两节点以隐层两节点y1、y2为输入，经训练，使其具有逻辑为输入，经训练，使其具有逻辑“与非与非”功能，则功能，则“异或异或”问题得以解决。问题得以解决。两个计算层的感知器求解两个计算层的感知器求解“异或异或”问题各节点输出情况：问题各节点输出情况：x1x2y1y2y300110010111010111110实现实现x1，x2y3（“异或异或”逻逻辑）辑）采用采用y1，y2

34、y3（“与非与非”逻辑）逻辑）看出：单隐层感知器可以求解异或问题，看出：单隐层感知器可以求解异或问题，具有解决线性不可分问题的分类能力。具有解决线性不可分问题的分类能力。就单隐层感知器，当输入样本为二维向量时，隐层中每个计算节点确定了就单隐层感知器，当输入样本为二维向量时，隐层中每个计算节点确定了二维平面上的一条分界直线。多条直线（隐层中多个节点）经输出节点组二维平面上的一条分界直线。多条直线（隐层中多个节点）经输出节点组合后会构成各种形状凸域（凸域是指其边界上任两点连线均在域内）。合后会构成各种形状凸域（凸域是指其边界上任两点连线均在域内）。开式凸域开式凸域闭式凸域闭式凸域通过训练调整凸域形

35、状，可将两类线性不可分样本分为域内域外。通过训练调整凸域形状，可将两类线性不可分样本分为域内域外。单隐层节点数增加可以使多边凸域边数增加，从而在输出层构建出任意形单隐层节点数增加可以使多边凸域边数增加，从而在输出层构建出任意形状的凸域。如果再增加第二隐层，则该隐层的每节点确定一个凸域，各种状的凸域。如果再增加第二隐层，则该隐层的每节点确定一个凸域，各种凸域经输出节点组合后，会得到任意形状域，分类能力大大提高。凸域经输出节点组合后，会得到任意形状域，分类能力大大提高。凸域组合的任意形状凸域组合的任意形状已经过严格的数学证明，双隐层感知器足以解决任何复杂分类问题。已经过严格的数学证明，双隐层感知器

36、足以解决任何复杂分类问题。另，为提高感知器分类能力，可采用非线性连续函数作为神经元节点的转另，为提高感知器分类能力，可采用非线性连续函数作为神经元节点的转移函数，使区域边界变成曲线，可形成连续光滑曲线域。移函数，使区域边界变成曲线，可形成连续光滑曲线域。多层感知器从理论上讲可解决线性不可分问题，但从感知器的学习规则看多层感知器从理论上讲可解决线性不可分问题，但从感知器的学习规则看，其权值调整量取决于感知器期望输出与实际输出之差，即：，其权值调整量取决于感知器期望输出与实际输出之差，即：Wj(t)=ddj j-y-yj j(t)X(t)X对各隐层节点来说，期望输出无法确定，因而该学习规则对隐层权

37、值不对各隐层节点来说，期望输出无法确定，因而该学习规则对隐层权值不适用。为了改进学习过程，后来提出最小均方、适用。为了改进学习过程，后来提出最小均方、BP算法等。算法等。尽管简单的感知器学习算法有局限性，但这种神经元网络模型在神经元网尽管简单的感知器学习算法有局限性，但这种神经元网络模型在神经元网络研究中有重要意义和地位，它提出了自组织、自学习的思想。络研究中有重要意义和地位，它提出了自组织、自学习的思想。简单的感知器给出了单个神经元的学习和运行算法，如果把多个这样的简单的感知器给出了单个神经元的学习和运行算法，如果把多个这样的神经元连成一个网络，那么这种网络可能有很强的信息处理能力。神经元连

38、成一个网络，那么这种网络可能有很强的信息处理能力。自适应线性单元（自适应线性单元（ADALINE）简介）简介1962年美国斯坦福大学教授年美国斯坦福大学教授widrow提出一种自适应可调的神经网络，其基提出一种自适应可调的神经网络，其基本构成单元称为自适应线性单元，本构成单元称为自适应线性单元，ADALINE（AdaptiveLinearNeuron)。这种自适应可调的神经网络主要使用于信号处理中的自适应滤波、预测和这种自适应可调的神经网络主要使用于信号处理中的自适应滤波、预测和模式识别。模式识别。1ADALINE模型模型+1-1qy+-w0w1w2wiwnx0=-1x1x2xixnLMS算法

39、算法模拟输出模拟输出二值输出二值输出误差误差Widrow-Hoff算法算法输入向量输入向量X=x0 x1xnT的每的每个输入分量可以是个输入分量可以是数字量也可以是模数字量也可以是模拟量。拟量。ADALINE有两种输出情况：有两种输出情况：（1）转移函数为线性函数，输）转移函数为线性函数，输出模拟量：出模拟量：y=f(WTX)=WTX(2)转移函数为符号函数，输出为转移函数为符号函数，输出为双极数字量双极数字量q=sgn(y)=y0-1y0数值输出情况，数值输出情况，ADALINE与感知器的符号单元完全相同，可进行线性分类。与感知器的符号单元完全相同，可进行线性分类。期望输出期望输出模拟输出情

40、况，主要实现调节误差手段（如滤波）。由于模拟量输出模拟输出情况，主要实现调节误差手段（如滤波）。由于模拟量输出时的转移函数为线性，故称为自适应线性单元时的转移函数为线性，故称为自适应线性单元ADALINE。其功能是将。其功能是将ADALINE的期望输出与实际模拟输出相比较，得到一个同为模拟量的误的期望输出与实际模拟输出相比较，得到一个同为模拟量的误差信号，根据误差信号不断在线调整权向量，以保证在任何时刻始终保持差信号，根据误差信号不断在线调整权向量，以保证在任何时刻始终保持实际输出与期望输出相等（实际输出与期望输出相等（y=d）。从而可将一组输入模拟信号转变为任）。从而可将一组输入模拟信号转变

41、为任意期望的波形意期望的波形d.2ADALINE学习算法学习算法ADALINE学习算法采用学习算法采用widrow-Hoff学习规则学习规则,也称也称LMS(LeastMeanSquare),即最小二乘算法即最小二乘算法.下面以单个自适应线性单元为例下面以单个自适应线性单元为例,讨论其学习算讨论其学习算法法.权向量调整量权向量调整量W=(d-WTX)X输出为模拟量时输出为模拟量时,ADALINE的转移函数为单位线性函数的转移函数为单位线性函数,所以有所以有:y=WTX定义输出误差定义输出误差=d-y则则W=(d-y)X=X实际修正权系数中实际修正权系数中,采用输入向量采用输入向量X除以其模的平

42、方除以其模的平方,即即:XXW2看一下误差改变量看一下误差改变量:此式表明此式表明,永远与永远与符号相反符号相反,这意味着在训练中这意味着在训练中,的绝对值是单调下降的绝对值是单调下降的的,即即y总是不断接近总是不断接近d。因此，。因此，LMS算法能保证算法能保证ADALINE在自适应学习在自适应学习时的收敛性。时的收敛性。下面举例说明下面举例说明LMS算法的学习步骤：算法的学习步骤：例例ADALINE模型，输入向量模型，输入向量X=-11.22.7T,d=2.3,=0.6,初始权值赋初始权值赋予随机数予随机数W(0)=-10.51.1T,做做LMS算法学习。算法学习。解：第一步解：第一步计算

43、初始输出计算初始输出y(0)和初始误差和初始误差(0)y(0)=WT(0)X=-10.51.1-11.22.7T=4.57(0)=d-y(0)=2.3-4.57=-2.27TTXXW378. 0168. 014. 07 . 22 . 11)27. 2()7 . 22 . 1) 1(6 . 0)0()0(22222TTTWWW722. 0332. 086. 0378. 0168. 014. 01 . 15 . 01)0()0() 1 (XXXXWXWdydTTT2)()(第二步第二步计算输出计算输出y(1)和误差和误差(1)y(1)=WT(1)X=-0.860.3320.722-11.22.7T

44、=3.21(1)=d-y(1)=2.3-3.21=-0.91TTXXW151. 00672. 0056. 07 . 22 . 11)91. 0(73. 96 . 0) 1 () 1 (2TTTWWW571. 0265. 0804. 0151. 00672. 0056. 0722. 0332.086. 0) 1 () 1 ()2(第三步第三步计算输出计算输出y(2)和误差和误差(2)得得y(2)=2.518;(2)=-0.218;继续调整权值，继续调整权值，看到：经两步学习，误差由看到：经两步学习，误差由-2.27降到降到-0.218；实际输出由初始；实际输出由初始4.57调整到调整到2.518

45、，大大接近，大大接近d=2.3，收敛速度很快。，收敛速度很快。ADALINE应用应用ADALINE主要应用于语音识别、天气预报、心电图诊断等医学系统、主要应用于语音识别、天气预报、心电图诊断等医学系统、信号处理以及系统辩识等方面。信号处理以及系统辩识等方面。ADALINE自适应滤波器自适应滤波器延迟延迟延迟延迟延迟延迟x(t)x(t-1)x(t-2)x(t-m)w0w1w2wmLMSd(t)y(t)期望输出期望输出滤波输出滤波输出x(t)连续信号当前值；连续信号当前值；x(t),x(t-1)信号各时刻采信号各时刻采样值。样值。对语音波形和控制信号等随时间连续变化的信息，可用其采样后的对语音波形

46、和控制信号等随时间连续变化的信息，可用其采样后的离散信号序列作为网络的输入。离散信号序列作为网络的输入。ADALINE滤波器的作用是用期望输出滤波器的作用是用期望输出d(t)与实际输出与实际输出y(t)之间的误差来调整权值，以达到使输入波形之间的误差来调整权值，以达到使输入波形x(t)得到期得到期望波形望波形d(t)，从而达到滤波的目的。，从而达到滤波的目的。系统辩识（建模）系统辩识（建模）未知系统未知系统SADALINE滤波器滤波器系统输入系统输入xk系统输出系统输出yyky=y-ykS未知系统；未知系统；xk已知输入信号，已知输入信号，输入给输入给S和和ADALINE滤滤波器；波器；y未知

47、系统输出，作为未知系统输出，作为ADALINE滤波器期望响应滤波器期望响应；ykADALINE滤波器实际输出；滤波器实际输出；=y-yk误差，调节误差，调节ADALINE滤波器的权值滤波器的权值。通过调节权值通过调节权值wm(m=0,1n),则未知系统则未知系统S的数学模型可表达为：的数学模型可表达为：nmkmmkxwyy1如果未知系统是一个稳定时不变系统，输入信号是频谱较宽的白噪声或如果未知系统是一个稳定时不变系统，输入信号是频谱较宽的白噪声或脉冲，那么脉冲，那么w wm m是可以收敛到定值。这样，未知系统是可以收敛到定值。这样，未知系统S S就可以用此确定的线就可以用此确定的线性模型来描述

48、。性模型来描述。ADALINE线性神经网络用于噪声对消线性神经网络用于噪声对消如如:医学中对胎儿心率的测量问题医学中对胎儿心率的测量问题,由于胎儿的心率一定会受由于胎儿的心率一定会受到母体心率的干扰到母体心率的干扰.而且母亲的心率很强而且母亲的心率很强,但与胎儿的心率是但与胎儿的心率是互相独立的互相独立的.存在着如何将母体心率的影响消除的问题存在着如何将母体心率的影响消除的问题;采用采用ADALINE的线性神经网络进行噪声对消的线性神经网络进行噪声对消,可以得到十分可以得到十分满意的结果满意的结果.把母体心率、电话中自身的声音作为噪声源把母体心率、电话中自身的声音作为噪声源n1输入输入ADAL

49、INE中，混有噪声的胎儿心率信号、混有对方声音的中，混有噪声的胎儿心率信号、混有对方声音的信号作为目标响应，通过对消后，系统可以听到清晰的胎信号作为目标响应，通过对消后，系统可以听到清晰的胎儿心率、电话中可以清晰听到来自对方的声音。儿心率、电话中可以清晰听到来自对方的声音。再如再如:电话中的回声对消问题电话中的回声对消问题.在电话通话过程中在电话通话过程中,如果没有回如果没有回声对消措施声对消措施,那么那么,我们自身的声音回声和对方的声音一起传到我们自身的声音回声和对方的声音一起传到听筒中听筒中,而自身的声音更强，影响通话质量而自身的声音更强，影响通话质量.在工程中还有很多类似问题在工程中还有

50、很多类似问题.对于一个优秀的滤波器，希望通过滤波将信号中的噪声去掉对于一个优秀的滤波器，希望通过滤波将信号中的噪声去掉，这对一般的滤波器很难做到。，这对一般的滤波器很难做到。ADALINE自适应线性网络实现噪声对消原理：自适应线性网络实现噪声对消原理：信号源信号源噪声源噪声源n1n0sS+n0yn1ADS原始输入信号；原始输入信号；n0与与s不相关的随机噪声；不相关的随机噪声；n1与与n0相关的信号；相关的信号；-系统输出；系统输出；s+n0为为ADALINE期望输出；期望输出；yADALINE实际输出。实际输出。则则=s+n=s+n0 0-y-y+-通过通过ADALINE滤波调节，可得：滤波

51、调节，可得：Emin2 2=Emins2+Emin(n0-y)2当当Emin(n0-y)20时，时，yn0,其输出为其输出为s,则噪声抵消。则噪声抵消。设传输信号为正弦波信号，噪声信号为随机信号，正弦波信设传输信号为正弦波信号，噪声信号为随机信号，正弦波信号与随机信号之和为号与随机信号之和为ADALINE神经元的目标向量；输出信号神经元的目标向量；输出信号为网络调整过程中的误差信号。为网络调整过程中的误差信号。现做噪声对消自适应线性神经网络程序实验：现做噪声对消自适应线性神经网络程序实验：%自适应线性神经网络实现噪声对消自适应线性神经网络实现噪声对消clearall;%清楚所有内存变量清楚所有

52、内存变量%定义输入向量和目标向量定义输入向量和目标向量time=0.01:0.01:10;%时间变量时间变量noise=(rand(1,1000)-0.5)*4;%随机噪声随机噪声input=sin(time);%信号信号p=noise;%将噪声作为将噪声作为ADALINE的输入向量的输入向量t=input+noise;%将噪声将噪声+信号作为目标向量信号作为目标向量%创建线性创建线性ADALINE神经网络神经网络net=newlin(-11,1,0,0.0005);%线性神经网络自适应调整（训练）线性神经网络自适应调整（训练）net.adaptparam.passes=70;net,y,ou

53、tput=adapt(net,p,t);%输出信号输出信号output为网络调整过程中的误差为网络调整过程中的误差%绘制信号、迭加随机噪声信号、输出信号的波形绘制信号、迭加随机噪声信号、输出信号的波形holdon%绘制信号波形绘制信号波形subplot(3,1,1);plot(time,input,b);xlabel(t,position,10.5,-1);ylabel(信号波形信号波形sin(t),fontsize,8)subplot(3,1,2);%绘制迭加随机信号波形绘制迭加随机信号波形plot(time,t,m);xlabel(t,position,10.5,-5);ylabel(随机

54、噪声波形随机噪声波形sin(t)+noise(t),fontsize,8)%绘制输出信号波形绘制输出信号波形subplot(3,1,3);plot(time,output,g);xlabel(t,position,10.5,-2);ylabel(输出信号波形输出信号波形y(t),fontsize,8)holdoff网络运行结果如下图：网络运行结果如下图：看出输出信号除含有一定直流分量外，其波形与输入信号波看出输出信号除含有一定直流分量外，其波形与输入信号波形基本一致，消除了迭加的随机噪声。形基本一致，消除了迭加的随机噪声。 Hopfield Hopfield网络分为离散型和连续型两种网络模型，

55、网络分为离散型和连续型两种网络模型，分别记作分别记作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network)CHNN (Continues Hopfield Neural Network)，本章，本章重点讨论前一种类型。重点讨论前一种类型。 根据神经网络运行过程中的信息流向，可分为前馈式根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和和反馈式两种基本类型。前馈网

56、络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。权矩阵决定，而与网络先前的输出状态无关。 美国加州理工学院物理学家美国加州理工学院物理学家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出一种单层反馈神经网络，后来人们将这种反馈网络年提出一种单层反馈神经网络，后来人们将这种反馈网络称作称作Hopfield Hopfield 网。网。 1 1 网络的结构与工作方式网络的结构与工作方式 离散型反馈网络的拓扑结构离散型反馈网络的拓扑结构 x1 x2 xi xn T1 T2 Ti Tn 5.3.1离散型Hopfield神经网络(1)(1)网络的状态网络的状

57、态DHNN网中的每个神经元都有相同的功能，其输出称网中的每个神经元都有相同的功能，其输出称为状态，用为状态，用xj 表示。表示。)net( fxjjj=1,2,n所有神经元状态的集合就构成反馈网络的状态所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT反馈网络的输入就是网络的状态初始值，表示为反馈网络的输入就是网络的状态初始值，表示为X(0)=x1(0),x2(0),xn(0)T反馈网络在外界输入激发下，从初始状态进入动态演反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为变过程，变化规律为0101sgnjjjjnetnetnetx）（j=1,2,n(5.1) DHN

58、N网的转移函数常采用符号函数网的转移函数常采用符号函数 式中净输入为式中净输入为 nijiijjTxwnet1)(j=1,2,n (5.2) 对于对于DHNN网，一般有网，一般有wii=0 ，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为的稳定状态就是网络的输出，表示为 t)t(limX(2)(2)网络的异步工作方式网络的异步工作方式ijtxijtnettxjjj)()(sgn) 1(5.3) (3)(3)网络的同步工作方式网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元网络的同步工作

59、方式是一种并行方式，所有神经元同时调整状态，即同时调整状态，即)(sgn) 1(tnettxjjj=1,2,n(5.4) 网络运行时每次只有一个网络运行时每次只有一个神经元神经元j 进行状态的调整计进行状态的调整计算，其它神经元的状态均保持不变，即算，其它神经元的状态均保持不变，即1网络的稳定性网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网网实质上是一个离散的非线性动力学系统。网络从初态络从初态X(0)开始，若能经有限次递归后，其状态不再发开始，若能经有限次递归后，其状态不再发生变化，即生变化，即X(t+1)X(t)，则称该网络是稳定的。，则称该网络是稳定的。 如果网络是稳定的

60、，它可以从任一初态收敛到一个稳态：如果网络是稳定的，它可以从任一初态收敛到一个稳态： ( a ) ( b ) ( c ) 5.3.2 网络的稳定性与吸引子 若网络是不稳定的，由于若网络是不稳定的，由于DHNNDHNN网每个节点的状态只有网每个节点的状态只有1 1和和-1-1两种情况，网络不可能出现无两种情况，网络不可能出现无限发散的情况，而只可能出现限发散的情况，而只可能出现限幅的自持振荡，这种网络称限幅的自持振荡，这种网络称为有限环网络。为有限环网络。 ( a ) ( b ) ( c ) 如果网络状态的轨迹在某个确如果网络状态的轨迹在某个确定的范围内变迁，但既不重复定的范围内变迁，但既不重复