第三章：前向网络(1)

1、第二讲：前馈神经网络第二讲：前馈神经网络 主要内容主要内容一：前向网络简介一：前向网络简介二：具有硬限幅函数的单层网络的分类功能（感知二：具有硬限幅函数的单层网络的分类功能（感知 器）器）三：具有线性函数的单层网络的分类功能三：具有线性函数的单层网络的分类功能四：前向多层网络的分类功能四：前向多层网络的分类功能五：五：BPBP网络及网络及BPBP算法以及算法以及BPBP网络的应用网络的应用上一讲内容回顾上一讲内容回顾 模拟生物神经网络的模拟生物神经网络的ANNANN的这一数学方法问世以来的这一数学方法问世以来, ,人们已人们已慢慢习惯了把这种慢慢习惯了把这种ANNANN直接称为直接称为NNNN

2、。 NNNN在数学、优化与运筹学、计算机科学与智能理论、在数学、优化与运筹学、计算机科学与智能理论、信号处理、控制科学、机器人、系统科学等领域吸引信号处理、控制科学、机器人、系统科学等领域吸引来了众多的研究者来了众多的研究者, ,呈现勃勃生机。呈现勃勃生机。l 给这些学科中的一些困难问题给这些学科中的一些困难问题, ,带来了新的分析、带来了新的分析、求解的新思路和新方法。求解的新思路和新方法。 对控制科学领域，对控制科学领域，NNNN在系统辨识、模式识别、智能控在系统辨识、模式识别、智能控制等领域有着广泛而吸引人的前景。制等领域有着广泛而吸引人的前景。l 特别在智能控制中特别在智能控制中, ,

3、人们对人们对NNNN的自学习功能尤其感的自学习功能尤其感兴趣兴趣, ,并且把并且把NNNN这一重要特点看作是解决控制器适这一重要特点看作是解决控制器适应能力这个难题的关键钥匙之一应能力这个难题的关键钥匙之一. .上一章内容回顾上一章内容回顾 此外此外, ,在控制领域的研究课题中在控制领域的研究课题中, ,不确定性系统的控制不确定性系统的控制问题、非线性系统控制问题长期以来都是控制理论研究问题、非线性系统控制问题长期以来都是控制理论研究的中心主题的中心主题, ,但是这些问题一直没有得到有效的解决。但是这些问题一直没有得到有效的解决。利用利用NNNN的学习能力的学习能力, ,使它在对不确定性系统的

4、控使它在对不确定性系统的控制过程中自动学习系统的特性制过程中自动学习系统的特性, ,从而适应系统变化的从而适应系统变化的环境和内在特性环境和内在特性, ,以达到对系统的最优控制以达到对系统的最优控制. .利用利用NNNN的非线性逼近能力的非线性逼近能力, ,将将NNNN用于非线性系统用于非线性系统控制问题中的模型表达、控制器设计、在线控制计控制问题中的模型表达、控制器设计、在线控制计算、自适应控制等算、自适应控制等. .l 显然显然,NN,NN对于控制科学领域是一种十分振奋人心的意对于控制科学领域是一种十分振奋人心的意向和方法。向和方法。上一章内容回顾上一章内容回顾lNNNN的基础在于神经元的

5、基础在于神经元. . 神经元是以生物神经系统的神经细胞为基础的生物神经元是以生物神经系统的神经细胞为基础的生物模型模型. . 在人们对生物神经系统进行研究在人们对生物神经系统进行研究, ,以探讨以探讨AIAI的机制时的机制时, ,把神经元数学化把神经元数学化, ,从而产生了神经元数学模型从而产生了神经元数学模型. .大量的形式相同的神经元连结在大量的形式相同的神经元连结在起就组成了起就组成了NN.NN.l 虽然虽然, ,单个神经元的结构和功能都不复杂单个神经元的结构和功能都不复杂, ,但是但是NNNN的的动态行为则是十分复杂的动态行为则是十分复杂的, ,是一个高度非线性动力学系统是一个高度非线

6、性动力学系统. .l 因此因此, ,用用NNNN可以表达实际物理世界的复杂现象可以表达实际物理世界的复杂现象. .2.1 2.1 前向网络简介前向网络简介1.1.前向网络的结构前向网络的结构 前向网络主要分为单层网络和多层前向网络主要分为单层网络和多层网络。网络。 多层网络不能隔层传递，无反馈。多层网络不能隔层传递，无反馈。2.2.输出函数主要有：输出函数主要有： 硬限幅函数硬限幅函数1 1（. .），），sgnsgn（. .） 线性函数线性函数 非线性函数非线性函数s s（. .），），thth（. .）3.3.前向网络的功能前向网络的功能 只能完成联想和分类。只能完成联想和分类。 前向网络

7、的本质由输入到输出前向网络的本质由输入到输出的静态映射。的静态映射。4.4.学习算法：学习算法： 算法，算法，LSMLSM算法，算法， BP BP算法（误差反向传递算法）算法（误差反向传递算法） 0y1x1Ny0 x1Nx1y2.22.2单层网络分类功能（感知器）单层网络分类功能（感知器）l 本节主要介绍本节主要介绍: : 单层网络的结构单层网络的结构 调整连接权和阈值的学习规则（调整连接权和阈值的学习规则（ 算法）算法） 单层网络的训练和设计单层网络的训练和设计 单层网络分类的局限性单层网络分类的局限性2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）一一. .感知器是由美

8、国计算机科学家罗森布拉特感知器是由美国计算机科学家罗森布拉特（F.RoseblattF.Roseblatt）于）于19571957年提出的。年提出的。 单层感知器神经元模型图：单层感知器神经元模型图：图图2.1 2.1 感知器神经元模型感知器神经元模型 硬限幅函数2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）p根据网络结构，可以写出第根据网络结构，可以写出第i个输出神经元个输出神经元(i1，2，s)的加权输入和的加权输入和ni以及其输出以及其输出ai为：为：其中，其中， 为阈值为阈值， ff 是阶跃函数。是阶跃函数。p线性可分概念线性可分概念 设有二维输入矢量设有二维输入

9、矢量 ，共有两类，共有两类 ，若可以用一条直线将其无误的分开，称为线性可若可以用一条直线将其无误的分开，称为线性可分。分。01,xx x12,c c1,0()0,0iiiinaf nn F.RoseblattF.Roseblatt已经证明，如果两类模式是线已经证明，如果两类模式是线性可分的（指存在一个超平面将它们分开），则性可分的（指存在一个超平面将它们分开），则算法一定收敛。算法一定收敛。 感知器特别适用于简单的模式分类问题，也感知器特别适用于简单的模式分类问题，也可用于基于模式分类的学习控制中。可用于基于模式分类的学习控制中。 本节中所说的感知器是指单层的感知器。多本节中所说的感知器是指单

10、层的感知器。多层网络因为要用到后面将要介绍的反向传播法进层网络因为要用到后面将要介绍的反向传播法进行权值修正，所以把它们均归类为反向传播网络行权值修正，所以把它们均归类为反向传播网络之中。之中。 2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）一个简单的单神经元（感知器）分类的例子。一个简单的单神经元（感知器）分类的例子。例：二维矢量例：二维矢量 ，两类，两类如图：如图：L L 为分类线：为分类线： 区为区为 区为区为设一个单神经元设一个单神经元硬限幅函数硬限幅函数01,xx x12,c c0 x1x1c2

11、c12L010.510 xx 1c2c010.510 xx 010.510 xx 010.5,1,1ww11021,10,jjjxcyfw xxcq 感知器的学习算法目的在于找寻恰当的权系数w=(w1,w2, wn)，使系统对一个特定的样本x=(x1,x2,xn)能产生期望值d。 当x分类为A类时，期望值d=1；x为B类时，d= -1。 为了方便说明感知器学习算法，把阈值并入权系数w中，同时，样本x也相应增加一个分量xn+1。故令： wn+1= -, xn+1=1 则感知器的输出可表示为：感知器的学习算法感知器的学习算法n 1iii 1yfw xq 感知器学习算法步骤如下：步步1. 对权系数w

12、置初值 权系数w=(w1,wn,wn+1)的各个分量置一个较小的初始随机值,并记为wl(0),wn(0),同时有wn+1(0)= -。 wi(t)为t时刻从第i个输入上的权系数，i=1,2,n。wn+1(t)为t时刻时的阈值。步步2. 输入一样本x=(x1,x2,xn+1)以及它的期望输出d 期望输出值d在样本的类属不同时取值不同。 如果x是A类,则取d=1,如果x是B类,则取-1。 期望输出d也即是教师信号。感知器的学习算法感知器的学习算法步步4. 根据实际输出求误差e e(t)=d-y(t)步步5. 用误差e去修改权系数 wi(t+1)=wi(t)+e(t)xi i=1,2,n+1 其中称

13、为权重变化率,00, w2, w1, w1+w2q 以x1x2=1为A类,以x1x2=0为B类,则有方程组q 令w1=1,w2=1,则有1.取=0.5,则有分类判别曲线x1+x2-0.5=0,分类情况如图2.2a所示,实现的NN如图2.2b.感知器的学习算法感知器的学习算法 A 类界 B 类界 x1+x2-0.5=0 x1x2图 2.2a 函数 x1x2的分类(0,0)(0,1)(1,1)(1,0)x1x2图2.2b OR函数的NN实现o(x1,x2)11-10.5感知器的学习算法感知器的学习算法q 类似地,对与逻辑函数AND(真值表如下所示),即x1x2, 也可设计如图所示的分类面（分类函数

14、） A 类界 B 类界 x1x2图 2.3a 函数 x1x2的分类(0,0)(0,1)(1,1)(1,0)x1x2x1x2001101010001感知器的学习算法感知器的学习算法x1x2图2.3b AND函数的NN实现o(x1,x2)11-11.5感知器的学习算法感知器的学习算法q 但对异或逻辑函数XOR(真值表如下所示),则不可能利用单层感知器设计的线性分类面（线性分类函数）,如下图所示。x1x2x1x2001101010110 A 类界 B 类界 x1x2图 2.4a 函数 x1x2的分类(0,0)(0,1)(1,1)(1,0)?感知器的学习算法感知器的学习算法 对此,只能设计多层感知器,

15、如下图所示的XOR函数的2层设计。x1x211-11.5x1x211-10.5图2.4b XOR函数的2层NN实现o(x1,x2)1-1-10感知器的学习算法感知器的学习算法 A 类界 B 类界 x1x2图 2.4c XOR 函数的分类(0,0)(0,1)(1,1)(1,0)A 类界 而其函数空间的分类面如下图所示。感知器学习算法的收敛性定理：如果样本输入函感知器学习算法的收敛性定理：如果样本输入函数是线性可分的，那么感知器学习算法经过有限数是线性可分的，那么感知器学习算法经过有限次迭代后，可收敛到正确的权值或权向量。次迭代后，可收敛到正确的权值或权向量。可证：在训练样本可证：在训练样本X X

16、k k,k,k=1,2,=1,2,N,N是线性可分时，是线性可分时，采用上式的学习方法，在有限次迭代后，必能得采用上式的学习方法，在有限次迭代后，必能得到正确解。到正确解。2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器） 为证明此定理为证明此定理, ,不失一般性不失一般性, ,先对该分类问题做一些先对该分类问题做一些假设：假设： A1: A1: 输入样本输入样本X Xk k,k,k=1,2,=1,2,N,N全部归一化，即全部归一化，即 | |X Xk k|=1|=1；A2:A2: 对最优权向量对最优权向量W W* *, ,有有|W W* *|=1.|=1.A3: A3: 如

17、果样本可分，那么任意给定的一个输入样本如果样本可分，那么任意给定的一个输入样本 X Xk k ，要么属于某一区域，要么属于某一区域F F，要么不属于这一区，要么不属于这一区 域，记为域，记为F F，F F和和F F构成了整个线性可分的构成了整个线性可分的 样本空间。在这里仅讨论样本空间。在这里仅讨论X Xk kFF的情况。的情况。2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）证明：因为证明：因为N N个样本线性可分，所以存在单位权向量个样本线性可分，所以存在单位权向量W W* *和一个较小的正数和一个较小的正数d0d0，使得，使得W W* *T TX Xk kdd对所有的

18、样本对所有的样本输入输入X Xk k都成立，任意权值向量都成立，任意权值向量W W和最优权值向量和最优权值向量W W* *之之间的余弦角间的余弦角coscos为为由学习律可得由学习律可得 W W( (k k+1)=+1)=W W( (k k)+)+XX( (k k) , ) , 是学习系数。是学习系数。上式左乘上式左乘W W* *可得可得W W* *W WT T( (k k+1)=+1)=W W* * W WT T( (k k)+)+XXT T( (k k) ) W W* *W WT T(k)(k)+ +dd从从k k=0=0迭代迭代, , 可得可得 W W* *W WT T(k(k) ) W

19、 W* *W WT T( (0 0) )+ +kdkd *()()*()TTWWks kWWk2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）选择W(0) Xk ，满足W* Xk 0，此时有 W*WT(k) kd在W(k)未达到W*时，W(k)XT(k)0，所以 迭代可得：所以,2( 1 )( 1 )( 1 )TWkWkW k2222( )(0)1W kWkk2*()()*()1WWkkdSkWWkk22222( )2( )( )( )( )TW kW k X kX kW k( )( )( )( )TTW kX kW kX k 由于余弦值S(k) 1，当W(k)=W*时，S

20、(k)=1，于是我们求解得到 这说明在和d选定后，可以在有限的次数k达到最优加权W*。22222222211101142k( u d )ukk( u d )ukd/ ukd2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）三三. .感知器网络的设计感知器网络的设计 设输入矢量设输入矢量 连接权连接权011,.,1kNxx xx011,.,Nww wwKTIx w ,Kyf IK期望输出T2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）感知器设计训练的步骤可总结如下：感知器设计训练的步骤可总结如下：1)1)对于所要解决的问题，确定输入矢量对于所要解决的问题，

21、确定输入矢量P P，目标矢量，目标矢量T T，并由，并由此确定各矢量的维数以及确定网络结构大小的神经元数目；此确定各矢量的维数以及确定网络结构大小的神经元数目；2)2)参数初始化：参数初始化：a)a)赋给权矢量赋给权矢量w w在在( (l l，1)1)的随机非零初始值；的随机非零初始值；b)b)给出最大训练循环次数给出最大训练循环次数max_epochmax_epoch；3)3)网络表达式：根据输人矢量网络表达式：根据输人矢量P P以及最新权矢量以及最新权矢量W W，计算网络，计算网络输出矢量输出矢量A A；4)4)检查：检查输出矢量检查：检查输出矢量A A与目标矢量与目标矢量T T是否相同，

22、如果是，或是否相同，如果是，或已达最大循环次数，训练结束，否则转入已达最大循环次数，训练结束，否则转入5)5)；5)5)学习：根据感知器的学习规则调整权矢量，并返回学习：根据感知器的学习规则调整权矢量，并返回3 3) )。四四. .硬限幅函数单神经元硬限幅函数单神经元( (感知器感知器) )分类特性：分类特性： 1 1）由于激活函数为阈值函数，输出矢量只能取）由于激活函数为阈值函数，输出矢量只能取0 0，1 1，说明仅可以解决简单的分类问题，对于线性不，说明仅可以解决简单的分类问题，对于线性不可分或重叠时无法分类；但多层感知器网络却具可分或重叠时无法分类；但多层感知器网络却具有复杂的非线性分类

23、能力有复杂的非线性分类能力, ,是一类非常有效的分类是一类非常有效的分类器。器。2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）1x1c2c2c1c0 x0 x1x2 2）输入矢量线性可分时，学习在有限次数内收敛；）输入矢量线性可分时，学习在有限次数内收敛；3 3）异或问题不可解。）异或问题不可解。4 4）感知器网络在）感知器网络在NNNN的研究中有着重要意义和地位，的研究中有着重要意义和地位，其学习算法的自组织、自适应思想，是其学习算法的自组织、自适应思想，是NNNN学习算学习算法的基础。法的基础。2.2 2.2 单层网络分类功能（感知器）单层网络分类功能（感知器）2.3

24、2.3具有线性函数的单层网络的分类功能具有线性函数的单层网络的分类功能 它与感知器的主要不同之处在于其神经元的激它与感知器的主要不同之处在于其神经元的激活函数是线性函数，这允许输出可以是任意值，而活函数是线性函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取不仅仅只是像感知器中那样只能取0 0或或1 1。 它采用的是它采用的是W WH H学习法则，也称最小均方差学习法则，也称最小均方差(LMS)(LMS)规则对权值进行训练规则对权值进行训练 自适应线性元件的主要用途是线性逼近一个函自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。数式而进行模式联想。.1线

25、性神经元模型和结构线性神经元模型和结构一一. .线性神经元模型和结构线性神经元模型和结构图图2. 5 2. 5 自适应线性神经网络的结构自适应线性神经网络的结构 单神经元多个神经元2.3.2 LMS2.3.2 LMS（梯度下降）学习规则（梯度下降）学习规则二二. .采用线性函数分类任务的目标：所有可能采用线性函数分类任务的目标：所有可能的输入矢量与输出矢量的误差平方的统计量的输入矢量与输出矢量的误差平方的统计量最小。最小。 线性函数单神经元的分类任务中采用线性函数单神经元的分类任务中采用LMSLMS算法调节连接权。算法调节连接权。LMSLMS的算法如下：的算法如下： 2.3.2 LMS2.3.

26、2 LMS（梯度下降）学习规则（梯度下降）学习规则l LMSLMS梯度下降算法梯度下降算法 训练方法：逐个处理、成批处理。训练方法：逐个处理、成批处理。l 采用成批处理的方法：采用成批处理的方法： 设误差设误差E E采用下式表示采用下式表示: :其中其中yi=fw xi是对应第是对应第i个样本个样本xi的的NN实时输出实时输出;oi是对应第是对应第i个样本个样本xi的期望输出的期望输出.n2iii 11(yo )2EEdEdWWEEWWTEWW TEEEWW 0TEEWW 0E对对W求偏导，有求偏导，有令令则有则有可写为可写为其中其中所以所以0 2.3.2 LMS2.3.2 LMS（梯度下降）

27、学习规则（梯度下降）学习规则q 要使误差E最小,可先求取E的梯度:nniiiiiiii 1i 1(yo )yEgradE(yo )(yo )wwww考虑到yi=f(ui)=fwi.xi,因此,有nniiiiiiiii 1i 1ugrad(yo )f (u )(yo )f (u )Ewxw 2.3.2 LMS2.3.2 LMS（梯度下降）学习规则（梯度下降）学习规则q 最后有按负梯度方向修改权系数w的修改规则:即kknk 1kkiiiii 1ww gradw(yo )f (u )kEww wwx其中是权重变化率, 一般取01之间的小数.q 若BP网络的神经元的非线性激发函数f(u)=1/1+e-u,则有k-gradkEwwx)-x(1x-xf(u)-f(u)e11-)e(11)e(1e-(u)f22u-2u-2u-u 2.3.2 LMS2.3.2 LMS（梯度下降）学习规则（梯度下降）学习规则 因此, 学习算法则为kn1iiiiiik1k)y1 (y)oy(wwwxq 若BP网络的神经元的线性激发函数f(u)=ku,则有f(u)=k 因此,学习算法则为kkn1iiiikn1iiiik1k)oy(w)oy(kwwwwxx 2.3.2 LMS2.3