智能控制典型神经网络课件

1、智能控制典型神经网络1 7.1 单单 第第7 7章章 典型典型 智能控制典型神经网络2 i u i j x nj, 1 ij w j u i u i s 智能控制典型神经网络3 )( ii ugy j iijiji sxwNet )( ii Netfu ii uug)( )( ii Netfy 智能控制典型神经网络4 智能控制典型神经网络5 00 01 )( i i i Net Net Netf 智能控制典型神经网络6 ili iliii ii i NetNetf NetNetNetkNet NetNet Netf max 0 0 0 )( 智能控制典型神经网络7 T Net i i e Ne

2、tf 1 1 )( 智能控制典型神经网络8 7.2 BP 智能控制典型神经网络9 智能控制典型神经网络10 7.2.2 BP网络结构 含一个隐含层的含一个隐含层的BP网络结构如图网络结构如图7-5所示，所示， 图中图中 为输入层神经元，为输入层神经元， 为隐层神经元，为隐层神经元， 为输出层神经元。为输出层神经元。 ijk 智能控制典型神经网络11 图图7-5 BP7-5 BP神经网络结构神经网络结构 智能控制典型神经网络12 7.2.3 BP网络的逼近 BP网络逼近的结构如图网络逼近的结构如图7-6所示，图中所示，图中k为为 网络的迭代步骤，网络的迭代步骤，u(k)和和y(k)为逼近器的输为

3、逼近器的输 入。入。BP为网络逼近器，为网络逼近器，y(k)为被控对象实际为被控对象实际 输出，输出，yn(k)为为BP的输出。将系统输出的输出。将系统输出y(k)及及 输入输入u(k)的值作为逼近器的值作为逼近器BP的输入，将系统的输入，将系统 输出与网络输出的误差作为逼近器的调整信输出与网络输出的误差作为逼近器的调整信 号。号。 智能控制典型神经网络13 图7-6 BP神经网络逼近 智能控制典型神经网络14 用于逼近的BP网络如图7-7所示。 )(ky n )(ku )(ky ij w 2j w j x j x i x 图7-7 用于逼近的BP网络。 智能控制典型神经网络15 BP算法的学

4、习过程由正向传播和反向算法的学习过程由正向传播和反向 传播组成。在正向传播过程中，输入信息从传播组成。在正向传播过程中，输入信息从 输入层经隐层逐层处理，并传向输出层，每输入层经隐层逐层处理，并传向输出层，每 层神经元（节点）的状态只影响下一层神经层神经元（节点）的状态只影响下一层神经 元的状态。如果在输出层不能得到期望的输元的状态。如果在输出层不能得到期望的输 出，则转至反向传播，将误差信号（理想输出，则转至反向传播，将误差信号（理想输 出与实际输出之差）按联接通路反向计算，出与实际输出之差）按联接通路反向计算， 由梯度下降法调整各层神经元的权值，使误由梯度下降法调整各层神经元的权值，使误

5、差信号减小。差信号减小。 智能控制典型神经网络16 i iijj xwx j x jj e xfx 1 1 )( )1( jj j j xx x x 智能控制典型神经网络17 i iijj xwx j x jj e xfx 1 1 )( )1( jj j j xx x x 智能控制典型神经网络18 j jjk xwx 2 )()()(kykyke n 2 )(keE 2 1 智能控制典型神经网络19 22 2 )()( j j k j j xke w x ke w E w 222 )() 1( jjj wtwtw 智能控制典型神经网络20 ij n ij ij w y ke w E w )(

6、ijjji j j j ij j j j j n ij n xxxwx x x w w x x x x y w y )1 ( 2 2 ijijij wkwkw)() 1( 智能控制典型神经网络21 )1()()() 1( 22222 kwkwwkwkw jjjjj )1()()() 1(kwkwwkwkw ijijijijij 1 , 01 , 0 智能控制典型神经网络22 Jacobian (t) 1 ux j jjjj j j j j nn wxxw x x x x x y ku y ku y 1 2 1 1 kkk 智能控制典型神经网络23 7.2.4 BP网络的优缺点网络的优缺点 BP

7、网络的优点为：网络的优点为： （1）只要有足够多的隐层和隐层节点，）只要有足够多的隐层和隐层节点，BP网络可以网络可以 逼近任意的非线性映射关系；逼近任意的非线性映射关系； （2）BP网络的学习算法属于全局逼近算法，具有较网络的学习算法属于全局逼近算法，具有较 强的泛化能力。强的泛化能力。 （3）BP网络输入输出之间的关联信息分布地存储在网络输入输出之间的关联信息分布地存储在 网络的连接权中，个别神经元的损坏只对输入输网络的连接权中，个别神经元的损坏只对输入输 出关系有较小的影响，因而出关系有较小的影响，因而BP网络具有较好的容网络具有较好的容 错性。错性。 智能控制典型神经网络24 BP网络

8、的主要缺点为：网络的主要缺点为： （1）待寻优的参数多，收敛速度慢；）待寻优的参数多，收敛速度慢； （2）目标函数存在多个极值点，按梯度下降）目标函数存在多个极值点，按梯度下降 法进行学习，很容易陷入局部极小值；法进行学习，很容易陷入局部极小值； （3）难以确定隐层及隐层节点的数目。目前，）难以确定隐层及隐层节点的数目。目前， 如何根据特定的问题来确定具体的网络结构如何根据特定的问题来确定具体的网络结构 尚无很好的方法，仍需根据经验来试凑。尚无很好的方法，仍需根据经验来试凑。 智能控制典型神经网络25 由于由于BP网络具有很好的逼近非线性映射的能力，网络具有很好的逼近非线性映射的能力， 该网络

9、在模式识别、图像处理、系统辨识、函数该网络在模式识别、图像处理、系统辨识、函数 拟合、优化计算、最优预测和自适应控制等领域拟合、优化计算、最优预测和自适应控制等领域 有着较为广泛的应用。有着较为广泛的应用。 由于由于BP网络具有很好的逼近特性和泛化能力，网络具有很好的逼近特性和泛化能力， 可用于神经网络控制器的设计。但由于可用于神经网络控制器的设计。但由于BP网络收网络收 敛速度慢，难以适应实时控制的要求。敛速度慢，难以适应实时控制的要求。 智能控制典型神经网络26 7.2.5 BP网络逼近仿真实例网络逼近仿真实例 使用BP网络逼近对象： BP网络逼近程序见chap7_1.m 2 3 ) 1(

10、1 ) 1( )()( ky ky kuky 智能控制典型神经网络27 7.2.6 BP网络模式识别网络模式识别 由于神经网络具有自学习、自组织和并由于神经网络具有自学习、自组织和并 行处理等特征，并具有很强的容错能力和联行处理等特征，并具有很强的容错能力和联 想能力，因此，神经网络具有模式识别的能想能力，因此，神经网络具有模式识别的能 力。力。 智能控制典型神经网络28 在神经网络模式识别中，根据标准的输在神经网络模式识别中，根据标准的输 入输出模式对，采用神经网络学习算法，以入输出模式对，采用神经网络学习算法，以 标准的模式作为学习样本进行训练，通过学标准的模式作为学习样本进行训练，通过学

11、 习调整神经网络的连接权值。当训练满足要习调整神经网络的连接权值。当训练满足要 求后，得到的神经网络权值构成了模式识别求后，得到的神经网络权值构成了模式识别 的知识库，利用神经网络并行推理算法对所的知识库，利用神经网络并行推理算法对所 需要的输入模式进行识别。需要的输入模式进行识别。 智能控制典型神经网络29 当待识别的输入模式与训练样本中的某个当待识别的输入模式与训练样本中的某个 输入模式相同时，神经网络识别的结果就是与输入模式相同时，神经网络识别的结果就是与 训练样本中相对应的输出模式。当待识别的输训练样本中相对应的输出模式。当待识别的输 入模式与训练样本中所有输入模式都不完全相入模式与训

12、练样本中所有输入模式都不完全相 同时，则可得到与其相近样本相对应的输出模同时，则可得到与其相近样本相对应的输出模 式。当待识别的输入模式与训练样本中所有输式。当待识别的输入模式与训练样本中所有输 入模式相差较远时，就不能得到正确的识别结入模式相差较远时，就不能得到正确的识别结 果，此时可将这一模式作为新的样本进行训练，果，此时可将这一模式作为新的样本进行训练， 使神经网络获取新的知识，并存储到网络的权使神经网络获取新的知识，并存储到网络的权 值矩阵中，从而增强网络的识别能力。值矩阵中，从而增强网络的识别能力。 智能控制典型神经网络30 BP网络的训练过程如下：正向传播是输入网络的训练过程如下：

13、正向传播是输入 信号从输入层经隐层传向输出层，若输出层得信号从输入层经隐层传向输出层，若输出层得 到了期望的输出，则学习算法结束；否则，转到了期望的输出，则学习算法结束；否则，转 至反向传播至反向传播 以第以第p个样本为例，用于训练的个样本为例，用于训练的BP网络结网络结 构如图构如图7-11所示。所示。 智能控制典型神经网络31 图图7-11 BP7-11 BP神经网络结构神经网络结构 智能控制典型神经网络32 网络的学习算法如下：网络的学习算法如下： （1）前向传播：计算网络的输出。）前向传播：计算网络的输出。 隐层神经元的输入为所有输入的加权之和：隐层神经元的输入为所有输入的加权之和：

14、隐层神经元的输出隐层神经元的输出 采用采用S函数激发函数激发 ： i iijj xwx j x j x 智能控制典型神经网络33 j x jj e xfx 1 1 )( )1 ( jj j j xx x x 则 输出层神经元的输出： j jjll xwx 智能控制典型神经网络34 网络第 个输出与相应理想输出 的误差为： 第p个样本的误差性能指标函数为： 其中N为网络输出层的个数。 0 l x lll xxe 0 N l lp eE 1 2 2 1 l 智能控制典型神经网络35 （2）反向传播：采用梯度下降法，调整各层 间的权值。权值的学习算法如下： 输出层及隐层的连接权值 学习算法为： jl

15、 w jl jl l l jl p jl xe w x e w E w jljljl wkwkw)() 1( 智能控制典型神经网络36 其中 隐层及输入层连接权值 学习算法为： ij w N l ij l l ij p ij w x e w E w 1 ijjjli j j jl ij j j j j l ij l xxxwx x x w w x x x x x w x )1 ( ijijij wkwkw)() 1( 智能控制典型神经网络37 如果考虑上次权值对本次权值变化的影响， 需要加入动量因子 ，此时的权值为： 11kwkwwkwkw jljljljljl )1()()() 1(twtw

16、wtwtw ijijijijij 其中 为学习速率， 为动量因子。 1 , 0 1 , 0 智能控制典型神经网络38 7.2.7 仿真实例：仿真实例： 取标准样本为3输入2输出样本，如表7-1所 示。 输 入输 出 10010 01000. 5 00101 表7-1 训练样本 智能控制典型神经网络39 BP网络模式识别程序包括网络训练程序 chap7_2a.m和网络测试程序chap7_2b.m。 智能控制典型神经网络40 智能控制典型神经网络41 智能控制典型神经网络42 智能控制典型神经网络43 智能控制典型神经网络44 7.3.2 RBF网络的逼近网络的逼近 采用RBF网络逼近一对象的结构

17、如图7- 14所示。 智能控制典型神经网络45 图7-14 RBF神经网络逼近 智能控制典型神经网络46 T n xxxX,., 21 T h.,h ,h m21j hH mj b X j j ,2, 1), 2 C- exp(-h 2 2 j T n21j cc ,c C jijjj c 智能控制典型神经网络47 T 21 ,B m bbb j b ,W 21mj wwww h+w+h+whw=whky mmm 2211 )( 2 m(k) -(k)( 2 1 yykE)( 智能控制典型神经网络48 )2() 1(kwkwhyyww jjjmjj (k)-(k)(1)-(k(k) 3 2 j

18、 j jjmj b CX hwyyb - (k)-(k)( 2)-(k-1)-(k(1)-(k(k) jjjjj bbbbb 2 j jij jmji b cx wyyc - (k)-(k)( 2)-(k-1)-(k(1)-(k(k) ijijijijij ccccc 智能控制典型神经网络49 Jacobian m j j j jj m b xc hw ku ky ku ky 1 2 11 )( )( )( )( (k)ux 1 智能控制典型神经网络50 2 3 ) 1(1 ) 1( )()( ky ky kuky 使用RBF网络逼近下列对象： RBF网络逼近程序见chap7_3.m。 智能控

19、制典型神经网络51 智能控制典型神经网络52 智能控制典型神经网络53 智能控制典型神经网络54 n IIII, 21 (t) i I (k) j X (k) j S j (.)f (k)O D W O W I W 智能控制典型神经网络55 7.4.2 DRNN网络的逼近网络的逼近 DRNN网络逼近的结构如图网络逼近的结构如图7-19所示，所示， 图中图中k k为网络的迭代步骤，为网络的迭代步骤，u(k)u(k)和和y(k)y(k)为辨为辨 识器的输入。识器的输入。DRNN为网络辨识器。为网络辨识器。y(k)y(k)为为 被控对象实际输出，被控对象实际输出，y ym m(k)(k)为为DRNN的输出。的输出。 将系统输出将系统输出y(k)y(k)及输入及输入u(k)u(k)的值作为辨识器的值作为辨识器 DRNN的输入，将系统输出与网络输出的误的输入，将系统输出与网络输出的误 差作为辨识器的调整信号。差作为辨识器的调整信号。 智能控制典型神经网络56 图7-19 DRNN神经网络逼近 智能控制典型神经网络57 )()()