第五章神经网络原理与控制v2课件

1、第五章 神经网络原理5.1 神经网络的基本概念5.2 前向神经网络及主要算法5.3 反馈网络5.4 神经网络控制10/2/20221IC2010第五章 神经网络原理5.1 神经网络的基本概念9/24/20神经系统 的复杂性10/2/20222IC2010神经系统9/24/20222IC201010/2/20223IC20109/24/20223IC201010/2/20224IC20109/24/20224IC201010/2/20225IC20109/24/20225IC201010/2/20226IC20109/24/20226IC201010/2/20227IC20109/24/2022

2、7IC201010/2/20228IC20109/24/20228IC20105.1 神经网络的基本概念5.1.1 生物神经元10/2/20229IC20105.1 神经网络的基本概念5.1.1 生物神经元9/24/25.1.1 生物神经元人的大脑由1012个神经元构成，神经元互相连接成神经网络神经元组成：细胞体为主体神经元功能：刺激、兴奋、传导、效应形状图突触传递信息特点10/2/202210IC20105.1.1 生物神经元人的大脑由1012个神经元构成，神经元形状图10/2/202211IC2010形状图9/24/202211IC20105.1.2 人工神经元模型BNN 信息传递过程 为

3、 MISO 系统,信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。 各通道都对电位产生影响（空间总合效应）10/2/202212IC20105.1.2 人工神经元模型BNN 信息传递过程 为 MIS BNN 脉冲， ANN 模拟电压ANN等效模拟电压近似BNN脉冲密度，仅有空间累加无时间累加（可认为时间累加已隐含于等效模拟电压之中）ANN中未考虑时延、不应期及疲劳等 可建立更为精确的模型，但一般NN研究无此必要（方法论）10/2/202213IC20109/24/202213IC2010人工神经元模型 BNN 信息传递过程

4、为 MISO 系统,信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。 各通道都对电位产生影响（空间总合效应）。 10/2/202214IC2010人工神经元模型 BNN 信息传递过程 为 MISO 系 单个神经元特性 神经元的膜电位与时间关系如下spike10/2/202215IC2010 实际神经元记录：膜电位Recording from a real neuron: membrane potential10/2/202216IC2010实际神经元记录：膜电位9/24/202216IC2010神经元模型（1）神经元是人工神

5、经网络的基本处理单元，它一般是一个多输入/单输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bias），有时也称为阈值或门限值。10/2/202217IC2010神经元模型（1）神经元是人工神经网络的基本处理单元，它一般是神经元模型（2） 。 10/2/202218IC2010神经元模型（2） 。 9/24/202218IC2010抽象可得数学表达式：i 加权值（weights) 阀值（threshold） (s) 作用函数（activated transfer function） 10/2

6、/202219IC2010抽象可得数学表达式：i 加权值（weights)9/24/作用函数的基本作用1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。 10/2/202220IC2010作用函数的基本作用9/24/202220IC2010几种常用的作用函数 1、阀值型（硬限制型) 2、线性型 3、S型函数（Sigmoid） 4、辐射基函数10/2/202221IC2010几种常用的作用函数 1、阀值型（硬限制型) 9/24/20(1)、阀值型（硬限制型） 生物学背景：神经细胞的兴奋与抑制；单极性10/2/202222IC2010(

7、1)、阀值型（硬限制型） 生物学背景：9/24/20生物学背景：神经细胞的兴奋与抑制：双极性10/2/202223IC2010生物学背景：9/24/202223IC2010(2)、线性型a) 全线性 生物学背景：神经细胞的比例作用（全方位）10/2/202224IC2010(2)、线性型a) 全线性 生物学背景：9/24/2b) 正线性生物学背景：神经细胞的线性比例作用（单方向）10/2/202225IC2010b) 正线性生物学背景：9/24/202225IC2010(3)、S型函数（Sigmoid）a) 对数正切 y=1/(e-n+1)生物学背景：神经细胞的非线性比例作用（单向）10/2/

8、202226IC2010(3)、S型函数（Sigmoid）a) 对数正切 y=1/b)双曲正切 y=tanh(n)生物学背景：神经细胞的非线性比例作用（全方位）10/2/202227IC2010b)双曲正切 y=tanh(n)生物学背景：9/24/202（4）辐射基函数a) 高斯函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用10/2/202228IC2010（4）辐射基函数a) 高斯函数生物学背景：9/24/202b)三角波函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用的线性近似10/2/202229IC2010b)三角波函数生物学背景：9/24/202229IC20105.2

9、.2 人工神经网络的构成基本模型连接的几种基本形式前向网络（feed-forward Networks）回归网络（recurrent Networks）互联网络（全互连与局部互连）也可是以上几种形式的组合10/2/202230IC20105.2.2 人工神经网络的构成基本模型9/24/202230人工神经网络种类1). 前向型 感知器、线性网络（ADALINE), BP网络 RBF 网络， 2). 反馈型 Hopfield 网络3). 竞争型 ART ， SOFM等10/2/202231IC2010人工神经网络种类1). 前向型9/24/202231IC20Perceptron 应用举例1。水

10、果分类Matlab 演示 nnd3pc.m（chap 3 ）10/2/202232IC2010Perceptron 应用举例1。水果分类9/24/2022前向型神经网络基本模型 10/2/202233IC2010前向型神经网络基本模型 9/24/202233IC2010前向网络结构图10/2/202234IC2010前向网络结构图9/24/202234IC2010前向网络特点 1). 神经元分层排列，可又多层 2). 层间无连接 3). 方向由入到出 多层感知器（BP）网络 （perceptron/BP即为 此） 应用最为广泛10/2/202235IC2010前向网络特点 1). 神经元分层排

11、列，可又多层9/2回归网络全反馈结构图10/2/202236IC2010回归网络9/24/202236IC2010Inner RNN结构图10/2/202237IC2010Inner RNN结构图9/24/202237IC2010回归网络特点Output 与 Input相连（全反馈） 特点：1. 内部前向 2. 输出反馈到输入 例： Fukushima网络Inner recurrent 特点：层间元互相连接10/2/202238IC2010回归网络特点Output 与 Input相连（全反馈）9互联网络结构图 10/2/202239IC2010互联网络9/24/202239IC2010互联网络

12、特点每个元都与其它元相连 例： Hopfield Boltzmann机 10/2/202240IC2010互联网络特点每个元都与其它元相连9/24/202240IC2Hopfield反馈神经网络结构10/2/202241IC2010Hopfield反馈神经网络结构9/24/202241IC2反馈网络特点系统：反馈动力学系统，有一稳定时间作用：联想记忆，求解优化问题10/2/202242IC2010反馈网络特点系统：反馈动力学系统，有一稳定时间9/24/20ANN与BNN的比较BNNANN单元上差别影响因素多忽略了影响关系简单信息上差别脉冲模拟电压规模及智能大, 高小 H a 1 = tansi

13、g (IW 1,1 p 1 +b 1 )tansig(x)=tanh(x)=(ex-e-x)/(ex+e-x)H-O a 2 = purelin (LW 2,1 a 1 +b 2 )输入层神经元个数n隐含层神经元个数s1输出层神经元个数s210/2/202278IC2010I/O 关系I-H 9/24/202278IC2010学习（训练）的基本原理采用最小二乘方法，利用梯度搜索技术，使网络的实际输出值与期望输出值的误差均均方值最小。基本的EBP算法是极小化二次性指标函数E而得到的。10/2/202279IC2010学习（训练）的基本原理采用最小二乘方法，利用梯度搜索技术，使学习（训练）输入q组

14、样本p1,p2,.,pq piRn期望输出 T1,T2,.,Tq, T Rs2网络输出a21,a22,.,a2qa2Rs2 均方误差向量情况10/2/202280IC2010学习（训练）输入q组样本p1,p2,.,pq piBP算法流程（学习算法）由两部分组成：信息的正向传播和误差的反向传播。在正向传播过程中，输入信息从输入经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层的神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通道反传回来修改各层神经元的权值直到达到期望目标。10/2/202281IC2010BP算法流

15、程（学习算法）由两部分组成：信息的正向传播和误差的学习过程设输入为P，输入神经元有r个，隐含层内有s1个神经元，作用函数为f1，输出层内有s2个神经元，对应的作用函数为f2，输出为A，目标为T。10/2/202282IC2010学习过程设输入为P，输入神经元有r个，隐含层内有s1个神经元学习（训练）2解决方法 误差最小实质为一个优化问题思路1: 梯度法(gradient)找出误差与加权系数的关系 得到加权系数改变的规律10/2/202283IC2010学习（训练）2解决方法 误差最小9/24/202283IC梯度法原理(1)1.对无约束极值问题设: F(X)二次可微, 具有极小点X*,10/2

16、/202284IC2010梯度法原理(1)1.对无约束极值问题设: F(X)二次可微,梯度法原理(2)10/2/202285IC2010梯度法原理(2)9/24/202285IC2010最速下降法，要求E的极小点 wijE0，此时wij0取E0wij10/2/202286IC2010最速下降法，要求E的极小点 wijE0，此时wijH H-O 2. 计算误差 ek=tk-a2k10/2/202290IC2010学习训练算法 正向传播9/24/202290IC20寻找加权系数改变与误差的关系考虑一个样本输入到网络的情况，此时误差平方和为1。输出层权系数的调整（误差与输出层关系直接）net2k10

17、/2/202291IC2010寻找加权系数改变与误差的关系考虑一个样本输入到网络的情况，此定义：因为：式中：10/2/202292IC2010定义：9/24/202292IC2010小结：10/2/202293IC2010小结：9/24/202293IC2010隐含层权系数的修正ANiANkANjw1ij1i21w2k1w2ki2kw2km2m输入层输出层隐含层10/2/202294IC2010隐含层权系数的修正ANiANkANjw1ij1i21w隐含层权系数的修正误差e与w1无显函数关系，采用链式法则找关系10/2/202295IC2010隐含层权系数的修正误差e与w1无显函数关系，采用链式

18、法则找关 不能直接计算，需通过其他量间接计算10/2/202296IC2010 不能直接计算，需通过9/24/202296IC2010隐含层权值修正小结：10/2/202297IC2010隐含层权值修正小结：9/24/202297IC2010总结输出节点k隐含节点j统一形式10/2/202298IC2010总结输出节点k9/24/202298IC2010BP算法解释输出层误差 ej(j=1s2)隐含层误差 ei(i=1n1)ei与ej的关系？ei可以认为是由ej加权组合形成的。由于作用函数的存在，ej的等效作用为 j i=ejf ()10/2/202299IC2010BP算法解释输出层误差 e

19、j(j=1s2)9/24/202 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值 改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyy10/2/2022100IC2010 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1导数logsigmatlab 函数：dA_dN = dlogsig(N,A)tansigmatlab 函数：dA_dN = dtansig(N,A)10/2/2022101IC2010导数9/24/2022101IC2010小结感知器网络 分类BP网络分类与函数逼近 反向传播学习算法，调整权值。讲解1）示例2）MATL

20、AB 实现10/2/2022102IC2010小结感知器网络 分类9/24/2022102IC2010示例: 函数逼近 1-2-1Network+-taexgx()1/x=10/2/2022103IC2010示例: 函数逼近 1-2-1+-taexgx()1/x=9/10/2/2022104IC20109/24/2022104IC2010修正公式：前向计算权值修正10/2/2022105IC2010修正公式：前向计算9/24/2022105IC2010具体步骤（一步）：前向计算（输入输出计算）y1/1=1s1=w1*x+b1=-1.0*1.0+0=-1.0;s2=w2*x+b2=1.0*1.0

21、+0=1.0z1=logsig(s1) =logsig (-1.0) = 0.7311; z2= logsig (s2) =logsig(1.0) = 0.2689t=v1*z1+v2*z2+b =0.7311+0.2689+0.5=1.5误差计算 e=1-1.5=-0.510/2/2022106IC2010具体步骤（一步）：前向计算（输入输出计算）9/24/20输出层权值修正(O-I)V1*e*z10.1*(-0.5)*0.7311=-0.0366, V1= V1+V1=0.5+(-0.0366)=0.4634V2*e*z20.1*(-0.5)*0.2689=-0.0134, V2= V2+

22、V2=0.5+(-0.0134)=0.4866b=*e=0.1*(-0.5)=0.05 b=bb0.5-0.05=0.49510/2/2022107IC2010输出层权值修正(O-I)V1*e*z10.1*(-隐含层权值修正w1=*e*v1*f(s1)*x=*e*v1*z1*(1-z1)*x =0.1*(-0.5)*0.4634*0.7311*(1-0.7311)*1=-0.0046 w1=w1+w1=1.0+(-0.0046)=0.9954w2=*e*v2*f(s2)*x=*e*v2*z2*(1-z2)*x =0.1*(-0.5)*0.4686*0.2689*(1-0.2689)*1=-0.

23、0046w2=w2+w1=(-1.0)+(-0.0046)= )=-1.0046b1=b1+b1=0-0.0046=-0.0046; b2=b2+b2=0-0.0046=-0.0046;10/2/2022108IC2010隐含层权值修正w1=*e*v1*f(s1)*x=*eMatlab 例Nnd11bc.m演示训练过程 nndemos（chap11 demo2）10/2/2022109IC2010Matlab 例Nnd11bc.m9/24/2022109I示例: 函数逼近 (nnd11bc.m)1-2-1Network+-taep10/2/2022110IC2010示例: 函数逼近 (nnd1

24、1bc.m)1-2-1+-tae网络1-2-1网络ap10/2/2022111IC2010网络1-2-1ap9/24/2022111IC2010初始条件10/2/2022112IC2010初始条件9/24/2022112IC2010前向传播10/2/2022113IC2010前向传播9/24/2022113IC2010反向传播s1Fn1()W2()Ts21a11()a11()001a21()a21()0.090.172.522=10/2/2022114IC2010反向传播s1Fn1()W2()Ts21a11()a11(权值更新10/2/2022115IC2010权值更新9/24/2022115

25、IC2010示例3：两层XOR网络x1x2y00001110111010/2/2022116IC2010示例3：两层XOR网络x1x2y0000111011109/输入输出关系10/2/2022117IC2010输入输出关系9/24/2022117IC2010加权值修改(Vi)10/2/2022118IC2010加权值修改(Vi)9/24/2022118IC2010加权值修改(Wij)10/2/2022119IC2010加权值修改(Wij)9/24/2022119IC2010具体计算步骤：见matlab程序Bpxor2_demo_step.m的执行过程：10/2/2022120IC2010具体

26、计算步骤：见matlab程序9/24/2022120ICbpxor2_demo_step.m% BP神经网络解决异或问题% 采用的一个2-2-1的网络clearclcBP_LEARNING = 0.1; % 学习速率为0.1wish_error = 0.002; % 期望误差studytimes = 20000; % 定义最大学习次数result=zeros(1,4); % 生成一个矩阵，存放最后的输出结果P = 0 0 1 1; 0 1 0 1;T = 0 1 1 0;% 初始化神经网络隐含层的权值和域值% 根据权值下标，例如weight12表示第一个输入对隐含层第二个神经元的权值weigh

27、t11 = rands(1)weight21 = rands(1)weight12 = rands(1)weight22 = rands(1)b1 = rands(1)b2 = rands(1)% 初始化输出层的权值和域值weight1 = rands(1)weight2 = rands(1)b = rands(1)pause10/2/2022121IC2010bpxor2_demo_step.m% BP神经网络解决% 开始训练网络for i=1:studytimes; real_error = 0; % 初始化中间变量：修改权值的变量的累加值 change_b1=0;change_b2=0;

28、change_b=0; change_weight11=0;change_weight21=0;change_weight12=0;change_weight22=0; change_weight1=0;change_weight2=0; for j=1:4; % 前向计算 % 第一个隐含层神经元的输出 hidelayer1 = weight11*P(1,j) + weight21*P(2,j) + b1 % 经过 S 函数之后的输出 S_hidelayer1 = 1/(1+exp(-hidelayer1); % 第二个隐含层神经元的输出 hidelayer2 = weight12*P(1,j

29、) + weight22*P(2,j) + b2 % 经过 S 函数之后的输出 S_hidelayer2 = 1/(1+exp(-hidelayer2) % 输出层的输出线性输出 outlayer = weight1*S_hidelayer1 + weight2*S_hidelayer2 + b % 计算误差 deta =T(j)-outlayer10/2/2022122IC2010% 开始训练网络% 第二个隐含层神经元的输出9/24/2 % 计算输出层加权值 W1，W2,偏置值b的修正量 change_weight1 = change_weight1 + BP_LEARNING*S_hide

30、layer1*deta change_weight2 = change_weight2 + BP_LEARNING*S_hidelayer2*deta change_b = change_b + BP_LEARNING*deta % 计算隐含层第一个神经元权值的deta1 deta1 = S_hidelayer1*(1-S_hidelayer1)*weight1*deta % 计算隐含层第二个神经元权值的deta2 deta2 = S_hidelayer2*(1-S_hidelayer2)*weight2*deta % 计算输出层加权值 W11，W21, W12，W22，偏置值b1，b2的修正

31、量 % 偏置值b1,b2修正量的累加 change_b1 = change_b1 + BP_LEARNING*deta1 change_b2 = change_b2 + BP_LEARNING*deta2 %权值 W11，W21, W12，W22修正量的累加 change_weight11 = change_weight11 + BP_LEARNING*P(1,j)*deta1 change_weight21 = change_weight21 + BP_LEARNING*P(2,j)*deta1 change_weight12 = change_weight12 + BP_LEARNING*

32、P(1,j)*deta2 change_weight22 = change_weight22 + BP_LEARNING*P(2,j)*deta2 % 判断误差 real_error = real_error + (T(j)-outlayer)*(T(j)-outlayer) end10/2/2022123IC2010 % 计算输出层加权值 W1，W2,偏置值b的修正量9/24 % 开始调整权值 b1 = b1 + change_b1 b2 = b2 + change_b2 b = b + change_b weight11 = weight11 + change_weight11 weigh

33、t21 = weight21 + change_weight21 weight12 = weight12 + change_weight12 weight22 = weight22 + change_weight22 weight1 = weight1 + change_weight1 weight2 = weight2 + change_weight2 if real_error wish_error break; end;end;10/2/2022124IC2010 % 开始调整权值9/24/2022124IC2010% 输出最后结果for j=1:4; hidelayer1 = weig

34、ht11*P(1,j) + weight21*P(2,j) + b1; % 第一个隐含层神经元的输出 S_hidelayer1 = 1/(1+exp(-hidelayer1); % 经过 S 函数之后的输出 hidelayer2 = weight12*P(1,j) + weight22*P(2,j) + b2; % 第二个隐含层神经元的输出 S_hidelayer2 = 1/(1+exp(-hidelayer2); % 经过 S 函数之后的输出 outlayer = weight1*S_hidelayer1 + weight2*S_hidelayer2 + b; % 输出层的输出 result

35、(j) = outlayer;end; clcreal_error,i,result10/2/2022125IC2010% 输出最后结果9/24/2022125IC2010用MATLAB求解BP网络训练问题第一步 ：建立一个网络 net=newff(-2 2,5 1,tansig purelin,traingd);第二步 计算输出： y1=sim(net,P);10/2/2022126IC2010用MATLAB求解BP网络训练问题第一步 ：建立一个网络 绘图： plot(P,T,*);训练： net,tr=train(net,P,T);训练函数有很多种，如：traingd,traingdm,t

36、raingdx,trainlm在训练之前要对网络进行初始化，并设置好训练参数。初始化： net.iw1,1=W10; net.b1=B10; net.lw2,1=W20; net.b2=B20;10/2/2022127IC2010绘图： plot(P,T,*);9/24/202参数设置：net.trainParam.epochs=100; %最大训练次数net.trainParam.goal=0.01; %训练所要达到的精度 net.trainParam.show=10; %在训练过程中显示的频率 net.trainParam.lr=0.1; %学习速率10/2/2022128IC2010参数

37、设置：9/24/2022128IC2010例题函数逼近 例5.2.3 应用两层BP网络来完成函数逼近的任务，其中隐含的神经元个数选为5个。网络结构如图2.4.1所示。 图：2.4.110/2/2022129IC2010例题函数逼近 例5.2.3 应用两层BP网络来完成解 首先定义输入样本和目标矢量 P=-1:.1:1; T=-.9602 -.5770. .0729 .3771 .6405 .6600 .4609 . 1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988 .3072 .3960 .3449 .1816 -.0312 -.2189 -.3201

38、;上述数据的图形如图2.4.2所示。 图：2.4.210/2/2022130IC2010解 首先定义输入样本和目标矢量9/24/2022130IC利用函数newff建立一个bp神经元网络 net=newff(minmax(P),5 1,tansig purelin, traingd, learngd, sse);然后利用函数train对网络进行训练 net.trainParam.show=10; net.trainParam.epochs=8000; net.trainParam.goal=0.02; net.trainParam.lr=0.01; net,tr=train(net,P,T);10/2/202