前向多层神经网络课件

第2章前向多层神经网络、BP算法及计算机实现

综述推导前向多层神经网络的学习算法

BP学习算法中几个值得注意的问题

设计网络学习过程的步骤网络学习过程程序流程图对本课程的基本要求

基于前面介绍的神经元结构，人们又提出了很多种神经网络结构模型，如Hopfield网络、Boltzmann机、ART网络和BAM网络等。在各领域中用法最多也最有成效的是前向多层神经网络，由于该网络在学习（训练）过程中采用了BP（ErrorBack-propagation）算法，故又称为BP网络。标准的BP网络由三层神经元组成，其结构如图2－1所示。最下面为输入层，中间为隐含层，最上面为输出层，网络中相邻层采取全互连方式连接，同层各神经元之间没有任何连接，输出层与输入层之间也没有直接的联系。为方便讨论，在此设输入层、隐含层及输出层神经元的个数分别为L，M，N。可以证明：在隐含层节点可以根据需要自由设置的情况下，用三层前向神经网络可以实现以任意精度逼近任意连续函数。输出模式输入模式输出层隐含层输入层输出层神经元（L=2）隐含层神经元（L=1）输入层神经元（L=0）图2-1前向多层神经网络(BP网络)模型如图2－2示，设从第L层神经元j到第L-1层神经元i的连接权值为Wji，P为当前学习样本，Opi为在P样本下第L层第i个神经元的输出，变换函数f(x)取为Sigmoid函数,即

图2-2BP神经网络的通用结构

………………

………………对于第P个样本,网络的输出误差EP用下式表示

（2－1）式中tpj为输入第P个样本时第j个神经元的理想输出,Opj是它的实际输出,假设第L层有J个神经元,第L-1有I个神经元。对于非输入层的神经元具有下面的操作特性:任一神经元的净输入

(2－3)

任一神经元的输出(2－4)在式(2－3)中,如果将

代入，则(2－3)式可改写为

(2－5)又(2－6)

(2－7)定义:为输出误差系数

综合式(2－2)﹑(2－3)﹑(2－5)﹑(2－7)得出

(2－8)i=0,1,2…,I,j=0,1,2…,J-1,L=1,2由上式可见，为求出调整值，必须先求出。（2－9）

代入(2－9)式得到

(2.10)L=2,j=0,1,2,…,N-1(2)如果所讨论的神经元为隐层神经元,则有:

(向输出层反向传播，参见（2－5)式）

=

=

=将此结果代入式(2－9)得到(2－11)L=1,j=0,1,2,…,M-1从上式可以看出,为求出隐含层的输出误差系数,必须用到输出层的,所以这个过程被称为误差反向传播过程(EBP,errorback-propagation)。现在来讨论项中的,由于f[·]采用Sigmoid函数。由此可以得到（2－12）

将式(2－13)和式(2－14)代入式(2－8)得到

当L=2(输出层)时

(2－15)I=0,1,2…,N-1;j=0,1,2…,M当L=1(隐含层)时

(2－16),I=0,1,2…,M-1,j=0,1,2…,L至此，推导完了BP学习算法，式（2－15）与式(2－16)为推导的最后结果。

(1)神经网络输入层,输出层的神经元个数可以根据研究对象的输入,输出信息来确定,如何合适选取隐含层神经元的数目无规律可循,然而隐含神经元的数目是否合适对整个网络能否正常工作具有重要意义,一般情况下可按下式给出:(2－17)nH为隐含层神经元数目nI

为输入层神经元数目nO为输出层神经元数目L为1~10之间的整数(2)学习算法中的η表示学习速率,或称为步幅,η较大时,数值的修改量就较大,学习速率比较快,但有时会导致振荡,η值较小时,学习速率慢,然而学习过程平稳,η值的具体选取方案有很多种,但没有一种是令人信服的,在一些简单的问题中,η可取为一常数,满足0∠η∠1,如η取0.5。(4)在设置各训练样本的理想输出分量时，有时可取为接近1,0的数,如0.9,0.1等而不直接取为1.0,因为单个神经元的转换函数大都是采用Sigmoid函数，因而输出层各神经元的实际输出值，只能接近于1或者0，而不能达到1或者0。(5)在学习开始时，必须给每个连接权赋初值。在实际的网络训练过程中，通常的处理方法是给每一个连接权赋以-1至1之间的随机数。BP算法学习的目的是为了寻找连接权，使得趋于全局最小,然而在实际操作时而只能使之趋于一个相对大一点的E值，称为局部最优，如何避免在学习过程中陷入局部最小是BP算法的一大难题。

当出现局部最优的情况下，表现出来的特征是：各数值收敛到某一稳定值，而误差值却不是最小，这时可以按下式判定：j=0,1,2…,N-1式中ζ<<1,β为一小数,通常0<β<0.2。如符合上式,则认为此时BP网络陷入局部极小点。(1)网络结构及学习参数的确定

(2)网络状态初始化

(3)提供学习样本

(4)学习开始

(5)是否满足？满足执行第(6)步,否则返回(4)步(6)是否满足？若是则执行第(7)步，否则返回第(2)步(7)停止

用较小的（绝对值为1以内）随机数对网络权值，阈值置初值。

输入向量xp(p=1,2,…,P)和目标向量t