新版人工神经网络

1第五章BP神经网络1.研究背景2.学习规则3.感知机结构4.感知机学习规则新版人工神经网络第1页研究背景罗斯布莱特感知机学习规则和伯纳德和玛西娅LMS算法是设计用来训练单层类似感知器网络。如前面几章所述,这些单层网络缺点是只能解线性可分分类问题。罗斯布莱特和伯纳德均意识到这些限制而且都提出了克服这类问题方法：多层网络。但他们未将这类算法推广到用来训练功效更强网络。新版人工神经网络第2页研究背景韦伯斯（Werbos）在他1974年博士论文中第一次描述了训练多层神经网络一个算法，论文中算法是在普通网络情况中描述，而将神经网络作为一个特例。论文没有在神经网络研究圈子内传输。新版人工神经网络第3页研究背景直到20世纪80年代中期,反向传输算法才重新被发觉并广泛地宣扬,这个算法因被包含在《并行分布式处理》(ParallelDistributedProcessing)[RuMc86]一书中而得到普及,才使之成为迄今为止最著名多层网络学习算法—BP算法,由此算法训练神经网络,称之为BP神经网络。新版人工神经网络第4页研究背景DavidRumelhartJ.McClelland新版人工神经网络第5页研究背景BP网络广泛应用于函数迫近、模式识别/分类、数据压缩等,80%-90%人工神经网络模型是采取BP网络或它改变形式,它也是前馈网络关键部分,表达了人工神经网络最精彩部分。新版人工神经网络第6页异或问题x1x2y000110110110多层网络求解异或问题新版人工神经网络第7页输出函数：用一个简单三层感知器就可得到处理多层网络求解异或问题新版人工神经网络第8页x1+x2+0.5=0x1+x2-1.5=00.7*y1-0.4y2-1=0多层网络求解异或问题新版人工神经网络第9页BP神经元及BP网络模型新版人工神经网络第10页BP神经元及BP网络模型BP神经元与其它神经元类似，不一样是BP神经元传输函数为非线性函数，最惯用函数是logsig和tansig函数，其输出为：新版人工神经网络第11页BP神经元及BP网络模型新版人工神经网络第12页BP神经元及BP网络模型BP网络普通为多层神经网络。由BP神经元组成二层网络如图所表示，BP网络信息从输入层流向输出层，所以是一个多层前馈神经网络。新版人工神经网络第13页BP神经元及BP网络模型假如多层BP网络输出层采取S形传输函数(如logsig)，其输出值将会限制在较小范围内(0,l)；用线性传输函数则能够取任意值。新版人工神经网络第14页BP神经元及BP网络模型新版人工神经网络第15页前一层输出是后一层输入网络输入网络输出BP神经元及BP网络模型新版人工神经网络第16页BP网络学习在确定了BP网络结构后,要经过输入和输出样本集对网络进行训练,亦即对网络阈值和权值进行学习和修正,以使网络实现给定输入/输出映射关系。新版人工神经网络第17页BP网络学习BP网络学习过程分为两个阶段：第一个阶段是输入已知学习样本,经过设置网络结构和前一次迭代权值和阈值,从网络第一层向后计算各神经元输出。第二个阶段是对权值和阈值进行修改,从最终一层向前计算各权值和阈值对总误差影响(梯度),据此对各权值和阈值进行修改。新版人工神经网络第18页BP网络学习以上两个过程重复交替，直到抵达收敛为止。因为误差逐层往回传递，以修正层与层间权值和阈值，所以称该算法为误差反向专播(errorbackpropagation)算法，这种误差反传学习算法能够推广到有若干个中间层多层网络，所以该多层网络常称之为BP网络。新版人工神经网络第19页BP网络学习标准BP算法也是一个梯度下降学习算法，其权值修正是沿着误差性能函数梯度反方向进行。针对标准BP算法存在一些不足，出现了几个基于标准BP算法改进算法，如变梯度算法、牛顿算法等。新版人工神经网络第20页函数迫近直到现在为止，在本书中看到神经网络应用多是在模式分类方面。神经网络在本质上也可被看作是函数迫近器。比如，在控制系统中，目标是要找到一个适当反馈函数。新版人工神经网络第21页应用举例求解函数迫近问题有21组单输入矢量和相对应目标矢量，试设计神经网络来实现这对数组函数关系2023/4/2522新版人工神经网络第22页函数迫近它能将测量到输出映射为控制输入。考虑图中两层1-2-1网络。

新版人工神经网络第23页函数迫近此例中,第一层传输函数是logsig函数第二层是线性函数。新版人工神经网络第24页函数迫近

注意网络响应包含两步，每一步对第一层中一个logsig形神经元响应。经过调整网络参数，每一步曲线形状和位置都能够发生改变，

如在下面讨论中将会见到那样。新版人工神经网络第25页函数迫近目标矢量相对于输入矢量图形初始网络输出曲线2023/4/2526新版人工神经网络第26页函数迫近2023/4/2527训练1000次训练次新版人工神经网络第27页函数迫近2023/4/2528训练3000次训练5000次新版人工神经网络第28页函数迫近从这个例子中，能够看到多层网络灵活性。看起来，只要在隐层中有足够数量神经元，我们能够用这么网络来迫近几乎任何一个函数。实际上，研究已表明两层网络在其隐层中使用S形传输函数，在输出层中使用线性传输函数，就几乎能够以任意精度迫近任何感兴趣函数，只要隐层中有足够单元可用(

[Host89])。新版人工神经网络第29页函数迫近我们已经有了对多层感知机网络在模式识别和函数迫近中能力一些概念,下一步是要设计一个算法来训练这么网络。新版人工神经网络第30页反向传输算法新版人工神经网络第31页反向传输算法

如前所述,多层网络中某一层输出成为下一层输入。描述此操作等式为：

这里,M是网络层数。第一层神经元从外部接收输入：

它是等式起点。最终一层神经元输出是网络输出：

新版人工神经网络第32页多层网络BP算法是LMS算法推广。两个算法均使用相同性能指数：均方误差。算法输入是一个网络正确行为样本集合：这里是网络输入,是对应目标输出。每输入一个样本,便将网络输出与目标输出相比较。算法将调整网络参数以使均方误差最小化：性能指数新版人工神经网络第33页近似误差最速下降法为，这里是学习速度。性能指数这里，x是网络权值和偏置值向量。若网络有多个输出,则上式一个形式为：这里，均方误差期望值被第k次迭代时均方误差所代替。新版人工神经网络第34页敏感性反向传输现在还需要计算敏感性，正是这个过程给出了反向传输这个词，因为它描述了第m层敏感性经过第m+1层敏感性来计算递推关系。新版人工神经网络第35页误差不是隐层中权值显式函数

偏导数不易求得链法则新版人工神经网络第36页链法则计算隐层偏导数设有一个函数f，它是变量n显示函数。函数n是w显示函数。现在球f关于第三个变量w导数。若链法则新版人工神经网络第37页梯度计算新版人工神经网络第38页梯度计算敏感性梯度新版人工神经网络第39页最速下降新版人工神经网络第40页Jacobian矩阵新版人工神经网络第41页Jacobian矩阵新版人工神经网络第42页Jacobian矩阵新版人工神经网络第43页反向传输(敏感性)现在我们能够看到反向传输算法得名原因了。敏感性从最终一层经过网络被反向传输到第一层：新版人工神经网络第44页初始化(最终一层)新版人工神经网络第45页第一步，经过网络将输入向前传输BP算法总结新版人工神经网络第46页下一步，经过网络将敏感性反向传输BP算法总结新版人工神经网络第47页最终，使用最速下降法更新权值和偏置值BP算法总结新版人工神经网络第48页BP算法总结新版人工神经网络第49页1-2-1Network+-taep例子:函数迫近新版人工神经网络第50页网络1-2-1Networkap新版人工神经网络第51页初始条件

下一步定义网络要处理问题。假定我们用此网络来迫近函数

训练集能够经过计算函数在几个p值上函数值来得到。新版人工神经网络第52页初始条件

在开始BP算法前,需要选择网络权值和偏置值初始值。通常选择较小随机值。下一章将讨论为何要这么做。现在,选择值

网络对这些初始值响应如图所表示,图中还包含要迫近正弦函数曲线。新版人工神经网络第53页初始条件新版人工神经网络第54页现在能够开始执行算法了。对初始输入,我们选择p=1:第一层输出为前向传输新版人工神经网络第55页第二层输出为误差将为

前向传输新版人工神经网络第56页算法下一阶段是反向传输敏感性值。在开始反向传输前需要先求传输函数导数和。对第一层：反向传输新版人工神经网络第57页对第二层：

下面能够执行反向传输了。起始点在第二层。

反向传输新版人工神经网络第58页第一层敏感性由计算第二层敏感性反向传输得到：

反向传输新版人工神经网络第59页

算法最终阶段是更新权值。为简单起见,学习速度设为。权修正新版人工神经网络第60页权修正新版人工神经网络第61页

这就完成了BP算法第一次迭代。下一步能够选择另一个输入，执行算法第二次迭代过程。迭代过程一直进行下去，直到网络响应和目标函数之差到达某一可接收水平。权修正新版人工神经网络第62页接着讨论与反向传输法实际实现相关一些问题，包含网络结构选择、网络收敛性和普通化问题。1.网络结构选择如本章前面所述，多层网络可用来迫近几乎任一个函数,只要在隐层中有足够神经元。然而，通常并不能说，多少层或多少神经元就能够得到足够性能。本节中我们经过一些例子来考查这个问题。反向传输应用新版人工神经网络第63页第一个例子：假定要迫近以下函数：

其中i取值1、2、4和8。随i增加，函数变得更为复杂，在区间内将有更多正弦波周期。当i增加时，极难用隐层中神经元数目固定神经网络来迫近g(p)。网络结构选择新版人工神经网络第64页

对这个例子,我们使用一个1-3-1网络,第一层传输函数为“logsig”形,第二层传输函数是线性函数。依据前面函数迫近例子,这种两层网络响应是三个“logsig”形函数之和(或多个logsig形函数之和,只要隐层中有一样多神经元).

显然,对这个网络能实现函数有多么复杂有一个限制。图6－18是网络经训练来迫近g(p)

(对i=1,2,4,8)后响应曲线。最终网络响应用图中画出曲线来表示。网络结构选择新版人工神经网络第65页网络结构选择1-3-1Networki=1i=2i=4i=8因为网络能力受隐层中神经元数目标限制，尽管BP算法能够取得使均方误差最小化网络参数，网络响应却不能准确迫近所期望函数。i=1i=2i=4i=8新版人工神经网络第66页网络结构选择

能够看到，对i=4，这个1-3-1网络到达了它最大能力。当i>4时，网络不能生成g(p)准确迫近曲线。从图右下方图中能够看致1-3-1网络试图迫近i=8时函数g(p)。网络响应和g(p)之间均方误差到达了最小化，但网络响应曲线只能与函数一小部分相匹配。新版人工神经网络第67页网络结构选择

下一个例子中将从一个稍有些不一样角度来处理此问题。这次我们选择函数g(p)

,然后使用越来越大网络直到能准确地迫近函数为止。g(p)采取

新版人工神经网络第68页网络结构选择1-5-11-2-11-3-11-4-1网络能力受隐层中神经元数目标限制。若要迫近有大量拐点函数,隐层中就要有大量神经元。通常不知道多少层或多少神经元就能得到足够性能。新版人工神经网络第69页BP网络不足在人工神经网络应用中,绝大部分神经网络模型采取了BP网络及其改变形式,但这并不说明BP网络是尽善尽美,其各种算法依然存在一定不足。BP网络不足主要有以下几个方面：新版人工神经网络第70页BP网络不足(1)学习率与稳定性矛盾梯度算法进行稳定学习要求学习率较小,所以通常学习过程收敛速度很慢。附加动量法通常比简单梯度算法快,因为在确保稳定学习同时,它能够采取很高学习率