第5章_典型人工神经网络(BP).ppt

1,第五章典型人工神经网络,2,第5.1节感知器,3,第5.1节感知器,5.1.2,多层感知器模型和学习算法,5.1.3,多层感知器应用实例,4,5.1.1感知器模型和用途,1.结构和数学模型,神经元输入：,神经元输出：,向量形式：,感知器输入输出函数为：,5,5.1.1感知器模型和用途,神经元输入：,神经元输出：,说明：,(1)原始感知器模型采用阈值函数类型的激励函数,(2)现常用Sigmoid函数作为激励函数,(3)针对阈值函数讨论其用途,6,5.1.1感知器模型和用途,2.两种理解方式（用途）,(1)模式识别器（分类器）,(2)逻辑函数,解决只有2类模式的识别问题,y=1，x属于第二类,y=0，x属于第一类,只能识别具有线性边界的识别问题,二值逻辑元，实现布尔代数的某些运算，包括：“与”、“或”和“非”,不能实现“异或”,P119图5.1.2,P120图5.1.3,7,x1,x2,xn,w1,w2,wn,.,.,X0=1,w0,M-P感知机是一个多输入单输出的模型，虽然结构简单，但具有一定的计算能力。,通过学习（权重），它能够正确地分类样本（二分类），但只能线性分类。,单一人工神经元单层感知机,8,与逻辑,或逻辑,分类能力分析,9,异或逻辑,and,or,xor,10,单层感知机,通过适当的选择权重，单层感知机能够实现and,or,not布尔逻辑。,单层感知机找不到相应的权重来实现XOR逻辑单层感知机不具备非线性分类能力！,11,第5.1节感知器,5.1.1,感知器模型和用途,5.1.3,多层感知器应用实例,12,结构特征：在输入层和输出层之间嵌入一层或多层隐含层。隐含单元既可以与输入输出单元相连，也可以与其它隐含单元相连。分类：含一个隐含层前向传播网络L+1层前向传播网络,多层感知器模型结构特点：,5.1.2多层感知器模型和学习算法,13,5.1.2多层感知器模型和学习算法,含一个隐层的感知器模型,14,隐含层输出：,输出层输出：,数学描述,15,L+1层前向传播网络,16,多层感知器模型的功能：,5.1.2多层感知器模型和学习算法,(1)实现任意的布尔函数；(2)在模式识别问题中，它能划分输入空间，生成复杂的边界；(3)最后，它能逼近从到的任意连续映射。,说明：,(1)激励函数只要求连续、光滑、单增、上下有界的非线性函数即可,(2)为简化计算，输出层常采用线性神经元,17,前向传播网络实质上表示的是一种从输入空间到输出空间的映射。网络的训练实质上是对突触权阵的调整，以满足当输入为Xp时其输出应为Yd。思想：前向计算得到网络的输出,反向计算得到误差的积累，由梯度下降法调整权值。,学习算法,5.1.2多层感知器模型和学习算法,18,学习算法结构图,5.1.2多层感知器模型和学习算法,19,误差的平方和,梯度下降法：权值的变化与误差梯度的下降成正比，使误差指标不断减小。,性能指标,20,学习算法,21,学习算法（续）,隐层输出,加权矩阵,阈值向量,非线性作用函数（激活函数）,期望输出,22,第一隐层输出：,学习算法（续）,第二隐层输出：,输出层输出：,23,学习算法（续）,24,第二步：计算梯度,学习算法（续）,25,第三步：计算梯度,学习算法（续）,26,对每个样本重复下述过程，直到收敛：,学习算法描述,正向过程计算,反向过程计算,修正权值,27,第二隐层与第一隐层连接权值及阈值更新：,第一隐层与输入层连接权值及阈值更新：,输出层与第二隐层连接权值及阈值更新：,学习算法描述（续）,28,算法基本流程,29,权系数的初值：随机选较小的值，尽量均匀覆盖权值空间，避免出现初始权值相同的情况。学习方式:增量型学习方法效果好；累积型学习方法速度快。激励函数：非减可微函数。可通过调节Sigmoid函数的斜率或采用其它激励函数来改善网络的学习性能。学习速率：学习速率小，训练速度慢；学习速率大，训练速度快，可能出现振荡现象。,影响BP学习算法的因素,30,非线性优化的局部极小，或振荡不收敛；收敛速度很慢；新样本的加入会影响已学习过的老样本。,BP学习算法的局限性,31,选用不同的作用函数、性能指标；解决局部极小问题选用不同的初值迭代；激励函数加入斜率因子；模拟退火方法；分解子网。加快收敛速度采用不同的激励函数；变学习率方法；利用激励函数的二阶导数；最速下降法；组合学习方法；权值修正引入动量因子；遗传算法；等等。,BP学习算法的改进,32,准则：检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量；若不是这样，而产生了过调，那么就应该减小学习速率的值。,调整公式：,自适应变学习率方法,33,在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。利用附加动量的作用则有可能滑过局部极小值。该方法是在反向传播法的基础上，在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。,权值调节公式：,动量因子，一般取0.95左右,附加动量法,34,网络的层数隐含层的神经元数初始权值的选取学习速率的选取期望误差的选取,BP网络的设计,35,理论上已经证明：至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。增加层数主要可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。一般情况下，应优先考虑增加隐含层中的神经元数。能不能仅用具有非线性激活函数的单层网络来解决问题呢？结论是：没有必要或效果不好。,BP网络的层数,36,网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层要简单得多。在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量。,BP网络隐含层的神经元数,初始权值的选取,一般取初始权值在(-1，1)之间的随机数。,37,学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定。小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间。,BP网络学习速率的选取,38,在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值。这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络。,BP网络期望误差的选取,39,例5.1.1P128BP网络训练,5.1.3多层感知器应用实例,40,Matlab命令窗口输入“Help函数名”可得到相关函数的详细介绍；,补充：感知器神经网络工具箱函数,输入Demop1利用具有2个神经元的感知器实现对5个输入数据的两分类,41,补充：感知器神经网络工具箱函数,常用指令：P175表7.2.2,P180例7.2.1,%感知器网络实验X=-0.5-0.50.3-0.10.20.60.80.6;-0.50.5-0.510.5-0.90.8-0.6T=11011010w,b=initp(X,T)w,b,epochs,erros=trainp(w,b,X,T)Y=simup(X,w,b)testX=-0.50.3-0.90.4-0.10.2-0.60.80.10.4;-0.3-0.8-0.4-0.70.4-0.60.1-0.5-0.50.3y=simup(testX,w,b)figureplotpv(testX,y)plotpc(w,b),42,误差曲线,分类结果,43,补充：BP网络工具箱函数,BP网络演示函数,nnd11nf-Networkfunctiondemonstration.nnd11bc-Backpropagationcalculationdemonstration.nnd11fa-Functionapproximationdemonstration.nnd11gn-Generalizationdemonstration.,BP网络相关指令P181表7-2-3,Initf