神经网络配套pptCh12pres

神经网络配套pptCh12pres第1页/共35页BP算法的变形启发式改进动量可变的学习速度标准的数值优化共轭梯度牛顿法(Levenberg-Marquardt)第2页/共35页性能曲面例子网络结构指定的函数参数值多层非线性网络与单层线性网络在均方误差性能曲面上完全不同。后者的均方误差只有一个极小点，且具有常数曲率；前者的均方误差可能有多个局部极小点而且在参数空间不同区域曲率也是变化的。第3页/共35页性能曲面例子（续）w11,1w21,1w11,1w21,1w11,1和w21,1变化时的平方误差第4页/共35页性能曲面例子（续）

w11,1b11b11w11,1w11,1andb11变化时的平方误差

第5页/共35页性能曲面例子（续）

b11b21b21b11b11和b12变化时的平方误差第6页/共35页性能曲面例子的提示

•算法初始参数不要设置为０(参数空间的原点趋向于鞍点)

•算法初始参数不要设置过大(在远离优化点的位置，性能曲面将变得十分平坦)第7页/共35页收敛性例子w11,1w21,1第8页/共35页学习速度太大情形w11,1w21,1第9页/共35页提高收敛速度•改变学习速度在曲面平坦时增加学习速度，在斜速率增加时减少学习速度。•平滑轨迹：当算法开始振荡时，平滑掉振荡以产生一个稳定的轨迹。第10页/共35页动量方法滤波器例子第11页/共35页动量反向传播算法最速下降反传算法(SDBP)动量反传算法(MOBP)w11,1w21,1第12页/共35页可变的学习速度(VLBP)如果误差平方(在整个训练集上)在权值更新后增加了百分数z(典型值为1%至5%),则取消权值更新,学习速度乘上一个因子(1

>

r

>

0),并且动量系数g置为0.如果误差平方在权值更新后减少,则接受权值更新,并且学习速度乘上一个因子h>1.如果动量系数g先前被置为0,则恢复到先前的值.如果误差平方的增加少于z,则接受权值更新,但是学习速度和动量系数不变.第13页/共35页例子w11,1w21,1平方误差学习速度第14页/共35页启发式方法的缺点要设置一些额外的参数算法的性能对这些参数的改变十分敏感参数的选择是与问题相关的对某些用最速下降反传算法能找到解的问题却不能收敛。算法越复杂这样问题越容易发生第15页/共35页共轭梯度1. 初始搜索方向为梯度的反方向(最速下降)。2. 迭代一次，学习速度的选取采用沿搜索方向最小化性能函数。3. 选择下一次的搜索方向：其中或或因为通常性能指数不是二次的，以下二个方面需要改进：1.需要一个一般的过程去确定函数在某个特定方向的极值；2.算法在共扼方向迭代过n次后，可能要重新设置搜索方向。4. 如果算法不收敛，继续第２步。第16页/共35页区间定位第17页/共35页区间缩小第18页/共35页黄金分割搜索t=0.618Set c1=a1+(1-t)(b1-a1),Fc=F(c1)

d1=b1-(1-t)(b1-a1),Fd=F(d1)Fork=1,2,...repeat IfFc

<Fdthen Set ak+1=ak;bk+1=dk;dk+1=ck

ck+1=ak+1+(1-t)(bk+1-ak+1)

Fd=Fc;Fc=F(ck+1) else Set ak+1=ck;bk+1=bk;ck+1=dk

dk+1=bk+1-(1-t)(bk+1-ak+1)

Fc=Fd;Fd=F(dk+1) endenduntilbk+1-ak+1<tol第19页/共35页共扼梯度反向传播法(CGBP)w11,1w21,1w11,1w21,1中间步骤完整轨迹第20页/共35页Newton方法如果性能指数是函数平方的和:则梯度的第j个元素是:第21页/共35页矩阵形式梯度能写成矩阵形式:其中J是Jacobian矩阵:Jx()v1x()¶x1¶----------------v1x()¶x2¶----------------¼v1x()¶xn¶----------------v2x()¶x1¶----------------v2x()¶x2¶----------------¼v2x()¶xn¶----------------¼¼¼vNx()¶x1¶-----------------vNx()¶x2¶-----------------¼vNx()¶xn¶-----------------=第22页/共35页Hessian矩阵第23页/共35页Gauss-Newton方法xkJTxk()Jxk()[]1–JTxk()vxk()–=设S(x)很小，Hessian矩阵近似表示为:Newton方法成为:第24页/共35页Levenberg-Marquardt(LM)算法Gauss-Newton方法近似表示Hessian矩阵如下：这个矩阵可能奇异,但是可进行如下转换：如果H的特征值和特征向量是：那么G的特征值对所有i，增加μ以保证，可使G成为正定，所以矩阵G可逆。由此可导出如下LM算法：第25页/共35页mk的调整当mk®0，LM方法变成Gauss-Newton方法：当mk®¥,LM方法变成有小的学习速度的最速下降算法：所以，开始时取小的mk值用Gauss-Newton法加速收敛。如果某一步不能获得较小的F(x)值，那么增加mk值（乘以一个因子）重复那一步直到F(x)值的减少。F(x)值最终一定会减少，因为我们将在最速下降方向上用很小的步长。第26页/共35页应用到多层网络多层网络的性能指数是:误差向量是:参数向量是:两个向量的维数是:第27页/共35页Jacobian矩阵Jx()e11,¶w11,1¶--------------e11,¶w12,1¶--------------¼e11,¶wS1R,1¶----------------e11,¶b11¶------------¼e21,¶w11,1¶--------------e21,¶w12,1¶--------------¼e21,¶wS1R,1¶----------------e21,¶b11¶------------¼¼¼¼¼eSM1,¶w11,1¶---------------eSM1,¶w12,1¶---------------¼eeSM1,¶wS1R,1¶----------------eeSM1,¶b11¶----------------¼e12,¶w11,1¶--------------e12,¶w12,1¶--------------¼e12,¶wS1R,1¶----------------e12,¶b11¶------------¼¼¼¼¼=第28页/共35页计算Jacobian矩阵标准BP算法计算公式为：对于Jacobian矩阵的元素可用下式计算：使用链规则：其中敏感度：是用反向传播方法计算得到。第29页/共35页Marquardt敏感度如果定义Marquardt敏感度为:Jacobian矩阵能如下算得:权偏置第30页/共35页敏感度计算S˜mS˜1mS˜2m¼S˜Qm=反向传播初始化第31页/共35页LMBP算法1.将所有输入提交网络并计算相应的网络输出和误差。计算所有输入的误差平方和F(x).2.计算Jacobian矩阵。初始化敏感度，用反向传播算法递归计算各层的敏感度。将各个单独的矩阵增广到Marquardt敏感度中。计算Jacobian矩阵的元素。3.求得权的改变量。4.用重复