BP神经网络的改进和MATLAB实现PPT课件.ppt

1、江西师范大学2012.6.11，BP神经网络和MATLAB进行了改进。 1:BP神经网络概述2 :基于BP神经网络的标准训练学习基于在MATLAB软件上执行若干程序的Levenberg-Marquardt算法的学习优化(衰减最小二乘法) 5 :使用蚁群算法的初始权重优化6:4和5进行优化的模拟() 、2、多变量函数图、一元函数、x、r、二元函数、x、y、o、r、f、d、f、4、多变量函数及其图形、多BP神经网络模型，激活函数在任何地方一般都应该把使用s型激活函数使用s型激活函数时的BP网络的输入输出关系推导出来的net的值尽可能控制在收敛的早的范围内默认层有p个神经元，输出层是q个神经元变量定

2、义输入向量的抑制层输入向量抑制层输出向量输出层输出向量输出层输出向量期望的输出向量，10，10， 输入层和中间层的连接权重3360抑制层和输出层的连接权重3360抑制层的各神经元的阈值：输出层的各神经元的阈值：样本数据个数：激活函数：误差函数。 第二步随机地选择与第一输入样本对应的期望输出、12和第三步以校正隐式层中的每个神经元的输入输出、13和第四步，并且通过利用网络的期望输出和实际输出来校正针对输出层中的每个神经元的误差函数的偏导函数。14、第五步骤、从隐式层到输出层的连接权重、使用输出层和隐式层的输出来校正误差函数的隐式层中每个神经元的偏导函数、15、16、第六步骤、使用输出层中每个神经

3、元和隐式层中每个神经元的输出来校正连接权重、18、 如果误差达到预先设定的精度，或者学习次数大于设定的最大次数，则结束算法。 否则，选择与下一个学习样本相对应的所需输出，返回步骤3，继续下一个学习。 19、在BP算法直观解释情况1的直观表示误差对权重值的偏导数大于零的情况下，调整权重为负，调整权重使其大于实际输出，在减小方向上调整权重，以减小实际输出和期望输出之间的差。 20、BP算法直说状况2的直观表现误差对权重值的偏导函数小于0时，权重调整量为正，实际输出比期待输出少，权重向变大的方向调整，实际输出和期待输出的差减少。 对于x=(x1，x2)T，f (x1，x2)是曲面，其中min f (

4、x1，x2，xn) xiR、I=1，2，n可以表示为x=。 在x=(x1，x2，x3)T的情况下，f (x1，x2，x3)是体密度(或者类位势函数)。 在x=(x1，x2，xn)T的情况下，f (x1，x2，xn )是超曲面。 假定、24，函数f (x)=f (x1，xn )对于所有参数具有一阶和二阶连续偏导函数，则由n个一阶偏导函数构成的n维列向量被称为f.(x )的梯度，并且标记为满足f ()由、25和n-2个二次偏导函数组成的n阶对称矩阵被称为函数f (x )的黑森矩阵，并标记为H(x )或2f (x ) :26，并且在如上所述的多变量优化方法的讨论中这是两个常见概念。 假设、27、定理

5、(最佳条件) n元函数y=f (x )对于所有参数都具有一次和二次连续偏导函数，则x0是f (x )极小点的充分条件是f (x0)=0，2 f (x0)0(负定)，实际上，x=(x1， 假设xn)T，使用多变量函数的泰勒展开方程式存在、28，其中如果r是x的高阶无穷小(即r=o|)，则在x0是函数f.(x )的驻留点时能够获得xi(i=1， 注意，当n )足够小时，上述方程的右端的符号完全由二次xT2f (x0)x确定，完全由Hessian矩阵2f (确定)来确定微积分中一元函数和二元函数的极值的方法是该定理的特性。29、二、无约束优化的梯度下降法只要f (x )相对于无约束优化问题min f

6、 (x) (1) x=(x1，x2，xn)TRn小，就可以用经典分析的方法利用，30然而，用经典分析的方法解无约束优化问题(1)实际上是不可能的。 这是因为(1)实用上相当数量的函数f.(x )不具有解析性，因此无法形成非线性方程式f (x)=0，即使形成(2)方程式组f (x)=0，由于其是n元非线性方程式组，因此求其解与解决原来的问题同样困难(f.(x ) ) 、31，例如，如果某些曲面有许多极大值和极小值，则无法验证最佳条件。 出于上述各种原因，32对于方程(1)的求解通常采用相对现实且行为有效的数值算法。 最常见的是迭代算法(搜索算法)。 迭代算法的基本思想是根据特定的迭代规则从所选的

7、初始点x0Rn生成点阵xk，并使得当xk是穷点阵时，其最后一个点是公式(1)的最优解。 xk为无穷点列时，它有极限点，该极限点是(1)的最佳解。 将、33和xkRn设为迭代算法的第k个迭代点，将xk1- rn设为第k个迭代点，标记为xk 1=xk k pk，其中，将kR称为步骤，并且将pkRn称为搜索方向。 在k和pk确定之后，xk 1Rn可以被xkRn确定。 各种迭代算法的不同之处在于，选择k和pk (特别是pk )的方法不同。34，最广泛使用的类是降级算法，每次迭代都降级了目标函数值，即f (xk 1) f (xk )。 (1)在搜索方向pk上有多种选择方式，根据选择，形成不同的下降算法，

8、例如梯度下降法(也称为最急下降法)、共轭梯度法、牛顿法、衰减牛顿法、拟牛顿法等。 但是，在任何下降法中，pk的选择都有一般的原则，必须尽可能指向最小值点，这样不太花费修正运算成本。35、(2)步骤的选择也有几种不同的方式，最常用的方式是寻找最佳的步骤，即单变量极值问题的最佳解kR :36，梯度下降法(最下降法)是1847年，法国的数学家Cauchy提出了这样的方案。 理论上解决了该问题，并且f (x )的函数值沿着该点的负梯度方向降至最低。 这是梯度下降法的理论依据。给出梯度下降法的迭代步骤1的初始点x0Rn，允许误差为0并且k:=0的两个校正pk=f (xk )； 检查是否满足三收敛性判别标

9、准：| pk |如果满足判别标准，则停止迭代，获得点x* xk，否则执行4，并设置38和4个单变量极值问题的最优解kr:5xk1=xkkpk。 k:=k 1为2。39、例如用梯度下降法求出min f (x)=2x12 x22。 求解(1)初始点x0=(1，1 ) t，求解修正为p0=f (x0)=(4x 01，2 x 02 ) t|x1=1，x2=1=(4)的目标变量的极值问题：40，则为0=5/18，x1=x0p0=(1/9， 从4/9)t(2)到p1=f(x1)，因此，求出单变量的极值问题：1=5/12，从x2=x1p1=(2/27，2/27 ) t (3)校正p2=f(x2)=(8/27

10、 )，42，求出该问题的最大、43、梯度下降法是求解无约束优化问题的最基本算法，在优化方法中占有重要地位。 梯度下降法的优点是，修正运算量小，存储变量少，对初始点的要求不高。 缺点是，f.(x )仅反映点x处函数的局部性质，是局部最快的下降方向，但在整体求解过程中使函数值下降不一定最快，而且梯度下降法收敛速度慢，特别是在极小值点附近。 梯度下降法适合于寻找优良过程之前的世代和内插步骤，接近极值点时，希望选择其他收敛快的算法。 在、44、MATLAB上实现的一些示例、45、属于分析类型的算法也被称为梯度法：最快下降法。 这是初始分析法，收敛速度慢。 牛顿法：收敛速度快，但不稳定，修正算也困难。

11、共轭梯度法：收敛快，效果好。 变尺度法：这是一种有效的方法。 例如，46，使用BP网络的训练函数，47，例子1:3层BP神经网络来完成非线性函数的近似任务。 其中隐层神经元的数量为5个。 样本数据：48、例2使用3层BP神经网络完成非线性函数的近似任务，其中隐藏层神经元数为5个。 样本数据：49，一些论文改进了BP神经网络的训练学习过程，用LM(Levenberg-Marquardt )算法改进了BP神经网络的训练学习。 这是最广泛使用的非线性最小二乘法，是利用梯度求出最小(最大)值的算法，在图像上是登山法的一种。 梯度法和牛顿法都有好处。 如果小，则步骤等于牛顿方法中的步骤，而如果大，则步骤

12、几乎等于梯度下降方法中的步骤。 由于这种变化有时像阻尼运动，所以LM算法在阻尼最小二乘法、50、牛顿法的几何意义、x 1、x 2、牛顿法也是切线法、51、基本思想：在极小点附近使用，52、53、雅可比矩阵：雅可比矩阵的定义广泛更准确地说，雅可比矩阵可被认为是两个向量空间中的对应映射关系。 要知道杰克比矩阵，首先需要知道两个向量空间的关系。 以及初始向量空间中的基向量表现为尾向量空间中的基向量，使得通过利用这种函数求导能够知道雅可比矩阵的具体形式。 对、54、基于蚁群算法的神经网络中的权重和阈值的初始化、55、仿真、56、收敛速度问题局部极小点问题脱离/回避局部极小点： w、v的初始值进行修正总体上是无效的。 逃避集成校准的方法Wasserman、1986能够组合Cauchy训练和BP算法来发现全局最小点，而不会降低训练速度。2020/8/1，57，57，网络麻痹问题在训练中可能会增加权重，并且神经元的网络输入增加并且其激活函数的导数可能取的值减小。 根据对应式，此时的训练步长变得非常小，进而训练速度非常低，最终网络的收敛稳定性问题用修正量的综合实施权的修正