误差反传算法PPT学习教案

1、会计学1 误差反传算法误差反传算法 2 要点要点 1.BP算法的基本思想 2.基于BP算法的多层感知器模 型 3.标准BP算法的改进 第1页/共12页 3 1、BP算法的基本思想 学习过程由信号的正向传播与误差的反向传播两个 过程组成。正向传播时，输入样本从输入层传入，经各 隐层逐层处理后，传向输出层。若输出层的实际输出与 期望的输出不符，则转入误差的反向传播阶段。误差反 传是将输出误差以某种形成通过隐层向输入层逐层反传 ，并将误差摊给各层的所有单元，从而获得各层单元的 误差信号，此误差信号即作为修正各单元权值的依据。 这种信号正向传播与误差反向传播的各层权值调整过程 ，是周而复始地进行的。权

2、值不断调整的过程，也就是 网络的学习训练过程。此过程一直进行到网络输出的误 差减少到可接受的程度，或进行到预先设定的次数为止 。 第2页/共12页 4 2、基于BP算法的多层感知器模型 第3页/共12页 5 2、基于BP算法的多层感知器模型 三层感知器中，输入向量为 12 ,.,. T in Xx xxx 图中 0 1x 是为隐层神经元引入阈值而 设置的；隐层输出向量为 12 ,.,. T im Yy yyy ，图中 0 1y 是为 输出层神经元引入阈 值而设置的，输出层输出向量为 12 ,.,., T kl Oo ooo ；期望输出向量为 12 ,.,., T kl dd ddd 。输入层到

3、隐层之间的权值矩阵用V V表示， 12 ,.,., T jm Vv vvv ，其中列向量 j v 为隐层第 j 个神经元对应的权向量；隐层到输出层之间的权值矩阵 用 W 表示， 12 ,.,., T kl WW WWW ，其中列向量 k W 为输出层第 k 个神经元对应的权向 量。 第4页/共12页 6 对于输出层，有 0 1,2,., 1,2,., kk m kjkj j of netkl netw ykl 对于隐层，有 0 1,2,., 1,2,., ij n jiji i yf netjm netv xjm 以上两式中，变换函数 f x 均为单极性Sigmoid函数 1 1 x fx e

4、 具有连续、可导的特点，且有 f x 1fxfxfx 第5页/共12页 7 根据需要，也可以采用双极性Sigmoid函数（或称双曲线正切函数） 1 1 x x e f x e 网络误差与权值调整 当网络输出与期望输出不等时，存在输出误差 E ，定义如下 2 2 1 11 22 l kk k Edodo 将以上误差定义式展开至隐层，有 2 2 110 11 22 llm kkkjki kkj Edf netdfw y 进一步展开至输入层，有 第6页/共12页 8 2 10 2 100 1 2 1 2 lm kjkj kj lmn kjkiji kji Edfw f net dfw fv x 由以

5、上可以看出，网络输入误差是各层权值 jkij wv、 的函数，因此调整权值可改变 误差 E 显然，调整权值的原则是使误差不断地减少，因此应使权值的调整量与误差的梯度 下降成正比，即 0,1,2,.,;1,2,., jk jk E wjm kl w 0,1,2,., ;1,2,., ij ij E vin jm v 第7页/共12页 9 标准BP算法的改 进 存在的缺陷： u易形成局部极小而得不到全局最优； u训练次数多使得学习效率低，收敛速度慢； u隐节点的选取缺乏理论指导； u训练时学习新样本有遗忘旧样本的趋势 第8页/共12页 10 改进方法： 增加动量项； 自适应调整学习率； 引入陡度因

6、子 增加动量项： 为了考虑t时刻之前的梯度方向。 若用W代表某层权矩阵，X代表某层输入向量 ，则含有动量项的权值调整向量表达式为 1W tXW t 自适应调节学习率 从误差曲面可以看出，在平坦区域内 太小会使训练次数增加，因而希望 增大 值；而在误差变化剧烈的区域， 太大会因调整量过大而跨过较窄的“凹坑”处， 使训练出现振荡，反而使迭代次数增加。 第9页/共12页 11 设一初始学习率，若经过一批次权值调整后使总误差 E总 增大，则本次调整无效 ，且 1tt ；若经过一批次权值调整后使总误差 E总 减少，则本次调整有效， 且 1tt 引入陡度因子 误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神 经元输入了变换函数的饱和区。如果在调整进入平坦区后，设法压 缩神经