CNN算法中BP算法权重调整过程

1、lCNN算法中权重调整过程详细推导卷积神经网络（CNN）训练的过程是：信号由输入层输入，经隐含层（至少一层），最后由输出层输出。为了使得输出的结果 与期望值间的误差最小，我们需要对每层的权重参数进行调整， 调成的过程是：利用输出值与期望值之间的误差，由输出层经隐含层到输入层，进行每层的误差计算，这个过程其实就是反向传 播网络BRBack Propagation）的计算过程。BP（Back Propagation）网络是 1986 年由 Rumelhart 和McCelland为首的科学家小组提出，是一种按误差逆传播算法训 练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP学习网络能学习

2、和存储大量的输入 -输出模式映射关系，而事前 无需揭示这种映射关系的数学方程。它的学习规则是使用梯度下降法，通过反向传播不断调整网络的权重和阈值，使网络的误差平方和最小。输入层隐含层输出层为了方便BP算法推导，如图1所示，我们做了如下的定义：(1)我们定义输入是：X 二Xi,X2,i 二 n 隐含层的输出是：Y - y1, y2,., yt,., xl , t=l输出层是：O 二Oi,°2,0j,0m, j 二 m(4) 输入层到隐含层的权重，我们定义：V =w,V2,.,Vt,.,V|, t = I线的颜色相同的权重一样，例如绿颜色的线权重是：)。(5) 隐含层到输出层的权重，我们

3、定义：W 珂W1,W2,.,Wj ,.,Wm, j 二 m下边讲的才是我们这部分的核心和重点，如何利用以上的定义，来描述图1所示的网络的工作过程。在这里插入一个关于激活函数的定义，你肯定会问什么是激活函数，跟神经网络有什么关系？首先，激活函数是把激活的神经元的特征通过该函数把特征保 存并映射出来，这里的保存特征，同时去除了数据中的一些冗余 的信息，这是神经网络 NN解决非线性问题的关键。常见的激活函数有：Sigmoid, tanh,ReLu,softmax 等。Sigmoid函数，也叫 S 曲线函数：f x1，tanh: f x 二 tanh x， ReLu:1 +ef x = max x,0

4、 , sofamax: f x = log 1 ex。对图1中的输出层：0j二f netj， j =1,2,m，这里的netj表示l输出层的第j个输入，且netj八Wy%, j =1,2,.,m，则l°j二 f 'Wtj y；，则对于隐含层:y f net; , t =1,2,.,l，这里的nett表示输出层的第；个输入，n ett八 Xi，t = 1,2,1，贝U：i 二W，；在这里我们定义输出误差:E-丄(d0)2 =丄E (d22 j=1m0m）2，这里ll的d表示期望输出值。E = 1 d - 0 2d22 j=11 m 2=子认- f(netj)2 j=1m_丄7=

5、2 j.dm fwtjyt-1=11 m _-s =2此时式（1）中，E，dm-f、： wtj f (net(lf nWd fu m1瓦wtjft VitXiIItWI i勻丿丿Jm，Xi是已知的（当然激活函数1 m2 jW(1)仆是已知的），只有权重值 w和v是未知的，即是我们要求解的，接下里dE我们利用梯度下降法求解式（1），则：厶Vit =；，w；j:E-wtjWit=-二1世；叫汨netj . nett:vit 'netj:wtj在这里，我们对输出层，隐含层各定义个误差信号，则:.:E.:E，那么式可以写成:-n et；(1)Wtjyt_、. 0 =jt这里的 是比例系数，观察

6、式 和式，只要斗和ty已知，那么我们就完成了对权重值的调整，那么我们有:EE：Ojtynetj:Enet;oj:netj:Eytyt :nett:E 'f netj lFdm om f netj (5)Oj-f' nett yt(6)由于E1 m二一、d2 j1 m r =-Z =2 j八则，.:E=送 dm f送 7tjiI二八 dm - Om f netj Wtj j丄那么式可以重写成:1二匡(dm- om IL 2(1 ) 送wtjytWtj,2 丿f' netj wtj - f' net,1 'f x 匚=>fx=fx1-fx1 +e、ty二1I迟(dm om )f (netj)(1 - f (netj)Wtj I f (net)小1= ,dm5 Oj'ZZ n由式(5)得，jO = - dm - Om * f netj 1 - f netj 二 d Om * o V Om(8).-l将式(8)带入式得：八'i1°WtjytVyt