LSTM详解公式推导

1、有问题请联系我 化简表示ann处理时间序列rnn输出样本(n*7维向量)t1=(x11,x12,y13,x1n)t7=(x71,x72,x73,x7n)输出样本(m*7维向量)t1=(y11,y12,y13,y1m)t7=(y71,y72,y73,y7m)每层网络内的每个神经元扩展为输入样本(n维向量) = (x1,x2,x3,xn)输出样本(m维向量) = (y1,y2,y3,ym)1层神经元1个神经元lstmann-rnn-lstmwicwhc=acttanhx+x=sctcell化简取每个block内仅有1个cell时间序列中第t个状态的输入的第i个分量特征: xitsct-1wilwh

2、lwclsigmoid=alt=blt输入门l忘记门wiwhwcsigmoidat=bt=sct-1sct-1wiwhwcsigmoid=at=bt输出门tanhx=bctblocklstm内block的结构上一个时序(t-1)中本层网络的第h个block的输出: bht-1（1）（2）（3）（4）（5）lstm内block的结构(正向传播公式)lstm内block的结构(反向传播公式)（1）（2）（3）（4）（5）（6）lstm内block的结构(反向传播公式-推导-bct的梯度)（1）第t时间状态的i+1层(下一层)第t时间状态的i层(本层)的某个block第t+1时间状态的i层(本层)=

3、第t时间状态的下一层网络中 每个block的act,alt,at,awt的梯度*连线的系数w 之和=第t+1时间状态的本层网络中 每个block的act,alt,at,awt的梯度*连线的系数w 之和lstm内block的结构(反向传播公式-推导-awt的梯度)awt的梯度=loss/awt= loss/bct* bct/ awtbct/ awt= (tanh(sct)*sigmod(awt)/awt=tanh(sct)*dsigmod(awt)取c=1lstm内block的结构(反向传播公式-推导-sct的梯度)取c=1第t时间状态的本层的该block第t+1时间状态的本层的该blocksc

4、t会影响 第t时间状态的awt， 第t时间状态的bct， 第t+1时间状态的alt， 第t+1时间状态的at， 第t+1时间状态的sct = l/awt*awt/sct + l/bct*bct/sct + l/alt+1*alt+1/sct + l/at+1*at+1/sct + l/sct+1*sct+1/sct 1） l/awt*awt/sct = l/awt* (wcw*sct+.)/sct= l/awt* wcw2） l/bct*bct/sct = l/bct*(bwt*tanh(sct)/sct= l/bct*bwt*dtanh(sct)3） l/alt+1*alt+1/sct =

5、l/alt+1* (sct*wcl+.)/sct= l/alt+1* wcl4） l/at+1*at+1/sct = l/at+1* (sct*wc+.)/sct= l/at+1* wc5） l/sct+1*sct+1/sct = l/sct+1* (sct*bt+1 +.)/sct= l/sct+1 * bt+1lstm内block的结构(反向传播公式-推导-alt的梯度)取c=1alt的梯度=loss/alt= loss/sct* sct/ altsct/ alt= (tanh(act)*sigmod(alt)+sct-1 * bt)/alt =(tanh(act)*sigmod(alt)/alt =tanh(act)*dsigmod(alt)lstm内block的结构(反向传播公式-推导-at的梯度)取c=1at的梯度=loss/at= loss/sct* sct/ atsct/ at= (sct-1*sigmod(at)+blt*tanh(act)/at = (sct-1*sigmod(at)/at =sct-1 * dsigmod(at)lstm内block的结构(反向传播公式-推导-act的梯度)取c=1act的梯度=loss/act= l