计算机视觉应用开发课件：LSTM（下）

LSTMLSTM结构解析01任务LSTM实现方法01任务学习目标了解LSTM网络结构了解LSTM的实现方法1LSTM结构解析1LSTM结构解析LSTM的关键是cell状态，水平线贯穿图的顶部。cell状态有点像传送带。它沿着整个链条一直沿直线运动，只有一些小的线性相互作用。信息不加改变地流动非常容易。如图所示：1LSTM结构解析LSTM具有删除或添加信息到节点状态的能力，这个能力是由被称为门(Gate)的结构所赋予的。门(Gate)是一种可选地让信息通过的方式。它由一个sigmoid神经网络层和一个点乘法运算组成。如图所示：sigmoid神经网络层输出0和1之间的数字，这个数字代表每个组件有多少比率的信息可以通过，0表示不通过任何信息，1表示全部通过。LSTM具有三个gates，以保护和控制cell状态。1LSTM结构解析LSTM的第一步是决定要从节点状态中丢弃什么信息。该决定由被称为“忘记门”的sigmoid层实现。它查看

(前一个输出)和

(当前输入)，并为单元格状态(上一个状态)中的每个数字输出0和1之间的数字。1代表完全保留，而0代表彻底删除。“忘记门”的示意图如图所示：1LSTM结构解析下一步是决定要在节点状态中存储什么信息，需要分两步来进行，首先，称为“输入门层”的sigmoid层决定了将更新哪些值。接下来一个tanh层创建候选向量

，该向量将会被加到节点的状态中。存储信息步骤如图所示：现在是时候去更新上一个状态值

了，将其更新为

。前面的步骤以及决定了应该做什么，只需实际执行即可。1LSTM结构解析将上一个状态值乘以

，以此表达期待忘记的部分。之后将得到的值加上

，得到的是新的候选值，按照更新每个状态值的多少来衡量。更新上一个状态值

的步骤如图所示：1LSTM结构解析最后，需要决定要输出什么。此输出将基于其中的细胞状态，但将是一个过滤版本。首先，运行一个sigmoid层，它决定要输出的细胞状态的哪些部分。然后，将单元格状态通过tanh（将值规范化到-1和1之间），并将其乘以sigmoid层的输出，至此输出决定的那些部分的值。输出流程如图所示：2LSTM实现方法2LSTM实现方法tf.keras.layers.LSTM(units,activation=“tanh”,recurrent_activation=“sigmoid”,#用于重复步骤的激活功能use_bias=True,#是否图层使用偏置向量kernel_initializer=“glorot_uniform”,#kernel权重矩阵的初始化程序，用于输入的线性转换recurrent_initializer=“orthogonal”,#权重矩阵的初始化程序，用于递归状态的线性转换bias_initializer=“zeros”,#偏差向量的初始化程序unit_forget_bias=True,#则在初始化时将1加到遗忘门的偏置上kernel_regularizer=None,＃正则化函数应用于kernel权重矩阵recurrent_regularizer=None,＃正则化函数应用于权重矩阵bias_regularizer=None,＃正则化函数应用于偏差向量activity_regularizer=None,＃正则化函数应用于图层的输出（其“激活”）kernel_constraint=None,＃约束函数应用于kernel权重矩阵recurrent_constraint=None,＃约束函数应用于权重矩阵bias_constraint=None,＃约束函数应用于偏差向量dropout=0.0,＃要进行线性转换的输入单位的分数recurrent_dropout=0.0,＃为递归状态的线性转换而下降的单位小数return_sequences=False,＃是否返回最后一个输出。在输出序列或完整序列中return_state=False,＃除输出外，是否返回最后一个状态go_backwards=False,＃如果为True，则向后处理输入序列并返回反向的序列stateful=False,＃如果为True，则批次中索引i的每个样本的最后状态将用作下一个批次中索引i的样本的初始状态。time_ma