




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
LSTMLSTM结构解析01任务LSTM实现方法01任务学习目标了解LSTM网络结构了解LSTM的实现方法1LSTM结构解析1LSTM结构解析LSTM的关键是cell状态,水平线贯穿图的顶部。cell状态有点像传送带。它沿着整个链条一直沿直线运动,只有一些小的线性相互作用。信息不加改变地流动非常容易。如图所示:1LSTM结构解析LSTM具有删除或添加信息到节点状态的能力,这个能力是由被称为门(Gate)的结构所赋予的。门(Gate)是一种可选地让信息通过的方式。它由一个sigmoid神经网络层和一个点乘法运算组成。如图所示:sigmoid神经网络层输出0和1之间的数字,这个数字代表每个组件有多少比率的信息可以通过,0表示不通过任何信息,1表示全部通过。LSTM具有三个gates,以保护和控制cell状态。1LSTM结构解析LSTM的第一步是决定要从节点状态中丢弃什么信息。该决定由被称为“忘记门”的sigmoid层实现。它查看
(前一个输出)和
(当前输入),并为单元格状态(上一个状态)中的每个数字输出0和1之间的数字。1代表完全保留,而0代表彻底删除。“忘记门”的示意图如图所示:1LSTM结构解析下一步是决定要在节点状态中存储什么信息,需要分两步来进行,首先,称为“输入门层”的sigmoid层决定了将更新哪些值。接下来一个tanh层创建候选向量
,该向量将会被加到节点的状态中。存储信息步骤如图所示:现在是时候去更新上一个状态值
了,将其更新为
。前面的步骤以及决定了应该做什么,只需实际执行即可。1LSTM结构解析将上一个状态值乘以
,以此表达期待忘记的部分。之后将得到的值加上
,得到的是新的候选值,按照更新每个状态值的多少来衡量。更新上一个状态值
的步骤如图所示:1LSTM结构解析最后,需要决定要输出什么。此输出将基于其中的细胞状态,但将是一个过滤版本。首先,运行一个sigmoid层,它决定要输出的细胞状态的哪些部分。然后,将单元格状态通过tanh(将值规范化到-1和1之间),并将其乘以sigmoid层的输出,至此输出决定的那些部分的值。输出流程如图所示:2LSTM实现方法2LSTM实现方法tf.keras.layers.LSTM(units,activation=“tanh”,recurrent_activation=“sigmoid”,#用于重复步骤的激活功能use_bias=True,#是否图层使用偏置向量kernel_initializer=“glorot_uniform”,#kernel权重矩阵的初始化程序,用于输入的线性转换recurrent_initializer=“orthogonal”,#权重矩阵的初始化程序,用于递归状态的线性转换bias_initializer=“zeros”,#偏差向量的初始化程序unit_forget_bias=True,#则在初始化时将1加到遗忘门的偏置上kernel_regularizer=None,#正则化函数应用于kernel权重矩阵recurrent_regularizer=None,#正则化函数应用于权重矩阵bias_regularizer=None,#正则化函数应用于偏差向量activity_regularizer=None,#正则化函数应用于图层的输出(其“激活”)kernel_constraint=None,#约束函数应用于kernel权重矩阵recurrent_constraint=None,#约束函数应用于权重矩阵bias_constraint=None,#约束函数应用于偏差向量dropout=0.0,#要进行线性转换的输入单位的分数recurrent_dropout=0.0,#为递归状态的线性转换而下降的单位小数return_sequences=False,#是否返回最后一个输出。在输出序列或完整序列中return_state=False,#除输出外,是否返回最后一个状态go_backwards=False,#如果为True,则向后处理输入序列并返回反向的序列stateful=False,#如果为True,则批次中索引i的每个样本的最后状态将用作下一个批次中索引i的样本的初始状态。time_ma
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 涞源修路施工方案
- 正宗pvc彩壳施工方案
- 皮带机安装施工方案
- 平交路口施工方案
- 二零二五年度大学生就业三方协议范本
- 二零二五年度景区合作合同-景区旅游住宿设施合作经营协议
- 2025年度职业经理人企业可持续发展与环境保护合同
- 二零二五年度XX大学校园安保与安全宣传教育合同
- 2025年度航空航天专利技术保密与许可合同模板
- 2025年度租赁公寓退房押金结算合同
- 《智能家居系统》课件
- 基础模块下册《中国人民站起来了》2
- 继电保护业务技能实操题库
- 武汉市城中村综合改造挂牌出让土地成本测算
- 员工请假管理制度-员工请假管理制度范文
- 高考英语听力试音文本
- 带小孩保姆合同协议书范本
- MDI Jade 最完整教程(XRD分析)
- Q∕GDW 13234.1-2019 10kV~750kV输变电工程角钢铁塔、钢管塔、钢管杆、变电构支架采购标准 第1部分:通用技术规范
- 毕业设计(论文)基于PLC的自动灭火器系统设计
- 毕业设计(论文)钢包用耐火材料的设计及优化
评论
0/150
提交评论