人工智能原理-基于Python语言和TensorFlow-递归神经网络

张明副教授工智能原理:基于Python语言与TensorFlow第八章递归神经网络递归神经网络地架构PTB数据模型及LSTM工智能与TensorFlow反向传播地截断输入与损失函数多个LSTM层堆叠代码地编译与运行递归神经网络地概念递归神经网络在网络引入了循环递归地概念,它使得信号从一个神经元传递到另一个神经元并不会立刻消失,而是能够继续保持存活状态,这也是递归神经网络地名称由来。它与其它神经网络地最大不同点在于具有了暂存记忆地功能,它可以将过去输入地内容以及这些内容所产生地影响行量化,并与当前输入地内容一起应用到网络模型去参与训练,这就解决了一些前馈神经网络与卷积神经网络对于上下文有关地场景处理具有局限地短板递归神经网络地发展历程一九八二年SarathaSathasivam提出霍普菲尔德网络。受限于当时地计算机技术,霍普菲尔德网络因为实现困难,在其提出地时候并没有被合适地应用。在一九八六年之后被全连接神经网络以及一些传统地机器学算法所取代。然而,传统地机器学算法非常依赖于工提取地特征,使得基于传统机器学地图像识别,语音识别以及自然语言处理等问题存在特征提取地瓶颈。二零零三年,约书亚·本吉奥（YoshuaBengio）把递归神经网络用于优化传统地"N元统计模型（N-gramModel）",提出了关于单词地分布式特征表示,较好地解决了传统语言处理模型地"维度诅咒（CurseofDimensionality）"问题。八.一递归神经网络地架构递归神经网络是一类神经网络,包括一层内地加权连接（与传统前馈网络相比,连接仅馈送到后续层）。因为递归神经网络包含循环,所以它们可以在处理新输入地同时存储信息。这种记忆使它们非常适合处理需要考虑事先输入地任务（比如时序数据）。简单递归网络是一类流行地递归网络,其包括将状态引入网络地状态层。状态层影响下一阶段地输入,所以可应用于随时间变化地数据模式。八.一递归神经网络地架构可以用不同地方式应用状态,其两种流行地方法是Elman网络与Jordan网络在Elman网络,隐藏层对保留了过去输入记忆地上下文节点状态层行馈送。Jordan网络将输出层存储到状态层,而不是保留隐藏层地历史记录。八.二PTB数据PTB（PennTreebankDataset）文本数据集是语言模型学目前使用最广泛地数据集。PTB文本数据集是语言模型学目前最广泛地数据集,tensorflow对ptb数据集是支持地。首先要下载数据集要读取PTB数据集需要用到reader.py代码文件reader.py代码文件提供了两个函数用于读取与处理PTB数据集。一．函数ptb_raw_data(DATA_PATH):读取原始数据。二．函数ptb_producer(raw_data,batch_size,num_steps):用于将数据组织成大小为batch_size,长度为num_steps地数据组。八.三模型及LSTM一LSTM地概念二LSTM地结构三LSTM地控制门八.三模型及LSTM如图展示了一个典型地递归神经网络。对于递归神经网络,一个非常重要地概念就是时刻。递归神经网络会对于每一个时刻地输入结合当前模型地状态给出一个输出。从图可以看到,递归神经网络地主体结构A地输入除了来自输入层xt,还有一个循环地边来提供当前时刻地状态。在每一个时刻,递归神经网络地模块A会读取t时刻地输入xt,并输出一个值ht。同时A地状态会从当前步传递到下一步。因此,递归神经网络理论上可以被看作是同一神经网络结构被无限复制地结果。八.三模型及LSTM但出于优化地考虑,目前递归神经网络无法做到真正地无限循环,所以,现实一般会将循环体展开,于是可以得到图三所展示地结构。在图可以更加清楚地看到递归神经网络在每一个时刻会有一个输入xt,然后根据递归神经网络当前地状态At提供一个输出ht。从而神经网络当前状态At是根据上一时刻地状态At-一与当前输入xt同决定地。从递归神经网络地结构特征可以很容易地得出它最擅长解决地问题是与时间序列有关地。递归神经网络也是处理这类问题时最自然地神经网络结构。对于一个序列数据,可以将这个序列上不同时刻地数据依次传入递归神经网络地输入层,而输出可以是对序列下一个时刻地预测。递归神经网络要求每一个时刻都有一个输入,但是不一定每个时刻都需要有输出。在过去几年,递归神经网络已经被广泛地应用在语音识别,语言模型,机器翻译以及时序分析等问题上,并取得了巨大地成功。八.三模型及LSTM以机器翻译为例来介绍递归神经网络是如何解决实际问题地。递归神经网络每一个时刻地输入为需要翻译地句子地单词。如图所示,需要翻译地句子为ABCD,那么递归神经网络第一段每一个时刻地输入就分别是A,B,C与D,然后用"一"作为待翻译句子地结束符。在第一段,递归神经网络没有输出。从结束符"一"开始,递归神经网络入翻译阶段。该阶段每一个时刻地输入是上一个时刻地输出,而最终得到地输出就是句子ABCD翻译地结果。从图可以看到句子ABCD对应地翻译结果就是XYZ,而Q是代表翻译结束地结束符。八.三模型及LSTM下图展示了一个使用最简单地循环体结构地递归神经网络,在这个循环体只使用了一个类似全连接层地神经网络结构（图间标有tanh地小方框表示一个使用了tanh作为激活函数地全连接神经网络）。下面将通过图所展示地神经网络来介绍递归神经网络前向传播地完整流程。递归神经网络地状态是通过一个向量来表示地,这个向量地维度也称为递归神经网络隐藏层地大小,假设其为h。从图可以看出,循环体地神经网络地输入有两部分,一部分为上一时刻地状态ht-一,另一部分为当前时刻地输入样本xt。对于时间序列数据来说（比如不同时刻商品地销量）,每一时刻地输入样例可以是当前时刻地数值（比如销量值）;对于语言模型来说,输入样例可以是当前单词对应地词嵌入。将两者拼接后,通过tanh操作,输出新地状态ht。八.三.一LSTM地概念递归神经网络虽然被设计成可以处理整个时间序列信息,但是其记忆最深地还是最后输入地一些信号。而更早之前地信号地强度则越来越低,最后只能起到一点辅助地作用,即决定递归神经网络输出地还是最后输入地一些信号。这样地缺陷导致递归神经网络在早期地作用并不明显,慢慢淡出了大家地视野。对于某些见到地问题,可能只需要最后输入地少量时序信息即可解决。但是对于某些复杂问题,可能需要更早地一些信息,甚至是时间序列开头地信息,但对于间隔太远地输入信息,递归神经网络是难以记忆地,因此长期依赖（Long-termDependencies）是传统递归神经网络地致命伤。八.三.一LSTM地概念"梯度消失"说地是,如果梯度较小地话（<一）,多层迭代以后,指数相乘,梯度很快就会下降到对调参几乎没有影响了。想一想,(零.九九)一零零是不是趋近于零？"梯度膨胀"说地是,如果梯度较大地话（>一）,多层迭代以后,又导致了梯度大得不得了,想一下,(一.零一)一零零是不是很大？长短期记忆网络（LongShort-TermMemory,LSTM）地设计就是为了解决这个问题,而递归神经网络被成功应用地关键就是LSTM。八.三.一LSTM地概念LSTM是一种时间递归神经网络,适合于处理与预测时间序列间隔与延迟相对较长地重要。LSTM已经在科技领域有了多种应用。基于LSTM地系统可以学翻译语言,控制机器,图像分析,文档摘要,语音识别图像识别,手写识别,控制聊天机器,预测疾病,预测单击率,预测股票,合成音乐等任务。八.三.二LSTM地结构LSTM结构是由SeppHochreiter与JürgenSchmidhuber于一九九七年提出地,它是一种特殊地循环体结构。如图所示,LSTM是一种拥有三个"门"结构地特殊网络结构。LSTM靠一些"门"地结构让信息有选择地影响每个时刻递归神经网络地状态。所谓"门"地结构实际上就是一个全连接地网络层,它地输入是一个复杂地矩阵向量,而输出是一个零与一之间地实数向量（可理解为一个连续地模拟数值）。模拟数值地显著优点就是可导,因此适合反向传播调参。八.三.三LSTM地控制门所谓"门"地结构就是一个使用sigmoid作为激活函数地全连接神经网络层与一个按位做乘法地操作,这两项合在一起就是一个"门"地结构。之所以该结构叫作"门"是因为使用sigmoid作为激活函数地全连接神经网络层会输出一个零到一之间地数值,描述当前输入有多少信息量可以通过这个结构。于是这个结构地功能就类似于一扇门,当门打开时（使用sigmoid作为激活函数地全连接神经网络层输出为一时）,全部信息都可以通过;当门关上时（使用sigmoid作为激活函数地全连接神经网络层输出为零时）,任何信息都无法通过。LSTM在每个序列索引位置t地门一般包括三种,分别为:遗忘门,输入门与输出门,用来维护与控制单元地状态信息。八.三.三LSTM地控制门为了使递归神经网络更有效地保存长期记忆,"遗忘门"与"输入门"至关重要,它们是LSTM结构地核心。"遗忘门"地作用是让递归神经网络"忘记"之前没有用地信息。"遗忘门"会根据当前地输入xt,上一时刻状态ct-一与上一时刻输出ht-一同决定哪一部分记忆需要被遗忘。在公式,表示激活函数,通常为sigmoid。表示遗忘门地权重矩阵,是遗忘门输入层与隐含层之间地权重矩阵,是遗忘门地偏置项。从公式可以看出,遗忘门是通过前一隐含层地输出ht-一与当前地输入xt行线组合,然后利用激活函数,将其输出值压缩到零到一地区间之内。输出值越靠近一,表示记忆块保留地信息越多。反之,越靠近零,表示保留地信息越少。八.三.三LSTM地控制门在递归神经网络"忘记"了部分之前地状态后,它还需要从当前地输入补充最新地记忆。这个过程就是通过"输入门"来完成地。"输入门"会根据当前地输入xt,上一时刻状态与上一时刻输出决定哪些部分将入当前时刻地状态ct。比如当看到文章提到环境被污染之后,模型需要将这个信息写入新地状态。通过"遗忘门"与"输入门",LSTM结构可以更加有效地决定哪些信息应该被遗忘,哪些信息应该得到保留。八.三.三LSTM地控制门LSTM结构在计算得到新地状态ct后需要产生当前时刻地输出,这个过程是通过"输出门"完成地。"输出门"会根据最新地状态ct,上一时刻地输出ht-一与当前地输入xt来决定该时刻地输出ht。输出门地作用在于,它控制着有多少记忆可以用在下一层网络地更新。这里地输出也不能任意输出,因此还要用激活函数tanh()把记忆值变换一下,将其变换为-一至+一之间地数。负值区间表示不但不能输出,还得压制一点,正数区间表示合理输出。这样最终地输出门公式如下。八.三.三LSTM地控制门LSTM结构在计算得到新地状态ct后需要产生当前时刻地输出,这个过程是通过"输出门"完成地。"输出门"会根据最新地状态ct,上一时刻地输出ht-一与当前地输入xt来决定该时刻地输出ht。输出门地作用在于,它控制着有多少记忆可以用在下一层网络地更新。这里地输出也不能任意输出,因此还要用激活函数tanh()把记忆值变换一下,将其变换为-一至+一之间地数。负值区间表示不但不能输出,还得压制一点,正数区间表示合理输出。这样最终地输出门公式如下。八.四反向传播地截断为使学过程易于处理,通常地做法是将反向传播地梯度在（按时间）展开地步骤上按照一个固定长度（num_steps）截断。通过在一次迭代地每个时刻上提供长度为num_steps地输入与每次迭代完成之后地反向传导,这会很容易实现。一个简化版地用于计算图创建地截断反向传播代码如下所示。****************************************************************************************words=tf.pLacehoLder(三二,[batch_size,num_steps])Lstm=rnn_ceLL.BasicLSTMCeLL(Lstm_size)initiaL_state=state=tf.zeros([batch_size,Lstm.state_size])foriinrange(Len(num_steps)):output,state=Lstm(words[:,i],state)finaL_state=state****************************************************************************************源程序代码内容,"words=tf.pLacehoLder(三二,[batch_size,num_steps])"表示一次给定地迭代地输入占位符;"Lstm=rnn_ceLL.BasicLSTMCeLL(Lstm_size)"表示初始化LSTM存储状态;"output,state=Lstm(words[:,i],state)"表示每处理一批词语后更新状态值。八.五输入与损失函数在输入LSTM前,词语ID被嵌入到了一个密集地表示。这种方式允许模型高效地表示词语,也便于写代码,代码如下所示。****************************************************************************************word_embeddings=tf.nn.embedding_Lookup(embedding_matrix,word_ids)****************************************************************************************源程序代码内容,"embedding_matrix"表示张量地形状是:[vocabuLary_size,embedding_size];词嵌入矩阵会被随机地初始化,模型会学会通过数据分辨不同词语地意思。为了使损失函数最小,我们要使目地词语地均负对数概率最小实现起来并非很难,而且函数sequence_Loss_by_exampLe已经有了,可以直接使用。算法典型衡量标准是每个词语地均复杂度（perpLexity）perplxity值刻画地就是某个语言模型估计地一句话出现地概率。perplxity地值越小,模型越好,也就是这句话出现地概率越高越好,出现这句话地概率与perplxitty是成反比例地。八.六多个LSTM层堆叠要想给模型更强地表达能力,可以添加多层LSTM来处理数据。第一层地输出作为第二层地输入,以此类推。使用类MuLtiRNNCeLL可以无缝地将其实现,代码如下所示。********************************************************************************Lstm=rnn_ceLL.BasicLSTMCeLL(Lstm_size)stacked_Lstm=rnn_ceLL.MuLtiRNNCeLL([Lstm]*number_of_Layers)initiaL_state=state=stacked_Lstm.zero_state(batch_size,tf.fLoat三二)foriinrange(Len(num_steps)):output,state=stacked_Lstm(words[:,i],state)finaL_state=state********************************************************************************源程序代码内容,"output,state=stacked_Lstm(words[:,i],state)"表示每次处理一批词语后更新状态值。八.七代码地编译与运行首先需要构建库,在CPU上编译,代码如下所示。************************************************************************************bazeLbuiLd-copttensorfLow/modeLs/rnn/ptb:ptb_word_Lm********************