郑州大学-机器学习 循环神经网络5

循环神经网络循环神经网络的介绍为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入有关也和过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频，语音，文本等，时序数据的长度一般是不固定的。例如，在说话时当前要说的词和之前已经说出去的词存在关系，依赖于上下文语境。前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。换句话说：神经元的输出可以在下一个时间步直接作用到自身（作为输入）

tanh函数输出层

一个简单的例子深层网络网格的训练

一个简单的例子

隐含层31完整的算法把这个例子推广到一般情况，得到通用的BPTT算法。只有一个循环层和一个输出层的循环神经网络正向传播时的变换为

类比前馈型神经网络，通过后一刻的误差项来计算当前时刻的误差项。递推的终点是最后一刻的误差：

长短期记忆模型

LSTM的计算思路如下：输入门作用于当前时刻的输出值，遗忘门作用于之前的记忆值，二者加权和，得到汇总信息；最后通过输出门决定输出值。如果将LSTM在各个时刻的输出值进行展开，会发现其中有一部分最早时刻的输入值避免了与权重矩阵的累次乘法，这是LSTM能够缓解梯度消失问题的主要原因。记忆细胞：在LSTM的每个时间步里面，都有一个记忆细胞，这个东西给予了LSTM选择记忆功能，使得LSTM有能力自由选择每个时间步里面的记忆。门控循环单元GRU和LSTM的区别1.这两种模型在许多任务中都不相上下，因此，与挑选出一个理想的架构相比，调整层数这些超参数等更重要。2.GRU的参数较少，因此其训练速度更快，或需要归纳的数据更少。相对应的，如果有足够的训练数据，表达能力更强的LSTM或许效果更佳3.相比较于LSTM，GRU能降低过拟合风险。双向网络对于有些问题，当前时刻的输出不仅与过去时刻的数据有关，还与将来时刻的数据有关，如机器翻译问题。于是设计了双向循环神经网络，它用两个不同的循环层分别从正向和反向对数据进行扫描。正向传播的流程如下：

序列预测问题1.序列标注问题序列标注问题指将一个序列数据映射成离散标签值序列的任务，其本质是根据上下文信息对序列每个时刻的输入值进行预测。对于语音识别问题，输入数据是语音信号序列，输出是离散的文字序列；对于机器翻译问题，输入是一种语言的语句，即单词序列，输出是另一种语言的单词序列；对于词性标注问题，输入是一句话的单词序列，输出是每个单词的词性，如名词，动词。与普通的模式分类问题相比，序列标注问题最显著的区别是输入序列数据的数据点之间存在相关性。它有个困难之处在于输入序列和输出序列之间的对齐关系是未知的，以语音识别问题为例，语音信号哪个时间段的数据对应哪个单词的对应关系在进行识别之前并不知道，我们不清楚一个单词在语音信号中的起始时刻和终止时刻。循环神经网络因为具有记忆功能，特别适合序列标注任务。循环神经网络在处理序列标注任务问题所面临的问题：1.标准的循环神经网络是单向的，但有些问题不仅需要序列过去时刻的信息，还需要未来时刻的信息。2.循环神经网络的输出序列和输入序列之间要对齐，即每一个时刻的输出值与输入值对应，而有些问题中输入序列和输出序列的对应关系是未知的。连续主义时序分类

2.前缀搜索解码：通过使用前向后向算法，逐步地扩展输出的标签序列得到最优解。网络训练的目标是最大化训练样本集的似然概率，解决计算条件概率麻烦性的思路是动态规划。对一个标签序列对应的所有路径进行求和可以分解为迭代地对这个路径的前缀对应的路径进行求和序列到序列的学习对有些问题，输入序列的长度和输出序列不一定相等，而且我们事先并不知道输出序列的长度，例如，语音识别和机器翻译。序列到序列的学习是用循环神经网络构建的一种框架，