《人工神经网络理论及应用》课件第11章 Elman网络

第11章

Elman神经网络111.1概述JeffreyLockeElman（1948-2018）是美国加州大学圣地亚哥分校（UCSD）的心理语言学家和认知科学教授。他专攻神经网络领域，为了解决语音处理问题，在1990年以Jordan网络为基础提出了简单的递归神经网络（SRNN），也称为“Elman网络”。该成果发表在他的研究论文《Findingstructureintime》中，该网络能够处理顺序有序的刺激，对语音处理问题具有很大的贡献，并得到了广泛的使用。Elman的工作对于理解语言是怎样获得，以及一旦获取语言，如何理解句子语义是非常重要的。自然语言中的句子由短语和层次结构组织的单词序列组成，Elman神经网络为神经网络类比人类大脑如何进行这种结构的学习和处理提供了一个重要的假设。211.2Elman神经网络的结构和原理Elman神经网络包括输入层、隐含层、输出层和反馈连接，各层之间的连接权值可以进行学习修正。反馈连接由一组“结构”单元构成，用来记忆前一时刻的输出值，其连接权值是固定的。在这种网络中，除了普通的隐含层外，还有一个特别的隐含层，称为反馈层，该层从隐含层接收反馈信号，每一个隐含层节点都有一个与之对应的反馈层节点连接。反馈层的作用是用来记忆隐含层单元前一时刻的输出值并返回给输入，因此，Elman神经网络具有动态记忆功能。该网络中反馈层的传递函数为非线性函数，一般为对数S型函数，输出层的传递函数为线性函数。典型的Elman神经网络结构如图11-1所示。1.Elman神经网络结构3

图11-1Elman神经网络结构图在图11-1中，网络中隐含层的神经元采用的是正切S型传递函数，而输出层采用线性传递函数。在反馈层中包含足够多的神经元的情况下，这种传递函数的组合可以使Elman神经网络在有限时间内以任意精度逼近任意函数。4Elman神经网络是一种动态递归网络，其分为全反馈和部分反馈两种网络形式。全反馈具有任意的前馈和反馈连接，且所有连接权值都可以进行修正。而在部分递归网络中，前馈连接权值可以修正，反馈连接由一组反馈单元构成，连接权不可以修正。反馈层记忆隐含层的过去状态，且在下一时刻连同网络输入一起作为隐含层单元的输入，从而使部分递归网络具有动态记忆能力。由于Elman网络具有反馈层，故该网络具有动态特性和递归作用。图11-2为Elman神经网络的模型图。2.

Elman神经网络原理5

图11-2Elman神经网络模型图6图11-2中，W0，W1，W2分别表示隐含层、反馈层和输出层的权值矩阵，该网络中有R个输入，隐含层和反馈层有S1个神经元，输出层有S2个神经元，则可得到Elman网络的各层输入/输出关系。输入层的输入/输出关系式为隐含层的输入/输出关系式为7反馈层的输入/输出关系式为输出层的输入/输出关系式为式中，为Elman神经网络第i个节点的输入；

分别表示隐含层第i个节点的净输入和输出；

分别表示反馈层第i个节点的净输入和输出；

分别表示输出层第i个节点的净输入和输出；8分别表示隐含层和输出层的传递函数；

分别表示隐含层、反馈层和输出层的权值。Elman神经网络的特点是隐含层的输出通过反馈层的延迟和储存，反馈连接到隐含层的输入，具有信息储存的作用。这种自联方式使其对历史状态数据具有敏感性，内部的反馈网络增加了网络本身处理动态信息的能力，所以它既可以学习时域模式，也可以学习空域模式。911.3Elman神经网络的学习算法Elman神经网络的学习算法一般采用动态反向传播算法学习，是因为该网络的输出不仅与t时刻的输入有关，还与t时刻以前的输入信号有关。不同于BP网络的算法推导，递归网络一般采用有序链式法则的算法。定义t时刻网络权值调整的误差函数为式中，为t时刻第i个输出节点的期望输出，为t时刻第i个输出节点的实际输出。

令为t时刻第i个输出节点的期望输出与实际输出的误差，即10则网络的权值变化为式中，为动量因子，为学习率，w代表输入层、隐含层或输出层的权值。采用有序链式法则，则对于隐含层到输出层的权值有同理，对于输入层到隐含层的权值有11若令，则有12此时，13式中，式中，

14在MATLAB中建立Elman神经网络后，根据Nguyen-Widrow算法初始每一层的权值和偏置值，初始化函数为initnw。采用函数train函数进行网络训练的时候，具体步骤为：(1)Elman神经网络的输入端接收所有的输入向量，然后计算输出结果，并与目标向量进行比较，从而产生一系列的误差向量。(2)在每一次的迭代过程中，根据反向传播的误差来确定每一个权值和偏置值的误差梯度近似值。(3)反向传播训练函数利用该梯度对权值和偏置值进行更新，直到网络输出达到期望输出。1511.4Elman神经网络稳定性分析网络信号的延时递归是递归神经网络的主要特点。正是由于这种特性，Elman神经网络在动态建模方面有独特的优势。Elman神经网络系统的动态特性主要表现在t时刻的输出状态不仅与t时刻的输入状态有关，而且还与t时刻以前的递归信号有关。由于网络自身的特殊性，递归神经网络在算法上具有复杂性和多样性的特点。另一方面，由于网络中存在着递归信号，网络的状态随时间的变化而不断地变化，从而使网络输出状态的运动轨迹必然存在着稳定性的问题。因此，不同于前向网络的应用，对于递归网络的设计与应用，必须对其进行网络稳定性的分析，只有这样才能保证Elman神经网络的正常使用。16下面采用李雅普诺夫（Lyapunov）稳定性理论来来分析Elman神经网络的稳定性。采用全局误差函数的定义式（11-6）作为李氏函数，将式（11-6）代入式（11-5）可得到要保证Elman神经网络系统的稳定性，则必须满足即当网络的权值发生较小的变化时，对进行泰勒（Tayor）展开为17将式（11-16)代入式（11-15)得到在权值变化较小的情况下，式（11-17)可近似为再将式（11-18)代人式（11-17)可得18同时，可由式（11-15)得令19则学习率的取值范围为学习率在神经网络中一般用来控制网络的学习速度，但在此处又与网络的稳定性有关。如果网络的学习率满足式（11-22）的取值范围，则可以保证Elman神经网络的稳定性，否则将导致系统不能正常工作。在网络训练的过程中，通常选取为最佳学习率。2011.4应用案例案例一表11-1为某学校连续九天上午10点到12点的用水量数据，数据已经做了归一化处理。现在构建一个Elman神经网络，利用前八天的数据作为网络的训练数据，每三天的用水量数据作为输人向量，第四天的用水量数据作为目标向量，将新得到的五组数据作为训练样本。将第九天的用水量数据作为该网络的测试样本，验证Elman神经网络是否能有效预测出当前的用水量数据。2122解(1)创建、训练、储存神经网络。23(2)网络仿真。(3)结果输出。均方误差结果为

MSE=

2.1523e-04运行程序，网络训练过程和训练误差曲线如图11-3和图11-4所示。24图11-3网络训练过程图11-4预测误差曲线图由图11-4可看出，网络的预测误差较小，预测效果良好，有兴趣的读者可以试着改变网络隐含层神经元的个数，使网络的预测性能达到最好。25案例二Elman神经网络可以用来识别空间和时间信号，振幅检测就是应用Elman神经网络对时域信号进行检测和分类的典型例子。振幅检测需要在神经网络输入端输入一个具有特定振幅的波形，然后由网络检测并提取波形的振幅特征后输出。设计一个Elman神经网络，完成对输入的振幅变化的时变信号进行振幅检测与模式分类。26解(1)创建、训练、储存神经网络。27(2)网络仿真。(3)结果输出。运行程序，误差性能曲线如图11-5所示。

图11-5误差性能曲线图28网络训练过程和训练误差曲线如图11-6和图11-7所示。

图11-6网络训练过程 图11-7训练误差曲线图11-7中，虚线代表期望输出，实线代表实际输出。可以看出Elman神经网络对输入信号振幅的检测效果是比较好的，如果增加反馈层中神经元的个数，Elman神经网络的性能会进一步的提高。

291.Elman神经网络中反馈层的主要作用是什么?2.Elman神经网络与BP神经网络有什么异同?3.简述Elman神经网络的训练步骤。4.为什么Elman神经网络需要进行稳定性分析?5.设计一个Elman神经网络实现对给出数据的预测。其中，输入数据为P=[3.63.13.33.33.2;9.810.3910.210.1;3.45

3.553.513.43.55;2.32.252.12.152.14;140