神经网络计算课件

1、智能中国网提供学习支持智能中国网提供学习支持 1 2.8 Elman神经网络模型与学习算 法 2 概述概述 pElmanElman神经网络由神经网络由Jeffrey L. Elman Jeffrey L. Elman 于于 19901990年提出年提出 p是一种反馈神经网络是一种反馈神经网络 p具有很强的计算能力具有很强的计算能力 Hello ,Im Jeffrey L. Elman 3 2.8.1 Elman神经网络结构 pElmanElman网络由网络由4 4层组成层组成 输入层 信号传输作用 隐含层 承接层 也称上下文单元或状态层,承接层从隐含层接收反馈信号，用来 记忆隐含层神经元前一时

2、刻的的输出值，承接层神经元的输出经延迟与 存储，再输入到隐含层。这样就使其对历史数据具有敏感性，增加了网 络自身处理动态信息的能力。 输出层 仅起线性加权作用。 4 2.8.2 Elman2.8.2 Elman神经网络学习算法神经网络学习算法 pElmanElman神经网络各层输入输出公式神经网络各层输入输出公式 如果输入向量 为 维向量，输出向量 为 维，隐含层输出向量 为 维，承接 层输出向量 为 维， 分别为隐含 层到输出层、输入层到隐含层、承接层到 隐含层的连接权值。 为输出神经元的激 活函数,是隐含层输出的线性组合。 为隐 含层神经元的激活函数， 为承接层的海派 函数， 表示某层的净

3、输入，用A表示输入 层，用B表示承接层， 表示迭代次序则各 层之间的表达式如下图所示。 u r y mx n c x 123 ,w w w g() f() n ( )h ()net t 5 2.8.2 Elman2.8.2 Elman神经网络学习算法神经网络学习算法 1 111()()() mn nettwtxt 11()() m y tg nett 2 3 ( ) ( ) ( ) ( ) n i cn i u tif iA t xtif iB wif iA w t wf iB 1()( )( ) i ni i AB nettw tt 11()() nn xtf nett 11( )()()

4、i ni i AB nettw tt ( )( ) cn xth nett 1( 1)w t 2( ) w t 3( ) w t Output y r12 n1 n1 m1 输出层用紫色表示输出层用紫色表示 隐含层用黄色表示隐含层用黄色表示 承接层用白色表示承接层用白色表示 6 2.8.2 Elman2.8.2 Elman神经网络学习算法神经网络学习算法 pElmanElman神经网络学习算法采用神经网络学习算法采用BPBP算法算法 判断算法是否结束的误差函数为： 其中 为期望输出 Elman神经网络学习算法流程图 2 1 ( )( ) n k Ey kd k ( )d k 7 ElmanEl

5、man神经网络学习算法流程图神经网络学习算法流程图 8 2.8.3 Elman2.8.3 Elman神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 pElmanElman神经网络的重要函数和基本功能神经网络的重要函数和基本功能 函 数 名功 能 newelm()生成一个Elman神经网络 trains()根据已设定的权值和阈值对网络进行顺序训 练 traingdx()自适应学习速率动量梯度下降反向传播训练 函数 learngdm()动量梯度下降权值和阈值学习函数 9 2.8.3 Elman2.8.3 Elman神经网络学习算法的神经网络学习算法的MATLABMATLAB实

6、现实现 p例例2-7 2-7 下表为某单位办公室七天上午下表为某单位办公室七天上午9 9 点到点到1212点的空调负荷数据，数据已经做了点的空调负荷数据，数据已经做了 归一化处理，预测方法采用前归一化处理，预测方法采用前6 6天的数据天的数据 作为网络的训练样本，每作为网络的训练样本，每3 3天的负荷作为天的负荷作为 输入向量，第输入向量，第4 4天的负荷作为目标向量，天的负荷作为目标向量， 第七天的数据作为网络的测试数据。第七天的数据作为网络的测试数据。 10 2.8.3 Elman2.8.3 Elman神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 p空调负荷数据表空

7、调负荷数据表 时间9时负荷10时负荷11时负荷12时负荷 第1天0.44130.47070.69530.8133 第2天0.43790.46770.69810.8002 第3天0.45170.47250.70060.8201 第4天0.45570.47900.70190.8211 第5天0.46010.48110.71010.8298 第6天0.46120.48450.71880.8312 第7天0.46150.48910.72010.8330 11 2.8.3 Elman2.8.3 Elman神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 p例例2-72-7程序程序 %

8、根据预测方法得到输入向量和目标向量 P=0.4413 0.4707 0.6953 0.8133 0.4379 0.4677 0.6981 0.8002 0.4517 0.4725 0.7006 0.8201; 0.4379 0.4677 0.6981 0.8002 0.4517 0.4725 0.7006 0.8201 0.4557 0.4790 0.7019 0.8211; 0.4517 0.4725 0.7006 0.8201 0.4557 0.4790 0.7019 0.8211 0.4601 0.4811 0.7101 0.8298; T=0.4557 0.4790 0.7019 0.

9、8211; 0.4601 0.4811 0.7101 0.8298; 0.4612 0.4845 0.7188 0.8312; %输入向量的取值范围为0 1，用threshold来标记 threshold=0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1; %创建一个Elman神经网络，隐含层的神经元个数为17个，4个输出层神经 元，隐含层激活函 %数为tansig，输出层激活函数为purelin net=newelm(threshold,17,4,tansig,purelin); net.trainParam.epochs=3000; 12 2.8.3 Elman2.8.3 Elman神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 p例例2-72-7误差曲线误差曲线 13 小结小结 p概述概述 pElma