第八篇变形预报人工神经网络法课件

1、第八章 变形(bin xng)预报的人工神经网络法8.1 概述8.2 BP网络(wnglu)及其训练算法8.3 BP网络拓扑结构设计8.4 相似相关系数法确定BP网络结构8.5 主要成分确定BP网络结构8.6 大样本确定BP网络结构8.7 训练样本质量对BP网络推广能力的影响8.8 BP网络的推广能力及网络性能的评估8.9 BP网络的改进算法分析8.10 BP网络的智能训练算法第一页，共二十页。 人的大脑是自然界所造就的最高级产物。人的思维主要可概括为逻辑四维和想象四维两种。过去以规则为基础(jch)的知识系统可被认为是致力于模拟人的逻辑思维，而人工神经网络则可被认为是探索人的形象思维。根据1

2、9世纪末创建的神经元学说，神经元的结构如下图所示8.1.1 人工神经网络的基本概念和特征(tzhng)第二页，共二十页。神经元是由细胞体、树突、轴突和突触4部分(b fen)组成。神经元群或者神经网络系统对外界有兴趣和抑制两种反应，兴奋指的是相对静止变为相对活动，抑制是指由相对活动变为相对静止。神经元之间信息的传递形式有正、负两种连接。正在接呈相互激发(jf)；负连接呈相互抑制。神经元之间的连接强度和积极性可以有所不同，并且都可进行调整，因此人脑才可以有存储信息的功能。 为了模拟人脑神经元网络的功能，心里学家McClloch和数学家Pitts就对人脑神经元进行了形式描述，抽象出了人工神经元结构

3、模型，如下图。第三页，共二十页。 此人工神经元一般简称为神经元，有时也成为结点。其中 为神经元的内部状态，有时也用来表示神经元本身， 为阈值， 为输入(shr)信号， 为外部输入(shr)信号。记 表示从 到 连接的权值， 为输出，则上述模型可表示为jujixjsjijuiujy （8-1）1njjiijjixs （8-2）()jjuf （8-3）()()jjjyg uhhgf当神经元没有(mi yu)内部状态时，可令 h=f （8-4）ijyu当有n个输入(shr)神经元记 （8-5）1njjiiinetx第四页，共二十页。为神经元 的输入(shr)。当 来自某一神经元的输出时，也记其为 ，

4、而且在没有内部状态时，常把阈值也看做一个权值，于是juixiQ （8-6）0njjiiinetQ其中(qzhng)， ，0j01Q 由诸多人工神经元按一定连接方式由权值连接构成的网络(wnglu)就成为人工神经网络(wnglu)，有时也成为人工神经元网络(wnglu)。从系统观点看，人工神经网络(wnglu)是由大量通过极其丰富和完善的连接而构成的自适应非线性动态系统，由于神经元之间有着不同的连接方式，所以组成不同结构的神经网络(wnglu)系统是可能的。第五页，共二十页。人工神经网络技术是近年来发展起来的新技术，有着广阔的应用领域，发展速度也很快，有很好的应用前景。其具有以下突出特征：（1）

5、具有大规模并行处理和信息分布式存储能力。（2）具有容错性和鲁棒性。主要表现在神经网络中某个神经元的损坏，或某两个神经元之间的连接损坏，或某个神经元的输入有偏差时，网络的性能没有明显改变。（3）具有自学习呢能力适用于实际样本中提取特征，获取知识。（4）它具有较的非线性的非线性动态处理能力，无需知道自变量和因变量之间的关系，就可实现高度非线性映射，因而可以处理复杂的、数量关系不明确的问题，包括大坝(d b)变性分析与预报及安全性评价、环境评价等问题。第六页，共二十页。8.1.2 人工神经网络模型(mxng) 人工神经网络依照其结构、状态和学习方式的不同，可将人工神经网络按不同方式进行分类：（1）按

6、网络结构可分为前馈型网络和反馈型网络两大类。前馈型模型有明显的层次关系，信息单方向的从输入层向输出层流动，反馈型网络没有明显的层次关系，信息的传输存在反馈机制。（2）从神经元的状态上神经网络有两种划分方案：一种按神经元取值状态是连续的还是离散的划分，神经网络可分为离散型神经网络和连续型神经网络。（3）按照(nzho)学习方式可分为有导师学习网络和无导师学习网络。（4）从系统的观点来看，神经网络可分为两大类：即非线性映射网络和非线性动力学网络。第七页，共二十页。美国加州大学的Rumelhart和MeClelland以及他们的同事在探索人类知识微结构的过程中简明的提出一种ANN的误差反向传播网络通

7、常称为BP网络，对应的算法称为误差反传算法，它是当今神经网络中使用最广泛的一种。本章主要针对(zhndu)BP网络及其在过程变性分析与预报中的应用，研究和论述如下问题：（1）BP网络拓扑结构的算法（2）BP网络的推广能力和网络性能的评估标准，以及训练样本质量对BP网络性能的影响（3）BP网络训练收敛标准（4）BP网络的训练算法第八页，共二十页。8.2.1 BP网络结构 从结构上看，BP网络是典型的多层网络，它不仅有输入层结点、输出层结点，而且有一层或多层隐含层结点。在BP网络中，层与层之间多采用全互连方式，但同一层的结点之间不存在相互连接。 一个三层BP网络的结构如下图所示。图中 表示(bio

8、sh)输出层的输出； 表示(biosh)隐含层的输出； 表示(biosh)输入层的输入； 表示(biosh)从隐含层结点到输出层节点的连接权； 表示从输入层结点到隐含层结点的连接权；在后面的讨论中，小标I、j、k分别表示输出接点、隐含层结点和输入结点；M、L、N分写表示输入结点、隐含层结点和输入结点的数量。iOjVkXijWjkW第九页，共二十页。 从形式看BP网络和感知机十分相似，但他们之间存在着重要差别。第一，在多层感知机结构中，只有一层之间的连接权值可调，而其他各层之间的连接权值是固定(gdng)的；但在BP网络则不同，它的每一层之间的连接权第十页，共二十页。值都是可调的。第二，感知机结

9、构中的处理结点呈线性输入或输出(shch)关系，其结点状态为二进制的0和1；而BP网络除输入层处理结点外，其他层的处理结点均为非线性输入或输出关系，即要求这些处理结点的特征函数应是可微的，这些节点的激励函数通常为S型函数，其最一般的形式为( )1xf xe参数 、 与 一样，可在网络学习过程中调整。不过输出参数一般(ybn)都可经过某种数学转换或归一化到0,1区间，常用BP网络的激励函数为ij1( )1xf xe式中 ixnet第十一页，共二十页。在应用BP网络时，必须清楚两点：第一，网络学习过程需要(xyo)正向传播和反向传播 ，一但网络经过训练用于问题求解，则只需正向传播，而不需要(xyo

10、)在进行反向传播；第二，从网络学习的角度看，信息在网络中的传播是双向的，但并不意味着网络的层与层之间的连接也是双向的，因此，误差反向传播的BP网络是一种前馈网络。8.2.2 误差反传训练(xnlin)算法 上述BP网络的学习过程，具体实施时是依据误差从输出(shch)层往输入层逐层进行权值修正，所以尽管一系列有关的公式本质上来自梯度算法，但人们常把BP网络的学第十二页，共二十页。习算法(sun f)称为误差反传训练算法(sun f)。 设归一化后训练样本为 （8-11）12, , ,upss sssP是训练样本(yngbn)点数，样本(yngbn)点 为sS （8-12）1212( , , ,

11、; ,)kNMsx xxx y yy 对于每一个样本结点(ji din)，有N个输入，M个输出。对于给定的某个样本点，有如下结果：输入层结点的输入 （8-13）kkhx输入层结点的输出 （8-14）kkOh隐含层结点的输入 （8-15）1NijkkjkhO隐含层结点的输出 （8-16）()jjOf h第十三页，共二十页。输出层结点(ji din)的输入 （8-17）1LiijjijhO输出(shch)层结点的输出(shch) （8-18）( )iiOf h式中， ， 分别为输出结点i和隐含(yn hn)层结点j的阈值；f(.)是这些结点的激励函数，如式（8-10）的Sigmoid函数。ji在误

12、差反转训练算法的学习过程中，通常的误差测度准则是平方误差最小，即能量函数为 （8-21） 211()2MiiiEyo式中， 为输出层结点i的期望输出值， 为输出层结点i的网络实际输出值， 、 ，急需通过BP网络的学习规则和算法确定。 我们知道，在n维空间定义的函数Q=Q(x)的改变率为最大的方向是Q在这一点斜量，即梯度iyioijjk第十四页，共二十页。 （8-22）( )( )12(,)tTtNQQQQ XXxxx显然，E相当于定义在 构成(guchng)高维空间上的一个函数，因此，取E在 空间上的最速下降应取jkjk （8-24）(1)( )( )jkjkjkEttt于是，修正(xizhn

13、g)量可表示为 （8-26）(1)()(1)jkjkjkEtt 由式（8-26），则式（8-24）可改写(gixi)为 （8-27）(1)( )()(1)jkjkjkjkEttt 由上式可知第十五页，共二十页。 （8-31）0()Mjjiijifh （8-36）1( )1iiihf hOe （8-38）() (1)iiiiiy O OO从而对输出(shch)层可直接得 （8-39） (1)( )() (1)(1)ijijiiiijkttyO OOt 上述各式构成了BP网络(wnglu)完整的误差反传训练算法8.2.3 BP网络的学习步骤 根据上述所推导的误差反传训练算法，BP网络的学习步骤如下

14、(rxi)：（1）初始化网络学习参数，即将隐含层和输出层各节点的连接权值、神经元阈值赋予某一区间的一个随机数第十六页，共二十页。（2）将样本的输入/输出参数化为至0,1区间（3）提供训练样本，即从训练样本集合中选出一个训练样本，将样本中的自变量赋予输入层的相应(xingyng)结点，将样本中的因变量赋予输出层的相应(xingyng)的结点。（4）正向传播过程，即对给定的输入样本，从第一隐含层开始，依权值和激励函数的作用在输出结点算得网络输出值，并计算网络输出与样点真实输出之间的均方差，（5）反向传播过程，即从输出层反向计算到第一隐含层，首先计算同一层结点的误差 ，然后按梯度法修正权值，再用修正

15、后的各结点连接权值转到第（3步）重新计算8.2.4 BP网络的优点及存在的问题 BP网络模型(mxng)是目前神经网络模型(mxng)中使用最广泛的一种，第十七页，共二十页。它有自己的优点，也存在一些缺点。BP网络主要优点如下：（1）算法推导清楚，学习精度较高。（2）从理论上说，可以使多层前馈网络学会任何可学习的东西。（3）经过训练后的BP网络，运行速度极快，可用于实时处理。BP也存在不少问题，只要表现在以下方面：（1）BP网络的拓扑结构如何确定问题（2）已学习好的网络的推广问题，即能否逼近规律(gul)和对于大量未经学习过程的输入样本也能正确处理，并且网络是否具有一定的预测能力。（3）学习算法的收敛速度很慢，通常需要数千步或更长，甚至还可能不收敛。（4）由于它的数学基础是非线性优化问题，因此，存第十八页，共二十页。在不少局部最小点，在某些初始值的条件下，算法的结果会陷入局部最小；另一方面，基于BP网络的误差曲面存在一些平坦区，在此区内误差改变很小，这些平坦区多数发生在神经元的输出接近于0或1的情况下。（5）激活函数的选取(xunq)问题。（6）误差函数的选取问题。（7）网络训练中参数的合理设置，如初始权重的设置问题、动量系数 和学习速率 确定的问题、从样本集合中如何选取训练样本和测试样本等。（8）如何评价已学习好的网络