神经网络方法环境工程

1、1神经网络神经网络 人工神经网络能够模仿人脑的功能，具有对信息进行并行处理、分布式存贮，良好的自适应性、自组织性、自学习与推理的能力，表现出容错性、非线性、非局域性、非凸性等特点，适用于对模糊信息或复杂的非线性关系进行识别与映射。 2BP神经网络神经网络 X1X2XiXmY1YkYnH1H2HjHlWijVjk输入层隐含层输出层误差反向传播网络（误差反向传播网络（BackPropagation Network），简称），简称BP神经网络，是目前人工神经网神经网络，是目前人工神经网络最具有代表性的一种网络，应络最具有代表性的一种网络，应用最为广泛。用最为广泛。BP神经网络通常由神经网络通常由输入

2、层、若干隐含层和输出层组输入层、若干隐含层和输出层组成，最基本的成，最基本的BP神经网络通常由神经网络通常由一个输入层、一个隐含层和一个一个输入层、一个隐含层和一个输出层组成。输出层组成。X表示网络的输入、表示网络的输入、H表示隐含层、表示隐含层、Y表示网络的输出，表示网络的输出，Wij表示表示输入层与隐含层之间的连接权值，输入层与隐含层之间的连接权值，Vjk表示隐含层到输出层的连表示隐含层到输出层的连接权值。接权值。m、l、n分别表示输入层、隐含层、输出层神经元的分别表示输入层、隐含层、输出层神经元的个数。个数。Q1j和和P1j分别表示隐含层、输出层神经元的阈值。分别表示隐含层、输出层神经元

3、的阈值。3BP网络整个学习过程的一般步骤如下网络整个学习过程的一般步骤如下 ： 网络初始化。给各连接权值网络初始化。给各连接权值Wij、Vjk及阈值及阈值Q1j、P1j赋予（赋予（-1，+1）间的随机量。）间的随机量。 将第将第t（t=1）个学习样本输入到图的网络中。）个学习样本输入到图的网络中。 计算隐含层第计算隐含层第j神经元输入神经元输入sj和输出和输出 bj ：，即：，即：), 2 , 1(11ljQxWsmijitijj), 2 , 1()(ljsfbjj式中：式中： f（x）网络相应函数，取网络相应函数，取f（x）为）为Sigmoid函数，函数，即即 。xexf11)(4 计算输出

4、层第计算输出层第k神经元的输入神经元的输入Lk和输出层的输出和输出层的输出Ck，即：即：), 2 , 1(11nkPBVLljkjjkk), 2 , 1()(nkLfCkk 计算输出层各神经元的一般化误差计算输出层各神经元的一般化误差dk：), 2 , 1()1 ()(nkCCCYdkkkkk式中：式中：Yk第第k神经元的期望输出。神经元的期望输出。 计算隐含层第计算隐含层第j神经元的一般化误差神经元的一般化误差Ej：nkjjjkkjljbbVdE1), 2 , 1()1 ()(5 调整连接权值和阈值：调整连接权值和阈值：), 2 , 1;, 2 , 1(nkljbdVjkjk), 2 , 1

5、(1nkdVkk), 2 , 1;, 2 , 1(ljmixEWikjij), 2 , 1(1ljEQjj式中：式中：学习速率，学习速率，01。 选取下一个训练样本对（选取下一个训练样本对（t=2），重复步骤，直至），重复步骤，直至所有样本对（所有样本对（t =1，2，m）训练完毕，即完成了训练样）训练完毕，即完成了训练样本集的一轮训练。本集的一轮训练。6 计算全局误差计算全局误差SSE：2/)(211MtnktktkCYSSE式中：式中：M学习样本的对数；学习样本的对数；Ykt第第t对学习样本的期望输出；对学习样本的期望输出；Ckt第第t对学习样本的计算输出对学习样本的计算输出 如果如果SS

6、E小于预先设定的一个误差值，则网络停小于预先设定的一个误差值，则网络停止学习；否则将重复步骤，进行样本学习样止学习；否则将重复步骤，进行样本学习样本集的下一轮训练。本集的下一轮训练。7标准标准BP算法是基于梯度下降法，通过计算目标函数对网络权算法是基于梯度下降法，通过计算目标函数对网络权值和阈值的梯度进行修正。学习过程是通过调整权重和阈值值和阈值的梯度进行修正。学习过程是通过调整权重和阈值使期望值和神经网络输出值的均方误差趋于最小实现的，只使期望值和神经网络输出值的均方误差趋于最小实现的，只用到均方误差函数对权值和阈值的一阶导数信息。用到均方误差函数对权值和阈值的一阶导数信息。标准梯度下降法权

7、值和阈值的迭代过程可表示为标准梯度下降法权值和阈值的迭代过程可表示为 ：标准标准BP算法：算法：)()() 1(kXEkXkX由网络所有权值和阈值所形成的向量。由网络所有权值和阈值所形成的向量。 学习速率学习速率 目标函数目标函数(均均方误差函数方误差函数) 目标函数的梯度目标函数的梯度(一阶导数一阶导数) 迭代次数迭代次数 8BP神经网络的缺点：神经网络的缺点：BP神经网络是目前应用最多的一种神经网络形式，但不神经网络是目前应用最多的一种神经网络形式，但不是非常完美，是非常完美， 表现出结构确定的人为性、训练速度慢以表现出结构确定的人为性、训练速度慢以及初始权值对结果影响的随机性等缺陷；存在

8、学习过程及初始权值对结果影响的随机性等缺陷；存在学习过程易陷入局部极小、易出现震荡和网络存在冗余连接或节易陷入局部极小、易出现震荡和网络存在冗余连接或节点等缺陷；另外，隐含层单元数及隐含层结点数的确定点等缺陷；另外，隐含层单元数及隐含层结点数的确定至今没有统一的方法。至今没有统一的方法。9对于上述存在的缺点，许多学者对对于上述存在的缺点，许多学者对BP网络进行了改进，网络进行了改进，大多采用基于标准梯度下降的改进方法，如附加动量法、大多采用基于标准梯度下降的改进方法，如附加动量法、弹性弹性BP算法、自适应调整参数法等或基于标准数值优化算法、自适应调整参数法等或基于标准数值优化的改进方法，如拟牛

9、顿法、共扼梯度法和的改进方法，如拟牛顿法、共扼梯度法和LM法等，并没法等，并没有将两种改进方法结合起来。有将两种改进方法结合起来。 BP神经网络的改进：神经网络的改进：10（1）基于标准数值优化的改进）基于标准数值优化的改进BP神经网络的训练实质上是非线性目标函数的优化问题，神经网络的训练实质上是非线性目标函数的优化问题，标准标准BP神经网络利用了目标函数的一阶导数信息。本次改神经网络利用了目标函数的一阶导数信息。本次改进采用进采用“LM”法，它是基于标准数值优化的改进方法，在利法，它是基于标准数值优化的改进方法，在利用目标函数的一阶导数信息的基础上，还利用了目标函数的用目标函数的一阶导数信息

10、的基础上，还利用了目标函数的二阶导数信息。二阶导数信息。改进后的权值和阈值的迭代过程表示为：改进后的权值和阈值的迭代过程表示为：)( 2)() 1(1kXEDHkXkXHDH是对角矩阵，其对角元素为是对角矩阵，其对角元素为H的对角元素；的对角元素；11阻尼因子（若阻尼因子（若E(X(k+1)E(X(k), (k+1)=10(k)；否则；否则(k+1)=0.1(k)）。）。 该改进方法根据迭代的结果动态地调整阻尼因子，使每次该改进方法根据迭代的结果动态地调整阻尼因子，使每次的迭代误差函数值都有所下降，收敛速度快。的迭代误差函数值都有所下降，收敛速度快。（2）基于梯度下降的改进）基于梯度下降的改进

11、标准标准BP算法的步长算法的步长是定值，这就导致了是定值，这就导致了难以确定，若难以确定，若过过小，在误差曲面较平坦的区域，收敛较慢；当步长小，在误差曲面较平坦的区域，收敛较慢；当步长较大时，较大时，又会在峡谷区域引起震荡。针对上述缺陷，本次采用步长又会在峡谷区域引起震荡。针对上述缺陷，本次采用步长自适应改进方法确定自适应改进方法确定，即：，即： 11)()1 ()()1 () 1(ppppEEpEEpp式中：式中：某一小正数，某一小正数，0.01，0.03； p训练次数训练次数 Ep第第p次的训练误差。次的训练误差。12 该方法的优点是当误差减小时步长相应增大，当误差增大该方法的优点是当误差

12、减小时步长相应增大，当误差增大时步长相应减小，克服了标准时步长相应减小，克服了标准BP算法步长难以确定的缺陷。算法步长难以确定的缺陷。采用这两种方法改进的采用这两种方法改进的BP神经网络能克服标准神经网络能克服标准BP神经网络神经网络训练速度慢、初始权值对结果影响的随机性、在学习过程易训练速度慢、初始权值对结果影响的随机性、在学习过程易陷入局部极小、易出现震荡等缺陷。陷入局部极小、易出现震荡等缺陷。13基于人工神经网络的综合评价方法步骤基于人工神经网络的综合评价方法步骤 （1）确定评价指标集，指标个数为BP网络中输入节点的个数； （2）确定BP网络的层数，一般采用具有一个输入层，一个隐含层和一

13、个输出层的三层网络模型结构； （3）明确评价结果输出层的节点数为1; （4）对指标值进行标准化处理； （5）用随机数（一般为0-1之间的数）初始化网络节点的权值与网络阈值； （6）将标准化以后的指标样本值输入网络，并给出相应的期望输出； 14基于人工神经网络的综合评价方法步骤基于人工神经网络的综合评价方法步骤 （7）正向传播，计算各层节点的输出； （8）计算各层节点的误差； （9）反向传播，修正权重； （10）计算误差。当误差小于给定的拟合误差，网络训练结束；否则转到（7），继续训练； （11）训练所得网络权重就可以用于正式的评价。15神经网络在地下水环境评价中的应用神经网络在地下水环境评价中

14、的应用 地下水环境质量评价是地下水资源评价的一项重要内容，地下水环境质量评价是地下水资源评价的一项重要内容，它根据地下水中主要物质成分和给定的水质标准，分析地下水它根据地下水中主要物质成分和给定的水质标准，分析地下水水质的时空分布状况和可用程度，为地下水资源的开发利用、水质的时空分布状况和可用程度，为地下水资源的开发利用、规划和管理提供科学依据。规划和管理提供科学依据。16神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用 地下水水质评价的方法有很多地下水水质评价的方法有很多,如模糊数学法、灰色聚类法、如模糊数学法、灰色聚类法、物元分析法、内梅罗指数法等。在设计模糊数学的隶属度函

15、数、物元分析法、内梅罗指数法等。在设计模糊数学的隶属度函数、灰色聚类的白化函数时及在确定各评价指标的权重时，都存在灰色聚类的白化函数时及在确定各评价指标的权重时，都存在着人为因素，造成评价模式难以通用，而且也存在着在计算时着人为因素，造成评价模式难以通用，而且也存在着在计算时丢失信息太多而使评价结果与实际不符。内梅罗指数法数学过丢失信息太多而使评价结果与实际不符。内梅罗指数法数学过程简捷，运算方便，物理概念清晰等，该方法的主要缺点是过程简捷，运算方便，物理概念清晰等，该方法的主要缺点是过于突出最大污染因子，未考虑权重因素，对各污染因子等同对于突出最大污染因子，未考虑权重因素，对各污染因子等同对

16、待等。这些方法并没有很好解决评价因子与水质等级间复杂的待等。这些方法并没有很好解决评价因子与水质等级间复杂的非线性关系，以及水体污染的模糊性与随机性，至今还没统一非线性关系，以及水体污染的模糊性与随机性，至今还没统一的评价模型。的评价模型。17神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用表表1 水质资料水质资料18神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用19神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用I类水的标准界值为类水的标准界值为I类水的分级代表值，类水的分级代表值，类水的分级代表值为类水的分级代表值为I类水和类水和类类水标准

17、界值的中值，其余依次类推，将水标准界值的中值，其余依次类推，将 类水或类水或类水的界值作为类水的界值作为类水的类水的分级代表值。得到本次分级代表值。得到本次BP网络的训练样本，见表网络的训练样本，见表2。1 训练样本选择训练样本选择表表2 地下水质量标准分级类别和网络期望输出值地下水质量标准分级类别和网络期望输出值20神经网络在地下水环境评价中的应用神经网络在地下水环境评价中的应用BP网络模型一般以S形函数作为转换函数，该函数的值域为0，1，因此在网络训练时要将原始数据进行处理，规范到0，1之间，常用的数据预处理方法主要有标准化法、重新标法、变换法、比例压缩法、压缩系数法。为了实现将网络输入数

18、据信息集进行合理的压缩，又能够体现原始输入数据信息之间的差别，建议使用压缩系数法。公式如下：T=X式中：X原始数据；压缩系数法，00）的取值进行估计，可以认为xn，xn-1，xn-m之间存在有某种函数关系，可用下式描述：),(1mnnnknxxxFx25神经网络时间序列预测模型的步骤神经网络时间序列预测模型的步骤神经网络预测时间序列的方法就是用神经网络来拟合某一时间神经网络预测时间序列的方法就是用神经网络来拟合某一时间序列的函数序列的函数F()，然后将之用于时间序列的预测。建立神经网，然后将之用于时间序列的预测。建立神经网络时间序列预测模型有以下几个步骤：络时间序列预测模型有以下几个步骤：（1）数据的预处理）数据的预处理BP神经网络一般以神经网络一般以S型函数作为转换函数，该函数的值域为型函数作为转换函数，该函数的值域为0，1，因此在网络训练时要将原始数据进行处理，规范到，因此在网络训练时要将原始数据进行处理，规范到0，1之间，常用的数据预处理方法主要有标准化法、重新之间，常用的数据预处理方法主要有标准化法、重新标法、变换法、比例压缩法、压缩系数法。标法、变换法、比例压缩法、压缩系数法。26神经网络时间序列预测模型的步骤神经网络时间序列预测模型的步骤（1）数据的预处理）数据的预处