神经网络方法环境工程

神经网络方法环境工程第1页/共37页2BP神经网络

误差反向传播网络（Back－PropagationNetwork），简称BP神经网络，是目前人工神经网络最具有代表性的一种网络，应用最为广泛。BP神经网络通常由输入层、若干隐含层和输出层组成，最基本的BP神经网络通常由一个输入层、一个隐含层和一个输出层组成。X表示网络的输入、H表示隐含层、Y表示网络的输出，Wij表示输入层与隐含层之间的连接权值，Vjk表示隐含层到输出层的连接权值。m、l、n分别表示输入层、隐含层、输出层神经元的个数。Q1j和P1j分别表示隐含层、输出层神经元的阈值。第2页/共37页3BP网络整个学习过程的一般步骤如下：①网络初始化。给各连接权值{Wij}、{Vjk}及阈值{Q1j}、{P1j}赋予（-1，+1）间的随机量。②将第t（t=1）个学习样本输入到图的网络中。③计算隐含层第j神经元输入{sj}和输出{bj}：，即：式中：

f（x）—网络相应函数，取f（x）为Sigmoid函数，即。第3页/共37页4④计算输出层第k神经元的输入{Lk}和输出层的输出{Ck}，即：⑤计算输出层各神经元的一般化误差{dk}：式中：Yk—第k神经元的期望输出。⑥计算隐含层第j神经元的一般化误差{Ej}：第4页/共37页5⑦调整连接权值和阈值：式中：η—学习速率，0<η<1。⑧选取下一个训练样本对（t=2），重复步骤③～⑦，直至所有样本对（t=1，2，…m）训练完毕，即完成了训练样本集的一轮训练。第5页/共37页6⑨计算全局误差SSE：式中：M—学习样本的对数；Ykt—第t对学习样本的期望输出；Ckt—第t对学习样本的计算输出⑩如果SSE小于预先设定的一个误差值，则网络停止学习；否则将重复步骤③～⑦，进行样本学习样本集的下一轮训练。第6页/共37页7标准BP算法是基于梯度下降法，通过计算目标函数对网络权值和阈值的梯度进行修正。学习过程是通过调整权重和阈值使期望值和神经网络输出值的均方误差趋于最小实现的，只用到均方误差函数对权值和阈值的一阶导数信息。标准梯度下降法权值和阈值的迭代过程可表示为：标准BP算法：由网络所有权值和阈值所形成的向量。

学习速率目标函数(均方误差函数)

目标函数的梯度(一阶导数)

迭代次数

第7页/共37页8BP神经网络的缺点：BP神经网络是目前应用最多的一种神经网络形式，但不是非常完美，表现出结构确定的人为性、训练速度慢以及初始权值对结果影响的随机性等缺陷；存在学习过程易陷入局部极小、易出现震荡和网络存在冗余连接或节点等缺陷；另外，隐含层单元数及隐含层结点数的确定至今没有统一的方法。第8页/共37页9对于上述存在的缺点，许多学者对BP网络进行了改进，大多采用基于标准梯度下降的改进方法，如附加动量法、弹性BP算法、自适应调整参数法等或基于标准数值优化的改进方法，如拟牛顿法、共扼梯度法和LM法等，并没有将两种改进方法结合起来。

BP神经网络的改进：第9页/共37页10（1）基于标准数值优化的改进BP神经网络的训练实质上是非线性目标函数的优化问题，标准BP神经网络利用了目标函数的一阶导数信息。本次改进采用“LM”法，它是基于标准数值优化的改进方法，在利用目标函数的一阶导数信息的基础上，还利用了目标函数的二阶导数信息。改进后的权值和阈值的迭代过程表示为：DH—是对角矩阵，其对角元素为H的对角元素；第10页/共37页11μ—阻尼因子（若E(X(k+1))≥E(X(k)),μ(k+1)=10μ(k)；否则μ(k+1)=0.1μ(k)）。

该改进方法根据迭代的结果动态地调整阻尼因子，使每次的迭代误差函数值都有所下降，收敛速度快。（2）基于梯度下降的改进标准BP算法的步长λ是定值，这就导致了λ难以确定，若λ过小，在误差曲面较平坦的区域，收敛较慢；当步长λ较大时，又会在峡谷区域引起震荡。针对上述缺陷，本次采用步长自适应改进方法确定λ，即：式中：β—某一小正数，β∈[0.01，0.03]；

p—训练次数

Ep—第p次的训练误差。第11页/共37页12

该方法的优点是当误差减小时步长相应增大，当误差增大时步长相应减小，克服了标准BP算法步长难以确定的缺陷。采用这两种方法改进的BP神经网络能克服标准BP神经网络训练速度慢、初始权值对结果影响的随机性、在学习过程易陷入局部极小、易出现震荡等缺陷。第12页/共37页13基于人工神经网络的综合评价方法步骤

（1）确定评价指标集，指标个数为BP网络中输入节点的个数；

（2）确定BP网络的层数，一般采用具有一个输入层，一个隐含层和一个输出层的三层网络模型结构；

（3）明确评价结果输出层的节点数为1;

（4）对指标值进行标准化处理；

（5）用随机数（一般为0-1之间的数）初始化网络节点的权值与网络阈值；

（6）将标准化以后的指标样本值输入网络，并给出相应的期望输出；

第13页/共37页14基于人工神经网络的综合评价方法步骤（7）正向传播，计算各层节点的输出；

（8）计算各层节点的误差；

（9）反向传播，修正权重；

（10）计算误差。当误差小于给定的拟合误差，网络训练结束；否则转到（7），继续训练；

（11）训练所得网络权重就可以用于正式的评价。第14页/共37页15神经网络在地下水环境评价中的应用

地下水环境质量评价是地下水资源评价的一项重要内容，它根据地下水中主要物质成分和给定的水质标准，分析地下水水质的时空分布状况和可用程度，为地下水资源的开发利用、规划和管理提供科学依据。第15页/共37页16神经网络在地下水环境评价中的应用

地下水水质评价的方法有很多,如模糊数学法、灰色聚类法、物元分析法、内梅罗指数法等。在设计模糊数学的隶属度函数、灰色聚类的白化函数时及在确定各评价指标的权重时，都存在着人为因素，造成评价模式难以通用，而且也存在着在计算时丢失信息太多而使评价结果与实际不符。内梅罗指数法数学过程简捷，运算方便，物理概念清晰等，该方法的主要缺点是过于突出最大污染因子，未考虑权重因素，对各污染因子等同对待等。这些方法并没有很好解决评价因子与水质等级间复杂的非线性关系，以及水体污染的模糊性与随机性，至今还没统一的评价模型。第16页/共37页17神经网络在地下水环境评价中的应用表1水质资料第17页/共37页18神经网络在地下水环境评价中的应用第18页/共37页19神经网络在地下水环境评价中的应用I类水的标准界值为I类水的分级代表值，Ⅱ类水的分级代表值为I类水和Ⅱ类水标准界值的中值，其余依次类推，将Ⅳ类水或Ⅴ类水的界值作为Ⅴ类水的分级代表值。得到本次BP网络的训练样本，见表2。1训练样本选择表2地下水质量标准分级类别和网络期望输出值第19页/共37页20神经网络在地下水环境评价中的应用2数据的预处理BP网络模型一般以S形函数作为转换函数，该函数的值域为[0，1]，因此在网络训练时要将原始数据进行处理，规范到[0，1]之间，常用的数据预处理方法主要有标准化法、重新标法、变换法、比例压缩法、压缩系数法。为了实现将网络输入数据信息集进行合理的压缩，又能够体现原始输入数据信息之间的差别，建议使用压缩系数法。公式如下：T=αX式中：X——原始数据；α——压缩系数法，0<α<1,根据具体对象选取α的值；T——变换后的数据。第20页/共37页21神经网络在地下水环境评价中的应用3隐层及隐层神经元节点数的确定

地下水环境质量评价是一个非线性关系较为复杂的问题，神经网络具有逼近任意非线性函数的能力，且一般的三层BP网络模型就能满足大部分非线性系统要求[7-8]，因此本次采用一个隐含层。隐含层神经元节点数的确定是人工神经网络设计中最为关键的步骤，它直接影响网络对复杂问题的映射能力。目前出现的确定隐含层神经元方法是多样的，但都缺乏令人信服的依据，有时常常也是无效的。本文采用“试算法”确定神经元个数，经试算，最佳隐含层节点数为15个。第21页/共37页22神经网络在地下水环境评价中的应用4地下水环境质量评价

由于本次评价指标选择了5个评价因子，因此输入层神经元节点数为5个，评价等级为5个，输出层神经元节点数为5个，隐含层神经元节点数经试算为15个，因本次BP网络的拓扑结构为：一个输入层，神经元节点数为5个；一个隐含层，神经元节点数为15个；一个输出层，神经元节点数为5个。

第22页/共37页23神经网络在地下水环境评价中的应用4地下水环境质量评价表3地下水环境质量评价结果第23页/共37页24神经网络时间序列预测模型记一个时间序列为{Xt}，其中xt=x(t)，t=0，±1，±2，…。时间序列预测也就是根据时间序列{Xt}的历史观测值xn，xn-1，…，xn-m对未来n+k时刻（k>0）的取值进行估计，可以认为xn，xn-1，…，xn-m之间存在有某种函数关系，可用下式描述：第24页/共37页25神经网络时间序列预测模型的步骤神经网络预测时间序列的方法就是用神经网络来拟合某一时间序列的函数F(·)，然后将之用于时间序列的预测。建立神经网络时间序列预测模型有以下几个步骤：（1）数据的预处理BP神经网络一般以S型函数作为转换函数，该函数的值域为[0，1]，因此在网络训练时要将原始数据进行处理，规范到[0，1]之间，常用的数据预处理方法主要有标准化法、重新标法、变换法、比例压缩法、压缩系数法。第25页/共37页26神经网络时间序列预测模型的步骤（1）数据的预处理

为了实现将输入数据信息集进行合理的压缩，又能够体现原始输入数据信息之间的差别，本次研究采用压缩系数法，对数据进行预处理，公式如下：T=αX式中：X—原始数据；α—压缩系数法，0<α<1，根据具体对象选取α的值；T—变换后的数据。第26页/共37页27神经网络时间序列预测模型的步骤（2）隐层及隐层神经元节点数的确定神经网络具有逼近任意非线性函数的能力，且一般的三层BP网络模型就能满足大部分非线性系统要求，本次研究采用上述改进的BP神经网络。隐含层神经元节点数的确定是人工神经网络设计中最为关键的步骤，它直接影响网络对复杂问题的映射能力。目前出现的确定隐含层神经元个数的方法是多样的，但都缺乏令人信服的依据，有时常常也是无效的。本次研究采用隐含层采用一层，隐含层节点数的确定采用“试算法”。第27页/共37页28神经网络时间序列预测模型的步骤（3）网络结构设计

网络结构设计包括确定网络的隐层数、隐层神经元节点数及输入、输出层神经元节点数。输入、输出层神经元节点数由实际问题决定。第28页/共37页29神经网络时间序列预测模型的步骤（4）样本的选取将时间序列作为样本集，并将其分为两组，一组作为训练样本，一组作为检验样本。训练样本的选择通常遵循以下原则：样本足够多，具有代表性且样本分布均匀。第29页/共37页30神经网络时间序列预测模型的步骤（5）训练网络用训练样本，对神经网络进行训练，得到神经网络时间序列预测模型。第30页/共37页31神经网络时间序列预测模型的步骤（6）验证网络对网络进行检验，即对检验时间序列进行预测，与检验样本对比，分析预测的效果，效果满足精度要求便可以用来进行长期预测。检验方法通常采用后验预测法。第31页/共37页32