电力负荷预测第九章 人工神经网络的负荷预测

第九章人工神经网络的负荷预测一.神经网络理论概述二.BP网络原理与算法三.BP网络在短期负荷预测中的应用

教学要求：●了解神经网络的基本知识；●掌握BP及其改进算法；●清楚BP网络在短期负荷预测中的应用；

教学难点：BP算法的权值修正的推导；

教学重点：BP算法的计算过程；一.神经网络概述

1.神经网络的定义

2.神经网络理论的发展

3.神经网络的分类

4.神经网络理论的应用领域

5.神经网络的主要特性

6.神经元的描述1.神经网络的定义人工神经网络(ArtificialNeuralNetworks,ANN或NN)——是对人脑或自然神经网络若干基本特性的抽象和模拟。换句话说，是根据所掌握的生物神经网络机理的基本知识，按照控制工程的思路和数学描述方法，建立相应的数学模型，并采用适当的算法，有针对性的确定数学模型的参数（如连接权值，阈值等），以便获得某个特定问题的解。2.神经网络理论的发展概述1943年，心理学家Mcculloch和数学家Pitts提出M-P神经元模型。1957年，美学者FrankRosenblatt提出感知机模型Perceptron。60年代，Widrow提出自适应元件Adaline。1974年，美Werbos.P提出误差反向传播算法

(Back-Propagation)。1982年，美Hopfield提出HNN全互联网络模型及能量函数。1985年，Bumelhart发展了BP网络算法，实现Minsky的多层网络设想。3.神经网络的分类前向网络（BP网络）相互结合性网络（Hopfield模型）①连接方式②网络模型感知器多层映射BP网络GMDH网络RBF网络双向联想记忆(BAM)Hopfield模型盒中脑(BSB)自适应共振理论（ART）4.神经网络理论的用途

●函数逼近

●数据聚集

●模式分类

●优化计算

●概率密度函数估计5.神经网络的基本特性●分布存储和容错性；●可塑性、自适应性和自组织性；●并行处理性；●层次性；6.神经元的描述多入——单出——从其它神经元传来的信号；——阈值（可看作-1的输入,权为θi）；——神经元j到神经元i的连接权值；——传递函数（节点作用函数）；常用的作用函数

●高斯核函数

●阈值性函数

●S状曲线

●分段线性函数二.BP网络原理及算法

1.BP网络的基本原理

2.BP算法的基本递推关系式

3.BP算法的实现步骤

4.BP学习算法的收敛性分析及改进

1.BP网络的基本原理●什么是BP网络？

——运用误差反向传播学习算法（Back-Propagation

TraingingAlgorithm）的前馈多层网络，~。

维数角标输入层输出层隐含层（可多层）XY输入输出ghBP网络结构示意图

●BP网络的学习过程正向过程：输入信号从输入层经隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经单元。反向过程：如果在输出层不能得到期望的输出，则将输出信号的误差沿原来的连接通路返回。通过修改各层神经元的权值，使误差信号最小。BP为有教师的学习算法，以最小二乘法的最陡下降梯度。BP网络各层神经元的输出为：XYgh神经元阈值视为连接权

令

XYgh2.算法的基本递推关系式设学习样本个对应的教师信号(输出的期望值)正向传播输出信号共个样本对向量XP1XPLtPLYP1YPLtP1BP网络n维m维m维对而言若输入所有个样本对，网络的总误差为应用最陡下降法，反向调整各层连接权，使误差达到最小。——任意两个神经元之间的连接权批量模式设为迭代次数，应用梯度法，可得各层连接权的迭代关系式为

——学习速度系数，一般取0.01~1。

●第二隐含层——输出层的权值修正——第p个输入模式下对输出神经元l的等效误差。

●第一隐含层——第二隐含层的权值修正——在第P个输入模式下，分摊给第二隐含层神经元k的等效误差。（调换求和顺序）

●输入层——第一隐含层的权值修正——第p个输入模式对下的，分摊给第一隐含层j的等效误差。（调换求和顺序）

第2隐含-输出层第1隐含-第2隐含层输入层-第1隐含层权值修正计算一览表综上所述：⑴连接权的调整，按递推表达式进行。

——该连接权输出端点的等效误差。

——该连接权输入点的实际信号。⑵等效误差由输出层向输入层逐层反向传播。⑶权修正是按批处理方式进行。

批处理

——是输入所有学习样本对并计算网络误差后,才按负梯度方向进行调整。可避免逐个样本对权修正时可能引起的振荡。3.算法的实现步骤Step1:初始化网络权值。一般取净输入值较小，权值为一随机数。step2:输入量的正向传递过程。①输入学习样本对。②对每个输入样本，按式

顺序计算各神经元的输出值。Step3:误差反向传播，依次计算，，。Step4:按式修正各层的连接权。Step5:根据新的连接权值进行正向计算。若每一个样本对和输出层的每一个神经元l均满足精度要求，即

则网络学习完成，否则去②。系统给定BP算法框图：

4.学习算法的收敛性分析及改进●算法的收敛性

三种情况1)全局最小点

2)平坦区网络麻痹

3)局部极小点

有关神经元激活函数的导数有关梯度与●反向传播法的不足

需要较长的训练时间完全不能训练局部极小值①多层网络结构，较多神经元。②不同初始权值（较小的初始权值，较小的学习速率）。●网络训练不稳定①附加动量法

0，当

=0.95，当，其他初始值：方向一致②自适应学习速率

，当

，当，其他③L-M规则——加快前向网络训练大，梯度法。小，Guass-Newton