电力系统短期负荷预测技术的研究与实现.pdf

合肥工业大学 硕士学位论文 电力系统短期负荷预测技术的研究与实现 姓名：石万清 申请学位级别：硕士 专业：电力系统及其自动化 指导教师：陶维青 20050401 电力系统短期负荷预测技术的研究与实现 摘要 电力系统短期负荷预测是调度中心制订发电计划及发电厂报价的依据，也 是能量管理系统( E M s ) 的重要组成部分，对电力系统的运行、控制和计划都有 着非常重要的影响，其预测精度直接影响到了电网及各发电厂的经济效益。 由于电力负荷受诸多因素影响，如当前负荷状况、天气状况、节假日、重 大经济及政治事件等，为提高短期电力负荷预测的精度，本文综合考虑了影响 电力负荷的诸多因素，分析了适用于电力系统短期负荷预测的多种预测模型及 其优缺点，提出了将径向基函数网络和模糊逻辑两种方法相结合的预测方法， 并用v i s u a lc + + 和M A T L A B 混合编程实现基于该算法的短期电力负荷预测程 序，结果表明，与常规的预测方法相比，预测精度有了较大提高，效果较好。 此外，本文实现了V i s u a lC + + 与M A T L A B 的接口。利用v i s u a lC + 十6 O 提 供的控件设计人机界面，利用M A T L A B 工作在后台实现复杂的计算功能。这 样既可以拥有良好的人机界面，又可以有较高的软件开发效率。 关键词：短期负荷预测：神经网络；B P 算法；R B F 网络；模糊逻辑；M A T L A B R e s e a r c ha n d I m p l e m e n t o nS h o r t - t e r mL o a d F o r e c a s t i n g T e c h n o l o g y o fE l e c t r i cP o w e r S y s t e m A b s t r a c t S h o r t t e nl o a df o r e c a s t i f 培o fe l e c t r i cp o w e rs y s t e mi s n o t o n l y t 1 1 eb a s i sf o r 恤e d i s 删b u t i o nc e n t e r st o 纠a np o w e rg e n e r a t j o na n dt h ep o w e rp l a n 括t oq u o t ep r j c e ，b u ta l s o a I li m p o n a f l tp a r to f e n e r g ym a I I a 跗n e n ts y s t e m F 池r n l o r c ，s h o m t e ml O a df o r e c a s t i n g h a sa 】一i m p o n a n te 丘音c to np o w e rs y s t e m ，s u c ha s 郇啪t i 伽，c o n 打0 1a n dp 】a n T h e p r e d i c t i o na c c u r a c yh 髂d i r e c t i n f l u e n c eo n e c o n 0 I I l yb e n e f i t so f t l l e 嘶da n dp o 、e rp l 蛆t s E l e c m cp o w e ri s 甜r e c t e db ym a I l yf a c t o r s ，s u e ha Sc u r r e ml o a ds t a t u s ，w e a t h e rs 纨s ， f b s t i V a l - h o l i d a y ，i m p o n a n Ce c o n 0 瑚y a I l d p o l i t i c se V e n t ，a I l d e t c F o r i l p r o v i n g t l l e p r e d i c t i o na c c u r a c yo f s h o n t e r ml o a df o r e c a s t i n 岛m a r l yf o r e c a s tm o d e l s 印p l i e dt op o w e r s y S t e ms h o r t _ t e n nl o a df o r e c 删n ga n d 位i rc l l a 】t e r i s t i c sa r e 眦I y z e d ，al o a df o r e c a s t i n g s 眦e g yb a S e d o nR B Fn e u r a In c t w o r ka n d f I l z 纠l o g i c i s p m p o s e dc o I l s i d e r i n g 也e i n t e 矿a t l 甜e 岱娥o fm 锄yf 如t o r s T h el o a d 如r e c a s t m gp r 0 可a mb a s e do nt h ep m p o s e d f o r e c a 幽gs t r a t e g yi s c a r r i e do u tb yc o m b i n e d s 谢c + 十a n dM A T L A B T h er e s u l t s s h o w b e t t 耵p r e d i c t i o na c c u r a c ym a n 倒硒o n a l m o d e l s A d d i t i o m l l y ，b 0 出V C + + 觚dM A l L A Ba r ea d o p t e d i I l t 】1 i s p 印e r u s i n g m e m a n - m a c h 主l 】oc o n v e f s i o n 幻t e 哟脯o fv j s u a lC 十 c o m p l i c a t e dc o m p u t a t i o ni sd o n ea tt h e b a c k g m u n d 嘶t l IM A l L A B t 0 0 1 s ob o mg o o dm a n m a c l l i l l ec o n v e r s a t o n 诚e r f l l c ea l l d h i 曲e re x p l o i t a t i o ne m c i e n c y o f s o f h a r ea r ea c q m r e d K | 种 r d s ：S h o 出t e l mJ o a d 幻r e c 咖；N e u r a ln e 锕o r k ；B a c k P r o p a g a t i o na 1 9 0 r i t 吼； R 矗d i a lB a s j sF l l I l c t i o nN e t w o r k ；F u z 巧L 0 豇c ；M 棚，A B 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大学 硕士学位论文质量要求。 答辩委员会签名：( 工作单位、职称) 主席：蚴彦叛磅瘩旋 投援 扣 怨弘 、。 孑， 肚 | ： j 。 一 唇 肾 血易一队诌卜似岛和m 中 弋P p扯弦陶 委 蝴 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果 据我所知，除了文中特别加咀标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得金墅王些太堂或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 黜一躲万万葫黼飙财咿犀日 学位论文版权使用授权书 本学位论文作者完全了解盒月l 王些太堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金 目g 王些太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 虢万万磊 签字日期：) 町年f 月群日 学位论文作者毕业后去向： 工作单位： 通讯地址： 翩繇确学昔 签字日期：2 一，年j 月乒日 电话 邮编 致谢 论文之所以能够顺利完成，首先感谢我的导师陶维青副研究员。正是在陶 老师诲人不倦的教导和支持下我才能够顺利完成硕士阶段的学习与研究，本论 文从选题到最后的定稿都凝聚着陶老师的心血。陶老师渊博的学术水平、严谨 的教学作风使我在学业上受益无穷，从他身上学到的实事求是的科学态度、严 谨的科研方法为我未来的工作和发展打下了坚实的基础。同时，导师在生活上 也给我很多的关怀、帮助和鼓励，在此学生表示衷心的感谢和深深的敬意。 本次论文工作得以顺利完成还要感谢庹华容、张升、马小陆、黄丽琼、郑 杰、周强、张晓飞、王成进、王骏等同学和朋友给予我的鼓励和帮助，在此深 表谢意。 最后还要感谢我的父母和家人。感谢多年来他们对我的支持。 作者：石万清 2 0 0 5 年4 月 第一章前言 1 1 电力系统负荷预测的意义和目的 电力系统负荷预测是在充分考虑一些重要的系统运行特性、增容决策、自 然条件及社会影响等条件下，研究和应用一套系统处理过去负荷与未来负荷的 数学方法，在满足一定精度要求的前提下，确定未来某特定时刻的电力负荷值。 电力负荷预测是电力系统调度、用电计划、规划等管理部门的重要工作之一。 提高负荷预测技术水平，有利于计划用电管理、合理安排电网运行方式和机组 检修计划、制定合理的电源建设规划、提高电力系统的经济效益和社会效益， 并有利于节煤、节油和降低发电成本。因此负荷预测已经成为实现电力系统 管理现代化的重要内容之一。 电力系统负荷预测分为：长期负荷预测、中期负荷预测、短期负荷预测和 超短期负荷预测l2 1 。长期负荷预测一般指1 0 年以上并以年为单位的预测；中 期负荷预测是指5 年左右并以年为单位的预测；短期负荷预测则是指一年之内 以月、周、日、小时为单位的负荷预测；超短期负荷预测是指未来1 小时、未 来O 5 小时甚至未来1 0 分钟的负荷预测。长期和中期负荷预测的意义在于帮 助决定新的发电机组的安装( 包括装机容量的大小、型式、地点和时间) 与电 网的规划、增容和改建。短期负荷预测则可对未来一天到七天的负荷进行预测， 是调度中心制订发电计划及发电厂报价的依据。超短期负荷预测的意义在于对 电网进行计算机在线监控，实现发电容量的合理调度，满足运行的要求，同时 也使发电成本最小。短期负荷预测也是能量管理系统( E M s ) 的重要组成部分， 对电力系统的运行、控制和计划都有着非常重要的影响，提高电力系统短期负 荷预测的精度既能增强电力系统运行的安全性，又能改善电力系统运行的经济 性。随着我国社会主义市场经济的不断完善，电力企业逐步走向市场，电力系 统的经营方式从垄断转变为市场竞争将成为必然。短期负荷预测是电力市场的 基础工作，随着电力市场改革的深入开展，其作用日益重要，它不但成为发电 厂报价的依据，更是保证电网安全稳定运行的重要前提，其预测精度直接影响 到了电网及各发电厂的经济效益。 1 2 国内外的研究状况 国外对于负荷预测的研究开展较早，美国华盛顿大学的D c P a r k 等人最早 将神经网络应用于短期负荷的预测，将传统模型中无法考虑的天气因素加入到 模型中，得出了神经网络负荷预测模型比传统预测模型预测精度高的结论。但 是D c P a r k 的模型中没有考虑到日类型、节日等其它因素，部分预测结果误差 较大【3 1 。 E A M o h a m e d 等人提出的针对埃及联合电网( E u G ) 的小时负荷预测模型p 1 中 使用了3 层结构的神经网络，测试结果为：标准差2 9 3 ，最大误差1 1 4 7 出现 在1 月2 3 日( 星期六) 。尽管在模型中考虑了日类型，从预测结果来看，工作日 的预测误差较小，但是休息日的预测误差较大。另外，在模型中没有考虑气温 等天气状况，这将降低模型的精度。为弥补此不足，应该在模型中加入前一天 及前一周的负荷状况。 国内在9 0 年代以前也有关于负荷预测的研究，但是大都侧重电力需求的中 长期预测，主要用于电力规划。随着我国社会主义市场经济的不断完善，电力 企业逐步走向市场，电力系统的经营方式从垄断转变为市场竞争将成为必然。 而且，短期负荷预测是电力市场的基础工作，随着电力市场改革的深入开展， 其作用日益重要，国内的学者也从9 0 年代中期开始纷纷展开了人工神经网络在 短期负荷预测领域的研究。 电力科学研究院的于尔铿、汪峰等人长期从事E M S ，D M S 和电力市场的研 究，在其关于能量管理系统的E M s 讲座中1 5 】，系统的阐述了电力系统负荷预测 的方法。文献 6 】中提出的小时负荷预测模型中将负荷按各种分量进行拆分，分 别用神经网络与A R 方法建模，但是，模型中未考虑天气因素，模型精度受到 一定的影响。 虽然神经网络负荷预测方法的预测精度较传统方法高，但是它也有其自身 的缺陷：由于诸多原因，节假日负荷预测的精度相对较差；此外，反向传播算 法( B a c k - P r o p a g a t i o n a l g o r i m m ，简称B P ) 的收敛速度慢。对突发事件的适应 性差，而且容易陷入局部极小点。目前采用改进的B P 算法来加速B P 算法的收 敛。 总体来看，对负荷预测的研究经历了三个阶段：1 ) 从对负荷预测的传统的 数学统计方法的研究，如时间序列、回归分析等，研究重点在负荷序列本身的 规律上；2 ) 对负荷预测的人工智能的研究，如神经网络等，研究重点以新技术 代替传统的方法：3 ) 负荷预测的应用研究，重点是将各种负荷预测方法与影响 负荷的各种因素结合起来进行研究，特别是天气因素。而且，在单个预测模型 不能完全正确地描述预测量的变化规律时，还可以将几种预测方法得到的结果 中选取适当的权值加权平均来得到预测值，能有效的改善预测效果【7 1 2 1 。 在应用上，国外的电力企业大都使用特定的负荷预测软件包。近年来，这 些软件包更是将神经网络方法纳入其中。如美国R e g i o n a lE c o n o m i c R e s e a r c h ，I n c ( 简称R E R ) 开发的软件包M e t r i x N D 【1 3 】综合了神经网络方法、时 间序列及指数平滑技术等，软件包提供了短期负荷预测及电价预测功能，但是 没有相关的预测精度说明。 国内仍处于试验阶段，实际应用较少。常州东瑞电力软件有限公司开发短 2 期负荷预测模块中使用了神经网络预测模型来预测2 4 点的日负荷，但是未见对 模型预测精度的评价。 1 3 研究的主要内容 短期负荷预测是电力市场的基础工作，随着电力市场改革的深入开展，其 作用日益重要，其预测精度直接影响到了电网及各发电厂的经济效益。要提高 负荷预测精度，就必须考虑影响负荷的各种因素，如当前负荷状况、天气状况、 节假臼、重大经济、政治事件等不确定因素。而且，同样的模型运用在不同地 区时，精度上可能会有较大的差别，原因在于各地影响负荷的工业水平、气候 条件等不同，所以，在针对特定地区进行负荷预测研究时，需要对当地的负荷 特性等进行深入的分析，选择合适的模型，才能提高预测精度。本文主要工作 有以下几点： 1 学习和研究了电力系统短期负荷预测的多种方法，并分析了一些方法的 特点及适用范围； 2 重点研究了人工智能的预测方法，如B P 网络，径向基函数网络( R a d i a l B a s i sF u n c t i o n N e t w o r k s ，简称R B F ) ，在充分考虑影响负荷因素的同 时，将神经网络与模糊逻辑相结合来提高负荷预测精度； 3 用v i s u a lc + + 和M A T L A B 混合编程，实现了神经网络算法，并用v i s u a l c + + 和M A T L A B 两编程语言实现了短期负荷预测软件，这样既能利用 s u a Ic + + 丰富的图形界面功能，并能与s c A D A 等系统相连，具有很好 的可移植性和适用性，而且能利用M A T L A B 强大的数值计算功能，利用 其工作在后台，从而提高了软件开发效率。 第二章传统的负荷预测方法 经过几十年的发展，人们提出了许多的短期负荷预测方法。现在的预钡4 方法 大体分为2 类：传统的数学统计方法和上世纪9 0 年代兴起的人工智能方法a 下面 大致介绍一下几种传统的数学统计方法。 2 1指数平滑预测法 指数平滑预测方法f H 】采用电力系统负荷趋势外推预测技术，其理论依据 是：电力负荷的变化一方面有其不确定性，如气候的变化、意外事故的发生等 造成对电力负荷的随机性干扰；另一方面，在一定的条件下，电力负荷存在明 显的变化趋势。以农业用电为例，在气候变化较小的冬季，日用电量相对稳定， 表现为较平稳的变化趋势，在某个时段内，又表现为线形和非线性趋势。从季 度和月份用电看，易见周期性变化趋势，习惯上称之为季节性变化趋势。有时 也会表现为几种变化趋势的叠加。 指数平滑预测方法针对不同的变化趋势具体采用不同的方法。这些方法共 同的特点是作趋势外推，不对其中的随机成分作统计处理。 2 1 1 水平趋势预测方法 水平趋势预测方法有全平均法、次滑动平均预测法、一次指数平滑预测 法、一阶自适应系数预测法。这里我们主要介绍一次指数平滑预测法。 对于连续变化的负荷数据序列，要预测它在未来时刻的值，可以对历史负 荷数据按照“重近轻远”的预测原则加以不同的权值进行叠加，近期数据给予 较大的权值，远期数据给予较小的权值，以强化近期数据的作用，弱化远期数 据的影响， 取定平滑参数口( 0 ( 口( 1 ) 。初值= 而，便可计算一次指数平滑序列： = a + ( I 一q lf = I ，2 ，3 ，r( 2 1 ) 即用f 期的平滑值s ，预测H - l 期的电力负荷曼。= s 。特别地， 王。= J ，( ，= 1 ，2 ，) ，这就是一次指数平滑预测法。 平滑系数口的值的大小，体现了不同时刻的指标在预测值中所起的不同作 用，如果数据序列波动较大，为了在预测中反映该波动，应当突出新的负荷数 据x ，的作用，要用较大的口；反之，数据序列变化平缓，可取较小的口值。口的 取值没有一定的规律，具体计算时可以通过计算机程序对口优化选取。 2 1 ，2 线性趋势预测 线性趋势预测方法埘包括二次滑动平均法、二次指数平滑法及二阶自适应 4 系数预测方法。在此，着重介绍二次指数平滑法。二次指数平滑是对一次指数平 滑数值再进行一次平滑。一次指数平滑法是直接利用一次指数平滑值作为预测 值的一种预测方法，二次指数平滑法与其不同，它是用平滑值对时序存在的线 性趋势进行修正。因此，二次指数平滑也称为线性指数平滑，其计算过程为： I 计算一次、二次指数平滑序列 ( a ) 一次指数平滑序列( 平滑系数0 g 时，有只( ) = o ，这说明，M A ( q ) 模型只能预测到第g 步。 由此可见，要求得多，( 1 ) ，允( 2 ) ，虫( g ) ，只须设法求出口。，口。，d + 即可。为此可 将原模型式( 2 - 9 ) 改写为 口I = y 。十岛口l - 1 + + 巳口_ ( 2 - 1 1 ) 利用公式( 2 1 1 ) 求出口。，口。，口。+ 。的估计值，然后把它们再代回式( 2 - 1 0 ) 中去， 即可得出预测值或( 1 ) ，允( 2 ) ，只( 虿) 。 ( 三) A R M A 序列预测模型 将A R 和M A 模型结合起来构成可以用来描述平稳随机过程的自回归动平均 模型A R M A ( p ，q ) ，A R M A ( p ，q ) 模型为： y t 一妒l y 卜I 一一p P M P = 口f B 口I - 1 一一岛口f _ ( 2 - 1 2 ) 这里吼，伊：，妒，和B ，岛，以都是已估计好的参数值。于是有 y ，+ = 伊I y f + 一l + 。+ 妒p y r + P + 口f + 一B 4 - + 一l 一一日口f + 一q ( o ) ( 2 - 1 3 ) 当 g 时，对式( 2 1 3 ) 两端取期望值，有 多，( ) = 仍允( 一1 ) + P 2 多。( 一2 ) + + 妒。多。( 一p )( 而 o )( 2 - 1 4 ) 将式( 2 - 1 4 ) 和式( 2 - 8 ) 相比较，可知，这就是A R ( p ) 序列的预测模型。所以， 在 口以后，A R M A ( p ，q ) 序列的预测问题完全可以仿照A R ( p ) 序列的问题来处 理，这里不再重述，只要注意到，这里即使厅 g ，多，( 仍不为零，这是因为将 A R M A ( p ，q ) 化为M A 序列时，n = 罢篙口，是无限阶M A 序列模型，而不是有限 项白噪声之和。 当1 而s 口时，此时( 2 - 1 3 ) 式中的口。，口f - ，q 。l 完全可以仿照M A 序列预测 中处理的方法来确定。因此，将求A R 序列和M A 序列的预测模型结合起来， 就可以确定A R M A 序列的预测模型。 ( 四) A R I M A 序列预测模型 累积式自回归动平均模型的提出是为了抽取时间序列中的平稳随机因素， 消除模型中的非平稳随机过程【n 】。实际上是先对时间序列求取d 阶差分( 实际 上，d 通常是O ，l ，或者最多是2 ) ，得到一个新的时间序列，然后，运用自回 归动平均法求取这个新的时间序列。如， 肼 是一个非平稳序列，经过d 次差 分后， V 。J ，。J 是一个平稳的A R 眦序列，记 P p ( B ) = l 一仍B 一妒P 四9 巳( 曰) = l 一只口一岛曰7 则称 妒P ( 动V 4 y ，= 色( 曰) q ( f d )V = l 一曰 ( 2 1 5 ) 为( p ，d ，q ) 阶的累积式自回归动平均模型，记作，A R I M A ( p ，d ，q ) 。 从式( 2 1 5 ) 中可以看到，A R I M A 模型实际上是用二项式差分( I 一丑) 4 消除了 非平稳时序中的多项式趋势。从系统的角度来看，就是分离出了系统中的d 个 相同的一阶环节，从面可按平稳时序建摸，由此可见，A R I M A 模型的建模可采 用A R M A 建模程序，只需增加d 阶差分运算，这也相当于在A R M A 建模之前对 非平稳时间序列进行平稳性处理，因此，A R I M A 建模并不存在实质性困难。在 进行差分时，通常需判断d 的取值，一般方法是从d = 1 开始搜索，在对 V 4 y 进行平稳性检验，直至满足平稳条件为止。 2 3 回归分析 回归分析是寻找自变量与因变量之间存在的相关关系以及确定其回归方程 式，即确定适当的函数类型和响应的参数，拟合一条最佳的曲线，然后将此曲 线外延至未来的适当时刻，在已知自变量取值时得到因变量的预测值4 1 。 按自变量黔多少可分为一元回归分析和多元回妇分析；按照自变量与困交 量之间的回归方程的类型可分为线性回归分析和非线性回归分析。 ( 一) 一兀线性回归分析 在一元线性回归中，自变量是可以控制或可以精确观察的变量( 时间) ，因 变量是依赖于自变量的随机变量( 负荷) ，那么，二者之间的关系为： y = 口+ h ( 2 一1 6 ) 根据样本瓴，只) ，则残差平方和为踟，衅= ( 乃一d 一玩) 2 ，按最小二乘 I a l 法，使Q 最小，从而可以解得： ”薯弘一( _ ) ( y ，)( 一一覃) o 。一习 6 = J 生1 l _ 丛一= 型一 犯一27 ) 栉# 一# 。一刁2 a = 丢喜y 。一言喜= 歹一磊 c z s ， 因此可以确定回归方程多= a + 蠡。 ( 二) 多元线性回归分析 在电力负荷预测的实际问题中，负荷受多种因素的影响，因此根据历史资 料中负荷与各因素之间的依赖关系，就要考虑用多元回归分析方法来解决。在 多元回归分析方法中，简单而又重要的一种情形就是多元线性回归，它的原理 与一元线性回归分析基本相同。计算公式如下： y = + q f 1 其中，口。，口：，4 。为回归系数，为随机干扰。 ( 2 - 1 9 ) ( 三) 多元非线性回归分析 对于前面的回归模型，都假设自变量和因变量之间为线性关系但是，实 际上二者之间多数是非线性关系。对于非线性模型的研究，一般比较复杂不采 用。但是某些特殊的情况下可以通过适当的变量代换，将非线性问题转化为线 性相关的问题来处理，即用适当的曲线来拟合二者之间的关系，当曲线确定下 来后。根据样本值，通过适当的代换把非线性问题转化为线性问题。 2 4 本章小结 通过对各种传统的负荷预测方法的分析，总结出其各自的优缺点1 1 7 J ： 时间序列法是依据历史负荷数据，找到其随时间变化的规律，建立时序模 型，依此推断出未来负荷数据。其基本假定是：负荷过去的变化规律会持续到 将来，即未来是过去的延续。算法的优点是：所需历史数据少、工作量少。该 方法的缺点是：没有考虑天气( 尤其是温度) 、日期特征、社会活动等敏感因素 对负荷的影响，只致力于数据的拟合。对规律性的处理不足，精度不高，只适 用于负荷变化比较均匀的短期预测的情况。 回归分析是对过去的具有随机性的负荷记录进行拟合，得到一条确定的曲 线，然后将此曲线外延到适当的时刻，就得到该时刻的负荷预测值。优点是： 预测精度较高，适用于中、短期负荷预测。但是，由于天气变量与负荷之间不 是简单的线性关系，回归算法对这种动态的、非线性的关系无法处理，它只预 测出一个平均值；非线性回归算法也只是通过代换将非线性的关系转化为线性 关系，而且运算复杂，所以也不是理想的预测方法。 指数平滑预测方法采用电力系统负荷趋势外推预测技术，算法比较简单， 但是只局限于一个时间序列本身的外推预测，而没有考虑其他因素的影响，而 且，带有滞后效应，因此，只适宜于近期预测，不能作远期预测。 为解决传统预测方法中存在的问题，因此人们提出了人工神经网络的预测 方法。 9 第三章人工神经网络预测方法 3 1 人工神经网络发展历史 对人工神经网络理论的研究，从8 0 年代开始获得蓬勃的发展。但是人类对 它的探索可以追溯到1 9 4 3 年，法国心理学家W M c C u l l o c h 和数学家W P i t t s 合 作推出的神经元数学模型，即著名的M P 模型1 1 3 】，这一模型的提出开创了人工 神经网络这一新兴边缘学科研究的先河，在这之后，有关研究异常活跃。但是 到了7 0 年代后期，由于人工智能理论的日趋完善，使人们渐渐地对人工神经网 络的研究失去了以往的热情。在这l O 多年的时间里，人工神经的研究陷入低潮。 但是进入8 0 年代以后，由于少数坚忍不拔的学者经过1 0 多年的理论研究，人工 神经网络理论的一系列问题终于取得重大的突破，尤其值得一提的是美国生物 物理学家H o 衄e l d 于1 9 8 2 年提出的一种称为H o f i e l d 的模型【”，2 叭，他在建立的网 络模型中引入“能量”函数，在理论上解决了网络稳定性的判据问题，并侵网 络具有联想记忆、自动分类和自动校正记忆误差的能力。他的研究成果开拓了 人工神经网络理论研究的新途径，人工神经网络理论的研究进入了一个崭新的、 突飞猛进的时代。当今，世界范围内已经形成了研究神经网络的前所未有的热 潮，可以预言，2 l 世纪神经网络的研究将会有更大的发展。 3 2 人工神经网络的基本特性 神经网络对人们的巨大吸引力主要表现在以下几点1 2 1 ，2 2 】： 1 并行分布处理。神经网络具有高度的并行结构和并行实现能力，因而能 够有较好的耐故障能力和较快的总体处理能力。这特别适于实时控制和 动态控制。 2 。高度售棒性和容错能力。 3 分布存储及学习能力。神经网络是通过系统过去的数据记录进行训练 的。一个经过适当训练的神经网络具有归纳全部数据的能力。因此，神 经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题。 4 能充分逼近复杂的非线性关系。神经网络具有固有的非线性特性，这源 于其近似任意的非线性映射( 变换) 能力，这一特性也给非线性控制问题 带来新的希望。 在控制领域的研究课题中，不确定性系统的控制问题长期以来都是控制理 论研究的中心主题之一，但是这个问题一宜没有得到有效的解决。利用神经网 络的学习能力- 使它在对不确定性系统的控制过程中自动学习系统的特性，从 而自动适应系统随时间的特性变异，以求达到对系统的最优控制，这也是神经 l O 网络得到广泛应用的一个原因。 3 3 人工神经元数学模型 从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理 单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，可以把 神经元抽象为一个简单的数学模型1 钔。工程上用的人工神经元模型如图3 - 1 所 示。 辘 入 僧 号 X 1 X2 r ： X 。 连接较值 图3 1神经元的非线性模型 在图3 1 中，工：，x 。是神经元的输入，即来自前级”个神经元轴突的输 出信息，只( 可以为正或为负，相应地增加或降低传递函数的网络输入) 是神经 元f 的阈值；，。1 ，w ：，分别是神经元f 对输入信号而，x ：，x 。的权值；J ，是神 经元f 的输出；八- ) 是激活函数，它决定神经元f 受到输入信号而，工：，扎的共 同刺激到达阚值时以何种方式输出。 从图3 ，1 的神经元模型可以褥到神经元输出的数学表达式： 三 儿= ，( 艺一只) ( 3 - 1 ) J d 对于人工神经元的激活函数，( ) ( 即传递函数) 常用的有：阀值型、分段型 函数、s 型函数，如图3 2 ： JI ，0 ) I 阔值型 J ) l 一 JL l ，( 功 厂 分段线性型 s 型番效 图3 。2神经元的激活函数 其中，最常用的s 型函数公式为厂( 曲= i t 这种函数表示了神经元的非 线性输入输出特性，能够比较容易地实现比较复杂的非线性映射。 3 4 人工神经网络的工作和学习方式 通过向环境学习获取知识并改进自身性能是人工神经网络的一个重要特 点。在一般情况下，性能的改善是按某种预定的度量通过调节自身参数( 如权值) 随时间逐步达到的。 神经网络的工作方式由两个阶段组成：执行阶段和学习阶段1 2 1 1 。执行阶段 是指神经网络对输入信息进行处理，并产生对应的输出过程；在执行阶段，网 络的连接结构和权值是已经确定并且不会变化的。学习阶段是指神经网络自我 完善的阶段；这时，网络按一定的学习规则修改突触的权值w 。以使目标( 或 称准则) 函数达到最小。神经网络对信息的学习是为了取得对信息的适应特性或 信息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分 类过程。学习和执行是神经网络不可缺少的两个处理功能。通过学习阶段，可 以把神经网络训练成对某种信息模式特别敏感，或具有某种特征的动力学系统； 通过执行阶段，可以用神经网络识别有关信息模式或特征。 一个神经网络的模型确定以后，为了使它具有某种智能特性，还必须有相 应的学习方法与之配合，学习方法是人工神经网络的核心问题。神经网络主要 通过两种学习算法进行训练，即有教师学习算法和无教师学习算法。有教师学 习算法能够根据期望的和实际的网络输出( 对应于给定输入) 间的差来调整神经 元之间的权值j 因此，有教师学习需要有个老师或导师来提供期望或目标输出 信号。无师学习算法不需要知道期望输出，在训练过程中，只要向神经网络提 供输入模式，神经网络就能够自动地适应连接权值，以便按相似特征把输入模 式分组聚集。 1 2 3 5B P 网络模型 多层前向神经网络能够逼近任意非线性函数，因此在科学技术领域中有广 泛的应用。但是隐含层的出现使得学习比较困难，所以限制了多层前向神经网 络的发展，反向传播( B a c k P r o p a g a t i o n ，B P ) 算法的出现解决了这一困难，为多 层前向神经网络的研究奠定了基础。 3 5 1B P 神经网络的结构 B P 神经网络简称B P 网络，它由输入层、隐含层和输出层组成18 1 。最简单 的就是隐含层仅有一层的情形，即三层B P 网络，如图3 3 所示。每层含有的神 经元的个数可以不一样，前一层的神经元与后一层的神经元之间由权值连接， 且每一个神经元的非线性传递函数最常用的就是S 型函数。 输 入 信 号 输入层 隐古层输出层 图3 3B P 网络模型结构 输 出 信 号 3 5 2B P 网络算法及公式推导 B P 网络的学习算法，它包含两个阶段【”2 1 】：正向传播和反向传播。正向传 播时，输入样本从输入层经过隐含层单元一层一层地进行处理，通过所有的隐 含层之后，则传向输出层：在逐层处理的过程中，每一层神经元的状态只对下 一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果 现行输出不等于期望输出( 或误差值大于设定的值) ，则进入反向传播过程；反 向传播时，把误差信号按原来正向传播的通路反向传回，并对与隐含层相连的 各个神经元的权值进行修改，使得误差信号趋于最小。将这一个过程的两个阶 段反复交替，直到达到误差小于设定的值为止。 设在第，1 次迭代中输出层的第- ，个神经元的输出为y ，( 一) ，d ，( 一) 为该神经元 的期望输出值，则该神经元的输出误差信号定义如下： ” 荔d e ，( 订) = d ，( 以) 一y ，( n ) ( 3 - 2 ) 我们将神经元的误差能量瞬间值定义为 g j ( ，1 ) 。相应的，整个误差能量 的瞬间值为孝( ”) ，即为输出层的所有神经元的误差能量瞬间值之和，因此，善( ) 的计算公式为： 孝( H ) = 去e ；( H ) ( 3 - 3 ) J 其中，集合C 包括所有输出神经元单元。令N 为训练集中样本总数，则均方 误差能量表示为： 1 乞= 寺 ( 3 - 4 ) 。l 孝。，为学习的目标函数，学习的目的应使达到最小，乞是网络所有自由参数 ( 权值和阈值) 的函数。那么，输出层神经元，接收前一层信号并产生误差信 号的过程如图3 4 。 咒。1 舅 神经两 r - - 。“、- 、 图3 4 显现输出神经元_ ，细节的信号流图 g ， 在神经元_ ，紫激活函数输入处产生的诱导局部域V J ( ) ，即单元，的净输入 删，o ) = 匕( 疗) = ( 砷，掰为加到神经元_ ，上输入信号个数。迭代第群次时出 现在神经元，输射处的函数信号) ，( 栉) 为： 乃( 功= 吩( 叱( ，奶 善( 功对的梯度为： 1 4 ( 3 - 5 ) 善丛安：黑黧裟未鳔一加) 矿( 帆( 挖) ( 3 - 6 ) a H ( 开)，( 片) 砂，0 ) 加，( 甩) 却F ( 刀) ” 而应用于w 。( 雕) 的修正w ( n ) 由d e l t a 法则定义为： 蛳；一矸尝黑 ( 3 7 ) o w L 玎J 其中负号的使用意味着在权空间中梯度下降( 即寻找一个使得孝( n ) 值下降 的权值改变的方向) ，叩为反向传播算法的学习率参数a 这里局域梯度t ( ，1 ) 定义 为： 渺一器一器筹篙_ 椰) ) ( 3 - s ) 当神经元，位于网络输出层时 t ( 帕= P ，( n ) 竹( V ，( H ) ) = ( t ( n ) 一y ，) ) 谚( ( H ) ) ( 3 - 9 ) 而当神经元，位于网络的隐含层时，如图3 5 ，当下一层神经元| i 为输出单元时 渺一器篙一器办咏一) ) ( 3 1 0 ) ”7 砂，( n ) a l ，( 砂，( H ) “。 。 咒2 l 卫 神经确摊经，己I ( 图3 5 显现输出神经元七连接到隐含层神经元_ ，的信号流图 器。渺，篇器一和咖州= 一渺M ，所以 ( 月) = 西( V ，( 帕) 疋( 行) o ( ) I 其中，神经元，为隐含层神经单元。 ( 3 - 1 1 ) 现在，我们总结出反向传播算法的导出关系。由神经元f 与神经元，之间连 接权值的校正值厶( 功根据d e l t a 规则定义如下： 权值 校正 蛳。 学习率 参数 局部 梯度 占( 玎) 神经元， 输入信号 M 仰) 其中局域梯度占，( H ) 取决于神经元，是输出层单元还是隐含层单元： ( 1 ) 若神经元，是输出层单元，J ，( 坊等于导数妒：( v ，( ) ) 和误差信号P ，( ) 的 乘积； ( 2 ) 若神经元J 是隐含层单元时，占，( 功等于相应导数尹：( v ，( 疗) ) 和占，的加权 和的乘积。 综上所述，反向传播算法的执行步骤可概括如下： ( 1 ) 设置网络结构，初始化网络权值和阈值。 ( 2 ) 呈现训练样本的个回合给网络。对训练集中以某种形式排列的每个 样本，依次迸行在下面的( 3 ) 和( 4 ) 中所描述的前向和反向计算。 ( 3 ) 前向计算。计算各层的输出，对于第z 层的神经元，： 舰 诱导局部域V ：( ，| ) 为：q ( n ) = 嵋( ) y ：。1 ( 一) 神经元输出为：J ，：= 尹，( v ：( ) ) 计算误差信号：e ，( 哟= d ，( 哟一o ，( 玎) ，假设z 为输出层y 净D ，( n ) 其中。( ”) 是迭代聆次时前面第，一1 层的神经元j 的输出信号( j ：o 时， y f l ( 珂) = + 1 ，w ：0 ( ) = 6 ；( n ) 是第堰神经元，的偏置) ，w ：( 订) 是从第z l 层的神经元f 指向第，层的神经元，的权值。 ( 4 ) 反向计算。计算网络的占( 即局域梯度) ，定义为： I 口；谚( V ；( 一) ) = P ；q ( 厅) ( 1 一q ( 行) )对输出层L 的神经元， ( ) = 。 l 玩( V ：o ) ) + 1 ( 哟w ( H )对隐含层f 的神经元f LI 根据d e I t a 规则调节网络第，层的权值： w j ( H + 1 ) = w j ( 月) + ，矽：( H ) y f l ( 一)( 3 1 2 ) 式中，玎为学习率参数。 ( 5 ) 刀= ，l + l 迭代，输入新的样本( 或新一周期样本) ，根据( 3 ) 、( 4 ) 进行前向 和反向迭代计算，直到满足停止准则。 反向传播学习信号流图如图3 6 ，在此我们假设网络只含一个隐含层，并且 每层由三个神经元组成。 1 6 贸获砰硝4 占? 硝 图3 6反向传播学习信号流图小结 图顶部：前向通过图底部：反向通过 3 5 3B P 网络算法的一些改进措施 应用人工神经网络进行负荷预测有其固有的优势：能全面考虑与未来负荷 相关的因素，将它们全部纳入预测计算，从而提高预测精度；而且，适应性强， 应用方式较为灵活、方便：对历史数据的组织可以按不同要求灵活进行。然而 B P 网络也有其缺陷：易陷入局部最小点而导致最终无法收敛于全局最小点，而 且，B P 网络还有收敛速度慢的缺点。针对B P 网络存在的缺陷，人们做了很多研 究并提出了许多方法1 2 ”。 f 1 ) 添加动量项 由式( 3 ，1 2 ) 可以看到，在人工神经网络训练的过程中，学习率刁的选择也很 重要，如果使用的学习率参数，7 越小。则从某次迭代到下一次迭代网络权值的 交化量就越小，轨迹在权值空问就越光滑。然而，这种改进是以减慢学习速度 1 7 五 晒 恐 为代价的。如果我们让叩的值太大以加快学习速度的话，结果就有可能使网络 的权值的变化量不稳定( 郎振荡) 。一个既要加快学习速度又要保持稳定的简单 方法就是添加动量项： w H ( 撑) = 口f w w ( 厅一1 ) + 譬占，( ) 只( ，) ( 3 1 13 ) 式中第二项为标准B p 算法的权值修正量，第一项称为动量项，口称为动量 系数( o 捌 1 ) ( 在实际中口不大可能为负的，但是还是可正可负) 。 当顺序加入训练样本时，上式可写成以r 为变量的时间序列，从O 到玎，因 此上式可看作是w 。( 行) 的阶差分方程对蛳。( 力求解可得： “加阄y “舭眦卜叩善矿1 差器 3 J 4 ) 所以，当望在连续迭代中有相同的代数符号时，学习率应被增加；当 鳓J U 1 善丛竺在连续迭代中代数符号发生改变时，学习率应被减少。 d w i i U ) ( 2 ) 自适应学习率 对于一个特定的问题要选择适当的学习速率不是一件很容易的事情。通常 是凭经验或试验获取，但是即使这样，对训练初期效果较好的学习率，不一定 适合后来的训练。究竟如何选择合适的学习率来加速算法的收敛，很多学者提 出了自己的见解，其中采用较多的一个策略就是自适应学习率，即在训练过程 中学习率不是固定不变的，丽是随着某个特定