（计算机应用技术专业论文）人工神经网络在电力预测中的应用.pdf

中 文 摘 要 电力消费是整个电力市场运行的核心内容， 电力需求预测是决定电力市场营 销状况的一个关键环节， 其预测精度的高低直接关系着营销策略制定的合理性与 否。 运用神经网络技术进行电量预测， 是刚刚兴起的又一新的研究方法， 具有许 多常规算法和专家系统技术所不具备的 优点。 因此， 预测被当作人工神经网络( 简 记为a n n )最有潜力的应用领域之一。 本文采用人工神经网络的基本原理来进行电力系统的负荷预测， 通过对人工 神经网络深入研究， 根据神经网络预测及网络训练的特点， 提出了适用于负荷预 测的神经网络电量预测的模型，并按照具体要求对b p 的学习算法进行了改进。 同时结合遗传算法的特点，把遗传算法和 b p 算法较好的结合在一起，使它 们优势互补，更好地进行负荷预测。 最后， 本文通过简单介绍本课题已 经完成的电 力市场预测软件系统， 验证了 所提出的理论的合理性和实用性。 关键字:负荷预测人工神经网络b p 算法遗传算法 a b s t r a c t t h e e l e c t r i c p o w e r c o n s u m p t i o n i s t h e k e rn e l o f t h e w h o l e e l e c t r i c p o w e r m a r k e t . t h e f o r e c a s t o f t h e e l e c t r i c p o w e r d e m a n d i s t h e k e y o f t h e e l e c t r i c p o w e r m a r k e t a n d i t s p r e c i s i o n d e t e r m i n e s t h e m a r k e t p o l i c y . f o r e c a s t i n g t h e e l e c t r i c p o w e r w i t h a r t i f i c i a l n e u r a l n e t w o r k i s a n e w m e t h o d . a n n h a s m a n y a d v a n t a g e s t h a t t r a d i t i o n a l f o r e c a s t i n g t e c h n o l o g i e s d o n o t h a v e . t h e r e f o r e f o r e c a s t i n g t h e e l e c t r i c p o w e r i s o n e o f t h e m o s t p o t e n t ia l a r e a s o f a n n . i n t h i s p a p e r , a n n ( a rt i f i c i a l n e u r a l n e t w o r k ) m e t h o d w a s a p p l i e d t o f o r e c a s t t h e e l e c t r i c l o a d . b a s e d o n t h e p a s t e x p e r i e n c e a n d t h e r e s e a r c h o f a n n, t h e mo d a l t h a t w a s a d a p t a b l e t o t h e e l e c t r ic l o a d f o re c a s t i n g , a n d t h e n e w p r o c e s s o f b a c k p r o p a g a t i o n l e a r n i n g a l g o r it h m w a s g i v e n . i n a d d i t i o n , d u e t o t h e a d v a n t a g e o f g e n e t ic a l g o r i t h m ( g a ) , g a a n d b p a r e c o m b i n e d f o r a g o o d f o r e c as t i n g . f in a l l y , t h e p r a c t i c a l a p p l i c a t io n o f e l e c t r i c p o w e r s y s t e m w a s g i v e n i n t h i s p a p e r i n t h e r e s u lt , t h e r a t i o n a l i t y a n d p r a c t i c a b i l i t y o f t h e e l e c t r i c p o w e r f o r e c a s t i n g m e t h o d o l o g y w e r e p r o v e d . k e y w o r d s : l o a d f o r e c a s t i n g , a n n , b p a l g o r i t h m g a 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果， 除了文中特别加以标注和致谢之处外， 论文中不包含其他人己经发表 或 撰 写 过 的 研 究 成 果 ， 也 不 包 含 为 获 得 2进目鱿色或 其 他 教 育 机 构 的 学 位 或 证 书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了 谢意. 学 位 论 文 作 者 s t : k 44签 字 ii m : ， 多 年 ， ” ” 学位论文版权使用授权书 本 学 位 论 文 作 者 完 全 了 解适进人生 有 关 保 留 、 使 用 学 位 论 文 的 规 定 。 特 授 权 达建叫叁 生 可 以 将 学 位 论 文 的 全 部 或 部 分 内 容 编 入 有 关 数 据 库 进 行 检 索， 并采用影印、 缩印或扫描等复制手段保存、 汇编以供查阅和借阅。 同意学校 向国家有关部门或机构送交论文的复印件和磁盘. ( 保密的学位论文在解密 后适用本 授权说明) 学 位 论 文 作 者 签 名 : 衣 8 导师签名: 签 字 日 期 : 2 4 0 3 年) 月;日 签字日期: - *4 7 10 0 ; 年 i 月 ;日 第一章绪论 第一章绪论 1 . 1电力负荷预测的特点及原理 负荷可指电 力需求量或者用电量， 而需求量是指能量的时间变化率，即功率 :， 。 也可以 说， 负 荷是 指发电 厂、 供电 地区或电网 在某一瞬间 所承担的 工作负荷。 对用户来,q ， 用电负荷是指连接在电网的用户所有用电设备在某一瞬间所消耗的 功率之和。 在充分考虑一些重要的系统运行特性、 增容决策、自 然条件与社会影响的条 件下， 研究或利用一套系统地处理过去与未来负荷的数学方法， 在满足一定精度 要求的意义下，确定未来某特定时刻的负荷数值， 称为负荷预测。 由于负荷预测是根据电力负荷的过去和现在推测它的未来数值，所以，负荷 预测工作所研究的对象是不肯定事件。 只有不肯定事件、 随机事件， 刁需要人们 采用适当的 预测技术， 预知负 荷的 发 展趋势 和可能 达到的状况【l 。 这就使负荷预 测具有以下明显的特点: 1 ，不准确性 因为电力负荷未来的发展是不肯定的，它要受到多种多样复杂因素的影 响， 而且各种影响因素也是发展变化的。 人们对于这些发展变化有些能够预 先估计， 有些却很难事先预见到， 加上一些临时情况发生变化的影响，因此 就决定了预测结果的不准确性或不完全准确性. 2 .条件性 各种负荷预测都是在一定条件下作出的。对于条件而言，又可分为必然 条件和假设条件两种，如果负荷员真正掌握了电力负荷的本质规律， 那么预 测条件就是必然条件，所作出的预测往往是比较可靠的。而在很多情况下， 由于负荷未来发展的不肯定性， 所以就需要一些假设条件。例如， 我们经常 说，如果天气一直不下雨的话， 排灌负荷将保持较高的数值等等。当然， 这 些假设条件不能毫无根据的凭空假设， 而应根据研究分析，综合各种情况而 得来。 给预测结果加以一定的前提条件， 更有利于用电部门使用预测结果。 3 、时间性 各种负荷预a a j 都有一定的时间范围， 因为负荷预测属于科学预测的范畴， 因此，要求有比较确切的数量概念，往往需要确切地指明预测的时间。 4、多方案性 第一章绪论 由 于预测的不准确性和条件性， 所以 有时 要对负 荷在各种情况下可能的 发展 状况进行预测， 就会得到各种条件下不同的负荷预测方案。 负荷预测工作是根据电力负荷的发展变化规律， 预计或判断其未来发展趋势 和状况的活动， 因此必须科学地总结出预测工作的基本原理， 用于指导负荷预测 1 作 3 1 、可知性原理 也就是说 ，预测对象的发展规律， 其未来的发展趋势和状况是可以为人 们所知道的。 客观世界是可以被认识的， 人们不但可以 认识它的过去和现在， 而且可以 通过总结它的过去和现在推测其未来。 这是人们进行预测活动的基 本依据。 2 、可能性原理 因为事物的发展变化是在内因和外因 共同作用下进行的。内因的变化及 外因作用力大小不同， 会使事物发展变化有多种可能性。 所以， 对某一具体 指标的预测，往往是按照其发展变化的多种可能性，进行多方案预测的。 3 .连续性原理 又称惯性原理， 是指预测对象的 发展是一个连续统一的过程， 其未来发 展是这个过程的继续。 它强调了预测对象总是从过去发展到现在，再从现在 发展到未来。 它认为事物发展变化过程中会将某些原有的特征保持下来，延 续下去。电力系统的发展变化同样存在着惯性， 如某些负荷指标会以原有的 趋势和变化率发展下去。 这种惯性正是我们进行负荷预测的主要依据。 因此， 了解事物的过去和现在，并掌握其变化规律， 就可以 对其未来的发展情况利 用连续性原理进行预测。 4 .相似性原理 尽管客观世界中各种事物的发展各不相同， 但一些事物发展之间还是存 在着相似之处， 人们就利用这种相似性进行预测。 在很多 情况下， 作为预测 对象的一个事物， 其现在的发展过程和发展状况可能与另一事物过去一定阶 段的发展过程和发展状况相类似， 人们就根据后一事物的己知发展过程和状 况， 来预测所预测对象的未来发展过程和状况，这就是相似性原理。 5 .反馈性原理 反馈就是利用输出返回到输入端，再调节输出结果。预测的反馈性原 理实际上是为了不断提高预测的准确性而进行的反馈调节。 人们在预测活动 实践中发现预测的结果和经过一段实践所得到的实际值存在着差距时， 可利 用这个差距，对远期预测位进行反馈调节，以提高预测的准确性。 在进行反 馈调节时，首先认真分析预测值和实际值之间的差距及产生差距的原因， 然 第一章绪论 后根据已 经查明的原因， 适当改变输人数据， 进行反馈， 调节预测结果。 反 馈性预测实质上就是将预测的 理论值与实际相结合， 在实践中 检验， 然后进 步修改、调整，使预测质量进一步提高。 6 .系统性原理 这个原理认为预测对象是一个完整的系统，它本身有内 在的 系统、它 与外界事物的联系又形成了它的外在系统。 这些系统综合成一个完整的总系 统考虑。即预测对象的未来发展是系统整体的动态发展，而且整个系统的动 态发展与它的各干组成部分和影响因素之间的相互作用和相互影响密切相 关。 系统性原理还强调是整体最佳， 只有系统整体最佳的预测， 才是高质量 的预测，才能为决策者提供最佳的预测方案。 1 .2人工神经网络的产生和发展 4 0 年代初，美国麦卡罗特 ( w. mc c u l l o c h )和皮兹 ( w. p i tt s )从信息处理的 角度，研究神经细胞行为的数学模型表达.提出了二值神经元模型。 mp 模型的 提出开始了 对神经网络的研究进程。1 9 4 9 年心理学家赫伯 ( h e b b ) 提出著名的 h e b b 学习 规则，即由 神经元之间结合强度的改变来实现神经学习的方法.虽然 h e b b 学习规则在人们研究神经网 络的 初期就已提出， 但是其基本思想至今在神 经网 络的 研究中 仍发挥着重要作用s l 5 0 年代末期， 罗森布拉特( f .r o s e n b l a tt ) 提出 感知器模型( p e r c e p t r o n ) ， 首 先 从工程角度出发， 研究了 用于信息处理的神经网络模型.这是一种学习 和自 组织 的心理学模型， 它基本符合神经生理学的原理。 感知机虽然比较简单， 却己 具有 神经网 络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。 这些神经网络的特性与当时流行串 行的、 离散的、 符号处理的电子计算机及其相 应的人工智能技术有本质上的不同，由 此引起许多研究者的兴趣，在6 0 代掀起 了 神经网络研究的第一次高潮。 但是， 当时人们对神经网络研究过于乐观， 认为 只要将这种神经元互连成一个网 络， 就可以 解决人脑思维的 模拟问 题， 然而， 后 来的研究结果却又使人们走到另一个极端上。 在6 0 年 代末， 美国 著名人工智能专家明 斯基 ( m i n s k y ) 和帕 伯特 ( p a p e rt ) 对罗森布拉特 ( r o s e n b l a tt )的工作进行了深人研究，出版了有较大影响的 感 知 器 ( p e r c e p t r o n ) 一 书. 指出 感 知 器的 功 能 和 处 理 能 力的 局限 性， 甚 至 连x o r ( 异 或 ) 这样的问 题也不能 解决，同时 也指出 如果在感知器中引 入隐含神经元， 增加 神经网络的层次， 可以提高神经网络的处理能力， 但是却无法给出相应的网络学 习 算法 15 1 。 因 此明 斯 基( m i n s k y ) 的 结 论 是 悲 观的 。 另 一 方 面，由 于6 0 年 代以 来集成电 路和微电 子技术日 新月异的发展，使得电子计算机的计算速度飞 速提 第一章绪论 高， 加上那时以功能模拟为目 标、 以知识信息处理为基础的知识工程等研究成果， 给人工智能从实验室走向实用带来了 希望， 这些技术进步给人们造成这样的认 识: 以为串行信息处理及以它为基础的传统人工智能技术的潜力是无穷的， 这就 暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。另外， 当时对大脑的计算原理、 对神经网 络计算的优点、 缺点、 可能性及其局限 性等还 很不清楚。总之，认识上的局限性使对神经网络的研究进入了低潮。 在这一低潮时期， 仍有一些学者扎扎实实地继续着神经网 络模型和学习算法 的基础理论研究， 提出了许多有意义的理论和方法。 其中， 主要有自 适应共振理 论，自 组织映射， 认知机网络模型理论， b s b模型等等，为神经网络的发展奠 定了理论基础。 进入8 0 年代， 首先是基于“ 知识库” 的专家系统的研究和运用，在许多方面 取得了 较大成功。 但在一段时间以 后， 实际情况表明专家系统并不像人们所希望 的那样高明， 特别是在处理视觉、 听觉、 形象思维、 联想记忆以 及运动控制等方 面， 传统的计算机和人工智能技术面临 着重重困 难。 模拟人脑的智能信息处理过 程， 如果仅靠串 行逻辑和符号处理等传统的 方法来解决复杂的问 题， 会产生计算 量的组合爆炸。 因此， 具有并行分布处理模式的 神经网络理论又重新受到人们的 重视。 对神经网 络的研究又开始复兴，掀起了 第二次研究高潮。 1 9 8 2 年， 美国 加 州理 工学院 物 理 学 家j . j . h o p f ie l d 提出了 一 种新的 神经网 络h n n 。 他引入了 能量函数” 的 概念， 使得网络稳定性研究有了明确的判据。 h n n的电 子电 路物理实现为神经计算机的 研究奠定了基础，并将其应用于目 前 电子计算机尚 难解决的计算复杂度为n p 完全型的问 题，例如著名的“ 巡回推销 员问 ” ( t s p ) , 取得很好的 效果。 从 事并行分布处理研究的学者， 于1 9 8 5 年对 h o p f i e l d 模型引 入随机机制， 提出了b o l tz m a n n 机。1 9 8 6 年r u m e l h a r t 等人在多 层神经网 络模型的 基础上， 提出了 多 层神经网 络模型的 反向 传播学习 算法( b p 算 法 ) ， 解决了 多 层前向 神经网 络的 学 习问 题， 证明了 多 层 神经网 络具 有很强 的 学 习能力，它可以完成许多学习任务， 解决许多实际问 题。 近十几年来， 许多具备不同 信息 处理能力的 神经网 络己 被提出 来并应用于许 多信息处理领域， 如模式识别、自 动控制、 信号处理、 决策辅助、 人工智能等方 面。 神经计算机的研究也为神经网 络的 理论研究提供了 许多有利条件， 各种神经 网络模拟软件包、 神经网络芯片以 及电 子神经计算机的出现， 体现了 神经网 络领 域的各项研究均取得了 长足进展。 同时， 相应的神经网络学术会议和神经网络学 术刊物的大量出现， 给神经网 络的 研究者们提供了 许多讨论交流的机会。 第一章绪论 1 . 3课题的提出及论文研究内 容 1 )课题的提出 . 随着社会主义市场经济体制的不断完善和电力工业的发展，电力供应已由紧 张趋于缓和， 电力作为商品， 引入市场竞争机制将是电力企业生存与发展的需要 和必然。 电力公司作为电 力销售市场的参与主体之一， 必须力争完成网供电 量、 负荷 预测和低谷电 量比等三大指标， 其中负荷预测的考核将按照在允许误差范围内以 基本电价购电， 超出允许误差范围电价按1 1 0 % - 2 0 0 %浮动的原则。 也就是说， 较准确的负荷预测就使得电 力公司可在电 力市场中以 较便宜的电 价购电。因此， 负荷预测将在电力的经营管理活动中发挥着不可缺少和不可替代的重要作用。 我们与辽宁省电力公司合作开发了电 力市场预测系统， 根据电 力负荷的特 点，结合实际工作进行中长期的预测研究。 国内已经有成型的电力负荷预测的软件，但是大多是基于传统的预测模型， 如回归模型、 趋势外推模型、 灰色系统模型，以及弹性系数法等， 在电力市场日 益发展的今天， 这些预测模型已经不能适应市场的快速发展， 而人工神经网络可 以模仿人脑的智能化处理， 对大量非结构性、 非精确性规律具有自 适应功能， 具 有信息记忆、自 主学习、 知识推理和优化计算的特点， 特别的， 其自 学习和自 适 应功能是常规算法和专家系统技术所不具备的。为此，本文主要对神经网络的 b p 算法进行了 改 进，与遗传算法 相结合， 使之能更好的 进行负 荷预测， 实践 证 明这是有效的，可行的。 2 )本论文的主要工作 深入分析了b p 算法的 优缺点， 并 针对b p 算法的缺点， 提出了 相应的措 施。 把b p 算法和遗传算法相结合， 形成遗传神经网络， 并根据辽宁省的实际 情况作了相应的调整。 根据预测需求，设计了数据预处理和专家干预的 模块，使人机能完美的 结合起来，更好的进行预测。 实现图表结合，能更有效的反映出 变化的规律。 第二章神经网络基本理论 第二章 神经网络基本理论 人工神经网络 ( a n n ) 是由 大量的神经元互连而成的网 络。 它是在现代神经 科学研究成果的基础上提出的， 反映了人脑功能的基本特性。 但它并不是人脑的 真实描写，只是它的某种抽象、简化与模拟。根据神经细胞的结构和功能，从 4 0 年代开始， 先后提出的神经元模型有几百种之多。 2 . 1 生物神经元 生物神经元是脑组织的基本单元，大约1 4 0 亿个，尽管在种类 ( 5 0 余种)、 大小形状上有差异，但是作为信息处理单元，其结构和功能上大体雷同。 2 . 1 . 1 神经元的结构 本体: 细胞体 ( 细胞膜、 质、 核)， 对输入信号进行处理，相当于c p u . 树突: 本体向 外伸出的分支，多根， 长l m m左右， 本体的输入端。 轴突: 本体向外伸出的最长的分支， 即神经纤维， 一根，长l c m -l m左右， 通过轴突上的神经末梢将信号传给其它神经元， 相当于本体的输出端. 突触: 各神经元之间轴突和树突之间的 接口， 即神经末梢与树突相接触的 交 界 面， 每个细胞体大约有1 0 3 -1 了个突触。 突触有兴奋型 和抑制型两种。 树突 细胞膜 来自其他细胞 树突的神经末梢 神经末梢 图2 - 1 神经元结构 第二章 神经网 络基本理论 2 . 1 . 2 膜电位与神经元的兴奋 膜电 位: 细胞膜将细胞分为内 外两部分， 当外部电 位为0 时， 称内部电位为 膜电位。 静止膜电位;当没有输入信号时的 膜电位成为静止膜电位， 通常为一 7 0 m v 左 右。 兴奋状态: 当外部有输入信号时， 将使膜电位发生变化， 倘若使膜电 位升高， 比 静止膜电位高1 5 m v以上，即超过一 5 5 m v( 闽值)， 神经元被激活，内部电 位 急剧上升至1 0 0 m v 左右， 并维持约l m s ， 然后急剧下降。相当 输出一个1 0 0 m v 高l m s 宽的脉冲，并沿轴突以1 0 0 m / s 的速度传至其它的神经元。 抑制状态: 当外部输入信号使膜电 位下降低于阐 值电 位时， 神经元处于抑制 状态，无脉冲输出。 “ 兴奋一抑制”状态满足 “ 0 -1 ” 律 a / d转换:电脉冲到达各突触接口后， 放出某种化学物质， 该物质作用于各 个和其相连的神经元的细胞膜， 并使其膜电 位发生变化， 完成了 将离散的脉冲信 号转换为连续变化的电位信号。 不 应期: 神经元输出一个脉冲后， 一 段时间内 对激励不响 应， 称之为不应期， 一 般为 几m s . 时间加算功能:对于不同时间通过同一突触传入的信号具有时间的加算功 育 gg o 空间加算功能:对于同一时间通过不同突触的输入信号具有空间加算功能。 2 . 2 人工神经元的形式化模型 自 从 1 9 4 3 元的数学模型 年，美国心理学家m c c u l l o c h 和数学家p i tt s 合作提出了形式神经 ，即m一 p 模型以 来，己 有几百 种神经元模型被提出。 2 .2 . 1 m一 p 模型 输入条件 输出 第二章 神经网 络基本理论 y=1 -一 乓 m艺j=1 y=0 ( 2 .2 . 1 ) e 材勺白月 y=0 nunu -一 凡 对宁白川 e j 0 y=0 m丫月 n 艺1 。 一 b h = .f 。 如图2 - 3 所示， 态转移函数有: 1 、阶跃函数 如图2 - 4 ( a ) 所示。 y 二 f 份 ) ( 1 a - 0 t v a_a 0 _口口 0 ( 2 . 3 . 5 ) 图 2 一 神经元状态转移 1口0 厂leseses、! 一一 间 f 一一 y 3 , s i g m o i d 函数 如图2 - 4 ( c )所示。 .f 6 _ , 1 _,. i+ e - ( 2 . 3 . 6 ) 4 、双曲 正切函 数 如图2 - 4 ( d )所示。 1 ， ， ( 。、 、 jl a l =-; l i 十i n l u l 口 。 ) ( 2 . 3 . 7 ) 2 .3 .3 神经网络分类及其拓扑结构 一、神经网络的分类 1 、 按照对生物神经系统的不同组织层次和抽象层次的模拟，可分为: ( 1 ) 神经元层次模型 研究工作主要集中 在单个神经元的动态特性和自 适应特性， 探索神经元对输 入信息选择的响应和某些基本存贮功能的 机理。 ( 2 ) 组合式模型 它由数种相互补充、 相互协作的神经元组成， 用于完成某些特定的任务。 如 模式识别、机器人控制等。 ( 3 )网络层次模型 它是由 许多相同神经元相互连接而成的网络， 从整体上研究网 络的集体特 性。 ( 4 )神经系统模型 第二章神经网络基本理论 一 般由 多个不同 性质的 神经网 络构成， 以 模拟生 物神 经的更复杂或更抽象的 性质。 ( 5 )智能型模型 这是最抽象的层次， 多以 语言形式模拟人脑信息处理的运行、 过程、 算法和 策略。这些模型试图模拟如感知、思维、问题求解等基本过程且与a i 相关。 2 、 按照网 络的结 构与学习 方式分c ( 1 )按照网络的性能分:连续型与离散型网络;确定型与随机型网络。 0学习 速率 系 数 要 求 :y 。 0 ,1 或 y 。 - 1 ,+ 1 h o p f i e l d 网 络使用修正的h e b b 规则: a w ij = ( 2 y , 一 1 x 2 y j 一 1 ) 要 求 : y 。 0 ,1 或y 。 - 1 ,+ 1 ( 2 . 4 . 2 ) 二、纠错规则 依据输出节点的外部反馈来改变权系，使实际输出与期望 输出相一致。 ( 有教师指导的学习) 2 ,感知器的学习规则 如果一个节点的输出正确，则连接权值不变。 如果输出本应为0 而为1 ， 则相应地减小权值。 如果输出本应为1 而为0 ， 则相应地增加权值。 3 、8 学习规则 网 络 中 神 经 元l 与 神 经 元 i 的 连 接 权 值 为叽， 则 对 权 值 的 修 正 为 : 叽= 118,y,. ( 2 .4 .3 ) 其中 : 17 为 学习 率; 8 ; 二 t , - y , 为i 的 偏 差， 即 i 的 实 际 输出 和教 师 信号 之 差。 s 学习规则仅用于单层网 络的学习规则， 如单层感知器的学习。 4 、 广义s 学习 规则 第二章 神经网 络基本理论 用于多层网络， 对于输出 层节点和相邻隐层节点的间的 权值修正用b 学习 规则， 对于其它层间的连接权值， 则使用广义s 学习 规则。 设i 为隐层节点， 其 偏差的计算为: (5 一 f (n e t 厄s k w k, ( 2 . 4 . 4 ) 叽= 17 8 , y , ( 2 . 4 . 5 ) 其中 : 氏为i 的 上 一 层 节 点k 的 偏 差 ， 叽为i 与k 间 的 连 接 权 值。 i 的 下 一 层 节点的偏差可以 用递归的方法得到。 5 , b o l t z m a n n 机学习规则 ( 模拟退火算法) 模拟退火算法是应用于神经网 络中一种重要的算法， 该算法能找到全局最 优解。1 9 5 3 年n m e r o p o l s 等人研究二维 相变提出 来的，1 9 8 3 年g . e .h i n t o n , t j . s ej n o w s k i 和d . h .a e k l e y 把这 种方法用于神经网 络， 提出了b o l t z m a n 。 机。 1 9 8 4 年s g e m a n 和d . g 。给出了 退火率 ( 温度随时间 变化率)为: t (t ) l t ( 0 ) o c i i i n t ， 其 中 t ( 0 ) 是 初 始 温 度 。 这 个 退 火 过 程 太 慢， 因 而 效 率 低 ， 难 于实用。1 9 8 5 年h a r o l d h s z u 提出了 一种快速模拟退火算法， 称为c a u c h y m a c h i n e ， 使 这 种 方 法 有了 实 际 应 用 的 可 能 性， 退 火 率 为 : t ( t ) l t ( o ) o c 1 i t a 6 , 梯度下降 算法 将数学上的最优化方法应用于a n n中， 权值的修正量正比于误差对加权的 一阶导数。 a e a w,=- r ! - a 择n ( 2 . 4 . 8 ) 其中，e 是描 述 误差的 误差 函 数，冲 是 学习 率。 三、无教师指导的学习规则 学习表现为 适应于输入空间的检测规则. 7 、竞争学习规则 在学习 过程中， 神经元均参与彼 此间的竞争活动， 具有最大输出的节点是获 胜者。 该获胜节点具有抑制其竞争者的能力和激活临 近节点的能力。 只有获胜节 点和其临近节点的权值允许被调整。 获胜节点的临近区域( 胜域) 在学习 过程中 逐渐变小。 设输入层有n d j = 艺 ( x , 个节点， 一 叽) 2 输出层m t任 m 个 节 点 ， d j 为 距 离 接 近 测 度 ， 则 : 1l ,z , . . ., n ) j c- (1 , 2 , . - -, m ) 。 5 .9 ) 胜 者可= m in ( d j ) j 。 1 ,z , - , a ( x , 一 叽) 0 j c n j e n , ( 2 s . 1 0 ) ( 2 . 5 . 1 1 ) - 叽 第二章神经网络基本理论 2 . 5 前馈神经网络 前馈神经网 络是目 前最为广泛的 神经网络模型。 前馈神经网络虽然没有明 确 的生物学原型， 但却有系统的数学理论基础， 它的多输入多输出的非线性特性和 强 有力的 学习 功能 使 其在系 统 辨识 与自 动 控制 领 域得 到了 广泛 应用2 2 1 。 根 据 输 入输出 特性的 不同， 前馈网 络具有多层感知 机 ( m l p ) 、 径向 基函数 r b f ) 网 络、函数链 ( f l )网络、小波 ( wa v e l e t )网络等多种类型。1 9 5 7 年，罗森布拉 特 ( r o s e n b l a tt ) 率 先提出 了 感 知 机 p e r c e p t r o n )， 这 是一 个具 有单 层计 算单 元 的 前馈神经网 络模型。 k o l m o g o r o v 定理为这种网 络的 进一步发展莫定了 数学基 础，但该定理只证明了网络的存在，并未给出实现这一映射关系的算法。1 9 7 4 年we b o s 在其博士论文中首次提出了前馈神经网络的反向传播算法， 即b p 算法. 之后，p a r k e r 对此作了进一步的研究。1 9 8 5 年， r u m e l h a r t 等人发展了b p 学习 理论， 运用多 层感知机与s i g m o i d 激活函 数实 现了 对多 输入多 输出非线性关系的 映 射。 b p 算法的 成功应用使得前馈神经网 络再 度成为 研究热点。 c y b e n k 。 和 h o m i k 分别证明了 仅含有一个隐含层的三层b p 网络可逼近任意复杂的非线性函 数关系， 这一理论使前馈神经网 络得到了 进一步的 推广应用， 并取得了一 些令人 满意的结果。 但是，己 有的 研究表明， 基于 梯度下降法的b p 算法存在着收敛速 度慢、 容易陷入局部极小点等缺陷。 另外， 前馈神经网 络的拓扑结构设计也一直 没有明确的理论指导，这些问题都在一定程度上限制了 前馈神经网络的实际应 用。 为此， 学术界开展了 广泛的研究， 提出了 许多 种改进学习 算法与拓扑结构设 计准则。 2 . 5 . 1 网 络结构及工作过程 前 馈 型 (f e e d f o r w a r d ty p e ) 神 经网 络 主 要 实 现 非 线 性映 射 功能 ， 还 具 有 推 广 与 概括能力， 即当输入模式不是学习样本时， 网 络也能给出 与该输入最接近的输入 样本对应的期望输出 3 0 1 一、学习样本 输入样本为:( x k， t k ) ， 其中k e ( 1 , 2 , . . ., n ) , n为学习 样本数， x k e r , t k e 尸, 二、工作过程 将学习 样本 ( x k , t k ) 送入输入层，输入层不做任何处理而以 全互联的方式 传给第一隐层， 第一隐层对输入信号经加权求和后， 依据转移函数进行处理， 其 输出又以 全互联的方式传给第二隐层，二，直至输出 层输出向量y k ， 其中，y ,y e 尸o 第二章神经网络基本理论 尸 i y 2 k 勺 甲陶甲wj呀wij x1 翔x 图 2 - 6前馈型神经网络结构 = ， ( w d 一 i ( 2二 ， 二i ( i w, y k 2 一 9 ) y 少 一 9 k ) x， 一b , ) j ，1 三、非线性单元常采用的转移函数 r - i - - x x 0 i ( 8 ) s i g m o i d 函数( b ) 双曲 je 图2 - 7常用的转移函数 ,1 ( x ) = 1 1 +e _ x i i + e x p ( 一 x ) ( q a x ) 1 ) 通常增加参数a 和 夕 来调整函数的斜率和使其左右平移， 1 ( x ) = i 1 + e x p ( - a ( x 一 b ) ) s i g m o i d 函 数为一单调递增连续函 数， 且处处可导， 其导数为: 1 4 第二章 神 经网 络基本理论 f ( x ) = f ( x ) ( 1 一 ax ) ) s i g m o i d 函 数 通过下 式能 够映 射到 ( - 1 , l ) 范围: =一1 1 +e x p( - x ) 一 合 ( 一 ， (x )(1 + f (x ) 双曲正切函数的表达式为: ax ) = t a n h ( x ) = 1 一e - i +e - ( - 1 方 ) 1 ) 通常增加参数a 和 e 来调整函数的斜率和使其左右平移， f ( x ) 二 1 一 e x p ( 一( x 一 e ) ) 1 + e x p ( - a ( x 一 b ) ) 2 .5 .2 误差函数与误差曲面 一、误差函数 误差函 数;e ( w ) = s ( f ( w x , t x ) ) . k = 1 . 2 . . . . .n , e 称为 误差( 测 度) 函 数。 即网络的实际输出向量y k 与教师信号向 量t k 的误差用误差函数来判别， 常采用 二乘误差函数加以 判别， 其中， n为输入样本的个数， m为输出向 量的维数。 1 (n ) 二 合 中 n1 ( 1 )r (yk2 n k., 一 tk )z = 艺 ( y 一 t ,) 2 ( 3 .2 .8 ) 二、映射 对于给定的一组数据 1 k , 句 ， ( k = 1 又 . ，均网 络一组 特定的 权值w实现一 定 精度的映射。 训练的目 的希望得到的权值能产生最小的误差和最好的精度。 把 从 戈) c r ” 到 乓) c r “ 的 映 射 记 为: f x k c r y k c r 三、误差曲面 误差曲面:若隐层与输出 层间的 权值数记为脚 n 2 ， 对于给定的训练样本 (x k t k ) ， 网 络 权 矢 量w ( j , 叭 ，. w -2 ) 通 过 误 差 函 数e ( w ) 所 计 算出 来的 的 映 射误差所描绘出来曲 面。 误差曲 面可 用伽 n 2 + 1 ) 维空间 来描述， 即 是m - n 2 + 1 空间的一个曲 面。不同的e ( f9 有不同 的 误差曲 面形 状。 第二章 神 经网 络基本理论 网 络 学习: 是 指 按照 某 种学习 规则 选取新的甲 ， 使得e ( w ) - e ( w ) ， 对 于 误 差曲 面上的点e ( w ) 总是向山 下 移 动， 最终 移 到 最深的 谷 底 ( 全局 最 小) 。 若 曲面有多个谷底，移动的过程可能陷入局部极小。 移动步长: 也称学习率， 步长小 移动轨迹较平滑， 漫， 易陷 入局部极小; 步 长大， 速度快， 可能跳过局部极小， 也可能跳过全局最小点， 也易产生振荡。 一 般情况下，开始时步长大，后期步长小。 梯度下降算法: 如果移动是在误差曲面最陡的方向 进行， 或梯度下降的方向， 这样下山的速度快，称做最速梯度下降法。 2 . 6本章小结 本章简要介绍了神经网络的一些基本理论， 从激活函数，互联模式，以及学 习规则等方面分析了 人工神经网络的机构和工作机理， 并重点介绍了前馈神经网 络的基本理论。 应该指出， 尽管前馈神经网络能够实现多输入和多输出的非线性 映射关系，但根据具体的工作需要，应对神经网络进行结构和算法上的改进。 第三章 应用于电 力负 荷预测的神经网络 及其改进模型 第三章 应用于电力负荷预测的 神经网络及其改进模型 3 . 1 b p算法 3 . 1 . 1 b p算法的基本过程 b p 算 法( b a c k -p r o p a g a t io n ) 也 叫 误 差 反向 传 播 算 法， 是 一 种 具 有 三 层 或 三 层以上的前馈型神经网络。b p 神经网络有一个输入层，一个或多个隐含层和一 个输出层。 上、 下层之间的各神经元实现全连接，即下层的每一个神经元与上层 的每个神经元都实现权连接， 而每层各个神经元无连接。 网络按有教师示教的方 式学习， 当一对学习模式提供给网 络后， 神经元的激活值， 从输入层经各中间层 向 输出 层传播， 在输出层的各个神经元获得网 络的输入响应。 在这之后， 按减小 希望输出与实际输出 误差的方向， 从输出 层经各个中间层逐层修正各连接权值， 最后回到输入层， 故得名“ 误差反向传播算法” 。 随着这种误差传播修正的不断 进 行 ， 网 络 对 输 入 模 式 响 应 的 正 确 率 也 不 断 上 升 1 14 ( 10 1 正是由于b p 算法中加入了隐 含层，才使输入到输出门可以映射任何函数关 系。 b p 网络的学习，由四 个过程组成，输入模式由 输入层经中间层向 输出层方 向“ 模式顺序传播”， 网络的希望输出与网络实际输出之差的误差信号， 由输出 层经中间层向输入层逐层进行修正连接权的“ 误差逆序传播”， 由“ 模式顺序传 播”与 “ 误差逆序传播”的反复交替进行的网络 “ 学习记忆”训练过程， 使网络 趋向收敛， 即全局误差趋向极小值的“ 学习收敛” 过程， 直至实际输出值与希望 输出 值较 好吻 合 为 止7 1 18 1 b p网络如图3 - 1 所示 r.11.lesleses一! 图3 - 1 第三章 应用于电 力负荷预测的神经网络及其改进模型 下面分别介绍和分析b p网络的四个过程。 1 )模式顺序传播 模式顺序传播过程是由 输入模式提供给网络的输入层开始的。 输入层各个单 元对应于输入模式向量的各个元素。 中 间 层 各单元的 激 励函 数 通常 用s i g m o i d 函 数。 之 所以 选择s i g m o i d 函 数， 从生物学的角度来看， 一个人对远低于或高于他智力和知识水平的问题， 很难产 生 强烈的 思 维反映; 从 数学 角 度看， s i g m o i d 函 数 具 有 可 微分性， 且 具 有饱 和非 线性特性， 增强了网络非线性映射能力。 阀值起到了调节神经元兴奋水平的作用。 中间层把输入层各单元的输出加权和作为输入传递给中间层激励函数， 其输 出 加权和再作为输出 层的 输入， 经过输出 层的 激励函 数的 转换， 作为 本次 模式的 输入结果 至此，一个输入模式完成了一遍顺序传播过程. 2 )误差反向 传播 如果输出结果没有达到预期效果， 则根据实际结果和预期结果之间的误差量 修改中间层到输出层的权值， 并把这个误差量向中间层传递， 由 此可以 修改输入 层到中间层之间的权值， 从而使实际结果一步一步接近预期结果， 直至达到期望 精度。 3 )训练过程 所谓训练过程， 是指反复学习的过程， 也就是根据教师示教的希望输出与网 络实际输出的误差调整连接权值的过程。 随 着“ 模式顺序传播” 与“ 误差反向 传 播” 过程的反复交替进行，网络的实际输出逐渐向 各自 所对应的希望输出 逼近。 4 )收敛过程 网络的学习 ( 训练) 的收敛过程就是网 络的全局误差趋于极小值的过程。 一 般全局误差式有下面两种，即平均平方误差和误差平方和: : = 告 l . yikk=1 j.1 一 j)2 式 中 m为 样 本 模 式 对 的 个 数 ， q 为 输 出 单 元 数 ， 珍为 希 望 输 出 ， y 、 为 网 络 输出。 第三章 应用于电力负荷预测的神经网络及其改进模型 3 . 1 .2 b p 网 络的学习 规则一梯度下降算法 设有n个学习样本( x k , t o , k = ( 1 , 2 , . . . ,n ) ， 对于某个x k 网络输出 为y k ，节 点i 的 输出 为y ik , i 和.i 的 连 接权值 为w ii ， 节点j 的 输入 加权和为: n e t, 一 艺 w y y x ( 3 . 1 . 1 ) 权值的 修正量取误差函 数e ( w ) 对w的负 梯度，即: w( t + 1 ) = w( t ) + a w( t ) a w ( t ) = - 7 t a e ( w) a ( w) 误差函数使用二乘误差函数: 一 合 n ( tk.1 一 yk )2 ( 3 . 1 . 2 ) e k 定 义 :j i ll = (t . y x ) z = 1 (t jx 一 y il ) ， 一 iit jx 一 y jk iiz = a e k ( 3 . 1 . 3 ) o ik = a ( n e t ) f ( n e t , k ) ( 3 . 1 .4 ) ( 3