（电力系统及其自动化专业论文）基于神经网络的自适应继电保护的研究.pdf

a b s t r a c t t h i sp a p e rd e s c r i b e san e wm e t h o do ft h ea p p l i c a t i o no fa n n i nt h ea d a p t i v er e l a y p r o t e c t i o n i tm e a n s t h a ts o m ep r o b l e m se x i s t i n gi nt h ep o w e rs y s t e m ，i ef a u l t sa n a l y s i s ， d i r e c t i o nd i s t i n c t i o nc o u l db es o l v e db yu s i n gs t r o n ga d a p t i v ea b i l i t ya n ds t u d y i n ga b i l i t y o fa n n t h i sp r o t e c t i o ni n c l u d e st w oi n d e p e n d e n ts u b n e t st of i n i s ht h e i rf u n c t i o n si n p a r a l l e lw a y a n dh a sa na d v a n t a g et h a tt h er e l a ys e t t i n gv a l u e sa r ed e t e r m i n e da c c o r d i n gt o c u r r e n t o p e r a t i o nc o n d i t i o no fp o w e rs y s t e ma n df a u l tt y p e i t c a nk e e pt h ep r o t e c t i o n c h a r a c t e r i s t i c s o p t i m a l i no r d e rt o d e a lw i t ho s c i l l a t i o na n df a u l tr e s i s t a n c e ，t h ep a p e r p r e s e n t s an e wm e t h o do fa d a p t i v ed i s t a n c e r e l a yp r o t e c t i o n b a s e dt h ea b o v er e l a y p r o t e c t i o n w em a d es i m u l a t e dc a l c u l a t i o no n h i g hv o l t a g et r a n s m i s s i o ns y s t e m a n dt r a i n e d t h en e t sf i n a l l y , t h er e s u l ts h o wt h a tt h i sm e t h o di sa b s o l u t er e l i a b l eu s i n gi nt h ep r o t e c t i o n 0 ip o w e r s y s t e m k e yw o r d s a d a p t i v er e l a y ；d i s t a n c er e l a y ；c u r r e n tr e l a y ；a r t i f i c i a ln e u r a ln e t w o r k b p a l g o r i t h m s 1 绪论 随前f i 会的迅速发展，一方面社会! 【：产和人们，1 洒剥电力系统供 1 赝, 5 i ：f 1 1 呵靠性 的要求越来越高，为了保证系统安全、稳定和经济运行，必须提高继电保护系统的工 作住填。另一方面我国电力工业在这几十年来迅猛发展，电力系统规模迅速扩大，电 压等级不断提高，建立了东北、西北、华北、华东、华中、华南等大区电力网络，并 且网络之间也出现了互联( 如华中、华东之间5 0 0 k v 直流输电线路) ，以后令国所 有的电力州络将互联成一个大系统，同时输电线路的电压等级还将提高到7 5 0 k v ， 因s t l x , j + 继电保护的要求越来越严格。 面对如此错综复杂的电力网络和很高的供电质量要求，基于传统原理的继电保护 系统【二! _ 经不能满足要求，因此迫切需要进一步研究继电保护原理，提出新的继电保护 方法来满足发展的电力系统的要求。 1 1 选题背景和意义 1 1 1 继电保护的作用【2 1 i 电力系统在运行中，可能发生各种故障和不正常运行状态，最常见同时也是最危 险的故障是发生各种形式的短路。在发生短路时可能产生以下的后果： ( 1 ) 通过故障点的很大的短路电流和所燃起的电弧，使故障元件损坏； ( 2 ) 短路电流通过非故障元件，由于发热和电动机的作用，引起它们的损坏或 缩短它们的使用寿命； ( 3 )电力系统中部分地区的电压大大降低，破坏用户工作的稳定性或影响工厂 产品质量； ( 4 ) 破坏电力系统并列运行的稳定性，引起系统振荡，甚至使整个系统瓦解。 电力系统中电气元件的正常工作遭到破坏，但没有发生故障，这种情况属于不正 常运行状态。例如，因负荷超过电气设备的额定值而引起的电流升高，就是一种最常 见的不正常运行状态。由于过负荷，使元件载流部分和绝缘材料的温度不断升高，加 速绝缘的老化和损坏，就可能发展成故障。此外，系统中出现功率缺额而引起的频率 降低，发电机突然甩负荷而产生的过电压，以及电力系统发生振荡等，都属于不正常 运仃状态。 ，设障科i 不萨常运行状态，都可能在电力系统中引起事故，并造成对用户少送电或 f u 能顾壕变坏到不能容许的地步，甚至造成人身伤i 三和电气设备的损坏。 代f u j 系统h 除应采取各项积极措施消除或减少发生故障的可能，陀以外，故障 型! ! 笙兰苎! 尘! ：! ! ! ! 丝型竺塑! 堕! ! ：坐! ! 堡丝坚! ! ：! 爿发生。必须迅速而有选择性地切除故障元件，这是保证电力系统安令运行的最有 效方法之一。切除故障的时间常常要求d 、到十分之几甚至卣分之几秒，实践证明只有 装设存每个电气元件上的保护装置才能满足这个要求。它既能自动、迅速、有选择性 地将故障元件从电力系统中切除，使故障元件免于继续遭到破坏，保证其它无故障部 分迅速恢复正常运行；又能反应电气元件的不正常运行状态，并根据运行维护的条件， 而动作于发出信号、减负荷或跳闸。 由此可以看出，继电保护在电力系统中占有极其重要的地位，它的性能如何关系 到电力系统中的传输容量和电力系统安全运行的可靠性及灵活性。电力系统继电保护 原理和技术发展是整个电力系统发展的重要组成部分，只有不断地提高继电保护系统 的性能，才能提高电力系统的性能。因此对电力系统继电保护技术的进一步研究，对 适应不断发展的电力系统的需求和促进电力系统的发展具有极其重要的意义。 1 1 2 继电保护技术的发展及研究的意义 数十年来，继电保护技术总是在适应电力系统发展的需求和运用相关学科中的新 理论、新技术、新器件的条件下不断取得进步的。5 0 年代以前，继电保护都是采用 机电式保护装置，其技术经过近3 0 余年，经历了重大的改进，积累了丰富的运行经 验，工作比较可靠，因而目前仍是电力系统中应用很广的保护装置。但这种保护装置 体积大。消耗功率大，动作速度慢，机械转动部分和触点容易磨损或粘连，调试维护 比较复杂，不能满足超高压、大容量电力系统的要求。 本世纪5 0 年代，由于半导体晶体管的发展，开始出现了晶体管式继电保护装置。 这种保护装置体积小，功率消耗小，动作速度快，但晶体管保护装置易受电力系统中 或外界的电磁干扰的影响而误动或损坏。 在6 0 年代末，有人提出用小型计算机实现继电保护的设想，因当时小型计算机 价格昂贵，难以在应用上采用。但由此开始了对继电保护计算机算法的大量研究，为 后来微型计算机继电保护旺2 。2 3 1 ( 微机保护) 的发展奠定了理论基础。随着微处理器 技术的迅速发展及其价格急剧下降，1 0 余年来，微机保护得到了飞速发展，它所具 有的极强的记忆能力及可实时跟踪、计算运行方式的变化等一系列优点使继电保护装 置在性能上、可靠性和方便性都超过了传统保护，受到了用户的欢迎和信赖，与半导 体集成电路式的保护装置相比，微机保护的优越性已无可置疑了。 尽管目前微机保护已取得了如此迅猛地发展，大有全面取代传统保护的趋势，然 而仍应冷静地看到，在微机保护装置中，计算机潜在的智能作用还有待进一步发挥。 虽然“算机保护具有高速运算和逻辑判断能力、强大的记忆能力以及其固有的可编程 特点t 可是如何更充分地在继电保护技术中发挥其智能作用，仍然是当前一个有待深 入明究的重要领域，而自适应继电保护汜4 1 是其中一个充满希望的研究方向。 随着汁算机保护的发展，自适应保护的研究己丌展多年，取得了令人注目的丰坝 坝i 论史 成果嚏“，但足仍处仡初级阶段，1 jr 艾翰：生产的自适应保护装冒吏是寥若晨挝，测 此，大力丌展自适应继电保护的研究有着重要的理论和现实意义。 为什么要研究和丁r 发自适应继电保护? 这是一个首先应该明确的问题。在这个问 题上，目前仍然存在一些不同地看法。例如有人认为继电保护本身就是自适应的；还 有人认为，现在的继电保护装置，尤其是微机保护装置已经基本上能满足实用要求， 没有必要再提出或进一步研究自适应继电保护。不难看出，上述观点是不证确的。 应该说明，研究自适应继电保护的首要任务是解决现有的继电保护中存在的问 题，而其最终目标则是使继电保护更趋于完美。从1 9 8 4 年原华北电力学院推出第一 套微机距离保护装置以来，国内各高校、科研、生产单位已陆续研制和生产出适用于 线路和元件的各种微机保护装置，它们已完全有能力取代传统的模拟式保护装置，从 而使我国的微机保护进入当前国际先进行列，但不能忽视目前微机保护存在的问题。 不少微机保护装置的原理和性能基本上与传统保护一样，只是传统保护的翻版，传统 保护中有些存在的问题，在微机保护依然存在，并未得到改进或解决。所以出现这种 情况，其原因之一是对微机的智能作用认识不足或没有找到有效的方法进一步发挥其 智能作用：其次是受长期形成的模拟式保护思维方式的束缚。为了使我国的微机保护 进一步提高智能化的水平，取得突破性的进展，自适应保护是一条正确有效的途径。 因此为了紧紧跟踪国际先进水平，促进先进原理和技术在电力系统继电保护的实 际应用，同时对一些有关疑难问题进行探索，本文计算和收集了一些继电保护故障方 面的数据，对自适应继电保护这一问题进行了深入的研究，取得了较满意的成果。 1 2 自适应继电保护的基本概念及其发展的条件 自适应继电保护是在本世纪8 0 年代提出的一个较新的研究课题。自适应继电保 护可以定义为能根据电力系统运行方式和故障状态的变化而实时改变保护性能、特性 或定值的保护。这种新型保护的出现引起了人们的极大关注和兴趣。 自适应继电保护的基本思想口4 j 是使保护能尽可能地适应电力系统的各种变化，进 一步改善线路和各种用户组成，其运行状态( 其中包括用户负荷的变化，设备的投切、 发电机的出力变化等) 处于频繁的变化之中，除上述正常运行情况外，电力系统中还 可能发生各种类型的故障，故障可能是瞬时性或永久性的，故障又可能是会属性短路 也可能是经过渡电阻短路等。因此要适应电力系统的变化，的确是一项十分困难的任 务。 事实上，传统的继电保护也力图适应系统运行方式的变化和故障状态。例如电流 速断保护的整定值，是按系统最大运行方式f ，线路末端发生三相短路考虑，过电流 保护是按线路的最火负荷电流考虑。这种按最，r 重的条件确定保护定值的方法，能保 矸_ f j r i - f l 可能的l f ：常和故障条件下，保护都小会错误地切除被保护的线路，f _ i 却仃亿以 h 柏点缺，r i ：一是按j 一述方法设定的定值，在其它运行方式下( 其中包括系统的i ：要 坝 沦义 运 i 方式) 小是最佳的。一是在最小运行方式或最不利的短路条件下，保护失效或性 能严重变差。同时应该指出的是，在传统保护中也有许多自适应性能，例如过电流保 护的反日n j 限特性，差动保护中的制动特性，在距离保护中考虑了防止系统振荡误动的 方法等。由此可见，自适应保护并不是一个新提出的概念，它早已存在于传统继电保 护之中。目前计算机在电力系统保护和控制中的应用，以及相关技术的发展，更为自 适应继电保护的发展，提供了前所未有的良机。 电力系统继电保护实质上属于电力系统自动控制的范畴，它的作用是切除发生故 障的设备以保证电力系统的正常运行，同时也包括自动重合闸。当我们考虑自适应保 护时，就必须进一步计及电力系统运行状态和故障过程的变化，从这一点看来，自适 应保护实质上是一个具有反馈的控制系统。在自适应继电保护中系统运行状态和故障 过程变化的信息，可以就地获得或利用各种通信方式从调度或相邻变电站得到。电力 系统调度自动化和变电站的综合自动化以及微机的智能作用，为获得更多的有用信 息，并加以实时处理提供了有利条件。就地获取信息简单易行，应首先予以考虑。利 用通信方式由远端获取信息比较复杂，对快速传送数据信息的要求也较高，但如能显 著改进保护性能，且通道能满足要求，用这种方式实现自适应保护也是合理的。 下面就自适应继电保护发展的可能性因素分析一下。 1 2 1 微机式继电保护技术的进步心2 2 4 1 微机保护技术的进步是自适应继电保护发展的基础，脱离计算机的应用，自适应 继电保护也不过是纸空文。为了适应电力系统运行情况和故障条件的变化。自适应 保护有必要获得更多的信息，并对它们进行分析处理，这就是要求微机保护的硬件具 有更快的运算速度和更强的记忆能力。近年来，国内微机保护硬件系统还在不断更新 和改进，白适应继电保护研究工作的进一步深入，必将对微机保护硬件系统提出新的 要求，一个满足自适应继电保护要求的硬件系统是其发展的必要条件。 长期以来，计算机保护的大量研究成果以及与计算机保护技术密切相关的其它科 技领域中的新技术和新概念，例如自适应控制理论、神经网络和模糊控制以及小波变 换理论和全球定位系统( g p s ) 的应用，都将促进自适应继电保护进一步发展。 1 2 2 电网调度自动化技术的发展 电网调度自动化技术在6 0 年代丌始由模拟式转向数字式，这种转变有着划时代 的意义。在7 0 年代中期由s c a d a 、a g c 和网络分析汇集成为能量管理系统( e m s ) ， 8 0 年代中期又借鉴e m s 技术，由s c a d a 、网络分析和负荷控制汇集成配电管理系 统( d m s ) 。 近年术，为适应电力工业的发展和电网运行的需要，在“八五”期间我国已卓有 成效地理i 5 2 发展了电力专用通信网和电网调度自动化系统。特别值得提出的是电网涧 度自动化系统在实用化上取得了重大进展【2 5 。2 9 l ，现在我陶9 0 以上的电网运行实l | 寸 坝i 论盘 信息得到有效和准确的采集，厂站基础自动化发备可靠性和管理水、f 大大提高，其提 供的准确而有效的实时信息已成为调度员进行电网安全、优质、经济调度的主要依据， 对电网调度j g a - j ：管理起到不可替代的作用，同时也为自适应继电保护提供所需的信息 创造了条件。 1 2 3 电力系统自动化技术发展的需要 继电保护技术是电力系统自动化技术的一个分支，随着电力系统自动化中电网调 度自动化系统的建设和实用化，采用变电站综合自动化技术和实现无人值班运行方式 如雨后春笋般地发展起来。这种现实一方面对继电保护技术的发展是一种新的机遇， 另一方面也是- , o o j j j t 战。这将为自适应继电保护的发展提供机会。 1 3 基于人工神经网络n 2 1 射的自适应继电保护技术发展概述 早在1 9 4 3 年由心理学家w a r r e nm c c u l l o c h 和数学家w a l t hhp i t t s 提出的神经元 数学模型，曾经冷落了一段时间，8 0 年代又迅猛兴起。近年来，人工神经网络( a r t i f i c i a l n e u r a ln e t w o r k ，简称a n n ) 逐渐得到电力系统研究人员的高度重视和广泛研究。a n n 是由众多的神经元( n e u r a l ) 广泛互连而成的网络。在信号处理机制上，它与传统的 数字计算机有着根本的不同，它具有大规模并行处理、连续时间动力学和网络全局作 用等特点，信息的存储体现在神经元之间的连接权上，存储区与操作区合二为一。 a n n 具有高度神经计算能力以及极强的自适应性、鲁棒性和容错性。利用a n n 的高 度并行运算能力，可以实时实现难以用常规保护实现的最优算法：利用a n n 的高度 并行处理和近似推理，可以实现对电力系统运行方式和故障类型的准确诊断和识别； 利用a n n 的高度容错能力，可使继电保护具有更高的可靠性。更重要的是，利用 a n n 的自适应和自学习能力，能使继电保护和故障诊断具有更强的自适应能力。因 此将a n n 引入继电保护和故障诊断，是实现自适应继电保护和故障珍断地一条有效 的新途径，引起了人们的极大关注和兴趣，a n n 在电力系统继电保护中的应用已经取 得了一些成果”。1 “1 ，但总的来讲仍然是初步的。 1 3 1 a n n 在故障识别中的应用 在电力系统配电网的保护中，高阻故障一直是个难题。随着电力系统的发展， 长线路、重负荷、移动冲击性负荷( 如电气化铁路) 等不断增加，高阻保护问题越来 越突出和重要。文 1 】提出了一种利用a n n 来进行这种故障分类的方法。文中采用 b p 网路模型，故障分类所需的数据，经一个前置处理器处理后，送给神经网络进行 故障分类。在该方法中，前置处理器和神经网络是两个不可分割的组成部分。网络训 练的样本为e m t p 模拟产生的变电站l f ! 常和异常时的兰相电流波形，经前霄处理器 刈输入信l j 进行特征提取后，送给a n n 进行故障分类。仿真结果表明，这种方法比 常胤保护更仃效。 f hj ：文1 】需要对输入信号进行大量的订算，以提取信号特征，因此其前胃处理 f 吐ll _ ：史 器的计算量较大。文 2 对此进行了改进，提出了采用全互连的3 层b p 姗络来进行高 阻电弧故障的探测。网络用于对电弧故障电流、“类似故障”的负荷电流和正常的负 荷电流进行分类。仿真表明，这种基于a n n 的故障探测器，可以识别有电弧噪声干 扰的高阻故障，也可识别“类似故障”的负荷情况。进步的工作是进行在线测试以 证明算法的可靠性。 文f 3 】也研究了文 1 】、 2 】类似的高阻故障问题，但范围更广泛。文中对高阻故障、 电容量投切、变压器分接头改变以及负荷投切引起的暂态过程的区别和特征量的选取 问题进行了详细的讨论，并对b p 模型、k o h o n e n 模型以及a r t 2 模型识别的结果进 行了比较，研究表明b p 网络的性能最好。 文 4 】提出了一种利用a n n 进行故障分类识别的方法。其a n n 采用3 层b p 模 型。网络输入层为7 个神经元，中间层1 5 个，输出1 个。网络输入包括电路i d 、天 气、季节、日期、时间、影响的相数以及保护设备等输入信号，输入值采用了模糊条 件概率。这种方法的优点是使a n n 网络简化且更有效。 文 5 采用b p 神经网络，通过提取断路器运行参数的特性，用b p 网络来判别暂 时故障和永久故障，以对自动重合闸进行自适应控制。文中给出了特征提取得方法和 网络的结构。文献只对两种单相接地故障进行了研究，在模拟和识别其它各种永久性 和暂时性故障方面，还有待进一步研究。 文 6 提出了采用a n n 模式识别的保护装置设想。该方法将a n n 与专家系统结 合在一起构成神经网络专家系统。装置可直接取系统模拟量，经模拟式特征变换后输 入给a n n ，再根据以前学习过的样本对数据推理、分析、输出，专家系统对运行过 程控制或训练，按最优化方式收集或由分析过程再收集控制，对输出结果进行评价， 判断其正确性、一致性，并作出最终判决。 1 3 2a n n 在定值调整中的应用 用a n n 来实现继电保护定值得自适应调整，是一个较新的课题，但由于它的优 越性已越来越受到关注。 文【7 提出了利用神经网络进行双回路距离保护的定值调整的新方法。双回路距 离保护的定值调整问题，一直困扰着继电保护研究人员。文献提出的新方法是在阻抗 整定值z 。e t 中引进一个补偿平行线互感的校正因子az ，因az 与系统状态成非线性关 系，用常规方法难以估算oz 。因此该文采用一个b p 神经网络，通过给网络输入正 序母线电压、正序线电流、潮流、平行线运行方式等参量来在线估算oz ，从而自适 应实时凋整z 。 l 、3 、3a n n 在故障方向判别中的应用 a n n 用于电力系统故障方向判别是另一个新的尝试，发表的文献还不多见。文 f 8 】提 i 了一种基 二多层前馈神经网络( m f n n ) 实现的输电线保护方向鉴别器。a n n 竺! l 堡兰 兰! 垒! 塑丝f 竺塑塑! 堕生坐。! 堡丝 ! ! 丛型一 采辟13 层b p 模型，训练样本山e m t d c 模拟产生。该鉴别器采用t m 3 2 0 c 3 0 数据信 号处理器，利用线电压和线电流的瞬时值来作出判断。文献给出了网络的设计及测试 结果，经e m l 、d c 和现场故障录波数据测试表明，该鉴别器有一定成效。 l 、3 、4a n n 在故障诊断中的应用 a n n 在故障诊断总的应用，主要集中在两个方面：一是电力系统的故障诊断， 另一个是电力变压器的故障诊断。文 9 介绍了一种利用a n n 迸行电力变压器故障诊 断地方法。a n n 采用3 层b p 网络，其输入采用电力变压器油气分析法所得的参数 数据，输出为油过热、电晕放电、电弧等3 种故障和正常状态共4 个输出量。文中对 网络在不同特征向量输入情况下的收敛性和不同网络结构的收敛特性进行了分析。经 过仿真表明，a n n 应用于变压器故障诊断是一个很有效的方法。进一步的研究还应 包括对变压器的故障部位进行确定。 文 1 0 ，11 也提出了使用油气分析数据，用a n n 实现的变压器故障诊断方法， 其方法与文【9 】中的方法类似。 a n n 在继电保护中的应用研究才刚刚开始，虽然在某些方面完成了不少出色的 工作，但也存在一些问题，如自适应优化算法方面如何利用a n n 来实现比常规的优 化算法获得更快的运算速度和更好的性能及利用a n n 去实现一些以往难以实现的新 算法：再如保护定值及动作特性的自适应调整方面如何运用a n n 的自学习和自适应 能力，根据系统不同的运行状况自适应调整各种运行参数下的保护定值和保护的动作 特性等问题都需要研究人员对神经网络理论作更深入的理解，以从不同的角度去研 究、探讨。同时，算法的研究、特征样本变量的选取的研究对于加快运算速度、提高 判断的可靠性以及对于保证网络似的分类能力、网络所谓推广能力、网络的容错能力 等方面还有许多工作要做。 1 , 4 本文的工作 目自i 有关神经网络自适应继电保护的研究还缺乏理论和方法上的系统研究，存在 的一些问题已在上面简要地介绍了，为此本文的主要工作包括： 1 ) 首先介绍了多层前馈神经网络，并从各个方面对b p 算法进行了分析，内容 如下： ( 1 ) 对b p 学习算法进行了简要的描述，介绍其具有的优点，并对算法中的激 活函数进行了研究，指出其对算法的影响。 ( 2 ) 针对b p 算法中存在的缺陷，本文分别针对性地提出一些改进方法来改善 嘲络f 1 能，其方法如下： 采用在每个加权调节量上加上。项矿比例于前项加权变化量的动量项和 自适应调整学习步长两种方法，加快网络的训练速度和抑制迭代过程的振 荡。 坝 论文 j i ：j i 人丁神经网络的白适府琳l u 保护的叫l 究 采用相对量形式的误差函数的方法，来克服在一些平坦区误差改变很小的 学习缺点。 对于初始权值的选择困难的问题，运用误差曲面理论上分析了初始权值对 网络收敛的影响及影响的过程，采用逐步搜索法来搜索合适的初始值。 对于隐含层数和隐含层节点数的确定，根据前人的理论采用一个隐含层； 对于隐含层节点数的选择，采用通过实验方法来确定。 为了解决一般激活函数收敛慢的问题，加快收敛速度，本文分析研究了两 种新的激活函数，发现这两种激活函数对改进训练性能有一定的帮助，使 用效果较好。 2 ) 根据电力系统故障的特点，分析电流保护的保护范围与故障类型、系统的最 小综合阻抗、故障时的系统综合阻抗等的关系，提出一种利用人工神经网络实现实时 适应系统运行状况的自适应电流保护。 3 ) 由于上述自适应电流保护没有考虑系统振荡和过渡电阻因素，不可避免地要 受到系统振荡和过渡电阻的影响，为了完善保护系统，着重分析了系统振荡和过渡电 阻出现的特点，并运用人工神经网络所具有的自适应能力、学习能力和模式识别能力， 提出了一种实现自适应距离保护的神经网络模型，这个网络由四个子网络组成：振荡 识别子网络、故障检测子网络、方向判别子网络和故障范围判别子网络，分别解决保 护中的振荡识别、对电力系统中的各种故障情况的识别、方向判别和着重考虑过渡电 阻的对区内外故障的进一步判别，这样不仅使保护具有自适应电流保护的优点，还能 在有系统振荡和过渡电阻的影响时也可以快速准确地作出判别。 坝l 论文基干人丁神经州络的 适应继e u 保护的训究 2 误差反向传播( b p ) 神经网络模型及其算法改进 近十年来，神经网络的理论研究和应用迅速发展，出现了许多十分有用的神经网 络模型和算法，而新的还在不断涌出，在这许多模型及算法中，使用反向传播学习算 法( 即b p 算法) 的多层前馈神经网络“( 即b p 网络) 可以说是最著名也是最活跃 的模型之一。 从结构上来讲，b p 网络是典型的多层网络。分为输入层、隐含层和输出层，层 与层之间采用全互联方式，同一层单元之间不存在相互连接。图2 1 给出了b p 网络 模型结构，与多层感知器结构相比，两者是类似的，但差异也是显著的。首先，多层 感知器结构中只有一层权值是可调的，其它各层权值是固定的、不可学习的；b p 网 络的每一层连接权值都可通过学习来调节。其次，感知器结构中的处理单元为线性输 入一输出关系，单元状态为二进制的0 或1 ；而b p 网络的基本处理单元( 输入层单 元除外) 为非线性输入一输出关 系，一般选用s 型作用函数 f ( x ) = 七，处理单元的输 j + 已 入、输出值可连续变化。 b p 模型实现了多层网络学 习的设想。当给定网络的一个输 入模式时，它由输入层单元传到 隐含层单元，经隐单元逐层处理 后再送到输出层单元，由输出层 单元处理后产生一个输出模式， 这是一个逐层状态更新过程，称 为前向传播。如果输出响应与期 望输出模式有误差，不满足要 求，那么就转入误差后向传播， 将误差值沿连接通路逐层传送 并修正各层连接权值。对于给定 图2 1b p 网络模型 输出层 隐含层1 隐含层2 输入层 的。一组训练模式，不断用一个个训练模式训练网络，重复前向和误差后向传播过程， 仉各个训练模式都满足要求时，我们就说b p 网络已学习好了。应该强调一点，从网 络学习的角度来看，刚络状态前向更新及误差信号后向传播过程巾，信息的传播是双 坝i 论史基十人1 7 神经m 络的自适应继1 u 保护的研究 向的，但是这并不意味着网络层与层之间的连接也是双向的，b p 网络是一种前向网 络。 2 1 b p 算法数学描述n 3 1 b p 网络算法是在导师指导下，适合于多层神经元网络的一种学习，它是建立在 梯度下降法的基础上的。 设含有l 层和n 个节点的一个任意网络，每层单元只接受前一层的输出信息并输 出给下一层单元，各节点( 有时称单元) 的特性为s i g m o i d 型( 它是连续可微的，不 同于感知器中的线性阀值函数，因为它是不连续的) 。为简单起见，认为网络只有一 个输出y 。设给定n 个样本( 札，y 。) ( 扫1 ，2 ，) ，任一个结点i 的输出为d j ， 对某一个输入为x k ，网络的输出为y k ，结点i 的输出为0 腑，现在研究第，层的第，个 单元，当输入第k 个样本时，结点，的输入为： 。i u 。i - 1o i ；1 表示，一1 层输入第女个样本时，第f 个单元结点的输出 d 厶= f ( n e t _ ：k ) = 厂( w i i 。- ) 便用误差幽数为半万型： e ：去( 一歹。) z 歹。是单元，的实际输出。总误差为： 肚素；( y 扩2 定义 耻彘 于是 可oek=可oek可arteljk=鲁啄ionet o n e y , l = 双叫a ( c ) i j | 。a t i l 1 k v j ” 下面分两种情况讨论： 1 ) 节点为输出节点，则o l 。= 歹 颤2 嚣。瓦o e k 两o y j k 叫肛神旧，二) 2 ) 点，不是输出单元，则： 耻嚣毒蔫= 轰八删 ( 2 1 ) ( 2 2 ) ( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) ( 28 ) 1 0 坝f 论文赫j - 人f 神鲐删络的白适腑继电保护的训，t 式中( ) ：是送剑f 一层的输入，计算轰要从下一层“层) 算回柬。 在( 件1 ) 层第m 个单元时 因为 孑= 争z 锄o 。e ，k 篡o 。n 。e t ；1 。：；一智a 删o e k i 甜：1 。莓碥1 2 1 ( 29 ) 其中w ：1 为，层第n 1 个神经元与l + 1 层第j 个神经元的连接权重： 将式( 2 9 ) 代入式( 2 8 ) ，则得 总结上述结果，有 昧= 6 譬瓮f j ( n e t , s ) 图2 2b p 网络算法框图 ( 2 1o ) f i 】j ! 论史基十人工神经啊络的白适麻继也雠护的研究 j i =j ：甜2 1 厂( 门p ，：七) 鲁如i j 21 1 现在，反向传播算法的步骤可概括如下( 算法框图如图2 2 ) ： 1 ) 选定权系数初值； 2 ) 重复下述过程直到收敛： 对k = l 到 正向过程计算：计算每层各单元的o n e t j k n 可k ，= 2 ，a ，n 反向过程：对各层( m 1 到2 ) ，对每一层各单元，计算万：。 修正权值 为步长，其中 驴旷丢舢 旦：堕 8 c o ”智b o o u 2 2 激活函数的研究 2 2 1 常用的激活函数 1 ) s 型函数 根据上面反传规则的推导，要求激活函数的导数，：( n e t ，) 存在。一般情况下采用 s 型( l o g i s t i c ) 函数作为反传网络的激活函数。s 型函数中用得最多的有两个：一是 s i g m o i d 函数，另一是双曲线正切函数。它们的曲线形状分别表示在图2 3 和2 4 上。 ，【并， l l a 歹尹一一 j o乎 工 ，妇) 一再鬲蔽i 1 鳓 鲞a z l 0 - - 0 时 ，( 崔 一再禹1 再焉 图2 3s i g m o i d 函数曲线 s i g m o i d 函数的数学表达式为： f ( x ) = 专( o c m ) 一。 ，( 雾) 一 m ，一导剿 图2 4 双曲线正切函数曲线 。= 一( y 。一歹。) 厂( x ) ( 1 一厂( z ) ) 双=磙彩1 厂( x ) ( 1 一厂( x ) ) ( 2 1 4 ) ( 2 1 5 ) 请注意，该s 型函数作为处理单元，定义了个非线性增益，增益的大小决定于曲线 在给定x 点的斜率。因为0 f ( x ) 1 ，所以当f ( x ) 接近于0 或l ( z 接近于+ 。或o 。) 时，导数达到最小值，在f ( x ) = o 5 时，达到极大值，导数最大值为0 2 5 ，并且s i g m o i d 函数的输出值和导数总是正的。由于对给定权重的变化与这个微商成正比，因此，激 活值取中等值的那些单元，权重的变化最大。在某些意义上讲，改变最大的单元既不 属于接通单元也不是关闭的单元。这一特点将对该系统学习的稳定性产生影响。 在1 9 7 3 年g r o s s b e r g 曾发现，用该函数可使同一网络既能处理小信号也能处理大 信号。因为该函数的中间高增益区解决了处理小信号的问题，而在伸向两边的低增益 区正好适合于处理大的激励信号。这种情况正像生物神经元在输入电平范围很大的情 况下能正常工作样。 双曲线正切函数如图2 4 所示。它类似于s i g m o i d 函数，常被生物学家用作神经 细胞激励状态的数学模型，它的表达式可写为 y = t a 邮) = 筹 ( 2 1 6 ) 函数的形状与s i g m o i d 函相同，它不过是以原点对称的，使得z ：0 时，y ：0 ，同 时还具有双极输出，它常常被选用为要求输入是1 范围的信号。这种函数类似于已 被平滑的阶跃函数。它的输出值是正和负两者都有。 2 ) g a u s s i a n ( 商斯) 型函数 攮j 二f i p 算法的神经元网络模型实际上把一组输入输出问题转化为一个诈线性 坝ii f i 文 堆r 人1 神经同络的自适应继电保护的 1 j f 咒 一 优化问题，使用了优化中最常用的梯度下降法，加入隐含层的隐节点，实际 。足优化 问题的可调参数增加，从而可能得到更精确的解。这种非线性问题本身不可避免地存 在局部极小的问题。学习算法中采用梯度下降法，必然会带来收敛速度很慢。利用高 斯单元有简化这个问题的特点，因为它以自然的方法产生输入空间的分块。a l e x a n d e r ag e o r g i e v 在它的文章“f i t t i n go f m u l t i v a s i a b l ef u n c t i o n s ”中就这些网络的表达式和 稳定性问题给予了理论上的支持。f g i r o s i 和t p o g g i o 在他们的文章“n e t w o r k s a n dt h e b e s ta p p r o x i m a t i o np r o p e r t y ”中，用s t o n e w e i e r s t r a s s 定理证明了具有g a u s s i o n 隐 含单元的网络共享代数和三角多项式近似的性质，并指出这种网络有最好的近似性 质。 2 2 2 新的激活函数 新的激活函数有周期函数建议的激活函数族的一阶导数选为s e c h “( x ) ，其中”2 1 ， 2 ，以及自适应多项式激活函数等。 周期函数已经定量地被证明了收敛速度比s 型函数要快。意大利人f p i a z z a ， a u n c i n i 和m z e n o b i 在他们的论文“a r t r i f i c i a ln e u r a l n e t w o r k sw i t h a d a p t i v e p o i v n o m i a ia c t i v a t i o nf u n c t i o n 中指出，自适应多项式的神经元网络根据在学习和前 向阶段两方面的维数和计算复杂性和具有s i g m o i d 激活函数的传统的多层感知器比 较，给出一种简化。下面着重讨论激活函数族的一阶函数选为s e c h ”( x ) 的情况。 我们先研究一下标准s 型函数导数式( 2 1 3 ) 的范围在 o 0 ，o 2 5 而且在实行 修正的误差信号只能从这个范围取值，最大值只有o 2 5 。标准激活函数的工作范围只 有 o ，1 。因此，新的激活函数从函数自身的工作范围，及其导数值的大小和范围， 以及结构简单和计算速度快等思想出发来选择。当然，函数本身符合连续可微的条件。 g e n e r a lm o t o r s 研究实验室的s u r e n d e rkk e n u e 提出新的一组激活函数的一阶导 数s e c h ”( z ) ，其中n = l ，2 ，表2 1 列举n = 1 6 的激活函数及其一阶导数。将新 1， 的激活函数和标准的激活函数式2 1 2 及另一函数g ( x ) = 三t a j l “ 勺 ( 其导数为 g ，o ) ：三1 1 1 i ，其中c 是常数) ，进行比较。 厅c + 工一 表2 1新的激活函数及其导数 新激活函数一阶导数 1 z l ，( x ) = t a n 。( s i n h ( x ) )，+ ( x ) = - - zs e c h ( x ) 丌丌、 2 0 ) = t a n h ( x )f i ( x ) = s e c2 ( x ) 3 烈。) ：三竺盟， - t a n - i ( s i n h ( x ) ) 六( 。) ：! s 。c 。自( 。) ， c o s h ( x ) 、。7 7 t 堪十人t 神终h 络的白适戍继i u 保护的n 盯究 4 州加扣寸半 j ( z ) = = 3s e c 3 a ( z ) 5 一求t a 锄n h ( x ) + 3 t a n 。( s i 蚓一z 面t a n h 3 ( x ) ；( x ) ：_ 1 6s e c 一 ( 。) j 万 6 胁) = 争邶) 2 雩1 当 矗( x ) = 萼s e c 6 ( x ) 图25 和图2 6 表示标准的和新的激活函数及其导数的幅度曲线。 由图2 5 看到标准激活函数与新激活函数比较，在幅度上缓慢的增长。由图2 6 很明显的看到零点附近，工和后分别有最宽和最陡的峰值。正已经被y l e c u n 在1 9 8 7 年巴黎大学的博士论文采用。根据应用情况的需要，这族导数中的任何数目的导数的 原函数能够选作为激活函数。 应该注意到这些函数的工作g l n 是 一1 ，1 ，而标准的s i g m o i d 函数的工作范围是 0 ，1 s 型函数通过下式能够被映射到 1 ，1 范围。 h f x 、：三一一1 、1 + e x p ( 一触、 ， ( x ) = 芸( 1 一 ( x ) ) ( 1 + a ( x ) ) z 其中 是一个参数。 h 南霞芝爹 船钐，多， 夕秽。j 夕 = ：= 7 彩 扩 露 h ，夕搿| 、 o - 7 t，俘，- ， 谨 t ，二三二= 三； 图25 标准的和新激活函数的输入输出曲线 2 输入 f l j i j 论文批十人r 冲经刚络的白适应貅电保护的研究 输出 、 f 一 鲶二f i i7 一w - 8 一、心 e ，一7 一 万、t一一 钎。 f 二氐 ：彳彩= = ： = = 7 ； 一、二二之 ：抵 缪 r 吣 、。 一lu 3 u 0 5 i 输入 图2 6 标准的和新激活函数的导数曲线 在以下的实验条件下，b p 算法中采用8 种( s 型，i 尼和9 0 ) ) 不同激活函数， 编制程序进行模拟并应用于宇称( 2 和n 宇称) 问题，编码和螺旋问题，仿真表明型 的激活函数都取得了非常好的结果。下面作简要的介绍。 用一个输入层、最大三个隐含层和一个输出层的网络进行b p 算法的模拟。8 种 激活函数s ， 4 氓和g 也得到模拟。对于标准函数s 输入和输出数据被编码在 0 ， 1 和 o 1 ，o 、9 ，而对其它函数，输入和输出数据被编码在 一1 ，1 1 ，1 。 作为迭代的停止准则是每个估计偏离真值相差不超过0 1 ，还用过另外的准则就是在 丌始收敛后有1 0 个连续不断的收敛( 这种发现是由于这样的事实，即使对于最后 e p o c h 得到收敛，可是对于下一个e p o c h ，误差可能有时增加) 。它看来像是类似于在 信号处理中采用了具有剧烈截止的数字滤波器的冲击激励效应。在下面的讨论和表中 乎均学习速率包括在收敛得到实现之后1 0 个附加的e p o c h 。 因为这些函数的导数衰减很快，作为误差更新的导数的倍增作用变得很小。根据 选择的自由，也用加常数01 到导数中进行了实验。在标准b p 中，和每个神经元的 阀值( 或者基) 亦被处理成为权，于是由迭代得到修改。在这个实现中，基权假定具 有固定1 0 的恒值并且除输出层之外，被输入到所有层。对于高度非线性数据分类问 题，学习参数q 的选择是一项很重要的事情。通过用口= o0 0 6 2 5 起动b p 算法，尝试 j 儿寻找一个“盘了”的口，而对于下1 0 个运行，学 - j 参数在大小得到加倍。迭代 数受刽限制而且固有参数例如均方误差权矩阵的增长等，为了生成。r 好”的学习参数 坝f j 论文基十人t 神终嘲络的自适应继电保护的研究 r 自动的受到监控。 权矩阵用两种方法初始化。第一种方法是从 一1 ，i 阳j 隔中产生随机数用于所 有权矩阵。第二种方法是在随机数生成之后，权矩阵从输入层开始按比例缩小，例如 对于单隐含层网络，第一个权矩阵的比例因子是1 0 ，对于第二个权矩阵，它是o 2 。 选择第二种方法的动力在于随机数的幅度对于不同层能够是不同的。十个不同的开端 被用于生成每个激活函数的随机数，即使每个函数在不同的学习参数上得到最优。对 于所有新函数，k e n u e 已经用目的相同值。 以宇称和编码问题来看新激活函数的优越性。 1 ) 宇称问题是宇称2 ( x o r ) 问题在维上的推广，就是对于9 比特宇称问 题，对每单个期望输出来说有2 9 ( 5 1 2 ) 组输入数据。宇称问题对于比较高的维数很 难求解，因为解不能保证收敛。对于n 比特问题，对于一个解，需要至少个隐含 神经元。不过，隐含神经元的推荐至少是2 n 。下面就是选用2 n 作为隐含神经元的数 目。k e n u e 模拟了n ：2 n ：1 网