（电气工程专业论文）基于小波神经网络的模拟电路故障诊断研究.pdf

基于小波神经网络的模拟电路故障诊断研究 摘要 随着电子工业的迅猛发展，器件集成规模的不断扩大，模拟电路故障诊断越 来越受到各方面的重视。虽然模拟电路故障诊断的研究已经经历了四十多年的发 展，但能应用于实际的并不多见，主要是理论受到限制，对有容差和非线性电路 难以进行诊断，特别是对超大规模模拟电路和数模结合电路的诊断更是对现有的 理论提出了新的挑战。目前，在故障诊断这一方面，小波变换理论和神经网络的 研究与应用已成为研究热点。本文主要目的在于将模拟电路故障诊断与小波神经 网络方面的最新研究成果相结合，探索解决模拟电路故障诊断问题一条新的途 径。 本文首先对模拟电路故障诊断理论的研究现状进行了综述，研究了神经网络 和小波分析的基本理论。着重讨论了神经网络与小波分析在电路故障诊断中的两 种结合方式：1 松散型：根据小波理论在时域和频域良好的局部化性质和神经网 络的特性，讨论了利用小波变换来做故障信号的预处理，以此来减少神经网络的 输入节点，另外还从小波包特性出发，从能量方面着手，给出了故障检测的方法， 并给出了仿真电路进行验证；2 紧致型：根据小波函数的快速收敛性，提出用 m e x i c a nh a t 小波函数替代网络中的s 型函数，构造成一种新型的小波神经网络。 文章最后分析了充分利用信号中噪声来充当测试信号，减免了许多不必要的步骤 ( 如：传统方法将噪声滤除) ，而在实际应用中也会降低成本，并提出了利用相 位差来充当故障特征向量的方法，文章给出了两个实例，用o r c a d lo o 对电路 进行了仿真，并用m a t l a b 6 5 对电路进行了诊断，通过检测结果表明该方法可行 有效。 关健词：模拟电路；故障诊断；小波变换；神经网络：相位差 i i 硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fe l e c t r o n i c a li n d u s t r ya n dc o n s i s t e n te x p a n s i o no f i n t e g r a t e ds c a l eo fc o m p o n e n t s ，t h ea n a l o gc i r c u i td i a g n o s i sh a sa t t r a c t e dm o r ea n d m o r ea t t e n t i o n sf r o ma l la s p e c t s t h es t u d yo nt h ea n a l o gc i r c u i td i a g n o s i sh a sb e e n p e r f o r m e df o rm o r et h a n4 0y e a r s ，b u ti ti sr a r et ob ep u ti n t op r a c t i c e t h em a i n r e a s o ni st h a tt h et h e o r yh a sr e s t r i c t i o ns ot h a ti ti sh a r dt od i a g n o s et h et o l e r a n c e a n dt h en o n l i n e a rc i r c u i t s e s p e c i a l l y t h eu l t r a l a r g e s c a l ea n a l o g a n dt h e d i g i t a l a n a l o g c i r c u i t c u r r e n t l y ， t h er e s e a r c ha n d a p p l i c a t i o n f o rt h ew a v e l e t t r a n s f o r m a t i o nt h e o r ya n dn e u r a ln e t w o r kh a sb e c o m eah o ts p o ti nt h en e l do ff a u l t d i a g n o s i s t h em a i np u r p o s eo ft h i sa r t i c l ei st oe x p l o r ean e wm e t h o dt h a tc a ns o l v e p r o b l e m so fa n a l o gc i r c u i td i a g n o s i sb ym e a n so fc o m b i n i n gn e w e s tp r o g r e s so f a n a l o gc i r c u i td i a g n o s i sw i t ht h a to fw a v e l e tn e u r a ln e t w o r k f i r s t l yt h ea n a l o gc i r c u i tf a u l td i a g n o s i sr e s e a r c h ss i t u a t i o ni ss u m m a r i z e d ，a n d t h en e u r a ln e t w o r ka n dt h ew a v e l e ta n a l y s i se l e m e n t a r yt h e o r ya r ei n v e s t i g a t e d w e d i s c u s st w ow a y so ft h en e u r a ln e t w o r ka n dt h ew a v e l e ta n a l y s i si nt h ee l e c t r i c c i r c u i tf a u l td i a g n o s i so nt h eb a s i so ft h eb a c kp t o p a g a t i o nn e u r a ln e t w o r k ：1 t h e l o o s e ：t h ew a v e l e th a sg o o dl o c a l i z a t i o nn a t u r ei nt h et i m ea n df r e q u e n c yd o m a i n a n dn e u r a ln e t w o r k s c h a r a c t e r ， s ot h e p a p e rd i s c u s s e s t h a tt h ef a u l t s i g n a l i s p r e t r e a t e dw i t ht h ew a v e l e tt r a n s f o r m a t i o n ，w h i c hc a nr e d u c et h ei n p u tn o d e so ft h e n e u r a ln e t w o r k i na d d i t i o n ，a c c o r d i n gt ot h ec h a r a c t e ro ft h ew a v ep a c k e ta n dt h e e n e r g yo ft h es i g n a l ，t h ep a p e rg i v e st h ee x a m i n a t i o nm e t h o da n dt h es i m u l a n tc i r c u i t ； 2 t h ec o m p a c t ： a c c o r d i n gt o w a v e l e tf u n c t i o n sf a s t a s t r i n g e n c y ， m e x i c a nh a t w a v e l e ts u b s t i t u t e sn e t w o r k ssf h n c t i o n ，w h i c hc o n s t r u c t so n ek i n do fn e ww a v e l e t n e u r a ln e t w o r k t h ea r t i c l em a k e su s eo ft h en o i s et ob et e s t i n gs i g n a l ，w h i c hc a n r e d u c em a n yu n n e c e s s a r ys t e p s ( e x a m p l e ：t h en o i s ew e r ef i l t e r e di nt h et r a d i t i o n a l m e t h o d s ) a n dw i l lr e d u c ec o s t si np r a c t i c a l f i n a l l yt h ea r t i c l em a k e su s eo ft h e p h a s et oa c ta sf a u l tf e a t u r ev e c t o ra p p r o a c h t w oe x a m p l e sw e r es i m u l a t e dw i t h o r c a dl0 oa n dm a t l a b 6 5 t h et e s tr e s u l t si n d i c a t et h em e t h o d sa r ef e a s i b l ea n d e f f e c t i v e k e y w o r d s ：a n a l o gc i r c u i t s ；f a u l td i a g n o s i s ；w a v e l e tt r a n s f o r m ； n e u r a ln e t w o r k ；d i f k r e n tp h a s e i i i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 缛照 日期：2 男年9 月纠日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“ ) 作者签名： 导师签名： 怿点 确彬曙 日期：2 加留年铲月山7 日 日期：厶巾8 年岁月f 日 硕士学位论文 第1 章绪论 1 1 选题背景和意义 随着电子行业的飞速发展，现代化工程技术系统的规模不断扩大，模拟电路 的应用也越来越广。如在军工、通讯、家用电器、自动控制、测量仪表等各个方 面，模拟电路都是重要的组成部分。电子产品日趋大型化、高速化、自动化和智 能化，不仅同一电子产品的不同部分之间互相关联，紧密耦合，而且不同电子产 品之间也存在着紧密的联系，在运行过程中形成一个整体。因此，系统中任何一 个元器件的故障都有可能导致整个系统性能的下降，不能正常运行，有时甚至导 致灾难性的事故发生。一些比较大的系统发生故障时，不仅造成巨大的经济损失 而且会危及到人的伤害。在我国，产品的维修费用占总费用的8 0 ，而研发和采 购仅占2 0 。如果故障得不到及时排除，便会影响整个系统的正常操作，特别是 在某些安全保卫装备，航天和军工部门，要求系统能在十分特殊的环境下保持连 续的正常工作，对系统的可靠性要求更高。传统的人工诊断技术己无法适应现代 电子工业的发展，计算机科学的迅猛发展和普及，为故障诊断技术提供了有效的 工具，使之借助计算机的自动故障诊断应运而生，并立即展现出其广阔的应用前 景。因此，切实保障现代复杂系统的可靠性和安全性，具有十分重要的意义。 故障通俗的说就是“异常”，是指产品或产品的一部分不能或将不能完成预定 功能的事件或状态。一般电路的故障诊断可分为模拟电路故障诊断和数字电路故 障诊断。数字技术的广泛应用和高速发展使得数字电路的故障诊断研究取得了 空前的发展。对于模拟电路，由于其元件具有容差并存在非线性等原因，使得模 拟电路的故障诊断较数字电路的故障诊断复杂得多，其发展比较缓慢，应用也不 够广泛。但是，在一个完整的系统中，数字电路并不能完全取代模拟电路。经典 的故障诊断主要依靠模拟式仪表，如：信号发生器、电子电压表、示波器等，它 还要求操作人员应具有一定的理论基础和丰富的实践经验。一般情况下，它的测 试速度比较慢，准确性也较低。随着电子电路集成化程度越来越高，换代更新迅 速，应用也日趋广泛，人们已经逐渐认识到，对故障诊断有必要重新研究，必须 把以往的经验提升到理论高度，同时在坚实的理论基础上，系统的发展和完备一 整套严密的近代故障诊断方法，并结合先进的计算机数据处理技术，实现故障诊 断的自动检测、定位、定值以及预报。自动故障诊断的关键在于诊断程序的产生， 而中心问题在于故障诊断理论，因此，模拟电路的故障诊断研究成为了电路领域 世界各国的讨论研究的热点。 基于小波神经网络的电路故障诊断技术研究 1 2 模拟电路故障诊断的发展与研究现状 1 2 1 模拟电路故障诊断的历史 模拟电路故障诊断于2 0 世纪6 0 年代首先在军事工业中开始研究，是以网络 理论为基础的，发展至今已成为网络理论中公认的第三大分支。模拟系统故障诊 断的主要任务是在己知网络的拓扑结构、输入激励信号( 也可选自激励信号) 和故 障下的响应时( 有时可能还已知部分元器件的参数) ，求解故障元件的物理位置和 参数。模拟电路( a n a l o gc i r c u i t s ) 的故障诊断( f a u l td i a g n o s i s ) 起源于1 9 5 9 年( e l d e r d 针对单级或两级组合电路提出了对故障的测试、诊断报告) 。19 6 0 年r s b e r k o w i t s 首先提出了关于模拟电路诊断的可解性概念，指出：一个网络 称为元件值可解，当且仅当它的每个元件值能够从外部端子上测得的网络特性唯 一地加以确定，该网络称为元件值可解。并提出了无源、线性、集总参数网络的 网络元件值可解性的必要条件，以此拉开了模拟电路故障诊断理论研究的序幕。 但它变成一个活跃的研究领域却是在7 0 年代，世界各国的学者发表了许多有关 模拟电路故障诊断方面的论文并提出了各种不同的原理和方法，到l9 7 9 年达到 了一个高峰，奠定了模拟电路故障诊断的理论基础。国际电气电子工程师协会电 路与系统学报( i e e et r a n s 0 nc a s ) 为此出了模拟电路故障诊断特刊，促进了 该领域的研究进一步发展。8 0 年代以后，模拟电路故障诊断的研究进入了飞速 发展时期，主要朝着更实用化的多故障诊断方向发展。但由于故障诊断方法要求 较多的测点，导致大量的计算而难以实现，即使到了现在，也不能讲故障诊断技 术已经达到成熟的阶段，j w b a n d e r 和e s a l a m a 曾对其各方面的发展作了比较 详细的介绍【l 】。而我国对模拟电路故障诊断理论的研究起步比较晚，约到7 0 年 代末才被较多地引起重视，以后发展速度相对比较快。、 1 2 2 模拟电路故障诊断技术的难点 虽然模拟电路故障诊断经历半个世纪的发展，但是，并没有一个大的进展。 在理论上虽然已经作了比较深入的探讨，提出了较为完善的诊断方法和体系，在 实践中，却没有一个成熟的通用软件问世。在中国，自8 0 年代起，大量科技人员 开始对这一领域开展研究，虽然取得了较大的发展和一定的工程应用，但仍然面 临着许多困难【2 巧】： ( 1 ) 模拟电路中的输入激励和输出响应都是连续量，网络中各元件的参数通 常也是连续的，所以，模拟系统中的故障模型比较复杂，难以进行简单的量化； ( 2 ) 模拟电路中的元件参数具有很大的离散性，即具有容差；容差导致实际 故障的模糊性，而无法准确定位实际故障的物理位置。所有元件参数的容差是实 施正确诊断的最大困难； 2 硕士学位论文 ( 3 ) 在模拟电路中，广泛存在非线性问题，随着电路规模的线性增大，计 算量则以指数形式增加；大量反馈回路的存在，也增加了计算和测试的复杂性； ( 4 ) 现代电子电路通常是多层的或被封装的，可测电压的可用节点数非常有 限，导致可用作故障诊断的信息量不够充分，造成故障定位的不确定性和模糊性； ( 5 ) 一个实用的模拟电路中，几乎无一例外地存在着反馈回路，仿真时需 要大量的复杂计算。 1 2 3 模拟电路故障诊断的主要方法 模拟电路故障诊断的方法有多种，但以人工智能新理论的出现为界线，可分 为两类：一是经典常规的模拟电路故障诊断方法，二是现代模拟电路故障诊断方 法。经典常规的模拟电路故障诊断方法主要包括：故障字典法、元件参数辨识法 和故障验证法，它们已经应用于线性系统的实际工程中，但却未达到预期效果， 如不能解决非线性系统的故障诊断、不能有效诊断多故障和软故障等等。随着越 来越多的人工智能理论的出现，人们逐渐意识到将神经网络等智能理论用于模拟 电路故障诊断领域，对模拟电路故障诊断理论和技术的发展有着极其重要的作 用。现代模拟电路故障诊断的方法主要有：专家系统故障诊断方法【6 。引、模糊故 障诊断方法【1 1 。1 3 】、神经网络故障诊断方法【1 1 小】、多传感器信息融合故障诊断方 法【1 6 - 18 1 、基于a g e n t 技术的故障诊断方法【1 9 - 2 0 1 、小波神经网络故障诊断方法【2 1 - 2 2 】 等等。 目前，研究比较热的基于小波神经网络的故障诊断方法。下面简单介绍它的 发展现状和前景。 在模拟电路故障诊断中，小波变换与神经网络的结合主要有两种方式，一种 是：小波变换被有效地用来提取故障特征信息，之后再将这些故障特征信息送入 故障分类处理器进行故障诊断。另一种是：把小波与神经网络结合起来，即形成 小波神经网络或小波网络。它是在小波分析研究基础上提出的一种前馈网络。其 基本思想是用小波元代替了神经元，即激活函数为已定位的小波函数基，通过仿 射变换建立起小波变换与神经网络的联接。随后又相继提出了很多种小波网络， 如：正交小波神经网络、多变量函数估计小波网络、能量函数的小波神经网络和 区间小波网络模型等。小波神经网络由于把神经网络的自学习特性和小波的局部 特性结合起来，具有自适应分辨性、良好的容错性、逼近能力强、网络学习收敛 速度快以及有效地避免了神经网络训练时局部最小值问题等优点。现在，在模拟 电路故障诊断领域，小波神经网络还是一个比较新的、很有前途的应用研究方向。 1 3 本文的主要内容 本文在故障诊断的基本原理和考虑容差的情况下，从神经网络和小波变换两 3 基于小波神经网络的电路故障诊断技术研究 种不同的结合方式出发，提出了利用小波变换做预处理和把小波变换嵌入到b p 网络中的小波神经网络故障诊断法，利用不同频率的噪声信号在正常状态和故 障状态下某点的相位差和幅值差相结合来进行故障诊断的研究。对于不同的故障 类型，研究了故障特征的选取方法，神经网络的结构和训练样本的组成也做了相 应的研究，并用提出的方法对电路进行了仿真和诊断。本文的主要内容和章节分 布如下： 第一章：对模拟电路故障诊断的目的、意义、发展历史以及研究现状进行了 分析，并对现代故障诊断方法进行了简单的分析，重点介绍了小波神经网络的发 展现状及前景。 第二章：阐述了神经网络的基本原理，讨论了神经网络的基本要素和基本特 性，重点介绍了b p 神经网络，并分析了其缺点，提出了附加动量法算法。 第三章：在f o u r i e r 变换的基础上给出了小波变换的定义和分类，并对小波变 换的基本原理以及各类小波进行了阐述，同时对小波变换的应用进行了简单的介 绍。 第四章：讨论了小波变换和神经网络在故障诊断方面的应用，重点介绍了小 波神经网络，把小波变换的运算融入到神经网络中去，用小波元代替了神经元， 构建了以墨西哥草帽小波为隐函数的小波神经网络，并给出了具体算法，详细介 绍了p c a 的具体降维算法。对利用小波变换做预处理和神经网络相结合方式进行 了讨论，阐述了其故障诊断的原理，并利用p c a 进行降维处理，且给出了实例论 证。最后提出了利用相位差来进行故障诊断的新方法，并利用小波神经网络来进 行故障分类，并通过两个实例来进行验证比其他方法在某些方面有优势。 4 硕士学位论文 第2 章神经网络的原理 2 1 人工神经网络的概述 人工神经网络( a r t i n c i a ln e u r a ln e t w o r k s ) 也简称神经网络( n n s ) ，是指应 用现代科学技术手段模拟人脑神经网络的结构和功能的一种人工智能系统；是从 微观结构和功能上对人脑的一种抽象；是由大量处理单元连接而成的网络。它是 简化与模拟人类智慧的一条重要途径，反映人脑的若干基本特性。通俗地说，人 工神经网络技术，是根据所掌握的生物神经网络机理的基本知识，按照控制工程 的思路和数学描述方法，建立相应的数学模型，并采用适当算法，有针对性地确 定数学模型的参数( 如连接权值，阈值等) ，以便获得某个特定问题的解。神经网 络最基本特点是并行分布的处理模式。和传统的计算机相比，这种特征，可以使 信息处理的速率得到极大的提高。由于信息分布存储的作用，当某一部分网络受 到损坏、输入的信息不完整或噪声干扰时，人工神经网络仍然能表现出良好的性 能，说明神经网络具有较强的稳定性和鲁棒性。由于人工神经网络是模拟人脑的 特性，所以它还具有很强的知识获取能力、联想记忆能力、自学习以及自适应能 力等，是一种很有发展前途的智能技术。 2 1 1 神经网络理论的发展历史 纵观神经网络的发展历史，其发展过程大致可以概括为以下3 个阶段。 1 第一阶段启蒙时期 这是神经网络理论研究的奠基阶段，1 9 4 3 年，神经生物学家m c c u l l o c hw s 和青年数学家p i t t sw a 合作，提出了第一个人工神经元模型，并在此基础上抽 象出神经元的数理模型【2 3 1 ，开创了人工神经网络的研究，以m c c u l l o c hw s 和 p i t t sw a 提出人工神经元的数理模型( 即神经元的阀值模型，简称m p 模型) 为标志，神经网络拉开了研究的序幕。19 4 9 年，神经生物学家h e b b 提出了连 接权值强化的h e b b 法则【24 1 。这一法则告诉人们，神经元之间突触的联系强度是 可变的，这种可变性是学习和记忆的基础。h e b b 法则为构造有学习功能的神经 网络模型奠定了基础。5 0 年代末，r o s e n b l a t t 提出了感知机，第一次把神经网络 应用于工程实践。19 5 8 年r o s e n b l a t t 在原有m p 模型的基础上增加了学习机制。 他提出的感知器模型，首次把神经网络理论付诸工程实现。r o s e n b l a t t 证明了两 层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重 要的研究方向。r o s e n b l a t t 的神经网络模型包含了一些现代神经计算机的基本原 理，从而形成神经网络方法和技术的重大突破。神经网络的研究迎来了第一次高 潮期。 基于小波神经网络的电路故障诊断技术研究 2 第二阶段低潮时期 6 0 年代，美国著名的人工智能学者m i n s k y 和p a p e r t 对r o s e n b l a t t 的工作进 行了深入的分析研究，写出了感知机一书，指出简单的线性感知器的功能是 有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不 可能实现“异或”的逻辑关系等。虽然他们同时指出增加层次可能解决这一问题， 但学习算法成为另一个难于解决的问题。加上集成电路和微电子技术的迅猛发 展，使传统的v o nn e u m e n n 计算机进入了快速发展时期，使人们对功能模拟抱 以更大的期望，神经网络理论研究陷入长达1 0 年的低迷时期。 3 第三阶段复兴时期 这是神经网络理论研究的主要发展时期。1 9 8 2 年，美国国家科学院的刊物 上发表了著名的h o p n e l d 模型的理论【2 引。h o p f i e l d 神经网络是如下的组非线 性微分方程： 卫 g d u 旃= 巧乃阻卜r + ，( i - 1 ，2 ，n ) ( 2 1 ) f = l 其中u ，是第z 个神经元的膜电位；c ，r ，分别是输入电容和电阻；j 。是电路外的 输入电流；z ，是第，个神经元对第f 个神经元的联系强度；厂( “) 是“的非线形函 数。h o p n e l d 构造出能量函数( l a y p u n o v ) ，并证明了在z ，= 丁睛况下，网络在 平衡点附近的稳定性，还将这种模型用电子电路来实现。h o p f i e l d 的模型不仅对 人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学 习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有 了理论指导，在h o p n e l d 模型的影响下【26 1 ，大量学者又激发起研究神经网络的 热情，积极投身于这一学术领域中，神经网络理论研究很快便迎来了第二次高潮。 目前全世界有许多科学家都投身于这一领域的研究，各国政府、军方和民间机构 都投入了大量资金。 2 1 2 神经网络的基本要素 在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经 元功能函数、神经元之间的连接形式和网络的学习( 训练) 。 1 神经元功能函数 神经元在输入信号作用下产生输出信号的规律由神经元功能函数厂给出，也 称激活函数，或称转移函数，这是神经元模型的外特性。它包含了从输入信号到 净输入、再到激活值、最终产生输出信号的过程。综合了净输入、厂函数的作用。 厂函数形式多样，利用它们的不同特性可以构成功能各异的神经网络。 常见的神经元功能函数有： ( 1 ) 简单线性函数 6 硕士学位论文 神经元功能函数厂连续取值，输入x 由连接矩阵w 加权产生输出。 厂( x ) = x ( 2 2 ) ( 2 ) 对称硬限幅函数 这是一种非线性模型，输出只取二值，如+ l 或1 ( 或1 与0 为硬限幅函数) ， 当净输入大于某一阈值o 时，输出取+ 1 ，反之，输出取1 ，这一作用可借助符号 函数表示，如图2 1 ( a ) ，此时有： 厂( x ) = s 烈x 一秒) ( 2 3 ) ( 3 ) s i g m o i d 函数( s 形函数) 神经元输出是限制在两个有限值之间的连续非减函数，表达式可写为： m ) = 等 ( 2 4 ) 式中s i g m o i d 曲线由双曲正切函数构成，最大值与最小值分别取+ 1 与一l 。如图 2 1 ( a ) 所示。如果将双曲函数向上平移，即换用以下函数即单极性s 型函数。 ( x ) 2 寿 ( 2 5 ) 则曲线之最大与最小值分别取1 和0 ，如图2 1 ( b ) 所示。 j i f ( x ) s g n ( ： + 1 一 s 函数 x r 一1 ( a ) j f ( x ) ，纠、l + e x 【 1 7 一一 1 2 - r x 图2 1s i g m o i d 函数曲线 ( b ) ( 一x ) 2 神经元之间的连接形式 前已述及，神经网络是一个复杂的互连系统，单元之间的互连模式将对网络 的性质和功能产生重要影响o 互连模式种类繁多，这里介绍一些典型的网络结构。 ( 1 ) 前向网络( 前馈网络) 网络可以分为若干“层”，各层按信号传输先后顺序依次排列，第i 层的神经 元只接受第( f 一1 ) 层神经元给出的信号，各神经元之间没有反馈。前馈型网络可 用一有向无环路图表示。可以看出，输入节点并无计算功能，只是为了表征输入 矢量各元素值。各层节点表示具有计算功能的神经元，称为计算单元。每个计算 7 基于小波神经网络的电路故障诊断技术研究 单元可以有任意个输入，但只有一个输出，它可送到多个节点作输入。称输入节 点层为第零层。计算单元的各节点层从下至上依次称为第1 至第n 层，由此构 成n 层前向网络。 第一节点层与输出节点统称为“可见层”，而其他中间层则称为隐含层( h i d d e n l a y e r ) ，这些神经元称为隐节点。b p 网络就是典型的前向网络。 ( 2 ) 反馈网络 典型的反馈型神经网络如图2 2 所示，每个节点都表示一个计算单元，同时 接受外加输入和其它各节点的反馈输入，每个节点也都直接向外部输出。 h o p n e l d 网络即属此种类型。在某些反馈网络中，各神经元除接受外加输入 与其它各节点反馈输入之外，还包括自身反馈。有时，反馈型神经网络也可表示 为一张完全的无向图，如图2 3 所示。图中，每一个连接都是双向的。这里，第 f 个神经元对于第，个神经元的反馈与第，至f 神经元反馈之突触权重相等，也即 w i j 5w j i 。 输出 图2 2 典型的反馈型神经网络 图2 3 无向图 8 硕士学位论文 以上介绍了两种最基本的人工神经网络结构，实际上，人工神经网络还有许 多种连接形式，例如，从输出层到输入层有反馈的前向网络，同层内或异层间有 相互反馈的多层网络等等。 3 人工神经网络的学习 学习功能是神经网络最主要的特征之一。各种学习算法的研究，在人工神经 网络理论与实践发展过程中起着重要作用。当前，人工神经网络研究的许多课题 都致力于学习算法的改进、更新和应用。 ( 1 ) h e b b 规则 在h e b b 学习规则中，学习信号简单地等于神经元的输出： j 2 _ 乃= 厂( x ，) ( 2 6 ) j = l 权向量的调整公式为： o + 1 ) = ( f ) + 咿y ，薯 ( 2 7 ) 上式表明，权值调整量与输入输出的乘积成正比。显然，经常出现的输入模 式将对权向量有较大的影响。在这种情况下，h e b b 学习规则需预先设置权饱和值， 以防止输入和输出正负始终一致时出现权值无约束增长。h e b b 学习规则代表一种 纯前馈、无导师学习。该学习规则至今在各种神经网络模型中起作重要作用。 ( 2 ) 梯度下降算法 这是将数学的最优化方法应用于a n n 中。在这个方法中，加权的修正比于 误差对加权的一阶导数。它的数学表示如下： 订一箦 其中e 是描述误差的误差函数。是节点j 到节点i 的连接权。 率系数。 ( 2 8 ) 7 7 是训练速 虽然这一算法收敛到稳定点较慢，但还是普遍地被采用。其中万规则是梯度 算法的一个特例。误差反传训练算法( b p 算法) 也是由梯度算法推导出来的，它 类似于万算法，但要更复杂些，所以有时也称它为一般化的万训练法。 ( 3 ) 其他的一些算法 。w i d r o w h o f f 学习规则、感知器学习规则和误差反向传播的b p ( b a c k p r o p a g a t i o n ) 学习规则等。 2 1 3 神经网络的基本特性 神经网络是由大量的神经元按一定的拓扑结构和学习调整方法所构成的。它 是一个具有高度非线性的超大规模连续时间动力系统，其主要特性是： ( 1 ) 分布存贮和容错性。人工神经网络通过自身的网络结构能够实现对信 息的记忆，而所记忆的信息是存储在神经元之间的权值中，从单个权值中看不出 9 基于小波神经m 络的f u 路故障诊断技术研究 所储存的信息内容，因而是分布式的存储方式。这使得网络具有良好的容错性， 并能进行聚类分析、特征提取、缺损模式复原等模式信息处理方式，也有益于做 模式分类、模式联想等模式识别方式。 ( 2 ) 可塑性与自适应性和自组织性。神经元之间的连接具有多样性，各神 经元间的连接强度具有可塑性，因而网络可以通过学习与训练进行自组织，以适 应不同的信息处理的要求。 ( 3 ) 并行处理性( p a r a l l e lp r o c e s s i n g ) 。神经网络是由许多简单的人工神 经元并联组合而成，虽然每个神经元简单，但大量神经元可以同时进行类似的处 理过程，使其对信息的处理能力与效果惊人。 ( 4 ) 层次性。信息在不同层次的神经回路中逐级进行加工和处理。同时神 经网络具有一般的非线性动力学系统的共性，如不可预测性、不可逆性、多吸引 子、可塑性、耗散性等特性，因此神经网络实际上是一个大规模非线性连续时间 自适应信息处理系统。 2 2b p 神经网络 2 2 1b p 网络的原理 b p 神经网络( b a c k p r o p a g a t i o nn e u r a ln e t w o r k ) ，是运用误差反向传播学 习算法( b a c k - p r o p a g a t i o nt r a i n i n ga l g o r i t h m ) 的前馈多层网络，源于网络权值的 调整规则采用的后向传播的b p 学习算法，通常称为b p 网络。 b p 网络具有很强的非线性映射能力，适于建立系统模型，其结构比较简单， 工作状态稳定，且易于硬件实现，是目前应用最为广泛的一种人工神经网络。 b p 网络不仅有输入层节点，输出层节点，而且有隐含层节点。隐含层可以是一 层，也可以是多层，三层b p 神经网络模型的拓扑结构如图2 4 所示。当信号输 入时，首先传到隐含层节点，经过作用函数后，再把隐含节点的输出信号传播到 输出层节点，经过处理后给出输出结果。 隐含层 输出层 ，、 ，s丰r y、0 1 t s 7l 、 7 厂一厂，甲 s l s 、 a l ：t a n s ig ( i w l i p i 十b 1 ) 图2 4 三层b p 神经网络结构示意图 l o 硕士学位论文 b p 算法是一种有导师的学习算法，属于s 算法。其基本思想是：对于p 个 输入的学习样本五，x ：x p 。已知与其对应的输出样本为：吐，吐，d p 。将实际 的输出m ，j ，：，y p 与吐，畋，d p 的误差来修改网络的连接权和阈值，使d 。 ( 1 = 1 ，2 ，p ) 与期望值尽可能的接近，使网络输出层的误差平方和达到最小。它 是通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的 变化，而逐渐逼近目标。每一次权值和偏差的变化都与网络误差的影响成正比， 并以反向传播的方式传递到每一层的。 b p 网络的学习过程包括：正向传播和反向传播。当正向传播时，输入信息 从输入层经隐含层的节点处理，后传向输出层，每一层神经元的状态只影响下一 层的神经元的状态。如果在输出层得不到希望的输出，则转入反向传播，将误差 信号沿原来的神经元连接通路返回。返回过程中，逐一修改各层神经元连接的权 值，这种过程不断迭代，最后使得信号误差达到允许的误差范围之内。 关于b p 网络的映射能力，有下面的完全性定理【27 】：假定b p 网络中隐含节 点可以根据需要自由设定，那么一个三层网络，可以实现以任意精度近似的任意 连续函数。b p 网络通过多层误差修正梯度下降法离线学习，按离散方式进行。 误差逆传播学习仅仅实现了代价函数曲面上的梯度下降。由于b p 网络中的非线 性隐含节点的存在，代价函数存在多个极小点，因此梯度下降不能保证求出全局 最小。可以证明，在隐含层节点可以根据需要自由设置的情况下，用三层b p 网 络可以实现以任意精度逼近任意连续函数。 2 2 2b p 网络的缺点 尽管b p 网络是目前应用最为广泛的一种神经网络模型，它具有思路清晰， 结构严谨，可操作性强等优点。但是由于b p 学习算法仅改变网络的连接值和阀 值，不改变网络的拓扑结构，因此整体来讲它存在自身的限制和不足。 1 网络的麻痹现象 在网络训练过程中，加权调得较大可能迫使所有的或大部分节点的加权和输 出较大，从而操作在压缩函数的饱和区，此时函数在其导数非常小的区域，即函 数的导数值很小或趋近0 ，由于在计算加权修正量的公式中，这使得调节几乎停 顿下来，通常为了避免这种现象，将训练速率减小，但又增加了训练时间。 2 网络学习收敛速度慢和精度不容易同时满足 对于一些复杂的问题，b p 算法可能要进行几个小时甚至更长的时间的训 练，即使收敛了又存在收敛精度的问题。收敛速度慢多是由于学习速率太小所 造成的，可通过采用变化的学习速率或自适应的学习速率来加以改进。 3 收敛的稳定性问题 一般来讲b p 算法可以使网络权值收敛到一个解，但它并不能保证每次都 基于小波神经网络的电路故障诊断技术研究 能够有效收敛。这主要是由于不同的算法只能适用于于不同的数据类型。 4 陷入局部极小值 b p 算法可以使网络权值收敛到一个解，但它并不能保证所求解为误差超平 面的最小解，很可能是局部极小解，这是因为b p 法采用的是梯度下降法，训练 是从某一起点沿误差函数的斜面逐渐达到误差的极小值，对于复杂的网络，其误 差函数为多维空间的曲面，就像一个碗，其碗底是最小值点，但是这个碗的表面 凹凸不平的，因而在对其进行训练的过程中，可能陷入某一小谷区，而这一小谷 区产生一个局部最小值，由此点向各个方向变化均使误差增加，以至于使训练无 法逃出这一局部最小值。 2 2 3b p 网络的算法优化 标准的b p 算法是基于梯度下降法，通过计算目标函数对网络权值及其偏差 的梯度对其进行修正的，改进的算法都是在标准的梯度下降法的基础上发展而来 的，它们均只用到目标函数对权值和偏差的一阶导数( 梯度) 信息。本文使用的 是附加动量法。附加动量法使网络在修正权值时，不仅考虑误差在梯度上的作用， 而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网 络忽略网络上的微小变化特性。在没有附加动量的作用下，网络可能陷入浅的局 部极小值，利用附加动量的作用则有可能滑过这些极小值。 该方法是在反向传播法的基础上在每次权值变化时加上一项正比于前次权 值变化量的值，并根据反向传播法来产生新的权值变化。附加动量b p 算法的权 值修正迭代过程可以表示为： w ”( 尼+ 1 ) = 朋。宰w ”( 后) 一( 1 一聊。) 母刁宰v 厂( x 婶)( 2 9 ) 其中：k 为训练次数；0 历，1 为动量因子，一般取0 9 0 左右。 附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传 递。当动量因子的取值为零时，权值的变化仅是根据梯度下降法产生的；当动量 因子取值为1 时，新的权值变化则为最后一次权值的变化，而依梯度法产生的变 化部分则被忽略掉了。以此方式，当增加了动量项后，促使权值的调节向着误差 曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，梯度将变 得很小，于是w ，( 量+ 1 ) w ，( 七) ，从而防止了w ，( 七+ 1 ) = 0 现象的出现，有助于 使网络误差从误差曲面的局部极小值中跳出。 根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果 时，新的权值应被取消而不被采用，并使动量作用停止下来，使网络不进入较大 误差曲面；当新的误差变化率对其旧值超过一个事先设定的最大误差变化率时， 也得取消所计算的权值变化；其最大误差变化率可以是任何大于或等于l 的值。 典型的值取1 0 4 。所以，在进行附加动量法的训练程序设计时，必须加进条件判 1 2 硕士学位论文 断，以正确使用其权值修正公式。 训练程序中采用附加动量法的判断条件为： f o e ( 七+ 1 ) 1 0 4 e ( 七) 肌。= o 9e ( 七+ 1 ) e ( 七) 1 0 4 ) 自动 返回，并像弹子滚动一样来回摆动，直至停留在最小值点上。 2 2 4b p 网络在模拟电路故障诊断中的作用与缺陷 目前，在种类繁多的神经网络中，以b p 网络研究最多，应用最广。b p 神 经网络由于具有良好的模式分类能力，尤其适用于故障诊断领域，因而在故障诊 断系统中具有广泛的应用前景，也是目前故障诊断领域中用得较多也较为有效的 一种神经网络。在模拟电路故障诊断中使用b p 神经网络进行故障分类时，一般 要给b p 神经网络提供每一模式类中的许多样本作为训练样本，b p 神经网络分 类器通过学习，不仅能识别已训练过的样本，而且能识别出未出现过的样本。我 们将b p 网络的这种能力称之为泛化能力。由于b p 网络对于内插数据点的泛化 能力优于外插点，所以，一般用大量训练样本训练b p 网络以便获得较好的泛化 能力。在将b p 神经网络分类器用于模拟电路故障诊断时，获得每一个训练样本 都要进行一次测试，其样本要花费很大的代价才能获得。如果故障的种类较多时， 要获得的训练样本数据将是一项非常艰巨的工作。与其良好的分类效果和实时诊 断的特点相比，需要获取大量的训练样本库是这种方法的主要缺点。 2 3 本章小结 本章节阐述神经网络的重要性，介绍了神经网络的发展历史及其基本的要 素，简要分析了神经元功能函数、神经元之间的连接形式和网络的学习等要素， 在此基础上分析研究了神经网络的特性。重点研究了b p 神经网络的原理和结构， 分析了b p 神经网络算法的一些缺陷，并提出了附加动量法来优化b p 神经网络。 1 3 基于小波神经网络的电路故障诊断技术研究 第3 章小波变换的基本理论与应用 3 1 小波分析简介及特点 3 1 1 小波分析简介 小波分析，即小波变换是2 0 世纪8 0 年代中期发展起来的一种新的数学理论 和方法，它被认为是傅立叶分析方法的突破性进展。小波变换的概念是1 9 8 4 年 法国地球物理学家j m o r l e t 在分析处理地球物理勘探资料时提出来的。小波变换 的基础是1 9 世纪的傅里叶变换，其后理论物理学家a g r o s s m a n 采用平移和伸缩 不变性建立了小波变换的