文献综述(格式)

1、. 用于函数逼近的小波网络研究1问题提出小波理论是在最近10年不断开展起来的，其独特的优点使其在信号处理、图像处理、地球物理等许多领域里得到广泛的应用。小波分析中的函数逼近能力是小波理论中最重要的特征之一。神经网络可以作为非线性系统表征、控制以及近似实现的有效工具，它对信息进展分布式存储、并行处理，具有良好的学习和记忆能力，而且有很强的容错性、自适应性等。小波网络是小波分析和神经网络相结合的产物，两者的结合能够弥补各自在函数逼近方面的缺陷，用于非线性函数的逼近能到达最满意的效果。小波网络用于函数逼近最早是基于小波分解和前馈神经网络提出的，其构造类似于径向基网络。由Sigmoid函数构成的多层前

2、馈神经网络(BP网络)有良好的逼近性能，空间映射能力强，原则上可以无限逼近非线性函数。而Sigmoid函数为全局函数，其支撑集是无穷大的，不满足框架条件，存在严重重叠，所以其逼近函数的表达式并不唯一，而且收敛速度慢。小波理论体系为小波网络的分析和综合提供了可靠的理论根底。小波函数具有对突变函数逐步精细的描述特性，通过作为一致逼近的小波分解来建立起小波变换与神经网络的连接，能够使得函数的逼近效果更好。2小波分析及其开展 小波分析的思想可以追溯到本世纪30年代，但真正形成则是在1984年，由法国科学家Grossman和Morlet在进展地震信号分析时提出的，随后进展迅速，1985年Meyer在一维

3、情形下证明了小波函数的存在性，并在理论上做了更深入的研究；此后，Mallat在Burt和Adelson图像分解和重构的金字塔算法启发下，基于多分辨分析的思想，提出了对小波应用起重要作用的Mallat算法，它在小波分析中的地位相当于FFT在经典Fourier分析中的地位。1987年，在法国马赛召开了第一届小波分析国际会议；1990年日本京都的国际数学大会展示了小波理论的深入和开展及其不断扩大的应用领域；我国在小波分析领域的研究起步要晚一些，1992年在大学召开了中法首届小波分析研讨会，使小波分析的研究在国也逐渐掀起了热潮。 小波分析主要研究函数的表示，即将函数分解为“根本函数之和，而“根本函数是

4、由一个小波函数经过伸缩和平移而得到的，这个小波函数具有很好的局部性和光滑性，使得人们通过分解系数刻划函数时，可以分析函数的局部性质和整体性质。小波分析出现之前，人们用Fourier基、Haar基来分解函数。Fourier基具有很好的光滑性，但局部性很差；而Haar基的局部性虽很好，但光滑性很差。小波基却兼有他们两者的优点。在信号分析中，由于小波分析在是时域和频域都有很好的局部特性，因此在数据压缩和边缘检测方面，小波分析是一种非常有效的方法。小波分析正处于迅速开展之中，从事小波分析的人也越来越多，随着研究的进一步深入，小波分析还将更加广泛和深入地应用在理论数学、应用数学、信号处理、图像处理与分析

5、、语音识别与合成、分形等方面。3神经网络开展历史人工神经网络是指模拟人脑神经系统的构造和功能，运用大量的处理部件，由人工方式构造的网络系统。神经网络理论突破了传统的、串行处理的数字电子计算机的局限，是一个非线性动力学系统，并以分布式存储和并行协同处理为特色，虽然单个神经元的构造和功能及其简单有限，但是大量的神经元构成的网络系统所实现的行为却是极其丰富多彩的。神经网络的研究已经有五十多年的历史，但其开展是不平衡的，大致可以分为三个阶段。1). 初始开展期20世纪40年代-20世纪60年代最早被提出的网络模型是M-P模型，是由美国心理学家McCulloch和数学家Pitts在1943联合提出的。M

6、-P模型能够完成有限的逻辑运算。1944年，心理学家 Hebb 提出了改变神经元连接强度的 Hebb规则1，它是其它许多学习规则的根底。它们至今仍在各种神经网络模型中起着重要作用。1957年，计算机科学家Rosenblatt用硬件完成了最早的神经网络模型，即感知器(Perception)，并用来模拟生物的感知和学习能力。2). 低谷期20世纪60年-20世纪70年代1969年，人工智能之父 Minsky 和 Papert 发表的“感知器(Perception)“一书指出，感知器无科学价值可言，连*OR逻辑分类都做不到，只能做线性划分。由于Minsky在学术界的地位和影响，故其后假设干年，神经网

7、络的研究进入低谷期。同时，传统的诺依曼电子数字计算机正处于开展的全盛时期，整个学术界都醉于成功的喜悦之中，从而掩盖了新型计算机开展的必然。尽管如此，在此期间仍然有不少具有真知灼见的学者不断努力，在极端困难的条件下致力于这一研究，为其开展奠定了理论根底。Boston大学的Kohonen 提出了自组织映射网络。日本的大阪大学的 Fukushima 提出了神经认知机网络模型。3). 兴盛期20世纪80年代以后20世纪70年代末期，研究和试图模拟视听觉的人工智能专家首先遇到挫折，人们习以为常的知识难以教给计算机。计算机的设计者和制造商也发现前面有不可逾越的线路微型化的物理极限，人们才开场思考诺依曼机到

8、底还能走多远。同时，VLSI、脑科学、生物学、光学的迅速开展也为神经网络的开展打下了根底。1982年，加州大学物理学家Hopfield提出了Hopfield网络模型，并用电路实现。1986年，Rumelhart 等提出了著名的误差反向传播算法，即BP算法，把学习的结果反应到神经网络的隐层，来改变权系矩阵，它是迄今为止最普遍的网络模型。Hinton 等人将模拟退火算法引入神经网络，以便得到全局最优解，该网络模型被称为Boltzmann机。1988 年，蔡少堂提出了细胞神经网络模型。20 世纪90年代以后，神经网络理论引起了美国、欧洲与日本等国科学家和企业家的极大热情，新的研究小组、实验室、风险公

9、司等与日俱增，世界各国也正在组织和实施与此有关的重大研究工程。神经网络是通过大量的神经元连接而成的，因而神经网络的性能与其部的神经元的连接方式有关。一般的，神经网络可以依据其连接方式分为以下四类2：(1) 前馈网络如图3.1所示。神经元分层排列，有输入层、隐层和输出层。每一神经元只承受前一层神经元的输入，只向后一层神经元提供输出，同层神经元之间相互独立。如感知器、BP 网络、AnF 网络和 WNN 等。它是目前最常见和应用最多的神经网络，主要应用于系统辨识、评价、预测和自适应控制等领域。输入层输出层隐层图3.1 前馈神经网络模型(2) 从输出层到输入层有反应的前向网络如图3.2所示。例如神经认

10、知机等都属于这种类型，该网络具有记忆功能可以用来存储*种模式序列和进展字符识别。图3.2 有输出反应的前向网络(3) 层有相互连接的前向网络如图3.3所示。通过层之间的相互联结，实现在同一层神经元之间的横向抑制兴奋机制，这样可以限制每一层同时运作的神经元个数，或把每一层的神经元分成假设干组可用于聚类和分类领域。图3.3 层有相互连接的神经网络(4) 相互连接网络如图3.4所示。让每一组作为一个整体来运作。这种网络比拟少见。图3.4 相互连接网络神经网络的应用已经渗透到各个领域，并在智能控制、模式识别、计算机视觉、自适应滤波、信号处理、非线性优化、语音识别、知识处理、传感技术与机器人等方面取得了

11、令人鼓舞的进展。4小波神经网络概述小波神经网络是建立在小波理论根底上的一种新型神经网络模型，是小波分析理论与传统神经网络相结合的产物。它兼容了小波与神经网络的优越性，一方面，充分利用了小波变换的时频局部化特性；另一方面，充分发挥了神经网络的自学习能力，从而具有较强的逼近与容错能力。从构造形式上看，可以把小波神经网络分成两类3：一种是小波变换与传统神经网络的结合；另一种是小波变换与传统神经网络的融合。前者称为“结合，是指它们彼此虽严密相联，但却又相互独立，用小波变换对信号进展预处理，通过将小波基与信号的积进展加权和来实现信号的特征提取。然后将提取的特征向量送入神经网络以完成函数逼近、分类等功能。

12、对第二类我们称为“融合，是将常规单隐层神经网络的隐节点的鼓励函数由小波函数来代替，相应的输入层到隐层的权值及隐层的闭值分别由小波函数的尺度与平移参数所代替，这也是目前大量研究小波神经网络文献中，广泛采用的一种构造形式。 Pati和Kri shnaprasad4最早研究了神经网络与小波变换的联系，提出了离散仿射小波神经网络。1992年Zhang Qinghua和Benveniste5明确提出了小波神经网络的概念和算法：其思想是用小波元代替了神经元，即用己定位的小波函数代替sigmoid函数作为激活函数，通过仿射变换建立起小波变换与网络系数之间的联接，并应用于函数逼近。随后SZu等6又提出了基于连

13、续小波变换两种自适应小波神经网络模型，一种用于信号表示，偏重于函数逼近；另一种偏重于选取适宜的小波做特征提取。Baskshi和Stephanopolou7用正交小波函数作为神经元的鼓励函数，提出了正交多分辨率小波神经网络。由于小波函数相互正交，训练过程中添加、删除网络节点不影响己训练好的网络权值，可使网络学习的时间缩短。另外多分辨率能保证在信号发生剧烈突变时逼近的精度。但该网络一个很大的缺点就是正交小波基函数构造十分复杂。Zhang Jun等8研究了Boubez等9的工作，提出了另一种正交的小波神经网络，选取正交且具有类紧支撑特性的尺度函数对函数进展逼近,理论分析和实验均说明这种网络在函数学习

14、中是有效的,并且具有逼近和一致估计特性。将小波神经网络和感知器网络、径向基函数网络进展了性能的比拟。石卓尔等10人在前人的根底上提出了多变量函数估计小波神经网络。雪勤等1112针对神经元个数太多、网络学习收敛速度较慢的问题，在时频分析的根底上引入了能量密度的概念，提出了一种新的小波神经网络模型。焦成13和衍达14等人研究了小波神经网络与模糊逻辑的联系，用隶属函数表示权重值，构造模糊权值、模糊输出的模糊小波神经网络模型。何振亚等15构造了一种自适应时延小波神经网络，用一个超小波逼近存在不同时延的信号，并给出了基于时间竞争的学习算法。针对前馈神经网络常用BP算法存在收敛速度慢的缺点，Zhang Q

15、inghua首次提出了小波神经网络模型使用随机梯度算法；Szu则使用共轭梯度算法；骏等16提出了基于离散小波的改良算法。小波神经网络可按如下因素进展分类：(1) 按小波基函数和学习参数的选取, 可分为1) 连续小波网络。其来源于连续小波变换的定义, 其特点是基函数的定位不局限于有限离散值, 冗余度高,展开式不唯一, 无法固定小波参数与函数之间的对应关系, 具有类似BP网络的非线性优化问题, 但小波分析理论有助于网络的初始化并指导学习过程, 使网络有较快的收敛速度。2) 离散仿射小波网络。其来源于离散仿射小波变换的反演方程, 其理论根底是小波框架, 但紧框架下的小波基不一定是正交基, 可能不具有

16、紧支特性, 代表了一定的估值冗余。该模型物理概念清楚、实现方便, 因此应用较广。3) 离散正交小波网络。其基函数为中的正交小波函数基, 主要理论依据是Daubechies的紧支撑正交小涉及Mallat的多分辨率分析, 正交小波网络由于其基函数的正交性, 对函数的逼近更有效, 但正交基构造及网络学习算法较复杂, 网络抗干扰能力较差。(2) 按小波基在网络中的作用不同, 可分为1) 激活函数型小波网络。小波函数在网络中代替了传统的sigmoid函数, 激活函数为小波函数集, 即用小波元代替了原来神经元的非线性特性；2) 权重型小波网络。小波函数集在网络中充当假设干组权重值, 输入信号是信号与小波的

17、积。此外, 还可以是上述两种类型的综合, 如选取不同的小波基在网络中分别充当激活函数和权重函数。(3) 按小波的维数不同, 可分为1) 一维小波网络。建立在域中一维小波变换根底上, 理论研究比拟成熟, 应用也较多。已经证明,小波神经网络在逼近单变量函数时是渐近最优的逼近器。2) 多维小波网络。在一维根底上利用直积定义多维母波, 或利用量积构造多维正交多分辨率分析, 并在此根底上可构造多维小波网络。关于构造多维小波框架的理论可参考文献。有一点要说明的是, 多维小波一般都具有方向性, 但神经网络应用中对小波的方向性没有要求, 因此可以用一个各向同性的函数通过平移伸缩产生多维小波框架。传统小波神经网

18、络就是以小波函数为隐层节点的基函数的神经网络，它属于前向神经网络，是小波理论与人工神经网络相结合的产物，也是小波理论和人工神经网络开展的必然结果。近些年来小波分析已成为信号处理学科的热点之一。小波变换具有良好的时频局部性质，神经网络则具有自学习功能和良好的容错能力，小波神经网络Wavelet Neural Network，WNN由于较好地结合了两者的优点而具有强大的优势。目前，神经网络的理论研究日趋深入，其重要开展方向之一，就是注重与小波、混沌、模糊集等非线性科学理论相结合。5小波神经网络的优点和存在的缺乏小波变换通过尺度伸缩和平移对信号进展多尺度分析，能有效提取信号的局部信息。神经网络具有自

19、学习、自适应和容错性等特点并是一类通用函数逼近器。小波神经网络继承了两者的优点，通过训练自适应地调整小波基的形状实现小波变换，同时具有良好的函数逼近能力和模式分类能力17。小波神经网络虽然有很多优点，但在实际应用中还存在着以下缺乏：(1) 在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络构造也将随之变的庞大，使得网络收敛速度大大下降；(2) 隐层节点数难以确定；(3) 小波网络中初始化参数问题,假设尺度参数与位移参数初始化不适宜将导致整个网络学习过程的不收敛；(4) 未能根据实际情况来自适应选取适宜的小波基函数；(5) 常用的BP训练算法，由于其自身的缺陷，易使整个网

20、络陷入局部最小。参考文献1 周继成,周青山,飘扬. 人工神经网络-第六代计算机的实现M. :科学普及,1993:17-202焦成. 神经网络系统理论M. :电子科技大学,1992:30-513吕朝霞,胡维礼.小波网络在控制中的应用J.信息与控制,2000, 1.29(6):532-5404Pati Y C and Krishnaprasad P S. Analysis and Synthesis of Feedforward Network usingDiscrete Affine Wavelet TransformationsJ. IEEE Trans on NN.1993, 4(1):73

21、-855Zhang Qinghua, Benvennise Albert. Wavelet networks. IEEE Trans on NNJ. 1992,3(6):889-8956Szu Harold H, Telfer Brain. Neural network adaptive wavelets for signal representation andclassificationJ. Optical Engineering, 1988, 41:909-9967Baskshi B R and Stepphanopolous G.Wave-net: a Multiresolution, hierarchical neuralnetwork with localized learningJ. AIChE Journal, 1993, 39(1):57-818Zhang Jun, et al. Wavelet neural networks