人工神经网络综述(共25页)

1、精选优质文档-倾情为你奉上目录人工神经网络综述人工神经网络（Artificial Neural Networks，ANN）系统是 20 世纪 40 年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信 息存储、良好的自组织自学习能力等特点。BP（Back Propagation）算法又称为误差 反向传播算法，是人工神经网络中的一种监督式的学习算法。BP 神经网络算法在理 论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识

2、别、智能控制、故障诊断等许 多领域都有着广泛的应用前景。1 人工神经网络算法的工作原理人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和。但是神经细胞的形态比较特殊，具有许多突起，因此又分

3、为细胞体、轴突和树突三部分。细胞体内有，突起的作用是传递信息。树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。树突是细胞体的延伸部分，它由细胞体发出后逐渐变细，全长各部位都可与其他神经元的末梢相互联系，形成所谓“突触”。在突触处两神经元并未连通，它只是发生信息传递功能的结合部，联系界面之间间隙约为（1550)×10米。突触可分为与抑制性两种类型，它相应于神经元之间耦合的极性。每个神经元的突触数目正常，最高可达10个。各神经元之间的连接强度和极性有所不同，并且都可调整、基于这一特性，人脑具有存储信息的功能。利用大量神经元相互联接组成可显示出人的大脑的某些特征。是由大

4、量的简单基本元件神经元相互联接而成的自适应非线性。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。反映了人脑功能的若干基本特性，但并非的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。首先要以一定的学习准则进行学习，然后才能工作。现以对于写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。所以的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络

5、减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。如果输出为“0”(即结果错误)，则把网络连接朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行

6、若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。2 人工神经网络研究内容神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。目前，主要的研究工作集中在以下几个方面：（1）生物原型研究从生理学，心理学、剖析学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能基理。（2）建立理论模型根据生物原型的研究，建立神经元、神经网络的理论模型，包

7、括概念模型、知识模型、物理化学模型、数学模型等。（3）网络模型与算法研究在理论模型研究的基础上构建具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也被称为技术模型研究。神经网络用到的算法就是向量乘法，并且广泛应用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特征，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。（4）人工神经网络应用系统在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理活模式识别的功能、构建专家系统、制成机器人等。3 人工神经网络的特点人工神经网络主要具有以下几个特点：

8、（1）自适应能力。人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的可以表现出非凡的运动技巧等等。普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是或

9、称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。（2）指对没有训练过的样本，有很好的预测能力和控制能力。特别是，当存在一些有噪声的样本，网络具备很好的预测能力。（3）非线性映射能力当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用，偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知，系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输出的映射关系，这就大大简化设计的难度。

10、（4）高度并行性并行性具有一定的争议性。承认具有并行性理由：神经网络是根据人的大脑而抽象出来的数学模型，由于人可以同时做一些事，所以从功能的模拟角度上看，神经网络也应具备很强的并行性。4 典型的神经网络结构网络的拓扑结构是神经网络的重要特性，神经网络的各种模型层出不穷，但最常见的结构是前馈神经网络和反馈神经网络两大类。4.1 前馈神经网络模型4.1.1 自适应线性神经网络(Adaline)自适应线性神经网络（Adaptive Linear，简称Adaline) 是由威德罗（Widrow）和霍夫（Hoff）首先提出的。它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值

11、，而不仅仅只是像感知器中那样只能取0或1。它采用的是WH学习法则，也称最小均方差(LMS)规则对权值进行训练。自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。 4.1.1.1网络结构图4-1为其网络结构： 图4-14.1.1.2学习算法步骤（1）设置变量和参量： 为输入向量，或称训练样本。为权值向量。为偏差，为实际输出，为期望输出，为学习速率，为迭代次数。（2）初始化，赋给各一个较小的随机非零值，。（3）对于一组输入样本和对应的期望输出，计算：（4）判断是否满足条件，若满足算法条件，则结束。若不满足，将值加1，转第三步重新执行。4.1.1.3优缺点优点：(1)Adaline网络可以

12、学习输入输出矢量之间的线性关系，并产生一个具有误差平方和最小的线性逼近；(2)对于一些实际问题，常常并不需要求出其完美的零误差时的解。也就是说允许存在一定的误差。这时，采用Adaline网络求解，可以很快地训练出满足一定要求的网络权值。缺点：(1)输入和输出之间的非线性关系不能用Adaline网络精确地设计出。(2)对于特别简单的问题，采用自适应线性网络的训练不一定能够得到足够精确的解。因为当训练误差达到期望误差值后，训练即被终止。 4.1.2单层感知器单层感知器（Perceptron）是由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出的。它是一个具有单层神经元的网络，由

13、线性阈值逻辑单元所组成。它的输入可以是非离散量，而且可以通过学习而得到，这使单层感知器在神经网络研究中有着重要的意义和地位：它提出了自组织、自学习的思想，对能够解决的问题，有一个收敛的算法，并从数学上给出了严格的证明。4.1.2.1网络结构当给定一个输入向量，在阈值和权值的作用下，单层感知器的输出为： （4-1）如果输入向量有个样本，即，把样本看作是维空间的一个向量，那么个样本就是输入空间的个向量。由于单层感知器神经元的输出只有两种可能，即1或-1。这样方程（4-1）就把这维输入空间分为两个子空间，其分界线为维的超平面。通过调节权值和阈值可以改变这个维超平面的位置以达到对样本的正确划分。图4-

14、2为其网络结构：图4-24.1.2.2学习算法步骤单层感知器的具体学习步骤如下：(1) 给定初始值：各赋给和一个较小的随机非零值，这里为时刻第个输入上的权。(2) 输入一样本和它的希望输出，如果类，；如果类，。(3)计算实际输出：(4) 修正权：， 式中为比例系数，用于控制权值的修正速度，也称为学习速度。通常要适中，不能太大也不能太小，太大会影响的稳定，太小会使的收敛速度太慢。当实际输出与已知的输出值相同时，不变。(5) 转到步骤（2）直到对个样本均稳定不变为止。4.1.2.3优缺点优点：单层感知器适用于线性分类，在多维样本空间中起到一个将两类模式样本分开的超平面作用。缺点：（1）由于单层感知

15、器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题； （2）单层感知器仅能够线性地将输入矢量进行分类，并且不能对非线性可分的输入模式进行分类。如：异或问题； （3）当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。 4.1.3多层感知器和BP算法单层感知器由于只有一个神经元，功能单一，只能完成线性决策或实现“与”、“或”、“非”等单一逻辑函数。多层感知器（Multilayer Perceptron）是在单层感知器的基础上发展起来的，它是一种在输入层与输出层之间含有一层或多层隐含结点的具有正向传播机制的神经网络模型。多层感知器克服了单层感知器

16、的许多局限，它的性能主要来源于它的每层结点的非线性特性（节点输出函数的非线性特性）。如果每个结点是线性的，那么多层感知器的功能就和单层感知器一样。在人工神经网络中，应用最普遍的是多层前馈网络模型。在1986年，Rumelhant和McClelland提出了多层前馈网络的误差反向传播（Error Back Propagation）学习算法，简称BP算法，这是一种多层网络的逆推学习算法。由此采用BP算法的多层前馈网络也广泛被称为BP网络。4.1.3.1网络结构：图4-3为其网络结构，它由输入层、输出层和中间层（隐层）组成。 X1X2XnOmO2O1输出层隐藏层输入层图4-34.1.3.2 BP算法

17、BP算法由信号的正向传播和误差的反向传播两个过程组成。(1) 正向传播，输入样本从输入层进入网络，经隐层逐层传递至输入层，如果输入层的实际输出与期望输出（导师信号）不同，则转至误差反向传播；如果输出层的实际输出与期望输出（导师信号）相同，结束学习算法。(2) 反向传播，将输出误差（期望输出与实际输出之差）按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个神经元，获得各层各神经元的误差信号，并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。4.1.3.3算法学习规则对于输入输出对，网络的实际

18、输出为，为前一层第个神经元输入到后一层第个神经元的权重，当神经元为输入层单元时，。 激发函数为半线性函数。BP算法的学习规则为：推理过程：（注意：表示上一层到下一层的输入，不同函数的不同）带"势态项"的BP算法学习规则：其中a为常数，它决定过去权重的变化对目前权值变化的影响程度。为上一次权值的变化量。4.1.3.4算法步骤以激活函数全部取为例，则BP算法步骤详细描述如下：(1) 置各权值或阈值的初始值：, 为小的随机数。(2) 提供训练样本：输入矢量， ，期望输出， 对每个输入样本进行下面(3)到(5)的迭代。(3) 计算网络的实际输出及隐层单元的状态：(4) 计算训练误差

19、：(5) 修正权值和阈值：(6) 当每经历1至后, 计算为网络实际输出。如果，则到(7)，否则到(3)。(7) 结束。4.1.3.5优缺点优点：（1）具有强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入；（2）应用广泛，如：函数逼近、模式识别和分类、数据压缩等。缺点：（1）需要较长的训练时间；（2）BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解；（3）泛化性能只对被训练的输入输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差。4.2反馈神经网络模型反馈神经网络

20、模型可用一完备的无向图表示。从系统的观点看，反馈神经网络模型是一反馈动力学系统，它具有极复杂的动力学特性。在反馈神经网络模型中，我们关心的是其稳定性，稳定性是神经网络相联存储性质的体现，可以说稳定就意味着完成回忆。从计算的角度讲，反馈神经网络模型具有比前馈神经网络模型更强的计算能力，它包括Hopfield神经网络、海明神经网络和双向联想存储器。4.2.1 Hopfield神经网络1982年，美国神经网络学者霍普菲尔德（J.J.Hopfield）提出了反馈型的全连接神经网络，是一种对记忆功能的较好模拟。Hopfield神经网络的结构特点是：每一个神经元的输出信号通过其它神经元后，反馈到自己的输入

21、端。这种反馈方式有利于通过联想记忆实现最优化，经过分析比较与判断确定最优解决问题的方法。网络状态的演变是一种非线性动力学系统的行为描述过程，作为一种非线性动力学系统，系统从初始化出发后，系统状态经过演变可能发生如下结果：(1)渐进稳定形成稳定点，又称为吸引子。(2) 极限环状态。(3) 混沌状态。(4) 发散状态。发散状态是不希望看到的。对于人工神经网络而言，由于选取网络的变换函数为一个有界函数，因此系统状态不会演变成发散。在Hopfield网络中，如果其传输函数是一个二值型的硬函数，则称此网络为离散型Hopfield网络；如果传输函数是一个连续单调上升的有界函数，则称此网络为连续型Hopfi

22、eld网络。4.2.1.1网络结构（1）离散Hopfield神经网络结构离散Hopfield网络是单层全互连的， 共有个神经元。每个神经元都通过连接权接收所有其他神经元输出反馈来的信息，其目的是为了让任一神经元的输出能接受所有神经元输出的控制，从而使各神经元能相互制约。为神经元的阈值；为神经元与的连接权值。图4-4为其网络结构：图4-4（2）连续Hopfield神经网络结构 模仿生物神经元及其网络的主要特性，连续型Hopfield网络利用模拟电路构造了反馈人工神经网络的电路模型，图4-5为其网络结构：图4-54.2.1.2 学习算法Hopfield网络按动力学方式运行，其工作过程为状态的演化过

23、程，即从初始状态按“能量”减小的方向进行演化，直到达到稳定状态，稳定状态即为网络的输出状态。4.2.1.3 Hopfield网络工作方式Hopfield网络的工作方式主要有两种形式：（1）串行（异步）工作方式：在任一时刻，只有某一神经元（随机或确定的选择）变化，而其他神经元的状态不变。（2）并行（同步）工作方式：在任一时刻，部分神经元或全部神经元的状态同时改变。4.2.1.4 Hopfield网络运行步骤下面以串行方式为例说明Hopfield网络的运行步骤：（1）对网络进行初始化；（2） 从网络中随机选取一个神经元；（3）求出神经元的输入： （4） 求出神经元的输出，此时网络中的其他神经元的输

24、出保持不变；说明：,为激励函数，可取阶跃函数或符号函数。如取符号函数，则Hopfield网络的神经元输出取离散值1或1，即：（5）判断网络是否达到稳定状态，若达到稳定状态或满足给定条件，则结束；否则转至第二步继续运行。这里网络的稳定状态定义为：若网络从某一时刻以后，状态不再发生变化。即：。4.2.1.5优缺点优点：Hopfield网络主要用于从片段中进行图像和数据的完全恢复。缺点：处理单元间连接权值需预先设置，并且单元之间的连接是要对称的，它没有学习能力。4.2.2海明神经网络（Hamming）海明（Hamming）网络由匹配子网和竞争子网组成。匹配子网在学习阶段将若干类别的样本记忆存储在网络

25、的连接权值中；在工作阶段（回忆阶段），该子网计算输入模式和各个样本模式的匹配程度，并将结果送入竞争子网中，由竞争子网选择出匹配子网中最大的输出。从而，实现了对离散输入模式进行在海明距离最小意义下的识别和分类。4.2.2.1网络结构图4-6为其网络结构：图4-64.2.2.2学习算法（1）Hamming距离如果将模式用向量来表示，Hamming距离是指两个模式不同元素的个数。如：A(0 0 1 1 0) ，B=(1 0 1 0 1）则：H(A, B)=3。（2）Hamming网络的学习之权值设置竞争子网的连接权值设置方法：匹配子网的连接权值设置方法：（3）Hamming网络的学习之阈值设置：竞争

26、子网神经元的阈值设置为0；匹配子网神经元阈值的设置为：；为匹配子网中神经元的个数。（4）Hamming网络学习算法描述网络的学习过程采用竞争学习算法，而竞争学习包含以下主要过程：网络对刺激做出响应，具有最大响应的神经元被激活，该神经元成为获胜神经元并获得学习的机会，更改获胜神经元的权值。其中，只有最大响应的神经元被激活的这一特征被称为“胜者为王”机制。其具体学习算法描述如下：设置变量和参量：为输入向量，其元素均为二进制元素。，为前向子网络的权值向量；为竞争子网络的权值。为实际输出。为学习速率，代表Hamming网络的第次训练，为竞争子网络迭代过程中的迭代步数，而为预设的总的训练次数。初始化：对

27、于前向子网络权值，用小的随机值进行初始化并满足约束条件对于（），而神经元的输出函数选取线性函数并且给定总的迭代次数。选取训练样本。计算竞争子网络神经元的初始输入即前向子网络的输出： 计算竞争子网络的迭代过程：观察竞争子网络的输出，当输出达到要求时（只有一个输出为正，其余为零）转第七步，否则等于，转到第五步继续迭代。将输出最大的神经元定为获胜神经元，并将其输出置为1，其他神经元的输出置为0，实现“胜者为王”。更新获胜神经元的权值向量： 其中，为在输入向量中元素为1的个数。 判断网络的当前训练次数是否大于，如果小于，则等于，回到第三步进行新的一次训练，否则结束网络训练过程。4.2.2.3特点Ham

28、ming网络与Hopfield网络不同，它分别计算未知输入模式与每个已知标准样本模式的Hamming距离，对应距离最小的那个标准样本模式即是可以和输入模式匹配的模式。而对Hopfield网络而言，作为一识别器，要么精确地找到一个可以匹配的标准样本模式，要么找不到，即得到“不能匹配”的结果。4.2.3双向联想存储器（BAM）双向联想存储器（BAM）是由日本的Kosko提出的一种神经网络模型，它是ART网络模型的一种简化形式， 是一种异联想存储器。它能存储成对的模式，。和是不同向量空间中的向量。如果模式输入到BAM，输出是模式，且若与最为接近，就是在BAM所存储的向量。BAM网络模型中的神经元为非

29、线性单元，每个神经元的作用相当于一个非线性函数，这个函数一般取为型函数：。4.2.3.1 网络结构在中有个处理单元，在中有个处理单元。每一个域中的神经元均与另一个域中所有神经元相连。图4-7为其网络结构：图4-74.2.3.2学习算法（1）BAM模型神经元的输出一般情况下，每个处理单元的输出取0,1之间的值，但在应用中通常取输出值为二值：0或1，这样按处理单元门限规定，每个处理单元要么为开状态，要么为关状态。若输入大于阈值，则输出为1；若输入小于阈值，则输出为0；当输入与阈值相等时，处理单元输出保持原来状态不变。（2）BAM模型的信息存储在双向联想存储模型中，所有的信息都是包含在一个的矩阵中的

30、。这个矩阵实际上是一个权值矩阵，信息就是由这个权值矩阵来表达。如果产生一个稳定的双向联想存储器，则所有的输入都可以很快地映射到稳定的输出模式。由于要将不同的联想模式对收敛到局部能量极小点上，所以所要学习的模式对或联想个数必须小于域和域中处理单元的个数，即：（3）BAM模型学习基础：双极矩阵（向量）：双极矩阵（或向量）是在二元矩阵（或向量）的基础上，将0代之以1而得到的。如： 二元向量和，其相应的双极向量为和。双向联想存储器在学习时，先将二元向量对转换成双极向量对，然后计算双极伴随矩阵，最后将所有的双极伴随矩阵相加起来便得到权值矩阵，即：（4）BAM模型记忆模式擦除要从双向联想存储器中擦去某个记

31、忆模式，例如要去掉模式对，只要在权值矩阵中减去该联想对的双极伴随矩阵，即：（5） BAM模型的联想过程联想过程是一个自适应调整过程，目的是使最后的输出能够更加逼近理论上的输出值。（6） BAM模型的学习过程：将输入模式送入双向联想存储器域中。域中的各神经元计算其接收值,对于域中的处理单元有： 域中每个神经元也可计算其接收值，即：修改域和域中各处理单元的状态：当或时，则神经元保持原来状态不变。然后重复上述过程，直到系统进入稳定状态，也即与的状态不再改变为止。这时域的输出即为最终所得结果。4.2.3.4优缺点优点：BAM模型的联想和学习方式具有纠错功能，也就是说当输入模式与学习模式不完全相同时，它

32、可以联想出正确的模式；主要用作按内容寻址的相联存储。缺点：存储容量小而且需很好地进行编码。5.人工神经网络发展趋势以及待解决的关键问题神经网络在很多领域已经得到了很好的应用，但其需要研究的方面还很多。其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已成为一大研究热点。由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短。继而可以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论和灰色系统分等的融合。下面主要就神经网络与小波分析、混沌、粗集理

33、论、分形理论的融合进行分析。5.1 与小波分析的结合传统的信号理论，是建立在基础上的，而Fourier变换作为一种全局性的变化，其有一定的局限性，如不具备局部化分析能力、不能分析非平稳信号等。在实际应用中人们开始对Fourier变换进行各种改进，以改善这种局限性，如（短时傅立叶变换）。由于STFT采用的的滑动窗函数一经选定就固定不变，故决定了其时频分辨率固定不变，不具备自适应能力，而很好的解决了这个问题。小波分析是一种新兴的分支，它是、Fourier分析、的最完美的结晶；在应用领域，特别是在、以及众多领域，它被认为是继Fourier分析之后的又一有效的时频分析方法。小波变换与Fourier变换

34、相比，是一个时间和频域的局域变换因而能有效地从信号中提取信息，通过平移等运算功能对或信号进行多尺度细化分析（Multiscale Analysis），解决了Fourier变换不能解决的许多困难问题。小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合，因而具有较强的逼近能力和容错能力。在结合方法上，可以将小波函数作为传递函数构造神经网络形成小波网络，或者小波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特征，作为神经网络的输入。5.1.1小波神经网络的应用小波神经网络在电机故障诊断、电压

35、电网故障信号处理与保护研究。轴承等机械故障诊断以及许多方面都有应用，将小波神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟踪控制性能，以及好的鲁棒性，利用小波神经网络进行心血管疾病的智能诊断，小波层进行时频域的自适应特征提取，前向神经网络用来进行分类，正确分类率达到94%。5.1.2待解决的关键技术问题小波神经网络虽然应用于很多方面，但仍存在一些不足。（1）从提取精度和小波变换实时性的要求出发，有必要根据实际情况构造一些适应应用需求的特殊小波基，以便在应用中取得更好的效果；（2）在应用中的实时性要求，也需要结合DSP的发展，开发专门的处理芯片，从而满足这方面的要求。5.2混沌神经网络由

36、于神经网络是高度非线性动力学系统，而混沌又具有上述的特性，因此神经网络与混沌密切相关，所以混沌神经网络被认为是可实现其真实世界计算的智能信息处理系统之一。目前对混沌神经网络的研究还处于初始阶段，其研究主要限于认识单个的混沌特性和对简单混沌神经网络的行为分析。1990年，Aihara等在前人推导和的基础上，给出了一个混沌神经网络模型。大量的生物实验表明，脑神经系统具有、混沌和奇怪吸引子行为，然而，神经网络作为一个极其复杂的是否也具有类似的动力学行为呢？下面先介绍两种混沌神经元的基本模型，并对特性进行分析，进而引出了混沌神经网络模型。目前广泛研究的混沌神经网络模型是在Hopfield神经网络中引入

37、了一个具有混沌特性的项，进而得到了混沌神经网络模型，因此在深入研究混沌神经网络之前，有必要先介绍一下Hopfield神经网络。美国物理学家J.J.Hopfield首先提出一种单层反馈网络系统，这种单层就称为Hopfield网络。的非线性和高维数，使得现有工具难以确定其状态轨迹，甚至可能出现。由于具有混沌特性的神经网络其特性十分复杂，因此获得了广泛研究。5.2.1混沌神经网络的应用混沌神经网络由于其复杂的动力学特性，在动态联想记忆。系统优化、信息提取、人工智能等领域受到人们极大的关注。混沌吸引子的吸引域存在，形成了混沌神经网络固有容错功能。这对复杂的模式识别、图像处理等工程应用发挥着重要作用。5.2.2待解决的关键技术问题为了更好地应用混沌神经网络的动力学特性，并对其存在的混沌现象进行有效