神经网络的综述

1、.绪论31神经网络的提出与发展3 1.御经网络的定义31.3经网络的发展历程41.4神经网络研究的意义 62. BP神经网络 72.1B神经网络介绍72.2B算法的研究现状72.3BPP络的应用 8 2基本结构与学习算法8 2.劭作过 TOC o 1-5 h z 程112.6主要特点及参数优选 133.BP网络在复合材料研究中的应用 15 3.材料设计15 3性能预测16 2.4伤检测和预测172.5论做谢:18BP神经网络综述摘要:本文阐述了人工神经网络和神经网络控制的基本概念特点以及两者之间的关系，讨论了人工神经网络的两个主要研究方向神经网络的VC维计 算和神经网络的数据挖掘，着重介绍了人

2、工神经网络的工作原理和神经网络控制技术的应用首先介绍了神经网络的发展历程，随后对BP神经网络的学 习方法分为了导师知识学 习训练和模式识别决策，并重点分析了导师知识学 习训练的网络结构和学习算法， 最后介绍了 BP神经网络在性能预测中的应 用。关键词:人工神经网络；神经网络控制；应用;维;数据挖掘Abstract:Itexpounds the basic concepts, characteristics of the artificial neural network and neural network control and the relationship between them.I

3、t discusses two aspects:the Vapnik-Chervonenkis dimension calculation and the data mining in neural nets.And the basic principle of artificial neural networks and applications of neural network control technology are emphatically introduced. Key words:ArtificialNeural Networks; Neural Network Contro

4、l;this paper introduces the developing process of neural networ ks, and then it divides the learning methods of BP neural network into a instructor knowledge learning training and pat tern recognition decisions, and focus on analysis of the net work structure and learning algorithm of knowledge and

5、learni ng mentors training .And finally it introduces the applicatio ns of BP neural network in performance prediction.Application;Vapnik-Chervonenkis Mimension;Data Mining.绪论神经网络的提出与发展系统的复杂性与所要求的精确性之间存在尖锐的矛盾。为此,通过模拟人类学习和自适应能力，人们提出了智能控制的思想。控制理论专家Austrom在IFAC大会上指出:模糊逻辑控制、神经网络与专家控制是三种典型的控制方法。通常专家系统建立在

6、专家经验上，并非建立在工业过程所产生的操作数据上，且一般复杂 系统所具有的不精性、不确定性就算领域专家也很难把握，这使建立专家系统非 常困难.而模糊逻辑和神经网络作为两种典型的智能控制方法，各有优缺点.模糊逻辑与神经网络的融合 模糊神经网络（Fuzzy Neural Network由于吸取了模糊逻辑 和神经网络的优点，部分避免了两者的缺点，已经成为当今智能控制研究的热点之 一.人工神经网络（ArtificialNeural NetworkANN,简称为 神经网络（NN,作为对 入脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统。它的出现成为人们进一步了解入脑思维

7、奥秘的有力工具。尽管它还不是大脑的完美无缺的模型，但它特有的非线性适应性信息处理能力，可以通过学习 来获取外部的知识并存储在网络内，可以解决计算机不易处理的难 题,特别是语音和 图像识别、理解、知识的处理、组合优化计算和智能控制等系列本质上非计算的问题，使之在神经专家系统、模式识别、智能控制、组合优 化、预测等领域得到成 功应用。人工神经网络与其他传统方法相结合，将推动人工智能和信息处理技术不 断发展。80年后代期，特别是在近年来，神经网络的研 究取得了很大的进展，在神经 网络这个涉及生物、电子、计算机、数学、物理等 多种学科的新的高科技领域中， 吸引了众多的神经生理学家、心理学家、数学家、计

8、算机与信息科学以及工程师 和企业家等。大量的有关神经网络机理、 模型、算法特性分析，以及在各方面应 用的研究成果层出不穷，在国际上掀起了一股人工 神经网络的研究热潮。神经网络的定义神经网络是由多个简单的处理单元彼此按某种方式相互连接而形成的计算机系 统，该系统通过对连续或断续式的输入作状态响应而进行信息处理。虽然每个神经元的结构和功能十分简单，但由大量神经元构成的网络系统的行为确实丰富多 彩和 十分复杂。BP神经网络是基于BP算法的多层前馈网络，具网络结构简单，算法成熟，具有 自学习和自适应等优点，并且具有非线性动力学的特点。BP算法通过输入、输出数据样本集，根据误差反向传递的原理，对网络进行

9、训练，其学习过程包括信息的 正 想传播过程以及误差的反向传播这两个过程，对其反复训练，连续不断地在相对误 差函数梯度下降的方向上，对网络权值和偏差的变化进行计算，逐渐逼近，目标。典 型的BP神经网络由一个输入层、 至少一个隐含层和一个输出层组成。一个典型的三层BP神经网络如下图所示输入输入层 隐含层输出层输出神经网络的发展历程人工神经网络的研究始于20世纪40年代。半个多世纪以来，它经历了一条由 兴起到衰退，又由衰退到兴盛的曲折发展过程，这一发展过程大致可以分为以下四 个阶段。1、初始发展阶段人工神经系统的研究可以追溯到1800年Frued的前精神分析学时期，他已做了 些初步工作1913年人工

10、神经系统的第一个实践是 Russell描述的水力装置。1943 年美国心理学家 Warren S McCulloch与数学家 Water H P让ts合作，用逻辑的数 学工 具研究客观事件在形式神经网络中的描述，从此开创了对神经网络的理论研 究。他 们在分析、总结神经元基本特性的基础上，首先提出了神经元的数学模型，简称胛 模型。从脑科学研究来看，MP模型不愧为第一个用数理语言描述脑的信息处理过 程的模型。后来MP模型经过数学家的精心臻理和抽象，最终发展成一种有 限自动 机理论，再一次展现了 MP模型的价值。此模型沿用至今，直接影响着这一 领域研 究的进展。通常认为他们的工作是神经网络领域研究工

11、作的开始。在McCulloch和P让ts之后，1949年心理学家D. 0. Hebb发表了论著 行为自组 织”首先提出了一种调整神经网络连接权值的规则。他认为，学习过程是在实触上发生的,连接权值的调整正比于两相连神经元活动状态的乘积，这就是著名的Hebb学习律。直到现在，Hebb学习律仍然是神经网络中的一个极为重要的学习规 则。人工神经网络第一个实际应用出现在1957年,F.Rosenblatb ”提出了著名的 感知器(Perceptron模型和联想学习规则。这是第一个真正的人工神经网络。这个模 型由简单的闽值神经元构成，初步具备了诸如并行处理、分布存储和学习等 神经网络的一些基本特性，从而确

12、立了从系统角度研究神经网络的基础。同时。 在1960年 B.Widrow和M.E.Hoff ”提出了自适应线性元件网络，简称为Adaline(Adaptive1inear element不仅在计算机上对该网络进行了模拟，而且还做成了硬件。同时他们还提 出了 WidrowHoff学习算法，改进了网络权值的 学习速度和精度，后来这个算法被称为LMS算法，即数学上的最速下降法，这种算法在以后的BP网络及其他信号处理 系统中得到了广泛的应用。2、低潮时期但是,Rosenblatt和Widrow的网络都有同样的固有局限性。这些局限性在 1969 年美国麻省理工学院著名的人工智能专家M. Minsky和S

13、. Papert共同出版的名为感知器”的专著中有广泛的论述。他们指出单层的感知器只能用于线性问题的求解，而对于像XOR（异或这样简单的非线性问题却无法求解。他们还指出，能够求解非线性问题的网络，应该是具有隐层的多层神经网络，而将感知器模型扩展到 多层网络是否有意义，还不能从理论上得到有力的证明。Minsky的悲观结 论对当时神经网络的研究是一个沉重的打击。由于当时计算机技术还不够发达，VLSI尚未出现，神经网络的应用还没有展开，而人工智能和专家系统正处于发展 的高潮，从而 导致很多研究者放弃了对神经网络的研究，致使在这以后的10年中，神经网络的研究进入了一个缓慢发展的低潮期。虽然在整个20世纪

14、70年代,对神经网络理论的研究进展缓慢，但并没有完全停 顿下来。世界上些对神经网络拖有坚定信心和严肃科学态度的学者一直没有放 弃他们的努力，仍然在该领域开展了许多重要的工作。如1972年Teu。Kohonern 1和Jallles Anderson分别独立提出了能够完成记忆的新型神经网络 ，Stephen Grossberg ”在自组织识别神经网络方面研究也十分活跃。同时也出现了一些新的神经网络模型，如线性神经网络模型、自组织识别神经网络模型以及将神经元的 输出函数与统计力学中的玻耳兹曼分布联系的Boltzmann机模等，都是在这个 时期出现的。3、复兴时期在60年代，由于缺乏新思想和用于实验

15、的高性能计算机，曾一度动摇了人们对 神经网络的研究兴趣。到了 80年，随着个人计算机和工作站计算机能力的急剧增强和广泛应用，以及不断引入新的概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。其中有两个新概念对神经网络的复兴具有极大的意义。其一是用统计机理解释某些类型的递归网络的操作，这类网络可作业 联想存储器。美国加州理工学院生物物理学家John.J.Hop巾eld博士在1982年的研究论文就论述了这些思想。在他所提出的Hop巾eld网络模型中首次引入网络能量的概 念，并给出了网络稳定性判据。Hopfield网络不仅在理论分析与综合上均达到了相 当的深度，最有意义的是该

16、网络很容易用集成电路实现。Hopfied网络引起了许多 科学家的理解与重视，也引起了半导体工业界的重视。1984年,AT&TBell实验室宣 布利用Hopfield理论研制成功了第一个研究神经网络芯片。尽管早期的Hopfield网络还存在一些问题，但不可否认，正是由于Hopfiel d的研究才点亮了神经网络复 兴的火把，从而掀起神经网络研究的热潮。其二是在1986年D.E.Rumelhart和J.L.Mcglelland 及其研究小组提出 PDP(ParallclDistributedProcessing网络思想，则为 神经网络研究新高潮的 到来起到了推波助澜的作用。其中最具影响力的反传算法

17、是David RumeIhart和JamesMcClelland提出的。该算法有力地回答了60年代Minsky和Papert对神经网络的责难，已成为至今影响最大，应用最广的一种网络学 习算法。4、20世纪80年后期以来的热潮20世纪80年代中期以来，神经网络的应用研究取得很大的成绩，涉及面非常广 泛。为了适应人工神经网络的发展，1987年成立了国际神经网络学会，并于同年在 美国圣地亚哥召开了第一届国际神经网络会议。此后，神经网络技术的研究始终呈现出蓬勃活跃的局面，理论研究不断深入，应用范围不断扩大。尤其是进入 20世纪 90年代，随着IEEE神经网络会刊的问世，各种论文专著逐年增加，在全世界

18、范围内 逐步形成了研究神经网络前所未有的新高潮。从众多神经网络的研究和应用成果不难看出，神经网络的发展具有强大的生命 力。尽管当前神经网络的智能水平不高，许多理论和应用性问题还未得得到很好的 解决，但是，随着人们对大脑信息处理机制认识的目益深化，以及不同智能学 科领域 之间的交叉与渗透，人工神经网络必将对智能科学的发展发挥更大的作用。神经网络研究的意义神经网络是在许多学科的基础上发展起来的，它的深入研究必然带动其他学科 的发展。许多现代科学理论的创导者对脑的功能和神经网络都有着强烈的兴趣，并从中得到了不少启示 创导或发展了许多新理。 论冯-诺依曼曾谈到计算机和大脑 在结构和功能上的异同，对它们

19、从元件特性到系统结构进行了详尽比较。McCulloch和Pitts提出的形式神经元模型导致了有限自动机理论的发展 ,是最终促 成第一台冯-诺依曼电子计算机诞生的重要因素之一。维纳的 控制论 一书就是专门讨论动物机器的控制和通信问题的。他本人也对神经系统中若干问题进行了探 索,例如兴奋波在可兴奋组织中的传导，神经系统中的节律现象等。 晚年他专心于神 经控制论研究，对感官代偿等问题抱有强烈的兴趣。信息论的奠基 人香农也曾探索 过人的智力放大问题。我国著名学者钱学森在他的 工程控论中，专辟章节论述生 物体的调节控制和神经网络问题。因此，早在20世纪四五十年代，神经系统的功能 研究已经引起这些现代科学

20、理论开拓者的兴趣 ，并对他们 各自理论的产生创立理论 基础。神经生物学家也正在期待着另一次理论的飞跃，这将使他们能够解释已知的 各种现象，并提出可由实验室验证的假说。虽然他们 已积累了大量关于大脑组成大 脑外形以及大脑运转基本要素等知识，但他们仍然解答不了有关大脑信息处理的一 些实质性问题。而建立的对认知过程的一种定量 描述,则为神经科学家提出了一个 独一无二的机会来发展和验证大脑的工作理。神经网络理论的发展，推动了理论神经科学的产生和发展，为计算神经科学提供 了必要的理论和模型。同时，也促进脑科 学向定量精确和理论化方向发展。以神经网络研究为开端，整个学术界对计算的概 念和作用有了新的认识和

21、提高。计算 并不局限于数学中，并不仅仅采用逻辑的离散 的形式，而且大量的运算表现在对模拟量的并行计算。对于后一类计算，传统的计算 机无法施展其威力。神经网络 的数学理论本质上是非线性的数学理论，因此，现代 非线性科学方面的进展必 将推动神经网络的研究，同时神经网络理论也会对非线性 科学提出新课题。神经网络研究的对象是神经系统，这是高度进化的复杂系统，也是 系统科学中一个重要的具体领域。神经网络研究不仅重视系统的动态特性，而且强 调事件和信息在 系统内部的表达和产生。 神经网络在国民经济和国防科技现代化 建设中具有广阔的应用领域和应用前景。主要应用有：语音识别、图像识别和理解计算机视觉、智能机器

22、人、故障机器人、故障检测、实施语音翻译、企业管理、 市场分析、决 策优化、物资调运自适应控制、专家系统、智能接口、神经生理 学、心理学和认 知科学研究等等。随着神经网络理论研究的深入以及网络计算能 力的不断提高，神经网络的应用领域将会不断扩大，应用水平将会不断提高，最终达到 神经网络 系统可用来帮人做事的目的，这也是神经网络研究的最终目标。神经网络 研究在 近十几年取得了引人瞩目的进展，从而激起了不同学科与领域的科学家和企 业家的巨大热情和浓厚的兴趣。我们相信，神经网络将使电子科学和信息学产生革 命性的变革。5.BP神经网络通过改变神经元连接方式、数量和层数，就可以组成不同的人工神经网络模 型

23、。其中应用最广泛的就是BP(ErrorBack Propagation神经网络模型，目前80%以 上的神经网络应用都是基于 BP网络或其改进形式。. BP神经网络2.1BP神经网络介绍BP神经网络模型是由输入层、输出层和若干个隐含层组成的多层前馈网络模 型，中间的隐层可扩展为多层，相邻层之间各神经元进行全连接，而每层各神经元之 间无连接。BP神经网络按有教师示教的方式进行学习，当一对学习样本数据提供给网络后 各神经元获得网络的输入响应产生一定的连接权值,然后根据期望输出与实际网络 输出误差减小的方向，从输出层返经各中间层逐层调整各连接权值，回到输入层。 此过程反复交替进行，直至网络的全局误差达

24、到给定的误差极小值，就完成学习的 过程.这个过程，也就是BP神经网络通过误差反向传播来消除误差的过程，每个步骤 所使用的公式在数学上可以完全推导证明，这使得BP网络在应用方面可 操作性非 常强。在BP网络学习完成后，它的知识编码呈分布式存储整个权值网络 中，再加 上BP神经网络结构的并行处理特征，使得BP网络具有一定的容错能力、模式识别能力、自组织、自适应、自学习能力，它可以解决大多数人工神经网络 所面临的 许多问题。2.2BP算法的研究现状BP算法采用误差最小梯度下降法，使最小均方误差MSE收敛到指定精度。1989年Robert Hecht.Nietson证明了对于闭区间内的任一个连续函数都

25、可以用一个 隐含层的BP网络来逼近，因而一个三层的BP网络可以完成任意的n维输入空间到 m维输出空间的映射。这种强大的非线性映射的能力，使彳导BP神经网络在解决具有以下特征的问题时有无可比拟的优势:（1某系统已经累积了大量相关的输入.输 出数据；（2输入输出的对应关系难以得到解析解；（3能够表示和转化为模 式识别或 非线形映射问题。虽然BP网络功能强大，但由于BP算法存在自身的限制，BP网络仍有着很多缺 点，比如收敛速度慢，经常需要成千上万次迭代；存在局部最小值等。 这些问题在实 际应用中对很多系统都是不合适的。因此近三十多年来，在国外许多专家的深入研 究下，提出了许多改进办法。主要有：附加动

26、量法：网络权值的修正不仅考虑误差在梯度上的作用，还应考虑在误差曲 面上的变化趋势；自适应学习率：这种算法提出在训练中使用动态学习率，可加快算法的收敛；引 入陡坡因子：当权值调整进入误差曲面平坦区时，通过压缩神经元的净输入，使权值 调整，脱离平坦区，从而提高BP算法的收敛速度。共腕梯度法：其基本思想是寻找与 负梯度方向和上一次搜索方向共腕的方向作为新的搜索方向，从而加快训练速度，并提高收敛精度；拟牛顿法：引进一组矩阵代替海森阵，避免了牛顿法的烦琐计算，而且通常只是 需要很少的迭代次数就能收敛；此外,国内也有很多学者，在对BP算法的改进方面也做了不少研究，并在实际 运用中取得了一定的成果：侯媛彬等

27、提出的一种基于降低网络灵敏度的 BP网络改进算法，动态地将全局 反向传播式网络变成局部反传式网络，使网络学习速率大大提高；王建成等在 嘉兴经济EW系统设计的经验的基础上，提出了利用改进的 遗传和BP杂交算法神经网络经济预警系统设计方法，提高了网络收敛速度；张友邦、封宇行提出一种隐节点数动态增长的网络模型 ，增加了网络的灵活 性、缩短了网络的训练时间并提高了训练精度；闵泉等利用量子遗传算法对BP的学习进行改进，提出了一种新的训练神经网 络的混合算法，该算法加快了收敛速度，提高了收敛精度；等等。2.3BP网络的应用众多白对BP算法的改进研究,使BP神经网络在许多领域都取得很好的优于传 统方法的成绩

28、：秦威等人采用BP算法对工程图形进行编码压缩，从而实现了工程图形复杂数 据的高效存储和显示；姜占才，孙燕将BP神经网络应用于语音识别上，较好地实现了孤立词语音的识 别；谷晓平等人将BP神经网络应用于水文预报方面，结论是这种BP网络模型是一 种精度较高的水文预测模型；孟治国采用改进的BP神经网络进行遥感图像数字分类，成功地解决了研究区 土地的利用分类问题，其效果优于传统的分类方法；纵观这些应用，可以总结出BP神经网络主要用于以下几个方面：函数逼近：通过对样本数据对的学习，理论上BP网络能以任意精度逼近一个涵 数，用以求解数学式难以表达的函数；模式识别：模式识别是将一种模式映射为其他类型的操作。由

29、于BP神经网络能较好的模拟人的形象思维，通过学习可使BP网络具有联想能力和容错能力，可以 解决对不完整输入信息的识别问题。因此将BP应用到模式识别中去解决模式识 别问题。数据压缩:BP网络能对输入数据提取模式特征，减少输出向量的维数达到对数 据的压缩目的，以利于数据的传输与存储。分类与识别：把输入向量所定义的合适方式进行分类或识别。 由于客观世界的 许多事物在样本空间中的区域分割曲面十分复杂，而BP神经网络可以很好地解决 对非线性曲面的逼近问题，因此具有很强的分类与识别能力。2.4基本结构与学习算法一个典型的BP神经网络由三层构成，即:输入层、隐含层和输出层，各层之间实 行全互连接方式。BP神

30、经网络在模式识别、知识发现、信息融合、模式分类等实际应用中，分导师知识学习训练和模式识别决策两个过程。导师知识训练过程归结起来分为模式顺传播”、误差逆传播”、导师知识记忆训练”、学习收敛”价步骤。1模式 顺传播模式顺传播是指由导师信息构成的输入模式经输入层通过中间层向输出层的传 递过程。由输入模式提供给网络的输入层开始的，输入层各个单元对应于输入模式 向量的各个元素。设导师信息构成的输入模式向量为- 12A x x x i im i i = i=1,2,为学训腿对数，m为输入层单 元个数；对应输入模式的希望输出向量为：(,12Y y y y i ip i i = i=1的与输入学汨模式对相对应

31、的输出模式数;P为支单元数。根据M-P神经元模式原理，首先按式2.1计算第一隐含层各单元的输入模式。j 1m S w x m ij ij i-E= (2.1式中，w ij为输入层至第一隐含层的连接权；ij8为第一隐含层的单元阀值;j=1,2,3,第隐含层神经元。人工神经元是模拟生物神经元的非线性信息传递特性，以s i作为S函数的自变 量，计算第一隐含层各单元的输出 $函数的数学表达式如式 2.2所示：(1f x e =+(2.2 将 2.1 带入式 2.2 得:(111a f s j j j w x m e ij ij i e-E +=+j=1,=,P(2.3按模式传播的思想，由(2.4和(2

32、.5式计算输出层各单元的输入(第二隐含 层的输 出和网络实际输出。(1n b a w j k jk bki0-S? =(2.4 ( 1n y f b w p k kp j-E= (2.5 二式中:,w w jk kp分别为中间层，中间层至输出层的连接权:,p bk 分别为中间 和输出的阀值。一个输入模式至此完成了 一遍顺序传播过程。2误差逆传播误差逆传播是指神经网络的希望输出值与实际输出值之间的误差信号，由输入层经过中间层向输入层逐层修正连接过程。首先是要计算实际输出值与希望输出值之间的误差，依据误差的大小自动调节输出层到隐含层之间的连接权值w kp、隐含层之间的连接权值 w jk和隐含层到输

33、入层之间的连接权值w ij的大小也 就是由输入层的误差y胸中间层的误差bk 6传递的过程。这里误差逆传播过程 的数学表达式为:(1 y y y y y y y y -=- (1=1 (1 w b w b b y y y y w b b y y bk kp k kp k k kp k k 6 6 6-三二(1 (1 (1 11n n a w a a y y y y w b b aj j j j bk jk kp k k j j- = (2.贰冲 3?=是由式(2. 5确定的实际输出值；y为导师信号希望输出值;y、6bk 6 aj分别为输出层、 第二隐含层和第一隐含层各单元所得的误差值。式 (2.

34、6的物理含义是：?y y ? ?-项表示网络在导师训练信号引导下的希望输出与网络学习后实际输出之间的绝对误差；？?y y y? ?-项是根据各单元的实际响应调整偏差值(实际输出的导数。当输出层某单元的输入在0附近，其输出变化幅度较大时，?y y y? ?-处于峰值附近，与？y y ? ?-项相乘后，增强了偏差的校正作用。反之，当？y的绝对值较大时，其输出变化幅度很小，也就是说此单元所受激励对此单元这 一次学习过程所起的校正作用不大，而此时？?y y y? ?-正好处于较小值的部分,当与？y y ? ?-项相乘后，减弱了偏差的校正作用。采用惯性校正法各层权值及阈值修正计 算公式的表达式为：(1

35、( ( w m w m b a w m y kp kp k kp46 +=+?出层权值修正 w (1 ( m w a a w m i jk jk bk jk输出层寻+?层连接权值修正(1 ( ( w m w m x a w m m ij ij aj ij输入层为+=+?连接权值修正(1 ( ( m m a m p p p p 88 输杷信阖辕+?lE(1 ( ( m m a m bk bk bk bk 8 8输出层与=+?1阀值修正(1 (m m a m aj aj aj aj 8 8湎跳)层耳+?层阀值修正(2.7式中:a为学习系数(01a +(2122逆传播过程(1用希望输出模式,12ip

36、 Y y y y i i i ?=，和网络实际输出?y，计算输出层各单元的一般化误差0y 6 :?( (1 yy y y y -(2.13 (2用连接权w kp ?、输出层的一般化误差y 6中间层的输出0b k计算中间层各单元的误差bk 6：?( (1 (1 y y y y w b b bk kp k k6 (2.14 (3用输出层各单元的一般化误差y 6中间层各单元的输出0b k修正连接权w kp ? 和阀值p 0 :(1 ( w m w m b y kp kp k输出W+=+l正(2.15 (1 ( m m p p p9 946腑士阀值修正(2.16 (4用中间层各单元的一般化误差bk 犯

37、输入 层各单元的输入, , 12A x x x i im i i =修正连接权 w jk ? 和阀值bk 8：(1 ( w m w m a j jk jk bk输出屋+=+含层连接权值修正 (2.17 (1 ( m m bkbk bk9 94翻入层与隐含层阀值修正(2.18 3反复训练收敛过程，(1随机选取下一个示范模式对提供给网络，返回步骤，直至全部即个模式对 训 练完毕。(2重新从n个模式对中随机选取一个模式对，返回步骤，直至网络全局误差函 数E小于预先设定的一个极小值，若全局误差达不到预先设定极小值或学习回数 大 于预先设定的值，IR络无法收敛而停机。结束学习。4模式识别预测训练学习成熟

38、并经过测试后的网络可按照上述步骤、进行网络回想，即进行BP神经网络的模式识别、知识发现、信息融合、模式分类、预测等实际应用 研究。网络对示教模式的记忆实际上是保存在输入与隐含层、隐含层与输出层之问的连接权和阈值的文档中。网络实现回想只须调入连接权和阈值文档，读取待判 样本类同于示教模式0A i的特征变量，即可实现对未知样本的非线性映射识别分 类。2.6主要特点及参数优选BP神经网络突出的优点就是具有很强的非线性映射能力和柔性的网络结构。 网络的中间层数、各层的处理单元数及网络学习的系数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是，BP神经网络还存在以下一些主要缺陷：1学习收

39、敛速度太慢。2不是所有的情况都能保证收敛到所指定的全局最小点。3网络隐含层的层数及隐含层的单元数的尚无理论依据，通常是根据经验或实 验确定。因此，网络往往有很大的冗余性，无形中也增加了网络学习的时间。4网络的学习、记忆具有不稳定性。 一个训练成熟的BP网络，在原来的基础 上再给它提供新的模式时，将会使原有的连接权全部打乱，导致己记忆的学习模式 不能再继续用于回想。 要避免这种现象，必须将原来的学习模式连同新加入的学习 模式一起重新进行训练。由于BP网络存在的以上几种主要缺陷，实际的网络过程中，由于受到示教训练 样本、计算机数值范围及内存容量、非线性作用函数的选取等影响，BP算法的收敛精度不能完

40、全令人满意，有时可能导致发散。因此在实际应用中应注意如下训练 条件和学习参数的优化选择。1示教训练模式对的优化选择。 在研究的问题明确以后，模式对的选择既要涵 盖问题的总体特征，又要精练，特别要防止相互矛盾的模式对。2非线性作用函数的 选择。一般有如下几种形式的非线性作用函数可供选取 ：(,(0 11f x b e =* +(2.19( ,(0, 0 21f x b k e =-(2.20( 0,0 31bk f x b k e - =ww +(2.21式(2. 19限定网络的输出范围为(O, 1，是最基本、最常用的S函数模型。式(2. 20限定网络的输出范围为(0,k,k值应大于模式对象的最

41、大输出值；主要用于全 量模 型。式(2. 21限定网络的输出范围为(-k,k, k值应大于模式对象输出误差 绝对值的 最大值,这样可在很少的训练步骤后误差己达到较小值,主要用于增量 模型。3非线性函数中参数b、k的选择。4最佳隐含层数和隐含层神经元数的选择。BP人工神经网络突出的优点就是具有很强的非线性映射能力和柔性的网络结构，可根据具体研究对象任意设定网络 的隐含层数和各层的处理单元数，并且网络的性能随着结构的差异有民不同。但是,在研究对象确定的条件下，并不是隐含层数和各层的处理单元数越多或越少就越好，最好通过实验来优化选择。5隐含层和输出层的非线性函数的选取。可以对隐含层的输出和网络输出的

42、响 应函数，阳中的参数分别进行选择和调整，可以将输出层的k值取为略大于最大允 许 误差值，使其具有输出限幅作用。而隐含层的 k值适当选得大些，使得权值调 整范围 更大，有助于模型精度的提高。6网络学习系数(学习率、学习步长、学习次数、个体及全局误差的选择。(1学习率的大小对收敛速度有较大的影响，太小，网络收敛速度慢，跳出局部极小的能力弱；过大，不易收敛，达不到训练精度。不同结构的网络对应不同的最佳学习率范围，在研究对象和网络结构一定的条件下最好通过实验来确定。(2加大学习步长可以加快训练速度，但步长太大使被调量变化太快，导致网络训练跳出最 佳值点，还有可能使计算机发生溢出。 优化选择步长的学习

43、策略是获 得BP网络最 佳训练效果的一种好途径。在实际应用中，学习率和学习步长往往有一个最佳组合问题，两者匹配得当，网 络则可以获得最佳的训练效果。可以先选取一个较大的学习率值(O.70.9进行训练,然后以一定的步长进行左右扫描，在振荡点附近调整步长，从而找到最佳的学习率 和学习步长的组合点。(3学习次数、个体及全局误差是影响网络学习精度的关键性参数，三者有很强的依赖关系。网络学习精度(实际输出与希望输出的接近程度是随着误差的减小、训练次数的增加而提高，在个体误差一定，单独降低总体误差到一定程度；或者总体 误差一定，单独降低个体误差到一定程度；学习精度将变化很小，直至不再变化。所 以三者必须协

44、调设置才能奏效。7输出层节点数越多，则网络可识别的类别就越多，但网络振荡也加剧。 综合考 虑网络模型精度与训练时间，BP学习算法本身太慢的原因主要在于越逼近最佳值 点,每步训练所减少的误差也越小。如果要求示教模型训练的精度太高则往往需要 上万次的迭代，既不经济，也不适用。在实际应用中一般所关心的是识别的准 确度 而不是示教模型本身的精度，只要模型已经满足识别要求即可，不必要求模 型的精 度太高。总之，用BP算法训练神经网络，必须综合考虑各方因素，细致地 选择各个参 数和网络结构，唯其如此，才能在较短的时间内获得满意的结果。3.BP网络在复合材料研究中的应用3.1材料设计复合材料的设计必然涉及材

45、料组分、工艺、性能之间的关系，但其内在规律非 常复杂。BP网络具有强大的自学习、自适应能力，可从实验数据中获取3者之间的 内在规律,并用于推理。陶瓷基复合材料的原始组分复杂，且难以烧结，选取适宜的组分和工艺参数是 改善其性能的关键。张蕾等在23Al O - T C i陶瓷基复合材料的研究中，以23Al O和T C i含量及原料的粒度为网络输入，材料的弯曲强度、断裂韧性和硬度为输出，建立组分配比及粒度与力学性能之间的映射关系，优选出材料性能较 好时的组分配比及粒度范围。甄强等将 BP网络用于o-Sialon-BN复合材料的研究, 以722Y Si O与o-Sialon比值、Mul - lite含

46、量、最高烧结温度和烧结气氛等为输入，以有无X-Sialon相为判据，构建了相组成及性能的预测模型，进而探 索合成O - Sialon-BN复合材料的原料配比及烧结工艺条件，得到了性能优异的 材料。抗氧化烧蚀性能是碳/碳(C/C复合材料作为高温结构材料用于航空航天等领域 的关键，基体改性是提高抗氧化烧蚀性能的措施之一。 由于受改性添加剂和反应产 物的类型及其在基体中的均匀性等的影响，传统模拟方法难以准确建立氧 化烧蚀率 的预报模型。陈强等10基于BP网络技术，以2Z O r、B C r、S C i 及含量作为输入，氧化烧蚀率作为输出，建立了 C/C复合材料抗氧化烧蚀性 能预测 模型。该模型预测的

47、氧化烧f4率与实验值的误差小于0. 32%,将优选出的添加剂配方用于基体改性，材料的氧化烧蚀率较未优化时下降了49. 5%。综上可知，将BP网络用于复合材料设计时，以材料组分及制备工艺参数等为网络输入，衡量材料的某些性能值为输出，用已有的实验数据训练网络，可获得材料组分、工艺、性能间的内在规律，由此进行材料设计。3.2性能预测复合材料的性能表征主要通过实验及理论分析进行研究，不仅要花费大量人力、物力，而且在材料相互作用机制不清楚的前提下，很难建立准确的预报模型。BP网络擅长处理复 杂的非线性问题，在复合材料性能预测方面具有明显的优势。3. 2. 1力学性能预测力学性能是结构材料最主要的性能之一

48、，受材料组分、组织结构、制备工艺等 因素影响。乔英杰等19将BP网络用于碳/陶瓷复合材料的性能预测，以掺杂 (Cr、T C、S i iC和BiC含量为输入，材料的电阻率和抗折强度为输出。建 O / TC陶瓷颗粒增强复合材料力学性能 2 3 i立力学性能与掺杂含量之间的预测模 型，模型预测的抗折强度与实验值的最大误 差不超过12%。Altinkok N等以SiC 增强颗粒粒径为网络输入，材料的抗拉强度、弯曲强度和硬度为输出，建立了 Al的预测模型，预测的力学性能与实验结果吻合。在纤维增强聚合物基复合材料的性能预测中，Seyhan AT等以玻璃纤维体积分 数、纤维织物厚度等为输入参数，建 立了材料

49、的抗压强度、拉伸强度、剪切强度 等的BP预测模型，较精确地预测了材 料的力学性能。Bezerra E M等以纤维叠层 方向、纤维类型（碳纤维和玻璃纤维及 应变作为网络的输入，材料的剪应力为输出，建立了环氧树脂基复合材料剪切应力一应变特性的预测模型，预测的应力与 实验值吻合。3. 2. 2疲劳寿命预测 疲 劳是纤维增强复合材料较为复杂的问题之一。Yousef A.A等以最大应力、最 小与最大应力比、纤维方向角作为 BP网络的输人，疲劳失效循环次数作为输出，建立了一维玻璃纤维增强环氧树脂复合材料疲劳寿命的预测模型。虽然训练网络的样本较少，但预测结果的精度与其它预测方法相当。Lee J. A等以最大

50、应力、最小应力、失效概率、抗拉强度、抗压强度、失效应变和弹性模量为网络输入，疲劳失效循环次数作为输出，建立了二维碳纤维及玻璃纤维增强塑料板疲劳寿命的BP预测模型。该模型较精确地预测了恒定应力下的疲劳寿命，并能精确描述应力一最小与最大应力比一中值寿命的关系。止匕外，BP网络在预测层合板复合材料28、短纤维增强复合材料等的疲劳寿命 中也得到了应用。3. 2. 3摩擦磨损性能 预测iC的体积分数和摩擦试验时间作为BP网络的输入，磨损量为输出。建立了 S C增强Al-Cu i合金磨损性能的预测模型，预测的磨损量与实验值的误差小于 10%。Rashed F S在金属基复合材料摩擦磨损性能预测中，Haya

51、jneh M等以Cu和S等以试验压力及温度、S建立了 A356/ S iC颗粒粒径及其质量含量为网络输 入，磨损率为输出，iC颗粒增强金属基复合材料的磨损性能 BP预测模型，预测 的磨损率与实验值的误差小于6%。在纤维增强聚合物基复合材料的摩擦磨损性 能预测中，VeltenK等以材料的力学性能（压缩强度、模量、最大压应变、抗拉强 度、最大拉应变、冲击强度和试 验条件（环境温度、初始载荷、平均载荷和平均速 度为输入，构建复合材料磨损 量的BP预测模型，预测值与实验值基本吻合。Zhang Z等以材料的组分（纤维和聚四氟乙烯的含量、力学性能（压缩强度及模量、 硬度、断裂韧性和试验条件（环境温度、正压

52、力和摩擦速率为 BP网络输入，采用 103组数据训练网络，建立了摩 擦系数和磨损率的预测模型，预测结果的精度较 高，可用于组分优化。2. 4损伤检测和预测 复合材料由增强体、基体和界面组成，是一个分布不均匀的多相体系，且服役 过程中又受外部因素的影响，其损伤及失效机理复杂z21。BP网络因其强大的特 征提取、模式识别及聚类能力， 通过 采集损伤后材料整体或不同部位信息特征（如声音、频率、导热和导电率等的变化 来训练网络，可在不破坏被检材料的前提下检测和预测其损伤情况。分层（层间开 裂是复合材料层合板的一种主要破坏形式。分层现象的产生使材料的刚度及固有频率降低。基于此原理，Valour M T等

53、L34以厚复合梁模型（Thick composite beammodel研究复合材料层合板固有频率与分层尺寸、位置之间的关系。为降低问题的复杂性，只考虑某位置发生单一分层现象，并根据分层的尺寸和位置，将复合梁分成相对独立的4个部分。假设分层部分具有相同的横向位移，以计算得到各种分层位置和尺寸下梁的固有频率为网络输入，分层的位置和尺寸作为输出，建立了梁分层位置、尺寸的 BP预测模型。利用训练后的模型，输入梁 的固有 频率，即可精确预测分层发生的部位及尺寸。Chakraborty D等L3副建立了反映复合材料层合板固有频率与分层尺寸、形状和 位置之间关系的BP模型，用以有效预 测材料内部分层的尺寸、形状和位置。王宏涛等基