BP神经网络读书笔记最后版本

1、bp神经网络读书笔记1、神经网络的起源人工神经网络(ArtificialNeuralNetworks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(ConnectionModel),它是一种模范动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人类关于认知的探索由来已久。早在公元前400年左右，希腊哲学家柏拉图(Plato)和亚里士多德(Asidtole)等，就曾对人类认知的性质和起源进行过思考，并发表了有关记忆和思维的论述。在此及以后很长的一段时间内，由于科学技术发展水平所限，人

2、们对人脑的认识主要停留在观察和猜测的基础之上，缺乏有关人脑内部结构及工作原理的了解，因而进展缓慢。直到20世纪40年代，随着神经解剖学、神经生理学以及神经元的电生理过程等的研究取得突破性进展，人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识，在此基本认识的基础上，综合数学、物理学以及信息处理等学科的方法对人脑神经网络进行抽象，并建立简化的模型，称为人工神经网络。随后人工神经网络因为不能解决“异惑”问题经历了很长时间的低潮，直到1982年，Hopfield模型的理论的提出，才重新掀起神经网络的热潮。神经元网络是机器学习学科中的一个重要部分，用来classification或者regre

3、ssion。思维学普遍认为，人类大脑的思维分为抽象(逻辑)思维、形象(直观)思维和灵感(顿悟)思维三种基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点：1.信息是通过神经元上的兴奋模式分布存储在网络上；2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和

4、并行协同处理。虽然单个神经元的结构极其简单,功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。2、神经网络研究情况神经网络诞生半个世纪以来，经历了五个阶段：（1）奠基阶段：早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中，神经生物学家McCulloch提倡数字化具有特别意义。他与青年数学家Pitts合作，从人脑信息处理观点出发，采用数理逻辑模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们认识到了模拟大脑可用于逻辑运行的网络，有一些结点及结点

5、与结点之间相互联系，构成一个简单神经网络模型。其主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能，从而开创了神经网络的研究。这一革命性的思想，产生了很大影响。（2）第一次高潮阶段：1958年计算机科学家Rosenblatt基于MP模型，增加了学习机制，推广了MP模型。他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提出的感知器模型，首次把神经网络理论付诸工程实现。（3）坚持阶段：神经网络理论那遥远但并非遥不可及的目标着实吸引了很多人的目光，美

6、国军方认为神经网络工程应当比“原子弹工程”更重要，并对它的投资兴趣非常大，而对其实践的效果也比较满意。（4）第二次高潮阶段：Kohonen提出了自组织映射网络模型，映射具有拓扑性质，对一维、二维是正确的，并在计算机上进行了模拟，通过实例所展示的自适应学习效果显著。他认为有可能推广到更高维的情况。（5）新发展阶段：从神经网络理论的发展史看，它的高潮阶段是很容易度过的IJCNN91大会主席Rumelhart意识到这一点，在他的开幕词中有一个观点，神经网络的发展已到了一个转折的时期，它的范围正在不断扩大，其应用领域几乎包括各个方面。半个世纪以来，这门学科的理论和技术基础已达到了一定规模，笔者认为，神

7、经网络到了新发展阶段，需要不断完善和突破，使其技术和应用得到有力的支持。一般神经网络书记会介绍以下五种经典的网络。感知器网络感知器是由美国计算机科学家罗森布拉特于1957年提出的。感知器可谓是最早的人工神经网络，单层感知器是一个具有一层神经元、采用阀值激活函数的前向网络。通过对网络权值的训练，可以使感知器对一组输入矢量的响应达到元素为0或1的目标输出。线性神经网络自适应线性元件也是早期神经网络模型之一，它是由威德罗和霍夫首先提出的。它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。另外，它采用的是W-H学习规则，从而能够得到

8、比感知器更快的收敛速度和更高的精度。BP网络反向传播网络是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络。由于多层前向网络采用反向传播学习算法(BackPropagation),通常人们将其称为BP网络。反馈网络反馈网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈网络能够表现出非线性动力学系统的动态特性。自组织竞争人工神经网络在实际的神经网络中，比如人的视网膜中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制使神经细胞之间出现

9、竞争，虽然开始阶段各个神经细胞都处于程度不同的兴奋状态，由于侧抑制作用战胜了它周围所有其他细胞的抑制作用而“赢”了，其周围的其他神经细胞则全“输”了。自组织竞争人工神经网络正是基于上述生物结构和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。与BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核心竞争层，又是许多种某种其他神经网络模型的重要组成部分，例如科荷伦网络、反传网络以及自适应共振理论网络等中均包含竞争层。为了更好的满足人工神经网络在众多领域和部门中的应用，近年来几种，包括小波神经网络、模糊神经

10、网络、进化神经网络、细胞神经网络、混沌神经网络应用而生。进入20世纪90年代以来，神经网络由于应用面还不够宽，结果不够精确，存在可信度问题，从而进入了认识与应用研究期。开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。充分发挥两种技术各自的优势是一个有效方法。希望在理论上寻找新的突破，建立新的专用/通用模型和算法。进一步对生物神经系统进行研究，不断地丰富对人脑的认识。BP(BackPropagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的

11、神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidelayer)和输出层(outputlayer)。如图2-1。HP两络損吧结舸ft61-RADS分级哥眾图2-1BP网络模型结构图1982年，Hopfield提出一种反馈神经网络模型(HNN),开辟了神经网络的新天地，其应用之一就是解决各种优化问题，但存在的缺点是在求解过程中极易陷入局部极小点。有效的激励函数可取各种形状，并应表现出

12、非单调行为的结论。基于这一结论，很多学者对激励函数进行了研究，如将小波函数与Sigmoid函数结合，提出了小波Hopfield神经网络模型，将小波函数引入混沌神经网络，提出了小波混沌神经网络模型。人工神经网络理论本身也在完善和发展中。如神经的稳定性和收敛性问题有待进一步研究。神经网络结构和神经元数量的确定还没有成熟的理论等。如广泛使用的BP网络就存在：收敛速度慢，且收敛速度与初始权值选取有关网络结构设计，即隐层及接点数的选择尚无理论指导新加人的样本会影响已训练好的样本存在局部最小问题人工神经网络自身的问题直接影响其应用。包括在经济领域的应用。随着人工神经网络研究和应用的不断深入。一些改进算法和

13、技术，如模拟退火算法、遗传算法(GA)、模糊技术、小波分析等和神经网络逐步融合，提高了神经网络模型的工作性能。例如运用模糊技术克服一般神经网络学习过程复杂、收敛速度慢的弱点，并提高了模型的精度。将小波分析良好的局域化性质与神经网络的自适应学习和非线性映射能力相结合，使神经网络具有极佳的函数逼近能力，这为非线性长期预报提供了新的思路和方法。遗传算法是近来发展起来的一种随机多点搜索算法。具有很强的自适应性、鲁棒性，它在全局寻优上的能力可以防止神经网络在寻优过程中陷人局部最小点。一个经济活动或现象往往是多种因素合力的结果，各个因素之间往往存在耦合，在实际中往往难以对各个因素进行合理的量化。同时神经网

14、络的评估精度主要取决于训练样本的数量和质量，而在实际中难以一次性获得足够的理想样本，这要在使用过程中逐步积累，通过不断的学习使网络趋于完善。过程工业具有高维数、强关联和非线性等特点，其过程模型越来越复杂，求解难度越来越大。以网络结构简单、非线性全局逼近能力强以及收敛速度快等优点著称的径向基函数(RBF)神经网络在建模中得到了广泛应用，而决定RBF结构的主要因素有2个：网络隐含层神经元的数目及其中心向量和宽度；隐含层与输出层的连接权值。然而，如何有效地确定其网络结构和参数，虽然已有大批学者致力于此，但一直没有得到公认的、有效的解决方法。作为新型的人工智能技术的可拓理论，采用形式化模型讨论事物拓展

15、的可能性以及开拓创新的规律和方法，近几年在经济、管理、控制和决策等领域得到研究和应用。其中基于可拓理论的神经网络技术是继模糊神经网络、进化神经网络之后的又一新型网络。以台湾学者王孟辉为代表的多位专家近几年通过融合可拓理论和神经网络技术的优点，提出了双权值连接结构，并形成了多种ENN类型。与传统神经网络采用梯度下降法不同，ENN权值训练过程基于可拓距离根据相应公式进行调整，该类型网络结构简单，权值意义清晰明了，对基于区间的分类和聚类问题特别有效，可细分为本质为分类的监督学习算法ENN1和本质为聚类的非监督学习算法ENN2其中ENN2无需事先确定聚类数目，对新数据有很好的自适应性，在聚类过程中保持

16、了稳定性和灵活性。而RBF研究的重点是对输入样本的聚类。3、神经网络的发展与展望神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下：自动控制领域。神经网络方法已经覆盖了控制理论中的绝大多数问题，主要有系统建模与辨识、PID参数整定、极点配置、内模控制、优化设计、预测控制、最优控制、自适应控制、滤波与预测容错控制、模糊控制和学习控制等。典型的例子是20世纪60年代初，美国“阿波罗”登月计划中，Kilmer和MeClIoch等人根据脊椎动物神经系统中网状结构的工作原理，提出了一个KMB模型，以使登月车在远距离复杂环境下具有一定的自制能力。处理组合优化问题。最

17、典型的例子是成功地解决了TSP问题，即旅行推销员问题(TravellingSalesmanProblem)，另外还有最大匹配问题、装箱问题和作业调度等。模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。传感器信号处理。传感器输出非线性特性的矫正、传感器故障检测、滤波与除噪、环境影响因素的补偿、多传感信息融合。机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。信号处理。能分别对通讯、语音、心电和脑电信号进

18、行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用M&N。经济。能对商品价格、股票价格MDN和企业的可信度等进行短期预测。化工领域。能对制药、生物化学和化学工程等进行分析。如：进行蛋白质结构分析、谱分析和化学反应分析等。焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。地理领域。在遥感

19、图像分类中有广泛的应用，在GIS方面应用人工神经网络理论，提高系统对数据进行复杂的综合分析的功能。另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。经过近半个世纪的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。关于学习、联想和记忆等具有智能特点过程的机理及其模拟方面的研究正受到越来越多的重视。目前神经网络研究与发展主要集中在以下5个方面。神经生理学、神经解剖学研究的发展通过神经网络研究的发展，人们对人脑一些局部功能的认识已经有所提高，如对感知器的研究，对视觉处理网络的研究，对存储与记忆问题的研究等都取得一定的成功。遗憾

20、的是，这些成功一方面还远不够完善，另一方面，在对人脑作为一个整体的功能的解释上几乎起不到任何作用。科学家已经积累了大量关于大脑组成、大脑外形、大脑运转基本要素等知识，但仍无法解答有关大脑信息处理的一些实质问题。整体功能决不是局部功能的简单组合而是一个巨大的质的飞跃人脑的知觉和认知等过程是包含着一个复杂的动态系统中对大量神经元活动进行整合的统一性行动。由于人们对人脑完整工作过程几乎没有什么认识，连一个稍微完善的可令人接受的假设也没有，这造成神经网络研究始终缺乏一个明确的大方向。这方面如果不能有所突破，神经网络研究将始终限于模仿人脑局部功能的缓慢摸索过程当中，而难以达到研究水平的质的飞跃。有什么认

21、识，连一个稍微完善的可令人接受的假设也没有，这造成神经网络研究始终缺乏一个明确的大方向。这方面如果不能有所突破，神经网络研究将始终限于模仿人脑局部功能的缓慢摸索过程当中，而难以达到研究水平的质的飞跃。与之相关的数学领域的研究与发展神经元以电为主的生物过程在认识上一般采用非线性动力学模型，其动力学演变过程往往是非常复杂的，神经网络这种强的生物学特征和数学性质，要求有更好的数学手段。而对解决非线性微分方程这样的问题，稍微复杂一些的便没有办法利用数学方法求得完整的解。这使得在分析诸如一般神经网络的自激振荡、稳定性、混沌等问题时常常显得力不从心，更不用说，当我们面对人脑这样的由成千上万个神经元网络子系

22、统组成的巨系统，而每个子系统（具有某种特定功能）又可能由成千上万个神经元组成，个神经元本身是一个基本的非线性环节。神经网络应用的研究与发展从神经网络发展过程看，理论研究经常走在前列，有时会超出实际使用阶段。虽然说理论研究和实际应用可以相辅相成，但实际需求总是科技发展的主要推动力。目前，在神经网络实用上，虽然有不少实际应用成果报道，如智能控制、模式识别及机器人控制等。但真正成熟的应用还比较少见。神经网络硬件的研究与发展要真正实现神经网络计算机，则神经网络芯片设计与生产技术必须有实质性的进展。目前，在单片上集成数百个神经元的制作技术已经没有困难，但这种水平与神经网络实际应用的要求尚有较大距离。神经

23、网络硬件设计和理论研究相比要落后很多。因此，这也是神经网络研究发展的重要方向之一。在这方面，光学技术是实现神经网络及神经计算机的一个比较理想的选择。因为光学技术具有非常好的固有特性，主要体现在：高驱动性、较高的通信带宽、以光速并行传递信息等。虽然光学神经计算机实现技术目前还不成熟，其商品化大规模实现还有待时日，但一些光学神经元器件、光电神经计算机研究已表现出广阔的发展和应用潜力，并引起相应领域的充分关注。新型神经网络模型的研究为了推动神经网络理论的发展，除了期待神经生理学等研究突破外，将神经网络与其他理论交叉结合，研究新型神经网络模型，也是神经网络研究发展方向之一。如将之与混沌理论相结合产生的

24、混沌神经网络理论；再如将量子力学与神经网络的结合，研究量子神经网络，实现功能强大的量子神经计算就是目前神经网络研究的热点之一。在模型研究方面，作者将模糊集合论(Fuzzy)与小脑神经网络(CMAC)相结合，研究了模糊小脑神经网络(FCMAC)的组织运行原理，并将其应用到动态非线性系统的在线故障辨识之中，较好地解决了非线性动态系统容错控制问题。4、BP神经网络地表水环境质量评价应用评价指标选取天然水中氮、磷和钙。本次评价数据来源于环境监督管理站的测试报告。现状评价模型采用3层结构：由输入层，一层隐含层，输出层组成。神经网络的输入层神经元数目由评价因子决定，因此输入层神经元数目定为3，分别对应：氮

25、、磷和钙3项。网络输出应为分类结果。隐节点的作用是从样本中提取并存储其内在规律，每个隐节点有若干个权值而每个权值都是增强网络映射能力的一个参数。根据隐节点计算公式，得隐层节点数为2，以3-3-3作为网络结构进行试凑，最终确定网络结构为3-4-3。采用自编神经网络插件平台进行训练，将水环境标准作为训练样本输入，期望误差0.001，采用自适应学习率附加动量算法。将地表水环境质量评价原始资料数据整理带入已学习训练好的BP神经网络进行仿真计算。由于在隐含层的神经元个数可以随意调整的前提下，单隐含层的BP神经网络可以逼近任意的非线性映射。输入层和输出层神经元个数为1，只有一个隐含层，其个数根据上述的设计

26、经验公式和本例的实际情况，选取9-16之间。下面的隐含层神经元个数可变的BP神经网络，通过误差和训练步数对比确定隐含层个数，并检验隐含层神经元个数对网络性能的影响。下面是相关MATLAB程序段:%选取输入变量x取值范围x=-4:0.01:4;%输入目标函数y1=sin(1/2)*pi*x)+sin(pi*x);%隐含层的神经元数目范围s=9:16;%欧氏距离res=1:8;%选取不同的隐含层神经元个数，进行网络测试fori=1:8%建立前向型BP神经网络，输入层和隐含层激励函数为tansig，输出层为purelin%训练函数为trainlm，也是默认函数net=newff(minmax(x),

27、1,s(i),1,tansig,tansig,purelin,trainlm);%训练步数最大为2000net.trainparam.epochs=2000;%设定目标误差为0.00001net.trainparam.goal=0.00001;%进行函数训练net=train(net,x,y1);%对训练后的神经网络进行仿真y2=sim(net,x);%求欧式距离，判定隐含层神经元个数及网络性能err=y2-y1;res(i)=norm(err);end用该同一程序在三个不同时刻，运行结果及分析如下:表4-1表4-1隐含层不同神经元个数网络训练误差及学习步长某时刻一神经元个数910111213141516网络误差0.14323.18064.86240.08800.08670.08840.08590.0841学习步长2000200020002756402416625某时刻二神经元个数910111213141516网络误差0.08950.10680.08950