神经网络第1章.ppt

1、第一章神经网络与自动控制的基础知识1.1人工神经网络的历史1.2生物神经元与人工神经元1.3生物神经网络与人工神经网络1.4自动控制的历史1.5模糊集与模糊控制的概述1.6从生物神经控制到人工神经控制1.7练习与思考问题的总结1.1人工神经网络的历史(人工神经网络，简称ANN或AN2)是由大量简单神经元以某种方式连接而成的智能仿生动态网络。它通过不停地学习生物神经网络(简称BNN或BN2)来开始自己的学术生涯。BN2作为一门科学，兴起于19世纪末。1875年，意大利解剖学家高尔基首次通过染色鉴定出一个神经细胞。1889年，西班牙解剖学家Cajal创立了神经元理论，认为神经元的形状是双极的，细胞

2、体和树突可以接受其他神经元的脉冲，轴突的功能是将信号从细胞体传递出去。1943年，法国心理学家麦卡洛克和皮茨在分析和综合神经元基本特征的基础上，提出了第一个神经元数学模型(M-P模型)，开创了人类自然科学技术史上的一门新学科AN2的研究。从1943年到现在，半个多世纪过去了，AN2的发展经历了曲折，颇具戏剧性。今天，当神经网络和神经计算机已经发展成为一个跨学科的领域，当人工智能、知识工程和专家系统等传统智能学科也需要发展并把注意力转向AN2时，如实介绍AN2目前面临的问题，客观地评价AN2的应用成果，探索AN2研究的突破，是极为有益的。1 . 1 . 1 20世纪40年代神经元模型的诞生194

3、3年提出的M-P模型采用神经节的概念，将神经元视为一个拨动开关，用布尔逻辑函数对神经过程进行数学模拟。这一模式不仅被沿用至今，而且其创作模式也启发了后人将其发扬光大并贯穿至今，这直接影响了这一领域的整个研究过程。1948年，约翰冯诺依曼(以他的名字冯诺依曼命名)研究和比较了人脑结构和指令存储计算机之间的联系和区别，并提出应该用简单的神经元构成自再生自动机网络。1949年，心理学家赫布提出了神经元群、突触和回声回路的概念。根据心理学中条件反射的基本理论，他在AN2研究了适当的学习方法，讨论了神经细胞间连接强度的变化规律，并将其归纳为著名的Hebb学习规则：如果两个神经元都被激发和激活，彼此的突触

4、连接权利将会增强。四十年后，一些人指出了赫布定律的局限性。20世纪50年代，从单神经元到单层网络形成了第一次热潮。1958年，罗森布拉特提出了具有学习能力的感知机模型，完成了从单神经元到三层神经网络的过渡。原型感知器由三层组成：感知层S、连接层A和反应层R。由于感知层S到连接层A的连接权是固定的，并且连接层A到反应层R的连接权具有因学习而变化的能力，因此本质上是一个只有输入层和输出层的单层神经网络。该模型以强化控制系统为“教师”信号，引导网络进行学习，首次将理论探讨付诸工程实践，引起了人们的广泛关注和广泛效仿。世界上许多实验室模仿感知器进行字符识别、语音识别、声纳信号识别以及学习和记忆。196

5、0年，Wi卓尔和霍夫提出了自适应线性元件网络，这是一种基于当时大脑自适应学习系统研究的单层前馈感知器模型。感知器的均方误差最小化算法和误差校正算法在形式上是相同的，但是阈值符号发生了变化，这使得两者的学习有本质的区别：前者基于超平面位置调整，而后者基于误差面上的梯度下降。20多年后，人们发现维卓尔的理论成为神经学习系统的基本原理。1961年，卡亚涅罗发表了一篇关于神经网络数学的理论著作，提出了神经元方程，用布尔代数模拟了函数的动态过程，分析和发展了细胞有限自动机的理论模型。1969年，美国人工智能科学家明斯基和Papert发表了感知机，证明了单层神经网络甚至不能解决异或等简单的算术问题，也不能

6、训练许多已发现的模式。甚至有一种观点认为，将传感器扩展到多层设备是没有意义的。由于人工智能的巨大成就和作者的巨大权威和影响，神经网络沿着感知器方向的发展急剧降温。AN2在20世纪70年代的低迷时期顽强发展有三个原因：第一，冯诺伊曼(Von Neumann)计算机的发展正处于全盛时期，其计算速度和存储容量日益增加，对软件的需求日益增加，因此人们错误地认为计算机硬件和软件的发展可以完成模拟人类的认知过程；第二，单层神经网络的功能有限；第三，多层神经网络没有有效的学习算法。随着研究经费的急剧下降和大量研究人员的转移，仍然有少数有远见的学者坚持自己的研究工作。数据表明，与20世纪50、60年代相比，近

7、十年来提出的各种神经网络模型种类多、结构复杂、性能完善。最重要的功能模型有联想记忆模型、认知模型和竞争模型，如Kohonen 1981年提出的具有竞争机制的自组织特征映射网络。1982年，加州理工学院的生物物理学家霍普菲尔德采用了完全互联的神经网络模型，并应用能量函数的概念成功地解决了TSP问题，这是一个数字计算机不擅长解决的经典人工智能问题。这是AN2研究史上的一个重大突破，引起了全世界的极大关注。世界各地的学者纷纷效仿，介入神经网络领域。1983年，Sejnowski和Hinton提出了“隐藏单元”的概念，引入玻尔兹曼机进行大规模并行处理，利用多层神经网络并行分配每个单元的连接权值，克服了

8、单层网络的局限性，为神经网络进入非线性处理领域奠定了基础。随后，福岛给单层感知器增加了一个隐藏层，并通过抑制反馈和兴奋前馈实现了自组织学习，使多层感知器实现了联想学习和模式分类识别。1986年，鲁梅尔哈特和麦克莱兰为了扫除AN2发展的障碍，彻底消除人们对多层感知器网络的疑虑，提出了多层前馈网络的反向传播学习算法，即简称为BP算法。1969年，该算法自后向前修正了各层之间的联系，否定了多层网络的错误结论。此后，BP算法成为应用最广泛、研究和开发最多的算法。1987年6月21日至6月24日，第一届世界神经网络会议在美国圣地亚哥召开，标志着AN2的研究已经遍及全世界。从1988年至今，学术活动、研究

9、机构、专著和专刊越来越多，大量关于AN2的研究文章以敏锐的洞察力在其他学科的学术期刊上发表。1.1.6这一热潮在1990年代再次出现，产生了许多跨学科的课题。进入20世纪90年代后，出现了数十种AN2模式，伴随着大量的跨学科课题。形成的主要学科如下。1)在脑科学和神经生理学中，人们不再满足于对低等智能动物如乌贼、白老鼠和海马的研究，而是直接讨论人脑的智能结构系统，研究如何通过自组织将神经元群转化为高度有序的系统。虽然大脑的学习和记忆机制不能完全解释，大脑思维的控制结构也不能完全映射，但在神经结构和信息活动的特征方面已经取得了积极的进展。计算神经科学计算神经科学是计算机科学和神经科学结合的产物。

10、计算神经科学以实验、理论和计算三大支柱为基础，通过建立大脑模型来阐明神经系统的信息处理原理。其研究方法是从数学上总结智能活动和行为过程中的整体水平、细胞水平和分子水平，寻求规律和算法，并利用计算机或AN2模拟找出如何表达和处理神经信息以及智能活动的变化规律。目前，该学科所涉及的并行分布式处理理论已经得到了热烈的讨论。数学科学AN2的学习和训练本质上是网络非线性动态特性方程的迭代求解，因此有必要首先提供数学工具和物理意义。有必要建立随机连接的网络状态变化方程、联想记忆模型容量和回忆过程的统计动力学方程以及自组织激发方程。此外，讨论收敛性、李雅普诺夫意义下的稳定性、局部或全部最优解等也是非常重要的

11、。一些物理概念，如熵、混沌、最小能量函数，也是必不可少的。思维科学和认知科学思维科学和认知科学是关于人类思维规律和认知方式的科学，研究对象是人类在抽象思维、形象思维、灵感思维和社会思维活动中对外部信息的感知、感知、推理、思维、意识和思维的一系列心理认知和语言表达。认知科学中的联结主义原则已经被AN2学术界所接受和广泛引用。例如，根据这一原理，神经网络中所有神经元的数字活动形成一个巨大的状态空间，包含连接权值的控制器动作方程可以根据学习规则训练权值。因此，现有的神经网络模型可以供人们选择，并且可以有针对性地、非常方便地移植到由状态变量描述的现代控制系统中，从而形成一个真正的智能系统。如何将信息论

12、和计算机科学信息的分析和综合方法应用于AN2的联想记忆是一个亟待解决的问题。在计算机科学领域，一方面，AN2的算法应该可靠地“过渡”到冯诺伊曼计算机上的模拟操作，另一方面，模拟人类智能活动的神经计算机已经成为一种新的时尚。在21世纪，机器智能之路漫长而艰难。在接下来的几年里，AN2在理论、实践和应用方面呈现出以下发展趋势：(1)在理论上，着重讨论模型和算法，建立具有AN2不同特点的模型，并分析其功能。对算法的讨论包括拓扑结构、网络容量、稳定性、收敛性、复杂性和输入模式样本的紧凑性。现在的问题是，各种模型和算法的组成和性能评价缺乏一个评价体系，只能依靠仿真结论逐一分析，没有严格科学的通用规则和方

13、法。实际上，重点是用硬件制造神经网络和神经计算机，但有许多困难。这迫使人们在未来很长一段时间内使用冯诺依曼计算机模拟，并且不可能比较两种不同类型计算机的运行结果。AN2的研究面临着上述两大难题，制约和影响着其应用。(3)我希望在应用上尽快突破。AN2的研究和应用已经不可阻挡地渗透到模式识别、反馈调节、智能仪表、模糊控制、信号处理、系统辨识、模糊决策、知识处理、组合优化、专家系统、过程自动化、故障诊断、自动检测等领域。并与它们紧密结合形成新的分支，如模糊神经系统和神经网络模式识别。另一方面，通过对这些领域的应用论文进行分析和统计，我们可以看到以下鲜明的特点：神经网络可以解决一些传统技能如人工智能

14、、PID控制等方法无法解决的问题，也就是说，对于工程领域，它增加了一种只有很大潜力才能解决问题的方法。虽然仿真结果表明神经网络方法在时域或频域的一个或几个指标的性能比较上优于其他方法，但没有报告表明神经网络方法在系统行为的所有指标上都优于其他方法。到目前为止，基本上没有什么问题只能由AN2来解决，而不能由任何其他现有的方法来完成，也就是说，AN2在工程上没有表现出不可替代的优势。因此，人们更多讨论的问题是AN2的突破口在哪里？找到突破并取得突破需要多长时间？越来越多的人清醒地认识到，与AN2一起走向机器智能的道路是漫长而艰难的，既快又快是不现实的，在短期内不可能取得实质性的突破。与此同时，我们

15、绝不能放弃AN2研究，重复70年代的错误。AN2的人工神经元和Adaline等单层线性网络由于其PID功能已经成为反馈控制系统或智能仪表的一部分，但目前的应用基本上停留在仿真层面。为了将它们投入实际使用，有必要从功能原理的角度解决它们之间的通信、连接和接口。如果将三层或三层以上的AN2用于非线性鲁棒控制或测量，勘探时间将会更长。始于1956年的人工智能研究在25年的时间里取得了令人瞩目的成就。它所遵循的传统研究方法是基于符号假设，强调输出和输入之间的逻辑关系，忽略了信息传递过程中网络结构的特点。但对于复杂模式识别、场景理解、过程自动化的自适应随机调整、非线性鲁棒测量中的不完全信息处理、非线性动

16、态操作中不完全知识结构的自动修复、同一语系中不同方言的理解等。如果将人工智能的成功经验应用到神经网络中，并与神经网络相结合，可能是通向智能系统的成功之路。大多数加入AN2的作者最初都是不同领域的专家和学者。他们试图将人类高级智能行为的模拟应用于这一领域中遇到的一些难题，并把希望寄托在AN2身上，从而步入神经网络的高科技领域。未来几年，AN2团队扩张的趋势将会持续。这是AN2繁荣的标志之一，也是AN2不可避免的成功的重要原因。例如，1990年在北京召开第一届中国神经网络学术会议时，只有8个国家级学会得到中国的联合支持；1996年在成都召开的第七届中国神经网络学术会议上，有15个国家一级协会得到了

17、中国自动化学会和中国电子学会的支持。2006年8月5日，第16届中国神经网络会议暨首届中国人工免疫系统研讨会在哈尔滨工程大学召开。会议由中国神经网络委员会、中国电子学会、IEEE计算智能学会北京分会主办，哈尔滨工程大学承办，上海海事大学协办。这一系列会议每年举行一次，已成为中国神经网络领域最重要的学术活动。本次会议主要是为了促进神经网络学习及相关研究领域的学者之间交流最新的研究成果和广泛的学术讨论，并邀请国内神经网络和人工免疫系统领域的著名学者发表精彩的报告。神经网络系统理论是近年来发展迅速的一个国际前沿研究领域。通过对人脑基本单位神经元的建模和连接，探索了一种模拟人脑神经系统功能的模型，开发了一个具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络系统理论的发展对计算机科学、人工智能、认知科学、脑神经科学