人工神经网络绪论

1、人工神经网络绪论1绪论人工神经网络概述 人类大脑分为两个半球（左半球-左脑；右半球-右脑）,左脑支配人体的右侧,右脑支配人体的左侧,大脑受伤会使它支配的那部分身体产生功能障碍。为什么右脑损伤的人丧失音乐能力，但能说话？为什么左脑损伤的人难以说话，却仍能唱歌？为什么许多艺术大师（达.芬奇、米开朗琪罗、毕加索等）都习惯使用左手？ 左右脑具有不同的功能。左脑不仅是语言中枢，还能从事分析性的工作，例如逻辑推理、数学运算和写作等。右脑善于处理空间概念和模式识别(识别面孔、图案、曲调、色彩等)，还擅长创造性的活动。左半球倾向于按顺序处理信息，右半球却习惯同时处理信息。 人们常常认为，逻辑思维和分析能力比感

2、性认识更为重要，反映在教育上就是把注奋力集中在“读、写、算”这些左脑的功能上。有一所美国的小学让学生用一半时间学习艺术，用另一半时间学习科学，结果学生的科学课程的成绩明显提高。这表明，花时间发展右脑的功能将有助于改善左脑的功能。实际上，只有左右脑完美配合，才能产生最有效率的创造性活动。 语言学习中充分发挥大脑功能的一种方法是快速阅读。逐字逐句的缓慢阅读是发挥左脑的功能，而快速阅读是发挥右脑的功能，快速阅读获得的信息是从整体上被理解的，这样就能提高对文字的理解程度。换句话说，如果你发现一篇文章很难理解，你就应该读得更快一些。 近十年来，由于当代科学技术的突飞猛进，人类一年创造的财富是20世纪初的

3、19倍。人类是否会以此速率，继续创造发明，越来越聪明呢？ 研究未来学的一个英国科研小组提出，人类大脑的进化已接近极限。也就是说，未来人类不会比现在的人聪明很多。该科研小组根据人类大脑进化数学模型分析指出：人的神经元数与神经网络规模，决定人的大脑接受、处理、利用信息的能力，也就决定人的聪明程度。 但有些科学家不同意这观点，认为在知识经济的时代，人类接受信息处理能力的极大提高，会促使大脑进化出现结构性变化。认为人的不同区域的神经元与神经网络可能出现进一步分工以提高信息接受与处理效率，这很可能使未来的人类比今天的人类聪明得多。人类大脑一直在进化 一项新的研究发现，人类的大脑仍在进化之中，研究人员跟踪

4、研究了被认为是有助于控制大脑生长的两种基因(mi- cro-cephalic 和VASPM)的变化，这种基因变化在20万年前现代人出现后就一直存在。 人类的大脑比其他动物发达，这是人类的特征。直到5800年前，人的大脑仍在进化，而且现在可能也仍在进化之中。美国芝加哥大学的遗传学家认为:人类已经到了进化的顶峰，事实上不进化几乎是不可能的。 科学家发现， mi- cro-cephalic(微脑磷脂)基因发生变异是在大约37000年前，当时正是艺术、音乐和工具制造出现的时期。而VASPM基因发生变异的时间是在大约5800年前，基本上和书面语言的发展、农业的扩展和城市的发展处在同一时期。学者推测人类最

5、近的基因进化在某些方面可能与文化的进化有关。 多年来,人类试图向生物学习,寻求更理想的有效发明,为人类服务.而人的大脑是自然界所造就的最高级产物，科学家们希望开发出像人脑的机器来代替人类工作,以寻求更神奇的文明和进步. 人工智能工程可看成是对人类左脑功能研究，主要基于逻辑思维，如电子计算机就是模拟人脑逻辑思维的人工智能系统. 现行计算机运算速度是人脑神经元速度的几百万倍，善长各种数值运算和逻辑运算，极大地拓展了人脑的能力，所以誉为“电脑”。 迄今为止，计算机在解决与形象思维和灵感思维相关的问题时，却显得无能为力。例如人脑识别（见面认识），骑自行车、打篮球等涉及联想或经验的问题，人脑可以从中体会

6、那些只可意会、不便言传的直觉与经验，可根据情况灵活掌握处理问题的规则，从而轻而易举地完成此类任务，而计算机在这方面则显得十分笨拙。 人工神经网络则是探索人的形象思维，即针对右脑的认知规律的研究产物。 比较人脑与“电脑”的信息处理能力，会发现“电脑”和人脑存在很大的差距。反映在多个方面:记忆与联想能力方面:人脑具有非凡的创造能力。良好的学习和认知能力（刚生婴儿大脑几乎空白，但是在成长中通过对外界环境的感知及意识，知识和经验与日俱增）。信息综合能力方面：人脑善于知识归纳，类比和概括，也可以是经验地、模糊地甚至是直觉地做出判断等。信息处理速度方面：人脑中的信息处理是以神经细胞为单位，而神经细胞的传递

7、速度只能达毫秒级，比计算机电子元件纳秒级的计算速度慢得多。实际上数值处理方面确实如此。但在图形声音等类信息的处理方面则不同。如几个月婴儿从人群中一眼认出母亲，而计算机解决此类问题则需要一幅具有几百万个像素的逐点处理，并提取脸谱特征进行识别，等等。 关健一点是人脑与电脑的信息处理机制不同，人脑中的神经网络是一种高度并行的非线性信息处理系统，虽然单个神经信息处理速度为毫秒级，但大规模神经细胞（人脑有约1.410个）的群体协同并行处理方式是高效的而计算机采用的是有限集中的串行信息处理机制（基于冯诺依曼工作原理Von Neumann）。即存储器与处理器相互独立，处理信息必须是形式化信息（用二进制定义）

8、。 布满人类大脑皮层上的神经细胞亦称为神经元。每个神经元有数以千计的通道 同其他神经元互连，形成复杂的生物神经网络。生物神经网络以神经元为基本信息处理单元，对信息进行分布式存储与加工。这种信息加工与存储相结合的群体协同工作方式使得人脑呈现出神奇智能。为了模拟人脑形象思维方式，人们从模拟人脑生物神经网络的信息存储加工处理机制入手，设计具有人类思维特点的智能机器，无疑是最有希望的途经之一。ANN定义:(目前定义尚不统一。) ANN是 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型。 ANN是生物学上的真实人脑神经网络的结构以及若干基本特性的某种理论抽象，简化模拟而构成

9、的一种信息处理系统。 ANN是采用物理可实现的系统来模仿人脑神经细胞和结构和功能的系统。 应该明确:ANN远不是人脑生物神经网络的真实写照，而只是对它的简化，抽象与模拟。 目前已提出上百种ANN模型，这些简化模型的确能反映出人脑的许多基本特征。它们在模式识别、系统辨识、信号处理、自动控制、组合优化、预测估计、故障诊断、医学与经济学等许多领域已成功地解决了许多用计算机等方法难解决的实际问题，表现出良好的智能特征和潜在的应用前景。 人工神经网络应用系统的研究，需要硬件制作技术的新突破，以便制作出ANN设备，据报道神经网络计算机已取得令人瞩目的进展。 ANN的研究内容极具丰富，涉及的面宽而又有相当深

10、的理论有待进一步研究（涉及多学科知识）。研究内容大体上有基本理论、模型、算法、应用和实现等五大方面，每方面都有很多问题尚未解决或完善解决，尚需用各种方法从各方面开展对ANN进行更深入研究。人工神经网络发展简史发展可划分四个时期（早期、低潮期、复兴时期、新时期 ）。早期（启蒙时期）1943年,美国心理学家和数学家合作,在分析总结神经元基本特性的基础上，提出神经元数学模型，简称MP模型。从脑科学研究来看，MP模型是第一个用数理语言描述人脑的信息处理过程的模型。后来此模型又有发展，至今沿用人工神经网络之先驱。 1957年,设计制作了“感知机”（Perceptron），是一种三层神经网络。用于文字、声

11、音识别、声纳信号识别，及学习记忆问题研究。 1962年,Widrow和Hoff等提出了自适应线性元件网络，简称Adline（Adaptive Linear elemlnt），用硬件电路实现设计，用于自适应信号处理，雷达无线控制等方面。低潮期 20世纪60年代末期，人们对感知机兴趣开始衰落，即线性感知机功能有限，只能进行线性分类和求解一阶谓词问题，不能进行非线性分类和解决比较复杂的高阶谓词问题（如异或（XOR）等）。典型代表人物：Minsky和Papert（美麻省理工学院著名人工智能学者）（作了大量数学研究，在当时技术条件下，他们在多层网络的有效学习方法上遇到了极大困难），由于Minsky在学术

12、界的地位和影响其悲观论点极大地影响了当时ANN研究，为刚燃起的ANN之火，泼了一盆冷水。不久几乎所有为神经网络提供的研究基金都枯竭了。很多领域的专家纷纷放弃了这方面课题的研究，开始了神经网络发展史上长达10年的低潮期。值得庆幸，仍有不少科学家在极其困难的条件下坚持不懈研究，在世纪70年代，主要是提出了各种不同的网络模型，开展了人工神经网络理论研究，网络功能研究和各种学习算法研究。为后来研究神经网络理论、数学模型和体系结构打下了坚实的基础。（神经网络研究处于低潮的更主要原因，应该是70年代以来集成电路和微电子技术的迅猛发展，使传统的Von Nedmann型计算机进入全盛期，基于逻辑符号处理方法的

13、人工智能（AI）得到迅速发展并取得显著成就）。复兴时期（新高潮期）（世纪80年代）复兴期到来标志是美国加州工学院物理学家John Hopfield1982和1984年在美国科学院院刊上发表两篇论文，提出了仿人脑的ANN模型，即著名的Hopfield模型，获得工程技术与学术界的重视。（世纪80年代后,Von Neumann计算机在处理诸如视、听、形象思维、联想记忆等方面开发受挫）。 Hopfield的主要贡献是：根据网络的非线性微分方程，引用能量函数（Lyapunov函数李雅普诺夫函数）的概念，使ANN的平衡稳定状态有了明确的判据方法；利用模拟电路的基本元件构作了ANN的硬件原理模型，为硬件实现

14、奠定了基础。开拓了神经网络用于联想记忆和优化计算等方面的新途径。Hopfield网络求解了最著名的经典人工智能难题（约束优化问题）： TSP问题。 TSP Travelling Salesman Problem旅行商最优路径问题 获得了令人满意的结果（近似解）。：n个城市，可能的路径总数为n!/2n，随着n的增加，路径数将按指数率急剧增长指数爆炸。当n较大时，用传统数字计算机也无法在有限时间内寻得答案。如n，即使用亿次秒的巨型计算机按穷举收索法，需 年时间。48若n=20,也需年。我国直辖市、省会和自治区首府的巡回路径约有. 种。我国学者对（中国旅行商问题）进行了大量的研究，最新成果已达km。

15、在opfield经典算法基础上，将城市分成部分，求得最短路径为 km。opfield 的网络开辟了问题求解的崭新途径，获得巨大成功。由于模拟电子线路中全部元件都是并行工作，所求解时间与n的多少无关，仅是运算放大器微秒级工作时间，显然求解速度急高。充分展示了的巨大威力。32人们重新认识到ANN的威力，大批学者和研究人员围绕Hopield方法开展进一步工作，使该学科研究升温。 1985年，Terrence Sejnowski和提出Bottzmann（玻尔兹曼）机，首次采用多层网络的学习算法，并用模拟退火过程来模拟外界环境。 1986年,Rumelhart和提出多层网络的“逆推”（或称“反传”bac

16、k propation）学习算法，简称BP网络。该算法从后向前修正各层之间的连接权重，可以求解感知机所不能解决的问题，从实践上证实ANN很强的运算能力。否定了Minsky等人的错误结论。BP迄今为止，是用的比较广泛和流行的最普通的网络。 相继还有许多不同功能的ANN系统被开发出来。新时期（热潮期（80年代后期到现今） 1987年国际神经网络学会成立（INNS）宣告神经网络计算机学科的诞生。掀起人类向生物学习，研究和开发及应用神经网络的热潮。 每年都召开神经网络和神经计算机的国际性和地区性会议，促进神经网络的研制、开发和应用。 1991年IJCNN（国际联合神经网络会议）主席在开幕词中讲到“神经

17、网络的发展已进入转折点，它的范围正在不断扩大，领域几乎包括各个方面”。 这一时期，理论和技术以及应用有以下特点：(1)理论上寻求研究新进展(2)人工神经网络技术与当前技术相结合现在ANN技术正进入和AI（人工智能），视觉与语声识别系统，专家系统、机器人以及化学和医学等的结合。目前各国发展重点是以应用为导向，以发展高性能的混合计算机为目标。(3)应用领域比过去要广泛得多 新生应用领域在不断增加，例如工业生产监控、学习、分类、预报预测和分析以及处理，邮政通信及信息服务，健康服务，在军事方面的多目标跟踪、战斗机飞行控制、汽车自动驾驶及战场管理等。其它领域有：神经网络作图、语音识别，以及财政风险分析原

18、理价格预报，股票行情分析，支票和收据收验甚至赛马等。美国军方在海湾战争中利用了神经网络来进行决策控制。能源部利用它来预报世界原油价格，联邦航空管理局用它进行机场行李炸弹的自动检验。食品医药管理局利用它不定期进行食品添加剂分析。波音、福特等大公司以及一些银行和保险公司也都应用神经网络系统进行控制和决策。我国ANN研究现状 1988年，北京大学组织召开了第一次关于神经网络的讨论会，一些知名学者在会上作了专题报告。 1989年，北京和广州等地召开了神经网络及其应用讨论会和第一届全国信号处理神经网络学术会议。 1990年12月，由中国电子学会及计算机学会等八个学会联合发起并组织了中国第一次神经网络会议

19、，参加人数400余人，搜集到会议记录中的论文358篇，内容涉及生物、人工神经网络模型、理论、分析应用及实现等各方面。 1991年12月由13个单位发起和组织召开第二次全国神经网络会议，录用论文280篇。在南京成立中国神经网络学会。 1992年中国神经网络委员会在北京承办了世界性的国际神经网络学术大会。经过10几年的发展，我国人工神经网络和研究和应用正迈向新的高科技时代。 人工神经网络的应用领域神经网络的智能化特征与能力使其应用领域日益扩大，潜力日趋明显。许多用传统信息处理方法无法解决的问题采用ANN后取得了良好的效果，这里不详介绍。主要介绍一下几个主要应用领域。 信息领域信号处理：自适应信号处理和非线性信号处理都可以。模式识别：可以处理静态模式如固定图象，固定能谱等，还可以处理动态模式如视频图象，连续语音等。 静态模式识别的成功例子有手写的识别，动态模式识别有语言信号识别。目前市场上，随处可见的电脑手写输入和语言输入系统进一步表明神经网络在模式识别方面的应用已商品化。数据压缩：自动化领域系统辨识：如自动控制中，被控对象的数学模型建立等问题。神经控制器：控制器在实时控制系统中起着“大脑”的作用， 神经网络具有自