人工神经网络1绪论

人工神经网络1绪论第1页/共20页1.1人工智能概念的提出从40年代计算机的出现，人们渴望在广度和深度上不断扩大计算机的的应用。希望像人脑一样不仅有数据处理的一般计算能力，而且有处理知识的思维学习能力。1945年英国数学家图灵(turing)发表了<<计算机和智能>>一书。第2页/共20页1956年麦卡锡J.Mccarthy、明斯基M.L.Minsky、香农C.Eshannon、罗切斯基N.Lochester组织发起,

在Dartmouth大学，共同探讨了用计算机模拟人类智能行为的问题，提出了“人工智能”这个名词。探讨了人工智能走什么样的路，由于人们对大脑的运行机制即了解又捉摸不透，因此研究者用两种不同的途径进行了探索。第3页/共20页

①.从心理模型出发，不考虑大脑的生理机制，以“前因-后果”，“刺激-反应”，“制约-效应”等外界环境中取得的效果来模拟。方法之一是用逻辑学中演绎或归纳方法----符号推理。②.模拟大脑组织结构和行为,利用生物神经学的成果,模拟大脑的神经元的特性和连续模式，构成人工神经网络。第4页/共20页1.2生物神经元模型人脑由1010个神经元细胞组成,，每个神经元又与104-105个其它神经元相连，构成一个庞大的三维空间的神经元网络。树突：接受器，用来接受信息。轴突：传导信息，将信息从轴突起点传送到轴突末梢。突触：由轴突末梢与另一个神经元的树突或细胞体构成，通过突触实现神经元之间的信息传递。第5页/共20页1.2生物神经元模型

目前神经网络的研究，人们借鉴了大脑结构的特征，采用大量的比较简单的元件作为系统的基本单元，依靠单元之间复杂的连接构成具有良好功能的网络，这些连续的可以按照一定的方式改变，使NN具有一定的学习能力。目前的NN研究仅仅是对大脑作较简单的模拟,大脑的结构和功能当然要复杂的多。神经生理学发现:第6页/共20页1.2生物神经元模型

神经元的生物学行为:(1)可处于两种不同的状态:抑制与兴奋(2)可出现爆发和平台两种情形(3)可出现抑制后的反冲(4)具有适应性.

突触的生物学行为:(1)可进行信息综合(2)可出现渐次变化的传输(3)可有电接触及化学接触等多种连接方式(4)可出现延时激发NN是对大脑的部分模拟，不是全部，例：新陈代谢。第7页/共20页1.3NN的特点(1)分布存贮与容错性

信息的记忆，主要反映在神经元之间的连接强度上。即使个别单元出错，部分信息丢失，但大部分信息仍然会保留。(2)并行处理(3)信息处理与贮存合二为一(4)可塑性与自组织性(5)层次性与系统性???第8页/共20页

第

一

章绪论1.1人工智能概念的提出1.2生物神经元模型1.3NN的特点1.4人工神经网络的发展简史1.5NN的研究内容及其前景第9页/共20页 1.4人工神经网络的发展简史(一)Mccuuoch和Pitts1943年心理学家，W.Mccuuoch和数理逻辑学家W.Pitts在分析、总结神经元基本特征的基础上，首先提出神经元的数学模型，MP模型。(二)VonNeumann1945年，John.VonNeumann领导的设计小组研制成功存储程序的电子计算机。

1948年，在研究工作中比较了人脑与存储程序式计算机的区别。提出了以简单神经元构成的自再生自动机网络结构，但由于计算机发展太快，他放弃了NN研究，1957年去世。第10页/共20页 1.4人工神经网络的发展简史(三)感知机

50年代末，F.Rosenblatt设计制作出感知机perception它是一种多层NN。用于模式识别，但许多人放弃了研究，原因如下：

(1)计算机发展处于全盛时期，许多人误认为计算机可解决AI模式识别、专家系统等一切问题，感知机不受重视。

(2)电子工艺水平比较落后，制作ＮＮ成本高。

(3)Ｍinsky和papert在1969年出版专著“感知机”，书中论证了简单的线性感知机功能有限，它不能解决“XOR”，这样的简单问题，而且指出了多层网络找不到有效的方法。第11页/共20页 1.4人工神经网络的发展简史(四)widrow

60年代初期，widrow提出自适应线性元件网络，Adaline是一种连续取值的线性加权求和阈值网络，主要用于雷达无线控制等，后来又发展了非线性多层自适应网络。(五)Hopfield

美国物理学家hopfield于1982，1984在美科学院刊上发表了两篇NN论文，引起了巨大反响，它的主要贡献是：根据网络的非线性微分方程，引用能量函数(lyapunov)概念，使NN的平衡稳定状态有了明确的判据方法，用模拟电路的基本元件构成了NN的硬件原理模型，为实现硬件奠定了基础，解决了TSP问题。(TravellingSalesmanProblem)第12页/共20页 1.4人工神经网络的发展简史(六)多层网络的反向传播算法

Hopfield的研究成果未能指出Minsky等人1959年论点的错误所在。1986年Rumelhart和Mcclellanel提出多层网络的误差反向传播BP(backpropagation)算法从后向前修正各层之间的连接权值，可以求解感知机所不能解决的问题，否定了Minsky。另外还有

Hinton，Sejnowski提出了波耳兹曼机

Grossberg提出了自适应谐振理论ARTKohonen的自组织特征映射模型SOM1987.6在美国加州召开了第一届NN国际会议

1988(NeuralNetwork)创刊

1990IEEETrans.OnNeuralNetwork创刊第13页/共20页 1.4人工神经网络的发展简史典型的神经网络： 时间 发明者 网络名称

1957：Roenblatt感知器(percentron) 1961：Steinbuch学习距阵(Lermatrix) 1962：Widrow 自适应线性元件(Adaline) 1968：Grossberg 大系统模型

1972~84：Fukushima 认识机/神经认知机

1977：Anderson BSB－盒脑

1978~86：Grossberg 自适应共振理论(ART1和ART2)1980：Kohonen 自组织映射

1974~85：Rumelhart BP理论

第14页/共20页 1.4人工神经网络的发展简史1985：Hinton等 Boltzman机(BM)1985~88：Kosko BAM/自适应BAM

国内的NN研究起于1988年前后，1989年召开了全国第一届神经网络——信号处理会议。

1990年12月，1991年12月分别召开了第一、二届全国神经网络大会。

1992年，国防NN学会和IEEE神经网络委员会联合学术会议在北京召开。第15页/共20页 1.4人工神经网络的发展简史国内的著作：

1）焦李成：神经网络系统理论，西安电子科技大学出版社，1991 2）焦李成：神经网络计算，西安子科技大学出版社，1995 3）焦李成：神经网络的应用和实现，西安电子科技大学出版社，1995 4）郑君里、杨行峻：人工神经网络，高等教育出版社，

1992 5）施鸿宝：神经网络及其应用，西安交通大学出版社，

1993 6）胡守仁：神经网络导论，国防科技大学出版社，1993第16页/共20页 1.4人工神经网络的发展简史7）胡守仁：神经网络导论，国防科技大学出版社，19938）胡守仁：神经网络应用技术，国防科技大学出版社，19939）徐柄铮：神经网络理论与应用，华南理工大学出版社，

199410）张立明：人工神经网络的模型及其应用，复旦大学出版社，

199311）靳蕃： 神经网络与神经计算机，西南交通大学出版社，

199112）周继成：人工神经网络，科学普及出版社，199313）王伟： 人工神经网络原理，北京航空航天大学出版社，

199514）庄镇泉：神经网络与神经计算机，科学出版社，1992第17页/共20页 1.5NN的研究内容及其前景：NN的研究集中在以下几个方面： （1）生物原型研究：从生理学，心理学，解剖学，脑科学等生物科学方面研究神经细胞，神经网络，神经系统的生物原型结构及其功能机理。 （2）建立理论模型：根据生物原型的研究，建立神经元，神经网络的理论模型、概念模型、知识模型、数学模型，用于NN功能和结构分析。 （3）网络模型与算法研究：在理论模型研究的基础上构造具体的神经网络模型，以实现计算机模拟和硬件实现。（4）人工神经网络应用系统：模式识别，专家系统，机器人等。第18页/共20页 1.5NN的研究内容及其前景：ANNBNN(Biological)CNN计算神经网络

DNN：设计NN(Design)ENN：进化NN(Ev