人工神经网络的发展简

人工神经网络的发展简史人工神经网络的发展历程大致可以分为三个阶段:兴起时期低潮时期复兴时期兴起阶段1943年,神经生物学家MeCulloch和青年数学家Pitts提出了第一个人工神经元模型——神经元阈值模型（MP模型）,并在此基础上抽象出其数学模型,开创了人工神经网络的研究。1943年,神经生物学家MeCulloch和青年数学家Pitts提出了第一个人工神经元模型——神经元阈值模型（MP模型）,并在此基础上抽象出其数学模型,开创了人工神经网络的研究。1943年,神经生物学家MeCulloch和青年数学家Pitts提出了第一个人工神经元模型——神经元阈值模型（MP模型）,并在此基础上抽象出其数学模型,开创了人工神经网络的研究。1943年,神经生物学家MeCulloch和青年数学家Pitts提出了第一个人工神经元模型——神经元阈值模型（MP模型）,并在此基础上抽象出其数学模型,开创了人工神经网络的研究。低潮阶段20世纪60年代，掀起了研究人工神经网络的第一次高潮，但是一方面由于研究的深入，人们遇到了来自认知、应用和现实等方面的困惑，阻碍了研究的步伐；另一方面20世纪70年代以来，集成电路和微电子技术的迅猛发展，数字计算机的发展进入了全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，整个学术界陶醉于数字计算机的成功之中，使感知机的研究工作得不到重视。这使得人工神经网络的研究处于一个低潮时期。低潮时期也有少数学者坚持不懈的致力于人工神经网络的研究工作。1972年芬兰的Kohonen教授提出了自组织神经网络（SOM）；Anderson提出了一个类似的神经网络，称为交互存储器。1976年美国Grossberg教授提出了著名的自适应共振理（AdaptiveResonanceTheory）其学习过程具有自组织和自稳定特征，其后他继续研究ART网络并有ART1、2.3等3个系统版本。低潮时期的另一位重要人物是日本的福岛邦彦，他于1980年发表的“新认知机”，“新认知机”是视觉模式识别机制模型，它与生物视觉理论相结合，其目的在于综合出一种神经网络模型，使它像人类一样具有进行模式识别能力。低潮时期的科学价值同样不可磨灭，为日后神经网络理论研究的复兴打下了坚实的基础。复兴阶段1982年,美国加州理工学院的生物物理学家Hopfoeld发表了著名的Hopfoeld模型理论,标志着人工神经网络研究工作的复苏。此模型对人工神经网络信息存储和提取功能进行了非线性数学概括,提出了动力方程和学习方程,还对网络算法提供了重要公式和参数,使人工神经网络的构造和学习有了理论指导。1985年,Hinton和Sejnowski借助于统计物理学的概念和方法,为Hopfield网络模型引入随即机制并提出了一种随机神经网络模型——波尔兹曼机,有效地克服了Hopfield网络存在的能量局部极小值问题。1986年美国Rumelhart和McMelland及其领导的研究小组提出了并行分布式处理网络思想,主要致力于认知的微观研究,同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法（BP）算法进行了详细的分析。能够将学习结果反馈到中间层的隐含节点中,解决了多层神经网络的学习问题。BP算法是目前最引人注目、应用最广泛的神经网络算法之一。近年来,世界各国积极