人工神经网络讲稿ppt-面向对象程序设计.ppt

1、人工神经网络，初级神经网络，目录， 第1章概述第11章人工神经网络研究与开发第12章生物神经元13人工神经网络配置第2章人工神经网络基本模型21 MP模型22感知器模型23自适应线性神经元第3章EBP网络(反向波算法)31银层预馈网络的学习规则32 Sigmoid激励函数下BP算法33 BP网络教育与测试34 BP算法改进35多层internet BP算法计算机编程多层前向internet BP算法源程序、 第四章Hopfield网络模型41离散Hopfield神经网络42连续Hopfield神经网络Hopfield网络模型源节目43旅行中问题(TSP)的HNN解决Hopfield模型解决TS

2、P源5章随机神经网络51模拟退火算法52玻耳兹曼机器玻尔兹曼机器模型源53章磁组织神经网络61竞争型学习62 第7章联想内存神经网络71联想内存基本特征72线性联想内存LAM模型73双向联想内存BAM模型74小时联想内存TAM模型Hopfield模型联想内存源8章CMAC模型81 CMAC模型82 CMAC映射算法83 CMAC的输出计算84 CMAC控制器模型，目录MP模型的建议开始了神经网络研究过程。1949年心理学家Hebb提出了著名的Hebb学习规则神经元之间的强度变化的组合，以实现神经学习的方法。Hebb学习规则在人们神经网络研究初期提出，但其基本思想至今在神经网络研究中仍然发挥着重

3、要作用。50年代末，Rosenblatt提出了识别器模型(Perceptron)，首先从工程角度研究了用于信息处理的神经网络模型。这是学习和自组织心理学的模式，基本上符合神经生理学原则。识别器比较简单，但具有分布式存储、并行处理、学习习性、连续计算等神经网络几个茄子基本特性。这种神经网络的特性与当时流行的串行、离散、符号处理的电子电脑及其相应的人工智能技术本质上不同。这引起了很多研究者的关注，并引起了60多岁神经网络研究的第一次高潮。但是当时人们对神经网络研究过于乐观，认为将这种神经元连接成一个网络可以解决人类大脑事故的模拟问题，但是后来的研究结果进入了另一个极端。60年代末，美国著名人工智能

4、专家Minsky和Papert对Rosenblatt的工作进行了深入研究，出版了Perceptron一书，指出了感官的功能和处理能力的限制，甚至指出了XOR等问题。所以明斯基的结论是悲观的。另一方面，60年代以来，集成电路和微电子学技术的快速发展，使电子计算机的计算速度迅速提高，同时，基于功能模拟目标、知识信息处理的知识工程学科等研究成果，也有了从人工智能实验室走向实用的希望。这种技术进步引起了人们的认识，串行信息处理和基于此的传统人工智能技术的潜力是无限的。这暂时掩盖了新电脑的开发，还对当时大脑的计算原理、神经网络计算的优点、缺点、可能性、限制等不清楚。结论，认识的局限性给神经网络研究带来了

5、瓶颈。，在牙齿低潮期，一些学者也认真地继续神经网络模型和学习算法基础理论研究，提出了很多有意义的理论和方法。其中主要有自适应谐振理论、自组织映射、认知器网络模型论、BSB模型等，为神经网络发展奠定了理论基础。进入20世纪80年代后，第一个是基于“知识库”的专家系统研究和运用，在很多方面取得了巨大的成功。但是不久后，实际情况表明，专家系统，尤其是视觉、听觉、图像思维、联想记忆、运动控制等，并没有人们想要的那么高明。传统的计算机和人工智能技术面临很多困难。模拟人脑的智能信息处理过程只要用串行逻辑和符号处理等传统方法解决复杂的问题，计算量的组合就会爆炸。因此，具有并行分布处理模型的神经网络理论再次受

6、到重视。神经网络研究又开始复兴，第二次研究的高潮出现了。1982年，美国加州理工学院物理学家JJHopfield提出了新的神经网络HNN。他引入了“能源函数”的概念，对网络稳定性研究做出了明确的判定。HNN的电路物理实现奠定了神经电脑研究的基础，目前电子计算机难以解决的计算复杂性应用于NP完整型问题(如著名的“巡回推销员查询”(TSP)，取得了良好的效果。从事并行分布式处理研究的学者，1985年在Hopfield模型中引入了随机机制，提出了Boltzmann机器。1986年Rumelhart等以多层神经网络模型为基础，提出了多层神经网络模型的反向波学习算法(BP算法)，解决了多层前向神经网络学

7、习问题，证明了多层神经网络学习能力强，可以完成很多学习任务，解决很多实际问题。近10多年来，徐璐提出了许多具有其他信息处理能力的神经网络牙齿，应用于模式识别、自动控制、信号处理、决策辅助、人工智能等许多信息处理领域。神经电脑研究也为神经网络理论研究提供了很多有利条件。各种神经网络模拟软件包、神经网络筹码、电子神经计算机的出现使神经网络领域的各种研究都取得了长足的进展。另一方面，相应神经网络学术会议和神经网络学术杂志的大量出现为神经网络研究人员讨论交流提供了很多机会。虽然人们已经对神经网络在人工智能领域的研究产生了共鸣，但其巨大潜力也不容置疑。但是对人类大脑的研究，尤其是对其中智能信息处理机制的

8、理解还很浅。因此，现有的研究成果只是初期阶段，需要很多有识之士的长期努力。综上所述，可见现在又处于神经网络理论的研究高潮，不仅对下一代智能电脑的研究有很大影响，还会促进整个人工智能领域的发展。另一方面，由于问题本身的复杂性，神经网络原理本身，或正在努力探索和研究的神经计算机，现在还处于早期发展阶段。为了理解ANN，我们先分析一下当前计算机的问题。冯诺依曼型计算机在当今世界发挥着巨大的作用，但是智能信息处理过程中存在着很多局限性。让我们简单分析一下冯诺依曼型计算机用于解决什么问题的方法。(1)根据问题的性质构建相应的数学模型。(2)根据设定的数学模型源数据，为输入计算机生成相应的节目和数据。(3

9、)计算机的控制器命令输入器将计算阶段的初始数据写入内存。(4)控制器根据计算阶段的顺序，按内存地址读取第一计算阶段，然后根据读取阶段的规定，控制运算符对该数据执行规定的计算操作。(5)反馈器发现反馈信号中算法起作用，结果将中间结果记录在内存中的特定位置，并进行存档。(6)反馈信号通知控制器采取第二计算步骤骡子，重复上述执行过程。在整个操作完成之前，控制器打印、显示命令输出器中存储在内存中的最终结果，或将其输出到绘图中。总结上述整个计算过程，可以发现，当前庞诺伊曼计算机具有以下三个茄子主要特征：(1)按照人们已经准备好的程序步骤，进行相应的数值计算或逻辑运算。因为没有主动学习的能力和适应性，所以

10、是被动的。(2)所有节目命令必须转移到CPU，然后按顺序执行。因此，处理信息的方式是集中和串行的。(3)内存的位置(地址)与其中存储在日历上的具体内容无关。因此，调用操作的指令或数据时，总是先查找自己所在内存的地址，然后查找存储的内容。(David assell，Northern Exposure(美国电视电视剧)，操作名言)，存储内容和存储地址不相关。由于当前计算机的这种特性，显示了在数字计算或逻辑运算等顺序(串行)信息处理中非人的访问速度。另一方面，人类日常的信息活动，如图形识别、语言理解等，看起来既低能又笨拙。实际上，大脑是对外部世界时空对象的描述和识别是认知的基础。认知问题离不开对低级

11、信息处理的研究和认识。符号处理在大脑的思维功能模拟等方面取得了很大的进展，但在处理视觉、听觉、联想记忆、图像事故等问题上往往没有力量。因此符号处理不能全面解决识别问题和机器智能问题。它对高级大脑功能的宏观模拟有效，但在一些低级模式处理上还有很多困难牙齿。由于传统的冯诺依曼计算机在智能信息处理中认识到了这些不可克服的局限性，人们考虑到需要更好地了解人脑神经系统信息处理和存储机制的特点，以便找到新的人工神经网络智能信息处理路径。人工神经网络研究是通过自下而上的方法研究大脑在神经系统结构中的功能，研究大量简单的神经元组信息处理能力和动态行为。目前，由于神经网络的研究，多年来困扰计算机科学和符号处理的

12、一些难题，可以得到比较满意的答案。特别是其施工信息存储及并行检索、自组织联想亿、施工数据统计描述的自组织及部分相关活动中，显示出了解决自动知识等一般问题的更为独特的能力。这引起了智能研究者的广泛关注，普遍认为神经网络方法适合低级模式处理。人类大脑信息处理机制，生物神经系统是一个具有高度组织和相互作用牙齿的庞大细胞组织群体。人类大脑的神经细胞约为1011，1013个左右。神经细胞也称为神经元，是神经系统基本单位，徐璐以不同的结合方式构成复杂的神经网络。通过神经元及其连接的可塑性，大脑将具有学习、记忆、认知等多种智能。人工神经网络研究的起点是以生物神经元学说为基础的。生物神经元学说认为神经细胞神经

13、元是神经系统中独立的营养和功能单位。生物神经系统包括中枢神经系统和大脑，都由各种神经元组成。其独立性是说，每个神经元都有自己的核和自己的分界线或原生质膜。生物神经元之间的互连，信息传递部位称为突触。突触可以根据传递信息的多种机制分为化学突触和突触，其中化学突触占大多数，其神经冲动传递利用化学传递物质的作用。生物神经元结构大致如下图所示。由神经元细胞体和扩展部分组成。扩展部分按功能分为两个茄子类别。一种称为树突，它占据了大部分扩展部分，用于容纳其他神经元信息。另一种用于传递和输出称为轴突的信息。对信息的神经元接受和传递都是通过突触完成的。单个神经元可以从其他细胞接收数千个突触输入。这些输入可以到

14、达神经元树突、包体、轴突等多个部位，但分布不同，神经元影响也不同。人类的大脑皮质总表面积约为20104mm2，平均厚度约为25mm，皮层体积约为50 104mm3。如果皮层突触的平均密度为6 l09mm3左右，那么皮层的突触数量可以被认为是3，1015个。如果重新计算上述人类大脑中包含的神经元总数，每个神经元的平均突触数可能约为1530万个。神经元之间的连接主要取决于突触的连接作用。牙齿突触连接具有可塑性。换句话说，突触特性的变化受外部信息或自身生长过程的影响。生理学的研究总结了以下方面的变化：(1)突触传递效率的变化。第一是突触的膨胀和随之而来的突触后膜表面扩大，突触释放的传递物质增加，突触

15、的传递效率提高。接着突触传递物质质量的变化包括比例成分的变化引起的传递效率的变化。(2)突触接触间隔的变化。突触表面有很多不同形状的小芽，调节形状变化会改变接触间隔，影响传递效率。(3)突触的萌发。如果破坏了一些神经纤维，它可以会长幼苗，在神经元连接上再生突触形成新的循环。随着新电路的形成，结合模式的变化，传递效率的变化也会发生。(4)突触数量的增减。多种茄子复杂环境条件的刺激等，或动物本身的生长或老化，都会改变神经系统突触数量，影响神经元之间的传递效率。对信息的神经元接受和传递都是通过突触实现的。单个神经元可以从其他细胞接收多个输入。由于输入分布在其他部分，因此神经元影响的比例(权重)不同。

16、此外，突触输入到达神经元前后的时间也不同。因此，神经元接受信息经常在时间和空间中呈现复杂多样的形式，神经元积累和整合它们，因此，必须确定其输出的时机和强度。神经元的集成使众多神经元能够在神经系统中有序、昼夜地处理复杂的信息，并执行生物中心神经系统的各种信息处理功能。威廉莎士比亚、美国电视电视剧(Northern Exposure)、多个神经元通过突触连接形成了一个神经网络。研究表明，生物神经网络功能并不是单个神经元生理和信息处理功能的简单嵌套，而是分层多单元动态信息处理系统。他们有独特的操作方式和控制机制，能接受生物内外环境的输入信息，综合折叠，控制机体对环境的适当反应。以上是宏观分析人脑信息处理特征。从资讯系统研究的角度来看，人类大脑这个智能信息处理系统有几个茄子独特的特征：(1)并行分布式处理的工作方式。实际上，大脑的单个神经元信息处理速度非常慢，一次约1毫秒(ms)，比一般的电子门电路慢几个数量级。每个神经元处理功能也受到限制，预计不会比计算机的指示更复杂。但是人类的大脑对某些复杂过程的处理和反应很快。通常只需要几百毫秒。例如，要确保人眼可见的两个图形相同，实际上需要大约400毫秒，在牙