人工神经网络基础_第1页
人工神经网络基础_第2页
人工神经网络基础_第3页
人工神经网络基础_第4页
人工神经网络基础_第5页
已阅读5页,还剩49页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

人工神经网络1精品ppt人工神经网络概述前向多层网络自组织特征映射网络(SOFM)2精品ppt一人工神经网络发展二生物学基础三人工神经网络结构四神经网络基本学习算法人工神经网络概述3精品ppt一人工神经网络发展最早的研究可以追溯到20世纪40年代。1943年,心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型,至今仍在应用,可以说,人工神经网络的研究时代,就由此开始了。1949年,心理学家Hebb提出神经系统的学习规则,为神经网络的学习算法奠定了基础。现在,这个规则被称为Hebb规则,许多人工神经网络的学习还遵循这一规则。4精品ppt1957年,F.Rosenblatt提出“感知器”(Perceptron)模型,第一次把神经网络的研究从纯理论的探讨付诸工程实践,掀起了人工神经网络研究的第一次高潮。1969年,人工智能学者专著《感知机》的发表,从数学上严格论证了简单的线性感知机不能解决“异或”(XOR)问题。同时也指出如果在感知器中引入隐含神经元,增加神经网络的层次,可以提高神经网络的处理能力,但是却无法给出相应的网络学习算法。于是,从20世纪60年代末期起,人工神经网络的研究进入了低潮。一人工神经网络发展5精品ppt1982年,美国加州工学院物理学家Hopfield提出了离散的神经网络模型,标志着神经网络的研究又进入了一个新高潮。1984年,Hopfield又提出连续神经网络模型,开拓了计算机应用神经网络的新途径。1986年,Rumelhart和Meclelland提出多层网络的误差反传(backpropagation)学习算法,简称BP算法。解决了多层前向神经网络的学习问题,证明了多层神经网络具有很强的学习能力,它可以完成许多学习任务,解决许多实际问题。

一人工神经网络发展6精品ppt自20世纪80年代中期以来,世界上许多国家掀起了神经网络的研究热潮,可以说神经网络已成为国际上的一个研究热点。

一人工神经网络发展7精品ppt神经网络研究的两大派:主要包括:生物学家、物理学家和心理学家研究目的:给出大脑活动的精细模型和描述。主要包括:工程技术人员主要目的:怎样利用神经网络的基本原理,来构造解决实际问题的算法,使得这些算法具有有趣的和有效的计算能力。人工神经网络属于此类一人工神经网络发展8精品ppt人工神经网络概念:人工神经网络:就是把一个描述生物神经网络运行机理和工作过程的抽象和简化了的数学-物理模型,表达成为一个以其中的人工神经元为节点、以神经元之间的连接关系为路径权值的有向图,再用硬件或软件程序实现该有向图的运行,其稳态运行结果体现生物神经系统的某种特殊能力。一人工神经网络发展9精品ppt人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点,已成为解决很多问题的有力工具。一人工神经网络发展10精品ppt二生物学基础生物神经元突触信息处理信息传递功能与特点11精品ppt1、生物神经元神经元是大脑处理信息的基本单元人脑约由101l-1012个神经元组成,其中,每个神经元约与104-105个神经元通过突触联接,形成极为错纵复杂而且又灵活多变的神经网络神经元以细胞体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像一棵枯树的枝干主要由细胞体、树突、轴突组成

12精品ppt树突是树状的神经纤维接收网络,它将电信号传送到细胞体细胞体对这些输入信号进行整合并进行阈值处理轴突是单根长纤维,它把细胞体的输出信号导向其他神经元神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的功能。1、生物神经元13精品ppt生物学研究表明一些神经结构是与生俱来的,而其他部分则是在学习的过程中形成的。在学习的过程中,可能会产生一些新的连接,也可能会使以前的一些连接消失。这个过程在生命早期最为显著。1、生物神经元14精品ppt2、突触的信息处理生物神经元传递信息的过程为多输入、单输出;神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近;当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值电位后,突触前膜将向突触间隙释放神经传递的化学物质;突触有两种类型,兴奋性突触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位。15精品ppt3、信息传递功能与特点

具有时空整合能力不可逆性,脉冲只从突触前传到突触后,不逆向传递神经纤维传导的速度,即脉冲沿神经纤维传递的速度,在1—150m/s之间信息传递时延和不应期,一般为0.3~lms可塑性,突触传递信息的强度是可变的,即具有学习功能存在学习、遗忘或疲劳(饱和)效应对应突触传递作用增强、减弱和饱和16精品ppt三人工神经网络结构人工神经网络人工神经元模型常见的神经元激发函数人工神经网络典型结构17精品ppt1943,神经生理学家McCulloch和数学家Pitts基于早期神经元学说,归纳总结了生物神经元的基本特性,建立了具有逻辑演算功能的神经元模型以及这些人工神经元互联形成的人工神经网络,即所谓的McCulloch-Pitts模型。McCulloch-Pitts模型(MP模型)是世界上第一个神经计算模型,即人工神经系统。二、人工神经元模型

18精品pptMP模型:称为输出函数或激活函数19精品ppt激活函数求和操作MP模型:20精品ppt

f(x)是激活函数(ActivationFunction),也称输出函数。MP神经元模型中的输出函数为阶跃函数:其表达式为:MP模型:21精品ppt激活函数的基本作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出可知当神经元i的输入信号加权和超过阈值时,输出为“1”,即“兴奋”状态;反之输出为“0”,是“抑制”状态。MP模型:22精品ppt例:实现逻辑函数“与门”(ANDgate)运算。1—真,0—假23精品ppt例:实现逻辑函数“与门”(ANDgate)运算。1—真,0—假24精品ppt3、常见的神经元激活函数MP神经元模型是人工神经元模型的基础,也是神经网络理论的基础。在神经元模型中,激活函数除了阶跃函数之外,还有其它形式。不同的激活函数,可构成不同的神经元模型。25精品ppt<1>对称型Sigmoid函数

或26精品ppt<2>非对称型Sigmoid函数或27精品ppt<3>对称型阶跃函数采用阶跃作用函数的神经元,称为阈值逻辑单元。28精品ppt<4>线性函数

(1)线性作用函数:输出等于输入,即(2)饱和线性作用函数(3)对称饱和线性作用函数29精品ppt<5>高斯函数

反映出高斯函数的宽度30精品ppt<6>双曲正切函数

31精品ppt众所周知,神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同,神经网络可分成以下两大类:4、人工神经网络的典型结构目前,神经网络模型的种类比较多,已有近40余种神经网络模型,其中典型的有BP网络、Hopfield网络、CMAC小脑模型、ART自适应共振理论和Blotzman机网络等32精品ppt<1>层次型神经网络(1)前向神经网络

神经元分层排列,顺序连接。由输入层施加输入信息,通过中间各层,加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入,各神经元之间不存在反馈。33精品ppt(2)层内有互联的前向神经网络

在前向神经网络中有的在同一层中的各神经元相互有连接,通过层内神经元的相互结合,可以实现同一层内神经元之间的横向抑制或兴奋机制,这样可以限制每层内能同时动作的神经元数,或者把每层内的神经元分为若干组,让每组作为一个整体来动作。<1>层次型神经网络34精品ppt(3)有反馈的前向神经网络在层次网络结构中,只在输出层到输入层存在反馈,即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种模式可用来存储某种模式序列,如神经认知机即属于此类,也可以用于动态时间序列过程的神经网络建模。<1>层次型神经网络35精品ppt<2>互联型神经网络在互连网络模型中,任意两个神经元之间都可能有相互连接的关系。其中,有的神经元之间是双向的,有的是单向的。Hopfield网络、Boltzman机网络属于这一类。36精品ppt<2>互联型神经网络

在无反馈的前向网络中,信号一旦通过某个神经元,过程就结束了。而在互连网络中,信号要在神经元之间反复往返传递,神经网络处在一种不断改变状态的动态之中。从某个初始状态开始,经过若干次的变化,才会到达某种平衡状态,根据神经网络的结构和神经元的特性,还有可能进入周期振荡或其它如浑沌等平衡状态。37精品ppt2、神经网络的学习规则联想式学习—Hebb学习规则误差纠正式学习——Delta(δ)学习规则三神经网络的基本学习方式和学习规则1、神经网络的学习方式有监督(误差校正)学习方式无监督学习方式38精品ppt人工神经网络连接权的确定通常有两种方法根据具体要求,直接计算,如Hopfield网络作优化计算通过学习得到的。大多数人工神经网络都采用这种方法学习是改变各神经元连接权值的有效方法,也是体现人工神经网络智能特性最主要的标志。离开了学习,神经网络就失去了诱人的自适应、自组织能力学习方法是人工神经网络研究中的核心问题三神经网络的基本学习方式和学习规则39精品ppt1、有监督学习方式特点:不能保证得到全局最优解要求大量训练样本,收敛速度慢对样本地表示次序变化比较敏感

神经网络根据实际输出与期望输出的偏差,按照一定的准则调整各神经元连接的权系数,见下图。期望输出又称为导师信号,是评价学习的标准,故这种学习方式又称为有导师学习。<1>神经网络的学习方式40精品ppt无导师信号提供给网络,神经网络仅仅根据其输入调整连接权系数和阈值,此时,网络的学习评价标准隐含于内部。其结构见下图。这种学习方式主要完成聚类操作。2、无监督学习方式<1>神经网络的学习方式41精品pptDonallHebb根据生理学中的条件反射机理,于1949年提出的神经元连接强度变化的规则:如果两个神经元同时兴奋(即同时被激活),则它们之间的突触连接加强为学习速率,oi、oj为神经元i和j的输出1、联想式学习—Hebb学习规则Hebb学习规则是人工神经网络学习的基本规则,几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形<2>神经网络的学习规则42精品ppt2、纠错式学习—Delta(δ)学习规则首先我们考虑一个简单的情况:设某神经网络的输出层中只有一个神经元i,给该神经网络加上输入,这样就产生了输出yi(n),称该输出为实际输出。对于所加上的输入,我们期望该神经网络的输出为d(n),称为期望输出或目标输出(样本对里面包含输入和期望输出)。实际输出与期望输出之间存在着误差,用e(n)表示:<2>神经网络的学习规则现在要调整权值,是误差信号e(n)减小到一个范围。为此,可设定代价函数或性能指数E(n):43精品ppt反复调整突触权值使代价函数达到最小或者使系统达到一个稳定状态(及突触权值稳定不变),就完成了该学习过程。该学习过程成为纠错学习,或Delta学习规则。

wij表示神经元xi到xj学的突触权值,在学习步骤为n时对突触权值的调整为:学习速率参数则<二>神经网络的学习规则44精品ppt网络的运行一般分为训练和仿真两个阶段。训练的目的是为了从训练数据中提取隐含的知识和规律,并存储于网络中供仿真工作阶段使用神经网络的仿真过程实质上是神经网络根据网络输入数据,通过数值计算得出相应网络输出的过程。通过仿真,我们可以及时了解当前神经网络的性能.从而决定是否对网络进行进一步的训练。人工神经网络的运行45精品ppt感知器模型是美国学者罗森勃拉特(Rosenblatt)为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型,它把神经网络的研究从纯理论探讨引向了从工程上的实现。Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络,称为单层感知器。感知器特别适合于简单的模式分类问题,模式分类的学习控制和多模态控制中感知器神经网络46精品ppt采用阶跃函数作为神经元的激活函数是感知器神经元的典型特征p为输入矢量,学习误差e为目标矢量t和网络实际输出矢量a之间的差值感知器神经网络47精品ppt感知器神经网络的训练

感知器的训练主要是反复对感知器神经网络进行仿真和学习,最终得到最优的网络阀值和权值1)确定我们所解决的问题的输入向量P、目标向量t,并确定各向量的维数,以及网络结构大小、神经元数目。2)初始化:权值向量w和阀值向量b分别赋予[-1,+1]之间的随机值,并且给出训练的最大次数。3)根据输入向量P、最新权值向量w和阀值向量b,计算网络输出向量a。4)检查感知器输出向量与目标向量是否一致,或者是否达到了最大的训练次数,如果是则结束训练,否则转入(5)。5)根据感知器学习规则调查权向量,并返回3)。48精品ppt感知器神经网络应用举例

两种蠓虫Af和Apf已由生物学家W.L.Grogan与w.w.Wirth(1981)根据它们触角长度和翼长以区分。见下表中9只Af蠓和6只Apf蠓的数据。根据给出的触角长度和翼长可识别出一只标本是Af还是Apf。1.给定一只Af或者Apf族的蒙,你如何正确地区分它属于哪一族?2.将你的方法用于触角长和翼长分别为(1.24,1.80)、(1.28,1.84)、(1.40,2.04)的三个标本Af触重长1.241.361.381.3781.381.401.481.541.56翼长1.721.741.641.821.901.701.701.822.08Apf触角长1.141.181.201.261.281.30翼长1.781.961.862.002.001.9649精品ppt输入向量为:p=

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论