课件：ding神经网络.ppt

人工神经网络（Artificial Neural Network-ANN）常常简称为神经网络（NN），是以计算机网络系统模拟生物神经网络的智能计算系统， 是对人脑或自然神经网络的若干基本特性的抽象和模拟。,生物神经元的结构与功能特性 1. 生物神经元的结构 神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元主要由三部分构成：（1）细胞体;（2）轴突;（3）树突。神经元之间通过突触传递信息,生物神经元结构,2. 生物神经元的工作过程 一个神经元通常有许多突触，其中有些是兴奋性的，有些是抑制 性的。如果兴奋性突触活动强度总和超过抑制性突触活动强度总和， 并达到一定阈值，就能使该神经元的轴突起始段发生动作电位，产生 神经冲动。出现神经冲动时，则该神经元呈现兴奋，反之，则表现为 抑制 六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起兴奋作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。,人工神经网络基本知识及模型 人工神经元模型是以大脑神经细胞的活动规律为原理的，反映了大脑神经细胞的某些基本特征，但不是也不可能是人脑细胞的真实再现，从数学的角度而言，它是对人脑细胞的高度抽象和简化的结构模型,1.人工神经网络的组成与结构,简单神经元模型相当于一个 多输入单输出的非线性阀值 元件，X1，X2，Xn表 示神经元的n个输入，W1， W2，Wn表示神经元之 间的连接强度，称为连接 权，称为神经元的激活值， O表示这个神经元的输出， 每个神经元有一个阀值， 如果神经元输入信号的加权 和超过，神经元就处于兴 奋状态,典型的具有R维输入的神经元模型,五大组成： 1.输入 2.网络权值和阈值 3.求和单元 4.传递函数 5.输出,神经元模型的 缩略形式,黑色矩形块代表神经元的输入矢量，R为输入矢量的维数； +代表加权求和运算单元；f为传递函数运算单元。 该图描述了神经元的结构特性及其对输入信号的处理过程,大量简单神经元的相互连结即构成了神经网络,典型的具有R维输入、S个神经元的单层神经网络模型,在单层神经网络基础上可以构造多层神经网络,典型的三层神经网络模型,神经网络的输出为,2.人工神经网络的基本特征 (1)结构特征并行处理、分步式存储与容错性 (2)能力特征自学习、自组织与自适应性 自适应性是指一个系统能改变自身的性能以适应环境变化的能力， 神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或 感知，神经网络能通过自动调整网络结构参数，使得对于结定输入能产 生期望的输出，训练是神经网络学刁的途径，因此经常将学习与训练两 个词混用。 神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐 构建起神经网络，这一构建过程称为网络的自组织(或称重构)。,3.神经网络的基本功能,联想记忆 非线性映射 许多系统的输入与输出之间存在复杂的非线性关系，设计合理 的神经网络通过对系统输入输出样本对进行自动学习，能够以 任意精度逼近任意复杂的非线性映射。神经网络的这一优良性 能使其可以作为多维非线性函数的通用数学模型 分类与识别 对输入样本的分类实际上是在样本空间找出符合分类要求的分 割区域，每个区域内的样本属于一类。客观世界中许多事物在 样本空间上的区域分割曲面是十分复杂的，神经网络可以很好 地解决对非线性曲面的逼近，因此具有很好的分类与识别能力 优化计算 知识处理,4.人工神经网络的分类,神经网络的基本概念及组成特性,常见的两种分类方法是， 按网络连接的拓扑结构分类和按网络内部的信息流向分类,按网络拓扑结构类型(神经元之间的连接方式)分类,层次型结构：将神经元按功能分成若干层， 如输入层、中间层(也称为隐层)和输出层，各层顺序相连,互连型网络结构：任意两个节点之间都可能存在连接路径,层次型结构有3种典型的结合方式,单纯层次型网络结构,输出层到输入层有连接的层次型网络结构,层内有互连的层次型网络结构,根据网络中节点的 互连程度将互连型 网络结构细分为3 种情况。 全互连型： 网络中的每个节点 均与所有其他节点连接,局部互连型： 网络中的每个 节点只与其邻 近的节点有连 接 稀疏连接型： 网络中的节点 只与少数相距 较远的节点相 连,按网络信息流向类型(神经网络内部信息传递方向)分类:,上面介绍的分类方法、结构形式和信息流向只是对目前常见的 网络结构的概括和抽象。 实际应用的神经网络可能同时兼有其中一种或几种形式,前馈型网络:网络信息处理的方向是从输入层到各隐层再到 输出层逐层进行 反馈型网络,5.人工神经网络的转移函数,神经网络的各种不同数学模型的主要区别在于采用了不同的转移函数， 从而使神经网络具有不同的信息处理特性。 神经元的转移函数反映了神经元输出与其激活状态之间的关系 最常用的转移函数有以下4种形式： 阈值函数又称阶跃函数，这是神经元模型中最简单的一种。 线性函数，其输入与输出之间足简单的纯比例关系。 S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续 取值的。以它为激发函数的神经元也具有饱和特性。 双曲正切型函数实际只是一种特殊的S型函数，其饱和值是1和1。,几种典型的神经元传递函数形式,6.神经网络的学习与训练,学习特性是神经网络的基本特性 学习可定义为：根据与环境的相互作用而发生的行为改变， 其结果导致对外界刺激产生反应的新模式的建立 学习过程离不开训练， 学习过程就是一种经过训练而使个体在行为上产生较为持久改变 的过程 学习效果随着训练量的增加而提高，这就是学习的进步 人工神经网络的功能特性由其连接的拓扑结构和突触连接强度， 即连接权值决定 神经网络能够通过对样本的学习训练，不断改变网络的连接权值 以及拓扑结构，以使网络的输出个断地接近期望的输出， 这一过程称为神经网络的学习或训练， 其本质是对可变权值的动态调整,神经网络的学习方式是决定神经网络信息处理性能的要素之一,改变权值的规则称为学习规则或学习算法 (亦称训练规则或训练算法),神经网络的学习算法归纳为三类： 一类是有导师学习， 二类为无导师学习， 三类是死记式学习,有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。 在学习训练过程中需要不断给网络成对提供一个输入模式和一个期 望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出 同期望输出进行比较，当网络的输出与期望的教师信号不符时，根 据差错的方向和大小按一定的规则调整权值，以便下一次网络的输 出更接近期望结果。 对于有导师学习，网络在执行仿真工作任务之前必须先经过学习， 当网络对于各种结定的输入均能产生所期望的输出时，即认为网络 已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可 以用来进行仿真工作了。,无导师学习也称为无监督学习。 在学习过程中，需要不断地给网络提供动态输入信息。网络能根据 特有的内部结构和学习规则，在输入信息流中发现任何可能存在的 模式和规律，同时能根据网络的功能和输入信息调整权值，这个过 程称为网络的自组织，其结果是使网络能对属于同一类的模式进行 自动分类。 在这种学习模式中，网络的权值调整不取决于外来教师信号的影响， 可以认为网络的学习评价标准隐含于网络的内部。,在有导师学习中，提供给神经网络学习的外部指导信息超多，神经 网络学会并掌握的知识越多，解决问题的能力也就超强。 但是，有时神经网络所解决的问题的先验信息很少，甚至没有，这 种情况下无导师学习就显得更有实际意义,死记式学习是指网络事先设计成能记忆特定的例子，以后当给定 有关该例子的输入信息时，例子便被回忆起来。死记式学习中网 络的权值一旦设计好了就不再变动，因此其学习是一次性的，而 不是一个训练过程,常用学习规则一览表,7.人工神经网络的仿真,网络的运行一般分为训练和仿真两个阶段。 训练的目的是为了从训练数据中提取隐含的知识和规律，并存储 于网络中供仿真工作阶段使用,神经网络的仿真过程实质上是神经网络根据网络输入数据， 通过数值计算得出相应网络输出的过程 通过仿真，我们可以及时了解当前神经网络的性能从而决定 是否对网络进行进一步的训练,8.典型的神经网络模型： 感知器、 线性神经网络、 BP网络、 径向基函数网络、 竞争学习网络 反馈神经网络等,感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。 Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。 感知器特别适合于简单的模式分类问题，也可用于基于模式分类的学习控制和多模态控制中,感知器神经网络,采用阈值函数作为神经元的传递函数是感知器神经元的典型特征,感知器神经网络的学习规则,函数1earnp是在感知器神经网络学习过程中计算网络权值和阈值 修正量最基本的规则函数,p为输入矢量，学习误差e为目标矢 量t和网络实际输出矢量a之间的差值,感知器神经网络的训练,感知器的训练主要是反复对感知器神经网络进行仿真和学习， 最终得到最优的网络阀值和权值,1） 确定我们所解决的问题的输入向量P、目标向量t，并确定 各向量的维数，以及网络结构大小、神经元数目。 2）初始化：权值向量w和阀值向量b分别赋予1,+1之间的 随机值，并且给出训练的最大次数。 3）根据输入向量P、最新权值向量w和阀值向量b，计算网络 输出向量a。 4）检查感知器输出向量与目标向量是否一致，或者是否达到 了最大的训练次数，如果是则结束训练，否则转入（5）。 5）根据感知器学习规则调查权向量，并返回3）。,感知器神经网络应用举例,两种蠓虫Af和Apf已由生物学家W.L.Grogan与w. w. Wirth(1981) 根据它们触角长度和翼长中以区分。 见下表中9Af蠓和6只Apf蠓的数据。 根据给出的触角长度和翼长可识别出一只标本是Af还是Apf。 1给定一只Af或者Apf族的蒙，你如何正确地区分它属于哪一族？ 2将你的方法用于触角长和翼中分别为（1.24,1.80）、 （1.28,1.84）、(1.40,2.04)的三个标本,输入向量为： p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目标向量为：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0,图形显示，目标值1 对应的用“+”、目标 值0对应的用“o”来 表示： plotpv(p，t),为解决该问题，利用函数newp构造输入量在0，2.5之间的 感知器神经网络模型：net=newp(0 2.5；0 2.5，1),初始化网络：net=init(net),利用函数adapt调整网络的权值和阀值，直到误差为0时训练结束： net, y, e=adapt(net, p, t),训练结束后可得 如左图的分类方 式，可见感知器 网络将样本正确 地分成两类,Neural Network Toolbox,感知器网络训练结束后，可以利用函数sim进行仿真， 解决实际的分类问题： p1=1.24;1.80 a1=sim(net,p1) p2=1.28;1.84 a2=sim(net,p2) p3=1.40;2.04 a3=sim(net,p3) 网络仿真结果为： a1=0 a2=0 a3=0,线性神经网络：线性神经网络的主要用途是线性逼近一个函数 表达式，具有联想功能。另外，它还适用于信号处理滤波、预 测、模式识别和控制等方面。,R维输入的单层(包含S个神经元)线性神经网络模型,线性神经网络权值和 阐值的学习规则采用 的是基于最小二乘原 理的Widrow-Hoff学 习算法,BP神经网络：主要用于函数逼近、模式识别、分类以及数据压缩 等方面,具有单隐层的BP神经网络模型 输入维数为2，隐层含有4个神经元,几种典型的快速学习算法性能的比较,径向基函数网络：模型中 采用高斯函数radbas作为 径向基神经元的传递函数； 学习算法常用的有两种： 一种是无导师学习， 另一种便是有导师学习,竞争学习网络：Kohoneo学习规则,模块c表示竞争传递 函数，其输出矢量 由竞争层各神经元 的输出组成，除在 竞争中获胜的神经 元外，其余神经元 的输出都为零。竞 争传递函数输入矢 量n中的最大元素所 对应的神经元是竞 争中的获胜者，其 输出固定为1,E1man反馈网络：主要用于信号检测和预测等方面, 网络在训练时采用基于误差反向传播算法的学习函数，如 trainlm、trainbfg、trainrp、traingd等,模块D表示时延环节,HopfieId反馈网络：主要用于联想记忆、聚类和优化计算等方面， 神经元传递函数为对称饱和线性函数satlins,模块 表示时延环节,D,Transfer Functions、Training Functions 、Learning Functions Network Use Functions,Neural Network Toolbox,Graphical Interface Functions 图形用户界面 nntool,AND function 输入向量为：p= 0 0 1 1;0 1 0 1 目标向量为： t=0 0 0 1 range p epochs=10