人工神经网络的基本模型[共52页]

1、1 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 62334967 2 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 人工神经元的基本模型人工神经元的基本模型 几种典型的激活函数几种典型的激活函数 人工神经网络的学习算法概述人工神经网络的学习算法概述 人工神经网络的基本拓扑结构人工神经网络的基本拓扑结构 3 （1）细胞体细胞体: 细胞核、细胞质和细胞膜。细胞核、细胞质和细胞膜。（2）树突：树突： 胞体短而多分枝的突起。相当于神经元的输入端。胞体短而多分枝的突起。相当于神经元的输入端。 （3）轴突：）轴突：胞体上最长枝的突起，也称神经纤维。胞体上最长枝的突起，也称神经

2、纤维。 端部有很多神经末稍传出神经冲动。端部有很多神经末稍传出神经冲动。（4）突触：突触：神神 经元间的连接接口，每个神经元约有经元间的连接接口，每个神经元约有1万万10万个突万个突 触。神经元通过其轴突的神经末稍，经突触与另一触。神经元通过其轴突的神经末稍，经突触与另一 神经元的树突联接，实现信息的传递。由于突触的神经元的树突联接，实现信息的传递。由于突触的 信息传递特性是可变的，形成了神经元间联接的柔信息传递特性是可变的，形成了神经元间联接的柔 性，称为性，称为结构的可塑性结构的可塑性。（5）细胞膜电位：细胞膜电位：神经细神经细 胞 在 受 到 电 的 、 化 学 的 、 机 械 的 刺

3、激 后 ， 能胞 在 受 到 电 的 、 化 学 的 、 机 械 的 刺 激 后 ， 能 产生兴奋与抑制。产生兴奋与抑制。 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 4 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 5 （1）兴奋与抑制：当传入神经元冲动，经整和使细胞）兴奋与抑制：当传入神经元冲动，经整和使细胞 膜电位升高，超过动作电位的阈值时，为兴奋状膜电位升高，超过动作电位的阈值时，为兴奋状 态，产生神经冲动，由轴突经神经末稍传出。态，产生神经

4、冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电当传入神经元的冲动，经整和，使细胞膜电 位降低，低于阈值时，为抑制状态，不产生神经位降低，低于阈值时，为抑制状态，不产生神经 冲动。冲动。 （2）学习与遗忘：由于神经元结构的可塑性，突触的）学习与遗忘：由于神经元结构的可塑性，突触的 传递作用可增强与减弱，因此，神经元具有学习传递作用可增强与减弱，因此，神经元具有学习 与遗忘的功能。与遗忘的功能。 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 6 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第

5、二章第二章 人工神经网络的基本模型人工神经网络的基本模型 1 1）神经元及其联接；）神经元及其联接； 2 2）神经元之间的联接强度决定信号传递的强弱；）神经元之间的联接强度决定信号传递的强弱； 3 3）神经元之间的联接强度是可以随训练改变的；）神经元之间的联接强度是可以随训练改变的； 4 4）信号可以是起刺激作用，也可以是起抑制作用；）信号可以是起刺激作用，也可以是起抑制作用； 5 5）一个神经元接受的信号的累积效果决定该神经元）一个神经元接受的信号的累积效果决定该神经元 的状态；的状态； 6) 6) 每个神经元可以有一个每个神经元可以有一个“阈值阈值”。 神经元是构成神经网络的最基本单元（构

6、件）。神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应具有生物神经元的六个基本特性。人工神经元模型应具有生物神经元的六个基本特性。 7 0 )(xf 1 x (b) 作用函数 图图2.1 MP神经元模型神经元模型 )( i xf i （a） 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 神经元神经元i i的输入的输入yj 输出输出yi 描述描述: : 设设 则则 每一神经元的输出，或每一神经元的输出，或0 0或或1 1， 0 0表示表示抑制抑制，1 1表示表示兴奋兴奋： 1 (), n iijjj j yfw

7、yij 1 n iijjj j xw y ( ) ii yf x 10 ( ) 00 i ii i x yf x x 8 f(x)：作用（激发）函数作用（激发）函数是一种阶跃函数。是一种阶跃函数。 从神经元的结构示意图上可见：当输入从神经元的结构示意图上可见：当输入yj的加权和的加权和 大于大于 域值域值 时，神经元的输出时，神经元的输出yi =1，即神经元处于，即神经元处于“兴奋状态兴奋状态”； 反之，当输入反之，当输入yj的加权和的加权和 大于域值大于域值 时，神经元的输时，神经元的输 出出yi =0，即神经元处于，即神经元处于“抑制状态抑制状态” 在基本在基本MP模型中取整数。模型中取整

8、数。 j j 1 n ijj j wy 1 n ijj j w y 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 ij w 9 输入输入：Y=（ y0， y1，y2，yn） 联接权：联接权：W=（ w0， w1，w2，wn）T 网络输入：网络输入：netj=w ji yi 向量形式：向量形式：netj=WY yn wn y1 w1 y2 w2 neti=WY 令令 ，则，则MP 神经元模型可以表示为：神经元模型可以表示为： 0 (), n iijj j yfw yij 0jj w 0 1 j y 2.1 2.1 人工神经元

9、的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 10 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 M-PM-P模型从哪些方面刻画了自然神经元？模型从哪些方面刻画了自然神经元？ 前面已介绍过生物（自然）神经元具有如下特点： 两态工作：即工作于兴奋或抑制两种状态； 阈值作用：即超过某一阈值则神经元兴奋； 多输入单输出特性； 空间叠加性； 可塑性联接：即突触部分的联接强度可以调节。 虽然M-P模型无法实现生物神经元的空间、时 间的交叉叠加性，但其它生物神经元功能都具备。 11 M-P

10、M-P模型在人工神经网络中的地位模型在人工神经网络中的地位 首先M-P模型是所有人工神经元中第一个被建立 起来的，它在多个方面都显示出生物神经元所具有 的基本特性。 其次，目前其它形式的人工神经元已有很多， 但大多数都是在M-P模型的基础上经过不同的修正， 改进变换而发展起来。因此M-P人工神经元是整个人 工神经网的基础。 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 12 2.1 2.1 人工神经元的基本模型人工神经元的基本模型 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 对对M-PM-P人工神经元进行改

11、进的主要方式有如下几个方面人工神经元进行改进的主要方式有如下几个方面: : 神经元的内部改造：对人工神经元取不同的非线性函 数； 对输入和输出做不同的限制：离散的（某些离散点） 和连续的（整个实数域）。 神经网络的结构上的改造：人工神经元之间的联接形 式不同。 算法的改进：在人工神经网络权值和阈值取求的方法 上 不同。 其它形式的改造。 13 激活函数激活函数执行对该神经元所获得的网络输入的变执行对该神经元所获得的网络输入的变 换，也常称为激励函数、活化函数：换，也常称为激励函数、活化函数：o=f(net) f(net)=k*net+c net o o c 2.2 2.2 几种典型的激活函数几

12、种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 14 if net f（net）= k*net if |net|0为一常数，被称为饱和值，为一常数，被称为饱和值， 为该神经元的最大输出。为该神经元的最大输出。 - - net o 2.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 15 if net f（net）= -if net 均为非负实数，均为非负实数，为阈值。为阈值。 二值形式：二值形式： 1if net f（net）= 0if net 双极形式：双极形式： 1if net f（net）= -1

13、if net - o net 0 2.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 16 2.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 不同的作用函数，可构成不同的神经元不同的作用函数，可构成不同的神经元 模型。模型。 图 2-2-3 （a）1 （b） 2 非对称型非对称型Sigmoid函数函数:简称简称S型作用函数，是可微的，用下式表示：型作用函数，是可微的，用下式表示： 如图如图(a)和和(b) f x e x ( ) + 1 1 或或 fx e x ( )

14、+ 1 1 0 17 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 图 2-2-3 （c）1 （d） 2 对称型对称型Sigmoid函数函数 是可微的，是可微的，用下式表示：如用下式表示：如图图(a)(a)和和(b)(b) fx e e x x ( ) + 1 1 或或 fx e e x x ( ) + 1 1 ， 0 或或 f x ee ee xx xx ( ) + ， 0 18 对称型阶跃函数对称型阶跃函数 图图（e），用下式表示：），用下式表示： + 0,1 0,1 )( x x xf 用阶跃作用函数的神经元，称用阶跃作用函数的神经元，称阈值逻辑单元阈值逻辑单元。 第二章第

15、二章 人工神经网络的基本模型人工神经网络的基本模型 19 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 高斯函数高斯函数: 是可微的，分一维和高维，用下式表示：如图是可微的，分一维和高维，用下式表示：如图(a)和和(b) 2 2 () 2 () net f nete 一维 2 () () 2 () T iiii j xx f Xe 二维 20 2.2 2.2 几种典型的激活函数几种典型的激活函数 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 21 非线性作用函数非线性作用函数1 1 2 非对称型非对称型Sigmoid函数函数 22 非线性作用函数非线性作用函数2 对

16、称型对称型Sigmoid函数函数 1 2 23 非线性作用函数非线性作用函数3 非对称型阶跃函数非对称型阶跃函数 24 非线性作用函数非线性作用函数4 对称型阶跃函数对称型阶跃函数 25 非线性作用函数非线性作用函数 26 非线性作用函数非线性作用函数5 高斯高斯RBF(RBF(一维一维) ) 27 非线性作用函数非线性作用函数5 高斯高斯RBFRBF（二维）（二维） 28 非线性作用函数非线性作用函数5 高斯高斯RBFRBF（二维）（二维） 29 非线性作用函数非线性作用函数6 B样条函数（次）样条函数（次） 30 非线性作用函数非线性作用函数6 B样条函数（样条函数（1 1次）次） 31

17、非线性作用函数非线性作用函数 32 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 学习过程就是调整权值的过程。学习过程就是调整权值的过程。 1、竞争学习 2、有监督学习 3、无监督学习 4、Hebb和Delta学习 5、有、无监督混合学习 6、随即自适应学习模拟退火 7、模糊学习 等等 几种常见类型学习算法： 33 对于竞争学习规则，有三个基本元素： 1.一个神经元集合，这些神经元除了一些随机分布的突 触权值之外是完全相同的，并且由于突触权值的不同而对 一个给定的输入模式集合由不同的响应。 2.在每个神经元的强

18、度上给定一个极限。 3.一个机制，它允许神经元为响应一个给定输入子集的 权利而竞争，从而使得每次只有一个输出神经元或者每组 只有一个神经元是激活的（即，“开”）.竞争获胜神经 元被叫做胜者通吃（winner-takes-all）神经元。 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 竞争学习竞争学习 34 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 竞争学习竞争学习 0 , 1 否则 对于所有如果kjjvv y jk k kj

19、 () k w 0 k jkjxw 如果神经元 竞争成功 如果神经元 竞争失败 按照标准的竞争学习规则，作用于突触权值wkj的改变量 wkj定义为 获胜神经元k的输出信号yk被置为1；竞争失败的所有神经元 的输出信号被置为0。我们有: 35 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 有教师学习（称为监督学习）有教师学习（称为监督学习） 神经网络神经网络 的参数可以综的参数可以综 合训练向量和合训练向量和 反馈回的误差反馈回的误差 信号进行适当信号进行适当 调整。调整。 36 2.3 2.3 人工神经网络的学

20、习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 如果我们能给定一个设计好的算法来使成本如果我们能给定一个设计好的算法来使成本 费用最小，而且有足够的输入费用最小，而且有足够的输入/输出的数据集，那输出的数据集，那 么有指导的学习系统往往可以较好地完成诸如模么有指导的学习系统往往可以较好地完成诸如模 式分类，函数逼近之类的任务。式分类，函数逼近之类的任务。 有教师学习（称为监督学习）有教师学习（称为监督学习） 误差信号可以定义为：神经网络实际输出与预误差信号可以定义为：神经网络实际输出与预 期响应之差。这种调节可以逐步而又不断反复地进期响应之差。

21、这种调节可以逐步而又不断反复地进 行，其最终目的就是要让神经网络模拟老师行，其最终目的就是要让神经网络模拟老师学学 习样本；从统计的角度来看，这种模拟是最优的。习样本；从统计的角度来看，这种模拟是最优的。 37 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 无教师学习模式中无教师学习模式中 没有老师来监视学习过没有老师来监视学习过 程的。即神经网络没有程的。即神经网络没有 任何带标号的例子可以任何带标号的例子可以 学习参考。这学习模式学习参考。这学习模式 又分又分2类：类： 无教师学习（称为无监督学习）无教师学

22、习（称为无监督学习） 加强学习加强学习/神经动神经动 态规划态规划 38 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 无教师学习（称为无监督学习）无教师学习（称为无监督学习） 无监督学习无监督学习 在无监督或自组织学习系统中，不再有外在的老在无监督或自组织学习系统中，不再有外在的老 师或者评价来监督学习的过程。提供独立于任务的师或者评价来监督学习的过程。提供独立于任务的 表示质量的度量，要求网络学习该度量而且参数将表示质量的度量，要求网络学习该度量而且参数将 根据这个度量来逐步优化网络。根据这个度量来逐步优化

23、网络。 为了实际地使用无监督系统，我们可能会使用竞为了实际地使用无监督系统，我们可能会使用竞 争性学习规则。争性学习规则。 39 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 学习任务学习任务 模式联想 存储阶段 回忆阶段 模式联想 xy 输入向量输出向量 模式联想输入输出关系图 40 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 学习任务学习任务 模式识别 模式识别将收 到的模式或信号置 以一个预先定义好 的分类号。 识别机设

24、计 成一个采用监督学 习算法的多层前馈 网络。 特征抽取 的非监督 网络 分类的 监督网 络 1 2 : r 输入模式x 特征向量y 41 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 其中向量x 是输入，向量d 为输出。向量值函数 假定为未知。为了弥补 函数 未知的知识缺乏,我们假定有如下确定的训练样本集合: 考虑下面的一个非线性输入输出映射函数关系式： |)()(|xfxFx T=(xi,di)i=1N 对于所有的 是一个很小的正数. 其中 d = f(x) )(f ) (f 学习任务学习任务函数逼近函数逼

25、近 逼近问题其实是一个很完整的监督学习网络系统。其中xi是输入向 量，而di是期望的反馈向量。反之，完全可以将监督学习网络系统看成 是一个函数逼近问题。 42 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 学习任务学习任务函数逼近函数逼近 神经 网络的函数逼 近问题实际上 也是逼近一个 未知输入输出 映射函数问题： 系统识别模块图系统识别模块图 43 2.3 2.3 人工神经网络的学习算法概述人工神经网络的学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 学习任务学习任务函数逼近函数逼近

26、 逆模式系统图逆模式系统图 44 Hebb学习规则学习规则 按照生物学的条件反射原理，按照生物学的条件反射原理，Hebb构造了一种简单的构造了一种简单的 神经网络神经网络权值权值调整原则：调整原则：若第若第 i 与第与第 j 个神经元同时处于兴个神经元同时处于兴 奋状态，则它们间的联接应加强奋状态，则它们间的联接应加强。即：。即： w y y ijij a ，a 0 这和这和“条件反射条件反射”学说一致学说一致，并已得到证实。，并已得到证实。 Hebb 学习规则的相关假设，是许多学习规则的基础。学习规则的相关假设，是许多学习规则的基础。 2.3 2.3 人工神经网络的学习算法概述人工神经网络的

27、学习算法概述 第二章第二章 人工神经网络的基本模型人工神经网络的基本模型 45 Delta学习规则（学习规则（误差校正规则误差校正规则 如梯度方法、如梯度方法、BPBP算法算法） Widrow和和Hoff的写法：的写法： Wij(t+1)=Wij(t)+(yj- aj(t) neti(t) 也可以写成：也可以写成： Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=jneti(t) j=yj- aj(t) Grossberg的写法为：的写法为： Wij(t)=ai(t)(netj(t)-Wij(t) 更一般的更一般的Delta规则为：规则为： Wij(t)=g(ai(t)，yj，netj(t)，Wij(t) 其中：其中：ai(t)是网络目标输