人工神经网络理论与应用

1、人工神经网络理论与应用第1页，共52页，2022年，5月20日，11点6分，星期日神经网络基础知识7. 1 生物神经元及人工神经元的组成7. 2 人工神经网络的模型 7 .2 .1 人工神经元的模型 7 .2 .2 常用的激活转移函数 7 .2 .3 MP模型神经元第2页，共52页，2022年，5月20日，11点6分，星期日7.1 生物神经元及人工神经元的组成 神经元也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分：细胞体、树突和轴突，见图7.1（a）。 (a) 简单神经元网络图 (b) 简化后的网络示意图

2、 (1) 细胞体；(2) 树突；(3) 轴突；(4) 突触图7. 1 简单神经元网络及其简化结构图第3页，共52页，2022年，5月20日，11点6分，星期日神经元结构与功能细胞体由细胞核、细胞质和细胞膜等组成，其直径大约为0.5-100m，大小不等。细胞体是神经元的主体，用于处理由树突接受的其它神经元传来的信号；轴突是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出电信号。每个神经元都有一条轴突，其最大长度可达1m以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性

3、的接触，这正是神经元之间传递信息的奥秘之处。第4页，共52页，2022年，5月20日，11点6分，星期日神经元结构与功能树突是指由细胞体向外延伸的除轴突以外的其它所有分支。树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。神经元中的细胞体相当于一个初等处理器，它对来自其它各个神经元的信号进行总体求和，并产生一个神经输出信号。细胞膜内外的电位之差被称为膜电位。在无信号输入时的膜电位称为静止膜电位。当一个神经元的所有输入总效应达到某个阈值电位时，该细胞变为活性细胞。第5页，共52页，2022年，5月20日，11点6分，星期日生物神经元的功能与特征(1)时空整

4、合功能 神经元对不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，使生物神经元对由突触传入的神经冲动具有时空整合的功能。(2)兴奋与抑制状态 神经元具有兴奋和抑制两种常规的工作状态。当传入冲动的时空整合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使细胞膜电位低于动作电位的阈值时，细胞进入抑制状态，无神经冲动输出。第6页，共52页，2022年，5月20日，11点6分，星期日生物神经元的功能与特征(3)脉冲与电位转换 突触界面具有脉冲/电位信号转化功能。沿神

5、经纤维传递的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信号。这种在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的如下过程： 电脉冲-神经化学物质-膜电位 (4)神经纤维传导速率 神经冲动沿神经纤维传导的速度在1-150m/s之间。其速度差异与纤维的粗细、髓鞘的有无有关。一般来说，有髓鞘的纤维，其传导速度在100m/s以上，无髓鞘的纤维，其传导速度可低至每秒数米。(5)突触延时和不应期 突触对相邻两次神经冲动的响应需要有一定的时间间隔，在这个时间间隔内不响应激励，也不传递神经冲动，这个时间间隔称为不应期。第7页，共52页，2022年，5月20日，11点6分，星期日

6、人脑神经系统的结构与特征神经生理学的研究结果表明，人脑的神经系统是一个由大量生物神经元并行互连所形成的一个网络系统。每个人的大脑大约有1011-1012个神经元，每个神经元大约有103-104个突触，即与其它103-104个神经元相连。(1)记忆和存储功能人脑神经系统的记忆和处理功能是有机的结合在一起的。神经元既有存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最严重部分的那些信息，而不会丢失全部存储信息。(2)高度并行性（为什么计算机无法模拟更多的神经元，如果有1

7、00个神经元，两两互连，则会出现10099/2=5000个N元一次方程。如何计算如此复杂的方程组？）提供了非常巨大的存储容量和并行度。例如，人可以非常迅速地识别出一幅十分复杂的图像。第8页，共52页，2022年，5月20日，11点6分，星期日人脑神经系统的结构与特征(3)分布式功能 人们通过对脑损坏病人所做的神经心理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的，并没有哪一部分神经元能对智能活动的整个过程负有特别重要的责任。可见，在大脑中，不仅知识的存储是分散的，而

8、且其控制和决策也是分散的。因此，大脑是一种分布式系统。(4)容错功能 容错性是指根据不完全的、有错误的信息仍能做出正确、完整结论的能力。大脑的容错性是非常强的。例如，我们往往能够仅由某个人的一双眼睛、一个背影、一个动作或一句话的音调，就能辨认出来这个人是谁。第9页，共52页，2022年，5月20日，11点6分，星期日人脑神经系统的结构与特征(5)联想功能 人脑不仅具有很强的容错功能，还有联想功能。善于将不同领域的知识结合起来灵活运用，善于概括、类比和推理。例如，一个人能很快认出多年不见、面貌变化较大的老朋友。(6)自组织和自学习功能 人脑能够通过内部自组织、自学习能力不断适应外界环境，从而可以

9、有效地处理各种模拟的、模糊的或随机的问题。第10页，共52页，2022年，5月20日，11点6分，星期日 人工神经元的主要结构单元是信号的输入、综合处理和输出 输出信号强度大小反映了该神经元对相邻神经元影响的强弱 人工神经元之间通过互相联接形成网络，称为人工神经网络 神经元之间相互联接的方式称为联接模式 相互之间的联接强度由联接权值体现。 在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。第11页，共52页，2022年，5月20日，11点6分，星期日 目前多数人工神经网络的构造大体上都采用如下的一些原则： 由一定数量的基本神经元分层联接； 每个神经元的输入、输出信号以及综 合

10、处理内容都比较简单； 网络的学习和知识存储体现在各神经元之间的联接强度上。第12页，共52页，2022年，5月20日，11点6分，星期日 7. 2 人工神经网络的模型 7. 2. 1 人工神经元的模型 神经元是人工神经网络的基本处理单元，它一般是一个多输入/单输出的非线性元件。神经元输出除受输入信号的影响外，同时也受到神经元内部因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差，有时也称为阈值或门限值。第13页，共52页，2022年，5月20日，11点6分，星期日 神经元的输出矢量可以表示为： A = f ( W*P + b ) = f ( wj pj + b ) (7

11、.2 ) 可以看出偏差被简单地加在W*P上作为激活函数的另一个输入分量。实际上偏差也是一个权值，只是它具有固定常数为1的输入。在网络的设计中，偏差起着重要的作用，它使得激活函数的图形可以左右移动，从而增加了解决问题的可能性。第14页，共52页，2022年，5月20日，11点6分，星期日7. 2. 2 激活转移函数 激活转移函数（Activation transfer function）简称激活函数，它是一个神经元及神经网络的核心之一。神经网络解决问题的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。第15页，共52页，2022年，5月20日，11点6分，星期日 激活函数的基本作

12、用是： 控制输入对输出的激活作用； 对输入、输出进行函数转换； 将可能无限域的输入变换成指定的有限范围内的输出。 下面是几种常用的激活函数：第16页，共52页，2022年，5月20日，11点6分，星期日 （l）阀值型（硬限制型） 具有此激活函数的神经元的输入/输出关系为： (a) 没有偏差的阈值型激活函数 (b) 带有偏差的阈值型激活函数 图7. 3 阈值型激活函数 (7.3)第17页，共52页，2022年，5月20日，11点6分，星期日 （2）线性型 具有此激活函数的神经元的输入/输出关系为： (a) 没有偏差的线性激活函数 (b) 带有偏差的线性激活函数 图7. 4 线性型激活函数A =

13、f (W *P + b ) = W * P + b ( 7.4 )第18页，共52页，2022年，5月20日，11点6分，星期日 （3）S型(Sigmoid) 对数S型激活函数 见图7.5(a)，其神经元的输入/输出关系为： (a) 带有偏差的对数S型激活函数 (b) 带有偏差的双曲正切S型激活函数 图7. 5 S型激活函数(7.5)第19页，共52页，2022年，5月20日，11点6分，星期日 （3）S型(Sigmoid) 双曲正切S型激活函数 见图7.5(b)，其神经元的输入/输出关系为： (a) 带有偏差的对数S型激活函数 (b) 带有偏差的双曲正切S型激活函数图7. 5 S型激活函数(

14、7.6)第20页，共52页，2022年，5月20日，11点6分，星期日 一般地，称一个神经网络是线性或非线性是由网络神经元中所具有的激活函数的线性或非线性来决定的。 第21页，共52页，2022年，5月20日，11点6分，星期日人工神经网络人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。基于对人类生物系统的这一认识，人们也试图通过对人工神经元的广泛互连来模拟生物神经系统的结构和功能。人工神经元之间通过互连形成的网络称为人工神经网络。在人工神经

15、网络中，神经元之间互连的方式称为连接模式或连接模型。它不仅决定了神经元网络的互连结构，同时也决定了神经网络的信号处理方式。第22页，共52页，2022年，5月20日，11点6分，星期日人工神经网络的分类 目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。第23页，共52页，2022年，5月20日，11点6分，星期日人工神经网络的局

16、限性人工神经网络是一个新兴学科，因此还存在许多问题。其主要表现有：(1)受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅，还有很多问题需要解决；(2)还没有完整成熟的理论体系；(3)还带有浓厚的策略和经验色彩；(4)与传统技术的接口不成熟。上述问题的存在，制约了人工神经网络研究的发展。第24页，共52页，2022年，5月20日，11点6分，星期日7. 2. 3 MP神经元模型 MP神经元模型是由美国心理学家McClloch和数学家Pitts共同提出的，因此，常称为MP模型。 MP神经元模型是典型的阈值型神经元，见图7.6，它相当于一个多输入单输出的阈值器件

17、。w1w2wrp1p2prb 图7.6 MP模型神经元第25页，共52页，2022年，5月20日，11点6分，星期日 如图(7.6)所示，假定p1，p2，pn表示神经元的n个输入；wi表示神经元的突触连接强度，其值称为权值；n 表示神经元的输入总和，f (n) 即为激活函数；a 表示神经元的输出，b 表示神经元的阈值，那么MP模型神经元的输出可描述为(7.7)式所示： w1w2wrp1p2prb图7.6 MP模型神经元(7.7)第26页，共52页，2022年，5月20日，11点6分，星期日 MP模型神经元是二值型神经元，其输出状态取值为1或0，分别代表神经元的兴奋和抑制状态。如果 n 0，即神

18、经元输入加权总和超过某个阈值，那么该神经元兴奋，状态为1；如果n 0，那么该神经元受到抑制，状态为0。通常，将这个规定称为MP模型神经元的点火规则。用一数学表达式表示为： 对于 MP模型神经元，权值w在（ 1， 1）区间连续取值。取负值表示抑制两神经元间的连接强度，正值表示加强。(7.8)第27页，共52页，2022年，5月20日，11点6分，星期日MP模型神经元具有什么特性？能完成什么功能？ 为了回答这个问题，我们以简单的逻辑代数运算为例来说明。 第28页，共52页，2022年，5月20日，11点6分，星期日 例1 假设一个MP模型神经元有2个输入：p1和p2，其目标输出记为t，试问它能否完

19、成下列真值表功能？ 解：根据要求，神经元的权值和阈值必须满足如下不 等式组： 若取b值为0.5,W1和W2取0.7。可以验证用这组权值和阈值构成的2输入MP模型神经元能够完成该逻辑“或”运 算。(1)(2)(3) (4)不 等 式 组真 值 表 p1 p2 t 1 1 1 1 0 1 0 1 1 0 0 0第29页，共52页，2022年，5月20日，11点6分，星期日 如同许多代数方程一样，由MP模型激活函数得出的不等式具有一定的几何意义，所有输入样本构成样本输入空间。对于任意特定W和P的值都规定了一个超平面（决策平面），其方程为： 它把超平面Rn（XRn）分成了两部分：WX-b0 部分和 W

20、X-b0 部分。 第30页，共52页，2022年，5月20日，11点6分，星期日 一般地，N输入的MP模型神经元有2n个输入样本，几何上分别位于N维超立方体的各顶点处。第31页，共52页，2022年，5月20日，11点6分，星期日7.3 人工神经网络的结构与学习 7. 3. 1 人工神经网络的结构 如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。 第32页，共52页，2022年，5月20日，11点6分，星期日 根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类： 分层网

21、络 相互连接型网络 第33页，共52页，2022年，5月20日，11点6分，星期日1分层结构 分层网络将一个神经网络模型中的所有神经元按功能分成若干层，一般有输入层、隐层（又称中间层）和输出层各层顺序连接，如图7. 7所示。 输 出 层 中 间 层 输 入 层输入输出图 7.7分层网络的功能层次第34页，共52页，2022年，5月20日，11点6分，星期日 简单的前向网络； 具有反馈的前向网络； 层内有相互连接的前向网络。 分层网络可以细分为三种互连形式： 第35页，共52页，2022年，5月20日，11点6分，星期日图7.8 （a）简单的前向网络形状；图7.8 （b）输出层到输入层具有反馈的

22、前向网络；图7.8 （c） 层内有相互连接的前向网络。第36页，共52页，2022年，5月20日，11点6分，星期日 所谓相互连接型网络是指网络中任意两个神经元之间是可达的，即存在连接路径，如图7.8（d）所示。 2相互连接型结构第37页，共52页，2022年，5月20日，11点6分，星期日 权值修正学派认为：神经网络的学习过程就是不断调整网络的连接权，以获得期望的输出的过程。7. 3. 2 人工神经网络的学习第38页，共52页，2022年，5月20日，11点6分，星期日 相关学习法 误差修正学习法 典型的权值修正方法有两类第39页，共52页，2022年，5月20日，11点6分，星期日 式中，

23、wji( t + 1)表示修正一次后的某一权值；称为学习因子，决定每次权值的修正量，x i（t）、xj（t）分别表示 t 时刻第i、第j个神经元的状态。 相关学习法 如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。相关学习法是根据连接间的激活水平改变权值的，相关学习法也称Hebb学习规则，可用一数学表达式表示为：(7.9)第40页，共52页，2022年，5月20日，11点6分，星期日 （1）选择一组初始权值和偏差值； （2）计算某一输入模式对应的实际输出与期望输出的误差 （3）更新权值（偏差值可视为输入恒为-1的一个权值） 式中，为学习

24、因子； y je(t)、yj(t) 分别表示第j个神经 元 的期望输出与实际输出；x i为第i个神经元的输入； （4）返回步骤（2），直到对所有训练模式，网络输出均 能满足要求。 误差修正学习法 根据期望输出与实际输出之间的误差大小来修正权值。误差修正学习法也称学习规则，可由如下四步来描述；(7.10)第41页，共52页，2022年，5月20日，11点6分，星期日 例2考虑一个2输入MP模型神经元的学习。假设初始参数为： w1 = 0.2， w2 = -0.5， b = 0.1 要求该神经元能实现下列逻辑真值表：逻辑真值表 x1：0 0 1 1 x2：0 1 0 1ye：1 1 0 0 第42

25、页，共52页，2022年，5月20日，11点6分，星期日 解：神经元输入和的表达式为： n = w 1 x 1 + w 2 x 2 - b满足所给逻辑真值表的激活函数不等式组为： x1 x2 ye 不等式组 0 0 1 - b 0 b 0 0 1 1 w 2 - b 0 b w 2 1 0 0 w 1 - b 0 b w 1 1 1 0 w 1 + w 2 - b 0 b w 1 + w 2 在初始参数设置下，神经元的实际输出为： n1 = 0.2*0 0.5*0 0.1 = - 0.1 0 y1 = 0 n2 = 0.2*0 0.5*1 0.1 = - 0.6 0 y2= 0 n3 = 0.

26、2*1 0.5*0 0.1 = 0.1 0 y 3= 1 n4 = 0.2*1 0.5*1 0.1 = - 0.4 0 y4= 0可见，有3个输入模式相应的输出都与期望输出不符，即有误差。下面我们看如何使用学习规则进行学习。第43页，共52页，2022年，5月20日，11点6分，星期日 首先，确定学习因子，即确定每次误差修正量的多少。假如学习因子采用下式确定： 式中,为一个正的常数，通常在0-1之间取值。为简便起见，这里取值为0.1。 (7.11)第44页，共52页，2022年，5月20日，11点6分，星期日 1. 当输入x1x2 = 00时：要使实际输出 y = 1，必须满足激活函数大于0，即： n1 = - b0 b0 阈值b需取负值 根据（2.11）式得学习因子的值为：修正后的权、阈值为： 由于x1 = x2 = 0，所以权值不变。第一次学习结束后，MP模型神经元的参数为： w1 (1) = 0.2，w2 (1) = - 0.5