人工神经网络理论与应用

1、人工神经网络理论与应用神经网络基础知识神经网络基础知识7. 1 生物神经元及人工神经元的组成生物神经元及人工神经元的组成7. 2 人工神经网络的模型人工神经网络的模型 7 .2 .1 人工神经元的模型人工神经元的模型 7 .2 .2 常用的激活转移函数常用的激活转移函数 7 .2 .3 MP模型神经元模型神经元2.1 2.1 生物神经元及人工神经元的组成生物神经元及人工神经元的组成 神经元也称神经细胞，它是生物神经系神经元也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功键区别在于具有产生、处理和传递信

2、号的功能。每个神经元都包括三个主要部分：细胞能。每个神经元都包括三个主要部分：细胞体、树突和轴突，见图体、树突和轴突，见图2.12.1（a a）。）。 (a) 简单神经元网络图简单神经元网络图 (b) 简化后的网络示意图简化后的网络示意图 (1) 细胞体；细胞体；(2) 树突；树突；(3) 轴突；轴突；(4) 突触突触图图7. 1 简单神经元网络及其简化结构图简单神经元网络及其简化结构图神经元结构与功能 细胞体由细胞核、细胞质和细胞膜等组成，其直径大约为0.5-100m，大小不等。细胞体是神经元的主体，用于处理由树突接受的其它神经元传来的信号； 轴突是由细胞体向外延伸出的所有纤维中最长的一条分

3、枝，用来向外传递神经元产生的输出电信号。每个神经元都有一条轴突，其最大长度可达1m以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性的接触，这正是神经元之间传递信息的奥秘之处。神经元结构与功能 树突是指由细胞体向外延伸的除轴突以外的其它所有分支。树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。 神经元中的细胞体相当于一个初等处理器，它对来自其它各个神经元的信号进行总体求和，并产生一个神经输出信号。 细胞膜内外的电位之差被称为膜电位。在无信号输入时的膜

4、电位称为静止膜电位。当一个神经元的所有输入总效应达到某个阈值电位时，该细胞变为活性细胞。生物神经元的功能与特征 (1) 时空整合功能 神经元对不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，使生物神经元对由突触传入的神经冲动具有时空整合的功能。 (2)兴奋与抑制状态 神经元具有兴奋和抑制两种常规的工作状态。当传入冲动的时空整合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使细胞膜电位低于动作电位的阈值时，细胞进入抑制状态，无神经冲动输出。生物神经元的功能

5、与特征(3)脉冲与电位转换 突触界面具有脉冲/电位信号转化功能。沿神经纤维传递的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信号。这种在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的如下过程： 电脉冲-神经化学物质-膜电位 (4)神经纤维传导速率 神经冲动沿神经纤维传导的速度在1-150m/s之间。其速度差异与纤维的粗细、髓鞘的有无有关。一般来说，有髓鞘的纤维，其传导速度在100m/s以上，无髓鞘的纤维，其传导速度可低至每秒数米。(5)突触延时和不应期 突触对相邻两次神经冲动的响应需要有一定的时间间隔，在这个时间间隔内不响应激励，也不传递神经冲动，这个时间间隔称为

6、不应期。人脑神经系统的结构与特征神经生理学的研究结果表明，人脑的神经系统是一个由大量生物神经元并行互连所形成的一个网络系统。每个人的大脑大约有1011-1012个神经元，每个神经元大约有103-104个突触，即与其它103-104个神经元相连。(1)记忆和存储功能人脑神经系统的记忆和处理功能是有机的结合在一起的。神经元既有存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最严重部分的那些信息，而不会丢失全部存储信息。(2)高度并行性（为什么计算机无法模拟更多的神经元，

7、如果有100个神经元，两两互连，则会出现10099/2=5000个N元一次方程。如何计算如此复杂的方程组？）提供了非常巨大的存储容量和并行度。例如，人可以非常迅速地识别出一幅十分复杂的图像。人脑神经系统的结构与特征(3)分布式功能 人们通过对脑损坏病人所做的神经心理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的，并没有哪一部分神经元能对智能活动的整个过程负有特别重要的责任。可见，在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。因此，大脑是一种分布式系统

8、。(4)容错功能 容错性是指根据不完全的、有错误的信息仍能做出正确、完整结论的能力。大脑的容错性是非常强的。例如，我们往往能够仅由某个人的一双眼睛、一个背影、一个动作或一句话的音调，就能辨认出来这个人是谁。人脑神经系统的结构与特征 (5) 联想功能 人脑不仅具有很强的容错功能，还有联想功能。善于将不同领域的知识结合起来灵活运用，善于概括、类比和推理。例如，一个人能很快认出多年不见、面貌变化较大的老朋友。 (6) 自组织和自学习功能 人脑能够通过内部自组织、自学习能力不断适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。 人工神经元的主要结构单元是信号的输入、综合处理和输出人工神经

9、元的主要结构单元是信号的输入、综合处理和输出 输出信号强度大小反映了该神经元对相邻神经元影响的强弱输出信号强度大小反映了该神经元对相邻神经元影响的强弱 人工神经元之间通过互相联接形成网络，称为人工神经网络人工神经元之间通过互相联接形成网络，称为人工神经网络 神经元之间相互联接的方式称为联接模式神经元之间相互联接的方式称为联接模式 相互之间的联接强度由联接权值体现。相互之间的联接强度由联接权值体现。v 在人工神经网络中，改变信息处理及能力的在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。过程，就是修改网络权值的过程。 目前多数人工神经网络的构造大体上都目前多数人工神经网络的构

10、造大体上都采用如下的一些原则：采用如下的一些原则：v 由一定数量的基本神经元分层联接；由一定数量的基本神经元分层联接；v 每个神经元的输入、输出信号以及综每个神经元的输入、输出信号以及综 合处理内容都比较简单；合处理内容都比较简单；v 网络的学习和知识存储体现在各神经元之网络的学习和知识存储体现在各神经元之间的联接强度上。间的联接强度上。 7. 2 人工神经网络的模型人工神经网络的模型 7. 2. 1 人工神经元的模型人工神经元的模型 神经元是人工神经网络的基本处理单元，神经元是人工神经网络的基本处理单元，它一般是一个多输入它一般是一个多输入/单输出的非线性元件。单输出的非线性元件。神经元输出

11、除受输入信号的影响外，同时也神经元输出除受输入信号的影响外，同时也受到神经元内部因素的影响，所以在人工神受到神经元内部因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信经元的建模中，常常还加有一个额外输入信号，称为偏差，有时也称为阈值或门限值。号，称为偏差，有时也称为阈值或门限值。 神经元的输出矢量可以表示为：神经元的输出矢量可以表示为： A = f ( W*P + b ) = f ( wj pj + b ) (7.2 ) 可以看出偏差被简单地加在可以看出偏差被简单地加在W*P上作为激活函数的另一个输入分量。上作为激活函数的另一个输入分量。实际上偏差也是一个权值，只是它具有固定常数

12、为实际上偏差也是一个权值，只是它具有固定常数为1的输入。在网络的设计的输入。在网络的设计中，偏差起着重要的作用，它使得激活函数的图形可以左右移动，从而增中，偏差起着重要的作用，它使得激活函数的图形可以左右移动，从而增加了解决问题的可能性。加了解决问题的可能性。7. 2. 2 激活转移函数激活转移函数 激活转移函数（激活转移函数（Activation transfer function）简称激活函数，它是一个神经元）简称激活函数，它是一个神经元及神经网络的核心之一。神经网络解决问题及神经网络的核心之一。神经网络解决问题的能力与功效除了与网络结构有关外，在很的能力与功效除了与网络结构有关外，在很大

13、程度上取决于网络激活函数。大程度上取决于网络激活函数。 激活函数的基本作用是：激活函数的基本作用是： 控制输入对输出的激活作用；控制输入对输出的激活作用； 对输入、输出进行函数转换；对输入、输出进行函数转换； 将可能无限域的输入变换成指定的有限将可能无限域的输入变换成指定的有限范围内的输出。范围内的输出。 下面是几种常用的激活函数：下面是几种常用的激活函数： （l l）阀值型（硬限制型）阀值型（硬限制型） 具有此激活函数的神经元的输入具有此激活函数的神经元的输入/输出关系为：输出关系为： (a) 没有偏差的阈值型激活函数没有偏差的阈值型激活函数 (b) 带有偏差的阈值型激活函数带有偏差的阈值型

14、激活函数 图图7. 3 阈值型激活函数阈值型激活函数 0001bPWbPWbPWfA(7.3) （2 2）线性型）线性型 具有此激活函数的神经元的输入具有此激活函数的神经元的输入/输出关系为：输出关系为： (a) 没有偏差的线性激活函数没有偏差的线性激活函数 (b) 带有偏差的线性激活函数带有偏差的线性激活函数 图图7. 4 线性型激活函数线性型激活函数A = f (W *P + b ) = W * P + b ( 7.4 ) （3）S型型(Sigmoid) 对数对数S型激活函数型激活函数 见图见图7.5(a)，其神经元的输入，其神经元的输入/输出关系为：输出关系为： (a) 带有偏差的对数带

15、有偏差的对数S型激活函数型激活函数 (b) 带有偏差的双曲正切带有偏差的双曲正切S型激活函数型激活函数 图图7. 5 S型激活函数型激活函数 bnnfexp11(7.5) （3）S型型(Sigmoid) 双曲正切双曲正切S型激活函数型激活函数 见图见图7.5(b)，其神经元的输入，其神经元的输入/输出关系为：输出关系为： (a) 带有偏差的对数带有偏差的对数S型激活函数型激活函数 (b) 带有偏差的双曲正切带有偏差的双曲正切S型激活函数型激活函数图图7. 5 S型激活函数型激活函数(7.6) bnbnnf2exp12exp1 一般地，称一个神经一般地，称一个神经网络是线性或非线性是由网络是线性

16、或非线性是由网络神经元中所具有的激网络神经元中所具有的激活函数的线性或非线性来活函数的线性或非线性来决定的。决定的。 人工神经网络人工神经网络 人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。 基于对人类生物系统的这一认识，人们也试图通过对人工神经元的广泛互连来模拟生物神经系统的结构和功能。人工神经元之间通过互连形成的网络称为人工神经网络。在人工神经网络中，神经元之间互连的方式称为连接模式或连接模型。它不仅决定了神经元网络的互连结构，同时也决

17、定了神经网络的信号处理方式。人工神经网络的分类人工神经网络的分类 目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。人工神经网络的局限性 人工神经网络是一个新兴学科，因此还存在许多问题。其主要表现有： (1) 受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅，还有很多问题需要解决； (2) 还

18、没有完整成熟的理论体系； (3) 还带有浓厚的策略和经验色彩； (4) 与传统技术的接口不成熟。 上述问题的存在，制约了人工神经网络研究的发展。7. 2. 3 MP神经元模型神经元模型 MP神经元模型是由美国心理学家神经元模型是由美国心理学家McClloch和数学家和数学家Pitts共同提出的，因此，常称为共同提出的，因此，常称为MP模模型。型。 MP神经元模型是典型的阈值型神经元，神经元模型是典型的阈值型神经元，见图见图7.6，它相当于一个多输入单输出的阈值器，它相当于一个多输入单输出的阈值器件。件。w1w2wrp1p2pr briiibpwfA1 图图7.6 MP模型神经元模型神经元 如图

19、如图(7.6)所示，假定所示，假定p1，p2，pn表示神经元的表示神经元的n个个输入；输入；wi表示神经元的突触连接强度，其值称为权值；表示神经元的突触连接强度，其值称为权值；n 表示神经元的输入总和，表示神经元的输入总和，f (n) 即为激活函数；即为激活函数；a 表示神经表示神经元的输出，元的输出，b 表示神经元的阈值，那么表示神经元的阈值，那么MP模型神经元的模型神经元的输出可描述为输出可描述为(7.7)式所示：式所示： w1w2wrp1p2pr briiibpwfa1图图7.6 MP模型神经元模型神经元riiibpwnnfa1(7.7) MP模型神经元是二值型神经元，其输出状态取值为模

20、型神经元是二值型神经元，其输出状态取值为1或或0，分别代表神经元的兴奋和抑制状态。如果，分别代表神经元的兴奋和抑制状态。如果 n 0，即，即神经元输入加权总和超过某个阈值，那么该神经元兴奋，神经元输入加权总和超过某个阈值，那么该神经元兴奋，状态为状态为1；如果；如果n 0，那么该神经元受到抑制，状态为，那么该神经元受到抑制，状态为0。通常，将这个规定称为通常，将这个规定称为MP模型神经元的点火规则。用一数模型神经元的点火规则。用一数学表达式表示为：学表达式表示为： 对于对于 MP模型神经元，权值模型神经元，权值w在（在（ 1， 1）区间连续取值。）区间连续取值。取负值表示抑制两神经元间的连接强

21、度，正值表示加强。取负值表示抑制两神经元间的连接强度，正值表示加强。 0001nnnfA(7.8)M PM P 模 型 神 经 元模 型 神 经 元具 有 什 么 特 性 ？具 有 什 么 特 性 ？能完成什么功能？能完成什么功能？ 为了回答这个问题，我们以简单的逻辑为了回答这个问题，我们以简单的逻辑代数运算为例来说明。代数运算为例来说明。 例例1 假设一个假设一个MP模型神经元有模型神经元有2个输入：个输入：p1和和p2，其目标输，其目标输出记为出记为t，试问它能否完成下列真值表功能？，试问它能否完成下列真值表功能？ 解：根据要求，神经元的权值和阈值必须满足如下不解：根据要求，神经元的权值和

22、阈值必须满足如下不 等式组：等式组： 若取若取b值为值为0.5,W1和和W2取取0.7。可以验证用这组权值和阈值构。可以验证用这组权值和阈值构成的成的2输入输入MP模型神经元能够完成该逻辑模型神经元能够完成该逻辑“或或”运运 算。算。00201021WWWW00201021bbWbWbWW(1)(2)(3) (4)不不 等等 式式 组组真真 值值 表表 p1 p2 t 1 1 1 1 0 1 0 1 1 0 0 0 如同许多代数方程一样，由如同许多代数方程一样，由MP模型激活函数得出的不等式具模型激活函数得出的不等式具有一定的几何意义，所有输入样本构成样本输入空间。对于任意有一定的几何意义，所

23、有输入样本构成样本输入空间。对于任意特定特定W和和P的值都规定了一个超平面（决策平面），其方程为：的值都规定了一个超平面（决策平面），其方程为： 它把超平面它把超平面Rn（XRn）分成了两部分：）分成了两部分：WX-b0 部分和部分和 WX-b0 部分。部分。 bXW 一般地，一般地，N N输入的输入的MPMP模型神经元有模型神经元有2 2n n个输入样个输入样本，几何上分别位于本，几何上分别位于N N维维超立方体的各顶点处。超立方体的各顶点处。7.3 人工神经网络的结构与学习人工神经网络的结构与学习 7. 3. 1 人工神经网络的结构人工神经网络的结构 如果将大量功能简单的形式神经元通过如果

24、将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称工神经网络，在不引起混淆的情况下，统称为神经网络。为神经网络。 根据神经元之间连接的拓扑根据神经元之间连接的拓扑结构上的不同，可将神经网络结结构上的不同，可将神经网络结构分为两大类：构分为两大类： 分层网络分层网络 相互连接型网络相互连接型网络 1分层结构分层结构 分层网络将一个神分层网络将一个神经网络模型中的所有神经网络模型中的所有神经元按功能分成若干层，经元按功能分成若干层

25、，一般有输入层、隐层一般有输入层、隐层（又称中间层）和输出（又称中间层）和输出层各层顺序连接，如图层各层顺序连接，如图7. 7所示。所示。 输输 出出 层层 中中 间间 层层 输输 入入 层层输入输入输出输出图图 7.77.7分层网络的功能层次分层网络的功能层次 简单的前向网络；简单的前向网络； 具有反馈的前向网络；具有反馈的前向网络； 层内有相互连接的前向网络。层内有相互连接的前向网络。 分层网络可以细分为三种互连分层网络可以细分为三种互连形式：形式： 图图7.8 （a）简单的前向网络形状；）简单的前向网络形状；图图7.8 （b）输出层到输入层具有反馈的前向网络；）输出层到输入层具有反馈的前

26、向网络；图图7.8 （c） 层内有相互连接的前向网络。层内有相互连接的前向网络。 所谓相互连接型网络是指网络中任意两个神所谓相互连接型网络是指网络中任意两个神经元之间是可达的，即存在连接路径，如图经元之间是可达的，即存在连接路径，如图7.8（d）所示。）所示。 2相互连接型结构相互连接型结构 权值修正学派认为：神权值修正学派认为：神经网络的学习过程就是不断经网络的学习过程就是不断调整网络的连接权，以获得调整网络的连接权，以获得期望的输出的过程。期望的输出的过程。7. 3. 2 人工神经网络的学习人工神经网络的学习v 相关学习法相关学习法v 误差修正学习法误差修正学习法 典型的权值修正方法有两类

27、典型的权值修正方法有两类 式中，式中，wji( t + 1)表示修正一次后的某一权值；表示修正一次后的某一权值；称为学习因称为学习因子，决定每次权值的修正量，子，决定每次权值的修正量，x i（t）、xj（t）分别表示分别表示 t 时时刻第刻第i、第、第j个神经元的状态。个神经元的状态。 相关学习法相关学习法 如果神经网络中某一神经元与另一直接与其相连的神经如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。相关学习法是根据连接间的激活水平改变权值的，相加强。相关学习法是根据连接间的激活水平

28、改变权值的，相关学习法也称关学习法也称Hebb学习规则，可用一数学表达式表示为：学习规则，可用一数学表达式表示为： txtxtwtwjijiji,1(7.9) （1）选择一组初始权值和偏差值；）选择一组初始权值和偏差值； （2）计算某一输入模式对应的实际输出与期望输出的误差）计算某一输入模式对应的实际输出与期望输出的误差 （3）更新权值（偏差值可视为输入恒为）更新权值（偏差值可视为输入恒为-1的一个权值）的一个权值） 式中，式中，为学习因子；为学习因子； y je(t)、yj(t) 分别表示第分别表示第j个神经个神经 元元 的期望输出与实际输出；的期望输出与实际输出；x i为第为第i个神经元的

29、输入；个神经元的输入； （4）返回步骤（）返回步骤（2），直到对所有训练模式，网络输出均），直到对所有训练模式，网络输出均 能满足要求能满足要求。 误差修正学习法误差修正学习法 根据期望输出与实际输出之间的误差大小来修正权值。根据期望输出与实际输出之间的误差大小来修正权值。误差修正学习法也称误差修正学习法也称学习规则，可由如下四步来描述；学习规则，可由如下四步来描述； txtytytwtwijejjiji)(1(7.10) 例例2考虑一个考虑一个2输入输入MP模型神经元的学习。模型神经元的学习。假设初始参数为：假设初始参数为： w1 = 0.2， w2 = -0.5， b = 0.1 要求该神

30、经元能实现下列逻辑真值表：要求该神经元能实现下列逻辑真值表：逻辑真值表逻辑真值表 x1：0 0 1 1 x2：0 1 0 1ye：1 1 0 0 解：神经元输入和的表达式为：解：神经元输入和的表达式为： n = w 1 x 1 + w 2 x 2 - b满足所给逻辑真值表的激活函数不等式组为：满足所给逻辑真值表的激活函数不等式组为： x1 x2 ye 不等式组不等式组 0 0 1 - b 0 b 0 0 1 1 w 2 - b 0 b w 2 1 0 0 w 1 - b 0 b w 1 1 1 0 w 1 + w 2 - b 0 b w 1 + w 2 在初始参数设置下，神经元的实际输出为：在

31、初始参数设置下，神经元的实际输出为： n1 = 0.2*0 0.5*0 0.1 = - 0.1 0 y1 = 0 n2 = 0.2*0 0.5*1 0.1 = - 0.6 0 y2= 0 n3 = 0.2*1 0.5*0 0.1 = 0.1 0 y 3= 1 n4 = 0.2*1 0.5*1 0.1 = - 0.4 0 y4= 0可见，有可见，有3个输入模式相应的输出都与期望输出不符，个输入模式相应的输出都与期望输出不符，即有误差。下面我们看如何使用即有误差。下面我们看如何使用学习规则进行学习。学习规则进行学习。 首先，确定学习因子首先，确定学习因子，即确定每次误，即确定每次误差修正量的多少。

32、假如学习因子差修正量的多少。假如学习因子采用下式确采用下式确定：定： 式中式中,为一个正的常数，通常在为一个正的常数，通常在0-10-1之之间取值。为简便起见，这里取值为间取值。为简便起见，这里取值为0.10.1。 )11)()()(21itbtixtiw (7.11) 1. 当输入当输入x1x2 = 00时：时：要使实际输出要使实际输出 y = 1，必须满足激活函数大于，必须满足激活函数大于0，即：，即： n1 = - b0 b0 阈值阈值b需取负值需取负值 根据（根据（2.11）式得学习因子）式得学习因子的值为：的值为：修正后的权、阈值为：修正后的权、阈值为： 由于由于x1 = x2 =

33、0，所以权值不变。，所以权值不变。第一次学习结束后，第一次学习结束后，MP模型神经元的参数为：模型神经元的参数为： w1 (1) = 0.2，w2 (1) = - 0.5，b(1) = 0。 b(1) 0。1 .01 .01 .00211 .0)0(021b 5.00011.05.0202122.00011.02.01011101011.01.0)1(01xyeywwxyeywwyeybb 对权阈值进行修正如下：对权阈值进行修正如下： 第二次学习结束后，第二次学习结束后，MP模型神经元的参数为：模型神经元的参数为： w1 (2) = 0.2，w2 (2) = - 0.2，b(2) = -0.3。 b (2) w 2 (2)，b(2)0。 2 .