人工神经网络理论与应用

人工神经网络理论与应用,第七章神经网络基础知识,神经网络基础知识,7.1生物神经元及人工神经元的组成7.2人工神经网络的模型7.2.1人工神经元的模型7.2.2常用的激活转移函数7.2.3MP模型神经元,2.1生物神经元及人工神经元的组成,神经元也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分：细胞体、树突和轴突，见图2.1（a）。,神经元结构与功能,细胞体由细胞核、细胞质和细胞膜等组成，其直径大约为0.5-100m，大小不等。细胞体是神经元的主体，用于处理由树突接受的其它神经元传来的信号；轴突是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出电信号。每个神经元都有一条轴突，其最大长度可达1m以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性的接触，这正是神经元之间传递信息的奥秘之处。,神经元结构与功能,树突是指由细胞体向外延伸的除轴突以外的其它所有分支。树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。神经元中的细胞体相当于一个初等处理器，它对来自其它各个神经元的信号进行总体求和，并产生一个神经输出信号。细胞膜内外的电位之差被称为膜电位。在无信号输入时的膜电位称为静止膜电位。当一个神经元的所有输入总效应达到某个阈值电位时，该细胞变为活性细胞。,生物神经元的功能与特征,(1)时空整合功能神经元对不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，使生物神经元对由突触传入的神经冲动具有时空整合的功能。(2)兴奋与抑制状态神经元具有兴奋和抑制两种常规的工作状态。当传入冲动的时空整合结果使细胞膜电位升高，超过动作电位的阈值时，细胞进入兴奋状态，产生神经冲动。相反，当传入冲动的时空整合结果使细胞膜电位低于动作电位的阈值时，细胞进入抑制状态，无神经冲动输出。,生物神经元的功能与特征,(3)脉冲与电位转换突触界面具有脉冲/电位信号转化功能。沿神经纤维传递的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的电位信号。这种在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的如下过程：电脉冲-神经化学物质-膜电位(4)神经纤维传导速率神经冲动沿神经纤维传导的速度在1-150m/s之间。其速度差异与纤维的粗细、髓鞘的有无有关。一般来说，有髓鞘的纤维，其传导速度在100m/s以上，无髓鞘的纤维，其传导速度可低至每秒数米。(5)突触延时和不应期突触对相邻两次神经冲动的响应需要有一定的时间间隔，在这个时间间隔内不响应激励，也不传递神经冲动，这个时间间隔称为不应期。,人脑神经系统的结构与特征,神经生理学的研究结果表明，人脑的神经系统是一个由大量生物神经元并行互连所形成的一个网络系统。每个人的大脑大约有1011-1012个神经元，每个神经元大约有103-104个突触，即与其它103-104个神经元相连。(1)记忆和存储功能人脑神经系统的记忆和处理功能是有机的结合在一起的。神经元既有存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最严重部分的那些信息，而不会丢失全部存储信息。(2)高度并行性（为什么计算机无法模拟更多的神经元，如果有100个神经元，两两互连，则会出现10099/2=5000个N元一次方程。如何计算如此复杂的方程组？）提供了非常巨大的存储容量和并行度。例如，人可以非常迅速地识别出一幅十分复杂的图像。,人脑神经系统的结构与特征,(3)分布式功能人们通过对脑损坏病人所做的神经心理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的，并没有哪一部分神经元能对智能活动的整个过程负有特别重要的责任。可见，在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。因此，大脑是一种分布式系统。(4)容错功能容错性是指根据不完全的、有错误的信息仍能做出正确、完整结论的能力。大脑的容错性是非常强的。例如，我们往往能够仅由某个人的一双眼睛、一个背影、一个动作或一句话的音调，就能辨认出来这个人是谁。,人脑神经系统的结构与特征,(5)联想功能人脑不仅具有很强的容错功能，还有联想功能。善于将不同领域的知识结合起来灵活运用，善于概括、类比和推理。例如，一个人能很快认出多年不见、面貌变化较大的老朋友。(6)自组织和自学习功能人脑能够通过内部自组织、自学习能力不断适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。,人工神经元的主要结构单元是信号的输入、综合处理和输出输出信号强度大小反映了该神经元对相邻神经元影响的强弱人工神经元之间通过互相联接形成网络，称为人工神经网络神经元之间相互联接的方式称为联接模式相互之间的联接强度由联接权值体现。在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。,目前多数人工神经网络的构造大体上都采用如下的一些原则：,由一定数量的基本神经元分层联接；每个神经元的输入、输出信号以及综合处理内容都比较简单；网络的学习和知识存储体现在各神经元之间的联接强度上。,7.2人工神经网络的模型,7.2.1人工神经元的模型神经元是人工神经网络的基本处理单元，它一般是一个多输入/单输出的非线性元件。神经元输出除受输入信号的影响外，同时也受到神经元内部因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差，有时也称为阈值或门限值。,神经元的输出矢量可以表示为：A=f(W*P+b)=f(wjpj+b)(7.2)可以看出偏差被简单地加在W*P上作为激活函数的另一个输入分量。实际上偏差也是一个权值，只是它具有固定常数为1的输入。在网络的设计中，偏差起着重要的作用，它使得激活函数的图形可以左右移动，从而增加了解决问题的可能性。,7.2.2激活转移函数,激活转移函数（Activationtransferfunction）简称激活函数，它是一个神经元及神经网络的核心之一。神经网络解决问题的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。,激活函数的基本作用是：,控制输入对输出的激活作用；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。下面是几种常用的激活函数：,（l）阀值型（硬限制型）,具有此激活函数的神经元的输入/输出关系为：,（2）线性型,具有此激活函数的神经元的输入/输出关系为：,A=f(W*P+b)=W*P+b(7.4),（3）S型(Sigmoid),对数S型激活函数见图7.5(a)，其神经元的输入/输出关系为：,（3）S型(Sigmoid),双曲正切S型激活函数见图7.5(b)，其神经元的输入/输出关系为：,一般地，称一个神经网络是线性或非线性是由网络神经元中所具有的激活函数的线性或非线性来决定的。,人工神经网络,人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。基于对人类生物系统的这一认识，人们也试图通过对人工神经元的广泛互连来模拟生物神经系统的结构和功能。人工神经元之间通过互连形成的网络称为人工神经网络。在人工神经网络中，神经元之间互连的方式称为连接模式或连接模型。它不仅决定了神经元网络的互连结构，同时也决定了神经网络的信号处理方式。,人工神经网络的分类,目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。,人工神经网络的局限性,人工神经网络是一个新兴学科，因此还存在许多问题。其主要表现有：(1)受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅，还有很多问题需要解决；(2)还没有完整成熟的理论体系；(3)还带有浓厚的策略和经验色彩；(4)与传统技术的接口不成熟。上述问题的存在，制约了人工神经网络研究的发展。,7.2.3MP神经元模型,MP神经元模型是由美国心理学家McClloch和数学家Pitts共同提出的，因此，常称为MP模型。MP神经元模型是典型的阈值型神经元，见图7.6，它相当于一个多输入单输出的阈值器件。,如图(7.6)所示，假定p1，p2，pn表示神经元的n个输入；wi表示神经元的突触连接强度，其值称为权值；n表示神经元的输入总和，f(n)即为激活函数；a表示神经元的输出，b表示神经元的阈值，那么MP模型神经元的输出可描述为(7.7)式所示：,MP模型神经元是二值型神经元，其输出状态取值为1或0，分别代表神经元的兴奋和抑制状态。如果n0，即神经元输入加权总和超过某个阈值，那么该神经元兴奋，状态为1；如果n0，那么该神经元受到抑制，状态为0。通常，将这个规定称为MP模型神经元的点火规则。用一数学表达式表示为：,对于MP模型神经元，权值w在（1，1）区间连续取值。取负值表示抑制两神经元间的连接强度，正值表示加强。,(7.8),MP模型神经元具有什么特性？能完成什么功能？,为了回答这个问题，我们以简单的逻辑代数运算为例来说明。,例1假设一个MP模型神经元有2个输入：p1和p2，其目标输出记为t，试问它能否完成下列真值表功能？,解：根据要求，神经元的权值和阈值必须满足如下不等式组：若取b值为0.5,W1和W2取0.7。可以验证用这组权值和阈值构成的2输入MP模型神经元能够完成该逻辑“或”运算。,如同许多代数方程一样，由MP模型激活函数得出的不等式具有一定的几何意义，所有输入样本构成样本输入空间。对于任意特定W和P的值都规定了一个超平面（决策平面），其方程为：它把超平面Rn（XRn）分成了两部分：WX-b0部分和WX-b0部分。,一般地，N输入的MP模型神经元有2n个输入样本，几何上分别位于N维超立方体的各顶点处。,7.3人工神经网络的结构与学习,7.3.1人工神经网络的结构如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。,根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：分层网络相互连接型网络,1分层结构,分层网络将一个神经网络模型中的所有神经元按功能分成若干层，一般有输入层、隐层（又称中间层）和输出层各层顺序连接，如图7.7所示。,简单的前向网络；具有反馈的前向网络；层内有相互连接的前向网络。,分层网络可以细分为三种互连形式：,图7.8（a）简单的前向网络形状；图7.8（b）输出层到输入层具有反馈的前向网络；图7.8（c）层内有相互连接的前向网络。,所谓相互连接型网络是指网络中任意两个神经元之间是可达的，即存在连接路径，如图7.8（d）所示。,2相互连接型结构,权值修正学派认为：神经网络的学习过程就是不断调整网络的连接权，以获得期望的输出的过程。,7.3.2人工神经网络的学习,相关学习法误差修正学习法,典型的权值修正方法有两类,式中，wji(t+1)表示修正一次后的某一权值；称为学习因子，决定每次权值的修正量，xi（t）、xj（t）分别表示t时刻第i、第j个神经元的状态。,相关学习法如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。相关学习法是根据连接间的激活水平改变权值的，相关学习法也称Hebb学习规则，可用一数学表达式表示为：,（1）选择一组初始权值和偏差值；（2）计算某一输入模式对应的实际输出与期望输出的误差（3）更新权值（偏差值可视为输入恒为-1的一个权值）式中，为学习因子；yje(t)、yj(t)分别表示第j个神经元的期望输出与实际输出；xi为第i个神经元的输入；（4）返回步骤（2），直到对所有训练模式，网络输出均能满足要求。,误差修正学习法根据期望输出与实际输出之间的误差大小来修正权值。误差修正学习法也称学习规则，可由如下四步来描述；,例2考虑一个2输入MP模型神经元的学习。假设初始参数为：w1=0.2，w2=-0.5，b=0.1要求该神经元能实现下列逻辑真值表：,逻辑真值表x1：0011x2：0101ye：1100,解：神经元输入和的表达式为：n=w1x1+w2x2-b满足所给逻辑真值表的激活函数不等式组为：,x1x2ye不等式组001-b0b0011w2-b0bw2100w1-b0bw1110w1+w2-b0bw1+w2在初始参数设置下，神经元的实际输出为：n1=0.2*00.5*00.1=-0.10y1=0n2=0.2*00.5*10.1=-0.60y2=0n3=0.2*10.5*00.1=0.10y3=1n4=0.2*10.5*10.1=-0.40y4=0可见，有3个输入模式相应的输出都与期望输出不符，即有误差。下面我们看如何使用学习规则进行学习。,首先，确定学习因子，即确定每次误差修正量的多少。假如学习因子采用下式确定：,式中,为一个正的常数，通常在0-1之间取值。为简便起见，这里取值为0.1。,1.当输入x1x2=00时：要使实际输出y=1，必须满足激活函数大于0，即：n1=-b0b0阈值b需取负值,根据（2.11