人工神经网络的基本模型

2023-5-9北京科技大学自动化系1其次章人工神经网络的根本模型北京科技大学信息工程学院付冬梅623349672023-5-9北京科技大学自动化系2其次章人工神经网络的根本模型人工神经元的根本模型几种典型的激活函数人工神经网络的学习算法概述人工神经网络的根本拓扑构造2023-5-9北京科技大学自动化系3生物神经元构造〔1〕细胞体:细胞核、细胞质和细胞膜。〔2〕树突：胞体短而多分枝的突起。相当于神经元的输入端。〔3〕轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。〔4〕突触：神经元间的连接接口，每个神经元约有1万～10万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为构造的可塑性。〔5〕细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋与抑制。2.1人工神经元的根本模型其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系4生物神经元构造2.1人工神经元的根本模型其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系5

生物神经元功能〔1〕兴奋与抑制：当传入神经元冲动，经整和使细胞膜电位上升，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。〔2〕学习与遗忘：由于神经元构造的可塑性，突触的传递作用可增加与减弱，因此，神经元具有学习与遗忘的功能。2.1人工神经元的根本模型其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系62.1人工神经元的根本模型其次章人工神经网络的根本模型人工神经元的六个根本特征：1〕神经元及其联接；2〕神经元之间的联接强度打算信号传递的强弱；3〕神经元之间的联接强度是可以随训练转变的；4〕信号可以是起刺激作用，也可以是起抑制作用；5〕一个神经元承受的信号的累积效果打算该神经元的状态；6)每个神经元可以有一个“阈值”。神经元是构成神经网络的最根本单元〔构件〕。人工神经元模型应具有生物神经元的六个根本特性。2023-5-9北京科技大学自动化系7图2.1MP神经元模型〔a〕2.1人工神经元的根本模型其次章人工神经网络的根本模型

神经元i的输入yj输出yi

描述:设则每一神经元的输出，或‘0’或‘1’，‘0’表示’抑制’，‘1’表示‘兴奋’：根本MP模型2023-5-9北京科技大学自动化系8f(x)：作用（激发）函数——是一种阶跃函数。从神经元的结构示意图上可见：当输入yj的加权和大于域值时，神经元的输出yi

=1，即神经元处于“兴奋状态”；反之，当输入yj的加权和大于域值时，神经元的输出yi=0，即神经元处于“抑制状态”在基本MP模型中取整数。2.1人工神经元的根本模型其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系9人工神经元模拟生物神经元的一阶特性。输入：Y=〔y0，y1，y2，…，yn〕联接权：W=〔w0，w1，w2，…，wn〕T网络输入： netj=∑wjiyi向量形式： netj=WYynwn∑y1w1y2w2neti=WY…MP模型的另一种形式令，则MP神经元模型可以表示为：2.1人工神经元的根本模型其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系102.1人工神经元的根本模型其次章人工神经网络的根本模型M-P模型从哪些方面刻画了自然神经元？前面已介绍过生物〔自然〕神经元具有如下特点：两态工作：即工作于兴奋或抑制两种状态；阈值作用：即超过某一阈值则神经元兴奋；多输入单输出特性；空间叠加性；可塑性联接：即突触局部的联接强度可以调整。虽然M-P模型无法实现生物神经元的空间、时间的穿插叠加性，但其它生物神经元功能都具备。2023-5-9北京科技大学自动化系11M-P模型在人工神经网络中的地位首先M-P模型是全部人工神经元中第一个被建立起来的，它在多个方面都显示诞生物神经元所具有的根本特性。其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的根底上经过不同的修正，改进变换而进展起来。因此M-P人工神经元是整个人工神经网的根底。2.1人工神经元的根本模型其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系122.1人工神经元的根本模型其次章人工神经网络的根本模型对M-P人工神经元进展改进的主要方式有如下几个方面:神经元的内部改造：对人工神经元取不同的非线性函数；对输入和输出做不同的限制：离散的〔某些离散点〕和连续的〔整个实数域〕。神经网络的构造上的改造：人工神经元之间的联接形式不同。算法的改进：在人工神经网络权值和阈值取求的方法上不同。其它形式的改造。2023-5-9北京科技大学自动化系13激活函数——执行对该神经元所获得的网络输入的变换，也常称为鼓励函数、活化函数：o=f(net)线性函数〔LinerFunction〕f(net)=k*net+cnetooc2.2几种典型的激活函数(ActivationFunction)

其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系142、非线性斜面函数(RampFunction) γ ifnet≥θf〔net〕=k*netif|net|<θ -γ ifnet≤-θ

γ>0为一常数，被称为饱和值，为该神经元的最大输出。γ-γθ

-θ

net

o

2.2几种典型的激活函数(ActivationFunction)

其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系15

β ifnet>θf（net）= -γ ifnet≤θβγθ均为非负实数，θ为阈值。二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ双极形式：

1 ifnet>θf（net）= -1 ifnet≤θβ

-γθonet02.2几种典型的激活函数(ActivationFunction)

其次章人工神经网络的根本模型阈值函数〔ThresholdFunction〕阶跃函数2023-5-9北京科技大学自动化系162.2几种典型的激活函数(ActivationFunction)

其次章人工神经网络的根本模型

其他形式的作用函数:不同的作用函数，可构成不同的神经元模型。

非对称型Sigmoid函数:简称S型作用函数，是可微的，用下式表示：如图(a)和(b)

fxex()=+-11

或

fxex()=+-11b

b>02023-5-9北京科技大学自动化系17其次章人工神经网络的根本模型对称型Sigmoid函数

是可微的，用下式表示：如图(a)和(b)

fxeexx()=-+--11

或

fxeexx()=-+--11bb

，

b>0或

fxeeeexxxx()=-+--bbbb

，

b>02023-5-9北京科技大学自动化系18对称型阶跃函数其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系19其次章人工神经网络的根本模型高斯函数:是可微的，分一维和高维，用下式表示：如图(a)和(b)2023-5-9北京科技大学自动化系20神经元演示非线性作用函数〔激发函数〕2.2几种典型的激活函数(ActivationFunction)

其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系21非线性作用函数1非对称型Sigmoid函数2023-5-9北京科技大学自动化系22非线性作用函数2对称型Sigmoid函数2023-5-9北京科技大学自动化系23非线性作用函数3

非对称型阶跃函数2023-5-9北京科技大学自动化系24非线性作用函数4

对称型阶跃函数2023-5-9北京科技大学自动化系25非线性作用函数2023-5-9北京科技大学自动化系26非线性作用函数5高斯RBF(一维)2023-5-9北京科技大学自动化系27非线性作用函数5高斯RBF〔二维〕2023-5-9北京科技大学自动化系28非线性作用函数5高斯RBF〔二维〕2023-5-9北京科技大学自动化系29非线性作用函数6B样条函数〔０次〕2023-5-9北京科技大学自动化系30非线性作用函数6B样条函数〔1次〕2023-5-9北京科技大学自动化系31非线性作用函数2023-5-9北京科技大学自动化系322.3人工神经网络的学习算法概述其次章人工神经网络的根本模型学习过程就是调整权值的过程。1、竞争学习2、有监视学习3、无监视学习4、Hebb和Delta学习5、有、无监视混合学习6、随即自适应学习模拟退火7、模糊学习等等几种常见类型学习算法：2023-5-9北京科技大学自动化系33对于竞争学习规章，有三个根本元素：1.一个神经元集合，这些神经元除了一些随机分布的突触权值之外是完全一样的，并且由于突触权值的不同而对一个给定的输入模式集合由不同的响应。2.在每个神经元的强度上给定一个极限。3.一个机制，它允许神经元为响应一个给定输入子集的权利而竞争，从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的〔即，“开”〕.竞争获胜神经元被叫做胜者通吃〔winner-takes-all〕神经元。2.3人工神经网络的学习算法概述其次章人工神经网络的根本模型竞争学习2023-5-9北京科技大学自动化系342.3人工神经网络的学习算法概述其次章人工神经网络的根本模型竞争学习依据标准的竞争学习规章，作用于突触权值wkj的转变量wkj定义为获胜神经元k的输出信号yk被置为1；竞争失败的全部神经元的输出信号被置为0。我们有:2023-5-9北京科技大学自动化系352.3人工神经网络的学习算法概述其次章人工神经网络的根本模型有教师学习〔称为监视学习〕神经网络的参数可以综合训练向量和反响回的误差信号进展适当调整。

2023-5-9北京科技大学自动化系362.3人工神经网络的学习算法概述其次章人工神经网络的根本模型假设我们能给定一个设计好的算法来使本钱费用最小，而且有足够的输入/输出的数据集，那么有指导的学习系统往往可以较好地完成诸如模式分类，函数靠近之类的任务。有教师学习〔称为监视学习〕误差信号可以定义为：神经网络实际输出与预期响应之差。这种调整可以逐步而又不断反复地进展，其最终目的就是要让神经网络模拟教师——学习样本；从统计的角度来看，这种模拟是最优的。2023-5-9北京科技大学自动化系372.3人工神经网络的学习算法概述其次章人工神经网络的根本模型无教师学习模式中没有教师来监视学习过程的。即神经网络没有任何带标号的例子可以学习参考。这学习模式又分2类：无教师学习〔称为无监视学习〕加强学习/神经动态规划2023-5-9北京科技大学自动化系382.3人工神经网络的学习算法概述其次章人工神经网络的根本模型无教师学习〔称为无监视学习〕无监视学习在无监视或自组织学习系统中，不再有外在的教师或者评价来监视学习的过程。供给独立于任务的表示质量的度量，要求网络学习该度量而且参数将依据这个度量来逐步优化网络。为了实际地使用无监视系统，我们可能会使用竞争性学习规章。2023-5-9北京科技大学自动化系392.3人工神经网络的学习算法概述其次章人工神经网络的根本模型学习任务模式联想

存储阶段回忆阶段模式联想xy输入向量输出向量模式联想输入输出关系图2023-5-9北京科技大学自动化系402.3人工神经网络的学习算法概述其次章人工神经网络的根本模型学习任务模式识别

模式识别将收到的模式或信号置以一个预先定义好的分类号。识别机设计成一个承受监视学习算法的多层前馈网络。特征抽取的非监督网络分类的监督网络12:r

输入模式x特征向量y模式分类的经典分类方法图解.

m维观察空间

g维特征空间

r维决策空间

2023-5-9北京科技大学自动化系412.3人工神经网络的学习算法概述其次章人工神经网络的根本模型其中向量x是输入，向量d为输出。向量值函数假定为未知。为了弥补函数未知的知识缺乏,我们假定有如下确定的训练样本集合:考虑下面的一个非线性输入输出映射函数关系式：

T={(xi,,di)}i=1N

对于所有的是一个很小的正数.其中d=f(x)学习任务——函数靠近靠近问题其实是一个很完整的监视学习网络系统。其中xi是输入向量，而di是期望的反响向量。反之，完全可以将监视学习网络系统看成是一个函数靠近问题。2023-5-9北京科技大学自动化系422.3人工神经网络的学习算法概述其次章人工神经网络的根本模型学习任务——函数靠近神经网络的函数靠近问题实际上也是靠近一个未知输入输出映射函数问题：

系统识别模块图2023-5-9北京科技大学自动化系432.3人工神经网络的学习算法概述其次章人工神经网络的根本模型学习任务——函数靠近逆模式系统图

2023-5-9北京科技大学自动化系44Hebb学习规章依据生物学的条件反射原理，Hebb构造了一种简洁的神经网络权值调整原则：假设第i与第j个神经元同时处于兴奋状态，则它们间的联接应加强。即：

Dwyyijij=a，a>0这和“条件反射”学说全都，并已得到证明。

Hebb

学习规则的相关假设，是许多学习规则的基础。2.3人工神经网络的学习算法概述其次章人工神经网络的根本模型2023-5-9北京科技大学自动化系45Delta学习规章〔误差校正规章如梯度方法、BP算法〕Widrow和Hoff的写法：Wij(t+1)=Wij(t)+α(yj-aj(t))neti(t)也可以写成：Wij(t+1)=Wij(t)+Wij(t)Wij(t)=αδjneti(t)δj=yj-aj(t)Grossberg的写法为：Wij(t)=αai(t)(netj(t)-Wij(t))更一般的Delta规章为：Wij(t)=g(ai(t)，yj，netj(t)，Wij(t))其中：ai(t)是网络目标输出；yj是网络计算输出；netj(t)网络内部叠加信号；Wij(t)网络权值。2023-5-9北京科技大学自动化系462.4人工神经