第2章 人工神经网络的基本模型

2006-5-9北京科技大学自动化系1第二章人工神经网络的基本模型北京科技大学信息工程学院付冬梅fdm2003@163.com623349672006-5-9北京科技大学自动化系2第二章人工神经网络的基本模型人工神经元的基本模型几种典型的激活函数人工神经网络的学习算法概述人工神经网络的基本拓扑结构2006-5-9北京科技大学自动化系3

生物神经元结构

（1）细胞体:细胞核、细胞质和细胞膜。（2）树突：胞体短而多分枝的突起。相当于神经元的输入端。（3）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。（4）突触：神经元间的连接接口，每个神经元约有1万～10万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。（5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋与抑制。2.1人工神经元的基本模型第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系4

生物神经元结构2.1人工神经元的基本模型第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系5

生物神经元功能（1）兴奋与抑制：当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。（2）学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此，神经元具有学习与遗忘的功能。2.1人工神经元的基本模型第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系62.1人工神经元的基本模型第二章人工神经网络的基本模型

人工神经元的六个基本特征：1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用，也可以是起抑制作用；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。神经元是构成神经网络的最基本单元（构件）。人工神经元模型应具有生物神经元的六个基本特性。2006-5-9北京科技大学自动化系7图2.1MP神经元模型（a）2.1人工神经元的基本模型第二章人工神经网络的基本模型

神经元i的输入yj输出yi

描述:设则每一神经元的输出，或‘0’或‘1’，‘0’表示’抑制’，‘1’表示‘兴奋’：

基本MP模型2006-5-9北京科技大学自动化系8f(x)：作用（激发）函数——是一种阶跃函数。从神经元的结构示意图上可见：当输入yj的加权和大于域值时，神经元的输出yi

=1，即神经元处于“兴奋状态”；反之，当输入yj的加权和大于域值时，神经元的输出yi=0，即神经元处于“抑制状态”在基本MP模型中取整数。2.1人工神经元的基本模型第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系9人工神经元模拟生物神经元的一阶特性。输入：Y=（y0，y1，y2，…，yn）联接权：W=（w0，w1，w2，…，wn）T网络输入：

netj=∑wjiyi向量形式：

netj=WYynwn∑y1w1y2w2neti=WY…MP模型的另一种形式令，则MP神经元模型可以表示为：2.1人工神经元的基本模型第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系102.1人工神经元的基本模型第二章人工神经网络的基本模型M-P模型从哪些方面刻画了自然神经元？前面已介绍过生物（自然）神经元具有如下特点：两态工作：即工作于兴奋或抑制两种状态；阈值作用：即超过某一阈值则神经元兴奋；多输入单输出特性；空间叠加性；可塑性联接：即突触部分的联接强度可以调节。虽然M-P模型无法实现生物神经元的空间、时间的交叉叠加性，但其它生物神经元功能都具备。2006-5-9北京科技大学自动化系11M-P模型在人工神经网络中的地位首先M-P模型是所有人工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。2.1人工神经元的基本模型第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系122.1人工神经元的基本模型第二章人工神经网络的基本模型对M-P人工神经元进行改进的主要方式有如下几个方面:神经元的内部改造：对人工神经元取不同的非线性函数；对输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。神经网络的结构上的改造：人工神经元之间的联接形式不同。算法的改进：在人工神经网络权值和阈值取求的方法上不同。其它形式的改造。2006-5-9北京科技大学自动化系13

激活函数——执行对该神经元所获得的网络输入的变换，也常称为激励函数、活化函数：o=f(net)线性函数（LinerFunction）

f(net)=k*net+c

netooc2.2几种典型的激活函数(ActivationFunction)

第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系142、非线性斜面函数(RampFunction)

γ ifnet≥θf（net）=k*netif|net|<θ -γ ifnet≤-θ

γ>0为一常数，被称为饱和值，为该神经元的最大输出。

γ-γθ

-θ

net

o

2.2几种典型的激活函数(ActivationFunction)

第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系15

β ifnet>θf（net）= -γ ifnet≤θβγθ均为非负实数，θ为阈值。二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ双极形式：

1 ifnet>θf（net）= -1 ifnet≤θβ

-γθonet02.2几种典型的激活函数(ActivationFunction)

第二章人工神经网络的基本模型阈值函数（ThresholdFunction）阶跃函数2006-5-9北京科技大学自动化系162.2几种典型的激活函数(ActivationFunction)

第二章人工神经网络的基本模型

其他形式的作用函数:不同的作用函数，可构成不同的神经元模型。

非对称型Sigmoid函数:简称S型作用函数，是可微的，用下式表示：如图(a)和(b)

fxex()=+-11

或

fxex()=+-11b

b>02006-5-9北京科技大学自动化系17第二章人工神经网络的基本模型对称型Sigmoid函数

是可微的，用下式表示：如图(a)和(b)

fxeexx()=-+--11

或

fxeexx()=-+--11bb

，

b>0或

fxeeeexxxx()=-+--bbbb

，

b>02006-5-9北京科技大学自动化系18对称型阶跃函数第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系19第二章人工神经网络的基本模型高斯函数:是可微的，分一维和高维，用下式表示：如图(a)和(b)2006-5-9北京科技大学自动化系20神经元演示

非线性作用函数（激发函数）2.2几种典型的激活函数(ActivationFunction)

第二章人工神经网络的基本模型2006-5-9北京科技大学自动化系21非线性作用函数1非对称型Sigmoid函数2006-5-9北京科技大学自动化系22非线性作用函数2对称型Sigmoid函数2006-5-9北京科技大学自动化系23非线性作用函数3

非对称型阶跃函数2006-5-9北京科技大学自动化系24非线性作用函数4

对称型阶跃函数2006-5-9北京科技大学自动化系25非线性作用函数2006-5-9北京科技大学自动化系26非线性作用函数5高斯RBF(一维)2006-5-9北京科技大学自动化系27非线性作用函数5高斯RBF（二维）2006-5-9北京科技大学自动化系28非线性作用函数5高斯RBF（二维）2006-5-9北京科技大学自动化系29非线性作用函数6B样条函数（０次）2006-5-9北京科技大学自动化