神经元感知器和BP网络

（2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3）并行处理性。网络各单元可同时进行类似的处理，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。

第一页，共五十四页。1§3-1

神经网络的基本概念一.生物神经元模型

神经元模型

脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心，它一般又由细胞核、细胞膜等组成。树突是神经元的主要接受器，它主要用来接受信息。轴突的作用主要是传导信息，它将信息从轴突起点传到轴突末梢。1、组成

轴突末梢与另一个神经元的树突或胞体构成一种突触的机构。通过突触实现神经元之间的信息传递。第二页，共五十四页。2具有两种常规工作状态：兴奋与抑制。当传入的神经冲动使细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动并由轴突输出；当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，没有神经冲动输出。

2.生物神经元工作状态第三页，共五十四页。3二.人工神经元模型

人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。

1.人工神经元的输入输出变换关系为:

其中:

称为阈值称为连接权系数称为输出变换函数。第四页，共五十四页。42.常用的输入输出变换函数

神经元模型的输出函数，它是一个非动态的非线性函数，用以模拟神经细胞的兴奋、抑制以及阈值等非线性特性。

这些非线性函数具有两个显著的特征，一是它的突变性，二是它的饱和性，这正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳等特性。第五页，共五十四页。5某两输入、单输出的单节点感知器的连接权值样本，为一类（感知器输出为1），为另一类（感知器输出为-1），，样本试求阀值T。（T为绝对值最小的整数，转移函数采用符号函数）课堂练习第六页，共五十四页。6解：单节点两输入感知器的输出为：根据题意：时：

得

时：

得

时：

得

为将样本按要求分两类，，根据题意选第七页，共五十四页。73.1.2人工神经元网络

人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其它的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。

1.对于每个结点有一个状态变量

一.人工神经元网络的组成原理

2.结点

i

到结点j有一个连接权系数

3.对于每个结点有一个阈值

4.对于每个结点定义一个变换函数严格说来，神经网络是一个具有如下性质的有向图。其中：第八页，共五十四页。8二.典型的神经网络结构：

根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：层状结构和网络结构。层状结构的神经网络是由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内的神经元不能联接。1、前向网络（前馈网络）下面介绍几种常见的网络结构:2、反馈网络

第九页，共五十四页。9

即网状结构，在这种神经网络结构中，任何两个神经元之间都可能双向联接。

4.混合型网络

在前向网络基础上，在同层、部分神经元之间也可双向联接。3.相互结合型网络第十页，共五十四页。10§3-2监督学习及前馈神经网络

具有分层的结构。最前面一层是输入层，中间是隐层，最后一层是输出层。其信息从输入层依次向上传递，直至输出层。这样的结构称为前馈网络。

3.2.1感知器网络

感知器(perceptron)是最简单的前馈网络，也是早期仿生学的研究成果，主要功能是用于对不同的输入模式进行分类。第十一页，共五十四页。11一、单层感知器网络

也就是按照不同特征的分类结果。

是具有单层神经元、采用线性阈值函数的前馈网络。通过对权值的训练，可使感知器对一组线性可分的输入模式（矢量）进行有效的分类。

是输入特征向量，

图中

是

到

的连接权，

(j=1,

2,

…,m)

是输出量。1.单层感知器的基本结构第十二页，共五十四页。122.单层感知器的输入输出变换关系

由于按不同特征的分类是互相独立的，因而可以取出其中的一个神经元来讨论。其输入到输出的变换关系为：

该感知器的输出将输入模式分成了两类。它们分属于n维空间的两个不同的部分。若有P个输入样本(p=1,2,…,P)。第十三页，共五十四页。13*以二维空间为例

分界线的方程为:

*值得注意的是：只有那些线性可分模式类才能用感知器来加以区分。

线性不可分问题：典型的例子是异或关系。第十四页，共五十四页。14

对于输入矢量x，输出矢量y，目标矢量d，根据以下输出矢量可能出现的情况进行调整：3.感知器网络的学习规则

第十五页，共五十四页。15

采用有教师的学习方法进行训练：

1)确定输入矢量x，目标矢量d，各矢量的维数、神经元数和样本数目：n，m，P；

2)参数初始化：

a)输入[x]np，[d]mp；

b)设置(-1,1)随机非零权矢量[w]mn

；

c)给出最大循环次数max_epoch；

3)计算神经网络的实际输出：4.感知器网络的学习算法

第十六页，共五十四页。16

4)检查输出y与目标d是否相同，若是，或已达到最大循环次数，训练结束，否则继续；

6)转到3)。权矢量的修正量与输入模式xk成正比。若的取值太大，算法可能出现振荡。取值太小，收敛速度会很慢。

单层感知器的局限性：只能解决简单的分类问题，也就是只有在输入矢量是线性可分时，单层感知器才对输入模式进行有效的分类有效。线性不可分问题只能用多层感知器来解决。第十七页，共五十四页。17二、多层感知器网络

1.多层感知器的基本结构如下图多层感知器网络：其中：第0层为输入层，有个神经元，中间层为隐层。

第Q

层为输出层，有个神经元，这时每一层相当于一个单层感知器网络。第十八页，共五十四页。182、多层感知器的输入输出变换关系

对于第q

层，它形成一个维的超平面，它对于该层的输入模式进行线性分类。

由于多层的组合，最终可实现对输入模式的较复杂的分类。第十九页，共五十四页。193.2.2.BP网络

反向传播(Back-Propagation)网络，简称BP网络，是采用广义d学习规则，对非线性可微分函数进行权值训练的多层（三层或三层以上）前馈网络。

前、后层之间各神经元实现全联接；每层各神经元之间无联接。x1x2xnwij输入层输出层隐含层jik+-wki信息流误差反向传播(学习算法)MqL

BP网络主要用于函数逼近、模式识别、分类、数据压缩。

一.BP网络的基本结构及原理第二十页，共五十四页。20x1x2xnwij输入层输出层隐含层jik+-wki信息流误差反向传播(学习算法)MqL

设输入层j有M个节点，节点的输出等于其输入。隐含层i有q个节点，激活函数为f1，wij是j层和i层节点之间的联接权值。输出层k有L个节点，激活函数为f2，wki是i层和k层节点之间的联接权值。隐含层和输出层节点的输入是前一层节点的输出的加权和。

第二十一页，共五十四页。21

属于d算法。基本思想是最小二乘算法：对于P个输入学习样本[x1,x2,…xP]，已知对应的输出样本为[d1,d2,…,dP]。学习的目的是用网络的实际输出[y1,y2,…,yP]与目标矢量[d1,d2,…,dP]之间的误差来修正其权值，使网络输出层的误差平方和达到最小。二.BP网络的基本学习规则

学习过程由正向递推计算实现函数映射和反向传播计算训练权值两步来完成。第二十二页，共五十四页。22三.

BP网络的输入输出变换关系

在BP网络中，神经元的变换函数通常采用S型函数，因此输出量是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。

具有偏置和调节的Sigmoid激发函数S型激活函数连续可微。算法上可严格利用梯度法进行推算，权值修正的解析式明确。1.BP网络中神经元的激活函数第二十三页，共五十四页。232.BP网络的前馈计算（BP网络输入到输出的映射计算）即根据神经元所确定的输入输出变换函数，由输入层向输出层执行递推计算。一旦权值满足训练要求，前馈计算结束，能使BP网络实现期望的输入输出变换关系。BP网络的前馈递推算式：第二十四页，共五十四页。24四.

BP网络权值的训练及学习功能的实现1.训练样本

BP网络属于监督学习网络，BP网络是通过在教师信号（样本）的监督下对连接权值进行适当的训练从而实现学习功能的。

（1）训练样本--理想输入输出对的集合，样本来自客观对象，信息集中包含着系统内在的输入输出特性。（2）样本特性--理想的样本应具有真实性和完整性。设有实际应用中的P

组样本，其中第p组样本对形式如下：输入样本：输出样本：第二十五页，共五十四页。252.定义误差函数

连接权值的训练过程，就是BP网络拟合未知函数得优化计算过程。为了保证拟合精度，取如下算式作为拟合误差函数：总误差函数：一次样本误差函数：其中：是期望输出值与网络实际输出之间的差值。第二十六页，共五十四页。263.权值的训练及反向传播计算过程x1x2xnwij输入层输出层隐含层jik+-wki信息流误差反向传播(学习算法)MqL

调整连接权值，以便使误差函数E最小，优化计算常采用一阶梯度来实现。该方法的关键是计算优化目标函数（即误差函数）E对寻优参数（即连接权值）的一阶倒数。即：

调整连接权值按照反向传播的原则，从输出层开始向前逐一推算。第二十七页，共五十四页。27（1）首先计算第Q层（即输出层）其中：(Ⅰ)第二十八页，共五十四页。28（2）再计算第Q-1层（即次输出层）其中：(Ⅱ)见上页(Ⅰ)式：第二十九页，共五十四页。29（3）第q层的反向递推计算根据（Ⅰ）,（Ⅱ）两式可获得反向递推算式：这里的q层是指由Q-1向前递推的任意网络层次（其中：q=Q-2，Q-3，…,1)首先计算←←←←第三十页，共五十四页。30在每一层的反向递推计算需要说明的是：中都出现导数项。该项的计算，与所取的激活函数直接相关。比如：取变换函数为S型函数，那么其导数项可计算如下：由于：所以：第三十一页，共五十四页。31最后可归纳出BP网络的学习算法如下：

第q层：输出层：第三十二页，共五十四页。32五.BP网络的特点和优点、局限性及其改进特点：（1）是一种多层网络，包括输入层、隐含层和输出层；（2）层与层之间采用全互连方式，同一层神经元之间不连接；（3）权值通过δ学习算法进行调节；（4）神经元激发函数为S函数；（5）学习算法由正向传播和反向传播组成；（6）层与层的连接是单向的，信息的传播是双向的。第三十三页，共五十四页。33优点：（1）隐层的作用是使问题的可调参数增加，使解更加准确。只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系。（2）由所取的作用函数知，BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。

泛化能力—用较少的样本进行训练，使网络能对未经训练的输入也能给出合适的输出。从函数拟合的观点，这表明BP网络具有插值计算的能力。没有泛化能力的神经网络无任何使用价值。

第三十四页，共五十四页。34（3）BP网络输入、输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。第三十五页，共五十四页。35局限性：⑴目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；⑵学习算法的收敛速度慢，且收敛速度与初始权的选择有关，难以适应实时控制的要求；⑶难以确定隐层及其节点的数目。目前，确定具体的网络结构尚无好方法，仍根据经验试凑。⑷训练时学习新样本有遗忘旧样本的趋势。针对上述问题，提出3种较常用的改进算法。第三十六页，共五十四页。361、引入动量项增加动量项从前一次权值调整量中取出一部分叠加到本次权值调整量中。动量项反映以前积累的调整经验，对t时刻调整起阻尼作用。减小学习过程的振荡趋势，是目前应用较广泛的一种改进算法。

其中，，为k时刻的负梯度。

为学习率，

>0。

为动量项因子，。根据经验数据动量项因子取0.95比较适合。引入前：引入后：第三十七页，共五十四页。372、自适应调节学习率

设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且降低；若经过一批次权值调整后使总误差↓，则本次调整有效，且增大

。标准BP算法问题：学习率为一常数，很难确定一个从始到终都合适的最佳学习率。如误差曲面平坦区太小会使训练次数增加；而误差变化剧烈的区域太大会使训练出现振荡。解决方法如下：第三十八页，共五十四页。383、引入陡度因子标准BP算法问题：

误差曲面存在平坦区，其原因是神经元输出进入了转移函数的饱和区。

解决思路：

压缩神经元净输入，使其输出退出饱和区。第三十九页，共五十四页。39

实现这一思路的具体作法是，在原转移函数中引入一个陡度因子λ

当发现ΔE接近零而目标与实际输出仍较大时，可判断已进入平坦区，此时令λ>1；退出平坦区后，再令λ=1。λ>1：转移函数曲线敏感区变长；λ=1：转移函数恢复原状。第四十页，共五十四页。404、误差函数的改进

第四十一页，共五十四页。41(1)产生数据样本集(2)确定网络的类型和结构(3)训练和测试

3.2.3神经网络的训练第四十二页，共五十四页。42(1)产生数据样本集

这里包括原始数据的收集、数据分析、变量选择以及数据的预处理。

首先要在大量的原始测量数据中确定出最主要的输入模式。这就需要对原始数据进行统计分析，检验它们之间的相关性。找出其中最主要的量作为输入。

第四十三页，共五十四页。43

在确定了最重要的输入量后，需进行尺度变换和预处理。尺度变换常常将它们变换到

[-1,1]或[0,1]的范围。在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须剔除。对于一个复杂问题应该选择多少数据，这也是一个很关键的问题。系统的输入输出关系就包含在这些数据样本中。所以一般说来，取的数据越多，学习和训练的结果便越能正确反映输入输出关系。第四十四页，共五十四页。44

但是选太多的数据将增加收集、分析数据以及网络训练的所付的代价。选太少的数据则可能得不到正确的结果。事实上数据的多少取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络大小最关键。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的5至10倍。第四十五页，共五十四页。45

在神经网络训练完成后，需要有另外的测试数据来对网络加以检验，测试数据应是独立的数据集合。

最简单的方法是：将收集到的可用数据随机地分成两部分，譬如说其中三分之二用于网络的训练，另外三分之一用于将来的测试，随机选取的目的是为了尽量减小这两部分数据的相关性。

影响数据大小的另一个因素是输入模式和输出结果的分布，对数据预先加以分类可以减少所需的数据量。相反，数据稀薄不匀甚至互相覆盖则势必要增加数据量。第四十六页，共五十四页。46(2)确定网络的类型和结构

在训练神经网络之前，首先要确定所选的网络类型。若主要用于模式分类，尤其是线性可分的情况，则可采用较为简单的感知器网络；若主要用于函数估计，则可应用BP网络。实际上，神经网络的类型很多，需根据问题的性质和任务的要求来合适地选择网络类型。一般是从已有的网络类型中选用一种比较简单而又能满足要求的网络。

第四十七页，共五十四页。47

在网络的类型确定后，剩下的问题是选择网络的结构和参数。以BP网络为例，需选择网络的层数、每层的节点数、初始权值、阈值、学习算法、节点变换函数及参数、学习率及动量项因子等参数。这里有些项的选择有一些指导原则，但更多的是靠经验和试凑。

第四十八页，共五十四页。48

具体选择有如下两种方法：

a.先设置较少节点，对网络进行训练，并测试网络的逼近误差，然后逐渐增加节点数，直到测试的误差不再有明显减小为止。

对于具体问题若确定了输入和输出变量后，