BP神经网络与RBF神经网络

BP神经网络与RBF神经网络

第1页，共80页。主要内容一：神经网络的背景知识二：BP神经网络三：RBF神经网络四：两种神经网络的比较第2页，共80页。人工神经网络简介人工神经网络（ArtificialNeuralNetwork）是基于仿生学理论上的对人脑某些已知结构的模仿。它将人脑的神经元连接方式加以抽象。用大量的神经元节点组成一个庞大的神经网络，从而实现数据的非线性处理，以及复杂的逻辑运算。第3页，共80页。正因为人工神经网络是对生物神经网络的模仿，它具有一些传统逻辑运算不具有的优点。主要包括：一、非线性非线性是自然界的普遍特性。人脑的思考过程就是非线性的。人工神经网络通过模仿人脑神经元结构的信息传递过程，可以进行线性或者非线性的运算，这是人工神经网络的最特出的特性。第4页，共80页。二、自适应性神经网络的结构中设置了权值和阈值参数。网络能够随着输入输出端的环境变化，自动调节神经节点上的权值和阈值。因此，神经网络对在一定范围变化的环境有很强的适应能力。适用于完成信号处理、模式识别、自动控制等任务。系统运行起来也相当稳定。第5页，共80页。三、较强的容错性由若干个小的神经元组成的网络十分庞大。信息存储在神经元之间的连接权值上，采用的是分布式的存储方式。局部的或部分的神经元损坏后，不会对全局的活动造成大的影响。第6页，共80页。神经网络的应用前景目前，神经网络主要应用于：信息领域、自动化领域、医学领域等。信息领域：主要包括信号处理和模式识别。目前神经网络被广泛的用于自适应信号处理和非线性信号处理。在这些方面已经有很多成功的例子。例如信号传递的去噪声和运动目标的速度估计。在模式识别方面，神经网络不仅可以完成如图像的特征检测，边缘提取等任务还可以进行如目标跟踪，语音识别等动态识别。第7页，共80页。神经网络模型包括：一、神经元二、网络拓扑三、学习算法第8页，共80页。神经元在介绍人工神经网络之前，首先简单了解一下实际的生物神经元的基本情况。一个生物神经元有两种状态，即兴奋状态和抑制状态。平时处于抑制状态的生物神经元，会收到多个其他生物神经元传来的兴奋电位，并且这多个输入电位在该神经元中以代数和的形式叠加，如果输入的兴奋总量超过某个阈值，该生物神经元就会被激发进入兴奋状态，发出输出脉冲并传给其他神经元。第9页，共80页。人工神经元模型第10页，共80页。其中xj(j=1,2……n)为神经元i的输入信号，wij为连接权，ui是由输入信号线性组合后的输出，θi为神经元的阀值。第11页，共80页。f（·）称为神经元的传递函数（活化函数或激活函数）。对于基本的感知器神经元，工作方式是将加权总和与神经元的阈值进行比较，若大于阈值，神经元被激活。信号被传送到与其相连的更高一层神经元。第12页，共80页。常见的传递函数有三类①硬阈值型函数第13页，共80页。②分段线性函数第14页，共80页。③sigmoid函数第15页，共80页。Sigmoid函数是最常用的传递函数之一，这是由于sigmoid函数具有以下特点：①非线性和单调性②无限次可微③当权值很大时可近似阶跃函数④当权值很小时可近似线性函数第16页，共80页。网络拓扑网络拓扑是指网络的结构以及神经元之间的连接方式。根据连接方式的不同，可分为反馈型人工神经网络和非反馈型人工神经网络。前者神经元之间存在反馈的环路，后者神经元之间不存在反馈回路。对于非反馈神经网络，若结构是分层的，每一层神经元只与上一层神经元相连，同层之间互不相连，则称该网络为前馈型人工神经网络。第17页，共80页。网络的学习算法网络的学习算法是以满足网络所需的性能为目标，决定连接各神经元的初始权值及在训练时调整权值的方法。学习方法可分为监督学习和非监督学习。前者为有导师学习，训练时，同时向网络提供输入模式以及输出的样板模式，在不断输入不同训练模式的同时调整权值，从而使输出尽量接近样板模式。后者是无导师学习，它是一种自动的聚类过程。第18页，共80页。

三种用于模式识别的网络结构和算法单层感知器（SingleLayerPereceptron，简称为SLP）可作为分类器。单输出的SLP，其结构就是单个人工神经元。输入的N个元可为连续的或二进制的标量信号。表示一个维空间的超平面。图6-3表示可由这个超平面对A、B类进行分类。SLP结构的前部分为一线性加权装置(权为，附有阀值)，其输出经一个性能函数为的硬限幅非线性装置，然后输出到判决器。按当其输入为+1时判属A类；当其输入为-1时判属B类的准则来判类。第19页，共80页。两类分类处理第20页，共80页。训练步骤第一步：设置初始权值及阈值。置初始的权值及阈值为一个小的随机数。第二步：启用新的输入信号x1，x2，…，xn及给定相应的理想输出信号d（t），其中d（t）=+1（若实际属于A类）d（t）=-1（若实际属于B类）第三步：计算实际输出第21页，共80页。第四步：调整权值式中的ŋ为小于1的正的增益因子。由上式可见，只是在出现判决误差时权值才变动。第五步：转到第二步重复进行。第22页，共80页。

双层感知器

实际上实用的最简单的M类分类的感知器（Pereceptron）也应该是一种双层神经网络模型。它是一个两层前馈神经网络，一层为输入层，另一层具有计算单元，可以通过监督学习建立模式判别的能力，如图所示。x2xNx1yMy1y2第23页，共80页。学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。作为分类器，可以用已知类别的模式向量（向量维数等于输入节点数）作为训练集，当输入为属于第j类的特征向量时，应使对应于该类的输出神经元的输出为1，而其它输出神经元的输出则为0（或－1）。应使对应于该类的输出神经元的输出为1，而其它输出神经元的输出则为0（或－1）。设理想的输出为：

实际的输出为：

为了使实际的输出逼近理想输出，可以反复依次输入训练集中的输入向量，然后计算出实际的输出，再对权值作如下的修改

双层感知器的学习过程与求取线性判别函数的过程是等价的，它只能用于解决线性可分问题。它的特点是学习过程收敛很快，且与初始值无关。第24页，共80页。

多层感知器当类别不能用一超平面完善分割时，需用更复杂结构的感知器，即所谓的“多层感知器”。（Multi-LayerPerceptron，简称为MLP）如果感知器的传递函数具有非线性，则这种网络具有较强的分类能力。多层感知器网是由若干层感知器以及可修正的权连接而构成的多层前馈网络。

第25页，共80页。多层感知器的结构由一个输入层，一个以上隐藏层和一个输出层组成。所有的连接均为相邻层之间的节点的连接，同层之间不连接。输入层不作任何运算，它只是将每个输入量分配到各个输入节点。图6-5是一个三层MLP神经网络。x2xNy1yM第26页，共80页。对于多层感知器，Werbos曾于1974年提出，并且由Rumelhart等人的工作而得到完善和推广的一种学习算法，即著名的BP（BackPropagation）算法，它是一种修正连接权的算法。所以MLP的训练大都采用这种反向传播算法。

第27页，共80页。BP神经网络BP(BackPropagation)神经网络，即误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。第28页，共80页。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。第29页，共80页。BP神经网络结构

第30页，共80页。2.1输入/输出变量的确定若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输出变量可以是一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。第31页，共80页。Hornik等早已证明：若输入层和输出层采用线性传递函数，隐层采用Sigmoid传递函数，则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。显然，这是一个存在性结论。在设计BP网络时可参考这一点，应优先考虑3层BP网络（即有1个隐含层）。在BP网络中，隐层节点数的选择非常重要，它对建立的神经网络模型的性能影响很大，但是目前理论上还没有一种科学的和普遍的确定方法。隐含层数和节点数第32页，共80页。一些文献中提到的一种隐含层节点数选择的经验公式：其中N为隐含层神经元个数，m为输入神经元个数，n为输出神经元个数，ɑ为1~10之间的一个整数。第33页，共80页。BP神经网络的学习算法为说明算法，假定BP网络中只有一个隐层，也就是三层BP网络。上标h表示隐层，上标o表示输出层，下标p表示p次训练向量第34页，共80页。隐层节点j输出和输入节点的关系：输出节点k和隐层输出节点的关系：学习过程：定义输出误差第35页，共80页。学习的目的是要使以下定义的误差平方和最小：因此，要求以下的偏导，式中1/2是为了计算方便，不影响推导过程。为了决定权值改变的方向和大小，必须计算EP对wkj的负梯度然后调节权值，使总的误差减小第36页，共80页。第37页，共80页。所以输出权值的更新：第38页，共80页。对隐层权值的更新隐层的权值更新采用与输出层相仿的方法问题：我们知道这些节点的实际输出，确无法提前知道正确的输出是什么解决方法：直接把总的误差和隐层的权值联系起来我们要计算EP对隐层权值的梯度第39页，共80页。而：所以：第40页，共80页。注意：隐层的权值更新取决于输出层的所有的误差根据相应的公式可以求出各个偏微分第41页，共80页。定义一个隐层误差项：第42页，共80页。计算全局误差

m是样本数据个数，q是输出节点个数判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出继续训练网络。第43页，共80页。BP网络主要用途

BP网络作为一种很重要的神经网络模型在许多领域都得到了应用（图像压缩编码、人脸识别、故障诊断、最优预测、分类）。1、函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2、模式识别：用一个特定的输出向量将它与输入向量联系起来。3、分类：把输入向量以所定义的合适方式进行分类。4、数据压缩：减少输出向量维数以便于传输或存储。第44页，共80页。标准BP算法的缺陷标准的BP算法在应用中暴露出不少内在的缺陷：⑴易形成局部极小而得不到全局最优；⑵训练次数多使得学习效率低，收敛速度慢；⑶隐节点的选取缺乏理论指导；⑷训练时学习新样本有遗忘旧样本的趋势。第45页，共80页。目前有效改进方法：①增加动量项一些学者指出，标准BP算法在调整权值时，只按t时刻误差的梯度降方向调整，而没有考虑t时刻前的梯度方向，从而常使训练过程发生震荡，收敛缓慢。为了提高网络的训练速度，可以在权值调整公式中增加一动量项。②自适应调节学习率学习率也称为步长，在标准的BP算法定为常数，然而在实际应用中，很难确定一个从始至终都合适的最佳学习率。从误差曲面可以看出，在平坦区域内学习率太小会使训练次数增加，因而希望增大学习率；而在误差变化剧烈的区域，学习率太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现震荡，反而使迭代次数增加。为了加速收敛过程，一个较好的思想是自适应改变学习率，使其该大时增大，该小时减小。③引入陡度因子误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。如果在调整进入平坦区域后，设法压缩神经元的净输入，使其输出退出转移函数的饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。实现这一思路的具体作法是在原转移函数中引入一个陡度因子。第46页，共80页。BP神经网络示例要求建立一个BP神经网络来逼近正选函数。

输入矢量P=0:0.1:2.*pi;期望输出矢量T=sin(P);使用三层BP神经网络，输入和输出节点都为1，,隐含层神经元数目取5。第47页，共80页。RBF神经网络1985年，Powell提出了多变量插值的径向基函数（RadicalBasisFunction,RBF）方法。1988年，Moody和Darken提出了一种神经网络结构，即RBF神经网络，它属于前向神经网络类型，能够以任意精度逼近任意连续函数，特别适合于解决分类问题。第48页，共80页。RBF网络的结构与多层前向网络类似，它是一种三层前向网络。输入层由信号源结点组成；第二层为隐含层，隐单元数视所描述问题的需要而定，隐单元的变换函数RBF（）是对中心点径向对称且衰减的非负非线性函数；第三层为输出层，它对输入模式的作用作出响应。从输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间变换是线性的。第49页，共80页。RBF网络的基本思想是：用RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接（即不需要通过权接）映射到隐空间。当RBF的中心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处的权即为网络可调参数。由此可见，从总体上看，网络由输入到输出的映射是非线性的，而网络输出对可调参数而言却又是线性的。这样网络的权就可由线性方程直接解出，从而大大加快学习速度并避免局部极小问题。第50页，共80页。RBF神经元模型第51页，共80页。径向基神经网络的激活函数采用径向基函数，通常定义为空间任一点到某一中心之间欧氏距离的单调函数。由图1所示的径向基神经元结构可以看出，径向基神经网络的激活函数是以输入向量和权值向量之间的距离作为自变量的。径向基神经网络的激活函数的一般表达式为

第52页，共80页。随着权值和输入向量之间距离的减少，网络输出是递增的，当输入向量和 权值向量一致时，神经元输出1。在图中的b为偏差，用于调整神经元的灵敏度。第53页，共80页。径向基神经网络结构第54页，共80页。在RBF网络中，输入层仅仅起到传输信号的作用。输出层和隐含层所完成的任务是不同的，因而它们的学习策略也不相同。输出层是对线性权进行调整，采用的是线性优化策略。因而学习速度较快。而隐含层是对激活函数（一般取高斯函数）的参数进行调整，采用的是非线性优化策略，因而学习速度较慢。第55页，共80页。RBF网络的学习算法RBF神经网络学习算法需要求解的参数有3个：基函数的中心、方差以及隐含层到输出层的权值。根据径向基函数中心选取方法的不同，RBF网络有多种学习方法，如随机选取中心法、自组织选取中心法、有监督选取中心法和正交最小二乘法等，下面将介绍自组织选取中心的RBF神经网络学习法。第56页，共80页。自组织选取中心法此方法由两个阶段组成：一是自组织学习阶段，此阶段为无导师学习过程，求解隐含层基函数的中心与方差。二是有导师学习阶段，此阶段求解隐含层到输出层之间的权值。第57页，共80页。径向基神经网络中常用的径向基函数是高斯函数，因此径向基神经网络的激活函数可表示为式中————欧式范数。————高斯函数的中心。————高斯函数的方差。第58页，共80页。由图中径向基神经网络的结构可得到网络的输出为：式中————第p个输入样本。————P表示样本总数。————网络隐含层结点的中心。————隐含层到输出层的连接权值。————隐含层的节点数。————与输入样本对应的网络的第j个输出结点的实际输出。第59页，共80页。设d是样本的期望输出值，那么基函数的方差可表示为：第60页，共80页。学习算法具体步骤如下：1.基于K-均值聚类方法求解基函数中心（1）网络初始化：随机选取个训练样本作为聚类中心（2）将输入的训练样本集合按最近邻规则分组：按照与中心之间的欧式距离将分配到输入样本的各个聚类集合中。

第61页，共80页。（3）重新调整聚类中心：计算各个聚类集合中训练样本的平均值，即新的聚类中心，如果新的聚类中心不再发生变化，则所得到的即为RBF神经网络最终的基函数中心，否则返回2），进入下一轮的中心求解。第62页，共80页。2.求解方差该RBF神经网络的基函数为高斯函数，因此方差可由下式求解：式中——所选取中心与其他中心之间的最大距离。第63页，共80页。3.计算隐含层和输出层之间的权值

隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下：第64页，共80页。BP神经网络与RBF神经网络的比较从网络结构上看BP神经网络隐层单元的传递函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的传递函数是关于中心对称的RBF（如高斯函数）。从训练算法上看BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法。但BP算法存在许多不足之处，主要表现为易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定。目前，很多RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。第65页，共80页。RBF网络的学习算法RBF网络的学习算法一般包括两个不同的阶段：隐层径向基函数中心的确定阶段。在此我们选用中心的自组织选择法。径向基函数权值学习调整阶段。此处我们介绍中心的监督选择法。第66页，共80页。中心的自组织选择法中心的自组织选择法是一种无导师学习，又称非监督学习，是对所有样本的输入进行聚类，求得各隐层节点的RBF的中心。这里介绍常用的k-均值聚类算法，算法步骤如下：第67页，共80页。③调整中心：很小时为止。3.2中心的监督选择法中心的监督选择法是一种有导师学习，也称监督学习算法。径向基函数的中心以及网络的所有其他参数都将经历一个监督学习的过程，即RBF网络将采用最一般的方式误差修正学习过程，它可以很方便的使用梯度下降法。当确定后，训练隐层至输出层之间的权值，由于它是一个线性方程组，则求权值就成为线性优化问题，如LMS算法、最小二乘递推算法等。

第68页，共80页。（1）LMS算法已知最陡下降法迭代公式

，即后一时刻的权值等于前一时刻的加上一个正比于负梯度的增量，这里

。为性能曲面的梯度LMS算法的核心思想是：计算梯度时，用平方误差代替均方误差所