径向基函数神经网络

1、3.53.5径向基函数神经网络模型径向基函数神经网络模型概述概述 p19851985年，年，PowellPowell提出了多变量插值的径向基函提出了多变量插值的径向基函数数(Radical Basis Function(Radical Basis Function，RBF)RBF)方法方法 p19881988年，年， MoodyMoody和和DarkenDarken提出了一种神经网络提出了一种神经网络结构，即结构，即RBFRBF神经网络神经网络pRBFRBF网络是一种三层前向网络网络是一种三层前向网络pRBFRBF网络的基本思想网络的基本思想 用RBF作为隐单元的“基”构成隐含层空间，将输入矢

2、量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定隐含层空间到输出空间的映射是线性的 RBF网络特点l只有一个隐层，且隐层神经元与输出层神经元的模型不同。l隐层节点激活函数为径向基函数，输出层节点激活函数为线性函数。l隐层节点激活函数的净输入是输入向量与节点中心的距离（范数）而非向量内积，且节点中心不可调。l隐层节点参数确定后，输出权值可通过解线性方程组得到。l隐层节点的非线性变换把线性不可分问题转化为线性可分问题。l局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输入输出映射时，在相同逼近精度要求下，RBF所需的时间要比MLP少。l具有唯一最佳逼近的特性

3、，无局部极小。l合适的隐层节点数、节点中心和宽度不易确定。 222exprr 22exp11rr 2/1221rr1. Gauss（高斯）函数：（高斯）函数：2. 反演反演S型函数：型函数：3. 拟多二次函数：拟多二次函数： 称为基函数的扩展常数称为基函数的扩展常数或宽度，或宽度， 越小，径向基越小，径向基函数的宽度越小，基函数函数的宽度越小，基函数就越有选择性。就越有选择性。径向基函数（径向基函数（RBF）全局逼近和局部逼近全局逼近网络全局逼近网络局部逼近网络局部逼近网络当神经网络的一个或多个可当神经网络的一个或多个可调参数调参数(权值和阈值权值和阈值)对任何对任何一个输出都有影响，则称该一

4、个输出都有影响，则称该神经网络为全局逼近网络。神经网络为全局逼近网络。对网络输入空间的某个局对网络输入空间的某个局部区域只有少数几个连接部区域只有少数几个连接权影响网络的输出，则称权影响网络的输出，则称该网络为局部逼近网络该网络为局部逼近网络学习速度很慢，无法满足实时性要求的应用学习速度很慢，无法满足实时性要求的应用学习速度快，有可能满足有实时性要求的应用学习速度快，有可能满足有实时性要求的应用RBF网络的工作原理函数逼近：函数逼近：以任意精度逼近任一连续函数。一般函数都可表示成一组以任意精度逼近任一连续函数。一般函数都可表示成一组基函数的线性组合，基函数的线性组合，RBF网络相当于用隐层单元

5、的输出构网络相当于用隐层单元的输出构成一组基函数，然后用输出层来进行线性组合，以完成成一组基函数，然后用输出层来进行线性组合，以完成逼近功能。逼近功能。分类：分类：解决非线性可分问题。解决非线性可分问题。RBF网络用隐层单元先将非线性可网络用隐层单元先将非线性可分的输入空间设法变换到线性可分的特征空间（通常是高分的输入空间设法变换到线性可分的特征空间（通常是高维空间），然后用输出层来进行线性划分，完成分类功能。维空间），然后用输出层来进行线性划分，完成分类功能。RBF神经网络两种模型正规化网络正规化网络RN广义网络广义网络GN通用逼近器模式分类模式分类基本思想：基本思想：通过加入一个含有解的先

6、验知识的约束来通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，若输入一输出映射控制映射函数的光滑性，若输入一输出映射函数是光滑的，则重建问题的解是连续的，函数是光滑的，则重建问题的解是连续的，意味着相似的输入对应着相似的输出。意味着相似的输入对应着相似的输出。基本思想：基本思想：用径向基函数作为隐单元的用径向基函数作为隐单元的“基基”，构成隐含，构成隐含层空间。隐含层对输入向量进行变换，将低维层空间。隐含层对输入向量进行变换，将低维空间的模式变换到高维空间内，使得在低维空间的模式变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。空间内的线性不可分问题在高维空间内

7、线性可分。两种模型的比较隐节点隐节点=输入样本数输入样本数隐节点隐节点输入样本数输入样本数 所有输入样本设为所有输入样本设为径向基函数的中心径向基函数的中心径向基函数的中心径向基函数的中心由训练算法确定由训练算法确定径向基函数径向基函数取统一的扩展常数取统一的扩展常数径向基函数的扩展常数径向基函数的扩展常数不再统一由训练算法确定不再统一由训练算法确定没有设置阈值没有设置阈值输出函数的线性中包含阈值参数，输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的用于补偿基函数在样本集上的平均值与目标值之平均值之间的差别。平均值与目标值之平均值之间的差别。RNGN3.5.1 RBF神经网络模型 p径

8、向基神经网络的神经元结构p激活函数采用径向基函数 以输入和权值向量之间的以输入和权值向量之间的 距离作为自变量距离作为自变量 2- distR( dist )=edistp径向基神经网络结构径向基神经网络结构 pRBF网络与BP网络比较：RBFRBF网络的输出是隐单元输出的线性加权和，网络的输出是隐单元输出的线性加权和，学习速度加快学习速度加快 BPBP网络使用网络使用sigmoid()sigmoid()函数作为激活函数，这函数作为激活函数，这样使得神经元有很大的输入可见区域样使得神经元有很大的输入可见区域 径向基神经网络使用径向基函数（一般使用径向基神经网络使用径向基函数（一般使用高斯函数）

9、作为激活函数，神经元输入空间区高斯函数）作为激活函数，神经元输入空间区域很小，因此需要更多的径向基神经元域很小，因此需要更多的径向基神经元 RBF学习算法RBF学习的三个参数：基函数的中心 方差（扩展常数） 隐含层与输出层间的权值ijwiit当采用当采用正归化正归化RBFRBF网络网络结构时，隐节点数即样本数，基函结构时，隐节点数即样本数，基函数的数据中心即为样本本身，参数设计只需考虑扩展常数数的数据中心即为样本本身，参数设计只需考虑扩展常数和输出节点的权值。和输出节点的权值。当采用当采用广义广义RBFRBF网络网络结构时，结构时，RBFRBF网络的学习算法应该解决网络的学习算法应该解决的问题

10、包括：如何确定网络隐节点数，如何确定的问题包括：如何确定网络隐节点数，如何确定各径向基各径向基函数的数据中心及扩展常数，以及如何修正输出权值函数的数据中心及扩展常数，以及如何修正输出权值。p学习方法分类（按RBF中心选取方法的不同分）随机选取中心法随机选取中心法自组织选取中心法自组织选取中心法有监督选取中心法有监督选取中心法正交最小二乘法等正交最小二乘法等3.5.2 RBF网络的学习算法p自组织选取中心学习方法 第一步，自组织学习阶段第一步，自组织学习阶段无导师学习过程，求解隐含层基函数的中心与方差； 第二步，有导师学习阶段第二步，有导师学习阶段求解隐含层到输出层之间的权值。p高斯函数作为径向

11、基函数221R()=exp(-)2pipiccxxp网络的输出网络的输出( (网络结构如图网络结构如图2-212-21所示所示 ) )p设设d d是样本的期望输出值，那么基函数的方差是样本的期望输出值，那么基函数的方差可表示为可表示为 : :21mjjijdy cPh22i=11y =exp(-)=1,2,2jijpiwcjnxp自组织选取中心算法步骤自组织选取中心算法步骤1.1.基于基于K-K-均值聚类方法求取基函数中心均值聚类方法求取基函数中心（1）网络初始化。 u随机选取 个训练样本作为聚类中心 。（2）将输入的训练样本集合按最近邻规则分组。u 按照 与中心为 之间的欧氏距离将 分配到输

12、入样本的各个聚类集合 中。（3）重新调整聚类中心。 u计算各个聚类集合 中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的即为RBF神经网络最终的基函数中心，否则返回（2），进入下一轮的中心求解。h(1,2, )ic ihpxicpx(1,2, )ppPpicic2.2.求解方差求解方差 RBFRBF神经网络的基函数为高斯函数时，方差可由下式求解：神经网络的基函数为高斯函数时，方差可由下式求解：u式中 为中所选取中心之间的最大距离。3.3.计算隐含层和输出层之间的权值计算隐含层和输出层之间的权值隐含层至输出层之间神经元的连接权值可以用最小二乘法隐含层至输出层之间神经

13、元的连接权值可以用最小二乘法直接计算得到，计算公式如下：直接计算得到，计算公式如下：max,1,2,2icihhmaxc22maxexp()1,2, , ;1,2, ,pihwxcpPihc3.5.3 RBF网络学习算法的MATLAB实现 函函 数数 名名功功 能能newrbnewrb()()新建一个径向基神经网络新建一个径向基神经网络newrbenewrbe()()新建一个严格的径向基神经网络新建一个严格的径向基神经网络newgrnnnewgrnn()()新建一个广义回归径向基神经网络新建一个广义回归径向基神经网络newpnnnewpnn()()新建一个概率径向基神经网络新建一个概率径向基神

14、经网络pRBFRBF网络的网络的MATLABMATLAB函数及功能函数及功能pnewrbnewrb()()功能 建立一个径向基神经网络建立一个径向基神经网络格式 net = newrb(Pnet = newrb(P，T T，GOALGOAL，SPREADSPREAD，MNMN，DF)DF)说明 P P为输入向量，为输入向量，T T为目标向量，为目标向量，GOALGOAL为圴方误差，为圴方误差，默认为默认为0 0，SPREADSPREAD为径向基函数的分布密度，默为径向基函数的分布密度，默认为认为1 1，MNMN为神经元的最大数目，为神经元的最大数目，DFDF为两次显示为两次显示之间所添加的神经

15、元神经元数目。之间所添加的神经元神经元数目。 pnewrbenewrbe()()功能 建立一个严格的径向基神经网络建立一个严格的径向基神经网络, ,严格是指径向基严格是指径向基神经网络的神经元的个数与输入值的个数相等。神经网络的神经元的个数与输入值的个数相等。格式 (1) net = newrb(P(1) net = newrb(P，T T， SPREAD)SPREAD)说明 各参数的含义见各参数的含义见NewrbNewrb。举例：RBF网络实现函数逼近 1.问题的提出：假设如下的输入输出样本，输入向量为-1 1区间上等间隔的数组成的向量P,相应的期望值向量为T。P=-1:0.1:1;T=-0

16、.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201;%以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点。figure;plot(P,T,+)title(训练样本)xlabel(输入矢量P)ylabel(目标矢量T)grid on%目的是找到一个函数能够满足这21个数据点的输入/输出关系，其中一个方法是通过构建径向基函数网络来进行

17、曲线拟合2.网络设计：设计一个径向基函数网络，网络有两层，隐含层为径向基神经元，输出层为线性神经元。 p=-3:0.1:3;a=radbas(p);figure;plot(p,a)title(径向基传递函数)xlabel(输入p)ylabel(输出a) grid on % 每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将这些径向基函数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确，那么径向基函数网络就完全能够精确的逼近任意函数。 a2=radbas(p-1.5);a3=radbas(p+2);a4=a+a2*1+a3*0.5;figure;plot

18、(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-);title(径向基传递函数之和)xlabel(输入p)ylabel(输出a) grid on % 应用newb()函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值进行调整，从而进行函数逼近，预先设定均方差精度为eg以及散布常数sc。eg=0.02;sc=1;net=newrb(P,T,eg,sc);3.网络测试：将网络输出和期望值随输入向量变化的曲线绘制在一张图上，就可以看出网络设计是否能够做到函数逼近。 figure;plot(P,T,+);xlabel(输入);X=-1:0.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off;legend(目标,输出) grid onp例例2 2 建立一个径向基神经网络，对非线性函数建立一个径向基神经网络，对非线性函数y=sqrt(xy=sqrt(x) )进行逼近，并作出网络的逼近误差曲线。进行逼近，并作出网络的逼近误差曲线。 %输入从0开始变化到5，每次变化幅度为0.1%输入从0开始变化到5，每次变化幅度为0.1x=0:0.1:5;x=0:0.1:5;y=sqrt(x);y=sqrt(x);%建立一个目标误差为0，径向基函数的分布密度为%建立一个目标误差为0，径向基函数的分布密度为%0.5，隐