RBF神经网络模型与学习算法

1、智能中国网提供学习支持智能中国网提供学习支持2.52.5径向基函数神经网络模型与径向基函数神经网络模型与学习算法学习算法概述概述 p19851985年，年，PowellPowell提出了多变量插值的径向基函提出了多变量插值的径向基函数数(Radical Basis Function(Radical Basis Function，RBF)RBF)方法方法 p19881988年，年， MoodyMoody和和DarkenDarken提出了一种神经网络提出了一种神经网络结构，即结构，即RBFRBF神经网络神经网络pRBFRBF网络是一种三层前向网络网络是一种三层前向网络pRBFRBF网络的基本思想网

2、络的基本思想 用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定隐含层空间到输出空间的映射是线性的 2.5.1 RBF神经网络模型 p径向基神经网络的神经元结构p激活函数采用径向基函数 以输入和权值向量之间的以输入和权值向量之间的 距离作为自变量距离作为自变量 2- distR( dist )=edist2.5.1 RBF神经网络模型p径向基神经网络结构径向基神经网络结构 2.5.1 RBF神经网络模型pRBF网络与BP网络比较：RBFRBF网络的输出是隐单元输出的线性加权和，网络的输出是隐单元输出的线性加权和，

3、学习速度加快学习速度加快 BPBP网络使用网络使用sigmoid()sigmoid()函数作为激活函数，这函数作为激活函数，这样使得神经元有很大的输入可见区域样使得神经元有很大的输入可见区域 径向基神经网络使用径向基函数（一般使用径向基神经网络使用径向基函数（一般使用高斯函数）作为激活函数，神经元输入空间区高斯函数）作为激活函数，神经元输入空间区域很小，因此需要更多的径向基神经元域很小，因此需要更多的径向基神经元 2.5.2 RBF神经网络工作原理pRBFRBF的非线性分类能力是什么？的非线性分类能力是什么？2.5.2 RBF神经网络工作原理 空间空间1 1 空间空间2 2不易解决问题不易解决

4、问题 易解决问题易解决问题变换变换 空间空间1 1 空间空间2 2线性不可分线性不可分 线性可分线性可分空间变换空间变换2.5.2 RBF神经网络工作原理pRBFRBF解决异或问题解决异或问题2.5.2 RBF神经网络工作原理pRBFRBF解决异或问题解决异或问题2.5.2 RBF神经网络工作原理p逼近任意曲线（逼近任意曲线（程序演示程序演示）2.5.2 RBF网络的学习算法 p学习算法需要求解的参数径向基函数的中心径向基函数的中心方差方差隐含层到输出层的权值隐含层到输出层的权值 p学习方法分类（按RBF中心选取方法的不同分）随机选取中心法随机选取中心法自组织选取中心法自组织选取中心法有监督选

5、取中心法有监督选取中心法正交最小二乘法等正交最小二乘法等2.5.2 RBF网络的学习算法p自组织选取中心学习方法 第一步，自组织学习阶段第一步，自组织学习阶段无导师学习过程，求解隐含层基函数的中心与方差； 第二步，有导师学习阶段第二步，有导师学习阶段求解隐含层到输出层之间的权值。p高斯函数作为径向基函数221R()=exp(-)2pipiccxx2.5.2 RBF网络的学习算法p网络的输出网络的输出( (网络结构如图网络结构如图2-212-21所示所示 ) )p设设d d是样本的期望输出值，那么基函数的方差是样本的期望输出值，那么基函数的方差可表示为可表示为 : :21mjjijdy cPh2

6、2i=11y =exp(-)=1,2,2jijpiwcjnx2.5.2 RBF网络的学习算法p自组织选取中心算法步骤自组织选取中心算法步骤1.1.基于基于K-K-均值聚类方法求取基函数中心均值聚类方法求取基函数中心（1）网络初始化。 u随机选取 个训练样本作为聚类中心 。（2）将输入的训练样本集合按最近邻规则分组。u 按照 与中心为 之间的欧氏距离将 分配到输入样本的各个聚类集合 中。（3）重新调整聚类中心。 u计算各个聚类集合 中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的即为RBF神经网络最终的基函数中心，否则返回（2），进入下一轮的中心求解。h(1,2,

7、)ic ihpxicpx(1,2, )ppPpicic2.5.2 RBF网络的学习算法2.2.求解方差求解方差 RBFRBF神经网络的基函数为高斯函数时，方差可由下式求解：神经网络的基函数为高斯函数时，方差可由下式求解：u式中 为中所选取中心之间的最大距离。3.3.计算隐含层和输出层之间的权值计算隐含层和输出层之间的权值隐含层至输出层之间神经元的连接权值可以用最小二乘法隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下：直接计算得到，计算公式如下：max,1,2,2icihhmaxc22maxexp()1,2, , ;1,2, ,pihwxcpPihc2.5.3 RB

8、F网络学习算法的MATLAB实现 函函 数数 名名功功 能能newrbnewrb()()新建一个径向基神经网络新建一个径向基神经网络newrbenewrbe()()新建一个严格的径向基神经网络新建一个严格的径向基神经网络newgrnnnewgrnn()()新建一个广义回归径向基神经网络新建一个广义回归径向基神经网络newpnnnewpnn()()新建一个概率径向基神经网络新建一个概率径向基神经网络pRBFRBF网络的网络的MATLABMATLAB函数及功能函数及功能2.5.3 RBF网络学习算法的MATLAB实现pnewrbnewrb()()功能 建立一个径向基神经网络建立一个径向基神经网络格

9、式 net = newrb(Pnet = newrb(P，T T，GOALGOAL，SPREADSPREAD，MNMN，DF)DF)说明 P P为输入向量，为输入向量，T T为目标向量，为目标向量，GOALGOAL为圴方误差，为圴方误差，默认为默认为0 0，SPREADSPREAD为径向基函数的分布密度，默为径向基函数的分布密度，默认为认为1 1，MNMN为神经元的最大数目，为神经元的最大数目，DFDF为两次显示为两次显示之间所添加的神经元神经元数目。之间所添加的神经元神经元数目。 2.5.3 RBF网络学习算法的MATLAB实现pnewrbenewrbe()()功能 建立一个严格的径向基神经

10、网络建立一个严格的径向基神经网络, ,严格是指径向基严格是指径向基神经网络的神经元的个数与输入值的个数相等。神经网络的神经元的个数与输入值的个数相等。格式 (1) net = newrb(P(1) net = newrb(P，T T， SPREAD)SPREAD)说明 各参数的含义见各参数的含义见NewrbNewrb。2.5.3 RBF网络学习算法的MATLAB实现p例例2-4 2-4 建立一个径向基神经网络，对非线性函数建立一个径向基神经网络，对非线性函数y=sqrt(xy=sqrt(x) )进行逼近，并作出网络的逼近误差曲线。进行逼近，并作出网络的逼近误差曲线。 %输入从0开始变化到5，每

11、次变化幅度为0.1%输入从0开始变化到5，每次变化幅度为0.1x=0:0.1:5;x=0:0.1:5;y=sqrt(x);y=sqrt(x);%建立一个目标误差为0，径向基函数的分布密度为%建立一个目标误差为0，径向基函数的分布密度为%0.5，隐含层神经元个数的最大值为20，每增加5个%0.5，隐含层神经元个数的最大值为20，每增加5个%神经元显示一次结果%神经元显示一次结果net=newrb(x,y,0,0.5,20,5);net=newrb(x,y,0,0.5,20,5);t=sim(net,x);t=sim(net,x);%在以输入x和函数值与网络输出之间的差值y-t坐标%在以输入x和函数值与网络输出之间的差值y-t坐标%上绘出误差曲线，并用*来标记函数值与网络输%上绘出误差曲线，并用*来标记函数值与网络输%出之间的差值%出之间的差值plot(x,y-t,*-)plot(x,y-t,*-)2.5.3 RBF网络学习算法的MATLAB实现p例例2-42-4误差