RBF神经网络模型与学习算法

1、智能中国网提供学习支持 2.52.5径向基函数神经网络模型与径向基函数神经网络模型与学习算法 概述 ?1985年，Powell提出了多变量插值的径向基函数(Radical Basis Function ，RBF)方法 ?1988年， Moody和Darken提出了一种神经网络结构，即RBF神经网络 ?RBF网络是一种三层前向网络 ?RBF网络的基本思想 ?用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间 ?当RBF的中心点确定后，映射关系也就确定 ?隐含层空间到输出空间的映射是线性的 2.5.1 RBF神经网络模型 ?径向基神经网络的神经元结构 ?激活

2、函数采用径向基函数 以输入和权值向量之间的 距离作为自变量 2- distR( dist )=edist2.5.1 RBF神经网络模型 ?径向基神经网络结构 2.5.1 RBF神经网络模型 ?RBF网络与BP网络比较： ?RBFRBF网络的输出是隐单元输出的线性加权和，学习速度加快 ?BPBP网络使用sigmoid()sigmoid()函数作为激活函数，这样使得神经元有很大的输入可见区域 ?径向基神经网络使用径向基函数（一般使用高斯函数）作为激活函数，神经元输入空间区域很小，因此需要更多的径向基神经元 2.5.2 RBF神经网络工作原理 ?RBF的非线性分类能力是什么？ 2.5.2 RBF神经

3、网络工作原理 空间1 空间2 不易解决问题 易解决问题 变换 空间1 空间2 线性不可分 线性可分 空间变换 2.5.2 RBF神经网络工作原理 ?RBFRBF解决异或问题解决异或问题 R2(X)X1输入径向基神经元输出000010001111yx2x1212211221( )10( )0 xxR xeR xe? ? ? ? ? ? ?X2R1(X)y10.13530.36790.3679R1(X)1000.3679100.3679010.135311R2(X)x2x12122211211(1)(1)1( )0.3679xxxxR xee?2.5.2 RBF神经网络工作原理 ?RBFRBF解决

4、异或问题解决异或问题 x2x1R(x2)R(x1)1101100.36790.1353空间变换前空间变换后2.5.2 RBF神经网络工作原理 ?逼近任意曲线（逼近任意曲线（程序演示程序演示） R2(X)X1输入径向基神经元输出000010001111yx2x111221( )10( )0 xxRxeRxe? ? ? ? ? ? ?X2R1(X)y10.13530.36790.3679R1(X)1000.3679100.3679010.135311R2(X)x2x12122211211(1)(1)1( )0.3679xxxxR xee?2.5.2 RBF网络的学习算法 ?学习算法需要求解的参数

5、?径向基函数的中心 ?方差 ?隐含层到输出层的权值 ?学习方法分类（按RBF中心选取方法的不同分） ?随机选取中心法 ?自组织选取中心法 ?有监督选取中心法 ?正交最小二乘法等 2.5.2 RBF网络的学习算法 ?自组织选取中心学习方法 ? 第一步，自组织学习阶段第一步，自组织学习阶段 无导师学习过程，求解隐含层基函数的中心与方差； ? 第二步，有导师学习阶段 求解隐含层到输出层之间的权值。 ?高斯函数作为径向基函数 221R()=exp(-)2pipicc?xx2.5.2 RBF网络的学习算法 ?网络的输出网络的输出(网络结构如图网络结构如图2-21所示所示 ) ?设设d是样本的期望输出值，

6、那么基函数的方差是样本的期望输出值，那么基函数的方差可表示为可表示为 : 21mjjijdy cP?h22i=11y =exp(-)=1,2,2jijpiwcjn?x2.5.2 RBF网络的学习算法 ?自组织选取中心算法步骤自组织选取中心算法步骤 ?1.基于K-均值聚类方法求取基函数中心 （1）网络初始化。 ?随机选取 个训练样本作为聚类中心 。 （2）将输入的训练样本集合按最近邻规则分组。 ? 按照 与中心为 之间的欧氏距离将 分配到输入样本的各个聚类集合 中。 （3）重新调整聚类中心。 ?计算各个聚类集合 中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的即为R

7、BF神经网络最终的基函数中心，否则返回（2），进入下一轮的中心求解。 h(1,2, )ic ih?pxicpx(1,2, )ppP?p?icic2.5.2 RBF网络的学习算法 ?2.2.求解方差 RBF神经网络的基函数为高斯函数时，方差可由下式求解：神经网络的基函数为高斯函数时，方差可由下式求解： ?式中 为中所选取中心之间的最大距离。 ?3.3.计算隐含层和输出层之间的权值 隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下： max,1,2,2icihh?maxc22maxexp()1,2, , ;1,2, ,pihwxcpPihc?2.5.3 RBF网络学习算

8、法的MATLAB实现 函 数 名 功 能 newrb() 新建一个径向基神经网络 newrbe() 新建一个严格的径向基神经网络 newgrnn() 新建一个广义回归径向基神经网络 newpnn() 新建一个概率径向基神经网络 ?RBF网络的网络的MATLAB函数及功能函数及功能 2.5.3 RBF网络学习算法的MATLAB实现 ?newrb() ?功能 建立一个径向基神经网络 ?格式 net = newrb(P，T，GOAL，SPREAD，MN，DF) ?说明 P为输入向量，T为目标向量，GOAL为圴方误差，默认为0，SPREAD为径向基函数的分布密度，默认为1，MN为神经元的最大数目，DF

9、为两次显示之间所添加的神经元神经元数目。 2.5.3 RBF网络学习算法的MATLAB实现 ?newrbe() newrbe() ?功能 建立一个严格的径向基神经网络,严格是指径向基神经网络的神经元的个数与输入值的个数相等。 ?格式 (1) net = newrb(P，T， SPREAD) ?说明 各参数的含义见Newrb。 2.5.3 RBF网络学习算法的MATLAB实现 ?例例2-4 建立一个径向基神经网络，对非线性函数建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并作出网络的逼近误差曲线。进行逼近，并作出网络的逼近误差曲线。 %输入从0开始变化到5，每次变化幅度为0.1x=0:0.1:5;y=sqrt(x);%建立一个目标误差为0，径向基函数的分布密度为%0.5，隐含层神经元个数的最大值为20，每增加5个%神经元显示一次结果net=newrb(x,y,0,0.5,20,5);t=sim(net,x);%在以输入x和函数值与网络输出之间的差值y-t坐标%上绘出误差曲线，并用*来标记函数值与网络输%出之间的差值plot(x,y-t