径向基函数神经网络

1、3.53.5径向基函数神经网络模型径向基函数神经网络模型 概述概述 p19851985年，年，PowellPowell提出了多变量插值的径向基函提出了多变量插值的径向基函 数数(Radical Basis Function(Radical Basis Function，RBF)RBF)方法方法 p19881988年，年， MoodyMoody和和DarkenDarken提出了一种神经网络提出了一种神经网络 结构，即结构，即RBFRBF神经网络神经网络 pRBFRBF网络是一种三层前向网络网络是一种三层前向网络 pRBFRBF网络的基本思想网络的基本思想 用RBF作为隐单元的“基”构成隐含层空间

2、，将输入 矢量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定 隐含层空间到输出空间的映射是线性的 RBF网络特点 l只有一个隐层，且隐层神经元与输出层神经元的模型不同。 l隐层节点激活函数为径向基函数，输出层节点激活函数为线 性函数。 l隐层节点激活函数的净输入是输入向量与节点中心的距离 （范数）而非向量内积，且节点中心不可调。 l隐层节点参数确定后，输出权值可通过解线性方程组得到。 l隐层节点的非线性变换把线性不可分问题转化为线性可分问 题。 l局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输 入输出映射时，在相同逼近精度要求下，RBF所需的时间要比

3、 MLP少。 l具有唯一最佳逼近的特性，无局部极小。 l合适的隐层节点数、节点中心和宽度不易确定。 2 2 2 exp r r 2 2 exp1 1 r r 2/1 22 1 r r 1. Gauss（高斯）函数：（高斯）函数： 2. 反演反演S型函数：型函数： 3. 拟多二次函数：拟多二次函数： 称为基函数的扩展常数称为基函数的扩展常数 或宽度，或宽度， 越小，径向基越小，径向基 函数的宽度越小，基函数函数的宽度越小，基函数 就越有选择性。就越有选择性。 径向基函数（径向基函数（RBF） 全局逼近和局部逼近 全局逼近网络全局逼近网络 局部逼近网络局部逼近网络 当神经网络的一个或多个可当神经网

4、络的一个或多个可 调参数调参数(权值和阈值权值和阈值)对任何对任何 一个输出都有影响，则称该一个输出都有影响，则称该 神经网络为全局逼近网络。神经网络为全局逼近网络。 对网络输入空间的某个局对网络输入空间的某个局 部区域只有少数几个连接部区域只有少数几个连接 权影响网络的输出，则称权影响网络的输出，则称 该网络为局部逼近网络该网络为局部逼近网络 学习速度很慢，无法满足实时性要求的应用学习速度很慢，无法满足实时性要求的应用 学习速度快，有可能满足有实时性要求的应用学习速度快，有可能满足有实时性要求的应用 RBF网络的工作原理 函数逼近：函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一

5、组以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，基函数的线性组合，RBF网络相当于用隐层单元的输出构网络相当于用隐层单元的输出构 成一组基函数，然后用输出层来进行线性组合，以完成成一组基函数，然后用输出层来进行线性组合，以完成 逼近功能。逼近功能。 分类：分类： 解决非线性可分问题。解决非线性可分问题。RBF网络用隐层单元先将非线性可网络用隐层单元先将非线性可 分的输入空间设法变换到线性可分的特征空间（通常是高分的输入空间设法变换到线性可分的特征空间（通常是高 维空间），然后用输出层来进行线性划分，完成分类功能。维空间），然后用输出层来进行线性划分，完成分类功能。 RB

6、F神经网络两种模型 正规化网络正规化网络RN 广义网络广义网络GN 通用逼近器 模式分类模式分类 基本思想：基本思想： 通过加入一个含有解的先验知识的约束来通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入一输出映射控制映射函数的光滑性，若输入一输出映射 函数是光滑的，则重建问题的解是连续的，函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。意味着相似的输入对应着相似的输出。 基本思想：基本思想： 用径向基函数作为隐单元的用径向基函数作为隐单元的“基基”，构成隐含，构成隐含 层空间。隐含层对输入向量进行变换，将低维层空间。隐含层对输入向量进行变换，将低维

7、 空间的模式变换到高维空间内，使得在低维空间的模式变换到高维空间内，使得在低维 空间内的线性不可分问题在高维空间内线性可分。空间内的线性不可分问题在高维空间内线性可分。 两种模型的比较 隐节点隐节点=输入样本数输入样本数隐节点输入样本数隐节点输入样本数 所有输入样本设为所有输入样本设为 径向基函数的中心径向基函数的中心 径向基函数的中心径向基函数的中心 由训练算法确定由训练算法确定 径向基函数径向基函数 取统一的扩展常数取统一的扩展常数 径向基函数的扩展常数径向基函数的扩展常数 不再统一由训练算法确定不再统一由训练算法确定 没有设置阈值没有设置阈值 输出函数的线性中包含阈值参数，输出函数的线性

8、中包含阈值参数， 用于补偿基函数在样本集上的用于补偿基函数在样本集上的 平均值与目标值之平均值之间的差别。平均值与目标值之平均值之间的差别。 RN GN 3.5.1 RBF神经网络模型 p径向基神经网络的神经元结构 p激活函数采用径向基函数 以输入和权值向量之间的以输入和权值向量之间的 距离作为自变量距离作为自变量 2 - dist R( dist )=e dist p径向基神经网络结构径向基神经网络结构 pRBF网络与BP网络比较： RBFRBF网络的输出是隐单元输出的线性加权和，网络的输出是隐单元输出的线性加权和， 学习速度加快学习速度加快 BPBP网络使用网络使用sigmoid()sig

9、moid()函数作为激活函数，这函数作为激活函数，这 样使得神经元有很大的输入可见区域样使得神经元有很大的输入可见区域 径向基神经网络使用径向基函数（一般使用径向基神经网络使用径向基函数（一般使用 高斯函数）作为激活函数，神经元输入空间区高斯函数）作为激活函数，神经元输入空间区 域很小，因此需要更多的径向基神经元域很小，因此需要更多的径向基神经元 RBF学习算法 RBF学习的三个参数：基函数的中心 方差（扩展常数） 隐含层与输出层间的权值 ij w i i t 当采用当采用正归化正归化RBFRBF网络网络结构时，隐节点数即样本数，基函结构时，隐节点数即样本数，基函 数的数据中心即为样本本身，参

10、数设计只需考虑扩展常数数的数据中心即为样本本身，参数设计只需考虑扩展常数 和输出节点的权值。和输出节点的权值。 当采用当采用广义广义RBFRBF网络网络结构时，结构时，RBFRBF网络的学习算法应该解决网络的学习算法应该解决 的问题包括：如何确定网络隐节点数，如何确定各径向基的问题包括：如何确定网络隐节点数，如何确定各径向基 函数的数据中心及扩展常数，以及如何修正输出权值。函数的数据中心及扩展常数，以及如何修正输出权值。 p学习方法分类（按RBF中心选取方法的不同 分） 随机选取中心法随机选取中心法 自组织选取中心法自组织选取中心法 有监督选取中心法有监督选取中心法 正交最小二乘法等正交最小二

11、乘法等 3.5.2 RBF网络的学习算法 p自组织选取中心学习方法 第一步，自组织学习阶段第一步，自组织学习阶段 无导师学习过程，求解隐含层基函数的中心与方差； 第二步，有导师学习阶段第二步，有导师学习阶段 求解隐含层到输出层之间的权值。 p高斯函数作为径向基函数 2 2 1 R()=exp(-) 2 pipi cc xx p网络的输出网络的输出( (网络结构如图网络结构如图2-212-21所示所示 ) ) p设设d d是样本的期望输出值，那么基函数的方差是样本的期望输出值，那么基函数的方差 可表示为可表示为 : : 2 1 m jji j dy c P h 2 2 i=1 1 y =exp(

12、-)=1,2, 2 jijpi wcjn x p自组织选取中心算法步骤自组织选取中心算法步骤 1.1.基于基于K-K-均值聚类方法求取基函数中心均值聚类方法求取基函数中心 （1）网络初始化。 u随机选取 个训练样本作为聚类中心 。 （2）将输入的训练样本集合按最近邻规则分组。 u 按照 与中心为 之间的欧氏距离将 分配到输入样 本的各个聚类集合 中。 （3）重新调整聚类中心。 u计算各个聚类集合 中训练样本的平均值，即新的聚类 中心 ，如果新的聚类中心不再发生变化，则所得到的 即为RBF神经网络最终的基函数中心，否则返回（2）， 进入下一轮的中心求解。 h(1,2, ) i c ih p x

13、i c p x (1,2, ) p pP p i c i c 2.2.求解方差求解方差 RBFRBF神经网络的基函数为高斯函数时，方差可由下式求解：神经网络的基函数为高斯函数时，方差可由下式求解： u式中 为中所选取中心之间的最大距离。 3.3.计算隐含层和输出层之间的权值计算隐含层和输出层之间的权值 隐含层至输出层之间神经元的连接权值可以用最小二乘法隐含层至输出层之间神经元的连接权值可以用最小二乘法 直接计算得到，计算公式如下：直接计算得到，计算公式如下： max ,1,2, 2 i c ih h max c 2 2 max exp()1,2, , ;1,2, , pi h wxcpPih

14、c 3.5.3 RBF网络学习算法的MATLAB实现 函函 数数 名名功功 能能 newrb()newrb()新建一个径向基神经网络新建一个径向基神经网络 newrbe()newrbe()新建一个严格的径向基神经网络新建一个严格的径向基神经网络 newgrnn()newgrnn()新建一个广义回归径向基神经网络新建一个广义回归径向基神经网络 newpnn()newpnn()新建一个概率径向基神经网络新建一个概率径向基神经网络 pRBFRBF网络的网络的MATLABMATLAB函数及功能函数及功能 pnewrb()newrb() 功能 建立一个径向基神经网络建立一个径向基神经网络 格式 net

15、= newrb(Pnet = newrb(P，T T，GOALGOAL，SPREADSPREAD，MNMN，DF)DF) 说明 P P为输入向量，为输入向量，T T为目标向量，为目标向量，GOALGOAL为圴方误差，为圴方误差， 默认为默认为0 0，SPREADSPREAD为径向基函数的分布密度，默为径向基函数的分布密度，默 认为认为1 1，MNMN为神经元的最大数目，为神经元的最大数目，DFDF为两次显示为两次显示 之间所添加的神经元神经元数目。之间所添加的神经元神经元数目。 pnewrbe()newrbe() 功能 建立一个严格的径向基神经网络建立一个严格的径向基神经网络, ,严格是指径向

16、基严格是指径向基 神经网络的神经元的个数与输入值的个数相等。神经网络的神经元的个数与输入值的个数相等。 格式 (1) net = newrb(P(1) net = newrb(P，T T， SPREAD)SPREAD) 说明 各参数的含义见各参数的含义见NewrbNewrb。 举例：RBF网络实现函数逼近 1.问题的提出：假设如下的输入输出样本，输入向量为-1 1 区间上等间隔的数组成的向量P,相应的期望值向量为T。 P=-1:0.1:1; T=-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 - 0.4344

17、 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 - 0.0312 -0.2189 -0.3201; %以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点。 figure; plot(P,T,+) title(训练样本) xlabel(输入矢量P) ylabel(目标矢量T) grid on %目的是找到一个函数能够满足这21个数据点的输入/输出关系，其中一个方法是通 过构建径向基函数网络来进行曲线拟合 2.网络设计：设计一个径向基函数网络，网络有两层，隐含层 为径向基神经元，输出层为线性神经元。 p=-3:0.1:

18、3; a=radbas(p); figure; plot(p,a) title(径向基传递函数) xlabel(输入p) ylabel(输出a) grid on % 每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将 这些径向基函数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确，那 么径向基函数网络就完全能够精确的逼近任意函数。 a2=radbas(p-1.5); a3=radbas(p+2); a4=a+a2*1+a3*0.5; figure; plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-); title(径向基传递函数之和) xlabel(输入p) ylabel(输出a) grid on % 应用newb()函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值 进行调整，从而进行函数逼近，预先设定均方差精度为eg以及散布常数sc。 eg=0.02; sc=1; net=newrb(P,T,eg,sc); 3.网络测试：将网络输出和期望值随输入向量变化 的曲线绘制在一张图上，就可以看出网络设计是否 能够做到函数逼近。 figure; plot(P,T,+); xlabel(输入);