动态K_均值聚类算法在RBF神经网络中心选取中的应用

1、 TECHNOLOGY 技术应用引言径向基函数神经网络(RBFNN以其简单的网络结构、快速的学习方法、较好的推广能力,已经广泛地应用于许多领域,特别是模式识别和函数逼近等领域。然而,如何有效地确定RBF 神经网络的网络结构和参数,至今没有系统的规律可循。在RBF 神经网络中需要确定的参数包括隐含层节点数、隐含层基函数的中心值和宽度、隐含层到输出层的连接权值。目前,隐含层节点数主要依靠经验来选取。而根据moody 准则,神经网络的设计应该在满足精度要求的情况下有最小的结构,以保证网络的泛化能力1。由于隐含层基函数中心值的选取对网络的函数逼近能力有很大的影响,目前最常用的确定隐含层中心值的方法是K

2、-均值聚类法。由于K-均值聚类法的聚类过程一般能够根据输入向量比较准确地确定聚类数和相应的聚类中心,因此,如果在已知全部输入向量时使用该方法能够比较精确地确定网络结构。但是,它要求实现确定全部输入向量和指定聚类中心的数目,这在实际应用中很难办到。而动态K-均值聚类方法能够根据输入来实时地确定网络的中心。因此,本文提出动态均值聚类方法,对一般的K-均值方法进行改进。一、BRF神经网络的结构原理RBF 神经网络最基本的结构形式是一种三层前向网动态K-均值聚类算法在RBF神经网络中心选取中的应用雷升锴刘红阳何嘉何险峰薛勤摘要:RBF神经网络构造的关键问题是中心的选取,动态K-均值聚类算法采用调整聚类

3、中心的方法,使网络中心的选择更精确。本文先简介了RBF神经网络的结构原理,然后将动态K-均值算法应用于BRF神经网络的中心选取,最后进行了仿真实验。实验结果表明采用动态K-均值算法确定中心的RBF神经网络逼近性能更好,具有较强的实用性。关键词:径向基函数;神经网络;动态均值聚类算法;函数逼近络。网络的基本构成包括输入层、隐含层和输出层,各层的节点数目分别为P ,M ,L ,每一层都有着完全不同的作用。其结构如图1所示。第一层是输入层,由一些信号源节点(感知单元组成,它们将网络与外界环境连接起来。第二层是隐含层,由若干个隐节点构成。隐含层只有一个隐含层单元,采用径向基函数作为其输出特性。第三层是

4、输出层,由若干个线性求和单元的输出节点组成,它对输入模式的作用产生响应。输入层节点传递输入信号到隐含层。从输入空间到隐含层空间的变换是非线性的,而从隐含层空间到输出层空间的变换是线性的。网络输出节点计算隐节点给出基函数的线性组合。输入层到隐含层之间的权值固定为1,只有隐含层到输出层之间的权值W kj (k=1,2,L ;j=1,2,M可调。图1 RBF 神经网络的组成 TECHNOLOGY 技术应用在图1中,输入层由P个信号源节点组成。设N为当前训练的样本总数,对于训练集的每个样本即为输入矢量:X=(x l,x2,x p,其中x i(i=1,P为网络的第i个输入。隐含层由M个隐节点组成。每个隐

5、含层节点的激活函数是一个径向基函数,它是一种局部分布的中心点径向对称衰减的非负非线性函数。由于高斯基函数具备表示形式简单、径向对称、光滑性好、易于进行理论分析等优点,所以文中隐含层变换函数采用高斯基函数,其表达形式如下所示:j=1,2,M(1其中,X=(x1,x2,x pT为网络输入矢量。C j为隐含层第j个高斯单元的中心矢量,与X具有相同维数的向量,C j=(c j1,c j2,c jp,(j=l,2,M。ðj是第j个感知的变量(可以自由选择的参数,M是隐节点范数,表示j个节点的输由高斯公式可y L,2是输出节点个数,j w kj为第个输出节点与第,2,M二、BRF中心调整的动态K

6、-均值聚类算法RBF网络中心学习过程分两步:一是根据输入样本确定隐含层各节点的变换函数的中心C j和半径j;二是采用误差校正学习算法,调节输出层的权W。其目的就是把输入数据分配到一定数目的有意义的类别中去,即根据欧氏空间中的距离来对输入向量进行聚类。本文采用自适应调整聚类中心的方法动态均值聚类法。该方法的基本思想是:首先已知据聚类中心的数目,然后随着向量的输入,计算输入向量与特定聚类中心的欧氏距离。如果距离小于门限值,则将该聚类中心所对应的输入向量的平均值作为新的聚类中心;如果距离大于门限值,则将刚输入的向量作为新的聚类中心。再接着输入向量,直到确定所有的聚类中心。2.2 动态K-均值聚类算法

7、在RBF中的应用动态K-均值聚类算法在RBF网络中心选取中的作用是调整聚类中心,使网络中心的选取更精确。它的计算过程可以简要的描述如下:首先,令类别数为0(第一个输入会强迫创建出一个类别模式以支持该输入。以后,每遇到每一个新的输入向量,则计算它与任何一个已分配的类别模式之间的距离。如果指定第P个输入向量为X(p以及第j个聚类中心为C j,则欧氏距离d可以表示为:3设输入向量和所有已分配的模式类别之间C k,应有d0= X X(p- C j,j=1,T, j k其中T是已分配类别的数目。在确定了与输入矢量最近的中心后,k就已经确定了,从而d0也就确定了。先把它和距离门限值进行比较,会有如下两种情

8、况:(1当d0<时,输入矢量X(p在允许的误差范围内,该输入矢量属于第k个类别。也就是说,如果用S k表示第K个中心所对应的全部输入矢量的集合,则X(pS。这时可以引入k-均值聚类方法的思想,通过求得所有成员矢量的平均值来进行中心更新。即:(4其中K个聚类中心所对的输入矢量的个数。(2当d0>时,输入矢量X(p不在允许的误差范围内,从而不能分配到该类别中去。此时,应该以X(p为中心,分配一个新的聚类中心,算法流程图如图2所示。 TECHNOLOGY 技术应用(5三、仿真试验及结果分析本实验通过RBF K-均值聚类和动态K-均值聚类方法的优劣。实验环境为PC 机一台,所用工具为考虑非

9、线性函数,用RBF 神经网络进行函数逼近。x 以0.1为间隔在0,10上均匀取值,可得到100个样本作为训练样本。RBF 神经网络的中心点个数取m=20,基函数用高斯函数。对分别采用K-均值算法和动态K-均值算法确定RBF 神经网络中心进行比较:采用K-均值聚类算法,训练时样本的最小平均相对误差为0.1014327,图3为K-均值聚类法RBF 拟合曲线。采用动态K-均值聚类算法,训练时样本的平均相对误差为0.0731432,图4为动态K-均值聚类法RBF 拟合曲线。可见采用动态K-均值聚类算法可以获得更好的效果。四、结论本文在k-均值聚类算法的基础上,将动态均值聚类方法应用到RBF 神经网络。

10、该方法有效地解决了k-均值聚类的局限性,提高了RBF 的网络学习能力。通过仿真实验验证了该方法的实用性和精确度,可供进一步的研究和实际应用。 H参考文献1阎平凡,张长水.人工神经网络与模拟进化计算M.北京:清华大学出版社,2003.2张海朝,黄淼.基于RBF神经网络的B样条曲面重构J,微电子学与计算机,2008,7.3兰天鸽,方勇华.构造RBF神经网络及其参数优化J,计算机工程,2008,33(5.4Roy A,Govil S,Miranda R.A Neural Network Learning Theory and aPolynomial Time RBF AlgorithmJ.IEEE

11、Trans.on Neural Network,1997,8(6:1301-1313.5潘登,郑应平.基于RBF神经网络的网格数据聚类方法J.计算机应用,2007,26(2.6任江涛,孙婧昊.一种用于文本聚类的改进的K均值算法J.计算机应用,2006,26(6.7Mashor M Y.Hybrid training algorithm for RBF networkJ.I n t e r n a -t i o n a l J o u r n a l o f t h e C o m p u t e r ,t h e I n t e r n e t a n d Management,2000,8(

12、2:48-65.8B i a n c h i n i M ,F r a s c o n o P ,C o r i M.L e a r n i n g w i t h o u t minima radialbasis function networkJ.IEEE Trans on Neural Networks,1995,6(3:749-756.9Pedrycz W.Conditional fuzzy clustering in the design of radial ba-sis function neural networkJ.IEEE Trans on Neural Networks,1998,9(4:601-612.10G o n z a l e z J ,P o j a s