中心_方差及权值直接确定的RBF神经网络分类器

1、收稿日期:2009-04-01基金项目:国家自然科学基金项目资助(60775050; 新世纪优秀人才支持计划 基金(NCET-07-0887作者简介:张雨浓(1973 ,男,河南信阳人,教授,博士,研究方向:人工神经网络(E-mail:;李克讷(1978 ,男,广西贵港人,博士研究生,研究方向:人工神经网络。文章编号:1003-6199(200903-0005-05中心、方差及权值直接确定的RBF 神经网络分类器张雨浓1,李克讷1,谭!宁2(1.中山大学信息科学与技术学院,广东广州!510275;2.中山大学软件学院,广东广州!510275!摘!要:模式分类是径向

2、基函数(RBF神经网络应用的一个重要方面,目前大多数RBF 网络都采用迭代学习的方法。区别于反复迭代训练而得到网络参数的惯常做法,重新探讨一种基于矩阵伪逆或逆的中心、方差及权值可直接确定的方法。并基于此方法构建一种模式识别分类器,对IRIS 分类问题进行计算机仿真验证。结果表明,相对于迭代法,该直接确定方法具有更快的计算速度,构建的RBF 神经网络分类器也具有良好的分类性能。关键词:RBF 神经网络;分类;中心;方差;权值直接确定;模式识别中图分类号:T P183!文献标识码:AAn RBF Neural Network Classifier with Centers,Variances an

3、d Weights Directly DeterminedZHANG Yu nong 1,LI Ke ne 1,TAN Ning 2(1.School of Information Science and T echnology ,Sun Yat-Sen U niv ersity,Guangzhou !510275,China;2.School of Softw ar e,Sun Y at-Sen University,G uang zhou !510275,China!Abstract:Pattern classification is an important applicatio n o

4、f r adial basis funct ion (R BFneural netw orks.At present,iterativ e training methods are w idely adopted by the major ity of RBF neural networ ks.Different fro m the usual way of obtaining the network parameters via iterative training,a kind of centers,var iances and weights direct deter mination

5、method is rev isited based on matrix pseudo-inverse and/or inverse in this paper.Using t he presented method,a classifier for patter n recognition i s con str ucted which r esolves the IRIS classification problem.Computer simulation results sho w that,compared to iterative training ,the direct-deter

6、 mination method has faster computational speed,and the constructed RBF -neural-network classifier also has quite g ood classification performance.Key words:R BF neural netw ork;classification;centers;v ar iances;weig hts direct deter mination;pattern recog nit ion1!引!言RBF 神经网络是一种常见的单隐层前向神经网络模型1-4,以

7、其简单的网络结构、快速的学习方法、较好的推广能力,在故障诊断、模式识别、自动控制、预测控制和交通信息预测等方面得到了广泛的应用2-6。理论上已经证明了只要隐层神经元个数可任意设定,BP 神经网络就能以任意精度逼近任何连续目标函数7-8。而与BP 神经网络相比,RBF 神经网络同样具有较优的学习速度、逼近能力和分类能力1,8。然而,目前的人工神经网络(包括RBF 神经网络学习算法大多是采用迭代训练的方法学习得到网络隐层与输出层神经元之间的连接权值8,迭代学习时间相对较长,网络结构也有确定的问题。本文在矩阵逆与伪逆的基础上重新探讨了RBF 神经网络的一种中心、方差及权值直接确定的方法,避免了冗长的

8、迭代学习过程;并应用该RBF 神经网络构造了一种模式识别分类器,就IRIS 分类问题9来检验本方法的有效第28卷第3期2009年9月计!算!技!术!与!自!动!化Computing T echnology and Automatio nVol 28,No 3!S ep.2009性和分类性能。2!RBF 神经网络简述1-6,8,10-16RBF 神经网络是一种三层前向神经网络,包括输入层、隐含层和输出层2,4-6,8,10-13。RBF 神经网络的性能很大程度上受自身的网络拓扑结构影响,而决定网络性能与结构的因素主要有四个:径向基函数(RBF的中心矢量、方差、隐层神经元数目以及隐含层到输出层神经

9、元之间的连接权值1,4,10,13-14。RBF 神经网络学习训练过程主要围绕这四个因素进行,从而建立起了一个从输入到输出的映射模型。径向基函数的方差参数决定了隐神经元对外部输入信号的响应范围,每个隐神经元的中心点位置和响应宽度范围可以是不同的,分别负责各自的局部映射动作3,11,14。当输入信号靠近某个隐神经元中心时,则该神经元被激活,并产生较大输出;当输入信号远离这个中心时,则该神经元的输出趋于零11,13-14。径向基函数只对输入信号产生局部响应,隐含层神经元的输出在输出层进行进一步的线性加权求和,实现从输入空间到输出空间的映射,从而使整个网络达到分类或函数逼近的目的12-14。隐层神经

10、元数目也影响到神经网络的性能:数目太少会使网络缺乏学习与逼近能力;而数目太多又会带来网络过拟合、训练时间增加和神经网络反应速度降低等问题15。根据隐神经元个数,RBF 网络可分为两种模型:广义网络模型和正规化网络模型1,11-12,其权值学习算法均主要是迭代法6,11,13。在实际应用当中,广义网络比正规化网络得到更多更为广泛的应用1,11-13。其中主要因为广义网络模型的隐层节点数目一般较少且是根据经验预定的11-13;而正规化网络模型把输入的训练样本全部作为隐神经元中心:鉴于以往微型数字计算机的存储空间有限,全样本中心的正规化网络模型及伪逆法的应用与发展受到了较大的限制。近年来,由于制造工

11、艺和技术的发展,计算机的速度和容量都得到大幅的提高,同时笔者基于Toeplitz 矩阵的时间序列高斯信息处理技术也使海量数据(如涉及维T oeplitz 矩阵及逆矩阵运算等变得较易处理16。本文因此重新探讨、强调和提出正规化RBF 神经网络模型及其基于伪逆的网络各参数直 接确定法的重要性和相关应用,并与通常使用的迭代训练生成网络参数的方法进行了比较。图1!径向基函数(R BF神经网络模型本文探讨的正规化RBF 神经网络1,11,13的结构模型如图1所示,隐层神经元数选取为训练样本的个数,并把每一个训练样本的输入数据向量作为一个隐神经元的中心(从而快速确定了网络的一组参数。各隐神经元激励函数中的

12、方差也可同时应用一组直接计算公式给出。进一步利用矩阵逆或伪逆的思想直接计算出隐神经元与输出神经元之间的连接权值(从而确定了网络的全部参数,大大减少了迭代运算调整权值所需的训练时间。另外,本文所探讨的正规化RBF 神经网络结构具有足够多的隐神经元数,能达到良好的泛化效果。计算机仿真结果也表明这些优点。3!RBF 神经网络分类器本节具体构造RBF 神经网络分类器并给出一种中心、方差和权值直接确定算法。3 1!隐神经元数与中心的确定本文使用正规化网络模型1,11-13,即:如前文所述,选取全部的训练样本的输入向量作为网络隐神经元高斯激励函数的中心。假设输入层有M 个神经元,其中任一个神经元用m 表示

13、,m =1,2,M ;训练样本有N 个,故隐层有N 个神经元,其任一神经元用i 表示,i =1,2,N ;输出层有J 个神经元(取决于样本的总类别数目,其中任一个输出神经元用j 表示,j =1,2,J 。作为隐神经元激励函数示例,本文可采用常见的高斯函数1,8,12,16-17激励第i 个隐神经元:r i (x =exp -#x -I i #22 2i,x ,I i R M , i >0其中I i 是高斯径向基函数的中心(也是第i 个训练6计算技术与自动化2009年9月样本对的输入向量,与神经网络输入x具有相同维数; i是高斯激励函数的方差,它决定了该函数围绕中心点的宽度。设训练样本对集

14、记为I i,O iN i=1,其中O i= O i1,O i2,O i JT是第i个训练样本对的输出向量(也即类别向量、RBF神经网络的目标输出向量。设训练样本对集的输入部分合成的矩阵为I =I1,I2,I i,I NR M%N;设训练样本对集的输出部分合成的矩阵为O=O1,O2,O i,O NR J%N。当网络输入训练样本I k时(k= 1,2,N,其对应的目标输出向量应为O k,而网络实际输出为y k=y k1,y k2,y kJT,即:y k j(I k=&N i=1w ij r ki(I k=&N i=1w i j ex p-#I k-I i#22 2i=&N

15、i=1w i j ex p-12 2i&Mm=1(I km-I im2,其中,j=1,2,J,w ij(i=1,2,N;j=1,2,J表示隐层第i个神经元至输出层第个神经元的连接权值, i为第i个隐神经元高斯激励函数的方差。3 2!方差与权值的确定就上述的RBF神经网络分类器而言,通过学习输入的样本,其才具有良好的分类功能。其中要学习而生成的(或言要确定的网络参数还有两组:隐神经元之高斯激励函数的方差和相关神经元之间的连接权值。下面给出完整的RBF网络参数确定步骤:1输入训练样本矩阵I。2设置隐神经元数为训练样本数N,并将每个训练样本I i作为一个隐神经元的中心。3利用公式 = 1=

16、2= N=L m x 2N统一地计算和确定各方差 i(i=1,2, N10-13,其中L m x为各中心之间的最大距离(也即,I各列向量之间的最大范数距离。4基于矩阵伪逆思想直接确定RBF网络连接权值w ij(i=1,2,N;j=1,2,J,也即笔者广泛研究的权值直接确定法18-23:W= +O T式中,W表示由w ij组成的N行J列的权值矩阵(i =1,2,N;j=1,2,J,输入受激励矩阵 =r kiR N%N,其中,r k i=exp#I k-I i#22 2,ki1,2,N;进一步而言,考虑到本文探讨的是正规化RBF神经网络, R N%N,若其为非奇异,矩阵伪逆 +可直接取为矩阵逆 -

17、1,即W= -1O T;否则,取为矩阵伪逆 +且W= +O T18-23。5正规化RBF神经网络经以上步骤学习好后,分类系统就此建立起来了。输入未经学习过的或用于测试的样本I l,通过RBF神经网络运算后得到RBF神经网络输出y l=y i1,y l2,y l JT;然后将网络输出y l作归一化处理,方法为:若y ij= m xy l1,y i2,y lJ,则令y lj=1,否则令y lj=0, j=1,2,J。6由此判断未知样本I l的所属类别,如:当RBF网络归一化输出为1,0,0TR J,则判定I l为第一类;当RBF网络归一化输出为0,1,0TR J,则判定I l为第二类;以此类推。4

18、!计算机仿真与验证为了验证上述直接确定方法构建的RBF神经网络分类器的有效性与分类性能,我们用IRIS分类问题9进行计算机仿真实验。IRIS数据集包含3个输出类别(即Setosa、Versicolor和Virg inica,每个类别都与4个数值型输入属性(具体名称为sepal length、sepal w idth、petal leng th和petal w idth,单位为厘米相对应。实验中用到的数据集共有150个样本,其中每个类别相关的各有50个样本。我们对其中每个类别各选取30个样本组成训练样本集(即N=30%3=90,而其余共计60个样本作为测试样本集。由于IRIS数据集的类别标识是字

19、符型的,不便于RBF神经网络直接处理,因此我们将这3个类标识Setosa、Versicolor和Virginica分别设为数值形式的1,0,0、0,1,0和0,0,1。若学习后应用的RBF神经网络归一化输出为1,0,0,则相关样本可认定属于Setosa类;若RBF神经网络归一化输出为0,1,0,则相关样本可认定属于Ver sicolor类;若RBF网络归一化输出为0,0,1,则相关样本属于Virginica类。作为对比,我们分别用两种方法(即,上文探讨7第28卷第3期张雨浓等:中心、方差及权值直接确定的RBF神经网络分类器的中心、方差和权值直接确定法18-23与惯常使用的矩阵向量迭代法18,2

20、0-22对RBF 神经网络进行训练,得到的未归一化测试与归一化分类结果分别如图2至图4所示,其中蓝色实线代表目标类别输出,绿色虚线代表网络实际输出。从图2和图3可以看到,两种方法都可以达到良好的测试效果,测试输出(未归一化的RBF 网络输出 基本一图2!中心、方差和权值直接确定的R BF 测试效果图3!迭代训练1.5%107次后的RBF 测试效果图4!RBF 神经网络输出归一化后的分类效果致(但需注明的是,此处迭代法使用了较多次的迭代,具体为一千五百万次的迭代,才达到了直接确定法的效果。图4进一步表明,经过归一化处理,两种学习方法的RBF 神经网络分类效果达到了高度一致,都能准确地对未经学习过

21、的测试数据进行 了较好的分类。图5!直接确定法与迭代法训练的RBF 误差比较!更多的比较结果也如表1所示。从中首先可以看到,随着迭代次数的增加,迭代法得到的权值增量越来越小、趋向于零。在迭代次数已经达到1.5%107之多时,迭代法的训练误差仍是10-3数量级,远远大于本文探讨的中心、方差和权值直接确定法的误差(即,10-26数量级。其中两种训练方法的误差比较也可见图5所示。另外,前种训练方法所耗费的运行时间也远长于后一方法的运行时间,其分别为1.82%104秒(约五小时和0.02秒。从具体的分类效果而言,迭代法在迭代次数为5%105和3%106时均出现过一个测试样本的分类错误。在迭代1%104

22、次时虽然没有测试样本的分类错误,但训练过程中出现了一个样本分类错误。此类结果均是由于网络权值没有完全训练好所致。当迭代达到1.5%107次时,训练样本和测试样本均没有出现分类错误的样本,这与直接确定法的结果最终相一致。同时我们也可以看到,直接确定法无需任何迭代,一步就能直接得到最优权值、合适的中心和方差,且训练样本与测试样本均没有出现分类错误,正确率可达100%。从以上计算机仿真结果可以看出,基于直接确定法的RBF 神经网络分类器在时间节省和分类性能方面均优于惯常所采用的迭代学习方法分类器。8计算技术与自动化2009年9月表1!迭代训练法与直接确定法运行数据比较训练方法迭代次数运行时间/s 其

23、后相邻两次的权值增量训练误差的数量级分类正确个数训练样本共90个测试样本共60个迭代法1%1048.14 1.99%10-410-18960 5%105 2.78%102 2.64%10-510-190593%106 1.79%103 1.05%10-510-290591.5%107 1.82%1042.38%10-610-39060本文直接确定法无迭代0.02直接确定、无需增量运算10-2690605!结束语本文探讨、综合和强调了一种隐神经元数、中心、方差和连接权值直接确定的方法用于RBF神经网络的学习。该方法把每个训练样本输入向量作为隐神经元高斯激励函数的中心,并应用统一的公式计算方差,更

24、进一步地利用矩阵逆和伪逆的思想直接确定出隐层与输出层神经元之间的最优连接权值,避免了冗长而复杂的迭代训练过程,大大减少了训练时间并提高了RBF网络的工作精度。最后,成功应用了基于本直接方法的RBF模式分类器对IRIS分类问题进行测试。计算机仿真与验证结果表明,本文综合的直接确定算法不仅具有较快的计算速度,而且基于此算法构造的RBF网络分类器具有更高的分类准确度。参考文献1!党开放,杨利彪,林廷圻.一种新型的广义RBF神经网络及其训练方法J.计算技术与自动化,2008,26(1:9-13. 2!董玲娇,冯冬青.基于改进遗传算法的模糊RBF神经网络控制器设计J.计算技术与自动化,2005,24(4

25、:13-15. 3!宋保强,付琼,宋彤.改进的RBF神经网络及其应用J.计算技术与自动化,2001,20(3:66-69.4!韩敏,崔丕锁.一种动态RBF神经网络在模式识别中的应用J.模式识别与人工智能,2006,19(1:94-99.5!周荔丹,童调生.基于RBF模糊神经网络模型的广义预测控制J.计算技术与自动化,2001,20(3:5-8.6!郭,方廷健,叶加圣.基于GGA的RBF神经网络及其在交通信息预测中的应用J.模式识别与人工智能,2006,19(6:831-835.7!兰倩,李骏.神经网络的函数逼近性分析J.甘肃科学学报,2005,17(1:30-32.8!闻新,周露,李翔,张宝伟

26、.M ATLAB神经网络仿真与应用M.北京:科学出版社,2003.9!A.As unci on,D.J.New man.UCI M achine Learning Reposi toryDB/OL.http:/w w /mlearn/M LRepository.html.S chool of Information and Computer Science, Irvine,CA:University of Californi a,2007.10阮晓钢.神经计算科学在细胞的水平上模拟脑功能M.北京:国防工业出版社,2006.11S.Haykin著,叶世伟,史忠植译.神经

27、网络原理M.北京:机械工业出版社,2004.12姜显扬.基于遗传算法优化神经网络的混沌控制方法D.郑州:郑州大学,2004.13高隽.人工神经网络原理及其仿真实例M.北京:机械工业出版社,2003.14汪小帆,宋文忠.径向基函数神经网络的一种构造算法J.控制与决策,1997,12(2:150-155.15张雨浓.人工神经网络的面向对象软件实现D.广州:华南理工大学,1999.16Y.Zhang,W. E.Lei thead,D.J.Leith.Time-series Gaussian process regression based on Toeplitz computation of O(N2 operations a