[论文]一种改进PSO优化RBF神经网络的新方法.doc

一种改进PSO优化RBF神经网络的新方法段其昌, 赵 敏 (重庆大学 自动化学院，重庆，400044)摘 要：为了克服神经网络模型结构和参数难以设置的缺点，提出了一种改进粒子群优化的径向基函数（RBF）神经网络的新方法。该方法首先将最近邻聚类用于RBF神经网络隐层中心向量的确定，其次引入适应度值择优选取的原则对基本粒子群算法进行改进，采用改进粒子群（IMPSO）算法对最近邻聚类的聚类半径进行优化，合理的确定了RBF神经网络的隐层结构。将改进PSO优化的RBF神经网络应用于非线性函数逼近和混沌时间序列预测，经实验仿真验证，与基本粒子群(PSO)算法，收缩因子粒子群(CFA PSO)算法优化的RBF神经网络相比较，其在识别精度和收敛速度上都有了显著的提高。关键词：粒子群；径向基函数神经网络；最近邻聚类；收缩因子； 中图分类号：TP183 文献标识码：AA novel radial basis function neural network method based on improved particle swarm optimizationDUAN Qi-chang, ZHAO Min(1. College of Automation, Chong Qing University, Chongqing, 400044)Abstract: To prevent the problem which structure and parameters of neural network are hard to be tuned, a novel radial basis function (RBF)neural network method based on improved particle swarm optimization(IMPSO)is proposed. In the proposed method, firstly, Nearest neighbor cluster algorithm is utilized to RBF neural network, secondly, an improved particle swarm optimization(PSO) which synthesizes the existing models of PSO, Half of the poor fitness particles are updated by the other half to good fitness particles and the particles focus on the optimum space. Cluster distance factor searched by the improved PSO for radial basis function (RBF)neural network ,and units in RBF layer is determined. The new training algorithm is used to approximate polynominal function and predict chaotic time series, compared with PSO, and CFA PSO, the algorithm improve the velocity of convergence, and has much greater accuracy. Key words: particle swarm optimization; radial basis function neural network; nearest neighbor cluster algorithm;constriction factor1 引言RBF神经网络1是一种采用局部接受域来执行函数映射的人工神经网络。训练RBF神经网络的关键问题就是要确定合适的隐层基函数的个数，径向基函数的中心向量和宽度。如果隐层基函数的个数过多，则网络训练与测试时间过长，易产生过拟合，导致网络的泛化能力下降。反之，隐层基函数的个数过少，将导致网络的收敛误差较大。一般采用k-means聚类算法来确定径向基隐层基函数的个数和中心向量2，但其依赖初始中心的选择，只能获得局部最优解。遗传算法也被用于确定径向基隐层基函数中心，宽度3-5，但需要调节的参数较多，花费的训练时间较长。粒子群算法6是基于群体智能理论的优化算法，通过粒子间的合作与竞争的群体智能理论的优化搜索，它可以记忆所有粒子都共享的迄今为止问题的最优解。PSO 的优势在于简单且容易实现。但基本PSO 的参数是固定的，在对某些函数优化上的精度较差，且有收敛速度慢、易陷入局部极小以及早熟收敛的缺点。因此，本文提出了结合惯性权重模型和收敛因子模型，引入适应度择优选取的改进粒子群算法。RBF网络的设计采用最近邻聚类算法对输入样本数据进行聚类，聚类个数即为RBF神经网络隐层基函数的个数，各聚类均值即为基函数的中心向量。通过上述改进粒子群算法优化最近邻聚类算法的聚类半径，从而确定最优的RBF隐层基函数的个数和中心向量，消除现有算法中人为因素对中心向量的影响，大大提高了RBF神经网络的精度。将改进PSO优化RBF神经网络的新方法应用于非线性函数逼近和混沌时间序列的预测，经实验仿真验证RBF神经网络的学习性得到了显著的提高。2 RBF神经网络设计2.1 RBF基本原理RBF神经网络是一种具有单隐层的三层前馈网络，由输入层，隐层和输出层组成。有如下非线性映射： （1） （2）其中是输入样本，是最后的输出向量，即，是第个隐层基函数，是隐层基函数的中心个数，是第个隐层高斯函数的中心，是第个基函数的宽度，是惯性权值。RBF网络的学习算法是由两部分组成。1) 对所有输入的输入样本数据进行聚类，求得各隐层节点的中心和宽度。2 )当 确定后，训练隐层到输出层间的权值，它是一个线性方程组，则求权系值就成为线性优化问题，可利用最小二乘法求得。RBF神经网络结构优化的目标是，在满足网络收敛误差的条件下，尽可能少的选取隐层基函数中心向量，同时寻找最佳隐层函数的参数。因此隐层基函数中心向量的选取是优化RBF神经网络的关键。2.2最近邻聚类算法最近邻聚类算法需预先给定一个聚类半径，并设置初始聚类个数，选取样本中任意一个数据为聚类中心， 即，选取另一数据，如果，则 归入第1类，且更新，即， （3）否则另建新类，。如此进行，计算新选取的样本数据与已知的p个聚类中心的欧式距离，若距聚类中心的距离为最小时，则作如下判断：若，则 归入第类，更新， ， （4）否则另建新类，。如此进行，聚类个数逐渐增多，直到已归类的样本个数为样本数据个数为止。算法描述为：1)假设已经有个聚类中心，分别为：，分别计算一个新的样本输入值与个聚类中心的距离，。2) ，即到中心的欧式距离最小。3) 比较与的大小，如果，则被定义为一个新的聚类中心，反之，则按公式更新，。4) 取下一个样本输入值，返回步骤1）。5) 所有的输入数据取完则结束。由上述算法可知聚类半径是确定基函数中心的关键因素，如果选取的值较大，则会导致基函数的中心个数较少，从而产生较大的网络收敛误差；值较小时，则会导致基函数的中心个数较多，从而网络的泛化能力下降。因此本文采用改进的PSO算法来选取合适的聚类半径，从而确定RBF神经网络的隐层中心向量。2.3 RBF神经网络隐层基函数宽度的确定隐层基函数的宽度与RBF网络的泛化能力有直接关系，宽度的选择既要考虑类内样本分散程度，又要考虑类间距离。在RBF神经网络中，基函数的局部响应特性就是对同一类样本产生尽可能大的输出，对其他类别的样本则产生尽可能小的输出。基于上述考虑，给出初始化基函数宽度的方法7如下：1）计算各聚类的类内分散程度，计算公式为，即第i个聚类样本到类中心的平均距离。为第i个聚类样本值。2）计算类间距离，若，且，即距离最近的中心为。3) 基函数的宽度为：。 3改进PSO优化RBF神经网络方法3.1基本粒子群算法 粒子群算法是一种基于迭代的优化方法，每个优化问题的解作为一个粒子，每个粒子具有一个适应度函数，且拥有一个速度决定它们飞翔的方向和距离，通过迭代搜寻最优值。假设在维空间中，有个粒子组成一个群体，第个粒子在维空间中的位置和速度为，第个粒子经历的最好位置，记为, 称为个体极值（最好适应值）。对于最小化问题，目标函数值越小，对应的适应值越好。设为最小化的目标函数，则微粒i的当前最好位置由式(5)确定：（5）群体中所有粒子经历过的最好位置记为, 称为全局极值。， （6）找到极值后，Kenedy等提出的基本粒子群6进化方程为： （7） （8）其中，表示第个微粒， 表示第代( 循环) ，为“认知”加速常数, 为“社会”加速常数，是介于随机数。式(7)中的被称为“认知”部分，表示粒子本身的思考；而被称为“社会”部分，表示粒子间的信息共享和相互合作。粒子群初始位置和速度随机产生后，按式(7)和式(8)进行迭代，直至找到满意的解。3.2改进粒子群算法基本PSO 的参数是固定的，在对某些函数优化上的精度较差。为解决此问题Shi和Eberhart7引入惯性权重对算法进行了改进。在每次迭代过程中，粒子的速度更新由下式确定： （9）为惯性权重，根据迭代次数对参数进行动态调整，使得随着代数的增加而逐渐减小，则搜索区域会越来越小，则收敛速度更快，效果更好。 为了有效地控制粒子的速度，使算法达到全局性与局部性的有效平衡，Clerc 构造了引入收缩因子的PSO 算法（CFA PSO）8-9, 其进化方程为： （10） ， 此模型中称为收缩因子，用来控制与约束粒子的飞行速度。本文提出一种改进粒子群算法（IMPSO）。首先，结合惯性权重模型和收敛因子模型的基础，得到如下新的改进速度方程： （11）其次，将粒子的适应值按从小到大的顺序排序，根据排序顺序，选取前半部分粒子的当前位置和速度替换为后一半粒子的位置和速度,但保持后一半粒子的个体极值不变，群体搜索集中到相对较优的空间。改进PSO算法，既保证了算法的收敛性，加快了收敛速度，又提高了求解精度。3.3 改进PSO优化RBF神经网络的实现为避免出现计算饱和现象，要对样本数据进行归一化处理，使输入的样本数据在0,1之间，归一化公式如下： （12）其中，和分别为最小值和最大值。算法描述如下：1) 初始化粒子群：选取粒子的个数为，初始代数，随机产生各粒子的初始速度，粒子群的位置（即聚类半径的值），每个粒子的个体最优值的初始值即为聚类半径的初始值。2) 对个不同的值，分别训练个RBF神经网络参数和结构。分别采用最近邻聚类算法根据不同的值对输入数据进行聚类，获得RBF神经网络的聚类个数和隐层中心向量。根据基函数宽度计算过程和最小二乘法进行RBF神经网络训练，达到训练次数，获得RBF神经网络的预测输出。3) 评价各粒子适应度。可按均方差来定义适应度函数： （13）4）对每个粒子，计算当前适应度，并将这些适应度排序有，且设,用适应值为所对应的粒子当前位置和速度替换的粒子的位置和速度。5) 对每个粒子，比较当前适应度和历史最好位置适应度，如果，则；比较历史最好位置适应度和群体历史最好位置适应度了 ，如果，则。6) 根据改进PSO模型的公式(8)和(11)，更新粒子的速度和位置，产生新种群，速度调整规则如下： 7) 若寻优达到最大迭代次数，则结束，返回当前群体全局极值为最优的值，转8）；否则，转至步骤2)。8) 根据最优的值输出结果，结合最近邻聚类算法获得最优的RBF神经网络参数。4仿真实验及结果分析本文拟用非线性函数： (14)和Logistic时间序列函数： （15）对PSO、CFA PSO 和IMPSO 三种算法优化RBF神经网络的寻优性能进行测试。对于非线性函数，选取的范围内随机产生的75个输入输出数据作为训练样本，再选取不同于训练样本的50个数据为测试样本。Logistic时间序列函数的初始值定为0.1，选取500个数据作为训练样本，另外的500个数据作为测试样本。对于上述两个测试函数，三种算法的粒子数都选取40，=2.8，=1.3， 对IMPSO和CFA PSO，收缩因子=0.7298。应用三种算法进行搜优轨迹实验，粒子的初始位置随机取值区间为0.2,1。图1，图2分别是三种算法在给定进化次数为20和RMSE小于0.04时停止迭代的情况下，对非线性函数和时间序列函数测试时，适应度函数随进化次数变化的曲线。从图中曲线可以得出IMPSO算法搜优的快速性和精度上都优于其他的两种算法。图1 三种算法对非线性函数寻优性能比较图2 三种算法对时间学函数寻优性能比表1和表2给出了三种优化算法在RMSE小于0.06时停止迭代的RBF神经网络的训练测试结果，可知IMPSO优化的RBF神经网络在训练和测试精度，以及学习时间上都明显优于其它两种方法。表1三种算法对非线性函数训练和测试结果IMPSOCFAPSOPSO学习样本的RMSE0.05260.05610.0584测试样本的RMSE0.07870.08960.1059测试样本最大误差0.15730.19580.2816进化代数3510学习时间24.3239.59563.713表2 三种算法对时间序列函数训练预测结果IMPSOCFAPSOPSO学习样本的RMSE0.0502 0.05380.0567测试样本的RMSE0.0571 0.06130.0726测试样本最大误差0.14570.16330.2062进化代数6914学习时间41.7571.3193.585 结论1）采用最近邻聚类算法确定RBF神经网络的隐层参数，根据聚类半径将数据进行自动分类并找出聚类中心，不必依赖初始中心的选择，减少了人为因素的影响。2）在基本PSO的基础上引入惯性权值和收缩因子，针对粒子当前位置的适应度值进行排序，选用适应度值较好的粒子替代适应值较差的粒子，使群体搜索集中到相对较优的空间,提高了PSO算法的收敛速度和精度。3) 使用改进的粒子群算法优化聚类半径，确定RBF神经网络隐层基函数的中心向量，将其运用到非线性函数逼近和混沌时间序列预测中，显示出IMPSO 在优化速度与精度上显著优于其它PSO 方法。参考文献1Simon Haykin. Neural Networks:A comprehensive Founda-tion，SecondEditionM. U.S:Prentive Hall,1998.2Y.Moddy and C.J.Darken.Fast learning in network of locally tuned processing unitesA. Neural Computation, 1989(1):281-294,3S.chen,Y.Wu and B.L.Luck,”Combined genetic algorithm optimization and regularized orthogonal least squares learning for radial basis function networks,”IEEE Trans.on Neural Networks,1999; 10(5):1239-1243.4郑丕,马艳华.RBF神经网络的阶梯遗传算法训练新方法J.控制与决策,2000;15(2):165-168.5Yunfei Bai and L.Zhang,”Genetic algorithm ba