粒子群_神经网络集成学习算法气象预报建模研究

1、第24卷 第6期 热 带 气 象 学 报 Vol.24, No.6 2008年12月 JOURNAL OF TROPICAL METEOROLOGY Dec., 2008文章编号：1004-4965（2008）06-0679-08粒子群-神经网络集成学习算法气象预报建模研究吴建生1， 刘丽萍2， 金龙3（1. 柳州师范高等专科学校数学与计算机科学系，广西 柳州 545004；2. 毕节地区气象局，贵州 毕节 551700；3. 广西区气象减灾研究所，广西 南宁 530022）摘 要：针对BP神经网络在实际气象预报应用中，网络结构难以确定以及网络极易陷入局部解问题，提出一种基于神经网络的粒子群集

2、成学习算法的气象预报模型，以BP算法为基本框架，在学习过程中引入粒子群算法，优化设计神经网络的网络结构和初始连接权，获得一组合适网络结构和初始连接权，再进行新一轮BP神经网络训练，获得一批独立的神经网络个体，以“误差绝对值和最小”为最优准则，采用线性规划方法计算各集成个体的权系数，生成神经网络的输出结论，以此建立短期气候预测模型。以广西的月降水量进行实例分析，计算结果表明该方法学习能力强、泛化性能高，能够有效提高系统预测的准确率。 关 键 词：神经网络集成；粒子群优化； 最优组合 中图分类号：P456.7 文献标识码：A1 引 言旱涝灾害的气候预测问题是减灾防灾的重要研究课题，随着我国国民经济

3、的高速发展，科技水平的日益提高，人们对灾害性气候的预测精度要求越来越高。在大气科学研究中，虽然气候动力学方法有了很大进展，但是天气系统的动力学模型往往难以客观描述和构造，由于天气系统受众多因素的相互作用和影响，其变化有着很强的无序性，具有显著的非线性、时变性特征，利用传统的统计方法很难揭示其变化规律11990年，Hansen等7开创性地提出神经网络集成方法，通过训练多个神经网络模型并将其结果合成，其目的是利用多个模型间的差异来提高系统的泛化能力，即使是缺乏神经计算经验的普通工程技术人员也可以从中受益，被视为一种非常有效的工程化神经计算方法8。目前神经网络集成技术已经被成功地应用到很多领域中，如

4、图像处理、医学等领域913。神经网路的集成主要集中在两个方面，（1） 集成中神经网络个体的生成，（2） 多个神经网络输出结论的生成。个体的生成以Boosting和Bagging技术为主14152。而迅速发展起来的神经网络（Neutral，输出结论的生成有绝对多数投票法、相对多Network，简称ANN）方法大大优于统计方法，由于它具有很强的处理非线性问题的能力，比一般的线性统计预测方法具有更好的预测能力34，它为大气科学和气候分析提供了新技术、新方法。但由于神经网络方法缺乏严密理论体系指导，其应用效果完全取决于使用者的经验。在气象预报应用中，由于对影响天气系统的各种因素无法客观确定，研究人员往

5、往要经过大量费力耗时的实验摸索或者依据经验，确定合适的神经网络输入变量、网络模型以及各种参数的设置，这成为神经网络方法在气象预报应用中的重要技术障碍56。数投票法16，线性组合集成17，选择性集成等18。粒子群优化（Particle Swarm Optimization，PSO）是一种基于群体智能方法的进化计算技术，它是通过个体之间的互动协作来搜寻全局最优解，其概念简单、易于实现，既适合科学研究，又适合工程应用19。利用粒子群优化算法提高神经网络的泛化性能是一个十分活跃的研究领域2021，本文利用粒子群算法优化神经网络的结构和初始连接权，以优化后的网络结构和连接权作为新的神经网络的结构和连接权

6、，再进行新一轮的神经网络训练，生成神经网络集成个体，以“误差绝对值和最小”为最优准则进行集成，收稿日期：2007-06-04；修订日期：2007-11-26基金项目：国家自然科学基金资助项目（40675023）；国家科技部社会公益性研究专项（2004DIB3J122）共同资助通讯作者：吴建生，男，陕西咸阳人，硕士，副教授，主要从事神经网络应用及智能优化算法的研究。E-mail：wjsh2002168680 热 带 气 象 学 报 24卷用线性规划方法确定集成个体的权重系数，生成的神经网络集成的输出结论，以此建立气候预测模型。则为0；权重系数矩阵为浮点数矩阵，取11上的均匀分布随机数，它是控制网

7、络的权值和阈值的大小。（2） 输入训练样本，依据式(1)计算每个粒子的适应度，并且初始化个体经历最好位置Pbest(t)，以及群体经历的最好位置Pgbest(t)。（3） 对于每个个体，将其适应度与所经历的最好位置的适应度比较，若较好，则将其作为当前最好位置；并将其适应度与全局最好位置的适应度比较，若较好，则将其作为全局的最好位置。（4） 粒子的速度进化方程为vij(t+1)=vij(t)+c1r1Pbest(t)xij(t)+c2r2Pgbest(t)xij(t)2 粒子群-神经网络集成学习算法BP算法是最普遍的神经网络训练算法，由于基于梯度下降的BP算法依赖于初始权值的选择22，加之实际问

8、题往往是极其复杂的多维曲面，所以BP算法收敛速度慢而且极易陷入局部最优；另外在神经网络应用中，网络结构的确定基本上依赖经验，主要是采用递增或递减的试探方法来确定的网络隐节点23，这些缺陷使得神经网络的训练样本和检测样本的输出具有不一致性和不可预测性，极大地限制了神经网络在实际气象预报中的应用。而粒子群算法的速度-位移搜索模型操作简单，计算复杂度低，并通过惯性权重协调全局搜索和局部搜索，能以较大概率保证最优解，克服BP算法局部最优的缺陷，又可以提高局部区域的收敛速度，避免局部搜索过程中的收敛停滞现象。粒子群-神经网络集成学习算法的基本思想是：以BP算法为主框架，利用粒子群算法全局性搜索的特点，求

9、解一个基于神经网络方法的二次非线性规划方程，即寻找合适的神经网络结构和网络初始连接权，使得神经网络的结构和初始连接权被控制在一个有效的范围内，同时也使得神经网络的训练对初始连接权不再异常敏感，然后再进行新一轮BP神经网络的训练生成神经网络的集成个体。粒子群-神经网络的优化问题数学描述如下1N1nk(t)2<1=Min(,)yk(t)yEwvN1k=1t=1pmk(t)=vjkfxwij+j+tyj=1i=11f(x)=1+exm×pp×npns.twR,vR,R,R(3)(t)=maxmaxminitermaxiter (4)其中max、min分别是惯性权重的最大值和

10、最小值，iter、itermax分别是当前迭代次数和最大迭代次数。（5） 为保证连接结构矩阵进化后仍取0或1，依据文献24，连接结构位置进化方程取为0xij(t+1)=1rr<11+expvij(t+1)11+expvij(t+1)(5)其中r为0,1均匀分布的随机数。连接权位置进化方程为xij(t+1)=xij(t)+vij(t+1)(6)（6） 反复进行（2）（5）步，直到适应度满足要求或达到总的进化代数(总的进化代数K)。（7） 把进化后的最后一代L个体全部解码，得到L组神经网络的结构和网络连接权，以其作为新的神经网络初始连接权和网络结构，再次利用训练样(1)本进入新的BP神经网络

11、训练，以此生成神经网络的集成个体。k(t)为网络的实际输出，yk(t)为其中x为训练样本，y3 集成结论生成设N个训练样本的实际输出为yt,t=1,2,LL,N，神经网络集成个体是由L个训练网络的期望输出。利用粒子群优化算法求解式(1)的二次非线性规划问题。定义适度函数为F(w,v,)=11+minE(w,v,)(2)后的神经组成，各个神经网络的输出为t(i),t=1,2,LL,N,i=1,2,LL,L，每个神经网络输y具体实现步骤如下：（1） 群体的位置和速度初始化，随机生成L个个体，每个个体由两部分组成，第一部分是群体的位置矩阵，第二部分对应粒子的速度矩阵。群体位置矩阵包括连接结构矩阵和权

12、重系数矩阵，结构矩阵为二进制变量矩阵，对应的连接权存在则该变量为1，否出被赋予权重wi，则神经的集成输出为%t=wiyt(i)，wi满足约束条件wi0，且wi=1。yi=1i=1LL记et为第t个样本的误差，即6期 吴建生等：粒子群-神经网络集成学习算法气象预报建模研究 681t=ytwyet=yty (7) it(i)=wiytyt(i)i=1i=1LL列的外推预测模型，输入矩阵的质量一定程度上影响神经网络泛化能力，但是神经网络本身并不提供如何构造神经网络学习矩阵的方法。而如何建立合理的神经网络输入矩阵是神经网络建模的另一项关键技术问题，是保障预测模型具有良好泛化能力和进行实际应用的重要条件

13、。本文采用奇异谱分析（Singular Spectrum Analysis，SSA）方法26对原始降水时间序列重构，并用均生函数（Mean Generating Function，MGF）方法27对重构序列构造均生函数延拓矩阵，以其作为自变量，原始降水序列作为因变量，再利用偏最小二乘（Partial Least-Squares Regression，PLS）方法28进行处理，提取对因变量解释最强的综合变量作为神经网络的输入因子，原始时间序列作为输出因子。所有训练样本的误差记为Q=et，以其最小t=1N求的非负权重系数wi，即求下式的解MinQ=ett=1Ls.twi=1,wi0i=1N(8)模

14、型(8)的目标函数中含有绝对值，直接求解模型不方便，但可将它转化为线性规划问题25进行求解，设|e|+et|e|et，vt=t (9) ut=t22则显然有|et|=ut+vt，et=utvt， ut0 , vt0，Q=(ut+vt)t=1N4.1 奇异普分析（SSA）奇异普分析是Karhumen-Loeve分解理论的发展与应用，最早应用于数字信号处理，其后被推广到海洋学、非线性动力学领域，近年来又开始应用于气候诊断和预测中。它可以从包含噪声数据序列中提取尽可能多的可靠信息，并且有效利用周期分量重建序列预测模型。它的好处是能够提炼出主要成分，滤去非周期性的异常现象。SSA分析的对象是中心化的一

15、维时间序列，记为x(t),t=1,2,LL,N，其M阶延迟得到矩阵Xx1x2X=MMxMX10X20MMXM0x2x3MMxM+1X11X21MMLLxNM+1LLxNM+2LLMLLMLLxNLLLLLLLLX1,NMX2,NMMMXM,NM因而可将模型(8)转化为以下的线性规划问题N=MinQ(ut+vt)t=1s.t.w1+w2+LL+wm=1e1(u1v1)=0(10) e2(u2v2)=0LLen(unvn)=0wi0 , ut0 , vt0 (i=1,LL,L;t=1,LL,N)进一步地，把式(9)代入式(8)得到N=MinQ(ut+vt)t=1s.tw1+w2+LL+wm=1Lw

16、yy(i)u+v=01111ii=1Lwiy2y2(i)u2+v2=0 (11)1i=LLLwyy(i)u+v=0innnni=1wi0,ut0,vt0.(i=1,LL,L;t=1,LL,N)(12)XM1LLX的第i个状态向量为线性规划问题(11)有L+2N个未知量和N+1个约束条件，本文利用单纯形法进行线性问题(8)的最优解求解，以其作为各集成神经网络个体的权重。xi+1X1ixXi+22iXi=MM (i=0,1,LL,NM) (13)MMxXi+MMi共NM+1个状态，X称相空间中的轨迹矩阵，矩阵X中的元素与原序列对应关系为Xji=xj+i (14)X的协方差矩阵记为Tx，它是一个非负

17、的对称矩阵，4 建模前的数据预处理把每月降水值看作一个时间序列，建立时间序其特征根也是非负的。将这些特征根按降序排列682 热 带 气 象 学 报 24卷 e1e2LLeM0。矩阵Tx的特征根ek对应的特征三角矩阵x1(1)x2(1)LxQ(1)x2(2)LxQ(2) (20) X=OMxQ()Q向量Ek称为时间经验正交函数(time empirical orthogonal function，T-EOF)，第k个时间主成分(time principal component，T-PC)定义为原始序列xi在第k个时间经验正交函数上正交投影系数M再对其作周期性延拓，得到外延序列fl(t)=xltl

18、INTt1l(t=1,2,LL,N+P) (21)a=xi+jE,0iNM;1kM (15)kikjj=1任意T-EOF的M个分量构成一个时间序列，反映原始序列中的时间演变型，时间主成分aik是Ek表示的时间型在原始序列的xi+1,xi+2,LL,xi+M时段的权重。SSA的重要功能由重建成分（ReconstructionTP为预报步数，从而得到外延均生函数序列矩阵。4.3 偏最小二乘回归方法（PLS）1983年Wold S和Albano C等首次提出了偏最小二乘回归，近几十年来，它在理论方法和应用方面都得到迅速发展，许多统计学家开始致力于其理论研究，它主要是针对多因变量对多自变量的回归建模方

19、法，在当因变量只有一个时，称其为PLS1回归。在自变量之间存在较高相关性时，特别是样本个数较少，甚至样本个数小于自变量个数时，该方法已经被证明是一种非常有效的方法。偏最小二乘回归方法与主成分分析回归建模方法的基本思路相同，主要区别在信息综合与筛选过程中，它不但考虑自变量的降维与信息综合，而且要考虑新的信息对因变量具有最佳的解释能力。可以说偏最小二乘回归方法集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体，将数据分析方法和对模型认识分析方法有机结合。以PLS1过程说明偏最小二乘的具体计算步骤28设自变量矩阵为x11x21=MMxn1x12x22MMxn2LLLLLLLLLLx1mx2

20、mM (22) MxnmComponents，RC）实现，用于在分析和预报中提取感兴趣的信息，过滤噪声，它是利用T-EOF和T-PC重建一个N长度为的序列。由第k个T-EOF和T-PC重建xi的成分记为xik，即1MkkMiNM+1aijEjMj=11ikkkxt=aijEj (16) 1iM1ij=1M1aikjEkNM+2iNjNi1+=+jiNMRC具有叠加性，所有RC之和等于原始序列xt=xk=1Mkt(t=1,2,LL,N) (17)在实际应用中，只需要用前m个主成分即可重建原序列，降低噪声的干扰，达到提炼主要趋势的目的，即有%t=xtkxk=1m(m<M,t=1,2,LL,N

21、) (18)X0=(xij)n×m4.2 均生函数方法（MGF）均生函数方法是将一维时间序列观测值按一定的时间间隔计算均值而得到的均值生成函数，是曹鸿兴等1990年代初提出的一种预测方法，它拓广了数理统计中的算术平均值的概念，建立具有多步预测能力的数学模型，能从数据中提取“自然”周期，因此能很好地与原序列拟合。设经过标准化的时间序列xt,t=1,2,LL,N，因变量矩阵为Y0=(yi1)n×1=*,Y0*。 标准化数据X0y11y21M (23) Myn1（1） 标准化自变量矩阵和因变量矩阵，得到（2） 计算主轴。MGF计算方法如下1Nl1xl(i)=x(i+jl)nlj=

22、0其中Nl=INT(i=1,2,LL,l),(1lQ) (19)NN，Q=INT，l为均生函数的周期，2lXi1Yi1wi=XYi1i1(i=1,2,LL,T) (24)Q为最大周期的长度，INT表示取整，生成如下的上相应地得到第i个综合变量Fi=Xi1wi，Fi和Xi1进6期 吴建生等：粒子群-神经网络集成学习算法气象预报建模研究 683行普通最小二乘回归估计，回归系数pi=并计算残差矩阵X=X计算，否则停止。ii1Xi1titi，Y=0.026F1+0.273F2+0.362F3+0.427F4+0.610F5+0.512F6+ (25) 0.189F7+0.167F8368.356Fp。

23、ii进一步以8个综合变量作为神经网络的输入，利用粒子群-神经网络学习算法生成一组神经网络集成个体，分别采用简单加权平均集成（Simple Average*（3） 验交叉有效性。若Qi20.097 5，继续（4） 提取T个成分F1,F2,LL,FT，建立X和*L,FT均是X0Y0*在其上的回归方程。由于F的1,F2,LEnsemble，SAE）和最优组合的集成预报模型（记为PSO-BP），以其分别对39个样本拟合和对10个样本预报，比较结果用来检验预测模型的效果。粒子群进化神经网络中的参数设置为：进化代数100，群体个数20，惯性权重最小值0.1，惯性权重最大值0.9，再次的BP神经网络训练时，

24、每个都有8个输入神经元，1个输出神经元，网络的初始连接权和网络结构依据粒子群优化后的结果来确定。训练参数设置：训练次数1 000，学习因子为0.9，动量因子为0.7，总体误差为0.001。为了定量比较二种模型的效果，引入以下4种误差。平均相对误差（Average Relative Errors，ARE）MAPE=i1nyiy(26) ni=1yi线性组合，故最终可改写成Y0关于X0的回归方程。5 应用实例及结果分析以广西全区7月（主汛期）降水量作为预测对象进行气候预报建模研究，样本长度为19572005年共49个，其中用19571995年共39个作为训练样本，留取19962005年共10个作为

25、检测样本，检验预测模型实用效果。5.1 基于SSA-MGF的数据预处理利用SSA-MGF方法对49个原始降水序列重构，选取延迟阶数M=40，得到延迟矩阵X40×10，利用式（12）（18）选取方差积累贡献率80%的值，得到重构序列。重构序列和原始序列的相关系数达到均方根误差(Root Mean Square Error，RMSE)MSE=(27) 1ni (28) yiyni=10.895 6，重构结果如图1所示。平均绝对误差(Mean Absolute Error，MAE)MAE=Pearson相关系数(Related Coefficient，RC)RC (29)i分别代表实际值和

26、拟合值。 其中yi、y5.2 结果对比分析图1 原始数据和重构数据图2为PSO训练阶段适应度随进化次数的变化曲线，从图2可以看出适应度的最大值、平均值、最小值随训练的次数增加将趋于稳定，使得神经网络的结构和初始连接权依据训练样本被控制在有效的范围内。图3为三层BP神经网络的网络结构和初始连接权未经PSO训练，网络结构为8-8-1，连接权为区间1,1均匀分布随机数，训练误差收敛曲线；图4是网络结构和初始连接权经过PSO训练后，对同样网络结构三层BP神经网络再次训练的误差收敛曲线。从图3可以看出，BP神经网络在训练的前期，训练误差反复震荡调节，直到1 000次训练结束后也没有达到目标误差。从图4可

27、以看出，经过PSO训由图1可以看出，通过数据重构有效提取了原始序列中的主要趋势成分和振荡周期成分，并且降低了原始序列中的噪声。利用式（19）（20）生成均生函数矩阵X39×20，再依照式（21）对其外延10步，生原始降水序列看作因变量Y49×1，成自变量矩阵X49×20，将自变量利用偏最小二乘回归处理，提取对因变量影响强的成分，在交叉检验有效时，共提取到8个综合变量F1,F2,LL,F8，建立偏最小二乘回归模型（记为PLS）684 热 带 气 象 学 报 24卷 练后，以优化后的值作为新的神经网络结构和初始连接权，再次的神经网络经过12次训练就达到目标误差，经过P

28、SO优化后的神经网络达到误差目标的迭代次数明显降低，即收敛速度大大提高。对比PLS模型、SAE模型和PSO-BP模型对39个训练样本的拟合效果，各种统计指标结果见表1，拟合效果见图 表1 三种模型拟和结果的统计评价 模型 ARE/ % RMSE MAE RC PLS 17.49 41.80 32.44 88.46 SAE 16.80 36.17 28.96 89.23 PSO-BP 15.9335.35 24.03 89.555。图2 适应度变化曲线图5 三种预报模型的拟合效果这三种模型都是用SSA-MGF对原始降水量序列预处理得到的建模因子，再经过PLS方法对建模因子的数据进行分解和筛选，提

29、取对原始序列解释性最强的综合变量建立的预报模型，PLS模型是8个综合变量F1,F2,LL,F8线性回归模型，而SAE模型经过是利用8个综合变量作为神经网络的输入变量，PSO训练，以训练后的网络结构和连接权作为新的神经网络结构和连接权，再次进行BP神经网络学习，把学习后的结果直接平均集成，PSO-BP模型则是对集成个体的权重，以“误差绝对值和最小”为最优准图3 BP神经网络误差收敛曲线则，采用线性规划方法计算集成个体的权系数，进一步优化输出集成结论。从表1和图5的结果可以看出，PSO-BP模型的四种指标均好于PLS模型、SAE模型，从图5也可以看出这三种模型在拟合时，把降水量的基本趋势反映出来，

30、说明它们具有对历史样本的学习能力，只是PSO-BP模型的拟合的精度较高。评价一个模型的优劣看其拟合效果是一个方面，但更重要的是看其预测效果的优劣，即模型的泛化能力。表2是两种模型对广西全区7月份1995 2005年10个降水量的预报结果。从表2的结果可以看出，PLS模型的绝对误差为69.27、相对误差为28.40%；SAE模型的绝对误差为46.62、相对误差为19.99%；图4 PSO训练后，BP神经网络误差收敛曲线 而PSO-BP模型的绝对误差为27.36、相对误差为6期 吴建生等：粒子群-神经网络集成学习算法气象预报建模研究 68511.31%。由此可以看出，在建模样本相同、预报因子相同的

31、条件下，PSO-BP最优集成模型对10个样本的预报精度明显优于PLS模型、SAE模型。同时从表2的结果可以看出，在广西全区7月份降水量偏多的年份预测中，如1996、2001、2002、2004年，PLS模型、SAE模型。同时从表2也可以看出，在降水量和历年持平的年份预测中，如1997、1998、1999、2000年，PSO-BP模型预测精度要远优于PLS模型和SAE模型。我们也对广西全区的8、9月的降雨量分别利用上述方法建模分析，结果同样表明，PSO-BP模型预测精度均要优于PLS模型、SAE模型，而且广西全区7月份降水量偏少的年份中预测中，如PSO-BP模型的旱涝年份的降水量的预测中，精度要

32、优于PLS模型和SAE模型，而且预测结果稳定。2003、2005年，PSO-BP模型预测精度均要略优于表2 两种模型对10个检测样本预报结果PLS模型 SAE 模型 PSO-BP 模型年份实际值误差 误差/ % 误差 误差/ %误差 误差/ %1996 317.09 243.50 73.59 23.21 226.08 91.01 28.70 245.43 71.66 22.60 1997 287.4 330.15 42.75 14.88 301.74 14.34 4.99 323.76 36.36 12.65 1998 274.38 209.16 65.22 23.77 229.63 44.7

33、5 16.31 275.87 1.49 0.54 1999 296.43 259.01 37.42 12.62 277.17 19.26 6.50 299.07 2.64 0.89 2000 148.6 69.973 78.63 52.91 100.72 47.88 32.22 173.06 24.46 16.46 2001 339.69 256.35 83.34 24.53 291.43 48.26 14.21 377.08 37.39 11.00 2002 312.83 216.47 96.36 30.80 285.17 27.66 8.84 278.84 33.99 10.87 2003

34、 121.68 95.745 25.94 21.31 91.20 30.48 25.05 149.31 27.63 22.71 2004 336.13 197.04 139.09 41.38 237.61 98.52 29.31 306.92 29.21 8.69 2005 130.55 80.19 50.36 38.58 86.467 44.08 33.77 139.28 8.73 6.69平均值 69.27 28.40 46.62 19.99 27.36 11.31预测值绝对相对预测值绝对相对预测值绝对相对6 结 语降水系统是气候系统中最为活跃、相互作用最为复杂的子系统之一，并且由于降水变

35、化受众多因素的影响，预报十分困难。本文利用SSA-MGF方法对原始降水序列重构并延拓，以延拓矩阵作为自变量，原序列作为因变量，再利用PLS方法提取对系统解释最强的综合变量作为神经网络的输入因子，原始降水序列作为输出因子，建立基于粒子群进化算法的神经网络集成预测模型，通过对广西全区主汛期月降水量的实例计算对比得出以下结论。（1） 利用SSA-MGF 方法对原始数据降噪和重构，并利用PLS处理，提取对系统解释性最强的综合变量，克服了变量之间的多重相关性，提高模型精度和可靠性；又对神经网络的输入矩阵降维，使得网络结构规模变小，增强网络的稳定性。（2）采用粒子群优化-神经网络集成的训练方法，以神经网络

36、学习算法为主框架，在学习过程中利用粒子群算法求解适宜的网络结构和连接权，再次利用神经网络算法进行计算，这样做有利于基于梯度下降的指导学习算法提高局部搜索性能，也利于发挥粒子群算法全局搜索的特点，进一步把训练后神经网络采用最优组合集成来决定最终的预测输出，极大提高系统的泛化能力，在建模样本和预报因子相同的条件下，其的预报精度明显优于偏最小二乘回归模型、简单加权平均集成模型。参 考 文 献：1 胡江林，涂松柏，冯光柳. 基于人工神经网络的暴雨预报方法探讨J. 热带气象学报，2003, 19(4): 422-428.2 HSIEH W W. Nonlinear canonical correlati

37、on analysis of the tropical Pacific climate variability using Neural Network ApproachJ. Journal of Climate, 2001,14(12): 2 528-2 539.3 GRIORGIO C, GIOGIO G. Coupling Fuzzy Modeling and Neural Networks for River Flood PredictionJ. IEEE Transactions on Systems, Man, and Cybernetic-Part C: Applications

38、 and Reviews, 2005, 25(3): 382-388. 4 吴建生，金龙，汪灵枝. 遗传算法进化设计BP神经网络气象预报建模研究J. 热带气象学报，2006，22(4)：411-416. 5 何慧，金龙，覃志年，等. 基于BP神经网络模型的广西月降水量降尺度预报J. 热带气象学报，2007，23(1)：72-77. 6 金龙, 况雪源, 等. 人工神经网络预报模型过拟和研究J. 气象学报, 2004, 62(1): 62-69.686 热 带 气 象 学 报 24卷7 HANSEN L K, SALAMON P. Neural network ensemblesJ. IEEE

39、Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(10): 993-1001.8 SOLLICH P, KROGH A. Learning with Ensembles: How Over-fitting can be usefulC/Advances in Neural Information Processing Systems 8, Cambridge: MIT Press, 1996: 190-196.9 周志华, 陈世福. 神经网络集成J. 计算机学报, 2002, 25(1): 1-8.10 MA

40、O J. A case study on bagging boosting and basic ensembles of neural networks for OCRC/Processing International Joint Conference onNeural Networks 1998. Anchorage: International Joint Conference on Neural Networks, 1998: 1 828-1 833.11 GUTTA S, WECHSLER H. Face recognition using hybrid classifier sys

41、temsC/Proceeding International Joint Conference on Neural Networks1996. Washington DC: Proceeding International Joint Conference on Neural Networks, 1996: 1 017-1 022.12 SOLLICH P, INTRATOR N. Classification of seismic signals by integrating ensembles of neural networksJ. IEEE Transactions SignalPro

42、cessing, 1998, 46(5): 1 194-1 021.13 NING L, HUAJIE Z, JINJIANG L, et al. Speculated Lesion Detection in digital mammogram based on Artificial Neural Network EnsembleC.Advances in Neural Networks ISNN, Springer Press, 2005, 3: 790-795.14 SCHAPIRE R E. The strength of weak learn-abilityJ. Machine Lea

43、rning, 1990, 5(2): 197-227.15 BREIMAN L. Bagging predictionJ. Machine Learning, 1996, 24(2): 123-140.16 PERRONE M P, COOPER L N. When network disagree: Ensemble method for Hybrid Neural NetworksR/Artificial Neural Networks for Speechand Image processing. New York: Chapm & Hall, 1993: 126-142.17

44、MERZ C J, PAZZANI M J. A principal components approach to combining regression estimatesJ. Machine Learning, 1999, 36(1-2): 9-32.18 ZHIHUA Z, JIANXIN W, WEI T. Ensembling neural networks: Many could be better than all. Artificial IntelligenceJ. 2002, 137(2): 239-263.19 BONABEAU E, DORIGO M, THERAULA

45、Z G. Inspiration for optimization from social insect behaviorJ. Nature, 2000, 406(6): 39-42.20 XIAOHUI H, EBERHART R. Multi-objective optimization using dynamic neighborhood particle swarm optimizationC/Proceeding ofcongress on Evolutionary Computation. Hawaii: Ccongress on Evolutionary Computation,

46、 2002: 1 677-1 681.21 高海兵, 高亮, 周驰, 等. 基于粒子群优化的神经网络训练算法研究J. 电子学报, 2004, 32(9): 1 572-1 574.22 RUMLHART D E, HINTON G E, WILLIAMS R J. Learning representations by back propagating errorsJ. Nature, 1986, 323(9): 533-536.23 REED R. Pruning Algorithms-A SurveyJ. IEEE Transactions on Neural Networks, 1993

47、, 4(5): 740-747.24 RIGET J, VESTERSTROM J S. A diversity-guided particle swarm optimizer-the ARPSOR. Technical Report 2002-02, Department of ComputerScience, University of Aarhus, 2002: 345-350.25 马振华. 运筹学与最优化理论M. 北京: 清华大学出版社, 1998: 235-425.26 VAUTARD. SSA: a toolkit for noisy chaotic signalsJ. Physical D, 1992, 58: 95-126.27 魏凤英, 曹鸿兴. 长期预测的数学模型及应用M. 北京: 气象