粒子群_神经网络集成学习算法气象预报建模研究

1、 684 热 带 气 象 学 报 表 1 三种模型拟和结果的统计评价 模型 PLS SAE PSO-BP ARE/ % 17.49 16.80 15.93 RMSE 41.80 36.17 35.35 MAE 32.44 28.96 24.03 RC 88.46 89.23 89.55 24 卷 练后， 以优化后的值作为新的神经网络结构和初始连 接权，再次的神经网络经过 12 次训练就达到目标误 差，经过 PSO 优化后的神经网络达到误差目标的迭 代次数明显降低，即收敛速度大大提高。对比 PLS 模型、 SAE 模型和 PSO-BP 模型对 39 个训练样本的 拟合效果，各种统计指标结果见表

2、1，拟合效果见图 5。 图 2 适应度变化曲线 图 5 三种预报模型的拟合效果 这三种模型都是用 SSA-MGF 对原始降水量序 列预处理得到的建模因子，再经过 PLS 方法对建模 因子的数据进行分解和筛选， 提取对原始序列解释性 最强的综合变量建立的预报模型， PLS 模型是 8 个综 合变量 F1 , F 2 , L L , F8 线性回归模型，而 SAE 模型 经过 是利用 8 个综合变量作为神经网络的输入变量， PSO 训练，以训练后的网络结构和连接权作为新的 神经网络结构和连接权， 再次进行 BP 神经网络学习， 把学习后的结果直接平均集成，PSO-BP 模型则是对 集成个体的权重，

3、以“误差绝对值和最小”为最优准 图 3 BP 神经网络误差收敛曲线 则，采用线性规划方法计算集成个体的权系数，进一 步优化输出集成结论。 从表 1 和图 5 的结果可以看出， PSO-BP 模型的四种指标均好于 PLS 模型、 SAE 模型， 从图 5 也可以看出这三种模型在拟合时， 把降水量的 基本趋势反映出来， 说明它们具有对历史样本的学习 能力，只是 PSO-BP 模型的拟合的精度较高。 评价一个模型的优劣看其拟合效果是一个方面， 但更重要的是看其预测效果的优劣， 即模型的泛化能 力。表 2 是两种模型对广西全区 7 月份 1995 2005 年 10 个降水量的预报结果。 从表 2 的

4、结果可以看出， PLS 模型的绝对误差为 69.27、相对误差为 28.40%； SAE 模型的绝对误差为 46.62、相对误差为 19.99%； 图 4 PSO 训练后，BP 神经网络误差收敛曲线 而 PSO-BP 模型的绝对误差为 27.36 、相对误差为 6 期 吴建生等：粒子群-神经网络集成学习算法气象预报建模研究 685 11.31% 。由此可以看出，在建模样本相同、预报因 子相同的条件下， PSO-BP 最优集成模型对 10 个样 本的预报精度明显优于 PLS 模型、 SAE 模型。同时 从表 2 的结果可以看出， 在广西全区 7 月份降水量偏 多的年份预测中，如 1996、 20

5、01、 2002、 2004 年， PLS 模型、 SAE 模型。同时从表 2 也可以看出，在 降水量和历年持平的年份预测中，如 1997、 1998、 1999、2000 年，PSO-BP 模型预测精度要远优于 PLS 模型和 SAE 模型。我们也对广西全区的 8、9 月的降 雨量分别利用上述方法建模分析，结果同样表明， PSO-BP 模型预测精度均要优于 PLS 模型、 SAE 模型， 而且广西全区 7 月份降水量偏少的年份中预测中， 如 PSO-BP 模型的旱涝年份的降水量的预测中，精度要 优于 PLS 模型和 SAE 模型，而且预测结果稳定。 2003 、 2005 年， PSO-BP

6、 模型预测精度均要略优于 表 2 两种模型对 10 个检测样本预报结果 PLS 模型 年份 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 实际值 317.09 287.4 274.38 296.43 148.6 339.69 312.83 121.68 336.13 130.55 平均值 预测值 243.50 330.15 209.16 259.01 69.973 256.35 216.47 95.745 197.04 80.19 绝对 误差 73.59 42.75 65.22 37.42 78.63 83.34 96.36 25.94 1

7、39.09 50.36 69.27 相对 误差/ % 23.21 14.88 23.77 12.62 52.91 24.53 30.80 21.31 41.38 38.58 28.40 预测值 226.08 301.74 229.63 277.17 100.72 291.43 285.17 91.20 237.61 86.467 SAE 模型 绝对 误差 91.01 14.34 44.75 19.26 47.88 48.26 27.66 30.48 98.52 44.08 46.62 相对 误差/ % 28.70 4.99 16.31 6.50 32.22 14.21 8.84 25.05 2

8、9.31 33.77 19.99 预测值 245.43 323.76 275.87 299.07 173.06 377.08 278.84 149.31 306.92 139.28 PSO-BP 模型 绝对 误差 71.66 36.36 1.49 2.64 24.46 37.39 33.99 27.63 29.21 8.73 27.36 相对 误差/ % 22.60 12.65 0.54 0.89 16.46 11.00 10.87 22.71 8.69 6.69 11.31 6 结 语 降水系统是气候系统中最为活跃、 相互作用最为 复杂的子系统之一， 并且由于降水变化受众多因素的 影响，预报

9、十分困难。本文利用 SSA-MGF 方法对原 始降水序列重构并延拓，以延拓矩阵作为自变量，原 序列作为因变量，再利用 PLS 方法提取对系统解释 最强的综合变量作为神经网络的输入因子， 原始降水 序列作为输出因子， 建立基于粒子群进化算法的神经 网络集成预测模型， 通过对广西全区主汛期月降水量 的实例计算对比得出以下结论。 （ 1） 利用 SSA-MGF 方法对原始数据降噪和 重构，并利用 PLS 处理，提取对系统解释性最强的 综合变量，克服了变量之间的多重相关性，提高模型 精度和可靠性；又对神经网络的输入矩阵降维，使得 网络结构规模变小，增强网络的稳定性。 （ 2 ）采用粒子群优化 - 神经

10、网络集成的训练方 法，以神经网络学习算法为主框架，在学习过程中利 用粒子群算法求解适宜的网络结构和连接权， 再次利 用神经网络算法进行计算， 这样做有利于基于梯度下 降的指导学习算法提高局部搜索性能， 也利于发挥粒 子群算法全局搜索的特点， 进一步把训练后神经网络 采用最优组合集成来决定最终的预测输出， 极大提高 系统的泛化能力， 在建模样本和预报因子相同的条件 下，其的预报精度明显优于偏最小二乘回归模型、简 单加权平均集成模型。 参 考 文 献： 1 胡江林，涂松柏，冯光柳. 基于人工神经网络的暴雨预报方法探讨J. 热带气象学报， 2003, 19(4: 422-428. 2 HSIEH W

11、 W. Nonlinear canonical correlation analysis of the tropical Pacific climate variability using Neural Network ApproachJ. Journal of Climate, 2001,14(12: 2 528-2 539. 3 GRIORGIO C, GIOGIO G. Coupling Fuzzy Modeling and Neural Networks for River Flood PredictionJ. IEEE Transactions on Systems, Man, an

12、d Cybernetic-Part C: Applications and Reviews, 2005, 25(3: 382-388. 4 吴建生，金龙，汪灵枝. 遗传算法进化设计 BP 神经网络气象预报建模研究J. 热带气象学报， 2006，22(4：411-416. 5 何慧，金龙，覃志年，等. 基于 BP 神经网络模型的广西月降水量降尺度预报J. 热带气象学报， 2007，23(1：72-77. 6 金龙, 况雪源, 等. 人工神经网络预报模型过拟和研究J. 气象学报, 2004, 62(1: 62-69. 686 热 带 气 象 学 报 24 卷 7 HANSEN L K, SALAM

13、ON P. Neural network ensemblesJ. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(10: 993-1001. 8 SOLLICH P, KROGH A. Learning with Ensembles: How Over-fitting can be usefulC/Advances in Neural Information Processing Systems 8, Cambridge: MIT Press, 1996: 190-196. 9 周志华, 陈世福.

14、 神经网络集成J. 计算机学报, 2002, 25(1: 1-8. 10 MAO J. A case study on bagging boosting and basic ensembles of neural networks for OCRC/Processing International Joint Conference on Neural Networks 1998. Anchorage: International Joint Conference on Neural Networks, 1998: 1 828-1 833. 11 GUTTA S, WECHSLER H. Fac

15、e recognition using hybrid classifier systemsC/Proceeding International Joint Conference on Neural Networks 1996. Washington DC: Proceeding International Joint Conference on Neural Networks, 1996: 1 017-1 022. 12 SOLLICH P, INTRATOR N. Classification of seismic signals by integrating ensembles of ne

16、ural networksJ. IEEE Transactions Signal Processing, 1998, 46(5: 1 194-1 021. 13 NING L, HUAJIE Z, JINJIANG L, et al. Speculated Lesion Detection in digital mammogram based on Artificial Neural Network EnsembleC. Advances in Neural Networks ISNN, Springer Press, 2005, 3: 790-795. 14 SCHAPIRE R E. Th

17、e strength of weak learn-abilityJ. Machine Learning, 1990, 5(2: 197-227. 15 BREIMAN L. Bagging predictionJ. Machine Learning, 1996, 24(2: 123-140. 16 PERRONE M P, COOPER L N. When network disagree: Ensemble method for Hybrid Neural NetworksR/Artificial Neural Networks for Speech and Image processing

18、. New York: Chapm & Hall, 1993: 126-142. 17 MERZ C J, PAZZANI M J. A principal components approach to combining regression estimatesJ. Machine Learning, 1999, 36(1-2: 9-32. 18 ZHIHUA Z, JIANXIN W, WEI T. Ensembling neural networks: Many could be better than all. Artificial IntelligenceJ. 2002, 137(2

19、: 239-263. 19 BONABEAU E, DORIGO M, THERAULAZ G. Inspiration for optimization from social insect behaviorJ. Nature, 2000, 406(6: 39-42. 20 XIAOHUI H, EBERHART R. Multi-objective optimization using dynamic neighborhood particle swarm optimizationC/Proceeding of congress on Evolutionary Computation. H

20、awaii: Ccongress on Evolutionary Computation, 2002: 1 677-1 681. 21 高海兵, 高亮, 周驰, 等. 基于粒子群优化的神经网络训练算法研究J. 电子学报, 2004, 32(9: 1 572-1 574. 22 RUMLHART D E, HINTON G E, WILLIAMS R J. Learning representations by back propagating errorsJ. Nature, 1986, 323(9: 533-536. 23 REED R. Pruning Algorithms-A Surve

21、yJ. IEEE Transactions on Neural Networks, 1993, 4(5: 740-747. 24 RIGET J, VESTERSTROM J S. A diversity-guided particle swarm optimizer-the ARPSOR. Technical Report 2002-02, Department of Computer Science, University of Aarhus, 2002: 345-350. 25 马振华. 运筹学与最优化理论M. 北京: 清华大学出版社, 1998: 235-425. 26 VAUTARD

22、. SSA: a toolkit for noisy chaotic signalsJ. Physical D, 1992, 58: 95-126. 27 魏凤英, 曹鸿兴. 长期预测的数学模型及应用M. 北京: 气象出版社, 1990: 142-146. 28 王惠文. 偏最小二乘回归方法及其应用M. 北京: 国防工业出版社, 1999: 258-365. STUDY ON THE METEOROLOGICAL PREDICTION MODEL USING THE LEARNING ALGORITHM OF NEURAL ENSEMBLE BASED ON PSO ALGORITHMS WU

23、 Jian-sheng1, LIU Li-ping2, JIN Long3 （1. Department of Mathematic and Computer, Liuzhou Teacher Colleague, Liuzhou 545004, China; 2. Meteorological Bureau of Bijie Prefecture, Bijie 551700, China; 3. Guangxi Research Institute of Meteorological Disasters Mitigation, Naning 530022, China） Abstract：For the difficulty in deciding on the structure of BP network in real meteorological application and the tendency for the network to transform to an issue of local solution, a hybrid Particle Swarm Optimization Algorithm based on Artificial Neural Network(PSO-BP model is proposed for monthl