（计算机软件与理论专业论文）改进遗传神经网络在时间序列预测中的研究与应用.pdf

改进遗传神经网络在时间序列预测中的研究与应用 计算机软件与理论 研究生王昶指导教师王世伦 摘要随着信息技术的不断发展，人工智能已经应用到各个领域，包括： 模式识别、游戏智能、机器人技术等。人工智能作为一个朝阳行业已越来越 多的受到人们的关注。甚至有人认为人工智能技术将成为二十一世纪计算机 行业中最重要的发展方向之一。 神经网络作为人工智能领域中的重要分支，因其对非线性情况的良好逼 近能力，应用领域深入到很多工程应用领域中。但是由于其训练时间过长、 易进入局部最优值、训练初始参数等不足而造成模型性能不佳。遗传算法是 根据达尔文进化论中适者生存的观点，将实际需要解决的问题，利用计算机 模拟生物界中的进化过程，最终寻找出最优解。遗传算法的全局寻优功能特 别适合弥补神经网络中易陷入局部最优值的情况。神经网络中的结构和初始 参数可以通过遗传算法来进行优化。小波变换作为一种现在越来越常用的数 学工具，因其多分辨率特性，拥有“数学显微镜”的美称。它拥有f o u r i e r 变换所不具备的时域分析能力，特别适用于对时间序列的处理。适用小波变 换对时间序列进行预处理，有助于提高神经网络的训练精度，减少训练时间。 本文将神经网络、遗传算法和小波变换进行融合应用。利用神经网络对 非线性逼近能力，遗传算法良好的全局寻优能力以及小波变换对时频的处理 能力，建立小波变换和遗传算法优化神经网络模型( w a v e l e t d e n o s i n g - g e n e t i c - a r t i f i c i a ln e u r a ln e t w o r k ，w g a n n ) 对时间序列数据进 行预测。取得了如下成果： 1 使用遗传算法同时优化神经网络的初始结构和参数。考虑目前使用遗传算 法优化神经网络的限制与不足，并且结合相应数据集，提出遗传算法双阶 段优化策略( d u a l - p h a s eo p t i m i z a t i o n ，d p o ) 来同时优化神经网络促使 结构和参数。 2 建立w g a n n 模型；将其应用于岷江上游的径流量预测，取得较好结果。将 w g a n n 模型的预测结果与未经优化的神经网络预测结果进行比较。从短期 ( 一年) 、中期( 三年) 和中长期( 五年) 预测结果来看，w g a n n 模型精 度均高于传统神经网络。 其中，神经网络作为整个模型的主要架构；利用本文提出的d p o ，首先确 定网络结构，其次再对参数进行优化；小波变换实现对数据集的预处理。最 后，通过w g a n n 模型对岷江上游径流量数据进行短、中、长期的预测分析， 并将预测分析的结果与传统神经网络模型得到的结果进行比较。比较结果显 示，w g a n n 模型在预测的精度上都远远高出传统神经网络模型。该模型的建立， 为时间序列预测分析提供了一条新的思路。 关键词：神经网络，遗传算法，小波变换，时间序列预测 t h er e s e a r c ha n da p p l i c a t i o no fi m p r o v e d g e n e t i cn e u r a ln e f f f o r k so nt i m es e r i e s p r e d i c t i o n c o m p u t e rs o f t w a r ea n dt h e r o y s t u d e n t ：w a n gc h a n gs u p e r v i s o r ：w a n gs h i - l u n a b s t r a c t ：w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , t h ea r t i f i c i a l i n t e l l i g e n c et e c h n o l o g yh a sb e e nu s e dm a n ya p p l i c a t i o na r e a s ，s u c ha sp a t t e r n r e c o g n i t i o n , g a m i n gi n t e l l i g e n c e ，r o b o tt e c h n o l o g y , a n ds oo n a sag l o r i o u s i n d u s t r y , a r t i f i c i a li n t e l l i g e n e et e c h n o l o g yh a sb e e na t t r a c h e dm o r ea n dm o r e a t t e n t i o n s o m e o n ee v e nt h o u g h tt h a ta r t i f i c i a li n t e l l i g e n c et e c h n o l o g yw i l lb eo n e o ft h em o s ti m p o r t a n td e v e l o p m e n td i r e c t i o ni nc o m p u t e rs c i e n c ei nt h e2 1 甜 c e n t u r y n e u r a ln e t w o r ki sa l li m p o r t a n tb r a n c ho fa r t i f i c i a li n t e l l i g e n c ei nt h ef i e l d b e c a u s eo ft h eg o o dn o n l i n e a ra p p r o x i m a t i o n ，i tw a sa p p l i c a t e di n - d e p t hi nm a n y e n g i n e e r i n ga p p l i c a t i o n s h o w e v e r , t h en e u r a ln e t w o r km o d e l s p e r f o r m a n c ew a s p o o rb e c a u s eo fs o m ei t e m s ，s u c ha st r a i n i n gt i m et o ol o n g ，e a s yt oa c c e s st ot h e l o c a lo p t i m i z a t i o m ，n e t w o r ki n i t i a lp a r a m e t e r sh a r dt od e f i n e ，a n ds oo n g e n e t i c a l g o r i t h mi sb a s e do nt h ev i e wo fd a r w i n st h e o r yo fe v l o t i o ni nt h es u r v i v a lo f t h ef i t t e s tp o i n t g at r a n s f e r r e dt h ea c t u a lp r o b l e m st h a tn e e dt os o l v ei n t o e v o l u t i o np r o c e s s e so ft h eb i o s p h e r ea n du l t i m a t e l yf i n dt h eo p t i m a ls o l u t i o n t h e a b i l i t yo fg l o b a lo p i t i m i z a t i o no fg a ip a r t i c u l a r l ys u i t e dt oc o m p e n s a t ef o rn e u r a l n e t w o r k st o p r e v e n ti n t ol o c a lo p t i m u ms i t u a t i o n t h es t r u c t u r ea n di n i t i a l p a r a m e t e r so ft h en e u r a ln e t w o r k sc a l lb eo p t i m i z e db yg a w a v e l e tt r a n s f o r mi s n o wi n c r e a s i n g l yu s e d 硒ak i n d o f m a t h e m a t i c a lt 0 0 1 i t sm u l t i - r e s o l u t i o n c h a r a c t e r i s t i c s ，w i t ht h er e p u t a t i o no f m a t h e m a t i c a lm i c r o s c o p e i t st i m e d o m a i n i i i a n a l y s i sa b i l i t yt h a tf o u r i e rt r a n s f o r mb en o tw a se s p e c i a l l ys u i t a b l ef o rt i m es e r i e s p r o c e s s i n g u s ew a v e l e tt r a n s f o r mt ot h et i m es e r i e sf o rp r e - p r o c e s s i n g ，h e l p i n gt o i m p r o v e t h ea c c u r a c yo fn e u r a ln e t w o r kt r a i n i n ga n dr e d u c et h et r a i n i n gt i m e f u s i o na p p l i c a t i o no ft h en e u r a ln e t w o r k s ，g e n e t i ca l g o r i t h ma n dw a v e l e t t r a n s f o r mw a sb eu s e d u s i n gt h en o n l i n e a ra p p r o x i m a t i o nc a p a b i l i t yo ft h en e u r a l n e t w o r k s ，t h eg o o da b i l i t yo fg l o b a lo p t i m i z a t i o no fg e n e t i ca l g o r i t h m ，a sw e l la s t h et i m e - f r e q u e n c yp r o c e s s i n gc a p a c i t yo ft h ew a v e l e tt r a n s f o r mt oe s t a b l i s ht h e w a v e l e td e n o s i n gg e n e t i ca r t i f i c i a ln e u r a ln e t w o r k ( w g a n n ) t op r e d i c tt h e t i m es e r i e s t h i st h e t i sh a sb e e ng e tt h ef o l l o w i n gr e s u l t s ： 1 t h ei n i t i a ls t r u c t u r ea n dp a r a m e t e r so ft h en e u r a ln e t w o r kh a v eo p t i m i z e db y t h eg a c o n s i d e r i n gt h el i m i t sa n dd e f i c i e n c yo fc u r r e n tm e t h o d st oo p t i m i z e n e u r a ln e t w o r k u s i n gg a ，c o m b i n gc o r r e s p o d i n gd a t a s e t s ，d u a l p h a s e o p t i m i z a t i o n ( d p o ) i sp r o p o s e dt oo p t i m i z et h en e u r a ln e t w o r k s i n i t i a ls t r u c t u r e a n dp a r a m e t e r s 2 an o v e lm o d e l ，t e r m e dw g a n n ，i sd e v e l o p e d e x p e r i m e n t a lr e s u l t ss h o w t h a tt h ew g a n nh a st h eb e t t e rp e r f o r m a n c ei nt h ep r e d i c t i o na c c u r a c yf o rt h e u p p e rr e a c h e so fm i n j i a n gr i v e r r u n o f fc o m p a r i n gw i t ht h ee x i s t i n ga p p r o a c h e s n e u r a ln e t w o r ki st h em a i nf r a m e w o r ko ft h i sm o d e l n 比d u a l p h a s e o p t i m i z a t i o n ( d p o ) i sp r o p o s e dt of i r s td e t e r m i n e t h es t r u c t u r ea n dt h e no p t i m i z e t h ei n i t i a lp a r a m e t e r so ft h en e u r a ln e t w o r k s t h ew a v e l e tt r a n s f o r mi su s e dt ot h e d a t a sp r e - p r o c e s s i n g a tt h ee n do ft h i st h e s i s ，u s e dat i m es e r i e so fr u n o f fo ft h e u p p e rr e a c h e so fm i n j i a n gr i v e r , p r e d i c t e di t ss h o r - t e r m ，m i d - t e r ma n dl o n g - t e r m r u n o f f t h e n , c o m p a r ew i n lt r a d i t i o n a l n e u r a ln e t w o r k sm o d e l f i n a l l y , t h e c o m p u t e rs i m u l a t i o nh a dd e m o n s t r a t e dt h a tt h ep e r f o r m a n c eo fp r o p o s e dw g a n n w a sm u c hb e t t e rt h a na n yw i d e l y - u e s dt r a d i t i o n a ln e u r a ln e t w o r km o d e l s t h i s m o d e lp r o v i d e dan e ww a yf o ra n a l y s i so ft i m es e r i e s k e y w o r d s ：n e u r a ln e t w o r k , g e n e t i ca l g o r i t h m ，w a v e l e tt r a n s f o r m ，t i m es e r i e s p r e d i c t i o n i v 四川师范大学学位论文独创性及 使用授权声明 本人声明：所呈交学位论文，是本人在导师：玉些鱼指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任 何其他个人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要 贡献的个人和集体，均己在文中以明确方式标明。本声明的法律结果由本人 承担。 本人承诺：已提交的学位论文电子版与论文纸本的内容一致。如因不符 而引起的学术声誉上的损失由本人自负。 本人同意所撰写学位论文的使用授权遵照学校的管理规定： 学校作为申请学位的条件之一，学位论文著作权拥有者须授权所在大学 拥有学位论文的部分使用权，即：1 ) 已获学位的研究生必须按学校规定提交 印刷版和电子版学位论文，可以将学位论文的全部或部分内容编入有关数据 库供检索；2 ) 为教学、科研和学术交流目的，学校可以将公开的学位论文或 解密后的学位论文作为资料在图书馆、资料室等场所或在有关网络上供阅读、 浏览。 本人授权中国科学技术信息研究所将本学位论文收录到中国学位论文 全文数据库，并通过网络向社会公众提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 谚趁 签字日期似f6 年厂月髟日 聊签名：矽 签字日期：姆年，月甜日 1 绪论 1 1 研究背景及意义 河流径流作为水文要素之一，、受气候、流域自然地理及人类活动等多种 因素影响，其变化特性和规律错综复杂，表现出随机性、模糊性、灰色性、 非线性等复杂特征，文献 1 对径流的以上特性进行了分析。要对河流径流在 时间序列范畴进行精确预测是非常困难甚至可以说是难以实现的，人们能够 做的就是不断研究新方法和改进原有方法以不断提高预测精度，从而不断地 增进对河流径流变化规律的了解。 目前常用的河流径流预测方法都是假定河流水文系统是线性的，然后用 线性递推和组合的方法来分析与描述。常用线性模型有：单位线法口3 、瞬时单 位线法口3 、综合单位线法等。但由于水文系统的非线性特性，因此，采用线性 预测方法来进行河流径流预测，其效果势必难以满意。在河流径流的预测方 法研究中，非常有必要引入非线性模型与方法。 目前常用的非线性模型有：经典神经网络h 1 、小波变换晴1 、小波一模糊神 经网络1 等。本文对河流径流的人工神经网络非线性预测模型进行分析及其改 进进行研究，并以岷江上游多年径流的实测资料对所构建的预测模型进行分 析验证。 同时，岷江是中国西南中心城市一成都市乃至整个四川西部平原都江堰 灌区工农业生产以及居民生活用水不可替代的水源。因此，对岷江径流进行 预测研究也具有重要的现实意义。 目前，都江堰灌区对岷江水资源的利用率已近5 0 ，已超过河流水资源 开发利用率在国际上公认的上限值4 0 。流域的水资源开发利用率在超过上限 值后，将会对流域乃至较大区域的生态环境造成极大威胁与影响。因此，为 了确保岷江流域水资源的开发利用率不再继续上涨，或回落到国际上公认的 上限值4 0 以内，非常有必要及时建立科学的岷江流域的水资源综合利用管理 体系，而该体系有效运行的重要基础资料之一，就是岷江径流的准确预测数 据。 1 2 国内外相关领域研究现状 1 2 1 关于人工神经网络的研究 现代人工神经网络的研究始于上世纪5 0 年代，其主要思想是通过某种数 学方法模拟人脑的思维来解决一些非线性问题。1 9 5 8 年，r o s e n b l a t t 提出了 感知机概念，这是第一个准确定义的面向计算的神经网络盯1 。它可以用来进行 简单的模式识别。几乎在同一时间，b e r n a r dw i d r o w 和t e dh o f f 引入一个新 的学习算法用于训练自适应线性神经网络，称为w i d r o w - h o f f 算法，至今仍 在广泛使用。1 9 6 9 年，m a r v i nm i n s k y 和s e y m o u rp a p e r t 发表p e r c e p t r o n 1 一书，指出单层神经网络只能解决线性分类问题，并不能处理如x o r ( 异或) 等非线性问题。在当时，此书的发表令近1 0 年神经网络的发展进入低潮期。 直到1 9 8 2 年，j o h nh o p f i e l d 发表论文，详细阐述了递归神经网络的运行方 式及其功能。同时，多位科学家发明了用于训练多层感知机的反传算法。其 中以d a v i dr u m e l h a r t 和j a m e sm c c l e ll a n d 的算法影响力最为巨大，该算法 有力地回答了6 0 年代m i n s k y 和p a p e r t 对神经网络的责难阳3 。这些新进展给 停滞不前的神经网络研究注入了新的活力现在，无数科学家和科研人员对 人工神经网络的发展做出了巨大的贡献，每年都有很多令人鼓舞的研究成果 公布于众，这使得现代人工神经网络有了飞速的发展。 神经网络发展直至自上世纪8 0 年代初，美国物理学家j h o p f i e l d 提出 人工神经网络能够处理并解决各种复杂非线性问题而逐渐受到人们的重视口1 。 进入2 0 世纪9 0 年代，a n n 作为新学科、新方法和新技术，已广泛应用于自然 科学和社会科学各个领域，这些领域主要包括：模式识别n 伽 i l l 、预测和预报 1 引、优化问题n 4 3 、神经控制n 5 1 n 们和专家系统n 8 1 等等，取得大量的成果。 当解决的问题较复杂时，若仅用人工的方法设计a n n 的结构比较困难， 因为对于复杂的非线性问题，没有一种严格的设计规则。所以，a n n 需要遗传 算法( g e n e t i ca l g o r i t h m ) 。遗传算法是模拟生物进化的特性( 如：选择、 交叉和变异等) ，使用达尔文进化论中“适者生存的原理，从全局出发，寻 找一个问题的最优解或最优解的近似解，从而能够避免使用人工方法设计的 a n n 陷入局部最优情况。目前大量研究集中在利用遗传算法对a n n 的优化上。 遗传算法对a n n 的优化主要有三种方法：1 优化网络初始权值和阈值，2 优 2 化网络结构，3 优化网络的学习规则。已有大量这方面的类似工作取得了可 喜的成果，应用也深入到各个领域。l g u o 和d s h u a n g n 印等人结合遗传 算法与混合学习算法优化径向基函数神经网络，对双螺旋分离问题实现了较 好分类。s c h e n n 钔等人提出通过两步学习建立r b f 网络，即第一步通过正规 最小二乘法( r o l s ) 学习网络基本参数，第二步利用遗传算法优化参数。t h a t a n a k a 啪1 等人提出基于多目标遗传算法( m o g a ) 来进化r b f 网络的结构， 将r b f 网络的结构通过遗传算法编码，然后通过求解多目标函数的p a r e t o 解 来优化r b f 网络。g z z h a n g 口u 等人通过遗传算法优化r b f 网络实现了对大 豆蛋白序列残留空间距离的预测。y t a n ，y h e 蚴等人提出一种利用遗传算 法和神经网络的方法诊断模拟电路中的错误设计。c g o h 和e t e o h 乜3 1 等人 提出一种易用混合多目标进化方法来设计人工神经网络。武汉理工大学王美嘲 在硕士毕业论文中利用改进的遗传一神经网络用于肺癌的c t 诊断。2 0 0 9 年1 1 月1 8 日美国i b m 公司宣称研制出可模拟人类大脑功能的计算机，这种智能计 算机可以模拟人类大脑的感觉、感知、意识和交流等多项功能。而这种智能 计算机的基本单位是l o 亿个尖峰神经元和l o 万亿个独立的学习神经键。 1 2 2 关于小波变换的研究 小波变换( w a v e l e tt r a n s f o r m ) 是由傅里叶变换( f o u r i e rt r a n s f o r m ) 发展而来。由于小波变换能够同时在时频和时域进行局部化分析，所以有数 学显微镜的美称。 如今，利用小波变换的研究成果层出不穷，应用领域包括：图像压缩、 信号去噪、模式识别等等。f t s a i 陆3 等人提出小波变换的多分辨条件 ( m u l t i _ r e s 0 1 u t i o n ) 特别适合于时间序列的预测，并且比较了双正交小波 和半正交小波变换对时间序列预测的优缺点。s l o ，h l i 瞬1 等人提出一种 线性卷积神经网络用来寻求一个小波，使之错误最小化和图片压缩效率最大 化，用于x 射线照片和c t 头部图像的压缩。j x u 和y t a n 3 对于高度非线 性不确定动力系统，提出了一种自适应小波网络为基础的控制方式，它通过 一种审判和错误的方式来选择网络结构，避免网络产生不适应或高度冗余的 结构。 1 2 3 遗传算法与其它算法的融合应用 近年来，遗传算法与其他算法的应用越来越多，应用领域也越来越广泛。 这主要是由于遗传算法全局寻优的优势，能够和其他算法很好的进行融合， 产生新的算法或模型。融合后的新算法不仅能够发挥其本身优势，并且通过 遗传算法对其的改进避免其传统弱点，使新算法的能力更加出众。 小波神经网络和遗传算法的融合应用在今年来取得可喜成绩。文献 2 8 通过建立一个特殊的遗传算法适应度函数来评估遗传算法对小波神经网络的 优化情况，提高优化后的小波神经网络训练精度。文献 2 9 通过遗传算法对 小波神经网络的结构和初始参数优化来对模拟电路设计的错误进行诊断，其 诊断精度相当令人满意。文献 3 0 建立了一个基于小波变换的递归模糊遗传 神经网络，神经网络的结果是根据模糊规则和小波函数获得的，而神经网络 初始参数则是由遗传算法对神经网络的优化获得。该模型和t s k ( t a k a g i s u g e n o k a n g ) 模糊模型和传统小波神经网络进行比较，其预测和 辨识能力均高于上诉两种模型。文献 3 1 提出将粒子群优化算法、遗传算法 同时对神经网络进行优化，建立了一种混合粒子群优化小波神经网络模型， 应用于电子封装流体配镜领域。 另外遗传算法与其他算法的融合应用也相当广泛，文献 3 2 将粗糙集和 遗传算法进行融合，建立粗糙遗传算法( r o u g hs e tg a ，r s g a ) ，通过粗糙集 规则来训练遗传算法中的初始种群，然后来解决机器人的最佳路径问题，结 果表明，r s g a 非常实用于再优化机器人路径优化问题上，特别是在某些复杂 情况下。文献 3 3 提出了一种混合智能系统：遗传算法和粗糙集与神经模糊 推理系统( g a r s i n f i s ) ，其结构通过基于粗糙集集群技术的遗传算法( g a r s c ) 来动态改变。当输入数据确定后，只有最必要的信息被保留在集群中，知识 约减通过粗糙集逼近器，优化方案采用遗传算法。该文同时将该算法与传统 神经系统与模糊神经系统进行比较，g a r s i n f i s 不仅在精确度上，同时在解释 性上远远高于其他模型。文献 3 4 中利用基于在 0 ，1 区间上的模糊数来建立 模糊遗传算法，并且应用一个实例来验证其有用性。 4 1 2 - 4 综合评述 对动态系统进行观测所记录的依时间变化的数据通常称为时间序列 ( t i m es e r i e s ) a s o 时间序列变量指每隔一定时间间隔所记录的变量数据。 时间序列变量具有以下两个特征：1 非平稳性( n o n s t a t i o n a r i t y ) ，即时间 序列变量无法呈现出一个长期趋势并最终趋于一个常数或是一个线性函数； 2 波动幅度随时间变化( t i m e v a r y i n gv o l a t i l i t y ) ：即一个时间序列变量 的方差随时间的变化而变化。这两个特征使得有效分析时间序列变量十分困 难。 目前，大多数时间序列预测问题采用回归分析法解决。它是确定两种或 两种以上变数间相互依赖的定量关系的一种统计分析方法。对于不同的自变 量组合，可以得到不同的回归方程。并且，希望回归方程中包含尽可能多的 有关变量以提高预测精度。这就使回归分析法具有下列弊端： 1 自变量越多导致计算量越大； 2 如果方程中包含有对预测结果不起作用或作用很小的变量，会导致预测精 度的降低； 3 由于存在对预测结果影响不显著的变量，会影响回归方程的稳定性而使方 程质量降低。 河流径流量的长、中、短期数据呈现为时间序列。按水文预测要求，对 河流径流量的预测在误差小于等于实际流量值的2 0 时，即可认为该预测精度 符合要求。然而，使用传统的回归分析方法很难达到该精度要求。因此，在 河流径流量的时间序列预测中，如何提高预测精度是一个迫切需要解决的问 题。 当时间序列呈现出高度非线性情况时，需要一种能够解决非线性问题的 模型，人工神经网络无疑为最好选择。事实上，研究已表明，两层网络在其 隐层中使用s i g m o i d 激活函数，在输出层中使用线性传输函数，就可以以任 意精度逼近任何感兴趣的函数，只要隐层中有足够的单元可用啪3 。所以，对 时间序列采用神经网络进行预测具有比回归分析法明显的优势。但是，训练 速度慢、易陷入局部最优值却是神经网络无法避免的问题。通过遗传算法对 神经网络的优化，从全局出发，寻找一个问题的最优解或最优解的近似解， 从而能够避免使用人工方法设计的a n n 陷入局部最优情况。 根据文献 2 5 的分析，小波变换的多分辨率也非常适合时间序列的预测。 若对数据集的预处理使用小波变换，则更能提高整个模型的预测精度。 1 3 主要研究内容 人工神经网络已经在各种工程领域得到了广泛地应用，b p 网络更是成为 最常用的神经网络模型之一。但是b p 网络存在训练速度慢、全局搜索能力较 低导致易陷入局部最小值等问题。所以，使用其他算法对b p 网络进行优化是 本文的主要研究内容。遗传算法( g a ) 从解空间的多点开始搜索，很容易收敛 于全局最优解，收敛速度也比b p 网络快很多，所以用g a 优化b p 网络可以使 其具有全局自学习、自组织、自适应和自进化的能力口钔。但是，使用g a 优化 b p 的常用方法仅限于优化b p 网络初始参数或结构，本文提出一种方案，同时 优化b p 网络的初始参数和结构。由于小波变换对时间序列具有敏感的局部分 析能力，故使用小波变化对数据集进行预处理；使用合适的小波变化及小波重 构算法也是该文主要研究内容之一。 本文研究内容主要包括以下方面： 1 分析神经网络的主要算法，指出其存在的不足，总结一些主要的改进方法。 并且使用i r i s 和e c o li 数据集分析b p 网络的分类能力。 2 分析遗传算法的主要流程，构建遗传算法优化神经网络的方法。对遗传算 法对非线性函数的拟合能力进行仿真。 3 分析基本的小波变换和小波重构原理和算法。 4 提出改进的神经网络模型小波变换和遗传算法优化神经网络模型 ( w a v e l e td e n o s i n g g e n e t i c a r t i f i c i a ln e u r a ln e t w o r k ，w g a n n ) 。该模 型使用小波变换对数据集进行预处理、通过遗传算法对神经网络结构和初始 参数进行优化。 5 将该模型应用于河流径流量的时间序列预测分析，并将预测结果与传统神 经网络模型进行比较。 本文主要解决的关键闯题如下： 1 提出一种g a 方案能同时对神经网络进行优化。由于传统g a b p 算法是使 6 用g a 为单独对初始参数或结构进行优化。如何提出一种有针对性的编码、选 择、交叉、变异方案对神经网络进行优化将直接影响该模型的预测精度与训 练时间。本文将优化分为两个阶段：第一阶段使用g a 对b p 结构进行优化， 将隐层单元数和输出单元数进行二进制编码，将该二进制染色体作为种群进 行g a 操作；第二阶段利用优化好的结构，使用浮点编码对各连接权值进行染 色体编码，进行g a 操作，获得最优结构下的最优权值。 2 遗传算法具有优良的全局寻优能力，但是有可能陷入局部最优解。模拟退 火算法( s i m u l a t e da n n e a l i n ga l g o r i t h m ，s a ) 具有较强的局部搜索能力。 当g a 陷入局部最优情况下，使用s a 进行优化，将g a 和s a 相结合，取长补 短，则有可能在对神经网络的优化中得到全局最优解。 3 目前，判断选用的小波基函数是否适用于实际问题，主要根据通过适用该 小波基对信号处理的结果与理论结果的误差来判断。使用一种合适的小波基 函数，对数据集进行预处理也是本文解决的关键问题之一。 1 4 研究技术路线 本文首先对标准神经网络算法及适用范围进行研究，分析其优点及不足 点。其次对遗传算法理论进行阐述，说明遗传算法优化神经网络的优势。然 后，分析目前遗传算法优化神经网络的常用方法，总结其不足之处，并且提 出双阶段优化方式来对神经网络的结构和初始参数进行优化。而后，由于时 间序列的特性，使用小波变换对数据集进行预处理。通过使用不同的小波基 函数和不同的小波分解层数来确定小波预处理方案。通过对小波变换、遗传 算法、神经网络的融合应用，提出w g a n n 模型。最后，通过对岷江流量的时 间序列预测分析来验证w g a n n 的性能。图i - i 为本文研究技术路线图。 7 神经网络研究 遗传算法和神经 网络的融合应用 遗传算法神经网络 小波变换的融合应用 w g a 、i n 模型建立 w g a n n 对岷江上 游径流量预测 遗传算法研究 小波变换研究 对岷江上游径 流量预测 分析比较w g a n n 在时间 序列预测上的优势 总结和展望 图1 - 1本文研究技术路线 8 2 人工神经网络及其改进 2 1 人工神经网络模型结构和特点 早在上世纪2 0 年代，人类已研究出人脑是由极大数量基本单元( 神经元) 经过复杂的互相连接而形成的一种高度复杂、非线性、并行处理的信息处理 单元。人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) ，简称神经网络 ( n e u r a ln e t w o r k ，n n ) 就是希望计算机能够模拟人脑的组织结构和运算能 力而诞生的。 神经网络的基本单元为神经元。图2 1 为一个神经元模型。 图2 - 1 神经元模型 一个神经元模型具备三要素口刀： 1 神经元的互连，二神经元的连接强度由各连接上的权值采决定。 2 图2 - 1 中用昵，表示( 卢1 ，2 ，p ) 神经元连接权值。权值正为 连接激活，表示神经元发挥作用；权值负为连接抑制，表示当前神经元无效。 3 一个线性求和单元，用于求各神经元信号的线性加权和。( 图2 1 中 用表示) 。 4 一个非线性激活函数( a c t i v a t i o nf u n c t i o n ) ，起非线性映射作用并 将神经元输出幅度限制在一定范围内。 以上作用分别以数学式表达出来： 9 j 肛善嘲以 ( 2 - 1 ) i y k = 烈m ) 式中，糠示输入信号，表示神经元肭权值，臁示线性加权和， 护滚 示阈值，口表示激活函数，几为神经元k 的输出，其中卢1 ，2 ，o omo oo 9p 。 神经网络则由多个以上神经元组成。根据神经网络结构的不同，将神经网 络分为前馈型和反馈型两种。目前工业领域中使用最多的是前馈型网络。目前， 最常见的前馈型神经网络有：误差反向传播算法网络( b p 网络) ，径向基函数 网络( r b f 网络) 。其它的前馈型网络还有：模拟小脑功能神经网络( c m a c ) ， 概率神经网络( p n n ) ，小波网络和泛函连接网络( f l a n n ) 等。b p 网络是使用 最多的前馈型网络。 2 2b p 网络的数学原理及常用改进方法 2 2 1 即算法的数学推导 b p ( e r r o rb a c k p r o p a g a t i o n ) ，即误差反向传播算法。应用b p 算法啪3 的神经网络简称为b p 网络。多层感知机可以解决非线性可分问题，但是隐层 的加入使得学习算法变得困难。而b p 算法则解决了这一难题。图2 2 是一个 简单b p 网络结构，包括一个输入层，两个隐含层和一个输出层。输入层，隐 含层和输出层神经元个数可以根据具体解决的问题动态分配。 x 2 x i 图2 - 2 具有两层隐含层的印网络 l o b p 网络运用的学习算法是l m s ( l e a s t - m e a ns q u a r e ，最小均方) 算法， 也称为梯度下降法。设第7 次迭代中输出端的第个单元的输出为y j ( n ) ，则 该单元的误差信号：e i ( n ) = a b ( n ) - y j ( n ) 。 定义单元j 的平方误差信号：e 伽) = 亏) ( c 是所有输出单位) ( 2 - 2 ) 由l m s 算法有：姜! 塑婴= 叼( 刀) 矿似伽) ) 少q ) ( 2 3 ) d w 2 - 3 中，坳的修正量为：撕= _ 刀器= 袱咖 沿4 ) 其中：西( 疗) = 白( 刀) 矿( w ( 忍) ) ，称为局部梯度。 对神经元j 分两种情况讨论： 1 若是一个输出单元： 西( 聆) = ( d ( 刀) 一弘( 刀) ) 矿，( ( 咒) ) ( 2 5 ) 2 若是一个隐单元： 删一鬻m ) 协6 ) 其中，鬻= 一；( 疗鼽( 垤( 砌w ( 刀) = 一& ( ，z ) 聃( 万) ( 2 7 ) 将式2 - 7 代入式2 - 6 ，得： 西( 刀) = 办( 协( 刀) ) 挽( 甩) 呐( ，1 ) ( 2 8 ) 上式正是b p 算法中误差反向传播的体现，即：西( 甩) 是e j ( v j ( n ) ) 与后面 一层( 第七层) 的万的加权和。 2 2 2 即存在的问题 b p 网络是一个非常好的非线性逼近器，在工程中有着非常广泛的应用。 然而，b p 网络的不足也非常明显。 首先两层网络可以逼近任意精度的函数，但这样做的代价是可能会有非 常多的隐层神经元参与训练，使得网络复杂度异常巨大。隐层神经元增多意 味着输入层到隐层，隐层到输出层的权值和阈值的训练时间都要成倍的增加。 所以，训练一个精度较高的b p 网络往往需要花费非常长的时间。其次，初始 b p 网络中的权值、阈值和学习步长至今仍然缺乏理论上的支持，初始化权值 和阈值往往根据的是人的主观判定和经验，具有一定的盲目性；若步长初始 化太小，可以获得较高精度，但同时需要花费较长时间，若步长初始化太大， 又容易产生震荡使网络陷入局部最佳，而得不到全局最佳值啪1 。这些都对网 络的训练非常不利。第三，由于大多数b p 网络的激活函数使用s i g m o i d ( y = 1 ( 1 + c x p ( 一x ) ) ) 函数，虽然该函数是对0 1 阈值函数的良好近似，但它 存在一定的局限性。若用s i g m o i d 函数为隐层到输出层的激活函数，则只能 输出 0 ，1 区间上的小数，若该网络用作预测，无疑因为输出区间而受到限制。 另外，该函数在区间 - 2 ，2 上对数值的逼近非常的敏感，离开这个区间，激 活值接近与0 和1 ，函数图像变的平滑，几乎失去分类能力。所以，基于以上 理由，如果在一些对实时性要求较高的预测应用中，需要对b p 网络进行一定 的优化，才能达到预期要求。 2 2 3 附加动量项 由上节阐述可知，b p 网络中训练步长的取值对神经网络性能有非常大的 影响。由于步长过大会造成网络不稳定，步长过小又使收敛速度变慢，g i r o s i 等人在1 9 9 5 年提出附加动量项提高网络训练速度。令： a w 剪( n ) = u a w j i ( n - 1 ) + r 8 ( n ) y j ( n ) ( 2 9 ) 式2 9 中，7 西( 以) 弦( 雎) 为常规b p 算法的修正量，酗哟( 刀一1 ) 称为动量项。 在本次收敛中，若芸婴与前一次收敛同号时，使以厅) 增大，从而在稳定 o w j 4 甩j 调节时增加- j w f l ( 万) 的调节速度；当挈o w 裟j i 砉i 1 与前一次收敛异号时，说明此时产 i ， 生振荡，故使a w j t ( n ) 减小，起到稳定作用。 2 2 4 优化网络结构和初始参数 神经网络中的输入层、输出层节点数由实际问题决定。所以，对网络结 构的优化其实是对隐藏层的优化。 1 隐藏层数的选择。增加隐藏层数可以使网络对非线性的逼近能力变 强，但是也容易产生训练速度变慢，尤其是多次陷入局部最小值的问题，而 且很有可能网络陷入永久收敛中，造成死循环。大量实验证明，一层隐藏层 能够解决大多数非线性情况。 2 隐藏层单元数的选择。多数情况下，隐藏层单元数的选择根据经验决 定，缺乏理论上的支持。在文献 4 1 中，提到一种确定隐藏层单元数范围的 经验公式： h ：而+ 口( 2 1 0 ) 其中h ，历7 分别代表隐层单元数、输出层单元数和输出层单元数。式 2 - 1 0 表示了确定一个隐层单元数的方法，但该方法只确定了隐层单元数的一 个大概区间，其最优个数依然无法确定。 各权值及阈值的初始值应选为均匀分布的小数经验值，约为( 一2 4 f ， 2 4 f ) 之间，也有人建议