（计算机软件与理论专业论文）rbf网络在时间序列预测中的应用研究.pdf

哈尔滨工程人学硕+ 学位论文 摘要 预测是时间序列分析的应用之一，人们对大量的观测数据进行分析，是 为了能够预测出数据在未来的发展趋势，以便进行处理或控制。传统的时间 序列分析是从纯数学的角度来分析的，但是由于实际应用中时间序列具有不 规则、混沌等非线性特征，很难对系统建立理想的模型，预测也显得无能为 力。而人工神经网络由于其具有自组织、自学习以及非线性逼近能力，将它 用于对时间序列的预测更为有效。 本文首先介绍了时间序列预测目前采用的方法及各种预测模型；然后介 绍了近年兴起的神经网络在非线性预测模型方面的应用，及其表现出来的良 好的特性与优势，详细介绍了r b f 网络在时间序列预测方面呈现的优越特 性，同时指出r b f 网络算法的缺陷，在此基础上进行改进，将改进的覆盖聚 类算法用于对样本数据进行聚类，并用正交最小二乘算法优化聚类数，提高 了对样本聚类的处理速度，进而保证了网络学习的快速性。并通过实验对算 法的有效性进行了验证。 最后，将改进的r b f 网络用于对养老保险收入的预测中，并将其与未改 进的r b f 模型、b p 网络模型及精算模型进行比较，实验结果表明，该网络 的预测比未改进的r b f 网络模型及b p 网络模型、传统的精算模型效果好， 从而验证了该模型的可行性。 关键词：时间序列预测；r b f 网络；b p 网络模型；精算模型 哈尔滨t 程大学硕+ 学位论文 i i i 号i 昌暑；宣暑毒 a b s t r a c t p r e d i c t i o ni so n eo ft h ea p p l i c a t i o no f t i m es e r i e sa n a l y s i s p e o p l ea n a l y z ea l a r g ea m o u n to fo b s e r v a t i o nd a t ai no r d e rt op r e d i c t i n gt h ec h a r a c t e r i s t i co ft h e d a t ai nt h ef u t u r e ，i no r d e rt od e a lw i t l lo rc o n t r o lt h ec h a r a c t e r i s t i c i ti sa n a l y z e d i nt e r m so fp u r em a t h e m a t i c st h a tt r a d i t i o n a lt i m es e r i e sa n a l y s i si 鼠b u tb e c a u s e t h et i m es e r i e si n p r a c t i c a la p p l i c a t i o nh a sn o n - l i n e a rc h a r a c t e r i s t i c ss u c ha s i r r e g u l a r , c h a o sa n ds oo n i ti sv e r yd i f f i c u l tt os e tu pi d e a lm o d e lt ot h es y s t e m ， p r e d i c tm o r ep o w e r l e s s a n dt h ea r t i f i c i a ln e u r a ln e t w o r kh a sl e a r n i n ga b i l i t y o r g a n i z i n g ，s i n c e ，a p p r o a c h e sa b i l i t yn o n - l i n e a r l yb e c a u s eo fi t , u s e df o rt h et i m e s e r i e sa n dp r e d i c t e dm o r ee f f e c t i v e t h et h e s i sh a si n t r o d u c e dt i m es e r i e sm e t h o d sf o rp r e d i c t i n ga tp r e s e n ta n d v a r i o u sp r e d i c t i o nm o d e l sa tf i r s t t h e ni n t r o d u c e dn e u r a ln e t w o r ka p p l i c a t i o na n d g o o dc h a r a c t e r i s t i ca n da d v a n t a g es h o w ni nn o n - l i n e a rp r e d i c t i o nm o d e lr i s i n gi n r e c e n ty e a r s ，e s p e c i a l l yi n t r o d u c e dt h es u p e r i o rc h a r a c t e r i s t i co fr b fn e t w o r k a p p e a r si nt h et i m es e r i e si nd e t a i l ，p o i l l to u tt h ed e f e c to ft h ea l g o r i t h mo fr b f n e t w o r ka tt h es a m et i m e ，i m p r o v ei to nt h i sb a s i s u s ec o v e r i n gc l u s t e ra l g o r i t h mo f i m p r o v e df o rc a r r y i n go nt h ec l u s t e rt ot h es a m p l ed a t a , a n do p t i m i z ec l u s t e r sn u m b e rw i t h o r t h o g o n a ll e a s ts q u a r e sl e a r n i n ga l g o r i t h m s ，r a i s et h ep r o c e s s i n gs p e e d st ot h es a m p l ec l u s t e r , a n dt h e nh a sg u a r a n t e e ds t u d yo fn e t w o r ki sf a s t t h ee x p e r i m e n th a ss h o w nt h ei m p r o v e d v a l i d i t yo fa l g o r i t h m s f i n a l l y , t h ee n d o w m e n ti n s u r a n c ei n c o m ew a sp r e d i c t e db yt h ei m p r o v e d r b fn e t w o r k i ti s c o m p a r e dw i t ht h er b fm o d e l ，b pn e t w o r km o d e la n d a c t u a r i a ls c i e n c em o d e lp r e c i s e l y t h ee x p e r i m e n t a lr e s u l ti n d i c a t e st h a tt h e p r e d i c t i o nr e s u l t o fi m p r o v e dr b fn e t w o r ki sb e t t e rt h a nr b fn e t w o r k ，b p n e t w o r ka n da c t u a r i a ls c i e n c em o d e l ，t h e nv e r i f i e dt h ef e a s i b i l i t yo ft h em o d e l k e y w o r d ：t i m es e r i e sp r e d i c t i n g ；r b fn e t w o r k ；b pn e t w o r k ；a c t u a r i a ls c i e n c em o d e l 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中己注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：m 五； 日期：矿7 年弓月弓日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读 学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程 大学有权保留并向国家有关部门或机构送交论文的复印件。本人 允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进 行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位 论文，可以公布论文的全部内容。同时本人保证毕业后结合学位 论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨 工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可口在授予学位1 2 个月后口解 密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：阳、忑、；y导师( 签字) ：吲需濞 日期：沙7 年月了日2 , o - , 7 年；月 日 哈尔滨工挥人学硕十学位论文 第1 章绪论 人工神经网络是人工智能研究的重要组成部分，自2 0 世纪以来，这一交 叉学科已经成为人工智能、神经科学、认知科学、心理学、行为学等学科共 同关心的焦点，吸引了大批研究人员的注意力。经过多年的研究，在许多 领域取得的令人瞩目的成就，充分证明了模拟生物神经计算功能的人工神经 网络具有通常的数字计算机所难以比拟的许多优势，如自学习能力、自组织、 自适应性和联想能力等。基于人工神经网络的诸多优势，在预测领域也有了 较好的发展，现已成为良好的预测工具。 1 1 论文的研究背景及意义 近年来，基于时间序列分析的预测，在各领域均得到广泛的运用，如天 气预报、股市行情他3 、经济金融他1 、通信信号处理、生物信息中的数据分类， 以及手写识别h 等。本文对社保中的养老保险基金收入进行预测，该数据可 以看成是时间序列，它具有很强的随机性和非线性性，而神经网络具有良好 的非线性映射能力及自适应、自学习和良好的泛化能力，能够从大量的历史 数据中进行聚类和学习，因此非常适合对养老基金收入的处理。 社会保险是国家对丧失劳动能力的劳动者进行补偿和帮助的一种社会保 障制度，包括养老保险、工伤保险、失业保险、生育保险等。养老保险政策 是我国社会保障体系中的一个重要组成部分，我国现阶段实行的时社会统筹 与个人账户相结合的基本养老保险制度。社保基金审计是对社会保险基金管 理行为、社会保险基金运行全过程的审计。如何将社会保障资金的筹集、管 理、使用全过程置于经常监督之下，如何使社会保障审计更加富有成效，是 各国最高审计机构长期以来共同关心的一个课题。 当前，我国正在深化国有企业改革和建立社会主义市场经济体制，健全 社会保障体系，有效筹集、管理、使用社会保障资金，具有十分重要的意义 和作用。因此，对社保数据的分析预测也具有极其重要的应用价值和理论意 义，有利于形成社会保障基金筹集、运营的良性机制，保证社会保障资金的 安全、完整，防止资金流失。中国社会养老保险制度建立以来，经过不断的 哈尔滨丁程大学硕十学位论文 探索与改革，目前已经基本确立了比较完备的制度框架，但在制度设计和运 行过程中，依然存在着一些问题，使养老保险基金出现缺口等问题，这一问 题的存在直接影响着我国社会保险制度的正常运行和可持续发展。因此，对 养老保险基金的分析预测进行研究具有重要的理论意义和现实意义。 1 。2 国内外发展现状 、 、r 1 9 2 7 年，英国统计学家g u y u l e ( 8 7 1 1 9 5 1 ) 提出自回归( a u t o r e g r e s s i v e ， a r ) 模型，成为最早的时域分析方法。不久之后，英国数学家、天文学家 g t w a l k e r 爵士在分析印度大气规律时使用了移动平均( m o v i n ga v e r a g e ， m a ) 模型和自回归移动平均( a u t o r e g r e s s i v em o v i n ga v e r a g e ，a r m a ) 模型。 这些模型奠定了时间序列时域分析方法的基础旧1 。 a r m a 模型哺1 很好的解决了线性时间序列的拟合问题，但对于非线性序 列不能很好的处理。为了改进对于非线性系统的预测，人们己经提出许多非 线性时间序列建模的方法。比如：双线性模型、阈自回归模型，滑动变换自 回归模型等，这些时间序列模型在解决某些非线性问题时是有用的，但这些 非线性缺乏普遍性。 1 9 4 3 年，心理学家m c c u l l o c h 和数学家p i t t s 联合提出了m p 模型 3 ，从此开 始了神经科学理论的研究。 1 9 4 9 年，心理学家d o h e b b 提出神经元之间突触联系强度可变的假设协1 ， 并在t 1 1 eo r g a n i z a t i o no f b e h a v i o r ) ) 中说明了突触修正的生理学学习规则， 提出人脑的连接方式在机体学习不同功能任务时是连续变化的。这条重要规 则被称为h e b b 学习规则，为神经网络的学习算法奠定了基础。 1 9 5 7 年f r o s e n b l a t t 首次引进了感知器概念，指出感知器由阈值单元构 成，试图模拟动物和人脑的感知学习能力，初步具备了并行处理、分布存储 和学习等神经网络的基本特征。 1 9 6 1 年b w i d r o w 和m e h o 糇出了自适就线性单元网络旧1 ，它是连续取 值的线性网络，主要用于自适应信号处理、自适应控制、自适应滤波、预测 和模型识别。 从2 0 世纪的5 0 年代末到6 0 年代初，神经网络系统的研究开始受到人们的 2 哈尔滨j 【程大学硕十学位论文 重视，研究工作进入高潮。 2 0 世纪7 0 年代后期，人工智能的创始人m i n s k y 和p a p e r t 发表的感知器 一书n 叫指出：单层感知器只能作线性划分，多层感知器不能给出一种学习算 法，因此无实用价值。这一论断给当时人工神经元网络的研究带来沉重的打 击，神经网络研究由此开始进入低潮期。尽管如此，也有一些人仍在兢兢业 业地研究神经网络，并取得了一些重要成果，如波士顿大学的s a g r o s s b e r g 教授和赫尔辛基大学的t k o h o n e n 教授，分别提出了自适应共振理论 ( a d a p t i v er e s o n a n c et h e o r y ，a r t ) 和自组织神经网络1 ( s e l f - o r g a n i z i n g f e a t u r em a p ，s o m ) 。 1 9 8 2 年，美国加州工学院物理学家j j h o p f i e l d 提出了h n n 模型副，他引 入了“计算能量函数概念，给出了网络稳定性判据，有力地推动了神经网 络的研究发展。而且他的电子电路实现为神经计算机的研究奠定了基础，同 时开拓了神经网络用于联想记忆和优化计算的新途径。 1 9 8 6 年，r u m e l h a r t 及l e c u n 等学者提出了多层感知器的反向传播算法， 克服了当初阻碍感知器模型继续发展的重要障碍“引，从而解决了m i i l s k y 认为 不能解决的多层感知器的学习问题，将神经网络研究引入一个新的发展阶段。 1 9 8 5 年，p o w e l l 提出多变量插值的径向基函数方法。1 9 8 8 年，b r o o m h e a d 以及m o o d y 和d a r k e n n 1 5 首先将径向基函数网络应用于人工神经网络设计，构 成了i m f 神经网络。该网络不仅和b p 网络一样具有任意精度的逼近能力，而 且还具有最优逼近特性，有着l l b p 网络收敛速度更快的优点。r b f 网络模拟 了人脑中局部调整、相互覆盖接受域的神经网络结构，是一种具有局部逼近 性能的前馈神经网络。它不仅具有局部逼近性能，而且具有最佳逼近性能。 人们一直在努力改进它的性能，如收敛速率、泛化性能、鲁棒性能等。近年 来，关于动态r b f 神经网络的研究得到了人们的重视，1 9 9 1 年，p l a t t 首次提 出了基于r b f 的资源分配网络( r e s o u r c ea l l o c a t i n gn e t w o r k ，r a n ) ，这种 算法根据数据的新颖性来增加网络的隐层节点。1 9 9 3 年，k a d i r k a m a n a t h a n 和 n i r a n j a n 等人提出了改进算法r a n e k f ，采用e k f ( e x t e n d e dk a l m a nf i l t e r ) 方法来调整网络参数，加快了r a n 的收敛速度，并降低了网络的复杂性。 2 0 世纪9 0 年代早期，v a p n i k 和他的合作者发明了具有强大计算能力的一 种有监督学习网络支持矢量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) ，用于解决 哈尔滨t 稃大学硕+ 学位论文 模式识别、回归和密度估计、时间序列预测n 6 1 问题。 神经网络的崛起，为解决非线性的问题提供了一条良好的途径。因此， 从9 0 年代开始，神经网络在非线性领域的研究与应用非常广泛。人工神经网 络用于预测的最大优点在于它不需要设计任何数学模型，只要通过过去的经 验对历史数据的训练和学习，网络就能够“模拟”并“记忆”输入变量和输 出变量之间的任何复杂的“函数一关系，处理各种模糊的、非线性的含“噪 声”的数据，实现预测。 虽然神经网络有着原有预测模型不具备的优点，但在神经网络的训练过 程中，隐含层节点个数的确定是个难题，因此人们尽量使训练后的网络隐含 层节点达到最少，网络的性能达到最优。但是，当输入层节点数过多时，如 果隐含层节点设置个数过少会影响网络的泛化能力，反之会影响网络的性能。 为了更好的把神经网络应用到实际中，人们提出用聚类的方法来解决这一难 题。 1 9 6 7 年，m a e q u e e n 首次提出了k 均值聚类算法7 1 ( k - m e a n s 算法) 。到 目前为止，该算法是使用最为广泛的一种聚类算法。k m e a n s 算法虽然可以 对数据集进行高效分类，但通常在获得一个局部最优值时就会终止，因此仅 适合对数值型数据聚类，只适用于聚类结果为凸形的数据集。 1 9 9 8 年，h u a n g 提出了一种适合于分类属性数据聚类的k - m o d e s 算法u 7 1 ， 克服了k m e a n s 算法仅适合于数值属性数据聚类的局限性。 2 0 0 2 年，s u nn 8 1 将迭代初始点集求精算法“刚应用于k m o d e s 算法，并用 于测试，取得良好的效果。 人工神经网络近年来取得的进展，引起了不同学科和领域的众多科学家 和工程技术人员的广泛兴趣。神经网络的应用已渗透到许多领域，并在模式 识别、机器视觉、信号处理、非线性化、智能控制、遥感等方面取得了很大 进展。尽管如此，到目前为止，神经网络用于对社会养老保险基金的预测模 型还不是很多。应用到该方向的模型主要有精算模型和b p 网络模型。 早在1 6 9 3 年，英国数学家哈雷编制了第一张德国布热斯兰市生命表，标 志着精算学的诞生。 1 7 5 6 年，英国人道森首先提出保险费的计算应考虑死亡率，并研究了总 保费和责任准备金的计算模式，推动了精算学的发展。 4 哈尔滨t 程大学硕十学位论文 我国的精算事业起步较晚，从2 0 世纪9 0 年代开始，随着社会主义市场经 济的建立，我国的社保制度才开始逐步增强。文献e 2 0 探讨了公共养老保险 的精算模型和精算方法。 湖南大学的赖明勇等人在文献 2 1 中，利用主成分分析与b p 神经网络算 法对我国社保基金收入进行预测分析，并与回归模型相比较，结果表明提出 的该模型具有较高的精度。， 文献 2 2 把灰色预测模型引入对社保收的预测中，通过部分己知原始数 据和建立灰色模型对系统未来发展情况作出预测。 也有人将基于遗传算法的b p 网络用于对社保数据的预测幢引，得到了较好 的效果。 综上所述，将神经网络用于对社会保险基金的预测不仅是可行的，而且 是有很好的研究价值，本文将在这方面进行研究及应用。 1 3 本文所做的工作 本文所做的工作主要有以下几个方面： ( 1 ) 比较用于养老保险基金收入预测的模型。研究精算模型、b p 网络 模型，分析这些模型的优缺点，并针对其存在的问题提出解决办法。 ( 2 ) 研究径向基函数网络。构造r b f 网络的关键是径向基函数的数目 和中心位置的合理选取，在传统的确定径向基函数中心的模型的基础上进行 改进，提出新的确定隐含层节点个数和确定径向基函数中心的算法。 ( 3 ) 分析改进后的径向基函数网络的可行性。 ( 4 ) 将改进后的r b f 网络模型用于对养老保险基金收入的预测。给出 预测养老保险基金收入的步骤，将改进的r b f 网络用于预测养老保险基金收 入建模，实现养老保险基金预测。具体步骤如下： 第一步，收集并归纳总结出2 0 0 2 年1 月到2 0 0 7 年6 月某省基本养老保 险收入的具体数据，为建立投资预测模型做好前期准备。 第二步，利用改进的r b f 神经网络建立预测模型。 第三步，将新建的r b f 网络模型与精算模型和b p 网络预测模型进行对 比，并对预测的结果进行分析。 哈尔滨丁程大学硕十学位论文 1 4 本文结构和组织 本文阐述了时间序列预测理论，主要介绍了径向基函数神经网络的基本 理论，并将其应用到养老保险收入的预测。本篇论文的工作如下： 全文共分四章，具体的结构为： 第1 章介绍本文的研究背景、意义、主要内容及结构组织。 第2 章主要介绍时间序列预测的基本理论，为下一步建立模型并检验模 型的准确度提供了可靠的依据。 第3 章着重阐述了径向基函数神经网络的基本理论并针对现有的模型进 行了改进。首先介绍了径向基神经网络的数学根据；然后从径向基神经网络 的拓扑结构入手，对它的工作原理作了详细介绍，同时也介绍了国内外学者 对这种网络的学习算法的研究；在本章的最后针对原有算法的不足提出改进 算法。 第4 章将径向基神经网络应用到养老保险收入的预测问题中。 最后总结了理论研究过程中所做的工作。在阐述论文的特点及意义的同 时，客观地评价了研究的不足与缺陷，并对这一课题的进一步发展给出了一 些见解。 6 哈尔滨t 程大学硕十学位论文 第2 章时间序列预测基本理论 社会的各个领域都离不开预测，日常天气的预测、网络流量的预测、企 业产品销售量的预测、股票走势的预测等，都和我们的生活息息相关。而解 决预测问题最有力的方法是发现、揭示给定动态过程或现象背后的规律，通 过该规律我们就可以对此现象或过程进行预测。下面详细介绍下有关时间 序列预测方面的理论。 2 1 时间序列预测概述 2 1 1 时间序列预测的相关概念 时间序列啼3 是指系统中某一变量的观测值按时间顺序排列成一个数值序 列，展示研究对象在一定时期内的变动过程，从中寻找和分析事物的变化特 征、发展趋势和规律。 时间序列预测方法的基本思想是：预测一个现象的未来变化时，用该现 象的过去行为来预测未来。即通过时间序列的历史数据揭示现象随时间变化 的规律，将这种规律延伸到未来，从而对该现象的未来作出预测。 时间序列的变化受许多因素的影响，有些起着长期的、决定性的作用， 使时间序列的变化呈现出某种趋势和一定的规律性，有些则起着短期的、非 决定性的作用，使时间序列的变化呈现出某种不规则性。时间序列的变化大 体可分解为以下四种： ( 1 ) 长期或趋势变化，指现象随时间变化朝着一定方向呈现出持续稳定 地上升、下降或平稳的趋势。 ( 2 ) 循环变动或循环变化，指现象按不固定的周期呈现出的波动变化。 ( 3 ) 季节性变动或季节性变化，指现象受季节影响，按一固定周期呈现 出的周期波动变化。 ( 4 ) 非规则或随机变化，指现象受偶然因素影响而呈现出的不规则波动。 时间序列一般是以上几种变化形式的叠加或组合。实际数据的时间序列 能够展示研究对象在一定时期内的发展变化趋势与规律，因而可以从时间序 列中找出变量变化的特征、趋势以及发展规律，从而对变量的未来变化进行 7 哈尔滨t 程大学硕士学位论文 有效地预测。 2 1 2 时间序列预测特点及条件 时间序列具有如下的特点：首先，序列的数据或数据点的位置依赖于时 间，即数据的取值依赖于时间的变化，但不一定是时间f 的严格函数。其次， 每一个时刻上的取值或数据点的位置具有一定的随机性，不可能完全准确地 用历史值预测。再次，前后时刻( 不一定是相邻时刻) 的数据或数据点的位 置有一定的相关性，这种相关性就是系统的动态规律性乜副。建立时间序列模 型，首先应当考虑研究对象的性质，以判断它是否满足建模的条件。时间序 列预测的任务就是在现有序列基础上选择适当的模型来建模，然后选择正确 的预测模型对序列进行预测，利用该模型通过时间序列的历史数据值得出对 未来发展的预测。 对时间序列进行预测必须具有以下条件：一是预测变量的过去、现在和 将来的客观条件基本保持不变，历史数据解释的规律可以延续到未来；二是 预测变量的发展过程是渐变的，而不是跳跃式的或大起大落的。 2 2 时间序列的预测方法 时间序列分析及预测的方法主要有三种：时间序列预测的传统方法、非 线性时间序列预测方法和基于神经网络的时间序列预测方法。 时间序列预测的传统方法，如：移动平均法、分解方法、指数平滑法等 大多数假设各变量之间是一种线性关系，而信息预测的多层次性、互关联性 使得预测呈现非线性的特点，很难用这些方法准确地进行分析和预测。 非线性时间序列预测的基本前提十分苛刻。系统发展有一定规律，而且 是可以找到的，其过去或现在的因果规律在未来仍然起主导作用，建模或预 测的目标在于从比较中寻找最佳模型。然而，由于多数系统复杂的非线性， 使得这类方法从理论分析与实际应用上都有相当的局限性。 人工神经网络能够从数据样本中自动地学习以前的经验，并自动地逼近 那些最佳刻画了样本数据规律的函数，无论这些函数具有怎样的形式。系统 表现函数越复杂，神经网络这种作用的特性就越明显。由于神经网络的这些 8 哈尔滨工稃大学硕十学何论文 优越性，使其在预测中的应用受到重视。研究结果表明，神经网络用于非线 性时间序列预测效果比以上这些时间序列预测方法要好，已成为目前非线性 预测中的常用方法1 。 根据输入样本的数据类型也可将预测方法分为单变量方法( 或称一元方 法) 和多变量方法( 或称多元方法) 。 单变量方法，是在模型中只有_ 个变量的预测方法。在整个的预测过程 中我们只关心这一个变量的变化，而不理睬其它的变量值。相对于其他方法， 单变量预测方法仍然是实际中使用最多的方法。在现实生活中常用的方法有： 分数差分模型、结构模型、贝叶斯预测方法等。 多变量方法，就是在时间序列模型中具有多个变量的预测方法? 为了改 善某个变量的预测结果，人们在模型中增加适当的变量，但这并不是一件很 简单的事。因为识别所有的相关变量并不容易，这就有必要研究事物变化的 前因后果，提出问题，寻求以往的经验。该方法常用的模型有：向量a r m a 模型、向量回归模型、神经网络模型等。 2 3 时间序列预测模型 时间序列发展至今已经出现了大量的预测模型，比如说自回归( a r ) 模 型隋1 、滑动平均( m a ) 模型晦、自回归滑动平均( a r m a ) 模型嫡1 、自回归 求和移动平均模型( a r i m a ) 啪1 、滑动窗口二次自回归( m w d a r ) 模型旧7 1 、 自回归条件异方差模型( a r c h ) 、广义自回归条件异方差模型晗耵( g a r c h ) 、 神经网络模型等。下面介绍几种常见的时间序列预测模型。 2 3 1 自回归模型 时间序列模型为晦1 ： t = l 薯一l + 2 一一2 + + p 薯一p + q ( f 2 1 ，2 ，3 ，)( 2 1 ) 其中p 为模型的阶，。，：，。为自回归系数，嘭是均值为零，方差为 2 的正态分布白噪声，即一n ( 0 ，) ，符号n 表示独立正态分布，此模型 记为a r ( p ) 。 该模型中，t 巾薯- 2 ，t 一3 同属于同一个连续的时间序列 j c f ，都是序列 9 哈尔滨t 程大学硕十学位论文 中连续的、不同时刻的随机变量，它们彼此之间都有一定的相关性，是一种 动态模型。由于该模型所描述的 薯) 是对其自身的过去的、不同时刻的数值 进行回归，故称之为自回归模型。 2 3 2 滑动平均模型 时间序列模型为嘲： ， ：r 五= 哆一q 嘭一l 一岛q 一2 一一岛q g ( 2 2 ) 其中，g 为模型的阶，岛，岛9 oo0 9 见为滑动平均系数， a t ) 是正态分布白噪 声，其均值为零，方差为一，模型记为m a ( g ) 。模型中包含的q + 1 个未知 参数q ，岛，岛和蠢必须利用观测数据来进行估计。从公式( 2 2 ) 中我们可以 看出该模型表明时间序列是过去g 个周期随机扰动项的加权平均，即该模型将 序列看成是各个不同时期内随机干扰( 白噪声) 的线性组合，因此也称为移 动平均模型。 滑动平均模型与自回归模型相比较，对白噪声干扰的抵抗能力要强，所 以在现实生活中也得到了广泛的应用。 2 3 3 自回归滑动平均模型 若模型中既包含自回归部分也包含滑动平均部分，会使模型在拟合实际 数据时具有更大的灵活性，这就是自回归滑动平均( a u t o r e g r e s s i v em o v i n g a v e r a g e ) 模型畸1 ，记为a r m a ( p ，鸟) 。该模型适用于平稳时间序列，其表达 式为： j c r 一l 一l 一2 一2 一一p 五一p = q q q l 一幺q 一2 一一岛q g ( 2 3 ) 其中，p 和q 分别是自回归部分和滑动平均部分的阶数，( - - 1 ，2 ，3 ，) ， 9 ，( ，= 1 ，2 ，3 ，) 分别是自回归系数和滑动平均系数。 从公式( 2 3 ) 可以看出时间序列在时刻f 的响应为z ，不仅与其以前时 刻的自身值有关，而且还与其以前时刻进入系统的扰动存在一定依赖关系。 a r m a ( p ，g ) 模型含有的( p 叼+ ，) 个未知参数1 ，2 ，p ，q ，岛，幺和 要利用观测数据进行估计。该模型与滑动平均模型、自回归模型的不同之处 就在于它不仅仅将前一时刻自身的值与当前值联系在一起，也把前一时刻对 1 0 哈尔滨t 程大学硕十学位论文 系统的扰动值和当前值联系起来。 2 3 4 神经网络模型方法 神经网络模型( n e u r a ln e t w o r k ，n n ) 又称为人工神经网络( a r t i f i c i a l n e u r a ln e t w o r k ，砧州) ，是另一类很重要的预测模型，它主要运用对非线 性的时间序列预测中。对神经网络的研究就是从人脑的生理结构出发来研究 人的智能行为，模拟人脑信息处理的功能。它是根植于神经科学、数学、统 计学、物理学、计算机科学等学科的一种新科学技术。 文献 2 9 3 0 详细介绍了神经网络模型方法，神经网络模型是由简单的处 理单元所组成的大量并行分布的处理机，这种处理机具有存储和应用经验知 识的自然特性，它与人脑的相似之处可以概括为两方面：一是通过学习过程 中利用神经网络从外部环境中获取知识；二是内部神经元( 突触权值) 用来 存储获取的知识信息。其基本思想是通过在解释变量和被解释变量之间插入 神经元( 或节点) 来模拟大脑结构，从而达到对人脑的模拟。对任何神经元 输入的线性函数都有可能通过适当的函数( 可以是非线性的) 来进行改进， 从而给每个神经元赋值，然后对这些数值进行组合计算来近似地得到被解释 变量值。在众多的神经网络模型中，广义回归神经网络是目前应用最广泛的 一种神经网络模型，该网络包括输入层、模式层、求和层与输出层等4 层神经 元。对应网络输入为x = 【x l , 而，靠】。，其输出为】，= h ，y 2 ，只】7 。其基本 结构如图2 1 所示。 图2 1 神经网络基本结构图 哈尔滨t 程大学硕十学位论文 神经网络模型的种类很多，在实际预测中，选择适当的网络结构对预测 效果有很重要的影响。前向神经网络具有处理复杂非线性信号的能力和很强 的泛化能力，已被广泛应用于信号处理、自动控制等领域。在具体使用时， 仅需设计一个神经网络来拟合时间序列即可。 2 4 本章小结 本章介绍了时间序列预测的基本理论。首先介绍了时间序列预测的相关 概念，并介绍了时间序列预测的特点及条件，最后详细介绍了几种时间序列 预测的方法及模型。 1 2 哈尔滨r 丁程大学硕十学位论文 第3 章径向基函数网络及其改进 径向基函数神经网络( r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k ，r b f n n ) 是一类常用的三层前馈网络，既可用于函数逼近，也可用于模式分类。与其 他类型的人工神经网络相比，r b f 网络有生理学基础、结构简单、学习速度 快、优良的逼近性能等特点。 3 1r b f 网络的理论基础 3 1 1r b f 网络的模型结构 文献【3 1 和 3 2 】详细介绍了径向基函数网络的模型结构，r b f 网络是由 m o o n d y 和d a r k e n 于2 0 世纪8 0 年代末提出的一种具有单隐层的三层前馈网络， 其中每一层都有着完全不同的作用。输入层由一些感知单元组成，它们将网 络与外界环境连接起来；与b p 网络不同，r b f 网络第二层中仅有的一个隐层， 它的作用是从输入空间到隐含层空间之间进行非线性变换，在大多数情况下， 隐含层空间有较高的维数，维数视需要而定。第三层为输出层，输出层是线 性的，它为作用于输入层的激活模式提供响应。 基本的径向基函数r b f 网络是具有单隐含层的三层前馈网络，拓扑结构 如图3 1 所示。由于它模拟了人脑中局部调整、相互覆盖接受域的神经网络结 构，因此，r b f 网络是一种局部逼近网络，它的隐节点的激活函数是径向基 函数，是一种局部分布的关于中心点对称的非线性函数。 如图3 1 所示为门m s 结构的r b f 网络，即网络具有以个输入，m 个隐层节 点，s 个输出。其中元= ( 五，毛9o * - 9 毛) 丁r ”为网络输入矢量，旷灵舨”为输出 权矩阵，y = ( 乃，y 2 ，虼) 7 1 为网络输出，( 宰) 为第f 个隐节点的激活函数。图 中输出层节点中的y 表示输出层神经元采用线性激活函数。 r b f 网络的隐节点的基函数采用距离函数( 如欧氏距离) ，并使用径向基 函数( 如g a u s s i a n ( 高斯) 函数) 作为激活函数。径向基函数关于r 维空间的 一个中心点具有径向对称性，而且神经元的输入离该中心点越远，神经元的 激活程度越低，这个特性被称为“局部特性 。因此r b f 网络的每个隐节点都 具有一个数据中心。 哈尔滨t 程大学硕十学付论文 置暑鲁昌葺宣置i 宣昌1 1 一 r m 宣i 宣皇薯蕾| 葺_ 暑i 每昌宣皇 ( ) 而 而 图3 1 径向基函数神经网络 l 强f 网络的分布函数为： f ( x ) = c o o + z j h j ( x ) ( 3 1 ) 其中，聊为隐含层神经元节点数，即径向基函数中心个数；系数 国，：_ ，= 1 ，m ) 为连接权重； 姒加4 幽1 ( 3 2 ) l - 其中，( ) 为径向基函数；l - - c ，0 为欧几里德范数；c j ( c j 尺”) 为r b f 的 中心；r ，( r j r ) 为r b f 半径。将公式( 3 2 ) 代入公式( 3 - 1 ) 得： 弛h + 羔j = x 匆吖掣 3 ) i， 公式( 3 1 ) 的矩阵表达式为 少= h c o + e ( 3 4 ) 其中，期望输出向量为y = y l ，y 。r ；y 和厂( x ) 之间的误差向量为 p = k ，p 。】7 1 ；权重向量国= 【q ，r ；回归矩阵日= 【，k 】。 其中，曩= 【曩( 五) ，忽( x 。) 】7 ( f = 1 ，m ) 在r b f 网络结构中，对于训练样本，通常取性能指标为 e = 去( 咒一厂( ) ) 2 ( 3 5 ) 1 一。 1 4 哈尔滨t 程大学硕+ 学位论文 通过上述描述可知，指标e 是关于中心、宽度和权值的函数。r b f 网络的 训练就是针对一组样本，使e 趋于最小。 3 1 2r b f 网络模型的特点 r b f 网络广泛应用于众多领域，如函数或信号逼近、数据或图形压缩、 模式识别、非线性系统建模及机械故障信号的分析和处理等；主要基于以下 功能船引： ( 1 ) 任意连续函数都可表示为一组径向基函数的加权和，r b f 能逼近函 数。 ( 2 ) r b f 可作为线性不可分模式的分类器。原空间的线性不可分模式经 隐层处理后，变换至新的高维空间，成为线性可分，由输出层实现线性分类。 选用合适的径向基函数是实现上述功能的关键。径向基函数为局部分布 的、中心径向对称的、非负衰减的非线性函数，它的两个参数，基中心和基 宽度，将确定对输入产生显著响应的范围。 径向基函数有高斯函数、多二次函数、逆多二次函数与薄板样条函数等， 它们均具有良好的逼近能力，其中高斯函数是最为常用的。本文中径向基函 数采用的就是高斯函数。 高斯函数：( v ) = e x p ( 一1 ，2 2 0 - 2 ) 多二次函数：( 1 ，) = ( ，2 + c ) j ，c 0 逆多二次函数：( 1 ，) = ( v 2 + c ) - 寺，c 0 薄板样条函数：( v ) = v 2l g ( v ) 采用高斯函数的优点： ( 1 ) 表示形式简单，即使对于多变量输入也不增加太多的复杂性。 ( 2 ) 径向对称。 ( 3 ) 光滑性好，任意阶导数均存在。 ( 4 ) 由于该基函数表示简单且解析性好，因而便于理论分析。 哈尔滨工程大学硕七学位论文 3 2r b f 网络原理 3 2 1 径向基函数与插值问题 假定共有，个学习样本，其输入为s = ( x l ，x 2 ，x ) ，相应的样本输出 为f = ( y l ，赐，蜘) 。多变量内插问题是指寻找函数，使之满足以下的内插条 件： 以= f ( 置) ( 3 - 6 ) 由公式( 3 3 ) 可知，使用r b f 网前必须确定其隐含层节点的数据中心( 包 括中心的数目、值、扩展常数) 及相应的一组权值。r b f 网络解决内插问题 时，一种方案是使用n - c - 隐含层节点，并把所有的样本输入选为r b f 网络的数 据中心，且各基函数取相同的扩展常数。于是r b f 网络从输入层到隐含层的 输出便是确定的。 然后确定网络的n 个输出权值旷= ( q ，皑，纨) r 。只要把所有的样本再 输入一遍，便可解出各劬的值。假定当输入为置，f = l ，2 ，时，鳓 个隐含层节点的输出为 = m ，( 8 置一弓0 ) ( 3 - 7 ) 其中，( ) 为该隐含层节点的激活函数；万，= 贾，为该隐含层节点r b f 函数 的数据中心。于是可定义r b f 网络的隐含层输出阵为曰= l 忽，l ，疗j 胍。此 时r b f 网络的输出为 厂( 置) = 哆= q 。( 0 置一t0 ) ( 3 8 ) ，= ij = l 令m = 厂( 置) ，y = f r = ( y l ，y 2 ，y n ) r ，矿= ( q ，哆，) r ，便得 9 = 瓣 如果豆晨m 可逆，即其列向量构成辰v 中的一组基，则输出权矢量为 旷= 豆- 1 萝 ( 3 9 ) 根据m i c c h e l l i 定理b 4 1 ，如果隐含层节点激活函数采用上述的径向基函数， 且置，丘，贾各不相同，则隐含层输出阵霄的可逆性是可以保证的。因此， 如果把全部样本输入作为r b f 网络的数据中心，网络在样本输入点的输出就 等于教师信号，此时网络对样本实现了完全内插，即对所有样本误差为0 。但 公式( 3 9 ) 内插方案存在以下问题： 1 6 哈尔滨丁程大学硕士学位论文 ( 1 ) 通常情况下，样本数据较多，即n 数值较大，上述方案中隐含层输 出阵疗的条件数可能过大，求逆时可能导致不稳定。 ( 2 ) 如果样本输出含有噪声，由于存在过学习的问题，做完全内插是不 合适的，而对数据做有限精度逼近可能更合理。 为了解决这些问题，可以采用正则化网络汹1 。 3 2 2 正则化网络 假定s = ( 暑，乃) j ”j 圣i 江1 ，2 ，) 为欲用函数逼近的一组数据。传统 的寻找逼近函数