（控制理论与控制工程专业论文）非平稳时间序列的预测方法研究.pdf

摘要 材料形成过程是一个极其复杂的动力学过程，对其进行机理建模耗时又难以保 证准确性，本研究将材料科学与信息科学技术结合，把材料演变过程的外部特征 看成非平稳过程，以非晶材料晶化过程动态为对象，研究材料形成过程的复杂动 态建模和材料性质的预测方法。 对于非平稳时间序列预测，除了模型的选择外，关键取决于如何提取时e j 序列 中的低频和高频成分并对其建模，以及如何避免对高频信息的过拟合。为了解决 这类非平稳时间序列的预测问题，考虑到二进正交小波分解对非平稳性时自j 序列 的适应性、对低频的分离作用及支持向量机的较好的泛化能力，本文对统计学习 理论框架下的支持向量机和具有“数字显微镜”之美誉的小波变换进行了深入的 探究，并将其应用到非平稳时间序列预测的研究中，仿真实例表明，小波变换是 非平稳时间序列时频分析的有效工具；最小二乘支持向量机能够较好地解决小样 本、过学习、高维数、局部最小、收敛速度慢等问题，并且具有很强的泛化( 预测) 能力。 针对均值具有趋向性的非平稳时间序列固有的确定性、非线性和波动性，提 出了一种基于二进正交小波变换和a r l s s 方法的非平稳时间序列预测方案。首 先利用m a l t a t 算法对非平稳时间序列进行分解和重构，分离出非平稳时间序列中 的低频信息和高频信息，然后对高频信息构建自回归模型，而对低频信息则利用 最小二乘支持向量机进行拟合，最后将各模型的预测结果叠加，从而得到原始序 列的预测值。在非晶材料晶化电特性预测及金融上证指数预测应用中表明，该方 法不仅能够充分拟合低频信息，而且能够避免对高频信息的过拟合，是这类非平 稳时间序列的有效预测方法。 关键词：小波变换；非平稳时间序列；最小二乘支持向量机；自回归；预测 abstr act m a t e r i a lf o r m a t i o np r o c e s si sag r e a tc o m p l e xd y n a m i c s ，s ot h em o d e l i n gb y m e c h a n i s mi s t i m e - c o n s u m i n ga n dd i f f i c u l t t oe u s u r ea c c u r a c y i nt h i s r e s e a r c h ，b y c o m b i n i n gm a t e r i a l ss c i e n c ea n di n f o r m a t i o nt e c h n o l o g y , t h ee v o l u t i o no fe x t e r n a l c h a r a c t e r i s t i c si nm a t e r i a li sc o n s i d e r e da s an o n s t a t i o n a r yp r o c e s s ，t h ed y n a m i cm o d e l o fm a t e r i a lf o r m a t i o np r o c e s sa n dp e r f o r m a n c ep r e d i c t i o no fa m o r p h o u sm a t e r i a la r e s t u d i e dm a i n l y t oan o n s t a t i o n a r yt i m es e r i e sp r e d i c t i o n ，t h ek e yi sh o wt oe x t r a c ti t sl o wa n d h i g hf r e q u e n c yc o m p o n e n t s a n dt oa v o i dt h eo v e r - f i t t e df o rh i g hf r e q u e n c ys i g n a l s 。i n o r d e rt os o l v et h i sp r o b l e m ，c o n s i d e r i n gt h ea d a p t a b i l i t yo ft h ew a v e l e td e c o m p o s i t i o n a n dt h eb e r e rg e n e r a l i z a t i o no ft h es u p p o r tv e c t o rm a c h i n e sf o rn o n s t a t i o n a r yt i m e s e r i e s ，t h ee x p l o r a t o r yr e s e a r c ho nt h es u p p o r tv e c t o rm a c h i n e sb a s e do ns t a t i s t i c a l l e a r n i n gt h e o r ya n dt h ew a v e l e ta n a l y s i sw i t h d i g i t a lm i c r o s c o p e r e p u t a t i o na r e a d o p t e di nt h i st h e s i s t h er e s u l t so ft e s te x a m p l e ss h o wt h ew a v e l e ti se f f e c t i v et o o lf o r t h eu o n s t a t i o n a r yt i m es e r i e sp r e d i c t i o na n dt h el e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e c a no v e r c o m es o m ep r o b l e m s ，s u c ha ss m a l l - s a m p l ed e v i l i s h l yl e a r n i n g ，b i g - d i m e n s i o n ， l o c a lm i n i m u ma n ds l o wc o n v e r g e n ts p e e d ，i nm a c h i n el e a r n i n g , a n da tt h es a m et i m ei t h a v es t r o n gg e n e r a l i z a t i o n ( p r e d i c t i o n ) a b i l i t y a n o n s t a t i o n a r yt i m es e r i e sp r e d i c t i o nu s i n gt h ew a v e l e ta n a l y s i sa n da r l s s v m i s p r o p o s e di n t h i st h e s i s b yu s i n gw a v e l e td e c o m p o s i t i o na n dr e c o n s t r u c t i o n ，t h e n o n s t a t i o n a r y t i m es e r i e sw i t h t e n d e n c ya r ed e c o m p o s e di n t o al o wf r e q u e n c y c o m p o n e n ta n ds e v e r a lh i i g hf r e q u e n c yc o m p o n e n t s t h eh i g hf r e q u e n c ys i g n a l sa r e p r e d i c t e dw i t ha u t o - r e g r e s s i o nm o d e l s ，a n dt h el o wf r e q u e n c yi sp r e d i c t e dw i t hl e a s t s q u a r es u p p o r tv e c t o rm a c h i n e s t h ep r e d i c t i o nr e s u l to ft h eo r i g i n a lt i m es e r i e si st h e s u p e r p o s i t i o no ft h er e s p e c t i v ep r e d i c t i o n t h i sn e wp r e d i c t i o nm e t h o da v o i d st h e o v e r - f i t t e df o rh i g hf r e q u e n c ys i g n a l s ，a n da d e q u a t e l yf i t st h el o ws i g n a lo ft h e n o n s t a t i o n a r y t i m es e r i e s , , s ob e t t e r p r e d i c t i n gp e r f o r m a n c e c a nb eo b t a i n e d e x p e r i m e n t si nt h ec r y s t a l l i z a t i o np r o c e s sa n df i n a n c i a ld a t as h o wt h a tt h ep r e d i c t i n g m e t h o di se f f e c t i v e k e yw a r d s ：w a v e l e tt r a n s f o r m ；n o n - s t a t i o n a r yt i m es e r i e s ；l e a s t s q u a r es u p p o r tv e c t o r m a c h i n e s ；a u t o r e g r e s s i o n ；p r e d i c t i o n 硕r 学付论文 插图索引 图3 0 1 不同尺度因子与平移量的小波2 1 图3 0 2j 下弦波与小波2 2 图3 。0 3 傅立叶分析与小波分析使用的基函数2 5 图3 0 4 连续小波变换过程2 6 图3 0 5 小波变换系数的图形表示2 6 图3 0 6 离散小波变换分析图2 7 图3 0 7 信号的双通道滤波过程2 7 图3 0 8 小波分解树2 8 图3 0 9 滤波2 8 图3 1 0 信号重构的基本过程2 8 图3 1 l 插值方法2 9 图3 1 2 镜像滤波器组2 9 图3 1 3m a l l a t 算法示意图3 0 图3 1 4 电网监测的原始电压信号3 1 图3 1 5 第一层低频和高频信号3 2 图3 1 6 多尺度一维分解结果3 2 图3 1 7 电压的非平稳时间序列信号初步除噪仿真比较图3 3 图4 0 1 学习机器模型结构示意图3 5 图4 0 2 结构风险最小化示意图3 8 图4 0 3 线性可分情况下的最优分划直线4 0 图4 0 4 线性分划的拓广4 3 图4 0 5s v m 结构示意图4 4 图4 0 6 心脏病诊断分类仿真图5 1 图4 0 7 参数自动寻优截图5 3 图4 0 8l s s v m 实际输出与预测输出曲线仿真比较图5 3 图5 0 1 基于m a l l a t 算法的a r - l s s v m 预测框架5 5 图5 0 2 上证指数原始数据图5 7 图5 0 3 上证指数m a l l a t 算法3 层小波分解仿真图5 9 图5 0 4 非晶合金晶化过程电特性测试数据图6 0 图5 0 5 非晶合金晶化过程电特性测试数据m a l l a t 算法3 层小波分解6 1 r 1 表2 0 1 表4 0 1 表4 0 2 表5 0 1 表5 0 2 表5 0 3 表5 0 4 附表索引 a r m a 模型的分类及特征览表1 5 心脏病诊断归一化摘床数据5 0 数据样本表5 2 取1 4 个指数点的实际值与预测值5 9 a r l s s v m 、a r 和b p 神经网络预测误差结果6 0 晶化过程电特性1 4 个数据点的实际值与预测值6 1 晶化过程电特性a r l s s v m ，a r 和b p 神经网络预测误差结果6 2 1 f 稳时问序列的预测方法研究 兰州理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 作者签名：z 最彳1 壶日期：哆年f 月罗，日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本 学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“4 ”) 作者签名： 导师签名： 日期： 年，月如e t 日期： 。) 年厂月罗口日 i v 1 1 引言 第1 章绪论 菲晶材料晶化动态过程的电特性时间序列具有明显的非平稳性，利用非平稳 时间序列的预测方法，建立描述该晶化动态过程电特性时间序列模型，并分析、 预测、研究非晶合金晶化过程的各个动态特性，从而达到从宏观晶化过程时间序 列建模预测角度考察非晶材料的性质和组织结构，实现对非晶材料组织和性能的 预测控制。这对于揭示非晶合会晶化行为和局域原子结构变化发生的机理与联系， 探讨这些行为与变化对玻璃转化和晶化的作用，实现非晶合金晶化过程预测控制 具有非常重要的理论意义和工程应用价值。 时问序列是动力系统演化过程的外在表现，也是对动力系统分析、控制的基础。 在实际问题中，时间序列几乎都是非平稳和菲线性的，尽管我们无法知道那些系统 变量及它们之自j 如何相互作用来支配系统的演化，但可以肯定的是系统的变量具有 不同的时频特性。对于动力学系统来说，建立良好的系统模型非常重要，它不仅具 有重要的理论意义，而且还具有广泛的应用前景。目前国内外学者从不同途径对动 力学系统的辨识与预测进行了研究，统计分析是比较常用的辨识与预测方法，但由 于传统的统计学中的各种方法和结论只有样本趋向无穷大时。其性能才有理论上的 保证，而在众多工程实际中，样本数目常是有限的，甚至样本数很少，这导致很多 优秀的传统统计分析方法难以取得理想效果。神经网络因其较好的自学习，函数逼 近能力也较多应用于时间序列预测1 1 捌，但由于神经网络训练过程遵循经验风险最 小化准则，存在过拟合，估计参数多，训练过程受局部极小点的困扰，网络结构的 选择过分依赖于经验等缺陷，影响和限制了网络的泛化能力1 3 j 。基于统计学习理论 的支持向量机( s v m ) 【4 爿根据结构风险最小化原则，克服了上述方法的不足。研究发 现，支持向量机不仅能够较好地解决小样本、过学习、高维数、局部最小等实际难 题，而且具有很强豹泛化能力。 时间序列预测是动态数据分析处理的一个重要方面，在科学、经济、工程等 许多应用中，常应用于在历史数据的基础上预测未来动态数据问题。对均值具有 趋向性的非平稳时间序列预测，除了模型的选择外，关键取决于如何提取时间序 列中的低频和高频成分并对其建模，以及如何避免对高频信息的过拟合。为了解 决这类非平稳时间序列的预测问题，考虑到二进正交小波分解对非平稳性时间序 列的适应性、对低频的分离作用及支持向量机的较好的泛化能力【6 1 。本文对基于小 波变换和基于最小二乘支持向量机的非平稳时间序列分析进行了认真深入地研 究，通过仿真验证了其对非平稳时间序列分析的有效性和实用性，并在此基础上 提出了一种基于m a l l a t 算法和a r l s s v m 的非平稳时间序列预测方法，采用二进 小波变换提取了原始序列中的高频信息和低频信息，对高频信息与低频信息分别 建模，在充分拟合低频信息的同时，避免对高频信息的过拟合，从而提高了非平 稳时问序列的预测精度。为非平稳时f h j 序列预测提供了有效的预测途径，对进一 步解决实际工程问题具有很好的应用前景。 竹， 7 稳时问序列的顶删方法研究 1 2 研究背景 伴随非线性动力学的发展，人们对时间序列复杂性有了更深刻的认识，尤其 是时间序列的预测已成为一个非常重要的研究方向，并在信号处理、自动控制等 领域中得到广泛的应用。目前，时间序列分析方法，特别是平稳时间序列分析方 法取得了很大的进展，其中最常用的方法有如下两种： 1 ) 统计推断建模。根据动态数据揭示系统动态结构和规律的统计方法，是统 计学科的一个分支。其基本思想是根据系统的有限长度的运行观测数据，建立能 够比较精确地反映时间序列中所包含的动态依存关系的数学模型，并借以对系统 的未来行为进行预测。其中较为常用模型有：a r 、m a 和a r m a 及其非线性形式。 然而这些模型存在以下局限性1 7 , s l ：时间序列的平稳性要求，残差的独立性和正态 性要求。如果是多元回归，除了包括上述限制，还假定变量之间是独立的，因此， 当变量之间存在多元共线时，模型的有效性受到了挑战。 2 ) 神经网络模型。1 9 8 7 年，l a p d e s l 9 , 1 0 】等人首先将神经网络应用于由计算机 产生的时间序列仿真数据的学习和预测，自此以神经网络为代表的智能技术因其 较好的自学习、函数逼近能力在预测领域得到较为广泛的应用。但神经网络存在 收敛速度慢，结构选择和局部极小点问题，同时还由于该方法受网络结构复杂度 和样本复杂度的影响较大，因而有时出现学习或泛化能力过低的现象。p a 0 1 1 1 提出 的函数型神经网络通过对输入模式进行非线性扩展，增强了输入信号的模式表达， 从而可以大为简化网络结构，降低计算复杂度，提高了收敛速度。针对网络收敛 速度慢的问题，文献【1 2 】提出自适应的增强原始模式的表达，将原来的非线性可分 问题转换成线性可分问题或者减少其非线性程度，从而加快网络的收敛速度。但 是这些研究并没有解决网络的泛化能力和过学习问题。 上述两种模型对平稳时间序列能够得到较好的预测结果，但是用于非平稳时 间序列预测，结果就不太理想。b o x 和j e n k i n s 对非平稳时间序列的分析与预测是 基于a r i m a 模型，其基本思想是用差分消除序列中的趋势项( f 氐频信息) ，而对平 稳信息用a r m a 模型进行分析与预测，这种方法最大的缺点是丢掉最重要的低频 信息，而且在实际应用中有的时间序列数据很难经过多次差分使其近似平稳。文 献f 1 3 1 给出了非平稳随机信号模型的时变参数估计算法，但其应用范围具有较强的 局限性。对于均值具有趋向性的非平稳时间序列预测的关键除了模型的选择和优 化外，还取决于如何提取时间序列中的不同的时频特性，即不同的趋势性和波动 性，如何构建时间序列中的趋势和波动模型，同时避免短期波动造成的过拟合。 局域波分解是解决复杂非平稳信号的新方法，通过筛选过程把复杂的非平稳信号 分解为基本模式分量，既简单的非平稳信号和支流分量，文献【1 4 】对每个基本模式 分量分别建立时变a r 模型的方法来分析信号，因此计算量大。 为了克服预测上述非平稳时间序列的困难，本研究运用小波变换把非平稳时 间序列数据中趋势项和波动项分离出来并单独建模，通过这种“分而治之”的方 法来提高预测效果。 硕r 学位论文 1 3 研究现状 随着航空、航天、自动控制、通信和计量经济学领域的发展，非平稳时间序 列的分析与处理在工程上占有越来越重要的地位，是当前科学研究的热点之一 ( 1 5 , t g l 。目前国内外学者从不同途径对非平稳时间的辨识与预测进行了研究，文献【1 7 】 提出相关系数平稳时日j 序列的概念，从一般的非平稳序列中分离出一类工程上常 见且便于研究的时| 日j 序列，文献 1 8 ，1 9 1 给出相关系数平稳训练的预测方法。文献 f 2 0 ，2 1 1 进一步提出一种广义时变序列的概念，建立了广义时变a r p ) 、m a ( q ) 、 a r m a p 灯) 模型、参数估计方法及其预测。这种统计分析方法是比较常用的辨识与 预测方法，但由于传统统计学研究的都是样本数目趋于无穷大时的渐进理论。在 实际问题中用于训练的样本数目一般都是有限的，使得一些理论上很优秀的学习 算法在实际中难以取得理想的效果。虽然早期的统计理论提出了v c 维 ( v a p n i k c e r v o n e n k i s ) 1 2 2 】。为衡量预测模型的复杂度提出了有效的理论框架。但是， 它是建立在经验风险最小化原则基础之上的，即；把以训练平均误差为最小的模 型作为期望的最终模型。所以早期的统计学习理论一直停留在抽象的理论和概念 的天书之中，直到8 0 年代初期，v c 维理论还没有很大的应用1 2 3 1 。 鉴于此，vv a p n i k 等人i 驯从2 0 世纪6 0 年代开始就致力于有限样本理论的研 究，并将其称为统计学习理论，统计学习理论是建立在一套较坚实的理论基础之 上的，它为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法 纳入其中，有望帮助解决许多原来难以解决的问题，比如神经网络结构选择、局 部极小值等问题。到2 0 世纪9 0 年代中期，v a p n i k 和他的实验室小组提出了基于 机器学习的支持向量机( s v m ) 算法，它表现出很多优于已有丰富的性能，进一步丰 富和发展了统计学习理论。它不仅是一种理论分析工具，还是一种能构造具有很 多维预测功能的预测学习算法的工具，使抽象的学习理论能够转化为通用的实际 预测算法。随着其理论的不断发展和成熟，也由于神经网络等方法在理论上缺乏 实质性进展，该理论受到越来越广泛的重视。有学者认为，支持向量机正在成为 继神经网络之后的新研究热点p 冲i 。 从监测到的非平稳时自j 序列数据中学习归纳系统的规律，并利用这些规律对 未来时间序列数据或无法监测的时间序列数据进行预测，一直是智能系统研究的 重点。在这类事件驱动方法的研究中，神经网络方法是最为广泛的，通过学习不 断修正神经网络中神经元的各权系数，使训练误差充分小。尽管神经网络方法可 以得到最小的训练误差，但对于未经训练的新数据，其泛化能力较差，存在过学 习问题。神经网络学习方法的不成功原因在于它是基于经验风险最小化准则 ( e m p i r i c a lr i s km i n i m i z a t i o n ，简称e r m ) 的。根据统计学习理论，为了控制泛化能 力，需要控制两个因素，即经验风险值和置信范围值。e r m 准则只强调了经验风 险，没有最小化置信范围值，因此基于e r m 准则的学习方法，其泛化能力较差。 要最大化泛化能力，不仅需要最小化经验风险，而且应控制置信范围值。这是 v a p n i k 和c h e v p n e n k i s 提出的结构风险最小化准贝3 ( s t r u c t u r a l r i s km i n i m i z a t i o n ) 的基本思想。v a p n i k 提出的支持向量机侣u p p o r tv e c t o rm a c h i n e s ，简称s v m ) 就是 这种思想的具体实现，它不同于神经网络等传统方法以训练误差最小作为优化目 标，而是以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目 l r p 稳时问序列的颅删方法研究 标。因此，s v m 的泛化能力要明显优于神经网络等传统学习方法。对于s v m 而 言，函数预估可以描述为解一个凸优化问题( 典型的二次规划问题) 。标准的s v m 函数拟合方法是将输入样本点从输入空i 日j 非线性地映射到一个高维的特征空| 日j ， 然后在该高维的特征空间中通过最小某种损失函数而得到线性的拟合函数。根据 m e r c e r 定理，该线性函数的参数可以通过求解对偶空间中一个有限维数的二次规 划问题而得到，由于只用到了相关的核函数，避免显式求解高维映射，从而避免 了“维数灾”问题。s v m 通过解一个线性约束的二次规划问题得到全局最优解， 因而不存在局部最小值问题，其一经提出就得到了广泛的重视。支持向量机在解 决小样本、非线性及高维模式识别问题中表现出许多特有的优势，这些优势能够 被推广应用到函数拟合等学习问题中，这使它成为机器学习界的研究热点，并被 成功应用到很多领域。如支持向量机在邮政手写数字识别、文本识别、人脸识别、 三维物体识别、遥感图像分析等方面都得到应用。支持向量机同样适用于时间序 列分析和回归分析等领域。 尽管支持向量机算法的性能在许多实际应用中得到了验证，但是该算法存在 着一些问题，如训练速度慢、算法复杂以及检验阶段运算量大等等。为了使支持 向量机方法能在实际问题中获得更好地应用，近年来许多研究者在这方面做了大 量的工作。由于支持向量机具有良好的泛化能力，而最小二乘是函数回归最基本 的工具之一，并且在数据估计中占有举足轻重的地位，将最小二乘问题转化为支 持向量机形式的问题加以解决，就可以保证得到的函数具有最小的预测风险，即 具有最好的泛化能力。s u y k e n s 首先提出了最小二乘支持向量( l s s v i ) 理论，即将 最小二乘线性系统引入支持向量机，代替了传统的支持向量机采用二次规划方法 解决分类和函数估计问题的做法。最小二乘支持向量机仍是基于多类核的机器学 习方法，即采用核函数根据m e r c e r 条件从原始空间中抽取特征，将原始空间中的 样本映射为高维特征空间中的一个向量，以解决原始空间中线性不可分的问题。 最小二乘支持向量机是传统支持向量机的一种扩展，它是支持向量机在二次损失 函数下的一种形式，只需求解线性方程，求解速度快，在函数估计和逼近中有独 特的优势1 2 7 】。 目前，国内对s v m 及其改进算法l s s v m 方面的研究还较少，清华大学的张 学工老师对支持向量机的原理作了比较详细的介绍，并在函数拟合等应用领域作 了探讨。文献 2 8 3 5 1 初步将支持向量机回归用于时间序列的预测并取得了较好的 预测效果。l s s v m 在工程应用领域的研究也很少，浙江师范大学数理学院的叶美 盈教授在1 3 6 3 8 1 文献中将l s s v m 用于混沌时间序列的辨识、预测及混沌系统控 制等。但将l s s v m 应用到非平稳时间序列预测中更少，由于支持向量机还处于发 展阶段，很多方面需进一步完善，以达到既借助支持向量机解决实际问题又促进 支持向量机发展的目的。 1 4 研究意义 非平稳时间序列预测具有很强的实际意义和广泛的应用环境，如金融领域中 的股指时闯序列预测、材料科学领域的非晶合余的晶化过程时1 日j 序列预测、社会 领域中的未来人口数的预测及地质研究领域的地震预测等，但是由于现实中的数 硕i 学位论文 据采集难免引入噪声，并且产生时间序列的系统本身的非平稳性，高度的复杂性， 从而使得非平稳时间序列预测具有挑战性。 对于均值具有趋向性的非平稳时间序列预测，除了模型的选择外，关键取决 于如何提取时间序列中的低频和高频成分并对其建模，以及如何避免对高频信息 的过拟合。为了解决这类非平稳时间序列的预测问题，考虑到小波分析具有较强 的局部化时频分析能力及支持向量机的较好泛化能力，本文对基于小波变换和基 于最小二乘支持向量机的非平稳时间序列分析进行了认真深入地研究，通过仿真 验证了其对非平稳时间序列分析的有效性和实用性，并在此基础上提出了一种基 于m a l l a t 算法和a i r i - 5 s v m 的非平稳时自j 预测方法。本方法将基于统计学习理论 的支持向量机和基于“数字显微镜”之美誉的小波变换应用到非平稳时间序列预 测的研究中，根据趋向性非平稳时间序列固有的确定性、非线性和波动性，采用 小波变换分离出非平稳时间序列中的非线性低频趋势成分和高频波动成分，然后 利用能对平稳时间序列具有较好预测能力的统计推断建模，并结合能把输入向量 映射到一个高维特征空间中实现数据线性可分来提取信息的最小二乘支持向量 机，实现对非平稳时间序列的精确预测。研究结果充分说明该方法泛化能力强， 预测效果较好，是均值具有趋向性的非平稳时间序列的有效预测方法。它的预测 精度要优于a r 统计推断建模预测精度和b p 神经网络的预测精度，对迸一步解决 实际工程问题具有很好的应用前景。 1 5 研究内容 本文围绕“非平稳时间序列的预测方法”研究课题，系统地学习了时间序列 分析，小波分析、统计学习理论、支持向量机及最小二乘支持向量机等方面的知 识，大量地参阅了目前时间序列预测科研领域的各种先进预测方法论述和专著， 认真地探究各种预测方法的有效性和适用性，并在此嚷实的理论学术的指导下提 出了一种针对非平稳时间序列的新型预测方案一基于小波变换和a r - l s s v m 非平 稳时间序列预测方法。该方法将基于统计学习理论的支持向量机和具有“数字显 微镜”之美誉的小波变换应用到非平稳时间序列预测的研究中，根据趋向性非平 稳时间序列固有的确定性、非线性和波动性，采用小波变换分离出非平稳时问序 列中的非线性低频趋势成分和高频波动成分，然后利用能对平稳时间序列具有较 好预测能力的统计推断建模，并结合能把输入向量映射到一个高维特征空间中实 现数据线性可分来提取信息的最小二乘支持向量机，实现对均值具有非平稳特性 的时间序列的精确预测。 根据非平稳时间序列固有的确定性、非线性和波动性，主要做了以下工作： 1 ) 简要回顾了时间序列预测方法的发展现状，介绍了时间序列分析的基本概 念，分析了传统统计分析的基本原理和方法，研究分析了多种时侧序列模型，包 括平稳时间序列和非平稳时问序列的经典统计推断建模方法和步骤。 2 ) 尽管小波分析在许多实际应用中得到了验证，但目前将其应用到非平稳时 间序列预测领域研究很少。因此本文对小波分析中的小波变换原理以及m a l l a t 算 5 1 r f 稳时问序州的顶删方法研究 法做了仔细的分析和研究，并重点探讨了m a l l a t 算法在非平稳时间序列分解和重 构中的应用。电网检测电压的非平稳时问序列信号除去噪声的m a t l a b 仿真实例 表明，小波变换为非平稳时间序列信号的时频分析提供了一种有效的分析工具。 3 ) 探讨了机器学习、统计学习理论和支持向量机分析原理，研究了支持向量 机的改进算法一最小二乘支持向量机。最小二乘支持向量机是通过解一组线性方 程组取代标准支持向量中二次规划优化，提高了收敛速度，比标准支持向量机具 有更小的计算复杂性，因此将最小二乘支持向量机应用到非平稳时间序列研究中， 提出了一种基于l s s v m 的非平稳时间序列预测方法，较好地解决非平稳时间序列 预测问题。仿真实例说明，在样本较少时，基于最小二乘支持向量机的辨识和预 测效果很好，不仅收敛速度快，而且预测较准确，这为非平稳时i 日j 序列预测提供 了一种有效的解决思路。 4 ) 基于上述理论的研究，将小波变换和最小二乘支持向量机组合应用到非平 稳时间序列的研究中，提出了一种基于二进正交小波变换和a r l s s v m 方法的非 平稳时间序列预测方案。首先利用m a l l a t 算法对非平稳时间序列进行分解和重构， 分离出非平稳时间序列中的低频信息和高频信息，然后对高频信息构建自回归模 型，而对低频信息则利用最小二乘支持向量机进行拟合，最后将各模型的预测结 果叠加，从而得到原始序列的预测值。研究结果表明，该方法不仅能够充分拟合 低频信息，而且能够避免对高频信息的过拟合，是这类非平稳时间序列的有效预 测方法。 1 6 本文构思 本文内容构思方式如下： 第一章概要介绍了本文的研究目的、现状、意义、内容及技术路线。 第二章探讨了基于统计推断的非平稳时间序列分析的基本性质特征及概念， 研究了平稳和非平稳时间序列的统计分析方法，并总结了相关的统计推断建模原 理及方法。 第三章对小波分析的原理及方法进行了阐述，尤其对m a l l a t 算法的分解与重 构原理进行了详细地论述，并利用其对非平稳信号进行了分析，通过仿真说明该 算法在非平稳时i 日j 序列分析应用中的优越性和有效性。 第四章对支持向量机的基本原理以及最小二乘支持向量机算法原理进行了 详细探讨，重点研究了最小二乘支持向量机，并将其应用于非平稳时间序列预测 中，仿真说明l s s v m 是非平稳时闻序列预测的可行性和有效性。 第五章探讨了基于小波变换和a r l s s v m 方法的非平稳时间序列预测方案， 并将其应用到上证指数和非晶合金晶化电特性的非平稳时间序列预测中，通过仿 真验证该算法的有效性。 总结了论文所做的工作，提出进一步需解决研究的问题。 硕l 学伸论丈 第2 章非平稳时间序列分析 2 1 时间序列概述 人们的一切活动，其根本目的无不在于认识和改造客观世界。时间序列不仅 可以从数量上揭示某一现象的发展变化规律或从动态的角度刻划某一现象与其它 现象之间的内在数量关系及其变化规律性，达到认识客观世界之目的；而且运用 时序模型还可以预测和控制现象的未来行为，修正或重新设计系统以达到利用和 改造客观之目的。从统计学的观点来看，统计学所研究和处理的是一批有“实际 背景”的数据，尽管数据的背景和类型各不相同，但从数据的形成来看，无非是 静态数据和动态数据两类。静态数据是由若干相关现象之间存在的内在数值联系， 研究这种数据结构的统计方法是多元统计分析。动念数据是由某一现象或若干现 象之间关系的发展变化规律性，研究这种数据的统计方法就是时间序列分析。就 此足以看出时序分析的重要性及其应用的广泛性。 时间序列是按照时间顺序取得的一系列观测值，一个本质特征就是相邻观测 值的依赖性。时间序列分析所论及的就是对这种依赖性进行分析的技巧。它是一 种根据动态数据揭示系统动态结构和规律的统计方法，是统计学科的一个分支。 其基本思想是根据系统有限长度的运行记录( 观测数据) ，建立能够比较精确地反映 时问序列中所包含的动态依存关系的数学模型，并将这种模型用于一个重要的应 用领域一时间序列预测。从统计特性的稳定性可将时间序列分为：平稳时间序列 和非平稳时问序列；从时间的变化趋势可将时间序列分为：水平变化趋势、增长 变化趋势等。 2 1 1 基本数学知识 时序分析的基本概念之一就是随机过程。所谓随机过程，就是说现象的变化 没有确定形式，没有必然的变化规律。用数学语言来将讲，就是事物变化过程不 能用一个或几个时间t 的确定函数来描述。也就是说，如果对事物变化的全过程进 行一次观测得到结果是一个时间t 的函数；但对同一事物的变化过程独立的重复进 行多次观测所得的结果是不相同的。从时间角度来考察，若对于每一个特定的t e t ( t 是一个无穷集合，称为参数集) ，x ( f ) 是一个随机变量，则称这一族无穷多个 随机变量 z ( f ) ，t z 是一个随机过程。可见，随机过程x ( t ) 是依赖于时间t 的一 族随机变量，而时间序列则是随机过程的一次样本实现。通俗地说是指观察、测 量或记录的按时间先后排列又相互关联的一串数据。 在时间序列分析中，主要对某一时间序列建立统计模型，并根据变量本身的 变化规律来预测或控制未来的变化。 设仁o ) ，t r 是随机过程，对任意n 1 和，如， e t ，由随机过程理论知， 1 卜r 稳时m 序列的颅测方法研究 一个随机过程的概率特性由其有限维分布函数唯一决定： ，； ，“，而，毛，t l ，f z ，) 。尸 x “) s 薯， ，1 、 x 如) 皇而，x 纯) s ，t ，屯，e r ，t t ，t 2 ，屯n ” 在实际问题中，要知道随机过程的全部有限维分布函数族是不可能的，一般 是利用随机过程的某些统计特征来取代f 。时间序列常用的统计特征如下： ( 一) 若随机变量x ( f ) 的函数为f ( x ) ，密度函数为p ( x ) ，则f ( x ) 的数学期望为 研，( 瑚；亡，( 咖( x ) 出 ( 2 2 ) 并定义随机变量x o ) 的均值为以一e 瞵( f ) 1 ：同时设 x ( f ) ，t e t 是随机过程，如 果对任意t e t ，研x o ) 】存在，则称函数 胁，t e t ) 为随机过程 x p ) ，f z 的均值函 数。对任意t e t ，若研x ( f ) 】2 存在，则称弘( f ) ，t e t 为二阶矩过程；若研x o ) 】存 在，则称为一阶矩过程。 ( 二) 定义随机变量x ( f ) 的方差为 口；一v a r x 】一e 【( z e x ) 2 】一( e x ) 2 一e x 2 ( 2 3 ) ( 三) 随机变量x 和y 的协方差函数定义为 c o v ( x , y ) - e - i ( x - t 田o - b ) 一肠y 一点跹r r 口一e 【( x 一以) 一以) 】 ( 2 4 ) 其中，以为x 期望，为l ，的期望，x ，y 的相关函数为 c o y ( z ，y ) p w 。| 、 2 v a 2 r 2 ( x 兰) 2 v a 三r 一( y ) ( 四) 设 置 为二阶矩随机序列，v t ，s e z ，记y ，一e ( 置一以) ( 置一以) ，则称k 为 五) 的自协方差函数。它是二元对称函数，也常记为- c o y ( x , ，置) ，当f s 时， 以一e ( z 一鸬) 2 ，称以为 互) 的方差函数，也常记为n v a r x , 。 ( 五) 设y ，是二阶矩随机序列 墨) 的自协方差函数，令 驴而y t , s 。高鞴 泣s ， 几。而。而乖丽 u 山 称n ，为 置) 的自相关函数，n ，无量纲，也是二元对称函数，它与r ，一样刻画了 置) 在不同时刻的相关程度。由s c h w a r t z 不等式知，二阶矩过程的自协方差函数 和自相关函数一定存在，且满足下列关系 y t j 。p i j l l i s ( 2 7 ) 特别地，当以= 0 时以，；y ，。 均值函数一是随机过程弘 ( f ) ，f r ) 在时刻t 的平均值，方差函数n 是随机过 程在时刻t 对均值一的偏离程度，而协方差函数k 和相关函数n 。则反映随机过 硕十学位论文 程仁 ( f ) t e t 在时刻s 和时刻t 的线性相关程度。 ( 六) 差分：设 置) 为随机序列，v x , 一置。一五，称 踊) 为 置) 的差分序列。 时间间隔为s 的差分记为v x , - x , + ，一置；二阶差分是指对一次差分后的再差分， 记为v 2 置- ( x 。一置+ ，) 一( x 。一x ，) - 置+ ：一2 x 。+ 置，二阶以上称为高阶差分。在 时间序列分析中，差分的目的是将非平稳转化为平稳。 2 1 2 时间序列预测 实际中常用的预测方法就是用合适的模型描述历史数据随时问变化的规律， 进而用此模型预测未来。设x 。表示一组序列在t 时刻的值，且t 跑遍1 玎时刻。由 于不能知道t 时刻以后的值，因此只能通过历史值毛一，来预测现在及未来的 值，即要对作出预测，并记作孟。它是一个关于历史值的函数，即： 霉一f ( x a ，1 ，f ) ( 2 8 ) 变量f 也包含在内，这样使得与历史时间t 紧密相连的预测函数能得以表示。残差 岛可以表示为： 岛- 一，“，薯。t ) ( 2 9 ) 若对t 所作的预测效果不是很理想，那么残差乞就不能很好的解释的结构。因此， 比较理想的预测函数，需要满足下式： 6 f 一一f ( x a ，。，f ) ( 2 1 0 ) 其中扛是期望值为零，方差有限的时间序列。这说明时间序列具有“可解释”的确 定分量，可以由函数，及一个“不可预测”的随机分量来描述。要达到更好的预 测效果，需要函数，尽可能简单，即：相关输入历史值数目应尽可能少。 如上所定义的预测函数假定五可以写为时间序列历史值的一个函数。其更一般 的定义式可以表示成： 厂“1 ，t ，a t i ，口1 ) ( 2 1 1 ) 此