平稳时间序列预测法

1、平稳时间序列分析 本课程内容本课程内容： 第一章：平稳时间序列分析导论 第二章：平稳时间序列分析的基础知识 第三章：平稳时间序列模型的建立 第一章 平稳时间序列分析导论 一、时间序列 1、含义：指被观察到的依时间为序排列的数据 序列。 2、特点： （1）现实的、真实的一组数据，而不是数理统 计中做实验得到的。既然是真实的，它就是反 映某一现象的统计指标，因而，时间序列背后 是某一现象的变化规律。 （2）动态数据。 二、时间序列分析 1、时间序列分析：是一种根据动态数据揭示系 统动态结构和规律的统计方法。其基本思想基本思想：根 据系统的有限长度的运行记录（观察数据），建 立能够比较精确地反映序列

2、中所包含的动态依存 关系的数学模型，并借以对系统的未来进行预报 （王振龙） 2、计量经济学中的建模方法和思想 3、理论依据：尽管影响现象发展的因素无法探 求，但其结果之间却存在着一定的联系，可以用 相应的模型表示出来，尤其在随机性现象中。 三、确定性时间序列分析与随机性时间序列分析 时间序列依据其特征，有以下几种表现形 式，并产生与之相适应的分析方法： （1）长期趋势变化 受某种基本因素的影响，数据依时间变化时表 现为一种确定倾向，它按某种规则稳步地增长或 下降。 使用的分析方法有：移动平均法、指数平滑法、 模型拟和法等； （2）季节性周期变化 受季节更替等因素影响，序列依一固定 周期规则性的

3、变化，又称商业循环。 采用的方法：季节指数； （3）循环变化 周期不固定的波动变化。 (4)随机性变化 由许多不确定因素引起的序列变化。它所使 用的分析方法就是我们要讲的时间序列分析。 确定性变化分析 趋势变化分析 周期变化分析 循环变化分析 时间序列分析 随机性变化分析 AR、MA、ARMA模型 四、发展历史 1、时间序列分析奠基人： 20世纪40年代分别由Norbort Wiener 和Andrei Kolemogoner 独立给出的，他们对发展时间序列的 参数模型拟和和推断过程作出了贡献，提供了与此 相关的重要文献，促进了时间序列分析在工程领域 的应用。 2、时间序列分析在经济领域的应用

4、 20世纪70年代，G.P.Box 和G.M.Jenkins发表专 著时间序列分析：预测和控制，使时间序列分 析的应用成为可能。BJ方法 3、现代时间序列分析的发展趋势 （1）单位根检验（2）协整检验 2003年度诺贝尔经济学奖的获得者是美国 经济学家罗伯特.恩格尔和英国经济学家克莱夫. 格兰杰。 获奖原因：“今年的获得者发明了处理许多 经济时间序列两个关键特性的统计方法：时间 变化的变更率和非平稳性。”两人是时间序列 经济学的奠基人。 时间变化的变更率指方差随时间变化而变化 的频率，这主要是指恩格尔在1982年发表的条件 异方差模型（ARCH），最初主要用于研究英国 的通货膨胀问题，后来广泛

5、用作金融分析的高级 工具； 传统的计量经济学研究中，通常假定经济数 据和产生这些数据的随机过程是平稳的。格兰杰 的贡献主要是在非平稳过程假定下所进行的严格 计量模型的建立。（协整检验） 第二章第二章 平稳时间序列分析的基础知识平稳时间序列分析的基础知识 第一节第一节 随机序列随机序列 一、随机过程一、随机过程 1、定义： 在数学上，随机过程被定义为一组随机变量， 即， Ttzt, 其中，T表示时间t的变动范围，对每个固定的时 刻 t而言，Zt是一随机变量，这些随机变量的全体就 构成一个随机过程。 2、特征 （1）随机过程是随机变量的集合 （2）构成随机过程的随机变量是随时间产生的， 在任意时刻

6、，总有随机变量与之相对应。 二、随机序列（时间序列）二、随机序列（时间序列） 1、当 时，即时刻t只取整数时，随机过程 可写成 此类随机过程 称为随机序列，也成时间序列。 ,.2, 1, 0t Ttzt, ,.2, 1, 0,tzt 可见 （1）随机序列是随机过程的一种，是将连续时 间的随机过程等间隔采样后得到的序列； （2）随机序列也是随机变量的集合，只是与这 些随机变量联系的时间不是连续的、而是离 散的。 三、时间序列的分布、均值、协方差三、时间序列的分布、均值、协方差 函数函数 1、分布函数 (1)一维分布函数:随机序列中每个随机变量的分布 函数. F1(z) ,F2(z) , Ft-1

7、(z) , Ft(z) (2)二维分布函数:随机序列中任意两个随机变量的 联合分布函数 Fi,j(zi,zj).i,j=,-2,-1,0,1,2, 2、均值函数 对随机序列中的任一随机变量取期望。 当t取遍所有可能整数时，就形成了离散时间的函数ut称ut 为 时间序列的均值函数。 3、自协方差函数和自相关函数 ),()()(),( ,ststssttsstt zzdFuzuzuzuzEstr dzzfzzdFzEzu tttttt )()( )()(),( )()(),( 2 2 sss ttt zDuzEssr zDuzEttr 自相关函数： 当t,s取遍所有可能的整数时，就形成了时间 序列

8、的自相关函数，它描述了序列的自相关结 构。它的本质等同于相关系数。 ),(),( ),( ),( ssrttr str st 第二节 平稳时间序列 一、平稳时间序列一、平稳时间序列 1、定义：时间序列zt是平稳的。如果zt有有穷的二阶中心矩， 而且满足： （1）ut= Ezt =c; （2）r(t,s) = E(zt-c)(zs-c) = r(t-s,0) 则称zt是平稳的。 含义： a有穷二阶矩意味着期望和自协方差存在； b平稳时间序列任意时刻所对应的随机变量的均值相等； c自协方差函数只与时间间隔有关，而与时间起点无关。 二、平稳时间序列的均值、自协方差和自相关函数 1、均值函数：平稳时间

9、序列均值为常数，为分析方 便，假定E zt=0，当均值不为零时，给每个值减去 均值后再求均值，即等于0。 2、自协方差函数：平稳时间序列的自协方差仅与时 间间隔有关，而与具体时刻无关，所以，自协方差 函数仅表明时间间隔即可。 tttt tktt ktktttk DZEZEZZEr EZZEZ EZZEZZEr 22 0 )( )0( )( 3、自相关函数k 平稳时间序列自协方差仅与时间隔有关，当间 隔为零时，自协方差应相等。 k kk r r rr r ssrttr str st 0 00 ),(),( ),( ),( 4、自协方差与自相关函数的性质 (1) rk=r-k k= -k k、k仅

10、是时间先后顺序 上的差异，它们代表的间隔是相同的。 (2) 0 0 1, 1rr r r k k 三、偏自相关函数（PACF) 1、偏自相关函数用来考察扣除zt 和zt+k之间zt+1 ， zt+2， zt+k-1影响之后的zt 和zt+k之间的相关性。 2、偏自相关函数的定义 设zt为零均值平稳序列， zt+1 ， zt+2， zt+k-1 对zt 和zt+k 的线性估计为： 112211 112211 ktkttkt ktkttt zzzz zzzz kk表示偏自相关函数，则： )var()var( )(),cov( ktkttt ktkttt kk zzzz zzzz 3、PACF的涵义

11、 设有zt+1，zt+2，zt+3 )cov()(cov , 133, 1 213 213 ttttt tt ttt azzzz zz azz 4、pacf的推导 222211 2212123 33 221121 111 1112 22111 1,1,1,1 1 11 111,1 111 1 , 1 , ,.,2,1, )1)( 11 kj jkkkkkjjk kj k j jkj k j jkkkk 四、 随机序列的特征描述 （1）样本均值 （2）样本自协方差函数 cz n z n t t 1 1 kttkttktktttk ktktttk n t t kt kn t tk kt kn t

12、tk dzdzzzEzzEzzr EzzEzzEr zz n r zzzz kn r zzzz n r )()( )( )( 1 )( 1 )( 1 2 1 0 1 1 或 （3）样本自相关函数 （4）样本偏自相关函数 2 0 )( )( zz zzzz r r t ktt k k kj jkkkkkjjk kj k j jkj k j jkkkk ,.,2 , 1, )1)( 1,1, 1, 1 1 11 111, 1 111 例1、设动态数据16，12，15，10，9，17，11，16，10， 14，求样本均值、样本自相关函数（SACF）和偏自相 关函数（SPACF）（各求前三项） 222

13、 1 0 3 3 0 2 2 2 1 0 1 1 )1314()1312()1316( )1314)(1310()1315)(1312()1312)(1316( 218. 0 24. 0 53. 0 )( 1 )( 1 )2( 13 10 1 ) 1 ( r r r r zz n zzzz n r r zz t tt t 560. 0 169. 0 1 057. 0 1 53. 0) 3( 11221121 222211 2212123 33 111 1112 22 111 第三节第三节 线性平稳时间序列模型线性平稳时间序列模型 一、自回归过程一、自回归过程(A R (p)） 1、 ttp p

14、tt PP pp p ttstp t tptpttt azB zzBBBBBB BB aEzstaEz a azzzz )( .1)( 10)() 3( ;, 0, 0) 2( )1 ( ,. 2 21 2 2211 模型的简化形式为： 为后项算子， ，的根在单位圆外，即 且 为白噪声序列； 且满足：形如 2、AR(P)模型的模型的ACF、PACF特征特征 以AR(1)为例 11 1 01)( ) 1 ( )1 ( 1 1 1 111 B BB azBazz ttttt 则的根必须在单位圆外，）（ 为满足平稳性， 或 接近，越来越与 ，小，这种现象称为拖尾减小，且以指数速度减 间隔增大时，增大

15、时，即序列之间的当 的 0 , 1 , . ) 1()()()( ) 1 ()2( 1 1 0 01 1111 k kk k k ktktktttktk k r r r krazEzzEzzEr ACFAR 象。，这种现象称为截尾现时，当 ； 的递推公式有：按照 02 0 01 0 1 0 1 1 2 1 1 2 1 3 1 222211 2212123 33 111221121 2 1 2 1 2 1 111 1112 22111 kk k PACF 例： 如下：、个观察值计算为白噪声序列，利用 个观察值，模拟产生过程用 PACFACFa azBAR t tt 250 250, 9 . 0,

16、)10)(1 () 1 ( 11 k12345678910 k0.880.760.670.570.480.40.340.280.210.17 kk0.880.01-0.010.110.02-0.010.01-0.02-0.060.05 计算结果表明，ACF逐渐衰减，但不等于零；PACF在k=1后， 与零接近，是截尾的。 结论：ACF呈指数衰减，是拖尾的；PACF在一步后为零， 是截尾的。 二、移动平均模型（二、移动平均模型（MA(q)） 1、形如zt=at-1at-1- 2at-2 - qat-q模型为滑动平均模型， 其中，简化形式zt=(B)at (B)= 1-1B- 2B2 - qBq,满

17、足(B)= 0的根在单位圆外，即? B?1，此时该过程是可逆的。 2、MA模型的ACF及PACF 11 1 0)1 () 1 ( )1 ( 1 1 1 111 B BB aBaaz tttt 可逆性： 取期望得：两边同乘 时，当 时，当 ，并取期望得：两边同乘 ， 为例以 , , )()()( 0 )2(0 )1( 1 )()( )( )1()2( 1 11 110 2 1 11 11 t ttt tttttt a k kttktt kttk kt ttt a aaz zaEzaEzzEr k k k rk zaEzaE zzEr z aaz MAACF 是截尾的。 所以， 中，代入 k k

18、k a aa attt tt k k r r r r aEaaE azE )2(0 )1( 1 )1( )( )()( )( 2 1 1 0 2 1 2 2 11 2 0 0 2 1 2 111 1 (3)PACF 6 1 2 1 2 1 2 1 2 1 111 1112 22 4 1 2 11 2 1 1 111 1 )1( 1 1 1 )1( )1( 的递推公式有：根据PACF 。是减小的，呈拖尾现象从总体上看， 且增大的速度大于分子 分母增大，分子减小， 顺次减小， kk ., 1 1 )1 ( 21 1 3 1 2 111 8 1 2 1 3 1 2 1 3 1 222211 2212

19、123 33 例：用zt=(1-0.5B)at模拟产生250个观察值，at为白噪声 序列，得到序列自相关和偏自相关函数如下： 可见，ACF在一步后截尾，PACF是拖尾的。 结论：MA(q)的ACF是截尾的，PACF是拖尾的。 k12345678910 ACF-0.4400.02-0.03-0.01-0.050.04-0.03-0.030.02 PACF-0.44-0.24-0.11-0.08-0.07-0.12-0.06-0.07-0.1-0.08 三、自回归移动平均模型（三、自回归移动平均模型（AR M A (p, q)） 1、 型。称为自回归滑动平均模 的根在单位圆外。和即 平稳性和可逆性

20、条件， 为白噪声序列； 满足 0)(0)( )2( )1 ( . . 11 2211 BB a aaa zzzz qp t qtqtt ptpttt q qq p pp tqtp BBBB BBBB aBzB .1)( .1)( )()( 2 21 2 21 其中： 模型的简化形式为： 2、ARMA(p,q)的的ACF和和PACF 。 的要求，为满足平稳性和可逆性 为例：以 1,1 )1( )1()1( )1 ,1( 11 11 tt aBzB ARMA (2)ACF、PACF均是拖尾的 例：(1-0.9B)zt=(1-0.5B)at模拟产生250个观察值， ACF、PACF如下表所示： k1

21、2345678910 acf0.570.50.470.350.310.250.210.180.10.12 pacf0.570.260.18-0.030.01-0.010.010.01-0.080.05 本节介绍了三类模型的形式、特性及自相关和 偏自相关函数的特征，现绘表如下： AR(p)MA(q)ARMA(p,q) 模型方程(B)=atzt=(B)at(B)zt= (B) at 平稳性条件(B)=0的根在 单位圆外 无(B)=0的根在单位圆外 可逆性条件无(B)=0的根在 单位圆外 (B)=0的根在单位圆外 自相关函数拖尾Q步截尾拖尾 偏自相关函数P步截尾拖尾拖尾 第三章第三章 平稳时间序列模

22、型的建立平稳时间序列模型的建立 第一节第一节 模型识别与定阶模型识别与定阶 一、模型识别一、模型识别 1、含义：对一个观察序列，选择一个与其实际过 程相吻合的模型结构。 2、方法：利用序列的acf、pacf识别。判断截尾、 拖尾的主观性较大，只是初步识别。 二、模型定阶二、模型定阶 （一）（一）a c f、p a c f方法方法 （1）M A (q): Bartlett公式：当kq时，N充分大， %45.95)21 2 ( %3 .68)21 1 ( 3 ).21 ( 1 , 0( 1 2 1 2 1 2 q l lk q l lk q l lk N P N P N N N 或 近似成立：充分

23、大时，下面的等式 原则知，由正态分布的 的分布为渐近正态分布 )%(5 .95%3 .68 )21 2 ( )21 1 ( ,., , 1 2 1 2 ,21 NMM N P N P q q l lk q l lk Mqqq 一般取或的的个数是否占 或满足 考察其中计算 ，对于每一个 (2)AR（P）： ），（时，当 N Npk kk 1 0 （二）残差方差图：（二）残差方差图： （1）残差：在多元回归y=a1x1+ a2x2+.+ an x n +at,存 在自变量x的选择问题。如果x选择不够，模型拟合 不足，表现为y与 差异较大；若x选择多，则过度 拟合，y与差异减小速度很慢。 将(y-

24、)称为残差，多元回归就是利用此确定模型 的自变量，即新增或减少变量是否会显著影响残差。 （2）将该思想应用到时间序列模型定阶上。 模型的参数个数实际观察值个数 模型的剩余平方和 为此引入残差方差 模型阶数。阶数下是否显著来判定 ）在不同利用（ ）得到的估计值。阶数（ 为根据模型为序列真值， 为例，以 2 2. , ),( a a tt tt zz qp zz qpARMA )()( : ),( : )( )( )( )( 2 2 2 2 1 qPPN Q qpARMA qN Q qMA PPN Q pAR N zzQ a a a N t tt ：对于 自回归阶数实际观察值个数 模型的剩余平方和

25、 (3)利用a2的变化规律，确定模型阶数。 随着模型阶数的增大，分母减小；分子在不 足拟合时，一直减小，速度较快；过拟合时， 分子虽减小，但速度很慢，几乎不变。 a2取决于分子、分母减小的速度。在不足 拟合时， a2一直减小；过拟合时，a2却增大。 选择a2的最低点为模型的最优阶数。 （三）（三）F 检验定阶法：检验定阶法： （1）F分布： ),( / / ),(),( )(, . 21 2 1 2 2 1 2 2 1 2 21 vvF vY vX F YXvXYvXX vXXxX xxx v t t v 相互独立与若 则 正态分布相互独立，且服从标准，若 （2）用F分布检验两个回归模型是否有

26、显著差异。 2 1 22111 2211 1 22110 2211 ).( . ).( . N t srsrt srsrt N t rrt rrt xaxaxayQ xaxaxay S xaxaxayQ xaxaxay 残差平方和 模型：个变量，得到新的回归现舍弃后面 设 )( )( 0,.,0, 0: 0. ,., 2 22 0 211 210 21 为模型参数个数为残差方差， ： 。否则，第二个模型成立 个模型成立；若有显著影响，则第一 是否显著影响。对现检验 r rNXQ aaaH aaaH Yxxx a a rsrsr rsrsr rsrsr 成立。则 ， ）（ 若 ）（ 成立，若 ，

27、给定显著性水平 ）（ 则 ）独立与（且 成立，若 1 0 01 0 01 0 0 01 010 22 01 0 ),( / / ),( / / ),( / / ),( H rNsF rNQ sQQ F rNsF rNQ sQQ F H rNsF rNQ sQQ F QQQ sXQQ H a (3)对于ARMA(p,q)模型定阶 例如：在ARMA(p,q)和ARMA(p-1,q-1)选择。 是否成立。的关系，判定与，比较给定 ）（ 注： 0 0 01 2 2 1 2 2 01 2 2 0 1 0 )2, 3( 2/ 3/ )11()1( )3( )( 0,0: 0,0: HFF qpNF qpN

28、Q QQ F qppNXQ XQQ qppNXQ H H a a a qp qp 例：每隔20分钟进行一次观察的造纸过程入口开关调节器的观 察值160个。 1、series Mean S.D Max Min z 32.02 0.74 34 30.7 令z1=z 32.02 2、 1 2 3 4 5 6 7 8 9 10 acf 0.868 0.782 0.708 0.663 0.627 0.617 0.594 0.559 0.5 0.48 pacf 0.868 0.115 0.028 0.099 0.055 0.122 0.01 0.04 -0.099 0.1 3、定阶 （1）acf、pacf

29、： 从 acf、pacf可知， acf拖尾，pacf截尾，初步识 别为AR模型。 具体阶数： %.45.95 2 %,45.95) 2 ( )(,.,2, 1 )/1 , 0(, 1 比例是否达到 的中小于个即 看 取 时，当若 N M N P NMMpppk NNpkp kk kk kk ），原假设成立。（全部小于 是否成立。看 ，取若 ），原假设成立。（全部小于 ， 2159. 0 %45.95) 2 ( )13(15.,43, 2 1159. 0 14,.,3 , 2,159. 0 2 ,136 .12160 p N P NMkp p k N NN kk kk kk (2)残差方差： ）

30、合适。（ ， ， ， ，当 2 118.0 42160 88.17 ,88.174 118.0 32160 19.18 ,19.183 117.0 22160 23.18 ,23.182 122.0 12160 33.19 ,33.191 2 2 2 2 AR Qp Qp Qp Qp a a a a (3)F检验： )2( , 3)156,2(,05.0 44.3 156/23.18 2/)23.1833.19( )156,2( 4160/ 2/)( )2( )2(1 )4(2 0 21)1( 0 01 22 01 22 11 22 00 20 AR FF F F Q QQ F XQQ NXQARQ NXQARQ H ARAR a a a 优为两个模型显著差异，最 原假设不成立， 取 ）剩余平方和，（为 ）剩余平方和，（为 ： ）是否显著差异（）与（看 )2( , 3)154,2(,05.0 169.0 154/19.18 2/)19