平稳时间序列的ARMA模型

1、1平稳性第五讲（续）平稳时间序列的ARMA模型有一类描述时间序列的重要随机模型受到了人们的广泛关注，这就是所谓的平稳模型。这类模型假设随机过程在一个不变的均值附近保持平衡。其统计规律不会随着时间的推移发生变化。平稳的定义分为严平稳和宽平稳。定义1（严平稳）设xt,tT是一个随机过程,xt是在不同的时刻t的随机变量，在不同白时刻t是不同的随机变量，任取n个值t1,K,tn和任意的实数h,则Xi,K,%分布函数满足关系式Fn(x1,L,xn;t1,Ltn)Fn(x1,L,xn;t1h,Ltnh)则称xt,tT为严平稳过程。在实际中，这几乎是不可能的。由此考虑到是否可以把条件放宽，仅仅要求其数字特征

2、(数学期望和协方差)相等。定义2(宽平稳)若随机变量xt,tT的均值(一阶矩)和协方差(二阶矩)存在，且满足：(1)任取tT，有E(xt)c；(2)任取tT，tT，有E(X(t)a)(X(t)a)R()协方差是时间间隔的函数。则称Xt，tT为宽平稳过程,其中R()为协方差函数。2各种随机时间序列的表现形式白噪声过程(whitenoise,如图1)。属于平稳过程。yt=ut,utIID(0,2)图1白噪声序列（2=1）随机游走过程（randomwalk,如图11）。属于非平稳过程。yt=yt-1+ut,utIID（0,2）图2随机游走序列（2=1）图3日元兑美元差分序列图4深圳股票综合指数图5随

3、机趋势非平稳序列（=）图6随机趋势非平稳序列（=）图7对数的中国国民收入序列图8中国人口序列3延迟算子延迟算子类似于一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻，记B为延迟算子，有xtpBpxt,p1。特别（1B）是差分算子。4.ARMA（p,q腰型及其平稳性和可逆性模型类型及其表示在平稳时间序列的分析中，应用最广泛的是有限参数模型。p阶自回归模型：用自己的过去和现在的随机干扰表Xt。Xt1Xt12Xt2LpXtpatat是白噪声。q阶移动平均模型：用现在和过去的随机干扰表Xt。Xtat1at12at2Lqatqp阶自回归和q阶移动平均模型：自己的过去

4、及过去和Xt 1Xt 12Xt 2 L现在的随机干扰表Xt。pXtpat1at12at2Lqatq其中at是白噪声序列。平稳性XtiXti2Xt2LpXtpat是平稳时间序列的反映吗？如果它是平稳时间序列的模型，回归系数应该满足何种条件呢？例设Xt是一阶自回归模型，即XtiXti0或(B)Xtat,其中(B)1国则Xt1at(利用等比级数的通项和公式)(1iB)=ijBjatj0=ijatj如果|1|1，Xt1jatj，atj的系数随着j的增加而j0趋于无穷大，这显然违背了“远小近大”的原则，由此可见，平稳的充分必要条件是|1|1，|1|1的充分必要条件方程11z0的根在单位圆外。设xt是一个

5、p阶自回归模型Xt1Xt12Xt23Xt3pXtpat或(B)Xtat其中：(B)11B2B23B3LpBp。xt平稳的充分必要条件是：1i2233Lpp。的根在单位圆外;pp。的根在单位圆内1。p可逆性我们可以考虑到一个时间序列Xt是否可以用它的现在值和过去值来表示现在时刻的随机干扰a呢？即atI(B)Xt这种表达式称为“逆转形式”。如果一个时间序列具有逆转形式，也就是说逆转形式存在且平稳，通常称该过程Xt1证明请参看附录1。具有可逆性。例设Xt是一阶滑动平均模型，即Xtala或Xt(B)at,其中(B)1iB则at1Xt(利用等比级数的通项和公式)(1iB)=1七区jo=1jXtjjo对于

6、一阶滑动平均模型Xta1ati，无论1取何值，Xtat向1是一个名副其实的平稳序列，但是对于Xtat1at1的“逆转形式”是否存在，则取决于|1|是否小于1。如果|1|1，Xt1jXtjatj1Xtj的系数随着j的增加而趋于无穷大，这显然违背了“远小近大”的原则，由此可见，Xtat1at1的逆转形式存在的充分必要条件为|1|1，|1|1的充分必要条件方程11z0的根在单位圆外。Xtat1at12at2Lqatq(B)at可逆的充分必要条件为，方程(z)11z2z2Lqzq0的根在单位圆外。q1q12q2Lq0的根在单位圆内2。q由于自回归模型Xt1Xt12Xt23Xt3LpXtpat稍微变形，

7、就是用系统的现在和过去值表示随机干扰项，所以自回归模型自然可逆。ARMA(p,q)的平稳性和可逆性设时间序列Xt是ARMA(p,q)模型Xt1Xt12Xt2LpXtp2证明参看附录20at1at12at2Lqatq令(B)11B2B2LpBp(8) 11B2B2LqBq则模型记为(B)Xt(B)at如果1.p0,q0；2. (B)和(B)无公共因子；3. (z)0和(z)0的根在单位圆外。则Xt是自回归移动平均模型，平稳且可逆。它有传递形式Xt-(B)at,由此可以认为，任何一个自回归滑动平均模型(B)都可以用一个足够高阶的滑动平均模型逼近。逆转形式at-(B)Xt,可见任何一个自回归滑动平均

8、模型都可以用一t(B)t个足够高阶的自回归模型逼近。5平稳时间序列的统计特征总体的自相关函数和样本的自相关函数(看参考教材王燕，应用时间序列分析，中国人大生版社，2005)一、AR(p)模型的自相关函数AR(p)模型，自相关函数快速收敛于零，但不等于零，“拖尾”。又因为ARMA(p,q)模型(B)xt(B)t的可逆性，即t-(B)xt,所以任何一个ARMAp,q)模型都可以表示t(B)为一个足够高阶的AR(p)模型，所以ARMA(p,q)模型与AR(p)模型有相同的统计特性。下面从可以从图18到图25观察时间序列图与其自相关函数图的特点。图9白噪声序列的自相关函数ACPACQ-SlatProb

9、3GJ-4u104411o1rtUJ.Dn口D2-£O924.1541rrrr.lEi85S5LUtfra3/15/U4Tim-.23:23SAmple:1200IncludBdDbeennalions2nliii-middI.IPBftialCrrelatiiQri4七274Flnntir-旧4-77sf4与7Bl-I日J97B2口7J&5EIN&&a7as.Big2292345®7_bEE6G734334口a.urlrrDnnu._1Jnn-IJnDl.UJ.rliuDnou'10.6S410.7951L1I.B33FiB307A-31J

10、2499M3HH莓琴品者谖T1112.4dE-?.7.7.4.ala17.?111111111112酉420.111-a103-OSOm.QiiB.GE1-FM口-IXDM7a.0370.D7B-.057D.D1S-0.ss：-.DCJQa.02S.eg064口OCT-.SD.DIS-aCM=4-IE-0.D33-,EKS-.04J.DIZ1-L匚1L7匚th:23E-一fc匹司20二二上7匚42KEL1-4-13?1B1_H2151unASHbii471n4ulolounounoanouonoonourtlonou口町口口口口口口山0口口口口.一.一一一一一一二一一WV»12345

11、6709o123-457Da-1294-57图10白噪声序列的自相关函数图图11人工模拟序列Xt=0.65X"0.36Xt-2+at图Q0O0O0O0OO0O0O0O0O00O0O0O0OO0O0O0O0OI II II I口口口口.口.口.口.0.口.口.口.口.76一-|石4石上口y41lc62号。口IbQ 3-33A口后eU34 石。 237,6-1&M>5'2r中2中4J«I匹4azy&Q&efi- .1II 田7N444J -M-8 5ilJee.m24i44.67.7.dae.a07.(4.m4.4i4i.6e.KJ0.ae

12、.aa2.wa7.a4 0 1 11 1 112123461占生6日&&6151日&|51&&&曰(曰Os310za-e317 4s10o4 03-Gd2_H-1_J4 9s120A-47 7 1 &s 162620162 1&163 A 3317D16_O1H3-1&6A21 力1口。口 口0.0.1©月©.0刀门。! 60口0.口口口口0.00.口04-|.4|70。0.口0口口白口|_|.。0.口0.口口4口口oIEI7744G7"IJi5e4o5H51Je产了 N2N1 旧JII-石2

13、1 旧73门口24七 一：一J'rl'iQi G ”二？产1 Jfwb例7r211573 “£-ii ,H4K W&5J e3100000COOQ00011111_uooo_UOOOOQ011000 ddddo.dddddddo.o.ddddddddo.dddda.一 111Hlia -I - H!lil.aN34Gs7mm 口 Twmdssz 日日 口1之34&曰7日目口 123力石 11 111 111 1132222221,53333333图12人工模拟序列Xt=0.65Xt+0.36Xt-2+at的自相关函数图图13模拟随机游走序列xtXtia

14、t图levtWM-I£EmrieMIfHTffl.KlIiI11DL4I<QtJtK、4w0，$也口口且，*上小事宣1豚44-&Vs1|Fir口y|口Ji大上.PrinAHas.|-工工<1|旦yk1_|号.m|3/.dnAl_X-：口Olu03/1G/Q4Tkrnw23.31Smpln3200hILlUldlWLl(JUJLMYiIIlMI”ISBAij|-rwl«1,jaflPsttlol(口MpUghAC口人口Q-pfob口.口口口口8口IIIIIQQiiHiinCIOCa.maoo.ooc-U.ODD.CK3DilllQ.QQOiIilH.ODD

15、nnntc"oooo.NJDCJ.OOOaooc-o.iziaoUCiOC4irHFa口71口口9u门H口T3右与EraNF1口'51L需熊懿詈嗓富霄监急裁匿w7nmn2l.4llzII五1Nn46sv巨日口nlul34LIT-sz-ffl1111111132323333333D口：口137口9E。口S°GnInnhmlMrn-AJl口门2-1m6闩u3JGtl与3ran£>门口二Mn2口qn.o口.o_u.oInn.u口.u门.(口口口.£!n,o-y:.oIJ(o.cdo.ljQio.Qao.a.o.no.cl.a.do.ddGIo.o

16、-c.Qo.a.cl.o.*;厚韬B窑需需需ssefl郢军需黑窑«faSW0H130日7下./7/丁后匕后石ri石rie七口巴与乃二u_HuOnooAunununnoOu_uo?m4EFZCOm口12IT4rlH尸0II112r4DBA曰二11111111113332-图14模拟随机游走序列xtxt1at的自相关关函数图二、MA(q)的自相关函数结论：MA(q)模型的自相关函数q阶截尾，即在q+1及以后为零。图2-7是模拟一阶移动平均模型Xtat0.8at1趋势图，图2-8是Xtat0.8at1自相关函数图15Xtat0.8at1趋势图11CJ10rl"1«>

17、;口Oalq03/22411-4TlniQ口9:口1Sair-nplci胃MCOndDidr>dobis-e«nmIions:199ACFA匚：Q-StAtF=*inzilzinmllciconnoonUnnnounu-uonEonUnucl.=口II.IJCUIK口口ij口片口II口Uncnnnoonu-u-onnoo口口口口口Soouril_iuocDonDooanonDDOUnoon-n-DUDonoooM-DD51LI'llIfil./S3HEsi.G2.0OC-54.5«59S7.37iHSIH.59Booe石吕II目目5.加弟6(3.5,1GS.7

18、34，.I.>.i石日一日口23日0日非67-1336B.38Szu.3z?s71.37?7.2-lB日M-0"iiwj8B.373三吕.与n口日G.U00.20109.066413a9nID0n3QIS3目5日目了01日9|011口0n1_SG04Hzn171b43on=6口Fi口口NI5.3:¥Bnlln口口口u口口no口口；口口3111。dcl.on.o.o.tJ,icl.c.Q,da.no.o.dc,o.ma.wo.dno.a-BV-_a一.i-031BLIn-42302eMFb-lai口BzngdB口,JP3Z口21口II-01mJII1F4/1113n上F

19、lRn-12JRB巴口口口口ol-liQ口口口u口口门口口-lur-ln口o口口口口3dmo.o.o.口口o.mD.locl.cl.dmmmmdo.3dmmc,口d3d"r-r1111T0.8ati自相关函数图MA(q)模型的工具，自相关函图16xjXLitLj£:=Id-dIAtIiOrtF3dullAlC：Orii-'Q-Iia-ferii=ifi724石石丁HN3W三6700口1-23£石丁口|«1111111111220-m2-?三，2由此，我们已经有了识别数q阶截尾。但是对于AR(p)和ARMA(p,q)模型，则无法区别了。2.4.2偏

20、自相关函数kk由AR(p)模型本身看，只涉及到n步相关性，但序列的自相关函数k确是拖尾的。AR(P)模型的偏自相关函数p阶截尾。kk0,kpo注：偏自相关函数的概率意义是在给定Xt1,L,Xtk1的条件下，Xt和Xtk的相关系数。ARMA(p,q)模型自相关和偏自相关均拖尾，但是快速收敛到零。表1自相关和偏自相关特征表模型AR(p)MA(q)ARMA(P,q)自相关函数拖尾截尾拖尾偏自相关函数截尾拖尾拖尾对一个实际时间序列，我们能掌握的是一段样本数据，所以首先要利用样本数据估计模型的自相关函数和偏自相关函数。【例】利用1997年1月2002年12月到北京海外旅游人数资料绘制自相关和偏自相关图，

21、在这里去掉了2003年的数据是由于非典的流行使2003年到北京旅游的人数锐减，出现奇异值，不具有一般性。如图17所示。CaseNumber图171997年1月2002年12月到北京海外旅游人数曲线图Autocorrelations:SARS403020100Auto-Stand.LagCorr.Err.-10.25.5.751Box-LjungProb.1.587.115.*.0002.358.115.*.0003.166.114.*.0004.074.113.*.0005.068.112.*.0006.183.111.*.0007.034.110.*.0008 .011 .110*.0009

22、.095.109.*.00010.253.108.*.*.00011.427.107.*.*.00012.660.106.*.*.00013.386.105.*.*.00014.179.104.*.00015.038.103.*.00016.103.*.000Autocorrelations:SARSPlotSymbols:Autocorrelations*TwoStandardErrorLimits.图1897年1月到02年12月到北京海外旅游人数自相关图图18显示滞后一期和滞后两期的自相关函数分别为和，超过了两倍标准差，显著不为零，以后的自相关函数均显著为零，直到滞后期为周期的长度12时，

23、自相关函数出现了峰值，为，这是季节性时间序列的十分典型的特征，该序列从自相关函数看长期趋势并不十分显著。而且可能建立MA模型会产生过多的参数，于是可能适应的AR模型。根据偏相关系数，如图19所示PartialAutocorrelations:SARSPr-Aut-Stand.1.587.118.*.*2.020.118.*.3.118.*.4.003.118.*.5.064.118.*.6.197.118.*.7.118*.8.036.118.*.9.223.118.*.10.248.118.*11.239.118.*12.391.118.*.*13.118*.*.14.118.*.15.11

24、8.*.16.118.*.Plot Symbols:图19Autocorrelations*TwoStandardErrorLimits.97年1月到02年12月到北京海外旅游人数偏自相关图偏自相关函数图19显示滞后期为1,7,12和13的偏自相关函数分别为、和，显著不为零，该时间序列的偏自相关函数显示该时间序列可能适应的模型(1F)(1族12%马和(1iB7B712B12熊13/1司。我们模拟模型为(11B)(112B12)Xtato表2模型(1iB)(1i2B12)Xt巩的参数估计表参数参数估计标准差t值P值12Log likelihoodStandarderrorAICSBC表2显示，该

25、模型为Xt22.739866a-t(10.495942B)(10.767214B12)进一步对模型的适应性进行检验，回归系数均显著外，残差的自相关函数均落在两倍标准差内，可以认为残差序列是白噪声序列，如图20所示。Auto-Stand.LagCorr.Err.-10.25.5.751Box-LjungProb.1.115.*.175.6762.039.115.*.292.8643.040.114.*.416.9374.056.113.*.664.9565.112.*.668.9856.112.111.*.9477.028.110.*.9728.110.*.9839.117.109.*.9611

26、0.031.108.*.97711.107.*.986.99112.10613 .130.105.*.97514 .025.104.*.98515 .017.103.*.99116 .067.103.*.993图20最终模型残差的自相关函数图最终模型残差的白噪声检验结果表明残差序列可以视为白噪声序列，模型是适应的。当模型通过了检验，我们可以用该模型进行结构分析和预测分析了。3时间序列建模的方法为了对时间序列建模有一个较全面的了解，下面从样本观测数据出发，介绍建立时间序列模型的基本步骤。Box-Jenkins方法是以序列的自相关函数和偏自相关函数的统计特性为依据，找出序列可能适应的模型，然后对模

27、型进行估计。通常可以考虑的模型ARMAARIMA和乘积型季节模型。（一）模型的识别对于一组长度为N的样本观测数据x1,x2,xN，首先要对数据进行预处理，预处理的目的是实现平稳化，处理的手段包括差分和季节差分等。经过预处理的新序列能较好满足平稳性条件。模型的识别包括差分阶数d、季节差分阶数D、模型阶数、q、k和m的识别。识别的工具是自相关函数和偏自相关函数。如果样本的自相关函数？(s)当sq时显著为零，则序列适应的模型是MAq。如果样本的偏自相关函数？s当sp时显著为零，则序列适应的模型是ARp。若样本的自相关函数和偏自相关函数均拖尾，并且按负指数衰减，则序列是ARMA序列，这时应该从高阶到低

28、阶拟合模型，从中选择最佳的。当自相关函数缓慢下降，或是具有季节变化，那么观测的序列是具有趋势变动或季节变动的非平稳序列，则需要做差分或季节差分，如果差分后的序列的样本的自相关函数和偏自相关函数既不截尾又不拖尾，而在周期s的整倍数时出现峰值，则序列遵从乘积型季节模型，否则遵从ARIMA莫型。（二）模型的估计当模型的阶数确定之后，利用有效的拟合方法。如最小二乘估计，极大似然估计等方法，估计模型各部分的参数。（三）诊断性检验模型选择检验所选择的模型是否能较好地拟合数据。它包括模型过拟合和欠拟合检验。通过检验的结果，修改模型。时间序列建模应该基于简约的原则，即用尽可能少的模型参数，对模型做由尽可能精确估计。所以