【平稳】平稳时间序列模型的建立

1、【关键字】平稳第四章 平稳时间序列模型的建立本章讨论平稳时间序列的建模问题,也就是从观测到的有限样本数据由发,通过模型的识别、 模型的定阶、参数估计和诊断校验等步骤, 建立起适合的序列模型.学习重点为模型的识别和模型的检验.第一节模型识别一、识别依据模型识别主要是依据 SACF和SPACF的拖尾性与截尾性来完成.常见的一些ARMA类型的SACF和SPACF的统计特征在下表中列出,可供建模时,进行对照选择.表 ARIMA过程与其自相关函数偏自相关函数特征模型自相关函数特征偏自相关函数特征ARIMA(1,1,1)缓慢地线性衰减xt = 1Xt-1 + ut + 1ut-1AR (1)Xt = 1

2、Xt-1 + ut假设1 > 0,平滑地指数衰减假设1 < 0,正负交替地指数衰减假设11 > 0, k=1时有正峰值然后截尾假设11 < 0, k=1时有负峰值然后截尾MA (1)Xt = ut + 1 Ut-1假设1 > 0, k=1时有正峰值然后截尾假设1 < 0, k=1时有负峰值然后截尾假设1 > 0,交替式指数衰减假设1 < 0,负的平滑式指数衰减AR (2)Xt = 1 Xt-1 + 2 Xt-2 + ut指数或正弦衰减(两个特征根为实根)(两个特征根为共羯复根)k=1,2时有两个峰值然后截尾(1 > 0,2> 0)(1

3、 > 0,2< 0)MA (2)Xt = ut + 1 ut-1+ 2 ut-2k=1,2有两个峰值然后截尾(1 > 0,2< 0)(1 > 0 ,2> 0)指数或正弦衰减(1 > 0 , 2 < 0)(1 > 0 , 2 > 0)ARMA (1, 1)Xt = 1 Xt-1 + ut + 1 ut-1k=1有峰值然后按指数衰减(1 > 0,1 > 0)(1 > 0,1 < 0)k=1有峰值然后按指数衰减(1 > 0,1 > 0)(1 > 0,1 < 0)ARMA (2, 1)Xt =

4、1 Xt-1+ 2 Xt-2+ ut + 1 ut-1k=1有峰值然后按指数或正弦衰减(1 > 0,2 < 0 ,1 > 0)k=1,2有两个峰值然后按指数衰减(1 > 0,2 < 0,1 > 0)ARMA (1,2)Xt = 1 Xt-1+ ut + 1 ut-1+ 2 ut-2k=1,2有两个峰值然后按指数衰减(1 > 0,1 > 0, 2 < 0)(1> 0,1> 0, 2 >0)k=1有峰值然后按指数或正弦衰减(1 > 0,1 > 0, 2< 0)(1 > 0,1 > 0, 2 >

5、; 0)ARMA (2, 2)Xt= 1Xt-1+ 2Xt-2+ ut + 1ut-1 + 2ut-2k=1,2有两个峰值然后按指数或正弦 衰减(1 > 0,2< 0 , 1 > 0 ,2< 0)(1 > 0,2 < 0 , 1 > 0,2 > 0)k=1,2有两个峰值然后按指数或正弦 衰减(1 > 0 ,2< 0 ,1 > 0 , 2< 0)(1 > 0,2 < 0,1 > 0 , 2 > 0)、拖尾性与截尾性的判定理论上,对于 MA(q)过程,其自相关函数在 q步之后全部为零,实际上并非如此,由

6、于为样本数据的 估计值.同样地,偏自相关函数也存在类似的问题.判定在m步之后截尾的做法是：实际判断时,以频率代概率.判定在n步之后截尾的做法是：实际判断时,以频率代概率.拖尾：即被负指数限制收敛于零.三、 实例【例4-1】现有磨轮资料250个,试判断该数据的零均值及平稳性.1 .时间序列趋势图2 .零均值化后的图形3 . ACF与PACF图形ACFPACF第二节模型定阶1、 残差方差图法根本思想：以 AR模型为例.对于时间序列,如果其合理真正的阶数为p,当我们用一个小于 p的值为阶数去拟合它,所得到的剩余平方和必然偏大,将比真正模型的大.原因在于它把模型中原本有的一些高阶项给省略了,而这些项的

7、存在对减小残差的方差是有明显奉献的.反之,如果我们用一个大于p的值作为阶数去拟合它过度拟合,虽然剩余平方和减少,但已不明显,这时可能还会增大.因此,我们可以用一系列阶数逐渐递增的模型对进行拟合,每次都求出,作出阶数n和残差方差的图形, 进行判断.这种方法直观简单,但没有量的准那么,具有主观性.2、 自相关函数ACF和偏自相关函数PACF定阶法它们不仅可以用来识别模型,而且还可以用来确定模型的阶.3、 F检验定阶法根本思想：首先用 ARMAn,m对进行过度拟合,再令为零,用 F检验判定阶数降低之后的模型 ARMAn-1,m-1与ARMAn,m之间是否存在显著性差异.如果有显著性差异, 阶数能够升

8、高；如果没有差异,阶数可以降低.4、 最正确准那么函数定阶法最正确准那么函数法,是构造一个准那么函数,该函数既要考虑用某一模型对原始数据拟合的接近程度残 差的大小,同时又要考虑模型中所含待定参数的个数.建模时,根据函数的取值确定模型优劣,使准那么 函数值到达最小的模型是最正确模型.准那么函数法是日本学者赤池弘次Akaike最先提出.主要有FPE准那么,AIC准那么,BIC准那么,SC准那么.1 . FPE准那么根本思想：根据模型的预报误差来判断自返回模型的阶数是否恰当,合理的阶数应该能够使得模型的 最终预报误差最小.根本理论：对于模型,时间序列的一步预报误差的方差为：,而是的无偏估计,于是（1

9、）1中第一个因子,随着阶数的增加而增加；第二个因子随着阶数的增加而减少.因此它实质上就 是一个最正确准那么函数.该最正确准那么函数还可写成：根本操作：根据从低阶到高阶的方式建立AR模型,并计算出相应的 FPE的值,从中选择最小的 FPE对应的n作为模型的阶,即.2. AIC 准那么(Akaike Information Criterion )根本思想：建立模型时,根据准那么函数取值来判断模型的优劣,使准那么函数到达极小的是最正确模型, 该准那么是在模型极大似然估计的根底上建立起来的.根本理论：最小信息准那么 AIC函数的一般形式：在(2)式中 模型极大似然度一般用似然函数表示,设样本长度N充分

10、大时,ARMA模型得到近似极大似然估计的对数似然函数为：(3)由于(3)中第二项与模型及参数个数无关,可以舍弃.于是得到采用ARMA (n,m)模型拟合的AIC准那么函数：(4)使得AIC信息量取值最小的 n和m,即是模型理想的阶.由(4)可以看出AIC信息量由两局部构成：前一局部表达模型的拟合好坏,后一局部说明模型参数的多少.显然我们希望模型拟合得越精确真好,但 过高的精度要求又会导致参数的增多及模型的复杂,可能反而影响模型的拟合效果,因此,实质上,它就 是对拟合精度和参数个数二者加以适当权重.可以想象,当模型中参数个数 K由少至多增加时,拟合误差改良显著,(4)中第一项起主要作用,AIC明

11、显下降；随着模型阶数增加,模型拟合残差改良甚微,AIC上升.AIC的最小值处对应着最正确模型的阶数.3. BIC准那么AIC准那么为时间序列模型定阶带来了许多方便,但AIC准那么也有缺乏之处.从理论上已证实了AIC准那么不能给出模型阶数的相容估计,即当样本趋于无穷大时,由AIC准那么选择的模型阶数不能收敛到其真值(通常比真值高).Akaike于1976年提出了 BIC准那么弥补了 AIC准那么的缺乏.定义：,其中K是模型的自由参数个数,对于 ARMA(n,m)模型,.从理论上已证实,BIC准那么确定的模型阶数是真实阶数的相容估计.假设,那么是要选择的最正确阶数.注：Ko与Ko的关系见图,用 A

12、IC准那么往往比用BIC准那么确定的阶数高.BIC1(K) Nln ?2(K) CKln(ln N)(5)其中C是选定的常数.定义不同的准那么函数是为了对拟合残差与参数个数之间进行不同的权衡,以表达使用者对于二者重要性的不同侧重.当然,对于同一数据序列使用不同准那么挑选的最优模型不同,其渐近性 质也不同.在实际问题中,相应于不同阶数的准那么函数值往往不是理想的下凸函数,而是总的趋势符合下凸函 数变化规律,同时有随机起伏,有时可能出现准那么函数下降到某值后,没有明显的增长趋势,而是随机的 起伏摆动.遇到这种情形,如果适当地增大(5)中常数系数 C的值,可以使准那么函数在后一段有明显的增长趋势.五

13、、实例【例4-2】沿用例4-1中的数据,进行模型的定阶.第三节参数估计矩估计1 .自回归模型的参数估计:采用YULE-WALK 方程k1 0k2kkk1 1k2kk(1)k1 k 1k2kk2 .移动平均模型的参数估计:m)(2)(11可采用：直接法、迭代法、牛顿-拉普森算法. 详见顾岚：?时间序列分析在经济中的应用?,中国统计出版社,(k0(1)直接解法(2)线性迭代法(3)牛顿-拉普森算法23 .自回归移动平均模型的参数估计:将模型分成两个局部,先对AR局部应用 YULE-WALK方程,计算得到剩余序列,对剩余序列应用MA模型的参数估计方法.最小二乘估计(LS)1 .线性最小二乘估计2 .

14、非线性最小二乘估计：高斯 -牛顿法；最速下降法;三、极大似然估计(ML)对于时间序列模型,一般采用极大似然法估计参数.对于一组相互独立的随机变量Xt, (t = 1,2,T),其中1, 2,k)是一组未知参数.对数似然函数是)=f(Xt | )t 1当得到一个样本(X1, X2,XT)时,似然函数可表示为L ( | X1, X2,XT) =f (X1| ) f (X2| ) f(XT|P120olog L = log f (xt | ),t 1通过选择 使上式到达最大,从而求的极大似然估计值?.具体步骤是用上述对数似然函数对每个未知参数求偏导数并令其为零,即log L 0=0,1=0, k个方

15、程联立 k般来说似然函数是非线性的,必须采用迭代计算的方法求参数的极大似然估计值.极大似然估计量MLE具有一致性和渐近有效性现在讨论怎样对时间序列模型的参数进行极大似然估计.对于非平稳过程yt,假定经过d次差分之后可以表达为一个平稳、可逆的自回归移动平均过程(L) d yt =(L) xt =(L) ut.(2)对于yt假定可以观测到T + d个观测值,即y- d+i,-y o,yi,yT,那么经过d次差分之后,xt的样本容量为T.以x1,xt 为样本估计ARMA p, q模型参数1,p, 1,q .对随机过程xt的参数估计就如对回归模型的参数估计一样,目的是使xt与其拟合值旦的残差平方和(x

16、t 洋)2t&2.最小.把2式改写为(L) ut = xt(L)假设用,和t分别表示对i, i和Ut的估计,那么使下式最小.u?t2 = s (tp ,?,q )(4)假定 Ut N (0, U2),t = 1,- T,且不存在自相关,那么条件对数似然函数为log L = -T log u0t2 t2 u2(5)之所以称之为条件对数似然函数是由于-2 ,Ut依赖于过去的不可知观测值xo,x-1,x-p+1和uo,u-l,u- q+1.比方(6)U1 = x1 - 1 xo - 2 x-1 -p x-p+1 - 1U0 -qU- q+1 .对(5)式求极大即等同于对国2求极小.对 &am

17、p; 2求极小时需要先确定 X0, x T,X-p+1和uo, u-1, u- q+1的值.此问题的一般处理方法是取这些变量等于他们的无条件期望值.uo, u-1, u- q +1的无条件期望值为零.假设模型(2)中不含有漂移项,那么 xo, x-1,x- p+1的无条件期望值也为零.当样本容量 T与滞后长度 p, q值相比充分大,且 1,p的值不接近1时,这种近似非常理想.假设(2)式中不含有移动平均项,对于自回归参数来说(3)式是一个线性函数.可以用 OLS法估计参数.如果(2)式中含有移动平均项,那么对于移动平均参数来说,(3)式是一个非线性函数.对 (3)式必须采用非线性估计方法.首先

18、假定模型为纯自回归形式,(L) xt = ut(7)或xt = 1 xt-1 + + p xt-p + ut .(8)这是一个线性回归模型,极大似然估计与OLS估计结果近似相同.当模型中含有移动平均成分时ut =-1(L)(L) xt(9)对于参数来说,模型是非线性的.对于非线性模型,通常由三种估计方法.直接搜索法.通过改变参数的取值,反复计算残差平方和山2的值.然后从中选择最小的那个值所对应的参数值作为对参数的估计值.这种方法只有在参数个数较少时才是可行的.当参数个数较多时,计算量将非常大.例如当含有四个被估参数,每个参数需选择20个计算值时,那么需要计算(20) 4 = 160000次.直

19、接优化法.求误差平方和函数对每一个参数的偏导数并令其为零,从而求得正规方程 (u?t2)=0, i =1,p + q(10)其中(1,P+q) = ( 1,p, 1,q).由于p + q个方程中都含有p + q个参数,所以必须联立求解.由于计算上的困难,这种方法很少直接采用.线性迭代法.对任何非线性函数通常都可以按泰勒级数展开.f (x) = f (x0) + f (攵0) (x -x0) +=(x0) - f (攵0) x0 + f (攵0) x+ 首先为参数选一组初始值(1,0,P+q, 0)(下标零表示初始值.怎样确定初始值并不重要.),然后将Xt = f (xt-1,xt-p)按泰勒级

20、数在(1,0 , ,p+q, 0)点展开.p q p q 2 ,1f /+ 2( i2 i 1 j 1 i j 0i,0)( jj,o)(11)其中偏导数的下标写为零表示偏导数在, , p+q =p+q, 0时的值.取上式右侧的前两项对原非线性i,0)xt = f (xt-1,xt- p, 1,0 , ,p+q, 0) +函数xt进行近似.去掉右侧第三项及以后各项得xt - f (xt-1, ,xt-p,1,0 , 111 ,p+q, 0 ) +i,0 i 1i 0+ ut.0(12)上式为线性回归方程形式.左侧为量,右侧含有一组未知量i , i = 1,口 + q.利用OLS法对上式进仃估计

21、.设所得估计值用1, 1,p+q, 1 表不以此作为第二组估计值,对非线性函数再一次线性化,从而得到一个新的线性方程.xt - f (xt-1, ,xt-p,1, 1 , ,p+q, 1 ) +i,1 -1i+ ut.1(13)对上式再次应用 OLS法估计参数,并把1,2,p+q, 2)作为待估参数的第三组估计值.重复上述过程,直至满足如下要求为止.i,j 1 iji = 1,-p, + q,(14)其中i表示参数序号,j表示迭代次数.是预先给定的精度标准.如果最后一次的参数估计值用(1, k ,p+q, k)表本,并且 (1, k ,p+q, k )接近真值(1 ,p+q),那么必有,fi,

22、k i k所以有xt = f (xt-1, ,xt- p,1, k,p+q, k) + ut1, k,p+q, k是对1,p+q的最终估计.这种迭代计算一般都是通过计算机完成.评价线性模型的一些统计量例 F, t等都不能直接用于评价非线性模型.原因是尽管ut是正态分布的且均值为零,但残差l?t=xt-?t=xt- f (xt-1,xt-p, 1, k , ,p+q, k)(15)不服从正态分布,那么侪2不服从 2分布,参数估计量不服从正态分布.所以不能使用F和t检验.然而对迭代中的最后一步可以进行F, t检验. 如果估计量i=i, k, (i= 1,p + q),接近真值i,那么F,t检验将会

23、对非线性模型有很满意的解释作用.结论：在三种估计方法中,其中矩估计的计算量最小,但精度较差,只适宜作粗估计；最小二乘估计与极大似然估计精度较好,但计算量都较大,前者利用非线性回归迭代求解,后者的计算更复杂.因此在实践 中使用最多的是最小二乘估计.§ 6 诊断与检验完成模型的识别与参数估计后,应对估计结果进行诊断与检验,以求发现所选用的模型是否适宜.假设 不适宜,应该知道下一步作何种修改.这一阶段主要检验拟合的模型是否适宜.一是 检验模型参数的估计值是否具有显著性 ；二是检验残差 序列的随机性.参数估计值的显著性检验是通过 t检验完成的,而模型 拟合的优劣 以及残差序列随机性 的 判别

24、可按以下方法进行：一、散点图法(SCATTER PLOT)作at对at j和at对xt j的散点图,进行独立性分析；二、相关系数法(CORRELATION )估计相关系数法：计算和 at对xt j的相关函数及at的自相关函数；3、 F检验法(F-TEST)F检验法：把at的独立性检验问题转化成模型拟合是否充分的问题,从而可以利用前面所介绍的F-统计量进行有关的检验问题；4、 卡方检验法(2F-TEST)是用Box-Pierce (1970)提出的Q统计量进行检验完成的.将at的自相关函数记为k(N,at),自协方差函数记为 k(N,aJ,那么1 Nk(N,at) atat kN t k ik(

25、N,at) k(N,at)/ o(N,at)可以证实,当N很大时,v'N i - N(0,1) (i 1,2, ,k)并且这k个量近似为相互独立的正态分布,于是检验序列at的独立性问题转化为检验<N- k(N,at)NID(0,1)(3)式中,k 1,2, ,L(N), L(N)旦或而10假设H0 ： uN k(N,at)NID(0,1),那么在原假设成立的条件下,有L(N)M k(N,aJ2 2(L(N) p q)(4)k 1假设拟合的模型适宜,统计量Q = N L(N)k2( 5)k 1近似服从 2( K - p - q)分布,其中N表示样本容量,rk表示用残差序列计算的自相关系数值,K表示自相关系数的个数,p表示模型自回归局部的最大滞后值,q表示移动平均局部的最大滞后值.这时的零假设(Ho)是“残差序列是白噪声过程.用残差序列计算 Q统计量的值.显然假设拟合的模型不适