平稳时间序列预测法讲义

1、7 7 平稳时间序列预测法平稳时间序列预测法7.1 概述概述7.2 时间序列的自相关分析时间序列的自相关分析7.3 单位根检验和协整检验单位根检验和协整检验7.4 ARMA模型的建模模型的建模 7.1 7.1 概概 述述 时间序列 取自某一个随机过程，则称： ty 一、平稳时间序列一、平稳时间序列过程是平稳的过程是平稳的随机过程的随机特征不随时间变化而变化过程是非平稳的过程是非平稳的随机过程的随机特征随时间变化而变化 宽平稳时间序列的定义：宽平稳时间序列的定义：设时间序列 ty，对于任意的t,k和m，满足： ,tt mtE yE y1、对于任意时间 均值恒为常数2cov,cov,tt kt m

2、t m ky yyy 、其自相关系数只与时间的间隔有关，与起点和终点无关则称 宽平稳。 ty 严平稳时间序列的定义：严平稳时间序列的定义： 所有的统计特性不随时间的平移而变化q Box-Jenkins基本思想：用数学模型描述时间序列自身的相关性，并假定这种自相关性一直延续，用该模型预测未来的值。q ARMA模型是描述平稳随机序列的最常用的一种模型。q Box-Jenkins方法提供了对时间序列进行分析、预测，以及对ARMA模型识别、估计和诊断的系统方法。 ARMA模型的三种基本形式：q 自回归模型（AR：Auto-regressive）；q 移动平均模型（MA：Moving-Average）；

3、q 混合模型（ARMA：Auto-regressive Moving-Average）。 如果时间序列 满足其中 是独立同分布的随机变量序列,且满足： 则称时间序列 服从p阶自回归模型。 t ty 二、自回归模型二、自回归模型 ty11.ttpt ptyyy 0Var , 02ttE1.p ，称为自回归系数，是模型的待估参数滞后算子多项式 11.- -ppBBB 的根均在单位圆外，即 0B的根大于1。 11,(.)1.=ktt kptpttppttB B yyyBByBBBB y 引入滞后算子记，模型表示为 自回归模型的平稳条件：自回归模型的平稳条件： 例例1 AR(1)模型的平稳性条件。模型

4、的平稳性条件。对1阶自回归模型AR(1)tttXX1方程两边平方再求数学期望，得到Xt的方差)(2)()()(122122tttttXEEXEXE由于Xt仅与t相关，因此，E(Xt-1t)=0。如果该模型稳定，则有E(Xt2)=E(Xt-12)，从而上式可变换为：22201X在稳定条件下，该方差是一非负的常数，从而有 |1。 而AR(1)的特征方程01)(zz的根为 z=1/ AR(1)稳定，即 | 1，意味着特征根大于1。 对高阶自回模型对高阶自回模型AR(p)来说来说，多数情况下没有必要直接计算其特征方程的特征根，但有一些有一些有用的规则可用来检验高阶自回归模型的稳定性用的规则可用来检验高

5、阶自回归模型的稳定性： (1)AR(p)模型稳定的必要条件是模型稳定的必要条件是： 1+2+p1 (2)(2)由于i(i=1,2,p)可正可负，AR(p)模型模型稳定的充分条件是：稳定的充分条件是： |1|+|2|+|p|1 如果时间序列如果时间序列 满足满足 则称时间序列则称时间序列 服从服从q阶移动平均模型。阶移动平均模型。 或者记为或者记为 。 ttyB ty11.tttq t qy ty 三、移动平均模型三、移动平均模型MA(q) ，平稳条件：任何条件下都平稳。平稳条件：任何条件下都平稳。 1.q ，称为移动平均系数，是模型的待估参数 对于移动平均模型对于移动平均模型MR(q)： Xt

6、= t - - 1 t-1 - - 2 t-2 - - - - q t-q 其中其中 t是一个白噪声，于是是一个白噪声，于是 MA(q)模型的平稳性模型的平稳性 0)()()()(11qqtttEEEXE22111121322111122210),cov()(),cov()(),cov()1 (varqqttqqqqttqqqttqtXXXXXXX 当滞后期大于当滞后期大于q时，时，XtXt的自协方差系数为的自协方差系数为0。因此因此: :有限阶移动平均模型总是平稳的有限阶移动平均模型总是平稳的。 ( )0Bq q=通常希望通常希望AR过程与过程能相互表出，即过程过程与过程能相互表出，即过程可

7、逆。可逆。如移动平均模型MA()：1(1)ttyBq qe e=-231111(1)(1)tttyBBByBe eq qq qq qq q=+-L可逆条件：可逆条件： 的根均在单位圆外的根均在单位圆外可逆条件： 11q qp，t与t-k间的偏自相关系数偏自相关系数为零。样本的偏自相关函数的计算样本的偏自相关函数的计算21122,11,(tktktk kt kk kt kE yyyyy 最最小小1212121,+kkkktttktkktttktkyyyyyyyyfffffff f-LLL选择系数使对 的线性估计方差最小，即使模型中包含之后，在增加一期滞后所增加的模型解释能力。12111112(,

8、)(,)(ttkkkttktkkkkttktkkkyEyEyyyEyyy （） + +, , ,最最 小小kk111, 111, 11kjjkjkkjjkjkk1k,.3 , 2k其中： jkkkkjkjk, 1, 1,10ker 0kkkEYuleW olE 方方 程程 1、时间序列的随机性随机性，是指时间序列各项之间没有相关关系的特征。使用自相关分析图判断时间序列的随机性，一般给出如下准则：q 若时间序列的自相关函数基本上都落入 置信区间 ，则该时间序列具有随机性；q 若较多自相关函数落在置信区间之外， 则认为该时间序列不具有随机性。时间序列特性分析时间序列特性分析22nn-（、）注：注：

9、在B-J方法中，测定时间序列的随机性，多用于模型残差，以评价模型优劣。 2、判断时间序列是否平稳是否平稳，是一项很重要的工作。运用自相关分析图判定时间序列平稳性的准则是： q若时间序列的自相关函数在k3时都落入置 信区间 ，且逐渐趋于零，则该时间序列具有平稳性；q若时间序列的自相关函数更多地落在置信区 间外面，则该时间序列不具有平稳性。22nn-（、） 注：注：在B-J方法中，只有平稳的时间序列平稳的时间序列才能建立ARMA模型，否则必须经过适当的处理使序列满足平稳性要求。例对某种趋势的时间序列进行差分处理。但很多序列不能通过差分达到平稳，而且差分虽然消除了序列的趋势易于建模，但也消除了序列的

10、长期特征，实际的经济序列差分一般不超过两次。 3、时间序列的季节性季节性判定准则：q 月度数据，考察k=12,24,36, 时的自相关系数是否与0有显著差异；q季度数据，考察k=4,8,12, 时的自相关系数是否与0有显著差异 。注注1 1：实际问题中常遇到季节性和趋势性同时存在的情况，应先剔除序列趋势性，在识别季节性。 注注2 2：包含季节性的时间序列也不能直接建模，应先进行季节差分消除，季节差分一般不超过一阶。三、三、ARMA模型的自相关分析模型的自相关分析 q AR(p)模型的偏自相关函数是以p步截尾的，自 相关函数拖尾；q MA(q)模型的自相关函数具有q步截尾性，偏 自相关函数拖尾；

11、 （可用以上两个性质来识别（可用以上两个性质来识别AR和和MA模型的阶数）模型的阶数）q ARMA(p,q)模型的自相关函数和偏相关函数都 是拖尾的。 图图 ARMA(p,q)模型的模型的ACF与与PACF理论模式理论模式 ACF PACF 模型模型1： tttXX17 . 00.00.20.40.60.812345678ACF10.00.20.40.60.812345678PACF1 模型 2： tttXX17 . 0 模型 3： 17 . 0tttX-0.8-0.6-0.4-0.20.00.20.40.612345678ACF2-0.8-0.6-0.4-0.20.012345678PACF

12、2-0.5-0.4-0.3-0.2-0.10.012345678ACF3-0.5-0.4-0.3-0.2-0.10.012345678PACF3 模型 4：ttttXXX2149. 07 . 0 模型 5：117 . 07 . 0ttttXX-0.4-0.20.00.20.40.612345678ACF4-0.4-0.20.00.20.40.612345678PACF4-1.2-0.8-0.40.00.40.812345678ACF5-1.0-0.8-0.6-0.4-0.20.012345678PACF57.4 ARMA7.4 ARMA模型的建模模型的建模 一、一、模型阶数的确定模型阶数的确定

13、 （1）基于自相关函数和偏相关函数的定阶方法基于自相关函数和偏相关函数的定阶方法 对于ARMA(p,q)模型，可以利用其样本的自相关函数和样本偏自相关函数的截尾性判定模型的阶数。q如果样本的偏自相关函数是以p步截尾的，模型为AR(p) ；q如果样本的自相关函数具有q步截尾性，模型为MA(q)； q如果样本的自相关函数和偏相关函数都是拖尾的，模型为ARMA(p,q) 。（1）自相关函数的截尾性统计检验：）自相关函数的截尾性统计检验：q对于每一个q,计算 1q2qMq.（M 取为 或者 ），n10/n2211121212qqkikiiinnr rr rr rr r=+邋或者 对于MA(q)模型，当

14、kq时，2110,(12)qkiiNnr rr r=骣+桫:q 1,0qr rr rL ，明显不能为q考察其中满足 的个数是否占M个的68.3%或者95.5%以上。 kkqr r=接受在之后截尾（2）偏自相关函数的截尾性统计检验：）偏自相关函数的截尾性统计检验：q对于每一个p,计算 11,ppp m p m （M 取为 或者 ），n10/n12kkkknnf ff f或者 对于AR(p)模型，当kp时，10,kkNnf f骣桫:q 11,0kkf ff fL ，明显不能为q考察其中满足 的个数是否占M个的68.3%或者95.5%以上。 kkkpf f=接受在之后截尾q 如果对于序列 kkk和截

15、尾，即不存在上述的 来说，均不0p0q和判定平稳时间序列 ，则可以 ty为ARMA模型。 一般地，对ARMA( , )p q模型 11pqttit ijtjijyy 12, t它们均值为0，可递推得到残量估计现作假设检验：0:H是来自白噪声的样本 ( )11njjtjttn0,1,jm( )( )( )0jj1, ,jm 令（3）残差项的白噪声检验：（）残差项的白噪声检验：（Q统计量检验）统计量检验）12, tm10nmn或其中取 左右。 0HQm p q 2 则当成立时，服从的分布。 2( )Q0H对给定的显著性水平，若，则拒绝，即模型与原随机序列之间拟合得不好，则认为模型与原随机序列之间拟

16、合需重新考虑得较好，模型检验被通过。建模；若22( )( )11mmjjjjQnn自由度为2( )Q注：上机操作时，一般看Q统计检验的相伴概率 (1)用AR（1）拟合时间序列，考察其残差样本的自相关函数 是否q1 1步截尾，则模型为ARMA(1, q1 1 ),否则；(2)用AR（2）拟合时间序列，考察其残差样本的自相关函数 是否q2 2步截尾，则模型为ARMA(1, q2 2 )，否则；(3)继续增大p，重复上述做法，直至残差序列的样本自相关 函数截尾为止1111kkkttptpttqt qyyy若若和和拖拖尾尾， （4）Tasy和TiaoARMA模型定阶法1950年-1998年北京城乡居民

17、定期储蓄比例选 择 合 适的 A R M A模型拟合可 以 考 虑拟 合 模 型为AR(1),ARMA(1,3)连续读取70个化学反应数据可以尝试使用AR(1)，MA(1)和ARMA(1,1)模型拟合该序列（2 2）基于）基于F F 检验确定阶数检验确定阶数（3 3）利用信息准则法定阶（）利用信息准则法定阶（AICAIC准则和准则和BICBIC准则）准则）此外，常用的方法还有：1967年，瑞典控制论专家K.J.Astrm教授将F检验准则用于对时间序列模型的定阶。原理(模型阶数简约原则 parsimony principle)： 设yt(1tn)是零均值平稳序列，用模型AR模型拟合检验统计量：结

18、论若FF，则拒绝原假设，认为AR(p)合适；若FF ，则拒绝原假设，模型阶数仍有上升的可能；若F1时，ARMA(1,1)预测值也是由如下差分方程决定的。110( )()ttylyl 1 ( )解得：lty lc111 (1)由于：tttycy 11推得：ttcy111 ( )因此：lttty ly(3) 向前L步预测公式(L2)11111211( )(|,)()t lt lt lt ltt lttttyyy lE yyyyy l 1011220001111110111101:( )( ):( ) ( )( ):tttttjtjtttjt lt lt lltltltt lt lltljtjjAR

19、MAB yByBBG BGGGGGtlyGGGGGGGGG 设设有有平平稳稳模模型型如如下下此此模模型型写写成成其其传传递递形形式式如如下下其其中中将将下下标标代代入入上上式式得得 三、三、预测误差预测误差 由于预测只能建立在到t时刻为止的可用信息的基础上，因此，根据最小均方误预测的第二个准则，以及平稳可逆序列可以表示成传递函数形式的论断，可以将预测值 表示成能够估计的项t，t-1，的加权和的形式： ( )ty l11220* ( )tljtjltltltjy lGGGG *.ljG 式式中中 权权 系系数数可可以以在在预预测测误误差差的的方方差差达达到到最最小小的的意意义义下下确确定定011

20、110*( )( )()tt ltt lt lltljljtjje lyy lGGGGG 0111111011110tltltlltltlttltlltljtjjyGGGGGGGGG 由上得以t为原点，向前L步的预测误差为：由于t是白噪声，故有：200ttjaojEj 011110*( )( )()tt ltt lt lltljljtjje lyy lGGGGG 122222200*:( )( ( )()lt lttajaljljjjE yy lE e lGGG所所以以 预预测测误误差差的的方方差差为为*:,.ljljGG 很很容容易易看看出出 当当时时 上上式式达达到到最最小小值值01111

21、( )( )tt ltt lt llte lyy lGGG 误差方差为：误差方差为：1222222212101( ( )()ltalajjE e lGGGG 011110*( )( )()tt ltt lt lltljljtjje lyy lGGGGG 注：预测误差的估算是注：预测误差的估算是1， p算和算和1，q估计都为估计都为正确的假设，实际中参数通过估计得到的，且估计量是随正确的假设，实际中参数通过估计得到的，且估计量是随机变量，有均值和方差，因而实际误差大于理论估计误差。机变量，有均值和方差，因而实际误差大于理论估计误差。01111( )( ) tt ltt lt llte lyy l

22、GGGa 01111 ( )ttGte 期期的的预预测测误误差差：五、预测误差的置信区间五、预测误差的置信区间对于正态过程，预测误差的分布为：122221211 961 ( ).()taly lGGG 所以：对所以：对yt+l预测的预测的95%的置信区间为：的置信区间为：)(, 0()(leDNlett因此：1(|,) ( ),( ( )t lttttyyyN y lD e l)1 ()()(21222122lattGGGleEleD设120.30.4ttttXXX为一AR(2)序列，其中 (0,1)tWN求tX的自协方差函数 k。 例 1解答：解答：Yule-WalkerYule-Walke

23、r方程为：方程为：02121112 0110.30.41020.30.4且：20120.30.41联合上面三个方程，解出：0131006350635563- ，120.30.4kkk 1k 例例 2考虑如下AR(2) 序列：121.50.30.5ttttXXX (0,1)tIIDN若已知观测值507.64X497.47X （1）试预报5152,XX（2）给出（1）预报的置信度为95%的预报区间。,解答： 5011.50.3 7.640.5 7.477.527X 5021.50.3 7.5270.5 7.647.5781X（1）（2）20112121,0.3,0.59GGG 225011 222

24、501211.09G预报的置信度为95%的预报区间分别为： 50501.96Xkk7.3 7.3 单位根检验和协整检验单位根检验和协整检验 一、平稳性的检验一、平稳性的检验引言：引言：前面我们讨论的是平稳时间序列的建模和预测方法，即所讨论的时间序列都是宽平稳的。一个宽平稳的时间序列的均值和方差均值和方差都是常数，并且它的协方差有时间上协方差有时间上的不变性。 但是许多经济领域产生的时间序列都是非平稳的。呈现出明显得趋势性和周期性，序列不平稳，导致预测无效，产生谬误回归谬误回归等问题。1、通过时间序列的趋势图来判断这种方法通过观察时间序列的趋势图来判断时间序列是否存在趋势性或周期性。优点：简便、

25、直观。对于那些明显为非平稳的时间序列，可以采用这种方法。缺点：对于一般的时间序列是否平稳，不易用这种方法判断出来。2、通过自相关函数(ACF)判断平稳时间序列的自相关函数(ACF)要么是截尾的，要么是拖尾的。因此我们可以根据这个特性来判断时间序列是否为平稳序列。若时间序列具有上升或下降的趋势若时间序列具有上升或下降的趋势，那么对于所有短时滞来说，自相关系数大且为正，而且随着时滞k的增加而缓慢地下降。若序列无趋势若序列无趋势，但是具有季节性但是具有季节性，那末对于按月采集的数据，时滞12，24，36的自相关系数达到最大(如果数据是按季度采集，则最大自相关系数出现在4，8，12， )，并且随着时滞

26、的增加变得较小。若序列是有趋势的，且具有季节性若序列是有趋势的，且具有季节性，其自相关函数特性类似于有趋势序列，但它们是摆动的，对于按月数据，在时滞12，24，36，等处具有峰态；如果时间序列数据是按季节的，则峰出现在时滞4，8，12， 等处。3、随机游走的单位根检验(Unit root test)随机游走是一种非平稳过程，其实随机游走一种特殊的齐次非平稳过程。 检验序列是否为随机游走，通常利用David Dickey和Wayne Fuller的单位根检验。单位根的含义和检验原理如下： 112002200101:+,(,),()(),()()()()ttttttttttttttyyyuuyyy

27、E yE yD yE yE yE yE yD yt 假假设设随随机机过过程程可可由由下下式式描描述述其其中中为为一一稳稳定定过过程程（零零均均值值，协协方方差差有有时时间间上上的的不不变变性性）则则称称该该过过程程为为单单位位根根过过程程。特特别别地地： 其其中中为为白白噪噪声声零零均均值值 恒恒定定方方差差点点 无无自自相相关关则则称称为为一一随随机机游游动动过过程程，它它是是单单位位根根的的特特例例。（1）单位根的含义单位根的含义（2）单位根的单位根的检验检验11112111230:( )( )( ):(int),().,.tttttttttDickeyFulleryyuyyuytyuer

28、ceptttrend 检检验验其其中中为为常常数数项项为为趋趋势势项项在在上上面面每每一一种种有有形形中中 原原假假设设都都是是即即存存在在一一个个单单位位根根用Eviews进行单位根检验时给出了上述选项。 如果DF检验统计量比给定显著水平临界值大，不能拒绝原假设，认为序列存在单位根，是非平稳的。ADF检验检验在在DF检验中，常常因为序列存在高阶滞后相关，使检验中，常常因为序列存在高阶滞后相关，使得随机扰动不符合白噪声假设，得随机扰动不符合白噪声假设，ADF检验修正了检验修正了DF检检验中的自相关问题。验中的自相关问题。此外还有：此外还有：PP检验：检验具有一般形式的单位根过程检验：检验具有一

29、般形式的单位根过程DFGLS检验：检验： DF及及ADF检验对含有时间趋势的退势平检验对含有时间趋势的退势平稳时间序列的检验失效稳时间序列的检验失效11122110,.ttttptpyyyyy 原原假假设设都都是是即即存存在在一一个个单单位位根根古典的回归方法：只能对平稳的时间序列进行回归古典的回归方法：只能对平稳的时间序列进行回归分析，或将非平稳的序列转化为平稳序列再做回归分析，或将非平稳的序列转化为平稳序列再做回归非平稳时间序列分析逐期差分后平稳，建立求和自回归移动平均模型,记为ARIMA(p,d,q)234123411411111( )()( )I( , , ),()()()dttttB

30、B yBAR MABBBBB yB 如如非平稳时间序列分析非平稳时间序列分析逐期差分+季节差分后平稳，建立乘积季节模型，即随机季节模型与ARIMA模型结合，记为ARIMA(p,d,q)(P,D,Q)12231212123112111111311 111111111( )() ()( )I( , , )( , , )()()()()()()ds DpPtQqtttBBByBAR MABBBBBByBB 如如：表表示示季季度度自自回回归归部部分分的的变变量量：表表示示季季度度移移动动平平均均部部分分的的变变量量 二、二、协整检验协整检验q 如果两个或多个非平稳的时间序列，其某个 线性组合后的序列呈平稳性，这样的时间序 列间就