平稳时间序列分析王燕

1、西北大学经济管理学院田洪志本章结构方法性工具 ARMA模型 平稳序列建模序列预测 3.1 方法性工具 差分运算延迟算子线性差分方程差分运算一阶差分 阶差分 步差分pk1tttxxx111tptptpxxxkttkxx延迟算子延迟算子类似于一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻 记B为延迟算子，有 1,pxBxtppt延迟算子的性质 ， 其中 10B为任意常数cxcxBcxcBttt,)()(111)(ttttyxyxBnttnxxBiniinnnBCB0) 1()1 ()!( !ininCin用延迟算子表示差分运算 阶差分 步差分pkitpiip

2、ptptpxCxBx0) 1()1 (tkkttkxBxx)1 ( 线性差分方程 线性差分方程齐次线性差分方程)(2211thzazazazptpttt02211ptptttzazazaz齐次线性差分方程的解特征方程特征方程的根称为特征根，记作齐次线性差分方程的通解不相等实数根场合有相等实根场合复根场合02211ppppaaap,21tpptttcccz2211tpptddtddtcctctccz111121)(tpptititttccececrz3321)(非齐次线性差分方程的解 非齐次线性差分方程的特解使得非齐次线性差分方程成立的任意一个解非齐次线性差分方程的通解齐次线性差分方程的通解和非

3、齐次线性差分方程的特解之和tttzzz tz )(2211thzazazazptpttt tz3.2 ARMA模型的性质 AR模型（Auto Regression Model） MA模型（Moving Average Model） ARMA模型（Auto Regression Moving Average model）AR模型的定义具有如下结构的模型称为 阶自回归模型，简记为特别当 时，称为中心化 模型tsExtsEVarExxxxtsstttptptpttt, 0, 0)(,)(0)(0222110，p)(pAR00)(pAR AR(P)序列中心化变换称 为 的中心化序列 ，令p101ttx

4、ytytx自回归系数多项式引进延迟算子，中心化 模型又可以简记为 自回归系数多项式)(pARttxB)(ppBBBB2211)(AR模型平稳性判别 判别原因AR模型是常用的平稳序列的拟合模型之一，但并非所有的AR模型都是平稳的 判别方法单位根判别法平稳域判别法例3.1:考察如下四个模型的平稳性1(1)0.8tttxx1(2)1.1tttxx 12(3)0.5ttttxxxttttxxx115 . 0)4(例3.1平稳序列时序图1(1)0.8tttxx12(3)0.5ttttxxx例3.1非平稳序列时序图1(2)1.1tttxx ttttxxx115 . 0)4(AR模型平稳性判别方法特征根判别

5、AR(p)模型平稳的充要条件是它的p个特征根都在单位圆内根据特征根和自回归系数多项式的根成倒数的性质，等价判别条件是该模型的自回归系数多项式的根都在单位圆外平稳域判别 平稳域,21单位根都在单位圆内pAR(1)模型平稳条件特征根平稳域1AR(2)模型平稳条件特征根平稳域2424221122211111,12221，且例3.1平稳性判别8 . 010.81 . 111.1 211i212i221210.5,0.5,1.5 23112312221210.5,1.5,0.5 模型特征根判别平稳域判别结论(1)平稳(2)非平稳(3)平稳(4)非平稳平稳AR模型的统计性质均值方差协方差自相关系数偏自相关

6、系数均值 如果AR(p)模型满足平稳性条件，则有根据平稳序列均值为常数，且 为白噪声序列，有推导出p101)(110tptpttxxEExTtEExtt,0)(,tGreen函数定义AR模型的传递形式其中系数 称为Green函数, 2 , 1,jGjjtjjjpijtjiipijtjiipitiittGkBkBkBx001101)(1)(Green函数递推公式原理方法待定系数法递推公式pkpkjGGGkkkjjkkj, 0, 2 , 1110其中，ttttttBGBBGxxB)()()()(方差平稳AR模型的传递形式两边求方差得函数为GreenGGxVarjjjt,)(202jtjjtGx0例

7、3.2:求平稳AR(1)模型的方差平稳AR(1)模型的传递形式为Green函数为平稳AR(1)模型的方差itiitiittBBx01011)(1, 1 , 0,1jGjj2122021021)()(jjtjjtVarGxVar协方差函数在平稳AR(p)模型两边同乘 ，再求期望根据得协方差函数的递推公式)()()()(11kttktptpkttkttxExxExxExxEktx1,k0)(kttxE1,kpkpkkk2211例3.3:求平稳AR(1)模型的协方差递推公式平稳AR(1)模型的方差为协方差函数的递推公式为0111kkk212011,12121kkk例3.4:求平稳AR(2)模型的协方

8、差平稳AR(2)模型的协方差函数递推公式为21)1)(1)(1 (12211201122121220kkkk，自相关系数自相关系数的定义平稳AR(P)模型的自相关系数递推公式0kk1122kkkpkp 常用AR模型自相关系数递推公式AR(1)模型AR(2)模型0,1kkk2110, 1221121kkkkkkAR模型自相关系数的性质拖尾性呈复指数衰减1( )pkiiikc不能恒等于零pccc,211( )pkiiikc0例3.5:考察如下AR模型的自相关图ttttttttttttttxxxxxxxxxx2121115 . 0)4(5 . 0)3(8 . 0)2(8 . 0) 1 (例3.5自相

9、关系数按复指数单调收敛到零1(1)0.8tttxx例3.5:1(2)0.8tttxx 例3.5:自相关系数呈现出“伪周期”性12(3)0.5ttttxxx例3.5:自相关系数不规则衰减12(4)0.5ttttxxx 偏自相关系数定义对于平稳AR(p)序列，所谓滞后k偏自相关系数就是指在给定中间k-1个随机变量 的条件下，或者说，在剔除了中间k-1个随机变量的干扰之后， 对 影响的相关度量。用数学语言描述就是121,ktttxxxktxtx2,)()(11ktktktktttxxxxxExExExxExEkttktt偏自相关系数的计算滞后k偏自相关系数实际上就等于k阶自回归模型第个k回归系数的值

10、。02211202112112011kkkkkkkkkkkkkkkkk)()(2ktktktktttkkxExExExxExE偏自相关系数的截尾性AR(p)模型偏自相关系数P阶截尾pkkk,0例3.5续:考察如下AR模型的偏自相关图ttttttttttttttxxxxxxxxxx2121115 . 0)4(5 . 0)3(8 . 0)2(8 . 0) 1 (例3.5理论偏自相关系数样本偏自相关图1(1)0.8tttxx0.8,10,2kkkk例3.5:理论偏自相关系数样本偏自相关图1(2)0.8tttxx 0.8,10,2kkkk例3.5:理论偏自相关系数样本偏自相关图12(3)0.5tttt

11、xxx2,130.5,20,3kkkkk 例3.5:理论偏自相关系数样本偏自相关系数图12(4)0.5ttttxxx 2,130.5,20,3kkkkk MA模型的定义具有如下结构的模型称为 阶自回归模型，简记为特别当 时，称为中心化 模型q)(qMA0)(qMA112220( )0( ),()0,ttttqt qqtttsxEVarEst ，移动平均系数多项式引进延迟算子，中心化 模型又可以简记为 阶移动平均系数多项式)(qMAttBx)(qqqBBBB2211)(MA模型的统计性质常数均值常数方差）（qtqttttEEx221122212211)1 ()()(qqtqttttVarxVar

12、MA模型的统计性质自协方差函数P阶截尾自相关系数P阶截尾q kqkkkqiikikqk , 01 ,)(0 ,)1 (212221qkqkkqkqiikikk , 01 ,10 , 12211常用MA模型的自相关系数MA(1)模型MA(2)模型2, 01, 10, 1211kkkk3, 02, 11, 10, 1222122221211kkkkkMA模型的统计性质偏自相关系数拖尾)(11111qktqktqtqtkk零不会在有限阶之后恒为不恒为零kkq,1例3.6:考察如下MA模型的相关性质212111162545)4(251654)3(5 . 0)2(2) 1 (tttttttttttttt

13、xxxxMA模型的自相关系数截尾 112tttx（）120.5tttx（ ）MA模型的自相关系数截尾 124163525ttttx（ ）125254416ttttx（ ）MA模型的偏自相关系数拖尾 112tttx（）120.5tttx（ ）MA模型的偏自相关系数拖尾 124163525ttttx（ ）125254416ttttx（ ）MA模型的可逆性MA模型自相关系数的不唯一性例3.6中不同的MA模型具有完全相同的自相关系数和偏自相关系数212111162545)4(251654)3(5 . 0)2(2) 1 (ttttttttttttttxxxx可逆的定义可逆MA模型定义若一个MA模型能够表

14、示称为收敛的AR模型形式，那么该MA模型称为可逆MA模型可逆概念的重要性一个自相关系数列唯一对应一个可逆MA模型。可逆MA(1)模型 1tttx11tttx21ttBx1ttBx11可逆, 1可逆, 1MA模型的可逆条件MA(q)模型的可逆条件是：MA(q)模型的特征根都在单位圆内等价条件是移动平滑系数多项式的根都在单位圆外11i1i逆函数的递推公式原理方法待定系数法递推公式qkqkjIIIkkkjjkkj, 0, 2 , 1110其中，ttttttxxBIBxBIBx)()()()(例3.6续:考察如下MA模型的可逆性212111162545)4(251654)3(5 . 0)2(2) 1

15、(ttttttttttttttxxxx(1)(2) 逆函数逆转形式不可逆1221tttx可逆15 . 05 . 01tttx05 . 0kktktx1,5 . 01kIkk(3)(4) 逆函数逆转形式可逆1, 125165412221ttttx, 1 , 0,23, 0133,) 1(1nnknnkIknk或013130338 . 0) 1(8 . 0) 1(nntnnnntnntxx不可逆11625162545221ttttxARMA模型的定义具有如下结构的模型称为自回归移动平均模型，简记为特别当 时，称为中心化 模型),(qpARMAtsExtsEVarExxxtsstttqpqtqttp

16、tptt, 0, 0)(,)(0)(00211110，00),(qpARMA系数多项式引进延迟算子，中心化 模型又可以简记为 阶自回归系数多项式 阶移动平均系数多项式),(qpARMAttBxB)()(qqqBBBB2211)(pppBBBB2211)(平稳条件与可逆条件ARMA(p,q)模型的平稳条件P阶自回归系数多项式 的根都在单位圆外即ARMA(p,q)模型的平稳性完全由其自回归部分的平稳性决定ARMA(p,q)模型的可逆条件q阶移动平均系数多项式 的根都在单位圆外即ARMA(p,q)模型的可逆性完全由其移动平滑部分的可逆性决定0)( B0)( B传递形式与逆转形式传递形式逆转形式11)

17、()(jjtjtttGBBx1,110kGGGkjjjkjk11)()(jjtjtttxIxxBB1,110kIIIkjjjkjkARMA(p,q)模型的统计性质均值协方差自相关系数ptEx101 )(02ikiiGGk020)0()()(jjjkjjGGGkkARMA模型的相关性自相关系数拖尾偏自相关系数拖尾例3.7:考察ARMA模型的相关性拟合模型ARMA(1,1): 并直观地考察该模型自相关系数和偏自相关系数的性质。 10.50.8ttttxx自相关系数和偏自相关系数拖尾性样本自相关图样本偏自相关图ARMA模型相关性特征模型自相关系数偏自相关系数AR(P)拖尾P阶截尾MA(q)q阶截尾拖

18、尾ARMA(p,q)拖尾拖尾3.3平稳序列建模 建模步骤模型识别参数估计模型检验模型优化序列预测建模步骤平平稳稳非非白白噪噪声声序序列列计计算算样样本本相相关关系系数数模型模型识别识别参数参数估计估计模型模型检验检验模模型型优优化化序序列列预预测测YN计算样本相关系数样本自相关系数样本偏自相关系数nttkntkttkxxxxxx121)()(DDkkk模型识别基本原则选择模型拖尾P阶截尾AR(P)q阶截尾拖尾MA(q)拖尾拖尾ARMA(p,q)kkk模型定阶的困难因为由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的 或 仍会呈现出小值振荡的情况由于平稳时间序列通常都具有

19、短期相关性，随着延迟阶数 ， 与 都会衰减至零值附近作小值波动? 当 或 在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢？ kkkkkkkkkk样本相关系数的近似分布BarlettQuenouillennNk,)1, 0(nnNkk,)1, 0(模型定阶经验方法95的置信区间模型定阶的经验方法如果样本(偏)自相关系数在最初的d阶明显大于两倍标准差范围，而后几乎95的自相关系数都落在2倍标准差的范围以内，而且通常由非零自相关系数衰减为小值波动的过程非常突然。这时，通常视为(偏)自相关系数截尾。截尾阶数为d

20、。22Pr0.9522Pr0.95kkknnnn例2.5续选择合适的模型ARMA拟合1950年1998年北京市城乡居民定期储蓄比例序列。序列自相关图序列偏自相关图拟合模型识别自相关图显示延迟3阶之后，自相关系数全部衰减到2倍标准差范围内波动，这表明序列明显地短期相关。但序列由显著非零的相关系数衰减为小值波动的过程相当连续，相当缓慢，该自相关系数可视为不截尾 偏自相关图显示除了延迟1阶的偏自相关系数显著大于2倍标准差之外，其它的偏自相关系数都在2倍标准差范围内作小值随机波动，而且由非零相关系数衰减为小值波动的过程非常突然，所以该偏自相关系数可视为一阶截尾 所以可以考虑拟合模型为AR(1)例3.8

21、美国科罗拉多州某一加油站连续57天的OVERSHORT序列 序列自相关图序列偏自相关图拟合模型识别自相关图显示除了延迟1阶的自相关系数在2倍标准差范围之外，其它阶数的自相关系数都在2倍标准差范围内波动。根据这个特点可以判断该序列具有短期相关性，进一步确定序列平稳。同时，可以认为该序列自相关系数1阶截尾偏自相关系数显示出典型非截尾的性质。综合该序列自相关系数和偏自相关系数的性质，为拟合模型定阶为MA(1) 例3.91880-1985全球气表平均温度改变值差分序列 序列自相关图序列偏自相关图拟合模型识别自相关系数显示出不截尾的性质偏自相关系数也显示出不截尾的性质综合该序列自相关系数和偏自相关系数的

22、性质，可以尝试使用ARMA(1,1?)模型拟合该序列参数估计待估参数 个未知参数常用估计方法矩估计极大似然估计最小二乘估计2pq211, ,pq 矩估计原理样本自相关系数估计总体自相关系数样本一阶均值估计总体均值，样本方差估计总体方差111111( ,)( ,)pqp qpqp q 1niixxn2221221211xqp例3.10:求AR(2)模型系数的矩估计AR(2)模型Yule-Walker方程矩估计（Yule-Walker方程的解）ttttxxx22112112121112121112121221例3.11:求MA(1)模型系数的矩估计MA(1)模型方程矩估计11tttx2201111

23、220111(1)1 12112411例3.12:求ARMA(1,1)模型系数的矩估计ARMA(1,1)模型方程矩估计1111ttttxx1111 112011 1211()(1)12 1122122112121,2,242,24,ccccccc对矩估计的评价优点估计思想简单直观不需要假设总体分布计算量小（低阶模型场合）缺点信息浪费严重只用到了p+q个样本自相关系数信息，其他信息都被忽略估计精度差通常矩估计方法被用作极大似然估计和最小二乘估计迭代计算的初始值 极大似然估计原理在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计就是使得似然函数（即联合密度函数）达

24、到最大的参数值 ,);(max),;,(21121kkxpxxL似然方程由于 和 都不是 的显式表达式。因而似然方程组实际上是由p+q+1个超越方程构成，通常需要经过复杂的迭代算法才能求出未知参数的极大似然估计值 ( )Sln 0)(21ln21);(02)(2);(2422SxlSnxl对极大似然估计的评价优点极大似然估计充分应用了每一个观察值所提供的信息，因而它的估计精度高同时还具有估计的一致性、渐近正态性和渐近有效性等许多优良的统计性质缺点需要假定总体分布最小二乘估计原理使残差平方和达到最小的那组参数值即为最小二乘估计值 211111)(min)(min)(ntqtqtptpttxxxQ

25、Q条件最小二乘估计实际中最常用的参数估计方法假设条件残差平方和方程解法迭代法0,0txtnitititnitxxQ121112)(对最小二乘估计的评价优点最小二乘估计充分应用了每一个观察值所提供的信息，因而它的估计精度高条件最小二乘估计方法使用率最高缺点需要假定总体分布例2.5续确定1950年1998年北京市城乡居民定期储蓄比例序列拟合模型的口径 拟合模型：AR(1)估计方法：极大似然估计模型口径tttxx169. 017.2517.16)(2Var例3.8续确定美国科罗拉多州某一加油站连续57天的OVERSHORTS序列拟合模型的口径 拟合模型：MA(1)估计方法：条件最小二乘估计模型口径t

26、tBx)82303. 01 (40351. 4929.2178)(2Var例3.9续确定1880-1985全球气表平均温度改变值差分序列拟合模型的口径 拟合模型：ARMA(1,1)估计方法：条件最小二乘估计模型口径119 . 0407. 0003. 0ttttxx016. 0)(2Var模型检验模型的显著性检验整个模型对信息的提取是否充分参数的显著性检验模型结构是否最简模型的显著性检验目的检验模型的有效性（对信息的提取是否充分）检验对象残差序列判定原则一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息，即残差序列应该为白噪声序列 反之，如果残差序列为非白噪声序列，那就意味着残差序列

27、中还残留着相关信息未被提取，这就说明拟合模型不够有效假设条件原假设：残差序列为白噪声序列备择假设：残差序列为非白噪声序列0120,1mHm：mkmHk，：至少存在某个1, 01检验统计量LB统计量221(2)() ( )mkkLBn nmnk例2.5续检验1950年1998年北京市城乡居民定期储蓄比例序列拟合模型的显著性 残差白噪声序列检验结果延迟阶数LB统计量P值检验结论65.830.3229拟合模型显著有效1210.280.50501811.380.8361参数显著性检验目的检验每一个未知参数是否显著非零。删除不显著参数使模型结构最精简 假设条件检验统计量mjHHjj10:0:10)()(

28、mntQamnTjjjj例2.5续检验1950年1998年北京市城乡居民定期储蓄比例序列极大似然估计模型的参数是否显著 参数检验结果检验参数t统计量P值结论均值46.120.0001显著6.720.0001显著1例3.8续:对OVERSHORTS序列的拟合模型进行检验 残差白噪声检验参数显著性检验检验参数t统计量P值结论均值3.750.0004显著10.600.0001显著延迟阶数LB统计量P值结论63.150.6772模型显著有效129.050.61711例3.9续:对1880-1985全球气表平均温度改变值差分序列拟合模型进行检验 残差白噪声检验参数显著性检验检验参数t统计量P值结论16.

29、340.0001显著3.50.0007显著延迟阶数LB统计量P值结论65.280.2595模型显著有效1210.300.424711模型优化问题提出当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。优化的目的选择相对最优模型 例3.13:拟合某一化学序列序列自相关图序列偏自相关图拟合模型一根据自相关系数2阶截尾，拟合MA(2)模型参数估计模型检验模型显著有效 三参数均显著 ttBByield)31009. 032286. 01 (17301.512拟合模型二根据偏自相关系数1阶截尾，拟合MA(1)模型参数估计模型检验模型显著有效

30、两参数均显著 Byieldtt42481. 0126169.51问题同一个序列可以构造两个拟合模型，两个模型都显著有效，那么到底该选择哪个模型用于统计推断呢？ 解决办法确定适当的比较准则，构造适当的统计量，确定相对最优AIC准则最小信息量准则（An Information Criterion） 指导思想似然函数值越大越好 未知参数的个数越少越好 AIC统计量)(2)ln(2未知参数个数nAICSBC准则AIC准则的缺陷在样本容量趋于无穷大时，由AIC准则选择的模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多 SBC统计量)(ln()ln(2未知参数nnSBC例3.13续用AIC准则

31、和SBC准则评判例3.13中两个拟合模型的相对优劣 结果AR(1)优于MA(2)模型AICSBCMA(2)536.4556543.2011AR(1)535.7896540.2866序列预测线性预测函数预测方差最小原则10titiixC x ( )( )min( )t lxttVare lVar e l序列分解 111111( )( )t lt lt lltltltttxGGGGe lx l 预测误差预测误差预测值预测值)(),()( ),(11leVarxxxVarlxxxxEtttltttlt误差分析估计误差期望方差1111)(tlltlttGGle1022)(liitGleVar0)(le

32、EtAR(p)序列的预测预测值预测方差95置信区间)() 1()( 1plxlxlxtpt22121)1 ()(ltGGleVar12221112 ( )1tlx lzGG例3.14已知某超市月销售额近似服从AR(2)模型（单位：万元/每月）今年第一季度该超市月销售额分别为：101，96，97.2万元请确定该超市第二季度每月销售额的95的置信区间 12100.60.3,(0,36)tttttxxxN例3.14解：预测值计算四月份五月份六月份12.973 . 06 . 010) 1 (233xxx432.973 . 0) 1 (6 . 010)2(333xxx5952.97) 1 (3 . 0)

33、2(6 . 010)3(333xxx例3.14解：预测方差的计算GREEN函数方差01102112010.60.360.30.66GGGGGG6416.64)()3(96.48)()2(36)1 (222212032212032203GGGeVarGGeVarGeVar例3.14解：置信区间公式估计结果)(96. 1)(,)(96. 1)(3333leVarlxleVarlx预测时期95置信区间四月份（85.36，108.88） 五月份（83.72，111.15） 六月份（81.84，113.35） 例2.5:北京市城乡居民定期储蓄比例序列拟合与预测图 MA(q)序列的预测预测值预测方差qlq

34、llxqliiltit,)(qlqlleVarqlt,)1 (,)1 ()(222122121例3.15已知某地区每年常驻人口数量近似服从MA(3)模型（单位：万）：最近3年的常驻人口数量及一步预测数量如下：预测未来5年该地区常住人口的95置信区间1212 . 06 . 08 . 0100tttttx年份统计人数预测人数200210411020031081002004105109例3.15解：随机扰动项的计算4109105) 1 (8100108) 1 (6110104) 1 (20032004200220031200120022xxxxxxttt例3.15解：估计值的计算100)5(100)4(8 .1002 . 0100) 3(962 . 06 . 0100)2(2 .1092 . 06 . 08 . 0100) 1 (121tttttttttttxxxxx例3.15解：预测方差的计算51)1 ()5(51)1 ()4(50)1 ()3(41)1 ()2(25)1 (22322212232221222212212ttttteVareVareVareVareVar例3.15解：