时间序列分析--第三章平稳时间序列分析ppt课件

1、第三章平稳时间序列分析本章结构n方法性工具 nARMA模型 n平稳序列建模n序列预测 3.1 方法性工具 n差分运算n延迟算子n线性差分方程差分运算n一阶差分n 阶差分 n 步差分pk1tttxxx111tptptpxxxkttkxx延迟算子n延迟算子类似于一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻 n记B为延迟算子，有 1,pxBxtppt延迟算子的性质n n n n n ，其中 10B为任意常数cxcxBcxcBttt,)()(111)(ttttyxyxBnttnxxBiniinnnBCB0) 1()1 ()!( !ininCin用延迟算子表示差

2、分运算n 阶差分 n 步差分pkitpiipptptpxCxBx0) 1()1 (tkkttkxBxx)1 ( 线性差分方程 n线性差分方程n齐次线性差分方程)(2211thzazazazptpttt02211ptptttzazazaz齐次线性差分方程的解n特征方程n特征方程的根称为特征根，记作n齐次线性差分方程的通解n不相等实数根场合n有相等实根场合n复根场合02211ppppaaap,21tpptttcccz2211tpptddtddtcctctccz111121)(tpptititttccececrz3321)(非齐次线性差分方程的解 n非齐次线性差分方程的特解n使得非齐次线性差分方程成

3、立的任意一个解n非齐次线性差分方程的通解n齐次线性差分方程的通解和非齐次线性差分方程的特解之和tttzzz tz )(2211thzazazazptpttt tz3.2 ARMA模型的性质 nAR模型Auto Regression Model） nMA模型Moving Average Model） nARMA模型Auto Regression Moving Average model）AR模型的定义n具有如下结构的模型称为 阶自回归模型，简记为n特别当 时，称为中心化 模型tsExtsEVarExxxxtsstttptptpttt, 0, 0)(,)(0)(0222110，p)(pAR00)(

4、pAR AR(P)序列中心化变换n称 为 的中心化序列 ，令p101ttxytytx自回归系数多项式n引进延迟算子，中心化 模型又可以简记为 n自回归系数多项式)(pARttxB)(ppBBBB2211)(AR模型平稳性判别 n判别原因nAR模型是常用的平稳序列的拟合模型之一，但并非所有的AR模型都是平稳的 n判别方法n单位根判别法n平稳域判别法例3.1:考察如下四个模型的平稳性1(1)0.8tttxx1(2)1.1tttxx 12(3)0.5ttttxxxttttxxx115 . 0)4(例3.1平稳序列时序图1(1)0.8tttxx12(3)0.5ttttxxx例3.1非平稳序列时序图1(

5、2)1.1tttxx ttttxxx115 . 0)4(AR模型平稳性判别方法n特征根判别nAR(p)模型平稳的充要条件是它的p个特征根都在单位圆内n根据特征根和自回归系数多项式的根成倒数的性质，等价判别条件是该模型的自回归系数多项式的根都在单位圆外n平稳域判别 n平稳域,21单位根都在单位圆内pAR(1)模型平稳条件n特征根n平稳域1AR(2)模型平稳条件n特征根n平稳域2424221122211111,12221，且例3.1平稳性判别8 . 010.81 . 111.1 211i212i221210.5,0.5,1.5 23112312221210.5,1.5,0.5 模型特征根判别平稳域

6、判别结论(1)平稳(2)非平稳(3)平稳(4)非平稳平稳AR模型的统计性质n均值n方差n协方差n自相关系数n偏自相关系数均值 n如果AR(p)模型满足平稳性条件，则有n根据平稳序列均值为常数，且 为白噪声序列，有n推导出p101)(110tptpttxxEExTtEExtt,0)(,tGreen函数定义nAR模型的传递形式n其中系数 称为Green函数, 2 , 1,jGjjtjjjpijtjiipijtjiipitiittGkBkBkBx001101)(1)(Green函数递推公式n原理n方法n待定系数法n递推公式pkpkjGGGkkkjjkkj, 0, 2 , 1110其中，ttttttB

7、GBBGxxB)()()()(方差n平稳AR模型的传递形式n两边求方差得函数为GreenGGxVarjjjt,)(202jtjjtGx0例3.2:求平稳AR(1)模型的方差n平稳AR(1)模型的传递形式为nGreen函数为n平稳AR(1)模型的方差itiitiittBBx01011)(1, 1 , 0,1jGjj2122021021)()(jjtjjtVarGxVar协方差函数n在平稳AR(p)模型两边同乘 ，再求期望n根据n得协方差函数的递推公式)()()()(11kttktptpkttkttxExxExxExxEktx1,k0)(kttxE1,kpkpkkk2211例3.3:求平稳AR(1

8、)模型的协方差n递推公式n平稳AR(1)模型的方差为n协方差函数的递推公式为0111kkk212011,12121kkk例3.4:求平稳AR(2)模型的协方差n平稳AR(2)模型的协方差函数递推公式为21)1)(1)(1 (12211201122121220kkkk，自相关系数n自相关系数的定义n平稳AR(P)模型的自相关系数递推公式0kk1122kkkpkp 常用AR模型自相关系数递推公式nAR(1)模型nAR(2)模型0,1kkk2110, 1221121kkkkkkAR模型自相关系数的性质n拖尾性n呈复指数衰减1( )pkiiikc不能恒等于零pccc,211( )pkiiikc0例3.

9、5:考察如下AR模型的自相关图ttttttttttttttxxxxxxxxxx2121115 . 0)4(5 . 0)3(8 . 0)2(8 . 0) 1 (例3.5n自相关系数按复指数单调收敛到零1(1)0.8tttxx例3.5:1(2)0.8tttxx 例3.5:n自相关系数呈现出“伪周期性12(3)0.5ttttxxx例3.5:n自相关系数不规则衰减12(4)0.5ttttxxx 偏自相关系数n定义n对于平稳AR(p)序列，所谓滞后k偏自相关系数就是指在给定中间k-1个随机变量 的条件下，或者说，在剔除了中间k-1个随机变量的干扰之后， 对 影响的相关度量。用数学语言描述就是121,kt

10、ttxxxktxtx2,)()(11ktktktktttxxxxxExExExxExEkttktt偏自相关系数的计算n滞后k偏自相关系数实际上就等于k阶自回归模型第个k回归系数的值。02211202112112011kkkkkkkkkkkkkkkkk)()(2ktktktktttkkxExExExxExE偏自相关系数的截尾性nAR(p)模型偏自相关系数P阶截尾pkkk,0例3.5续:考察如下AR模型的偏自相关图ttttttttttttttxxxxxxxxxx2121115 . 0)4(5 . 0)3(8 . 0)2(8 . 0) 1 (例3.5n理论偏自相关系数n样本偏自相关图1(1)0.8t

11、ttxx0.8,10,2kkkk例3.5:n理论偏自相关系数n样本偏自相关图1(2)0.8tttxx 0.8,10,2kkkk例3.5:n理论偏自相关系数n样本偏自相关图12(3)0.5ttttxxx2,130.5,20,3kkkkk 例3.5:n理论偏自相关系数n样本偏自相关系数图12(4)0.5ttttxxx 2,130.5,20,3kkkkk MA模型的定义n具有如下结构的模型称为 阶自回归模型，简记为n特别当 时，称为中心化 模型q)(qMA0)(qMA112220( )0( ),()0,ttttqt qqtttsxEVarEst ，移动平均系数多项式n引进延迟算子，中心化 模型又可以

12、简记为 n 阶移动平均系数多项式)(qMAttBx)(qqqBBBB2211)(MA模型的统计性质n常数均值n常数方差）（qtqttttEEx221122212211)1 ()()(qqtqttttVarxVarMA模型的统计性质n自协方差函数P阶截尾n自相关系数P阶截尾q kqkkkqiikikqk , 01 ,)(0 ,)1 (212221qkqkkqkqiikikk , 01 ,10 , 12211常用MA模型的自相关系数nMA(1)模型nMA(2)模型2, 01, 10, 1211kkkk3, 02, 11, 10, 1222122221211kkkkkMA模型的统计性质n偏自相关系数

13、拖尾)(11111qktqktqtqtkk零不会在有限阶之后恒为不恒为零kkq,1例3.6:考察如下MA模型的相关性质212111162545)4(251654)3(5 . 0)2(2) 1 (ttttttttttttttxxxxMA模型的自相关系数截尾n n 112tttx（）120.5tttx（ ）MA模型的自相关系数截尾n n 124163525ttttx（ ）125254416ttttx（ ）MA模型的偏自相关系数拖尾n n 112tttx（）120.5tttx（ ）MA模型的偏自相关系数拖尾n n 124163525ttttx（ ）125254416ttttx（ ）MA模型的可逆性n

14、MA模型自相关系数的不唯一性n例3.6中不同的MA模型具有完全相同的自相关系数和偏自相关系数212111162545)4(251654)3(5 . 0)2(2) 1 (ttttttttttttttxxxx可逆的定义n可逆MA模型定义n若一个MA模型能够表示称为收敛的AR模型形式，那么该MA模型称为可逆MA模型n可逆概念的重要性n一个自相关系数列唯一对应一个可逆MA模型。可逆MA(1)模型n n 1tttx11tttx21ttBx1ttBx11可逆, 1可逆, 1MA模型的可逆条件nMA(q)模型的可逆条件是：nMA(q)模型的特征根都在单位圆内n等价条件是移动平滑系数多项式的根都在单位圆外11

15、i1i逆函数的递推公式n原理n方法n待定系数法n递推公式qkqkjIIIkkkjjkkj, 0, 2 , 1110其中，ttttttxxBIBxBIBx)()()()(例3.6续:考察如下MA模型的可逆性212111162545)4(251654)3(5 . 0)2(2) 1 (ttttttttttttttxxxx(1)(2)n n n逆函数n逆转形式不可逆1221tttx可逆15 . 05 . 01tttx05 . 0kktktx1,5 . 01kIkk(3)(4)n n n逆函数n逆转形式可逆1, 125165412221ttttx, 1 , 0,23, 0133,) 1(1nnknnkI

16、knk或013130338 . 0) 1(8 . 0) 1(nntnnnntnntxx不可逆11625162545221ttttxARMA模型的定义n具有如下结构的模型称为自回归移动平均模型，简记为n特别当 时，称为中心化 模型),(qpARMAtsExtsEVarExxxtsstttqpqtqttptptt, 0, 0)(,)(0)(00211110，00),(qpARMA系数多项式n引进延迟算子，中心化 模型又可以简记为 n 阶自回归系数多项式n 阶移动平均系数多项式),(qpARMAttBxB)()(qqqBBBB2211)(pppBBBB2211)(平稳条件与可逆条件nARMA(p,q

17、)模型的平稳条件nP阶自回归系数多项式 的根都在单位圆外n即ARMA(p,q)模型的平稳性完全由其自回归部分的平稳性决定nARMA(p,q)模型的可逆条件nq阶移动平均系数多项式 的根都在单位圆外n即ARMA(p,q)模型的可逆性完全由其移动平滑部分的可逆性决定0)( B0)( B传递形式与逆转形式n传递形式n逆转形式11)()(jjtjtttGBBx1,110kGGGkjjjkjk11)()(jjtjtttxIxxBB1,110kIIIkjjjkjkARMA(p,q)模型的统计性质n均值n协方差n自相关系数ptEx101 )(02ikiiGGk020)0()()(jjjkjjGGGkkARM

18、A模型的相关性n自相关系数拖尾n偏自相关系数拖尾例3.7:考察ARMA模型的相关性n拟合模型ARMA(1,1):n 并直观地考察该模型自相关系数和偏自相关系数的性质。 10.50.8ttttxx自相关系数和偏自相关系数拖尾性n样本自相关图n样本偏自相关图ARMA模型相关性特征模型自相关系数偏自相关系数AR(P)拖尾P阶截尾MA(q)q阶截尾拖尾ARMA(p,q)拖尾拖尾3.3平稳序列建模 n建模步骤n模型识别n参数估计n模型检验n模型优化n序列预测建模步骤平平稳稳非非白白噪噪声声序序列列计计算算样样本本相相关关系系数数模型模型识别识别参数参数估计估计模型模型检验检验模模型型优优化化序序列列预预

19、测测YN计算样本相关系数n样本自相关系数n样本偏自相关系数nttkntkttkxxxxxx121)()(DDkkk模型识别n基本原则选择模型拖尾P阶截尾AR(P)q阶截尾拖尾MA(q)拖尾拖尾ARMA(p,q)kkk模型定阶的困难n因为由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的 或 仍会呈现出小值振荡的情况n由于平稳时间序列通常都具有短期相关性，随着延迟阶数 ， 与 都会衰减至零值附近作小值波动n？当 或 在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢？ kkkkkkkkk

20、k样本相关系数的近似分布nBarlettnQuenouillennNk,)1, 0(nnNkk,)1, 0(模型定阶经验方法n95的置信区间n模型定阶的经验方法n如果样本(偏)自相关系数在最初的d阶明显大于两倍标准差范围，而后几乎95的自相关系数都落在2倍标准差的范围以内，而且通常由非零自相关系数衰减为小值波动的过程非常突然。这时，通常视为(偏)自相关系数截尾。截尾阶数为d。22Pr0.9522Pr0.95kkknnnn例2.5续n选择合适的模型ARMA拟合1950年2019年北京市城乡居民定期储蓄比例序列。序列自相关图序列偏自相关图拟合模型识别n自相关图显示延迟3阶之后，自相关系数全部衰减到

21、2倍标准差范围内波动，这表明序列明显地短期相关。但序列由显著非零的相关系数衰减为小值波动的过程相当连续，相当缓慢，该自相关系数可视为不截尾 n偏自相关图显示除了延迟1阶的偏自相关系数显著大于2倍标准差之外，其它的偏自相关系数都在2倍标准差范围内作小值随机波动，而且由非零相关系数衰减为小值波动的过程非常突然，所以该偏自相关系数可视为一阶截尾 n所以可以考虑拟合模型为AR(1)例3.8美国科罗拉多州某一加油站连续57天的OVERSHORT序列 序列自相关图序列偏自相关图拟合模型识别n自相关图显示除了延迟1阶的自相关系数在2倍标准差范围之外，其它阶数的自相关系数都在2倍标准差范围内波动。根据这个特点

22、可以判断该序列具有短期相关性，进一步确定序列平稳。同时，可以认为该序列自相关系数1阶截尾n偏自相关系数显示出典型非截尾的性质。n综合该序列自相关系数和偏自相关系数的性质，为拟合模型定阶为MA(1) 例3.9n1880-1985全球气表平均温度改变值差分序列 序列自相关图序列偏自相关图拟合模型识别n自相关系数显示出不截尾的性质n偏自相关系数也显示出不截尾的性质n综合该序列自相关系数和偏自相关系数的性质，可以尝试使用ARMA(1,1)模型拟合该序列参数估计n待估参数n 个未知参数n常用估计方法n矩估计n极大似然估计n最小二乘估计2pq211, ,pq 矩估计n原理n样本自相关系数估计总体自相关系数

23、n样本一阶均值估计总体均值，样本方差估计总体方差111111( ,)( ,)pqp qpqp q 1niixxn2221221211xqp例3.10:求AR(2)模型系数的矩估计nAR(2)模型nYule-Walker方程n矩估计Yule-Walker方程的解）ttttxxx22112112121112121112121221例3.11:求MA(1)模型系数的矩估计nMA(1)模型n方程n矩估计11tttx2201111220111(1)1 12112411例3.12:求ARMA(1,1)模型系数的矩估计nARMA(1,1)模型n方程n矩估计1111ttttxx1111 112011 1211

24、()(1)12 1122122112121,2,242,24,ccccccc对矩估计的评价n优点n估计思想简单直观n不需要假设总体分布n计算量小低阶模型场合）n缺点n信息浪费严重n只用到了p+q个样本自相关系数信息，其他信息都被忽略n估计精度差n通常矩估计方法被用作极大似然估计和最小二乘估计迭代计算的初始值 极大似然估计n原理n在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计就是使得似然函数即联合密度函数达到最大的参数值 ,);(max),;,(21121kkxpxxL似然方程n由于 和 都不是 的显式表达式。因而似然方程组实际上是由p+q+1个超越方程构成

25、，通常需要经过复杂的迭代算法才能求出未知参数的极大似然估计值 ( )Sln 0)(21ln21);(02)(2);(2422SxlSnxl对极大似然估计的评价n优点n极大似然估计充分应用了每一个观察值所提供的信息，因而它的估计精度高n同时还具有估计的一致性、渐近正态性和渐近有效性等许多优良的统计性质n缺点n需要假定总体分布最小二乘估计n原理n使残差平方和达到最小的那组参数值即为最小二乘估计值 211111)(min)(min)(ntqtqtptpttxxxQQ条件最小二乘估计n实际中最常用的参数估计方法n假设条件n残差平方和方程n解法n迭代法0,0txtnitititnitxxQ121112)

26、(对最小二乘估计的评价n优点n最小二乘估计充分应用了每一个观察值所提供的信息，因而它的估计精度高n条件最小二乘估计方法使用率最高n缺点n需要假定总体分布例2.5续n确定1950年2019年北京市城乡居民定期储蓄比例序列拟合模型的口径 n拟合模型：AR(1)n估计方法：极大似然估计n模型口径tttxx169. 017.2517.16)(2Var例3.8续n确定美国科罗拉多州某一加油站连续57天的OVERSHORTS序列拟合模型的口径 n拟合模型：MA(1)n估计方法：条件最小二乘估计n模型口径ttBx)82303. 01 (40351. 4929.2178)(2Var例3.9续n确定1880-1

27、985全球气表平均温度改变值差分序列拟合模型的口径 n拟合模型：ARMA(1,1)n估计方法：条件最小二乘估计n模型口径119 . 0407. 0003. 0ttttxx016. 0)(2Var模型检验n模型的显著性检验n整个模型对信息的提取是否充分n参数的显著性检验n模型结构是否最简模型的显著性检验n目的n检验模型的有效性对信息的提取是否充分）n检验对象n残差序列n判定原则n一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息，即残差序列应该为白噪声序列 n反之，如果残差序列为非白噪声序列，那就意味着残差序列中还残留着相关信息未被提取，这就说明拟合模型不够有效假设条件n原假设：残差

28、序列为白噪声序列n备择假设：残差序列为非白噪声序列0120,1mHm：mkmHk，：至少存在某个1, 01检验统计量nLB统计量221(2)() ( )mkkLBn nmnk例2.5续n检验1950年2019年北京市城乡居民定期储蓄比例序列拟合模型的显著性 n残差白噪声序列检验结果延迟阶数LB统计量P值检验结论65.830.3229拟合模型显著有效1210.280.50501811.380.8361参数显著性检验n目的n检验每一个未知参数是否显著非零。删除不显著参数使模型结构最精简 n假设条件n检验统计量mjHHjj10:0:10)()(mntQamnTjjjj例2.5续n检验1950年201

29、9年北京市城乡居民定期储蓄比例序列极大似然估计模型的参数是否显著 n参数检验结果检验参数t统计量P值结论均值46.120.0001显著6.720.0001显著1例3.8续:对OVERSHORTS序列的拟合模型进行检验 n残差白噪声检验n参数显著性检验检验参数t统计量P值结论均值3.750.0004显著10.600.0001显著延迟阶数LB统计量P值结论63.150.6772模型显著有效129.050.61711例3.9续:对1880-1985全球气表平均温度改变值差分序列拟合模型进行检验 n残差白噪声检验n参数显著性检验检验参数t统计量P值结论16.340.0001显著3.50.0007显著延

30、迟阶数LB统计量P值结论65.280.2595模型显著有效1210.300.424711模型优化n问题提出n当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。n优化的目的n选择相对最优模型 例3.13:拟合某一化学序列序列自相关图序列偏自相关图拟合模型一n根据自相关系数2阶截尾，拟合MA(2)模型n参数估计n模型检验n模型显著有效 n三参数均显著 ttBByield)31009. 032286. 01 (17301.512拟合模型二n根据偏自相关系数1阶截尾，拟合MA(1)模型n参数估计n模型检验n模型显著有效 n两参数均显著 B

31、yieldtt42481. 0126169.51问题n同一个序列可以构造两个拟合模型，两个模型都显著有效，那么到底该选择哪个模型用于统计推断呢？ n解决办法n确定适当的比较准则，构造适当的统计量，确定相对最优AIC准则n最小信息量准则An Information Criterion） n指导思想n似然函数值越大越好 n未知参数的个数越少越好 nAIC统计量)(2)ln(2未知参数个数nAICSBC准则nAIC准则的缺陷n在样本容量趋于无穷大时，由AIC准则选择的模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多 nSBC统计量)(ln()ln(2未知参数nnSBC例3.13续n用AI

32、C准则和SBC准则评判例3.13中两个拟合模型的相对优劣 n结果nAR(1)优于MA(2)模型AICSBCMA(2)536.4556543.2019AR(1)535.7896540.2866序列预测n线性预测函数n预测方差最小原则10titiixC x ( )( )min( )t lxttVare lVar e l序列分解 111111( )( )t lt lt lltltltttxGGGGe lx l 预测误差预测误差预测值预测值)(),()( ),(11leVarxxxVarlxxxxEtttltttlt误差分析n估计误差n期望n方差1111)(tlltlttGGle1022)(liitG

33、leVar0)(leEtAR(p)序列的预测n预测值n预测方差n95置信区间)() 1()( 1plxlxlxtpt22121)1 ()(ltGGleVar12221112 ( )1tlx lzGG例3.14n已知某超市月销售额近似服从AR(2)模型单位：万元/每月）n今年第一季度该超市月销售额分别为：n101，96，97.2万元n请确定该超市第二季度每月销售额的95的置信区间 12100.60.3,(0,36)tttttxxxN例3.14解：预测值计算n四月份n五月份n六月份12.973 . 06 . 010) 1 (233xxx432.973 . 0) 1 (6 . 010)2(333xx

34、x5952.97) 1 (3 . 0)2(6 . 010)3(333xxx例3.14解：预测方差的计算nGREEN函数n方差01102112010.60.360.30.66GGGGGG6416.64)()3(96.48)()2(36)1 (222212032212032203GGGeVarGGeVarGeVar例3.14解：置信区间n公式n估计结果)(96. 1)(,)(96. 1)(3333leVarlxleVarlx预测时期95置信区间四月份（85.36，108.88） 五月份（83.72，111.15） 六月份（81.84，113.35） 例2.5:北京市城乡居民定期储蓄比例序列拟合与预

35、测图 MA(q)序列的预测n预测值n预测方差qlqllxqliiltit,)(qlqlleVarqlt,)1 (,)1 ()(222122121例3.15n已知某地区每年常驻人口数量近似服从MA(3)模型单位：万）：n最近3年的常驻人口数量及一步预测数量如下：n预测未来5年该地区常住人口的95置信区间1212 . 06 . 08 . 0100tttttx年份统计人数预测人数201910411020191081002019105109例3.15解：随机扰动项的计算4109105) 1 (8100108) 1 (6110104) 1 (20032004200220031200120022xxxxxxttt例3.15解：估计值的计算100)5(100)4(8 .1002 . 0100) 3(962 . 06 . 0100)2(2 .1092 . 06 . 08 . 0100) 1 (121tttttttttttxxxxx例3.15解：预测方差的计算51)1 ()5(51)1 ()4(50)1 ()3(41)1 ()2(25)1 (22322212232221222212212ttttteVareVareVareVareVar例