时间序列-AR模型ppt课件

1、一、自回归模型的定义一、自回归模型的定义二、中心化模型二、中心化模型三、三、AR(p)模型的平稳解模型的平稳解1四、自回归模型的阶数的估计四、自回归模型的阶数的估计五、自回归模型的参数的估计五、自回归模型的参数的估计六、自回归模型的检验六、自回归模型的检验七、自回归模型的预告七、自回归模型的预告2 时间序列分析最重要的运用是分析和表征察看值之间的相互依赖性与相关性，假设对这种相关性进展量化处置，那么就可以方便地从系统的过去值预测未来的值。 在数理统计中讨论的数据的线性回归模型, 很好地表示了因变量yt的察看值对自变量观测值xt1,xt2,xtp的相关性，处置了他们之间的相关性问题，但是，对一组

2、随机观测数据，即一个时间序列内部的相关关系它却描画不出来。即它不能描画数据内部之间的相互依赖关系。3 另一方面，某些随机过程与另一些变量取值之间的随机关系，往往根本无另一方面，某些随机过程与另一些变量取值之间的随机关系，往往根本无法用任何函数关系式来描画，这时就需求采用这个时间序列本身的观测数据之法用任何函数关系式来描画，这时就需求采用这个时间序列本身的观测数据之间的依赖关系来提示这个时序的规律性。间的依赖关系来提示这个时序的规律性。4一、自回归模型的定义一、自回归模型的定义定义定义2.1 设设xt,t=0,1,2,为时间序列，白噪声序列为为时间序列，白噪声序列为t,t=0,1,2, ，且对恣

3、，且对恣意的意的 s1,所以这是平稳的所以这是平稳的AR(1)模型。模型。8例例1.3 假设时间序列假设时间序列xt满足满足, 1, 02521txxxtttt试问此试问此xt能否为平稳的序列模型。能否为平稳的序列模型。解：由于其自回归系数多项式为解：由于其自回归系数多项式为2251)(uuu1( )(1)(12 )02uuu的根为的根为u1=21与与u2=1/21, 故知其根不都在单位圆外，所以这是非平稳的故知其根不都在单位圆外，所以这是非平稳的AR(2)序序列模型。列模型。9 自回归模型是描画系统内部的回归关系，故称为自回归，与通常的线性回归性质是不一样的。10二、中心化二、中心化 AR(

4、p) 模型模型设设xt为平稳序列，且有为平稳序列，且有tptptttxxxx22110那么对上式两端同取数学期望，即得那么对上式两端同取数学期望，即得tptptttEExExExEx22110由于由于xt为平稳序列，故为平稳序列，故 0 ttEEx且，常数11)(210p即得即得0210p1210)1 (p因此得ttxw此时若令tptptttwwww2211那么可得一个均值为那么可得一个均值为0的新序列：的新序列：此时此时wt 称为称为xt 的平稳中心化序列。的平稳中心化序列。 12以后普通均讨论中心化的平稳模型或序列以后普通均讨论中心化的平稳模型或序列:tptptttxxxx22110,;

5、0 0,tsttExtsEExt且，其中13三、平稳模型的平稳解三、平稳模型的平稳解设平稳设平稳AR(p)模型为模型为tptptttxxxx2211式中式中t为白噪声序列，为白噪声序列，0 0kExktt且 系数系数1 ， 2 ， ， p 满足平稳条件：系数满足平稳条件：系数 多项式多项式(u)=0的根都在单位圆外。的根都在单位圆外。141 后移算子后移算子假设算子假设算子B满足等式满足等式:1ttxBx那么称那么称B为后移算子为后移算子 ,即即B作用作用xt 后使其转化为后使其转化为xt -1类似的类似的 212)()(ttttxxBBxBxB, 2 , 1 , 0kxxBkttk于是于是,

6、AR(p)模型可以表示为模型可以表示为ttpptttxBxBBxx22115ttppxBBB)(221ttxB)(即得一差分方程即得一差分方程: 其中其中(B)为后移算子多项式为后移算子多项式,即称为自回归算子即称为自回归算子:ppBBBB2211)(16 易见，滤波器成为一个对时间序列进展变换的实体，变换前的序列称为输入，经滤波易见，滤波器成为一个对时间序列进展变换的实体，变换前的序列称为输入，经滤波器变换的得到的序列称为输出。器变换的得到的序列称为输出。 自回归滤波器自回归滤波器xttt 差分方程式可用框图表示: 想象有一个滤波器，输入的是某种平稳序列，而输出的那么是白噪声序列，即172

7、AR(p)序列的平稳域与允许域序列的平稳域与允许域 定义2.2 AR(p)序列的平稳域为其系数取值的集合：0)() , , ,(21的根在单位圆外up其允许域为其自相关函数的前其允许域为其自相关函数的前p个值的集合个值的集合:)( , ),2( ),1 (11在平稳域内ppppdRbp其中矩阵其中矩阵p与与Rp ,向量向量、b与与d分别为：分别为：18)0()2() 1()2()0() 1 () 1() 1 ()0(xxxxxxxxxpCpCpCpCCCpCCC) )( , ),2( ),1 (pCCCbxxxp) , , ,(21p)0(/)0(/xppxppCbdCR191|故其允许域为t

8、ttxx1/101uu的解为因为系数多项式1|所以其平稳域为)0(/ ) 1 (1CC）（)() 1 (111tttttxExxExC)(111oCExxExtttt例如一阶自回归模型例如一阶自回归模型AR(1)：20ppppbb意味着1注注:)() 2() 1 () 0 () 2() 1() 2() 0 () 1 () 1() 1 () 0 (21pCCCCpCpCpCCCpCCCxxxpxxxxxxxxx实际上由平稳实际上由平稳AR(p)模型模型:ttptpttxxxx221121即得：在其两端同乘以1txttttpttpttttxxxxxxxxx111212111再对两端取数学期望再对两

9、端取数学期望, 并由性质并由性质:0 0, 2 , 1),1()(1kExiiCxxEkttxitt且) 1 () 1() 1 ()0(21xpxxxCpCCC22) 1 () 1() 1 ()0(21xpxxxCpCCC类似的类似的,在平稳在平稳AR(p)模型两端分别同乘以模型两端分别同乘以即得：,32ptttxxxttttpttpttttxxxxxxxxx22222212123ttttpttpttttxxxxxxxxx333232131tptttptptptpttptxxxxxxxxx12211再对两端取数学期望再对两端取数学期望, 并由上述性质可得并由上述性质可得:)2()2()0()

10、1 (21xpxxxCpCCC)3()3() 1 ()2(21xpxxxCpCCC24)()0()2() 1(21pCCpCpCxpxxx)() 3() 2() 0() 2() 1() 3() 1 () 2() 2() 0() 1 (21pCCCCpCpCpCCCpCCCxxxpxxxxxxxxx其次其次,由于自相关系数等于由于自相关系数等于:)0()()0()0()()()()()(xxxxxxxittCiCCCiCitDtDxxEi25意味着：ppdR) 0() 2() 1() 2() 0() 1 () 1() 1 () 0() 0(/ppppCRxpp)()2() 1 ()0()2()

11、1()2()0() 1 () 1() 1 ()0(21pppppp263 AR(1)序列平稳解与自相关函数序列平稳解与自相关函数tttxxAR1 ) 1 ( 序列若对进展反复的迭代运算，那么对任何自然数进展反复的迭代运算，那么对任何自然数n，有，有 ttttttxxx)(121tttx122ttttx12233ttntnntnntnx121112710nkktkntntxx于是对于平稳时间序列，假设有于是对于平稳时间序列，假设有|0时时, 其自相关函数：其自相关函数：30)(),(kttxxxEkttR00llktliitiE00illktitliE00iklktitliE022ikiikl3

12、1类似的类似的,当当k0时时,其自相关函数为其自相关函数为0|22|)()(),(kkiktkktkttxxxExxEkttR02|2kik2|22|2111kk2|22|211),(),( kkxxkttRkttC于是2222111kk32特别地，特别地，AR(1)序列的方差函数为序列的方差函数为221)(tDx其自相关系数为其自相关系数为 |)()(),()(kxxxktDtDkttCk 由于| 0时，其自相关函数为时，其自相关函数为)(),(kttxxxEkttR00llktliitiE3900)(illktitliE)(02kRxikii)()(),(0|ktkktkttxxxExxE

13、kttRk 时，当)(0|2kRxikii综述为综述为 0|2),(ikiixkttR用上式求得用上式求得AR(2)序列的自相关函数是比较困难的，在实际中常采用另一种简便有效的方法序列的自相关函数是比较困难的，在实际中常采用另一种简便有效的方法: 40 设h0，因t与xt互不相关，故用xt-h乘以AR(2)模型等式两端，再取数学期望，即得thtthtthtthtxxxxxxx2211thtthtthtthtExxExxExxxE2211)()2() 1()(21hRhRhRxxx上述递推式称为上述递推式称为AR(2)序列的序列的Yule-Walker方程。方程。 利用Yule-Walker方程

14、求AR(2)序列的自相关函数方法即称为尤尔-沃克法.41注：由于此处均值函数为注：由于此处均值函数为0，其自相关函数与自协方差函数相等，为分析简单起见，我们将，其自相关函数与自协方差函数相等，为分析简单起见，我们将自相关函数作为自协方差函数，即表示为自相关函数作为自协方差函数，即表示为kttxxExkC)(而将自相关系数而将自相关系数:)0()()(xxCkCk 称为自相关函数。称为自相关函数。因此，由因此，由Yule-Walker方程可得方程可得)2() 1()(21kkk42其初值为其初值为211) 1 (, 1)0() 1 () 1(注意) 1 ()0() 1()0() 1 (2121故

15、有112)0() 1 ()1 ( 下面分三种情况讨论在上述给定初始条件下,自相关函数的差分方程的解:的解为时有两不相等实根若2122101)() 1uuuuukkuuk2211)(43再根据初值条件再根据初值条件,自回归系数方程的根与系数的关系得自回归系数方程的根与系数的关系得)1)()1 ()()(21212211111221221uuuuuuuuuuuu)1)()1 ()()(21122121221111112uuuuuuuuuuuu)1)()1 ()1 ()(211212211122uuuuuuuukkk即得即得44)0()1)()1 ()1 ()(211212211122xkkxCuu

16、uuuuuukR 由上式可看出，当自回归系数方程的根的两实根都在单位圆外部时，由上式可看出，当自回归系数方程的根的两实根都在单位圆外部时， (k) 随随k的增大，向的增大，向零衰减，假设两实根中至少有一个在单位圆内部时，那么零衰减，假设两实根中至少有一个在单位圆内部时，那么(k)发散。发散。的根为而方程01)(221uuu2221124u45AR(2)序列的平稳域序列的平稳域:1 , 1 , 11 : ),(1212221平稳域图形见以以下图：平稳域图形见以以下图： 2 221-20 1 1-1-11满足条件的集合为与，则，要求21211|1|uu46的解为时有两相等实根若uuuu01)()2

17、221huhh)()(21再根据初值条件再根据初值条件,自回归系数方程的根与系数的关系得自回归系数方程的根与系数的关系得22221111)/11 (/2, 1uuuuukukuuk)111 ()(22即得47的解为时，有两共轭复根若2122101)()3uuuuu)0( sinsin)1 (cos)1 (cos)(22hkrrkrkhireuuu1121,并记其中3AR(2)序列的允许域序列的允许域平稳域) ,( ,11) ,(212121112148允许域图形如以以下图所示允许域图形如以以下图所示 2 21-10 1 112 , 1| , 1| ),(2212121即495. 普通AR(p)

18、序列的平稳解与自相关函数1AR(p)模型的平稳解模型的平稳解定理定理2.1.1 设设AR(p)序列的系数多项式序列的系数多项式 ppuuuu2211)(的一切根均在单位圆外部，即满足平稳条件，且的一切根均在单位圆外部，即满足平稳条件，且p0。假设存在实数列。假设存在实数列j, j=0,1,2,满满足足p阶齐次线性差分方程：阶齐次线性差分方程：pjBj 0)(50及初值条件及初值条件:00010132211021120110pppp51那么均方极限存在那么均方极限存在 0kktktx 且几乎必然对一切 t=0,1,2,，此式为AR(p)模型的平稳解。2 AR(p)模型的自相关函数模型的自相关函数

19、定理定理2 .1.2 设设xt 是是AR(p)序列，其自回归算子的一切根都在单位圆外部，那么其自协方差序列，其自回归算子的一切根都在单位圆外部，那么其自协方差函数函数C(k)满足满足p阶齐次差分方程阶齐次差分方程Yule-Walker方程：方程：52pkkCB 0)()(及初值条件及初值条件0)() 3() 2() 1(0) 1() 1 () 0() 1 ()() 2() 1 () 0(2121221pCpCpCpCpCCCCpCCCCppp53 假设在上式两端同除以假设在上式两端同除以C(0)=Dx,即得自相关函数满足的即得自相关函数满足的Yule-Walker方程，即方程，即pkkB 0)

20、()(及初始条件及初始条件0) 1 () 3()2() 1(0) 1() 1 ()0() 1 ()0(/)()2() 1 ()0(2121221pppppppCp54 时间序列的自相关函数刻划了随机序列各时辰间的线性相关程度。实际中常用自相关函数的图形相关图来分析、反映时间序列各时辰间的线性相关性。55 6. AR(p)序列偏相关函数 对于恣意平稳序列，假设其自协方差函数对于恣意平稳序列，假设其自协方差函数C(k)满足以下条件，即对恣意满足以下条件，即对恣意k1,1i,jk，k为正定矩阵为正定矩阵: )() 0 () 3() 2() 1() 2() 1 () 0 () 1 () 1() 2 (

21、) 1 () 0 (jiCCkCkCkCkCCCCkCCCCk56) )( , ),2( ),1 (kCCCbk记 2, , 1 )(1kbkkk再将向量的分量记为再将向量的分量记为) , , ,()(21kkkkk100且记 2, , 1 ,kkk则称称为上述平稳序列的偏相关函数。称为上述平稳序列的偏相关函数。kk简记为57 可以利用以下递推公式计算偏相关函数： kjjCCjkCkCCCkjkkkkjkjkkjjkjkkjkk , , 2 , 1 )() 0 ()()1() 1() 0 (/ ) 1 (11 11111 111 普通来说，偏相关函数的意义由下述定理给出普通来说，偏相关函数的意义由下述定理给出: 58定理定理2.1.3 对于零均值的平稳序列对于零均值的平稳序列xt而言，以下两条是相互等价的；而言，以下两条是相互等价的； 1 xt满足平稳序列满足平稳序列AR(p)模型；模型； 2 xt的偏相关函数列满足条件的偏相关函数列满足条件 0kkpk 此定理阐明偏相关函数列的截尾性质是平稳自回归序列独有的特征。利用此定理，可此定理阐明偏相关函数列的截尾性质是平稳自回归序列独有的特征。利用此定理，可以经过检查以经过检查xt的偏相关函数列的