时间序列模型归纳总结复习

1、精品文档时间序列模型归纳总结复习随机时间序列分析的几个基本概念一、随机过程 (Stochastic Process)定义设（ ,F,P ）是概率空间，T 是给定的参数集，如果对于任意t T，都有一定义在（,F ,P ）上的随机变量X(t, ) 与之对应，则称随机变量族 X(t, ),t T 为随机过程。简记为 X(t,),t T 或 X t ,tT 或 XT离散参数的随机过程也称为随机序列或（随机）时间序列。上述定义可简单理解成：随机过程是一簇随机变量X t ,t T ，其中 T 表示时间t 的变动范围，对每个固定的时刻t 而言， Xt 是一普通的随机变量，这些随机变量的全体就构成一个随机过程

2、。当 t=0,± 1, ± 2, 时，即时刻t 只取整数时，随机过程X t ,t T 可写成如下形式，X t ,t=0,±1, ±2, 。此类随机过程Xt 是离散时间t 的随机函数，称它为随机序列或时间序列。对于一个连续时间的随机过程的等间隔采样序列，即X t ,t=0,±1, ± 2, 就是一个离散随机序列。二、时间序列的概率分布和数值特征1、时间序列的概率分布一个时间序列便是一个无限维的随机向量。一个无限维随机向量X=(,X-1,X0,X1,)/ 的概率分布应当用一个无限维概率分布描述。根据柯尔莫哥夫定理，一个时间序列的概率分布可

3、以用它有限维分布簇来描述。时间序列所有的一维分布是：，F-1( ·) ，F0( ·) ，F1(· ),所有二维分布是：Fij(·，· ) ， i ， j=0, ±1, ± 2,(i j)一个时间序列的所有有限维分布簇的全体，称为该序列的有限维分布簇。2、时间序列的均值函数一个时间序列的均值函数是指：tEXtXdFt ( X )其中 EXt 表示在 t 固定时对随机变量Xt 的求均值，它只一维分布簇中的分布函数Ft( · ) 有关。3、时间序列的协方差函数与自相关函数与随机变量之间的协方差相似，时间序列的协方差函数

4、定义为：。1欢迎下载精品文档(t , s) E( Xtt ) X ss( Xt ) Ys s dFt , s ( X ,Y )其中 Ft,s(X,Y)为（ Xt ，Xs）的二维联合分布。类似可以定义时间序列的自相关函数 ，即： (t, s) (t, s) / (t, t ) (s, s)时间序列的自协方差函数有以下性质：（ 1）对称性： (t, s)( s, t)（ 2）非负定性：对任意正整数m和任意 m个整数 k, k2, 。k ，方阵1mk1,k1k1,k 2 Lk1 ,k mk 2 ,k1k 2 ,k 2 Lk 2 ,k mmLLLLk m ,k 1k m ,k 2 Lk m ,k m为

5、对称非负定矩阵。时间序列的自相关函数同样也具有上述性质且有 (t,t)=1。三、平稳随机过程平稳时间序列是时间序列分析中一类重要而特殊的随机序列，时间序列分析的主要内容是关于平稳时间序列的统计分析。（一）两种不同的平稳性定义：1、 严平稳：如果对于时间t 的任意 n 个值 t1, t2 ,L , tn 和任意实数，随机过程X t 的 n 维分布满足关系式：Fn x1, x2 ,L xn ;t1 , t2 ,L tnFn x1 , x2 ,L xn; t1, t2,L tn则称 X t 为严平稳过程。2、宽平稳：若随机过程Xt ,tT的均值（一阶矩）和协方差存在，且满足（ 1） E X tatT

6、（ 2） E X tka X takt, t k T则称X t ,tT 为宽平稳随机过程。通常说的平稳是指宽平稳。二者的联系：。2欢迎下载精品文档（）严宽：因为宽平稳要求期望和协方差存在，而严平稳要求概率分布存在，而不能断言一、二阶矩存在。（）宽严，这是不言而喻的。（）严平稳 +二阶矩存在宽平稳。但反过来一般不成立。（）对于正态过程来说，有：严平稳宽平稳（二）平稳时间序列自协方差函数和自相关函数为了叙述方便，常假定平稳时间序列X t 的均值为零，即 E X t0 。用以下记号表示平稳序列X t 的自协方差函数，即k E Xt kEXt k X t EXt当时EXt 0EXt X tk相应地，

7、X t的自相关函数用以下记号kk0平稳序列 X t 的自协方差函数列和自相关函数列具有以下性质：（ 1）对称性：kk , kk；（ 2）非负定性：对于任意正整数m，01 Lm-111Lm-110 Lm-2， R1 1 Lm-2mLL LLmLL LLm-1 m-2 L0m-1 m-2 L 1为非负定对称方阵；（ 3）k0 ,k1。（三）平稳序列的样本统计量（ 1） 样本均值时间序列无法获得多重实现，多数时间序列仅包含一次实现，对于一个平稳序列用时间均值代替总体均值。即1 nXtXn t1上式的估计是无偏的。3欢迎下载精品文档（ 2）样本自协方差函数?k1nn kX tXXt kXt 1?k1n

8、 kX tXX t kXnkt 1第一式是有偏估计，第二式是无偏估计，但有效性不如第一式。其它概率性质和偏自相关函数的定义将在以后章节介绍。四、几类特殊的随机过程（序列）：1、纯随机过程：随机过程如果是由一个不相关的随机变量的序列构成的，则称其为纯随机过程。2、白噪声序列（White noise）：如果时间序列Xt 满足以下性质：（ 1） E X t0（ 2） E X tX s2t , s式中，当 t s时， t ,s 0, t ,t 1。称此序列为白噪声序列，简称白噪声。白噪声是一种最简单的平稳序列。（ 3）独立同分布序列：如果时间序列Xt,tT中的随机变量t±1, ±

9、2, 为相互独立的随X ,t=0,机变量，而且X 具有相同的分布，称这样的时间序列Xt , t T 为独立同分布序列。t独立同分布序列是一种最简单的严平稳序列。一般说，白噪声序列与独立同分布序列是不同的两种序列，当白噪声序列为正态序列时，它也是独立同分布序列，此时称之为正态白噪声序列。（ 4）独立增量随机过程：对于任意正整数n，任意 tiTi1,2,L , n,t1t2Ltn ，随机变量Xt2Xt1 , Xt3X t2 ,L X t nX tn 1 相互独立。简单地讲，就是任意两相邻时刻上的随机变量之差（增量）是相互独立的。（ 5）二阶矩过程：若随机过程Xt , tT 对每个 tT , Xt

10、的均值和方差存在，则称之为二阶矩过程。（ 6）正态过程：若Xt ,tT 的有限维分布都是正态分布，则称Xt ,tT 为正态随机过程。4欢迎下载精品文档主要介绍三种单变量模型：自回归（AR）模型、移动平均（MA）模型和自回归移动平均（ARMA）模型。第一节自回归模型一、一阶自回归模型 AR(1)如果时间序列独立，就是说事物的后一时刻的行为主要与其前一时刻的行为毫无关系。这样的资料所揭示甲统计规律就是事物独立地随机变动，系统无记忆能力。如果情况不是这样，资料之间有一定的依存性。后一时刻的行为主要与前一时刻的行为有关，而与其前一时刻以前的行为无直接关系，即已知Xt-1 ；Xt 主要与 Xt-1相关。

11、用记忆性来说，就是最短的记忆，即一期记忆，也就是一阶动态性。描述这种关系的数学模型就是一阶自回归模型。即X t1 X t 1at记作 AR（ 1）。其中 Xt零均值平稳序列，t 为随机扰动。1、 一阶自回归模型的特点Xt 对 Xt-1 有线性相关关系 t 为独立正态同分布序列E( at X tj )0, j1,2,.2、 AR（ 1）与普通一元线性回归的关系一元线性回归 YiX ii一阶自回归 Xt1 Xt 1at两个变量， Y 为随机变量， X 为确定性变量；一个变量， X t 为随机变量；E( i )0 ；at为白噪声序列，E(at )0 ;cov(ij )0 ij ；Eat asa2ts

12、 ；var(i )20ts；cov( X ii )0；E (at Xt j )0,j1,2,. ;i : N0,2还可假定 at 为正态分布。主要区别：（ 1）普通线性回归模型需要一组确定性变量值和相应的观测值；（）模型只需要一组随机。5欢迎下载精品文档变量的观测值。（ 2）普通一无线性回归表示的是一随机变量对另一个确定性变量的依存关系；而AR（ 1）表示的是一个随机变量对其自身过去值的依存关系。（ 3） 普通线性回归是在静态的条件下研究的；AR（1）是在动态的条件下研究的。（ 4） 二者的假定不同。（ 5） 普通回归模型实质是一种条件回归，而 AR（ 1）是无条件回归。主要联系：固定时刻 t

13、-1 ，且观察值 Xt-1 已知时， AR（ 1）就是一个普通的一元线性回归。二、 AR（ 1）模型的特例随机游动、随机游动模型XtX t 1at、模型的特性（）系统具有极强的一期记忆性，系统在t-1和 t 时刻的响应，除随机扰动外，完全一致，差异完全是由扰动引起的。t-1 ，?(1)Xt 1 。（）在时刻 t-1 时，系统的一步超前预测就是系统在t-1 时的响应X即 X t 1（）系统行为是一系列独立随机变量的和，即Xtat jj0三、一般自回归模型AR(n)X t1 X t 12 X t 2.n Xt nat 其中： at 为白噪声，E(at X t j )0, j1,2,. 。第二节移动

14、平均模型一、一阶移动平均模型MA（ 1）如果系统的响应X 仅与其前一时刻进入系统的扰动t存在一定的相关关系，则有MA（1）模型：tX tat 1at 1 其中： at 为白噪声。MA（ 1）模型的基本假设为： （ 1）系统的响应 X 仅与其前一时刻进入系统的扰动t有一定的依存关系；t（ 2） at 为白噪声。二、一般移动模型MA（ m）模型的形式：。6欢迎下载精品文档X tat 1at 11at 2.mat m其中：（ 1）X 仅与t 1 ，t2 ， ，t m 有关，而与t j （ j=m+1,m+2, ）无关；（ 2）t 为白噪声。t第三节自回归移动平均(ARMA)模型一、ARMA（ 2，

15、1）模型1 、 ARMA（2， 1）模型的形式：X t1 X t 12 X t 2t1 t 1其中： X t 与 Xt 1、 X t 2和 t 1 有相关关系，t 白噪声。2、 ARMA（ 2， 1）模型的结构：ARMA（ 2， 1）模型是由一个AR（ 2）和一个 MA（ 1）两部分构成。3、 ARMA（ 2， 1）与 AR（ 1）的区别从模型形式看，ARMA（ 2， 1）比AR（ 1）的项数多；从模型的动态性看，ARMA（ 2， 1）比 AR（ 1）具有更长的记忆；从计算t 所需的资料看，ARMA（ 2，1）需要用t 期以前的t 1 ， t 2 ， ，这需要从初期开始递归 地计算出来，0 通

16、常取零；从参数估计来看，ARMA（ 2，1）比 AR（ 1）困难。二、ARMA（ n， n-1 ）模型X t1 X t 1. n Xt nt1 t 1 .n 1 t n 1ARMA（ n，n-1 ）模型的基本假设为：t 独立于（ j=n,n+1,）, 从而（ j=n+1,n+2, ）.t jt 独立于 Xt j三、 ARMA(n， n-1)模型的合理性为什么我们以ARMA(n，n-1) 模型为一般形式来建立时序模型呢?难道一个ARMA(n，n-1) 模型总可以描述一个时间序列吗?对于平稳系统来说，这是毫无疑问的。之所以以ARMA(n，n-1) 为基本模型是因为下述理由：第一， AR、 MA、A

17、RMA(n， m)模型都是ARMA(n， n-1) 模型的特殊情形。第二，理论依据：用Hilbert空间线性算子的基本理论可以证明，对于任何平稳随机系统，我们都可以用一个ARMA(n，n-1) 模型近似到我们想要达到的程度；用差分方程的理论也可以证明，对于 n 阶自回归，MA模型的阶数应该是n-1 。第三，从连续系统的离散化过程来看，ARMA(n，n 1) 也是合理的。在一个n 阶自回归线性微分方程和任意阶的移动平均数的形式下，如果一个连续自回归移动平均过程在一致区间上抽样，那么，这个抽样过程的结果是ARMA(n， n-1) 。7欢迎下载精品文档【章节实验】利用Eviews 软件生成AR序列、

18、 MA序列和 ARMA序列。第三章ARMA模型的特性本章为本书重点之一，主要掌握三类模型的格林函数形式、平稳性和可逆性条件、AFC和 PAFC的形式和特点。第一节线性差分方程一、 后移 (Backshift)算子 :1.定义： 后移算子 B 定义为 BX tX t 1 ，从而 Bm X tX t m 。2. 后移算子的性质：(1) 常数的后移算子为常数： Bc c(2)分配律： ( BmBn ) X t Bm XtBn X tXt m Xt n(3)结合律： Bm Bn Xt Bm ( Bn Xt )Bm X t nXt m n(4) 后移算子 B 的逆为前移算子 B 1X t Xt 1(5)

19、 对于1，无限求和得 (1 B2B23B3.) X tXt1B前面的 MA(m)模型、 AR(n) 模型和 ARMA(n,m)模型可分别表示为：Xt(B)at(B) X tat(B) X t( B)at其中： (B)11 B2B2 Ln Bn(B) 11 B2B2 Lm Bm二、 线性差分方程X t1 Xt12 Xt2Ln Xtnat1at 12at 2Lmatm可将写成。8欢迎下载精品文档(B) Xt(B) at这里(B) 11B2B2Ln Bn(B) 11 B2B2 Lm Bm差分方程通解为：XtC (t )I (t )这里， C (t)是齐次方程解，I (t)是特解。三、 齐次方程解的计

20、算无重根考虑齐次差分方程(B) X t0其中(B)(1G1B)(1G2 B)L (1 Gn B)假定 G1， G2， ， Gn 是互不相同，则在时刻t 的通解：XtAG1 1tA2G2tL An Gnt其中 Ai为常数（可由初始条件确定）。重根设 (B)0 有 d 个相等的根 G01 ，可验证通解为Xt( A0At1A2 t 2LAd 1t d 1 )G0t对一般情形，当(B) 的因式分解为(1G1B)(1G2 B)L (1Gn / B)(1 G0 B)dd 1n/齐次方程解便是Ck (t)G0tAjt jDiGitj 0i 1因此，齐次方程解是由衰减指数项Gt 、多项式 t j 、衰减正弦项

21、Dt sin(2 f 0t+F) ，以及这些函数的组合混合生成的。nn 1n 2.0 得到其根为：上述过程中计算 Gi 并不方便，通常通过解方程12ni ,i 1,2,., n 。由于n1n 12n 2. n0的根与 11 B2 B2Ln Bn0 的根互为倒数，因此iGi 。9欢迎下载精品文档非齐次方程的特解通常情况下不容易得到，没有一个“万能钥匙”，需要具体问题具体分析，只能对一些具有特殊形式非齐次项的方程进行讨论。此处丛略。第二节格林函数 (Green s function)和平稳性 (Stationarity)一、格林函数 (Green s function)1、 定义：设零均值平稳序列

22、 Xt ,t0, 1, 2,. 能够表示为X tG j at j（ 1）j 0则称上式为平稳序列X t 的传递形式，式中的加权系数G j 称为格林（ Green）函数，其中 G0 1。2、 格林函数的含义：格林函数是描述系统记忆扰动程度的函数。式（ 1）可以记为X tG B at（ 2）其中 G BG j B j 。j0式（ 1）表明具有传递形式的平稳序列X t 可以由现在时刻以前的白噪声通过系统“ GBG j B j ”j0的作用而生成， G j 是 j 个单位时间以前加入系统的干扰项at j 对现实响应X t 的权，亦即系统对at j 的“记忆”。二、AR（ 1）系统的格林函数由 AR（

23、1）模型X t1 X t 1a tX t1 X t1a t1 ( 1 X t 2a t 1 ) a t.t1 a t112 a t .。10欢迎下载精品文档即： Xtj01j atj则 AR(1) 模型的格林函数 G j1j。如若11，则 G j 随着 j的增大而缓慢减小，表明系统的记忆较强；相反，若10 ，则 G j 随着 j的增大而急剧减小，表明系统的记忆较弱.例：下面是参数分别为0.9 、 0.1和 -0.9的 AR（ 1）系统对扰动t的记忆情况（三个序列由同一正态白噪声序列模拟生成） ：66442200-2-2-4-41020304050607080901001020304050607

24、08090100X t0.9 X t 1atXt0.1Xt 1at6420-2-4-6102030405060708090100Xt0.9 Xt 1at比较前后三个不同参数的图，可以看出：（）1 取正值时，响应波动较平坦。（）1 取负值时，响应波动较大。（）1 越大，系统响应回到均衡位置的速度越慢，时间越长。由于 Xtjat jat2at 2. at 1at 12at 2 . 其中jj ，因此 AR（ 1）模11at 111j 0。11欢迎下载精品文档型可用一个无限阶MA来逼近，这说明AR模型是一种长效记忆模型。三、 AR系统的平稳性1、由平稳性的定义求AR(1) 系统的平稳性条件将 AR（

25、1）模型 X t1 X t 1at 两边平方再取数学期望，得到E( X2 )E(1Xt 1a ) 2tt12 E(X 2)E(at2 )21E( X t 1at )t1221 )21E(X ta如果序列 X t是平稳的，则有 E ( X t2 )E( X t21) ，由上式可得(122)21) E( X ta22)aE(X t12 )(122由于a0，从而11E( Xt)是非负的，所以，这就是（ ）模型的平稳性条件。(12 )AR11利用滞后算子B， AR（ 1）模型可以写为( B) Xtat式 中(B)11B ，那么平稳性条件1 1就等价于 (B)0 的根在单位圆外（或( )10 的根落在单

26、位圆内） 。上述平稳条件可以推广到AR（n）模型，即(B) X tat 其中：( B)11B2 B2Ln Bn 的平稳性条件为：( B)0 的根在单位圆外 （或( )nn 1n 2L12n 0 的根在单位圆内） 。2、由格林函数求AR(1) 模型的平稳性条件对于AR(1) 系统来说，其平稳性条件也可以由格林函数得出。如果系统受扰后，该扰动的作用渐渐减小，直至趋于零，即系统响应随着时间的增长回到均衡位置，那么，该系统就是平稳的。相对于格林函数来说，就是随着 j ，扰动的权数 G j0 ，由于 G j j故必有 j ，j0 ，显然，111 1这就是 AR(1) 系统平稳性条件。反过来，若11 ，则

27、称 AR(1) 为渐近稳定的，也必是平稳的。12欢迎下载精品文档11 时， G j =1; 当1 =1 时 , G j =(-1) j 当 1 =-1 时这时，虽然响应不回到其均衡位置，但仍是有界的，这时系统为临界稳定的，系统可能存在某种趋势或季节性。当11 时， j ， G j，任意小的扰动只要给定足够的时间，就会使系统响应正负趋于无穷，永远不会回到其均衡位置，这时系统便是不稳定的，当然是非平稳的。例：求 AR（ 2）模型的平稳域解：特征方程( )20 的根1224 2 ，24 2111211221 22 ， 121根据 AR模型的平稳性的条件i1(1,2)i2121211212111122

28、11 2( 12)111 12由于1,2 是实数， 1,2 必同为实数或共轭复数，由于i 1(i1,2) ，因此2 m 1111121故 AR（ 2）模型的平稳域为21211211四、格林函数与Wold 分解 (Wold s Decomposition)所谓 Wold 分解也叫正交分解，其核心就是把一个平稳过程分解成不相关的随机变量的和。由于这一思想是由 Wold 引入 (1938 年 ) 到时序分析中的，故叫做Wold 分解。他认为可以用线性空间来解释ARMA模型的解。在 n 维线性空间Ln 中， n 个线性无关的向量a1, a2 ,.an 称为空间的一组基。设可由 a1 ,a2 ,. an

29、 线性表示：k1a1k2 a2.kn an其中 ki 由向量和 ai 唯一确定，ki 称为向量关于基 ai 的坐标。如果用线性空间的观点来看AR(1) 模型的解。13欢迎下载精品文档X t1j at jj 0由于 at j是相互独立的，可看作线性空间的基j ( 或无限维坐标轴 ) ，显然 Xt 可由 at j线性表示，其系数 G j 就是Xt 对于 at j的坐标， X t 就是 G jat j 的正交向量的和。因而上式也叫做Wold分解式，其系数叫 Wold 系数。格林函数和Wold 系数是同一客体从不同角度观察的结果，二者是完全一致的。Wold 系数是线性空间解释，格林函数是系统解释。五、

30、 ARMA模型格林函数的通用解法ARMA(n,m)模型(B) Xt( B)且X tG ( B)at则( B)G( B)( B)令*j, 0jnj0,jn*l , 0lml0, lm则 (B)G(B)(B)化为*j B jGk Bkl* Blj 0k 0l 0比较等式两边B 的同次幂的系数，可得l*j Gl jl* , l 1,2,3,.j0由上式，格林函数可从l1开始依次递推算出。思考 ： MA(m)模型 X t(B)at 的格林函数为j, 1j mG jjm0,例： ARMA（ 2， 1）系统的格林函数。14欢迎下载精品文档ARMA（2， 1）模型 X t1 Xt 12 Xt 2at1at

31、1 可以看作是一个二阶差分方程，设该方程的解是XtG j at j ( G j B j )atj 0j 0将上式代入模型中：(11B2 B2 )( G j B j )at(11 B)atj0(11B2B2 )(G0G1BG2 B2.) at(11B)at(G0G1BG2 B2.1G0 B1G1B2.2G0 B2.) at (1 1B)at利用比较系数法，B 的同次幂必相等，于是：B 的指数：0 :G011: G11G01G1112:G21G12G00G21G12G03: G31G22G10G31G22G1.j :G j1G j 12G j 2上式可以写成： Gj1G j 12 Gj20即： 1

32、1B2 B2 G j0, j 2上式为一关于 G j 齐次差分方程的形式，其通解为Gjg1jg2j12其中：20的根； g1 和 g2 是任意常数，其值由初始条件确定。这里1 和 2 是特征方程12的初始条件是：G01G111则 ARMA（ 2， 1）系统的格林函数为：11j21jGj121221。15欢迎下载精品文档ARMA（ 2， 1）模型的格林函数也可以通过下面的过程求得。根据 Wold 分解，平稳ARMA（2， 1）模型(11B2B2) Xt(1B)a1t可以写成X t1 1B2 at11B2 B11 Bat11B12 B111111111.2 .at1111B11112 B21211

33、 .1121 .1at121 B2112 B11j21jBjatj 012122111j21jat12jj 0122111j21j即： G j121221AR（ 2）为 ARMA（ 2， 1）模型的特殊形式，同样具有上述关系。例： ARMA（ n， n-1 ）系统的格林函数与上面方法相同，ARMA（n， n-1 ）系统的格林函数的隐式的递推式为：(11B2 B2.n Bn )G j0, jn其中G0 ,G1 ,G2 ,.Gn 1,Gn 由下列式子导出。16欢迎下载精品文档G01G11G01G21G12G02.Gn11Gn 22 Gn3.n 1G0n 1Gn1Gn12Gn 2.n G00即(11

34、B2B2Ln Bn )G j 0, jn其最终解为：Gjjg2j.gnjg1 12nn1n 2.gii1in1.i 1 .ini1i2ii 1i其中： g1g2.gn1例： ARMA（ 2， 1）系统的平稳性条件ARMA（ 2， 1）的平稳性条件要求：j时 , Gj0。jj1,由 G j g1 1g2 2 得： 1由于 ARMA（ 2，1）的特征方程( )2 1，即( )22 0 的根在单位圆内。120 和 AR（2）和形式一样（或者说和其移动12平均项系数无关） ，因此其平稳域与AR（ 2）系统的平稳域相同，都是：2 1121121思考 ： MA模型的平稳性条件。第三节逆函数和可逆性（ Invertibility）所谓可逆性 (Invertibility)是指移动平均模型可以用AR模型表示。一、逆函数的定义设 Xt 是零均值平稳序列，如果白噪声序列at 能