平稳时间序列模型概述VIP

1、第一章第一章 平稳时间序列模型平稳时间序列模型 组长：李国凤组长：李国凤 组员：李俐芸组员：李俐芸 孙孙 炜炜 指导教师：桂文林指导教师：桂文林2n方法 n平稳序列建模n序列预测 neviews软件演示本章结构3 方法 nAR模型（Auto Regression Model） nMA模型（Moving Average Model） nARMA模型（Auto Regression Moving Average model）4 时间序列的模型类型很多，我们这里只讨论平稳时间序列模型。这里讲的平稳是指宽平稳，其特性是序列的统计特性不随时间的平移而变化，即均值和协方差不随时间的平移而变化。 n纯随机性

2、方差齐性n各序列值之间没有任何相关关系，即为 “没有记忆”的序列 n方差齐性 n根据马尔可夫定理，只有方差齐性假定成立时，用最小二乘法得到的未知参数估计值才是准确的、有效的00k(k)， )0(2tDX白噪声序列的性质数据的平稳性n一.图示判断n1.平稳时间序列在图形上表现处围绕其均值不断波动的过程；2.根据相关图，若一个随机过程是平稳的，其特征根应都在单位圆外，倒数都在单位圆内；3.在分析相关图时，如果自相关函数衰减很慢，近似呈线性衰减，即可认为该序列是非平稳的。自回归AR模型n具有如下结构的模型称为 阶自回归模型，简记为n特别当 时，称为中心化 模型tsExtsEVarExxxxtsstt

3、tptptpttt, 0, 0)(,)(0)(0222110，p)(pAR00)(pAR10第一节第一节 一阶自回归模型一阶自回归模型( (Autoregressive Model) )一、一阶自回归模型如果时间序列 ), 2 , 1(tXt后一时刻的行为主要与其前一时刻 的行为有关，而与其前一时刻以前的行为无直接关系，即一期记忆，也就是一阶动态性。 描述这种关系的数学模型就是一阶自回归模型: ttiaXX11(2.1.1) 记作AR(1)。其中， tX为零均值(即中心化处理后的)平稳序列. 1为 tX对 1tX的依赖程度， ta为随机扰动。 111.一阶自回归模型的特点 AR(1)模型也把

4、tX分解为独立的两部分：一是依赖于 1tX的部分11tX；二是与 1tX不相关的部分 ta(独立正态同分布序列 )122. AR(1)与普通一元线性回归的区别: (1)普通线性回归模型需要一组确定性变量值和相应的观测值； AR(1)模型只需要一组随机变量的观测值。 (2)普通线性回归表示一个随机变量对另一个确定性变量的依存 关系；而AR(1)表示一个随机变量对其自身过去值的依存关系。 (3)普通线性回归是静态模型；AR(1)是动态模型。(4)二者的假定不同。 (5)普通回归模型实质上是一种条件回归，AR(1)是无条件回归。 133.相关序列的独立化过程 (2.1.1)式的另一种形式为： 11t

5、ttXXa(2.1.3)上式揭示了AR(1)的一个实质性问题：AR(1)模型是一个使相关数据转化为独立数据的变化器。由于就AR(1)系统来说，仅有一阶动态性，即在 1tX已知的条件下， tx主要表现为对 1tX的直接依赖性，显然，只要把 tx中依赖于 1tX的部分 消除以后，剩下的部分 )(11ttXX自然就是独立的了。 14二、 AR(1)模型的特例随机游动 (Random walk1. 11时的AR(1)模型： 此时(2.1.1)式的具体形式为 aXXtt1也可以用差分表示aXtaXXtt1或所谓差分，就是 tX与其前一期值的差，从统计上讲，差分结果所得到的序列就是逐期增长量。一般地k阶差

6、分记作 tkX差分可以使非平稳序列转化为平稳序列。Box-Jenkins(简称记为B-J)，就是利用类似于这种数学工具来处理非平稳序列的。 。15n一阶自回归模型一阶自回归模型ARAR（1 1） 0102030405060708090100-2.5-2-1.5-1-0.500.511.52tttyy12 . 016n ARAR（1 1）模型的特例）模型的特例随机游动随机游动 tttyy12, 0WNt0102030405060708090100-12-10-8-6-4-2024172.特例形式的特性： (1)系统具有极强的一期记忆性，即惯性。也就是说，系统在t-1 和t时刻的响应，除随机扰动外

7、，完全一致。差异完全是由扰动 引起的。 (2)在时刻t-1时，系统的一步超前预测就是系统在t-1时的响应 1tX，即 1)1(1ttXX(3)系统行为是一系列独立随机变量的和，即 0ttjjXa18 第二节 一般自回归模型 对于自回归系统来说，当 tX不仅与前期值 1tX有关，而且与 2tX相关时，显然，AR(1)模型就不再是适应模型了。如果对这种情形拟合AR模型， ta不仅对 1tX,而且对 2tX呈现出一定的相关性， 因此，AR(1)模型就不适应了。 19一、 tata2tX的依赖性 对ta2tX当AR(1)模型中的与不独立时,我们将 记为 ,于是tata可以分解为22tttaXa (2.

8、2.1)从而(2.2.1)式的形式变为 ttttaXXX2211(2.2.2)可见， tX与 1tX和 2tX有关，所以(2.2.2)式是一个AR(2)模型。 20二、 AR(2)模型的假设和结构 1.AR(2)模型的基本假设: tX1tX2tX(1)假设 与 和 有直接关系,而与 无关;)4 , 3(jXjt(2)ta是一个白噪声序列。 这就是AR(2)模型的两个基本假设。 2.AR(2)模型的结构: AR(2)模型是由三个部分组成的：第一部分是依赖于 的部 1tX分，用 表示; 11tX第二部分是依赖于 的部分;用 2tX21tX来表示.第三部分是独立于前两部分的白噪声 . ta21三、

9、一般自回归模型 当AR(2)模型的基本假设被违背以后， 我们可以类似从AR(1)到AR(2)模型的推广方法,得到更为一般的自回归模型AR(n)模型:tntntttaXXXX2211上式还可以表示为 ntnttttXXXXa2211可见，AR(n)系统的响应 tX具有 n阶动态性。拟合AR(n)模 型的过程也就是使相关序列独立化的过程。AR模型平稳性判别方法模型平稳性判别方法n特征根判别nAR(p)模型平稳的充要条件是它的p个特征根都在单位圆内n根据特征根和自回归系数多项式的根成倒数的性质，等价判别条件是该模型的自回归系数多项式的根都在单位圆外。移动平均移动平均MA模型模型n具有如下结构的模型称

10、为 阶自回归模型，简记为n特别当 时，称为中心化 模型q)(qMA0)(qMA112220( )0( ),()0,ttttqt qqtttsxEVarEst ，24 第三节 移动平均模型() AR系统的特征是系统在 t时刻的响应 tX仅与其以前时刻的响应ntttXXX,.21有关，而与之前时刻进入系统的扰动无关。 如果一个系统在 t时刻的响应 tX，与其以前时刻 , 2, 1 tt的响应 21.ttXX无关，而与其以前时刻 , 2, 1 tt进入系统的扰动,21ttaa存在着一定的相关关系，那么，这一类系统则为MA系统。25一、一阶移动平均模型：MA(1) tX对于一个MA系统来说，如果系统的

11、响应 tX刻进入系统的扰动 仅与其前一时1ta 存在一定的相关关系，我们就得到模型:11tttXaa其中： ta为白噪声。 MA(1)模型的基本假设为：系统的响应 仅与其前一时刻进入系统的扰动1ta有一定的依存关系；而且 ta为白噪声。26二、一般移动平均模型类似与AR模型,当MA(1)的假设被违背时,我们把MA(1)模型推广到MA(2),进而再对广到更一般的MA(m)模型，即： mtmttttaaaaX2211tX仅与 这时12,ttt maaa有关，而与 (1,2,)tjajmm无关，且ta为白噪声序列，这就是一般移动平均模型的基本假设。 MA模型的可逆性模型的可逆性n可逆MA模型定义 若

12、一个MA模型能够表示称为收敛的AR模型形式，那么该MA模型称为可逆MA模型 一个自相关系数列唯一对应一个可逆MA模型。MA模型的可逆条件模型的可逆条件nMA(q)模型的可逆条件是：nMA(q)模型的特征根都在单位圆内n等价条件是移动平滑系数多项式的根都在单位圆外11i1iARMA模型模型的定义的定义n具有如下结构的模型称为自回归移动平均模型，简记为n特别当 时，称为中心化 模型),(qpARMAtsExtsEVarExxxtsstttqpqtqttptptt, 0, 0)(,)(0)(00211110，00),(qpARMA30第四节 自回归移动平均模型nAutoregressive Movi

13、ng Average Model一个系统，如果它在时刻t的响应 tX，不仅与以前时刻的自身值有关，而且还与其以前时刻进入系统的扰动存在一定的依存关系，那么，这个系统就是自回归移动平均系统，相应的模 型记作ARMA. 则对于这样的系统要使响应 tX转化为独立序列 ta，不仅要消除 tX依赖于t时刻以前的自身部分，而且还必须消除tX依赖于t时刻以前进入系统的扰动的部分。 31一、ARMA(2，1)模型 ta1. ta对 2tX和 1ta的相关性 由于AR(1)模型： tttaXX11已不是适应模型，即 与 2tX1ta和不独立，所以，这里的剩余 不是我们所假设的 tata，将其记作 ,将其分解为:

14、 tattttaaXa1122将上式代入AR(1)模型，得 112211tttttXXXaa这就是ARMA(2,1)模型。 322.ARMA(2,1)模型的基本假设 在ARMA模型中，若 tX中确实除了对 1,tX2tX和 1ta系外，在 和 已知的条件下对的依存关1tX2tX)4 , 3(jXjt和 )3 , 2(jajt不存在相关关系，那么 ta一定独立于 )3 , 2(jajt当然也就独立于 )4 , 3(jXjt,这就是ARMA(2,1)模型的基本假设。 333.ARMA(2,1)模型的结构从模型 112211tttttaaXXX中不难看出，ARMA(2,1)模型把 tX分解成了独立的

15、四个部分， 所以，其结构是由一个AR(2)和一个MA(1)两部分构成的， 具体地说， 是由上述四部分构成的。 344.相关序列的独立化过程 将ARMA(2,1)模型如下变形： 112211tttttaXXXa可见，ARMA(2,1)是通过从 tX中消除 tX对 21,ttXX以及 1ta的依赖性之后，使得相关序列 tX转化成为独立序列 ta，即它是一个使相关序列转化为独立序列的变换器。 355.ARMA(2,1)与AR(1)的区别 从模型形式看，ARMA(2,1)比AR(1)的项数多； 从模型的动态 性看，ARMA(2,1)比AR(1)具有更长的记忆； 从计算 ta所需的资料看， ARMA(2

16、,1)需要用t 期以前的 ,21ttaa初期开始递 ，这就需要从归地计算出 来，通常t0 时的 tata取序列 的 ta均值零； 从参数估计来看，ARMA(2,1)比AR(1)困难得多。36二、ARMA(2，1)模型的非线性回归为了计算 的值，必须知道 的值，然而在动态的条件tX1ta1ta下， 本身又取决于 和 ,则有 321,tttXXX2tattttttttaaXXXXXX)(213221111211tttttaaXXX2213212112111上式是非线性的，那么估计参数时，只能用非线性最小二乘法，其基本思想就是在曲面上搜索使得剩余平方和最小的参数值，有计算程序，多次迭代即可。 37三

17、、ARMA(2，1)模型的其他特殊情形 1.ARMA(1，1)当ARMA(2，1)中的系数 时，有 02ttttaaXX1121即为ARMA(1，1)模型。 2.MA(1) 当ARMA(2，1)中的系数 时，有 02111tttaaX即为MA(1)模型。 383.AR(1) 模型当ARMA(2，1)中的 时，有 012tttaXX11即为AR(1)模型。 因此，在建立模型时，首先拟合一个ARMA(2.1)模型，然后根据其参数值 和 是否显著小这一信息，来寻找较合理21,1的模型，然后拟合出那个较合理的模型，并检验其适应性。 39四、ARMA(n,n-1)模型 tX如果一个ARMA(2，1)模型

18、是不适应的，则是违背了基本假设， 按照和推导ARMA(2,1)模型相同的思路，可以考虑 tX不仅依赖于 和21,ttXX1ta，可能比ARMA(2，1)的记忆长。按照这种思想，一直如此类推下去，便可得到ARMA(n,n-1)模型:111111ntnttntnttaaaXXX作如下变形 111111ntntntntttaaXXXaARMA(n,n-1)模型使相关序列 转化为独立序列 ta40五、 ARMA(n,n-1)与ARMA(n,m) 1.建模策略 利用上述ARMA模型的生成过程及其特性，我们可以得到对某一系统的一系列动态观察数据拟合ARMA模型的基本策略。即通过逐渐增加ARMA(n,n-1

19、)模型的阶数，使得越来越接近一组数据的依存关系，停止在不能使这种逼近更有效地得到改善的n的数值上。 2.ARMA(n,m)模型 ARMA(n,m)模型实际上是ARMA (n,n-1)模型的某些参数 或 ii为零的特殊情形，所以建模策略仍适应。 41六、六、 ARMA (n,n-1)模型的合理性模型的合理性 第二、理论依据：用Hilbert空间线性算子的基本理论可以证明，对于任何平稳随机系统，我们都可以用一个ARMA(n,n-1) 模型近似到我们想要达到的程度；用差分方程的理论也可以证明，对于n阶自回归，MA模型的阶数应该是n-1。 第一、AR、MA、ARMA(n,m)模型都是ARMA(n,n-

20、1) 模型的特殊情形。 第三、从连续系统离散化过程来看，ARMA(n,n-1) 也是合理的。在一个n阶自回归线性微分方程和任意阶的移动平均数的形式下，如果一个连续自回归移动平均过程在一致区间上抽样，那么，这个抽样过程的结果是ARMA(n,n-1)。 平稳条件与可逆条件平稳条件与可逆条件nARMA(p,q)模型的平稳条件nP阶自回归系数多项式 的根都在单位圆外n即ARMA(p,q)模型的平稳性完全由其自回归部分的平稳性决定nARMA(p,q)模型的可逆条件nq阶移动平均系数多项式 的根都在单位圆外n即ARMA(p,q)模型的可逆性完全由其移动平滑部分的可逆性决定0)( B0)( BARMA模型相

21、关性特征模型相关性特征平稳时间序列建模与预测平稳时间序列建模与预测n平稳时间序列建模n平稳时间序列预测第一节第一节 建模步骤建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN一、计算样本相关系数一、计算样本相关系数n样本自相关系数样本自相关系数n样本偏自相关系数样本偏自相关系数nttkntkttkxxxxxx121)()(DDkkk二、模型识别二、模型识别n基本原则基本原则kkk模型定阶的困难模型定阶的困难n因为由于样本的随机性，样本的相关系数不会呈现出理论截因为由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的尾的完美情况，本应截尾的

22、或或 仍会呈现出小值振荡的仍会呈现出小值振荡的情况。情况。n由于平稳时间序列通常都具有短期相关性，随着延迟阶数增由于平稳时间序列通常都具有短期相关性，随着延迟阶数增大，大， 与与 都会衰减至零值附近作小值波动？都会衰减至零值附近作小值波动？n当当 或或 在延迟若干阶之后衰减为小值波动时，什么情况下在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作为相关系数在延该看作为相关系数截尾，什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢？迟若干阶之后正常衰减到零值附近作拖尾波动呢？ kkkkkkkkk模型定阶经验方法模型定阶经验方法n95的置信区

23、间的置信区间n模型定阶的经验方法模型定阶的经验方法n如果样本如果样本(偏偏)自相关系数在最初的自相关系数在最初的d阶明显大于两倍标准阶明显大于两倍标准差范围，而后几乎差范围，而后几乎95的自相关系数都落在的自相关系数都落在2倍标准差的倍标准差的范围以内，而且通常由非零自相关系数衰减为小值波动的范围以内，而且通常由非零自相关系数衰减为小值波动的过程非常突然。这时，通常视为过程非常突然。这时，通常视为(偏偏)自相关系数截尾。截自相关系数截尾。截尾阶数为尾阶数为d。22Pr0.9522Pr0.95kkknnnn三、参数估计三、参数估计n待估参数待估参数非中心化非中心化ARMA(P,q)模型有模型有

24、个未知参数个未知参数 n常用估计方法常用估计方法n矩估计矩估计n极大似然估计极大似然估计n最小二乘估计最小二乘估计2p q 211, ,pq 1.1.矩估计矩估计n原理原理n样本自相关系数估计总体自相关系数样本自相关系数估计总体自相关系数n样本一阶均值估计总体均值，样本方差估计总体方差样本一阶均值估计总体均值，样本方差估计总体方差111111( ,)( ,)pqp qpqp q 1niixxn2221221211xqp2.2.极大似然估计极大似然估计n原理原理n在极大似然准则下，认为样本来自使该样本出现概率最大在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计

25、就是使得似然函数的总体。因此未知参数的极大似然估计就是使得似然函数（即联合密度函数）达到最大的参数值（即联合密度函数）达到最大的参数值 ,);(max),;,(21121kkxpxxL3.3.最小二乘估计最小二乘估计n原理原理n使残差平方和达到最小的那组参数值即为最小二乘估计值使残差平方和达到最小的那组参数值即为最小二乘估计值 211111)(min)(min)(ntqtqtptpttxxxQQ4.4.条件最小二乘估计条件最小二乘估计n实际中最常用的参数估计方法实际中最常用的参数估计方法n假设条件假设条件n残差平方和方程残差平方和方程n解法解法n迭代法迭代法0,0txtnitititnitxx

26、Q121112)(四、模型检验四、模型检验n模型的显著性检验模型的显著性检验n整个模型对信息的提取是否充分整个模型对信息的提取是否充分n参数的显著性检验参数的显著性检验n模型结构是否最简模型结构是否最简1.1.模型的显著性检验模型的显著性检验n目的目的n检验模型的有效性（对信息的提取是否充分）检验模型的有效性（对信息的提取是否充分）n检验对象检验对象n残差序列残差序列n判定原则判定原则n一个好的拟合模型应该能够提取观察值序列中几乎一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息，即残差序列应该为白噪声序所有的样本相关信息，即残差序列应该为白噪声序列列 n反之，如果残差序列为非白噪

27、声序列，那就意味着反之，如果残差序列为非白噪声序列，那就意味着残差序列中还残留着相关信息未被提取，这就说明残差序列中还残留着相关信息未被提取，这就说明拟合模型不够有效拟合模型不够有效假设条件假设条件n原假设：残差序列为白噪声序列原假设：残差序列为白噪声序列n备择假设：残差序列为非白噪声序列备择假设：残差序列为非白噪声序列0120,1mHm：mkmHk，：至少存在某个1, 012.参数显著性检验参数显著性检验n目的目的n检验每一个未知参数是否显著非零。删除不显著参数使模检验每一个未知参数是否显著非零。删除不显著参数使模型结构最精简型结构最精简 n假设条件假设条件n检验统计量检验统计量mjHHjj

28、10:0:10)()(mntQamnTjjjj五、模型优化五、模型优化n问题提出问题提出n当一个拟合模型通过了检验，说明在一定的置信水当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。这种有效模型并不是唯一的。n优化的目的优化的目的n选择相对最优模型选择相对最优模型 n问题问题 同一个序列可以构造两个拟合模型，两个模型都显著有效，同一个序列可以构造两个拟合模型，两个模型都显著有效，那么到底该选择哪个模型用于统计推断呢？那么到底该选择哪个模型用于统计推断呢？ n解决办法解决办法n确定适当的

29、比较准则，构造适当的统计量，确定相对最优确定适当的比较准则，构造适当的统计量，确定相对最优1.AIC1.AIC准则准则n最小信息量准则（最小信息量准则（An Information Criterion） n指导思想指导思想似然函数值越大越好似然函数值越大越好 ，未知参数的个数越少越好未知参数的个数越少越好 nAIC统计量统计量L为模型的极大似然值为模型的极大似然值)(2)ln(2未知参数个数nAIC未知参数个数）(2ln2LAIC估计是残差方差的极大似然22.SBC2.SBC准则准则nAIC准则的缺陷准则的缺陷n在样本容量趋于无穷大时，由在样本容量趋于无穷大时，由AIC准则选择的模型不收敛准则选择的模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多于真实模型，它通常比真实模型所含的未知参数个数要多 nSBC统计量统计量)(ln()ln(2未知参数nnSBC第二节序列预测第二节序列预测n误差分析误差分析nAR（P）序列的预测）序列的预测nMA（q）序列的预测）序列的预测nARMA（p,q）的预测）的预测n修正预测修正预测序列预测序列预测n线性预测函数线性预测函数n预测方差最小原则预测方差最小原则10titiixC x ( )( )min( )t lxttVare lVar e l序列分解序列分解 111111( )( )t lt lt lltltlt