平稳时间序列模型

第一章

平稳时间序列模型

组长：李国凤组员：李俐芸孙炜指导教师：桂文林2方法平稳序列建模序列预测eviews软件演示本章结构3方法AR模型（AutoRegressionModel）MA模型（MovingAverageModel）ARMA模型（AutoRegressionMovingAveragemodel）4

时间序列的模型类型很多，我们这里只讨论平稳时间序列模型。这里讲的平稳是指宽平稳，其特性是序列的统计特性不随时间的平移而变化，即均值和协方差不随时间的平移而变化。纯随机性方差齐性各序列值之间没有任何相关关系，即为“没有记忆”的序列方差齐性根据马尔可夫定理，只有方差齐性假定成立时，用最小二乘法得到的未知参数估计值才是准确的、有效的返回本节首页白噪声序列的性质数据的平稳性一.图示判断1.平稳时间序列在图形上表现处围绕其均值不断波动的过程；2.根据相关图，若一个随机过程是平稳的，其特征根应都在单位圆外，倒数都在单位圆内；3.在分析相关图时，如果自相关函数衰减很慢，近似呈线性衰减，即可认为该序列是非平稳的。自回归AR模型具有如下结构的模型称为阶自回归模型，简记为特别当时，称为中心化模型10第一节一阶自回归模型(AutoregressiveModel)一、一阶自回归模型如果时间序列后一时刻的行为主要与其前一时刻的行为有关，而与其前一时刻以前的行为无直接关系，即一期记忆，也就是一阶动态性。描述这种关系的数学模型就是一阶自回归模型:(2.1.1)

记作AR(1)。其中，为零均值(即中心化处理后的)平稳序列.为对的依赖程度，为随机扰动。111.一阶自回回归模型型的特点AR(1)模型也把把分解为独独立的两两部分：：一是依依赖于的部分；二是与与不相关的的部分(独立正态态同分布布序列)122.AR(1)与普通一元线线性回归归的区别别:(1)普通线性性回归模模型需要要一组确确定性变变量值和和相应的的观测值值；AR(1)模型只需需要一组组随机变变量的观观测值。。(2)普通线性性回归表表示一个个随机变变量对另另一个确确定性变变量的依依存关系；而而AR(1)表示一个个随机变变量对其其自身过过去值的的依存关关系。(3)普通线性性回归是是静态模模型；AR(1)是动态模模型。(4)二者的假假定不同同。(5)普通回归归模型实实质上是是一种条条件回归归，AR(1)是无条件件回归。。133.相关序列列的独立立化过程程(2.1.1)式的另另一种形形式为：：(2.1.3)上式揭示示了AR(1)的一个个实质性性问题：：AR(1)模模型是一一个使相关数据据转化为为独立数数据的变变化器。。由于就就AR(1)系系统来说说，仅有一阶阶动态性性，即在在已知的条条件下，，主要表现现为对的直接依依赖性，，显然，，只要把把中依赖于于的部分消除以后后，剩下下的部分分自然就是是独立的的了。14二、AR(1)模型型的特例例——随随机游动动(Randomwalk)1.时的AR(1)模型：：此时(2.1.1)式式的具体体形式为为也可以用用差分表表示或所谓差分分，就是是与其前一一期值的的差，从从统计上上讲，差差分结果所得到到的序列列就是逐逐期增长长量。一般地k阶差分记记作差分可以以使非平平稳序列列转化为为平稳序序列。Box-Jenkins(简称记为B-J)，就是利利用类似似于这种种数学工工具来处处理非平平稳序列列的。。15一阶自回回归模型型AR（1）16AR（1）模型的的特例——随机游动动172.特例形式的特性：：(1)系统具有有极强的的一期记记忆性，，即惯性性。也就就是说，，系统在在t-1和t时刻的响响应，除除随机扰扰动外，，完全一一致。差差异完全全是由扰扰动引起的。。(2)在时刻t-1时，系统统的一步步超前预预测就是是系统在在t-1时的响应应，即(3)系统行为为是一系系列独立立随机变变量的和和，即18第二节一一般般自回归归模型对于自回回归系统统来说，，当不仅与前前期值有关，而而且与相关时，，显然，，AR(1)模型就不不再是适适应模型型了。如如果对这这种情形拟合合AR模模型，不仅对,而且对呈现出一一定的相相关性，，因此，AR(1)模型就不不适应了了。19一、的依赖性性对当AR(1)模模型中的的与不独立时时,我们们将记记为,于是可以分解解为(2.2.1)从而(2.2.1)式式的形式式变为(2.2.2)可见，与和有关，所所以(2.2.2)式式是一个个AR(2)模模型。20二、AR(2)模型型的假设设和结构构1.AR(2)模型型的基本本假设:(1)假设与与和和有有直接关关系,而而与无关;(2)是一个白白噪声序序列。这就是AR(2)模型型的两个个基本假假设。2.AR(2)模型型的结构构:AR(2)模型型是由三三个部分分组成的的：第一一部分是是依赖于于的的部分，用表表示;第二部分分是依赖赖于的的部部分;用来表示.第三部分分是独立立于前两两部分的的白噪声声.21三、一一般自回回归模型型当AR(2)模型的基基本假设设被违背背以后，，我们们可以类类似从AR(1)到AR(2)模型的推推广方法法,得到更为为一般的的自回归归模型AR(n)模型:上式还可可以表示示为可见，AR(n)系统的响响应具有阶动态性性。拟合合AR(n)模型的过程程也就是是使相关关序列独独立化的的过程。。AR模型平稳稳性判别别方法特征根判判别AR(p)模型型平稳的的充要条条件是它它的p个个特征根根都在单单位圆内内根据特征征根和自自回归系系数多项项式的根根成倒数数的性质质，等价价判别条条件是该该模型的的自回归归系数多多项式的的根都在在单位圆圆外。移动平均均MA模型具有如下下结构的的模型称称为阶阶自回回归模型型，简记记为特别当时时，，称为中中心化模模型型24第三节移动平均均模模型型(MovingAverageModel)AR系系统统的的特特征征是是系系统统在在时刻刻的的响响应应仅与与其其以以前前时时刻刻的响响应应有关关，，而而与与之之前前时时刻刻进进入入系系统统的的扰扰动动无无关关。。如果果一一个个系系统统在在时刻刻的的响响应应，与与其其以以前前时时刻刻的响响应应无关关，，而而与与其其以以前前时时刻刻进入入系系统统的的扰动动存在在着着一一定定的的相相关关关关系系，，那那么么，，这这一一类类系系统统则则为为MA系统。。25一、一阶移移动平均模模型：MA(1)对于一个MA系统来来说，如果果系统的响响应刻进入系统统的扰动仅与其前一一时存在一定的的相关关系系，我们就就得到模型型:其中：为白噪声。。MA(1)模型的基本本假设为：：系统的响响应仅与其前一一时刻进入入系统的扰动动有一定的依依存关系；；而且为白噪声。。26二、一般移移动平均模模型类似与AR模型,当当MA(1)的假设设被违背时时,我们把把MA(1)模型推广到MA(2),进而再对对广到更一一般的MA(m)模模型，即：：仅与这时有关，而与与无关，且为白噪声序序列，这就就是一般移移动平均模模型的基本本假设。MA模型的可逆逆性可逆MA模模型定义若一个MA模型能够够表示称为为收敛的AR模型形形式，那么么该MA模模型称为可可逆MA模模型一个自相关关系数列唯唯一对应一一个可逆MA模型。。MA模型的可逆逆条件MA(q)模型的可可逆条件是是：MA(q)模型的特特征根都在在单位圆内内等价条件是是移动平滑滑系数多项项式的根都都在单位圆圆外ARMA模型的定义具有如下结结构的模型型称为自回回归移动平平均模型，，简记为特别当时时，，称为中心心化模模型型30第四节自自回归移移动平均模模型AutoregressiveMovingAverageModel一个系统，，如果它在在时刻t的响应，不仅与以以前时刻的的自身值有关，，而且还与与其以前时时刻进入系系统的扰动动存在一定定的依存关系，那那么，这个个系统就是是自回归移移动平均系系统，相应应的模型记作ARMA.则对于这样样的系统要要使响应转化为独立立序列，不仅要消消除依赖于t时刻以前的的自身部分分，而且还还必须消除依赖于t时刻以前进进入系统的的扰动的部部分。31一、ARMA(2，1)模型1.对和的相关性由于AR(1)模型：已不是适应应模型，即即与与和不独立，所所以，这里里的剩余不不是我们所所假设的，将其记作作,将其分解为为:将上式代入入AR(1)模型，，得这就是ARMA(2,1)模模型。322.ARMA(2,1)模型的基本本假设在ARMA模型中，若若中确实除了了对和系外，在和和已已知的条件件下对的依存关和不存在相关关关系，那那么一定独立于于当然也就独独立于,这就是ARMA(2,1)模型的基本本假设。333.ARMA(2,1)模型的的结构从模型中不难看出出，ARMA(2,1)模型型把分解成了独独立的四个个部分，所以，其结结构是由一一个AR(2)和一个MA(1)两部分构构成的，具体地说，是由上述四四部分构成成的。344.相关序列的独立化过过程将ARMA(2,1)模型如下下变形：可见，ARMA(2,1)是是通过从中消除对以及的依赖性之之后，使得得相关序列列转化成为独独立序列，即它是一个使相相关序列转转化为独立立序列的变变换器。355.ARMA(2,1)与AR(1)的区别从模型形式式看，ARMA(2,1)比AR(1)的项数多；；从模型的动动态性看，ARMA(2,1)比AR(1)具有更长的的记忆；从计算所需的资料看，ARMA(2,1)需要用t期以前的初期开始递递，这就需要要从归地计算出出来来，通常常t＝0时的取序列的的均值零；从参数估计计来看，ARMA(2,1)比AR(1)困难得多。。36二、ARMA(2，1)模型的非线线性回归为了计算的的值，必必须知道的的值，然然而在动态态的条件下，本本身又又取决于和和,则有上式是非线线性的，那那么估计参参数时，只只能用非线线性最小二二乘法，其基本思想想就是在曲曲面上搜索索使得剩余余平方和最最小的参数数值，有计算程序序，多次迭迭代即可。。37三、ARMA(2，1)模型的其他他特殊情形形1.ARMA(1，1)当ARMA(2，1)中的系数时时，有有即为ARMA(1，1)模型。2.MA(1)当ARMA(2，1)中的系数时时，有有即为MA(1)模型。383.AR(1)模型当ARMA(2，1)中的时时，有即为AR(1)模型。因此，在建建立模型时时，首先拟拟合一个ARMA(2.1)模型，然后后根据其参数数值和和是是否显著著小这一信信息，来寻寻找较合理理的模型，然然后拟合出出那个较合合理的模型型，并检验验其适应性性。39四、ARMA(n,n-1)模型如果一个ARMA(2，1)模型是不适适应的，则则是违背了了基本假设设，按照和推导导ARMA(2,1)模型相同的的思路，可可以考虑不仅依赖于和和，可能比ARMA(2，1)的记忆长。。按照这种种思想，一直如如此类推下下去，便可可得到ARMA(n,n-1)模型:作如下变形形ARMA(n,n-1)模型使相关关序列转转化化为独立序序列40五、ARMA(n,n-1)与ARMA(n,m)1.建模策略利用上述ARMA模型的生成成过程及其其特性，我我们可以得得到对某一系统的一一系列动态态观察数据据拟合ARMA模型的基本本策略。即即通过逐渐增增加ARMA(n,n-1)模型的阶数数，使得越越来越接近近一组数据的依存存关系，停停止在不能能使这种逼逼近更有效效地得到改改善的n的数值上。。2.ARMA(n,m)模型ARMA(n,m)模型实际上上是ARMA(n,n-1)模型的某些些参数或或为零的特殊殊情形，所所以建模策策略仍适应应。41六、ARMA(n,n-1)模型的合理理性第二、理论论依据：用用Hilbert空间线性算算子的基本本理论可以以证明，对于于任何平稳稳随机系统统，我们都都可以用一一个ARMA(n,n-1)模型近似到到我们想要要达到的程程度；用差差分方程的的理论也可可以证明，，对于n阶自回归，，MA模型的阶数数应该是n-1。第一、AR、MA、ARMA(n,m)模型都是ARMA(n,n-1)模型的特殊殊情形。第三、从连连续系统离离散化过程程来看，ARMA(n,n-1)也是合理的。在一一个n阶自回归线线性微分方方程和任意意阶的移动动平均数的的形式下，如如果一个连连续自回归归移动平均均过程在一一致区间上上抽样，那么，这个个抽样过程程的结果是是ARMA(n,n-1)。平稳条件与与可逆条件件ARMA(p,q)模型的平平稳条件P阶自回归归系数多项项式的的根都都在单位圆圆外即ARMA(p,q)模型的的平稳性完完全由其自自回归部分分的平稳性性决定ARMA(p,q)模型的可可逆条件q阶移动平平均系数多多项式的的根都在单单位圆外即ARMA(p,q)模型的的可逆性完完全由其移移动平滑部部分的可逆逆性决定ARMA模型相关性性特征平稳时间序序列建模与与预测平稳时间序序列建模平稳时间序序列预测第一节建建模步步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN一、计计算样样本相相关系系数样本自自相关关系数数样本偏偏自相相关系系数返回本本节首首页二、模模型识识别基本原原则模型定定阶的的困难难因为由由于样样本的的随机机性，，样本本的相相关系系数不不会呈呈现出出理论论截尾尾的完完美情情况，，本应应截尾尾的或或仍仍会呈呈现出出小值值振荡荡的情情况。。由于平平稳时时间序序列通通常都都具有有短期期相关关性，，随着着延迟迟阶数数增大大，与与都都会衰衰减至至零值值附近近作小小值波波动？？当或或在在延延迟若若干阶阶之后后衰减减为小小值波波动时时，什什么情情况下下该看看作为为相关关系数数截尾尾，什什么情情况下下该看看作为为相关关系数数在延延迟若若干阶阶之后后正常常衰减减到零零值附附近作作拖尾尾波动动呢？？模型定定阶经经验方方法95％％的置置信区区间模型定定阶的的经验验方法法如果样样本(偏)自相相关系系数在在最初初的d阶明明显大大于两两倍标标准差差范围围，而而后几几乎95％％的自自相关关系数数都落落在2倍标标准差差的范范围以以内，，而且且通常常由非非零自自相关关系数数衰减减为小小值波波动的的过程程非常常突然然。这这时，，通常常视为为(偏偏)自自相关关系数数截尾尾。截截尾阶阶数为为d。。三、参参数估估计待估参参数非中心心化ARMA(P,q)模型型有个个未知知参数数常用估估计方方法矩估计计极大似似然估估计最小二二乘估估计返回本本节首首页1.矩估计计原理样本自自相关关系数数估计计总体体自相相关系系数样本一一阶均均值估估计总总体均均值，，样本本方差差估计计总体体方差差2.极大似似然估估计原理在极大大似然然准则则下，，认为为样本本来自自使该该样本本出现现概率率最大大的总总体。。因此此未知知参数数的极极大似似然估估计就就是使使得似似然函函数（（即联联合密密度函函数））达到到最大大的参参数值值3.最小二二乘估估计原理使残差差平方方和达达到最最小的的那组组参数数值即即为最最小二二乘估估计值值4.条件最最小二二乘估估计实际中中最常常用的的参数数估计计方法法假设条条件残差平平方和和方程程解法迭代法法四、模模型检检验模型的的显著著性检检验整个模模型对对信息息的提提取是是否充充分参数的的显著著性检检验模型结结构是是否最最简返回本本节首首页1.模型的的显著著性检检验目的检验模模型的的有效效性（（对信信息的的提取取是否否充分分）检验对对象残差序序列判定原原则一个好好的拟拟合模模型应应该能能够提提取观观察值值序列列中几几乎所所有的的样本本相关关信息息，即即残差差序列列应该该为白白噪声声序列列反之，，如果果残差差序列列为非非白噪噪声序序列，，那就就意味味着残残差序序列中中还残残留着着相关关信息息未被被提取取，这这就说说明拟拟合模模型不不够有有效假设条条件原假设设：残残差序序列为为白噪噪声序序列备择假假设：：残差差序列列为非非白噪噪声序序列2.参数显显著性性检验验目的检验每每一个个未知知参数数是否否显著著非零零。删删除不不显著著参数数使模模型结结构最最精简简假设条条件检验统统计量量五、模模型优优化问题提提出当一个个拟合合模型型通过过了检检验，，说明明在一一定的的置信信水平平下，，该模模型能能有效效地拟拟合观观察值值序列列的波波动，，但这这种有有效模模型并并不是是唯一一的。。优化的的目的的选择相相对最最优模模型返回本本节首首页问题同一个个序列列可以以构造造两个个拟合合模型型，两两个模模型都都显著著有效效，那那么到到底该该选择择哪