第八章 时间序列模型

第八章时间序列模型

学习目标：熟悉随机过程及时间序列的概念与分类。掌握ARIMA（p,d,q）

（P,D,Q）S模型的识别、参数估计、诊断与预测方法。掌握如何识别时间序列的单整、协整检验以及误差修正模型的建立。掌握基于VAR模型分析的因果检验、脉冲响应分析、方差分解、协整检验与误差修正模型的建立。第一节ARMA模型中的基本概念第二节随机时间序列分析模型第三节单整与协整检验第四节VAR模型第一节ARMA模型中的基本概念

一、随机过程与时间序列

（一）随机过程

随机过程是以时间为标号的一组随机变量，其中为样本空间，而表示时间指标集合。显然对于固定的t,就是一个随机变量，对于固定的,是时间t的函数，称为样本的函数或实现，所有可能的实现构成了时间序列。

随机过程的概率结构通常被其联合分布所决定,称为n维联合分布，定义其均值函数、方差函数和协方差函数如下：显然，这几个矩都是时间t的函数，因而是未知的，如果不加以限制，则这样的参数就非常多，然而对每个固定时刻，我们只能得到一个实现值，因此必须对随机过程进行某种限制，例如假设其为平稳的随机过程或者为近似独立过程等。

（二）平稳随机过程

一个随机过程被称为严平稳过程，如果其联合分布满足：若均值函数、方差函数和协方差函数满足：

例8-1白噪声过程(whitenoise)，若随机过程满足：该过程称为白噪声过程，记为。由于具有相同的均值与方差，且协方差为零，由定义，一个白噪声序列是平稳的。图8-1是一个白噪声随机数分布图。

图8-1白噪声随机数据分布图例8-2随机游走过程(randomwalk)，若随机过程满足其中。则显然，随机游走过程不满足弱平稳条件，因此是非弱平稳过程。然而，对X取一阶差分（firstdifference）：，由于是一个白噪声，则序列是平稳的。二、理论自协方差、自相关函数与偏自相关函数（一）自协方差与自相关函数对于一个平稳过程来说，由于是随机变量与其自身滞后期的协方差，因此也称为自协方差。同时该自协方差是时间间隔的函数，因此也称为自协方差函数。定义自相关函数为。显然有，从而有。因此我们通常只给出对应的自协方差函数和自相关函数即可。

（二）偏自相关函数上述的是度量随机变量与之间的相关程度，这种相关度量可能并不是“纯净的”，因为它可能受到随机变量的影响，我们需要消除这些随机变量的影响，由此计算的相关系数称为随机变量之间的偏自相关函数，记为。

三、样本自协方差、自相关函数与偏自相关函数（一）样本自协方差、自相关函数

上述的自协方差、自相关函数以及偏自相关函数一般是未知的，需要通过样本来估计，假设我们有一个样本为，为此定义如下几个估计量：样本均值：样本自协方差函数：

或者样本自相关函数：（二）样本偏自相关函数

当我们获得样本自相关函数以后，根据Yule-Walker方程式可以得到样本偏自相关函数。Quenouille（1949）指出，在原过程为白噪声时，样本偏自相关系数也近似服从，从而如果样本偏自相关系数落在之内，则我们认为理论自相关函数为零。

四、ARMA模型（一）滞后算子与差分算子称符号满足为滞后算子，而称符号满足为差分算子，显然一次差分运算有。有时我们需要进行高阶差分，特别是在季节性数据分析中，例如一个阶差分可以表示为。

（二）AR(p)模型如果随机过程的生成满足：其中，，称为阶自回归过程，简记为AR(p)。用滞后算子表示：

记，则AR(p)可以表示为。如果该过程是平稳的，则有，从而有：重新带入上述表达式有：令，则，且有：（三）MA(q)模型

如果随机过程的生成表达式满足：

其中，，称为阶移动平均过程，简记为MA(q)。如果引入滞后算子，则MA(q)可以表示为其中。

一般来说，平稳过程都可以由上述移动平均过程来加以表示，这就是Wold定理所阐述的内容，该定理表明：任何协方差平稳过程，都可以被表示为：其中表示的期望。表示的线性确定性成分，如周期性成分、时间t的多项式和指数形式等。（四）ARMA模型更为一般的模型是把上述两种模型合并在一起，即随机过程的生成表达式满足：

其中、，表示白噪声序列，称为自回归移动平均过程，简记为ARMA(p,q)。用滞后算子表示为，其中和同上，且没有公因子。第二节随机时间序列分析模型一、时间序列平稳性识别

时间序列平稳性的判断可以利用图示法、自相关函数和单位根检验方法。

如果某个时序图呈现出明显的上升或下降趋势，则该序列是非平稳的。从自相关函数图来说，如果一个时间序列是平稳的，则一定呈现出短期记忆性质，或者说其自相关函数是迅速收尾的，如果表现出缓慢收敛或者呈现出一个长长的尾巴，则表明其是非平稳的。

对于非平稳时间序列，其偏自相关函数往往具备一阶截尾特征。对于非平稳序列，通常的处理方法是对其进行差分，使其平稳。对于平稳的时间序列，如果确有建模的必要，我们应该建立合适的模型，为此下面我们介绍各类模型的特点与识别。二、ARMA模型识别（一）AR(p)模型的识别设平稳且均值为0的AR(p)模型的表达式为或者记为。如果该模型可以表示成Wold形式，则一定是平稳的，其条件是的根都在单位圆以外，此时AR(p)模型可以表示为：（8-11）其中为格林(Green)函数，为的根的倒数，位于单位圆内。我们称这种表示为时间序列的传递表示形式

（8-12）在式（8-11）两边同乘以，取期望并除以得到：

（8-13）其中。通过克莱姆法则可以求得初始的，当时有（8-14）同样有。当为平稳模型时，自相关函数呈指数衰减方式（实根）或者是正弦衰减方式（复根）或者两者的叠加衰减方式（实根和复根），即当有。我们称其自相关函数具有拖尾性。例8-4求AR(2)

模型的自相关函数。根据式（8-13）可以得到。对于超过2阶的自相关函数，可以使用差分方程理论得到：其中、可以由和来确定。另外根据平稳性要求，容易得到AR(2)

模型平稳时系数应该满足的充要条件为： 2、AR(p)模型的偏自相关函数与识别

先考察AR(1)模型的偏自相关函数，根据式（8-1）有：从而得到类似有。对于一般的AR(p)模型：而言，其偏自相关函数具有p步截尾性。

根据以上分析，平稳AR(p)模型的理论自相关函数呈现衰减形式靠近0，但始终不为0，呈现拖尾特征，而其理论偏自相关函数在p步以后为0，呈现截尾特征，这就是识别AR(p)模型的理论依据所在。（二）MA(q)模型的识别1、MA(q)模型的自相关函数

对于MA(q)模型而言，两边同乘以，并取期望得到：（8-18）

另外有，因此对于MA(q)模型来说，始终满足平稳性要求，这点也可以从Wold定理得到。再根据自相关函数的定义有：（8-19）因此可以得到，对于MA(q)模型来说，其自相关函数在q步以后为0，称为截尾性。2、MA(q)模型的可逆性、偏自相关函数与识别

与AR(p)模型平稳性相对应的是MA(q)模型的可逆性。所谓MA(q)模型的可逆性是指能够将MA(q)模型表示成AR(∞)形式，为了看清楚这个问题，我们首先看MA(1)模型的可逆性条件。（8-20）

上式成立的条件是，或者说的根在单位圆之外。称为逆函数。类似地得到MA(q)模型的可逆性条件是：的根在单位圆之外，记这些根的倒数分别为，则有：（8-21）其中我们称这种表示方式为时间序列的逆转形式。

既然一个可逆的MA(q)模型可以表示AR(∞)形式，因此根据AR(p)模型偏自相关函数的特点，MA(q)模型的偏自相关函数是拖尾的。例如计算表明MA(1)的偏自相关函数为：（8-22）

由上介绍可知，MA(q)模型的理论自相关函数在q步以后呈现截尾性质，而理论偏自相关函数呈现拖尾性质，因此可以根据这点来识别序列是否是MA(q)模型。当然在利用样本资料进行识别时，还需要利用前面的理论对样本自相关函数是否在某步以后截尾进行检验。（三）ARMA(p,q)模型的识别

对于平稳且可逆的ARMA（p,q）模型来说，可以表示为：或（8-23）

前者表明其自相关函数是拖尾的，而后者表明其偏自相关函数也是拖尾的。

三、ARMA(p,q)模型的参数估计

ARMA(p,q)模型的参数估计有多种方法，主要有矩估计、条件极大似然估计和精确极大似然估计三种方法。（一）AR(p)模型的矩估计对于AR(p)模型，在方程两边同乘以，有：（8-24）在方程两边利用样本数据得到样本自相关函数，根据克莱姆法则，从而可以得到。另外还有（二）MA(q)模型的矩估计

在前面的分析中，我们已经得到了MA(q)模型的样本自协方差函数，利用样本资料得到其估计，从而有：

由q+1个等式可以解出q+1个未知参数以及，由于为非线性方程组，故一般可用迭代法求解。但对于低阶的模型可以直接求解。（三）ARMA(p,q)模型的矩估计

在ARMA（p，q）模型中共有个p+q+1待估参数，其估计一般分为两个步骤，首先利用类似（8-24）的式子得到的估计，然后构造新的序列，再利用类似（8-25）的式子得到，的估计。

四、模型诊断（一）残差白噪声检验

当我们完成模型识别定阶和参数估计以后，需要对模型拟合的结果进行必要的检验。第一个检验就是残差是否为白噪声，检验的原假设是直到滞后期不存在自相关，即原假设和备择假设分别为：检验统计量公式为：（8-27）

如果拒绝原假设，表明残差中还含有待提取信息，应该重新拟合模型，否则认为该模型拟合充分，作为候选模型进入下一轮检验。（二）参数显著性检验

参数显著性检验，就是检验模型中每一个未知参数是否显著非零，通过剔除一些不显著的参数，从而使得模型变得更为简洁。（三）模型的定阶

在建立模型时，有时候会有好几个模型都通过上述的检验，这时需要采用信息量准则来确定模型的最优阶数，可以使用的信息量准则有Akaike（1973）提出的AIC指标，计算公式为：（8-28）其中，如果模型中不含有均值项，如果含有均值项则有。另一个指标为BIC或称为SBC准则，计算公式为：（8-29）五、模型预测（一）预测的一般公式与区间估计最小均方差预测准则（MSE）：

假设我们现在有直到时刻的信息：

记在时刻向前预测步的结果为而其真实值为，预测误差记为，则由数理统计知识得到，在最小均方差预测准则下有：

因此，当一个平稳模型可以表示为如下传递形式时：则有：（8-31）（8-30）如果进一步假设时，则有：从而得到区间预测估计公式为：

（二）三种模型的点预测与区间估计1、AR(p)模型的预测假设AR(p)模型为，则有：其中：例8-5假设某个超市的月销售额服从AR（2）模型（单位：万元/月）：再假设第一季度三个月的销售量为101万元、96万元、97.2万元，试根据这些信息估计第二季度三个月销售量的点估计与95%的置信区间。根据题意，目前时刻为，且，需要预测，则根据预测公式有：为了得到区间估计结果，需要计算格林函数，根据式（8-12）有：根据式（8-33）有：

把上述结果带入区间估计公式得到第二季度三个月份销售额95%的区间估计结果分别为：2、MA(q)模型的预测假设MA(q)模型为，则有：从而当预测步长时，预测值始终为期望，预测误差的方差都相同。3、ARMA(p,q)模型的预测假设ARMA(p,q)模型为：则该模型有两个部分构成，预测公式为：其中：六、非平稳时间序列建模（一）ARIMA（p,d,q）模型建立

实际时间序列往往是非平稳的，对于不含季节性因素的非平稳时间序列而言，可以通过取差分形式来平稳化，然后对差分后序列采用前面介绍的方法进行平稳性检验，一般来说，差分次数不会超过2。一旦获得平稳时间序列，则可以使用ARMA模型的方法来建立模型，这样的模型称为：或简记为：其中为实现序列平稳而需要进行的普通差分次数，、的含义同前。

（二）模型建立

在实践中，有些时间序列呈现出季节变动模式，判断季节性非平稳的方法和普通非平稳判断方法相同，也有三种，本节只考虑图形判别和样本自相关函数判断方法，其判断方法与普通非平稳判断方法相同。

如果时间序列存在季节性非平稳，也可以通过季节性差分方法来得到平稳序列。

假设某个时间序列通过两种类型差分平稳化后，我们可以对非季节性部分建立普通的模型，而对季节性部分建立模型，因此我们有更为一般的模型如下：

这就是所谓的模型，其中有：分别对应季节性的AR(P)和MA(Q)部分，、与以前的相同。第三节单整与协整检验

本节在单位根检验理论框架下继续讨论非平稳时间序列的检验方法，并分析非平稳时间序列的组合所呈现出来的特征及其检验理论，即单整检验和协整检验理论。一、单整与维纳过程（一）时间序列的单整性

如果一个时间序列需要经过次差分操作才能使之变成平稳序列，则称该序列为阶单整的，记为，实践中时间序列的一般不超过2次，显然序列即为平稳时间序列。

（二）维纳过程

如果随机过程满足下列条件就称它是一个标准维纳（Wiener）过程（布朗运动过程）：（1）（2）对于每个

（3）对于每个

（4）对于任意一个分割

且为独立增量过程

显然在上述定义下有，我们称为具有方差为的维纳过程。二、单位根的DF检验

单位根检验的方法有多种，常用的有DF检验、ADF检验、PP检验、KPSS检验和NP检验等。（一）数据生成没有漂移项假设数据生成模型为：（8-42）1、估计无截距项模型

首先估计模型并检验。则有：（8-43）（8-44）2、估计有截距项模型估计模型并检验。则有：（8-45）（8-46）（二）数据生成有漂移项

假设数据生成模型为：（8-47）估计模型并检验。

在消除共线性后得到：（8-48）（8-49）其中：

ADF检验是扩展的DF检验，通过在DF检验式中引入一定数目的差分滞后项来确保误差项为白噪声序列，例如对应无截距项的ADF检验模型为：

原假设保持不变，其它的两种情况也是如此。而PP检验则直接假设误差项服从一般稳定过程，通过非参数方法对检验量进行调整。

三、协整分析

（一）协整的定义假设，即每个分量都是b阶单整的，如果存在一个非零向量，使得，即线性组合后得到的变量单整阶数下降，则称是（b，c）阶协整的，记为，为一个协整向量。

（二）协整的EG两步检验1、双变量之间的协整检验假设考察两个单整序列为，则该方法如下：第一步，利用OLS估计回归模型，同时得到残差估计为

（8-50）

该回归被称为协整回归。如果存在协整关系，则协整向量为，且根据协整的定义应该有从而进入下面的第二步。

第二步，对残差序列进行单整性检验，确定其单整阶数，如果仍有，则表明组合得到的变量并没有降阶，因而它们之间没有协整关系；如果有，则表明组合得到的变量降阶，因而它们之间有协整关系。检验残差是否平稳仍采用单位根检验方法，即建立如下的检验模型：（8-51）

构建的假设为。如果检验接受，则表明残差是非平稳的，因此原来的两个变量并不存在协整关系，反之则表明它们存在协整关系。2、多变量之间的协整检验

对于多个变量之间的协整检验，其基本原理与两个变量下的检验思路一样，首先检验它们是否都是同为的，然后选取其中一个变量作为被解释变量进行协整回归，再对协整回归得到的残差进行平稳性检验，从而确定是否存在协整关系。（三）误差修正模型（ECM）的建立

对于一阶单整的双变量而言，假设它们满足关系：通过变换可以得到：其中，当它们存在协整关系时，即为误差修正项。一、多维时间序列

假设向量，对于任意的，为随机向量，则称为上的维时间序列。向量白噪声过程是多维时间序列分析的基础，如果多维时间序列满足：第四节VAR模型

则称多维时间序列为向量白噪声过程。显然，向量白噪声过程不允许不同期之间的随机向量相关，但允许随机向量内部的同期相关，即不一定为对角矩阵。（1）对于所有的有；（2）对于所有的有为对称正定矩阵；

（3）对于所有的，当时有。二、向量自回归过程（VAR）（一）VAR的定义

称满足下列向量随机差分方程的为阶向量自回归过程，记为（8-53）其中为向量白噪声过程，为维的常数向量，为n阶参数矩阵。如果引入滞后算子，令，显然为矩阵多项式。上述可以表示为:（二）模型的平稳性条件

模型平稳性条件与单变量自回归模型的条件相同，即使得特征多项式对应的行列式的根在单位圆以外。

显然该行列式展开后是关于的次方程，因此有个根。如果模型是平稳的，则有。其中，且，因此可以把式（8-53）对应的模型写成离差形式为：

令有：（三）向量自回归过程的参数估计

对于向量自回归模型，可以采用最小二乘法、广义最小二乘法进行估计，也可以使用极大似然估计。1、条件似然函数的构造假设，有个观测，以前面个观测为初始条件，则当时有：所以有条件密度函数：其中若令：则类似地可以根据乘法公式得到联合条件似然函数为：从而对数条件似然函数为：2、参数的估计条件似然函数对求偏导得到极大似然估计为：而的协方差矩阵极大似然估计为：其中利用矩阵迹的性质经过计算得到最终的似然函数表达式为：在上述表达式中，我们把最终似然函数结果记为阶数的函数。

3、模型的定阶

对于一个维的模型而言，需要估计的参数总共有个，因此需要很大的样本容量才能完成参数估计，但在给定的情况下应该尽可能地降低模型的阶数。确定阶数的方法常用的有两种：

一种是使用信息指标来确定，选取的标准是使得信息指标达到最小时对应的阶数。常用的两个指标及其定义如下：

另一种就是通过似然比检验来确定。假设我们分别建立了和两个模型，不妨设，对应的对数似然函数分别为和。

设零假设是原模型服从，而备择假设是原模型服从。

则似然比检验量的构造为。在原假设成立下有，通过与特定显著性水平下的卡方分布临界值相比得到检验结论。（四）Grange因果关系检验

如果对所有，基于进行预测的均方误差(MSE)与基于和进行预测的均方误差是一样的，则称变量不是变量的Granger原因。

在计量检验两个具体的可以观测到变量之间是否具有“Granger因果关系”的方法中，最简单的方法是使用自回归方程中的下三角指定形式。

假设一个特殊的滞后阶数为的自回归方程并利用OLS估计下面的方程：然后对下述原假设进行F检验

记上述回归的残差平方和为。将这个平方和与仅依赖的滞后期进行回归的模型：

得到的残差平方和记为。

定义F统计量为

如果该统计量大于分布某个指定显著性水平对应的临界值，则我们拒绝“变量不是变量的Granger原因”的原假设。

例8-13

有两个变量和满足模型当估计回归模型时

得到当估计回归模型时得到假设，经过计算有。另外当时，查得临界值，因此检验拒绝了原假设，因此变量是引起变量Granger因果关系的原因。（五）脉冲响应分析与方差分解

利用模型进行分析时，往往考虑某个变量的扰动项的变动对其本身以及系统中其它变量的影响情况，这就是所谓的脉冲响应分析。

通过模型分析各个变量扰动项变动对某个变量预测总误差变动的影响，这就是方差分解内容。

1、脉冲响应分析

如果模型为平稳的，则一定可以表示成一个无穷阶的移动平均模型形式。假设维平稳的模型为：

假设不为对角矩阵，根据乔利斯基分解方法，存在唯一一个主对角线元素为1的下三角矩阵以及一个元素全为正的对角矩阵，使得。

如果令，则显然有，在平稳的条件下将其转为形式为：其中

递推得到：

所以有：若记

则有：

表示第分量在时刻对第个分量对应的扰动项在时刻变动一个单位（保持其它扰动项不变）的响应值，这些响应都是时期间隔的函数，称为脉冲响应函数。显然总共有个这样的脉冲响应函数。2