时间序列分析方法第0章预测

1、第四章预测在本章当中我们讨论预测的一般概念和方法，然后分析利用ARMA（p,q）模型进行预测的问题。 4.1 预期原理利用各种条件对某个变量下一个时点或者时间阶段内取值的判断是预测的重要情形。为此，需要了解如何确定预测值和度量预测的精度。4.1.1 基于条件预期的预测假设我们可以观察到一组随机变量 Xt的样本值，然后利用这些数据预测随机变量 丫/ 的值。特别地，一个最为简单的情形就是利用 Yt的前m个样本值预测Yt书，此时Xt可以描 述为：假设Y；邮表示根据Xt对于丫书做出的预测。那么如何度量预测效果呢？通常情况下， 我们利用损失函数来度量预测效果的优劣。假设预测值与真实值之间的偏离作为损失，

2、则简单的二次损失函数可以表示为（该度量也称为预测的均方误差 ）：定理4.1使得预测均方误差达到最小的预测是给定Xt时，又Yt书的条件数学期望，即：证明：假设基于Xt对Y书的任意预测值为：则此预测的均方误差为：对上式均方误差进行分解，可以得到：其中交叉项的数学期望为（利用数学期望的叠代法则 ）： 因此均方误差为：为了使得均方误差达到最小，则有：此时最优预测的均方误差为：MSE（Tilt）=EYti E（Y|Xt）2End我们以后经常使用条件数学期望作为随机变量的预测值。4.1.2 基于线性投影的预测由于上述条件数学期望比较难以确定，因此将预测函数的范围限制在线性函数当中，我们考虑下述线性预测：如

3、此预测的选取是所有预测变量的线性组合，预测的优劣则体现在系数向量的选择上。定义4.1如果我们可以求出一个系数向量值a ,使得预测误差（丫书-a 'Xt）与Xt不相关：则称预测oc'Xt为Yt4基于Xt的线性投影。定理4.2在所有线性预测当中，线性投影预测具有最小的均方误差。证明：假设g'Xt是任意一个线性预测，则对应的均方误差可以分解为：由于aXt是线性投影，则有：因此均方误差为：为了使得均方误差达到最小，线性预测满足：这是一个线性投影。End我们将线性投影预测表示为： 或者简化为:显然线性投影的预测误差仍然不小于条件期望预测，因此有：当条件中包含常数的时候，此时线性投

4、影当中就含有常数，为此使用E?表示含有常数项的线性投影预测，即：4.1.3 线性投影的性质根据线性投影的定义，我们可以求出投影的系数向量：如果E(XtXj是可逆的，则有：命题4.1线性预测满足下述性质：(1)最优线性预测的均方误差为：(2)线性投影满足线性平移性质：证明：(1)根据投影向量的表达式，可以得到：化简就可以得到命题表达式。(2)需要证明aP?(YtH1|Xt)+b是aYt书+b的线性投影。显然，它是线性函数，其次，可 以证明它满足正交性质。End4.1.4 线性投影和普通最小二乘回归线性投影与最小二乘估计紧密相关，这两种概念之间存在联系。例如，将yt书基于xt建立线性回归方程，得到

5、：对于2合定yt书和人的T个样本，样本残差平方和定义为：使得残差平方和达到最小的系数最小二乘估计为：如果过程是协方差平稳过程且关于二阶矩是遍历的，则有：因此上述OLS估计按概率收敛到线性投影系数：4.1.5 向量预测上述结果可以推广到利用 mH维向量Xt预测n1维向量Yt书，记为：其中a '为投影系数的一个 nM m阶矩阵，满足正交条件：上式说明预测误差(Yt+-苗母)的每一个分量与条件变量 Xt的每一个分量都无关。命题4.2假设Y?用是Yt中的最小均方误差线性预测，则对任意Yt书的线性组合zt书=h Yt由，它的最小均方误差线性预测为：证明：只需证明是线性投影即可，这时需要3证相应的

6、正交性。End类似地，投影矩阵为：与此对应的均方误差矩阵为： 4.2 4.2基于无限个观测值的预测无论是条件期望预测还是正交线性预测，都是基于有限个条件变量的，下面我们分析基于无限个观测值情形下的预测。4.2.1 基于滞后误差的预测考察一个无限阶移动平均过程MA(s):Yt=R十中(L居，甲(L)30 +匕L +匕L2十，£七长的j 0假设已经知道过去所有时间阶段的残差观测值驾，斗.斗I：,也知道模型中各种参数的值。现在我们要预测 s个阶段以后的丫书，根据模型它应该是：对此最优线性预测形式为：这个预测值的对应误差为：这个预测值的均方误差为：例4.1 试求MA(q)过程的最优线性预测。

7、解：MA(q)过程为：Y =R+8(L)St, H(L)=e° +®L+%L2+|H+eqLq则它的最优线性预测为：对应的均方误差为：上述预测具有清楚的含义，在时间间隔q以后，使用过程的均值进行预测，而方差是过程的无条件方差。4.2.2 基于滞后Y的预测一般情况下，我们仅仅可以观察到Y的值，为此假设移动平均过程具有可逆表示：其中：WL)"。+RL+ZL2 +=1,营|<8 j =0假设上述AR过程与MA过程之间滞后算子多项式的关系：1 .协方差平稳的AR(p)过程为：表示成为算子多项式形式：满足：n(L)=*(L) , W(L)=*(L)2 . 一个MA(q

8、)过程可以表示成为：也可以表示成为算子多项式形式：在可逆性假设条件下，则有：巴L)=6(L), 1L)=WL)d如果给出了观测值Yt,Yt,可以在模型当中构造出残差序列5肯-,例如在AR(1)过程当中：对于给定系数和Yt，Yt,由上式可以计算出：在可逆的MA(1)过程当中，可以得到：最后，可以得到给定Y，Yt,条件下的预测公式为：或者：EYts|Yt,Yy,=%-1L)(Yt - j)上述公式也被称为 Wiener-Kolmogorov预测公式。上述公式当中的算子是截断形式的算 子表达式，算子表达式中将滞后算子的负指数项省略。4.2.3 预测一个AR(1)过程对于一个平稳的AR(1)过程，可以

9、将算子多项式表示成为：利用上述公式，可以得到 s阶段后的最优线性预测为：上述预测公式说明，随着预测阶段的增加，预测值将趋于长期均值。 对应的预测误差为： 随着预测阶段的增加，预测误差也趋于无条件方差仃2/(i2)。4.2.4 预测一个AR(p)过程对于一个平稳的 AR(p)过程，可以利用 Wiener-Kolmogorov预测公式进行预测。该公式 的主要特点在于：它可以利用过去的过程观测值和未来的残差值表示预测值，然后未来的残差值利用期望去掉。其中fj;表示矩阵Ft中第i行、第j列元素，矩阵F为：这时s阶段的最优预测为：显然上述预测是均值基础上加上观测值的一个线性组合，是观测值的线性函数。相应

10、的预测误差为：下面我们给出具体的预测推导过程：(1)进彳T 1个时期的预测，它满足：(2)将时间开始阶段换为t +1 ,得到：根据多重投影定理断言，如果Yt书的t +1期预测是t期信息的投影，则该预测也是t期进行的最优线性预测，则有：将1期预测代入得到：(3) AR(p)过程的前s期预测根据叠代可以得到：Y?书|t N=*1(Yt书nt N) + 心(Y?书口t R)+d(Y?书Rt N), j =1,2；1s 其中：YFt =YjT 三-t4.2.5 预测一个MA(1)过程继续考察一个 MA(1)过程，可以利用滞后算子表示为：丫 N=(1 +8L)&t , |6|<1利用 Wi

11、ener-Kolmogorov预测公式进行预测，得到：向前预测1期时有：则预测值为：当预测步长超过1时：则预测值为：4.2.6 预测一个MA(q)过程继续考察一个可逆的 MA(q)过程：利用 Wiener-Kolmogorov预测公式进行预测，得到：其中：对于比较近期的预测(s=1,21，q/：其中&可以利用下述递推表示：对于比较远期的预测(s >q)比较简单：4.2.7 预测一个 ARMA(1,1)过程ARMA(1,1)过程可以表示为：假设该过程是平稳的(|似<1)和可逆的(|日|<1),则：其中：代入到预测公式中：注意到对于任意s >1 ,预测值满足递推公式

12、：这意味着预测值按照几何方式以速度0收敛到无条件均值。前 1期预测由下式给出：上式可以等价地表示为：其中：或者：4.2.8 预测一个ARMA(p, q)过程综合上述各种预测情形，我们可以得到预测平稳 ARMA(p, q)过程的方法。ARMA(p,q) 过程可以表示为：最优线性预测方程可以表示为：其中？t可以利用下述递推表示：前s期预测为：其中：Yqt j. =Y丁，v <t§ 4.2基于无限个观测值的预测下面我们假设已知模型的参数，但是只获得了有限样本丫,丫,，YtR书情形下的预测问题。4.3.1 最优预测的近似基于有限个观察值的预测方法是假设样本之前的残差£都为零，

13、这是因为有下面的近似公式存在：4.3.2 有限样本情形下的精确预测利用线性投影可以得到有限样本情形下的精确预测：§ 4.7 ARMA(1)过程之和下面我们考虑两个 ARMA过程相加所得到的时间序列性质。4.7.1 MA(1)过程与白噪声之和假设一个序列是零均值的 ARMA(1)过程：其中ut是白噪声序列，满足：此时Xt过程自协方差函数为：假设随机过程vt是另外一个白噪声过程，满足：假设两个白噪声序列之间在任何时点都是不相关的，也即有：E(UtVs)=O, Vs,t这是也有：E(XtVs)=O, Vs,t目前的问题是，如何观测到一个序列Yt是上述移动平均过程和白噪声过程的和，那么这个和

14、过程的性质如何？显然，上述过程仍然具有零均值，它的自协方差函数可以表示为：由此可见，随机过程 Yt也是平稳过程，它的自协方差函数与MA(1)过程是类似的。此时，我们设想是否有一个 MA过程： 其中白噪声满足：它具有与和过程一致的自协方差函数？如何是这样，则要求白噪声的方差满足：对于给定的参数：6,仃2,仃。，满足上述要求的日值为：在特殊情形下，如果 仃。=0 ,则上式变为：对于其他情形，可以分析具有相同自协方差函数的自回归系数的要求。4.7.2 两个移动平均过程之和假设Xt是MA(qi)过程，Yt是MA(q2)过程，并且两个过程的残差在任何时点都不相关， 则可以证明，他们的和过程满足过程MA(

15、max( p, q)。4.7.3 两个自回归过程之和假设随机过程 Xt和Wt是两个AR(1)过程，满足：其中Ut和片是两个在任何时点上都不相关的白噪声序列。假设我们可以观察到并且想利用Ys,s <t来对Yt书进行预测。为此，我们需要分析时间序列的结构。在特殊情形下，如果一旦自回归系数相同，或 冗二P,则直接得到Yt =Xt +Wt的自回归表示：如果n # P,则有：可以等价地表示为：对应的要求为：因此可以知道：更为一般地，对于两个残差序列不相关的自回归过程而言：它们相加可以得到一个 ARMA( p1+p2, max p1, p2)过程：WL)e(L)HL) , /L" =P(L

16、)Ut +n(L)Vt§ 4.8 Wold分解和Box-Jenkins建模思想平稳时间序列具有类似的性质，那么如果表示平稳时间序列的一般结构呢？Wold分解定理给出了一般的结论。4.8.1 Wold 分解定理4.3 (Wold分解定理)任何零均值协方差平稳过程Yt可以表示成为如下形式：qQ其中：中0=1, Z2 <°°，莺是利用(Yj,j父1)预测Yt时产生的误差： j =0对于任意j, %与5T不相关，并且 J也可以利用利用(Yt_j,j之1)进行预测：片称为过程Yt的线性确定性成分， 而j 5T称为过程Yt的线性非确定性成分。 如果 j=0% =0,则称

17、该过程是纯线性不确定性的。4.8.2 Box-Jenkins 建模思想任何时间序列数据都有自己的生成机制，但是如何揭示和描述时间序列的数据生成机制呢？这需要利用时间序列模型对数据生成机制进行逼近或者近似，这就需要寻求建立时间序列模型的基本过程。(1)建立模型一个基本出发点是，所采用的模型越节俭越好，所要估计的参数越多，模 型出现错误的可能性就越大。(2)即使一个复杂的模型描述和模拟历史数据的能力很好，但是有时进行预测时的误差 却很大。以前大型经济计量模型的失败则说明了这一点。Box-Jenkins提出并倡导的预测方法主要步骤为：(1)如果有必要，可以对数据进行变化，使得数据的协方差平稳性变得更

18、为合理。(2)对于描述平稳性数据的 ARMA(p,q)模型的阶数做出一个初始的数值比较小的猜 测。(3)估计自回归和移动平均算子多项式中的系数。(4)对模型进行诊断分析以确定所得到的模型确实与观测到的数据具有类似的特征。其中数据变化主要根据经济时间序列的特征，对数序列的差分是非常常用的变换方法。 时间序列模型的估计与诊断是后面讨论的主要内容。4.8.3 样本自相关函数为了确定模型的阶数，我们首先讨论自相关函数的估计问题。一般情况下可以利用样本的矩估计进行：1 T1 T?j =3 Z(yt y)(yt_j y), j =0,1, 21,T 1 , y=.2ytT t 4 iT t m根据MA(q)和AR(p)过程的性质，我们可以根据上述样本自协方差函数收敛到零的性 质，区分出两类过程。如果数据由一个高斯 MA(q)过程生成，则估计的方差？j近似为：1 c q Var(?j)=-d+2Z Pi2 >, j =q +1,q +2,T工I J特别地，如