时间序列分析方法第04章预测

1、时间序列分析方法讲义第4章预测5第四章预测在本章当中我们讨论预测的一般概念和方法，然后分析利用 的问题。ARMA( p,q)模型进行预测§ 4.1预期原理利用各种条件对某个变量下一个时点或者时间阶段内取值的判断是预测的重要情形。 此，需要了解如何确定预测值和度量预测的精度。4.1.1基于条件预期的预测假设我们可以观察到一组随机变量X t的样本值，然后利用这些数据预测随机变量的值。特别地，一个最为简单的情形就是利用Yt的前m个样本值预测Yt 1，此时Xt可以描述为：Yt 1Xt Yt,Yt 1, ,Yt m 1假设Yt*1|t表示根据Xt对于Yt 1做出的预测。那么如何度量预测效果呢？

2、通常情况下, 我们利用损失函数来度量预测效果的优劣。假设预测值与真实值之间的偏离作为损失，单的二次损失函数可以表示为(该度量也称为预测的均方误差)：MSE(Yt*1|t) E(Yt1 Y*1|t)2定理4.1使得预测均方误差达到最小的预测是给定则简Xt时，对Yt 1的条件数学期望,即:Yt*1|t E(Yt 1 |Xt)证明：假设基于Xt对Y 1的任意预测值为：Yt*1|t g(Xt)则此预测的均方误差为：MSE(Yt*1|t) EYt 1 g(Xt)2 对上式均方误差进行分解，可以得到：MSE(Yt*1|t) E Yt 1 E(Yt1|Xt) E(Yt 1 |Xt) EY 1 E(Yt 1

3、|Xt)2 E(Yt 1 |Xt) 2EY 1 E(Yt1|Xt)E(Yt1|Xt) 其中交叉项的数学期望为(利用数学期望的叠代法则g(Xt)2g(Xt)2 g(Xt)EYt 1 E(Yt 1 |Xt)E(Yt1 |Xt)因此均方误差为：MSE(Yt*1|t) EYt 1 E(Yt1|Xt)2为了使得均方误差达到最小，则有：g(Xt) E(Yt 1|Xt)此时最优预测的均方误差为：MSE(Yt*1|t) EYt 1 E(Yt1|Xt)2g(Xt)E(Yti)：0|Xt)g(Xt)2End我们以后经常使用条件数学期望作为随机变量的预测值。4.1.2基于线性投影的预测由于上述条件数学期望比较难以确

4、定，因此将预测函数的范围限制在线性函数当中,们考虑下述线性预测：Yt*1|tXt如此预测的选取是所有预测变量的线性组合，预测的优劣则体现在系数向量的选择上。定义4.1如果我们可以求出一个系数向量值 相关：，使得预测误差(Yt1Xt) 与Xt不E(Yt 1则称预测 XtXt)Xt0为Yt 1基于Xt的线性投影。定理4.2在所有线性预测当中，线性投影预测具有最小的均方误差。证明：假设gXt是任意一个线性预测，则对应的均方误差可以分解为:MSE EYt 1E(Yt 1由于 Xt是线性投影，则有：E(Yt 1Xt)( Xt g因此均方误差为：MSE E(Yt 1Xt)2g Xt2Xt)2EYt 1Xt

5、E( Xt g Xt)2Xt)E(Yt 1E( Xt为了使得均方误差达到最小，线性预测满足: g XtXt这是一个线性投影。g Xt)2Xtg Xt22E(Yt 1Xt)( XtXt)Xt( g) 0g Xt)End我们将线性投影预测表示为：f?(Yt1 |Xt)Xt或者简化为：Y? 1|t Xt显然线性投影的预测误差仍然不小于条件期望预测，因此有：MSEf?(Yt 1 |Xt) MSEE(Y 1|Xt)E?表示含有常数当条件中包含常数的时候，此时线性投影当中就含有常数，为此使用 项的线性投影预测，即：呂(Yt1|Xt)政 Yt 1 |1,Xt)4.1.3线性投影的性质根据线性投影的定义，我们

6、可以求出投影的系数向量:E(Yt 1Xt)E(XtXt)如果E(XtXt)是可逆的，则有:E(Yt 1Xt)E(XtXt) 1命题4.1线性预测满足下述性质:(1) 最优线性预测的均方误差为：MSE E(Yt 1)2 E(Yt1Xt)E(XtXt) 1£以畀 J(2) 线性投影满足线性平移性质：f?(aYt证明：MSE1 b|Xt)301 |Xt) b(1)根据投影向量的表达式，可以得到：E(Yt 1Xt)2E(Yt 1)22£厲 1Xt)E(XtXt) 1E(XtYt1)E" 1Xt)E(XtXt) 1E(XtXt)E(XtYt 1)化简就可以得到命题表达式。(

7、2)需要证明af?(Yt 1 |Xt) b是aVt 1 b的线性投影。显然, 以证明它满足正交性质。它是线性函数，其次，可End4.1.4线性投影和普通最小二乘回归线性投影与最小二乘估计紧密相关，这两种概念之间存在联系。立线性回归方程，得到：例如，将yti基于Xt建yt 1xtt对于给定 y 1和Xt的T个样本，样本残差平方和定义为:T(yt 1Xt)2t 1使得残差平方和达到最小的系数最小二乘估计为：TTb XtXt) 1 Xt yt 1)t 1t 1如果过程是协方差平稳过程且关于二阶矩是遍历的，则有：1 T-XtXtT t 11 T-XtYt 1T t 1PE(XtXt)PE(XtYt 1

8、)因此上述OLS估计按概率收敛到线性投影系数： b P4.1.5向量预测上述结果可以推广到利用m 1维向量Xt预测n 1维向量Yt1，记为:f?(Yt1|Xt)Xt其中为投影系数的一个E(Yt 1 Xt)Xt上式说明预测误差(Yt 1Y?1|tn m阶矩阵，满足正交条件：0Y 1it)的每一个分量与条件变量Xt的每一个分量都无关。命题4.2 假设Y? 1|t是Yt 1的最小均方误差线性预测，则对任意Yt 1的线性组合时间序列分析方法讲义第4章预测zt 1 h Yt 1，它的最小均方误差线性预测为：? 1|t h « 1|tEnd证明：只需证明是线性投影即可，这时需要验证相应的正交性。

9、类似地，投影矩阵为：E(Yt 1Xt)E(XtXt) 1与此对应的均方误差矩阵为：MSE EYt 1XtYt1XtE(Y 1Yt 1) E(Yt 1Xt)E(XtXt) 1 E(XtYt 1)§ 4.2基于无限个观测值的预测无论是条件期望预测还是正交线性预测, 于无限个观测值情形下的预测。都是基于有限个条件变量的，下面我们分析基2274.2.1基于滞后误差的预测考察一个无限阶移动平均过程MA(Yt(L)(L)01L2L2假设已经知道过去所有时间阶段的残差观测值 数的值。现在我们要预测 s个阶段以后的Yt，| j |j 0 t, t 1, t 2,，根据模型它应该是：也知道模型中各种参

10、Yt st s 1 t s 1对此最优线性预测形式为：EYt s| t, t1, 这个预测值的对应误差为：Yt s EYt s| t, t1, 这个预测值的均方误差为：EYt s |2例4.1试求MA(q)过程的最优线性预测。解：MA(q)过程为：EYts(1(L) t，(L)0 1L2L2qLq则它的最优线性预测为:EYt s |1,2,qq 1,q 2,对应的均方误差为:2MSE (112(112s21) q2)2,3,q 1,q 2,q上述预测具有清楚的含义，在时间间隔 程的无条件方差。q以后，使用过程的均值进行预测，而方差是过4.2.2基于滞后Y的预测时间序列分析方法讲义第4章预测24

11、般情况下，我们仅仅可以观察到丫的值，为此假设移动平均过程具有可逆表示:(L)(Yt) t其中：(L)01L 2L201，1 jlj 0假设上述AR过程与MA过程之间滞后算子多项式的关系: (L) (L) 11.协方差平稳的 (11L 2L2AR(p)过程为：pLP )(Yt) t表示成为算子多项式形式：(L)(Yt) t满足：(L)(L)，(L) (L) 12. 一个MA(q)过程可以表示成为：Yt(11L2L2qLq) t也可以表示成为算子多项式形式：Yt(L) t在可逆性假设条件下，则有：(L)(L)，(L) (L) 1如果给出了观测值Yt,Yt 1, ，可以在模型当中构造出残差序列 t,

12、 t 1,AR(1)过程当中：(1L)(Yt) t对于给定系数和Yt,Yt 1,t (Yt在可逆的t (1(Yt，例如在，由上式可以计算出:)(Yt1)MA(1)过程当中，可以得到： L) 1(Yt)(Yt最后，可以得到给定EYt s|Yt,Y 1,)1)2(Yt 2)Y，Yt1，条件下的预测公式为:(L)Ls(L)(Yt或者:11)(Yt)上述公式也被称为 Wiener-Kolmogorov预测公式。上述公式当中的算子是截断形式的算 子表达式，算子表达式中将滞后算子的负指数项省略。4.2.3 预测一个E?Yt s|Yt,Yt1,(L)Ls对于一个平稳的1(L) rAR(1)过程AR(1)过程

13、，可以将算子多项式表示成为:L2L23L3(L)s 2 l2利用上述公式，可以得到EYts|Yt,Yt1,s阶段后的最优线性预测为:s(11 Ls(Yt)L)(Yt上述预测公式说明,随着预测阶段的增加，预测值将趋于长期均值。 对应的预测误差为:MSE 12随着预测阶段的增加,2(s 1)2预测误差也趋于无条件方差2/(12)。AR(p)过程AR( p)过程，可以利用 Wiener-Kolmogorov预测公式进行预测。该公式 的主要特点在于：它可以利用过去的过程观测值和未来的残差值表示预测值，然后未来的残差值利用期望去掉。X s4.2.4预测一个对于一个平稳的fi(S)(Yt)f12)(Yt

14、1f1p)(Yt p 1其中t sf j表示矩阵1 t s 12 t sF t中第i行、第2s 1 t 1j列元素，矩阵F为:这时s阶段的最优预测为：Y? s|t fFr显然上述预测是均值基础上加上观测值的一个线性组合，是观测值的线性函数。f1(2s) (Y 1f1ps) (Y p 1相应的预测误差为：Ytssit t s 1 t s 12 t s 2下面我们给出具体的预测推导过程：(1)进行1个时期的预测，它满足：Y?1|t1(Yt)2(Yt 1)P(Yt p1(2)将时间开始阶段换为t? 2|t 11 (Yt 1根据多重投影定理断言， 进行的最优线性预测，则有：? 2 |t1 0? 1|t

15、将1期预测代入得到：)如果1，得到：)2的t2(Yt2(YtP(Yt p2 )1期预测是t期信息的投影，则该预测也是t期p(Ytp2)Y?2|t1 1(Yt)2(Yt)(122)( Yt2(Yt 1P(Yt)(1 2p(Ytp1)P 2)3)(Yt 11 p(Yt(1 p 1p)(Yt p 2(3) AR(p)过程的前s期预测根据叠代可以得到: % j It1 0? j 1|t)2(Y? j 2|t)P(Y? j p|t),j 1,2,s其中：Y?|t Y，4.2.5预测一个MA(1)过程继续考察一个 MA(1)过程，可以利用滞后算子表示为:Yt(1 L) t，| | 1利用 Wiener-K

16、olmogorov预测公式进行预测，1 LLsY?s|tL(Y )得到:向前预测1 LL期时有:则预测值为:Y?1|t1(Yt当预测步长超过1 L 0LsL(Yt)1时:2(Yt 1)3(Yt则预测值为:Y? sitMA(q)过程4.2.6 预测一个继续考察一个可逆的 MA(q)过程：(Yt) (11L2L2qLq) t利用 Wiener-Kolmogorov预测公式进行预测,(11L2L2qLq)LsY?s|t其中：(11L2L2LsqLq)1L得到:1L s 2L22L2qLq s, s 1,2, qLq,qs q 1,q 2,对于比较近期的预测(s 1,2,s |t( s s 1 L其中

17、?t可以利用下述递推表示：,q)有：qLq s)?t?(Yt)1?1242q?q对于比较远期的预测(S q)比较简单：Y? sit427预测一个ARMA(1,1)过程ARMA(1,1)过程可以表示为: (1 L)(Yt ) (1 L) 假设该过程是平稳的(IIL)(Ytt1)和可逆的(| 1)，则:Y? s|t(1L)Ls1 LrYt其中：1(TLL)L(1 LL2 L2L(1 L 2 L2)L代入到预测公式中:Y? sits 1 L s 2 l2s 1(s 1 s L s1 L2)s 1 11厂1ss 1(Yt)L(Yt)注意到对于任意s 1，预测值满足递推公式:Y? s|t(Y? s 1|

18、t)这意味着预测值按照几何方式以速度收敛到无条件均值。前 1期预测由下式给出:Y?1|trYt )上式可以等价地表示为:Y?1|t(1 L) (1 L) (Y(Ytt其中：?t °(1或者：L)L>)?t (Yt(Yt 1Y?it 1)4.2.8预测一个ARMA( p, q)过程综合上述各种预测情形，我们可以得到预测平稳 ARMA(P, q)过程的方法。ARMA(p, q)过程可以表示为：(11L2L2pLp)(Yt)(11L 2L2qLq) t最优线性预测方程可以表示为:Y?1|tp(Yt p11(Yt)2(Yt1 ?2 ?t其中?t可以利用下述递推表示：? Yt Yt|t

19、1前s期预测为：Y? s|t1 (Y? s 1|t1 (Y? s 1|tp (Y? s p|t p 0? s p|t),sq ?t s q , s 1,1,q 2,q其中：Y?it1§ 4.2基于无限个观测值的预测Yt,Yt1, ,Yt m 1情形下的预下面我们假设已知模型的参数，但是只获得了有限样本 测问题。4.3.1最优预测的近似基于有限个观察值的预测方法是假设样本之前的残差公式存在：E?(Yt s|Yt,Yt 1, ) E?(Yts|Yt,Yt1, ,Y m1, tm0,4.3.2有限样本情形下的精确预测利用线性投影可以得到有限样本情形下的精确预测：/ (m) Y(m)(m)v

20、(m)V(m)z()Xt 01 Yt 2 Yt 2m Yt m 1§ 4.7 ARMA(1)过程之和都为零，这是因为有下面的近似t m 1°,)下面我们考虑两个 ARMA过程相加所得到的时间序列性质。4.7.1MA(1)过程与白噪声之和假设一个序列是零均值的ARMA(1)过程:Xt UtUt 1其中Ut是白噪声序列，满足：2,t s0, t sE(UtUs)此时Xt过程自协方差函数为:(1 2)E(XtXtj)u2,0,| j|假设随机过程Vt是另外一个白噪声过程，满足:2 ,t sE(VtVs)二0, t s假设两个白噪声序列之间在任何时点都是不相关的，也即有:E(UtV

21、s)0， s,t这是也有：E(XtVs) 0， s,t目前的问题是，如何观测到一个序列Yt是上述移动平均过程和白噪声过程的和，那么这个和过程的性质如何？Yt Xt Vt utut 1 Vt(1 2) uE(YtYt j)了，0,由此可见，随机过程 时，我们设想是否有一个Ytt t 1其中白噪声满足：E"0；'；显然，上述过程仍然具有零均值，它的自协方差函数可以表示为：川0j 1|j| 1Yt也是平稳过程，它的自协方差函数与MA(1)过程是类似的。此MA(1)过程：它具有与和过程一致的自协方差函数？如何是这样，则要求白噪声的方差满足：(1 2) >222 2u2，满足上述

22、要求的值为:对于给定的参数：v2/ 2)J(12) ( 2/ 了)2 4 22(12)2在特殊情形下，如果1.+(12) 4(12)2 4 2,or, 1对于其他情形，可以分析具有相同自协方差函数的自回归系数的要求。4.7.2两个移动平均过程之和假设Xt是MA(qi)过程，Yt是MA(q2)过程，并且两个过程的残差在任何时点都不相关, 则可以证明，他们的和过程满足过程MA(maX p, q)。4.7.2两个自回归过程之和假设随机过程 Xt和W；是两个AR(1)过程，满足：(1L)Xt ut(1L)Wt vt其中Ut和Vt是两个在任何时点上都不相关的白噪声序列。假设我们可以观察到Yt Xt Wt

23、并且想利用Ys，s t来对Yt 1进行预测。为此，我们需要分析时间序列的结构。在特殊情形下，如果一旦自回归系数相同，或，则直接得到Yt(1如果L)Yt Ut vt，则有：XtWt的自回归表示:(1可以等价地表示为： (1 1 L 2L2)Yt 对应的要求为：(11 L 2L2)(1L) t (1因此可以知道：AR(1)AR(1)ARMA(2,1)更为一般地，对于两个残差序列不相关的自回归过程而言：(L)Xt Ut(L)Wt Vt它们相加可以得到一个 ARMA( p1 p2, max p1, p2)过程:(L)Yt(L) t(L)(L) (L)，(L) t (L)Ut (L)VtL)(1(1(1

24、(1 L)UtL)Ut (1L)VtL)L)(1(1L)L)vt§ 4.8 Wold分解和Box-Jenkins建模思想平稳时间序列具有类似的性质，那么如果表示平稳时间序列的一般结构呢? 定理给出了一般的结论。Wold分解4.8.1定理Wold分解4.3(Wold分解定理)任何零均值协方差平稳过程 Yt可以表示成为如下形式:t是利用(Yt j, j 1)预测Yt时产生的误差:Ytt对于任意E?(Yt |Yti,Ytj， t 与 t2,)j不相关，并且t也可以利用利用(Yt j, j 1)进行预测:t E?(t |Yt 1,Yt 2,t称为过程Yt的线性确定性成分，而t j称为过程Yt

25、的线性非确定性成分。 如果t 0,则称该过程是纯线性不确定性的。4.8.2 Box-Jenkins 建模思想任何时间序列数据都有自己的生成机制，呢？这需要利用时间序列模型对数据生成机制进行逼近或者近似, 列模型的基本过程。但是如何揭示和描述时间序列的数据生成机制这就需要寻求建立时间序(1)建立模型一个基本出发点是，所采用的模型越节俭越好，所要估计的参数越多，模 型出现错误的可能性就越大。(2)即使一个复杂的模型描述和模拟历史数据的能力很好, 却很大。以前大型经济计量模型的失败则说明了这一点。但是有时进行预测时的误差Box-Jenkins提出并倡导的预测方法主要步骤为:(1)如果有必要，可以对数据进行变化，使得数据的协方差平稳性变得更为合理。测。对于描述平稳性数据的 ARMA( p,q)模型的阶数做出一个初始的数值比较小的猜估计自回归和移动平均算子多项式中的系数。对模型进行诊断分析以确定所得到的模型确实与观测到的数据具有类似的特征。其中数据变化主要根据经济时间序列的特征，对数序列的差分是非常常用的变换方法。 时间序列模型的估计与