FINTS第四章线性ARMA模型 精品资料

1、金融时间序列模型第四章：平稳线性ARMA模型基本概念随机过程stochastic process 设T是某个集合，俗称足标集，对任意固定tT，Yt是随机变量， tT的全体 Yt ；tT 称为T上的随机函数。记为 Yt 对每个固定的t，Yt是随机变量。通常T取为：1） T=-, , T=0, 2) T=-2,-1,0,1,2, T=1,2,3,基本概念平稳随机过程 （weakly stationary, covariance stationary ,second order stationary）如果随机序列二阶矩有界，并且满足以下条件（1）对任意整数t，E(Yt)= ，为常数；（2）对任意整数

2、t和s，自协方差函数ts仅与t -s有关，同个别时刻t和s无关。即ts=t-s=k 平稳时间序列几个重要的平稳过程和模型白噪声过程MA过程AR过程ARMA过程平稳过程的参数自协方差和自相关函数偏自相关函数白噪声过程white noise process 随机过程满足1）E(t)=0 ， 对所有t2）E(t2)=2 对所有t3）E(ts)=0, 对任意ts，或Cov(t, s)=0弱白噪声随机过程（Weakly white noise process），简称白噪声。记为tWN(0, 2) 白噪声过程4）不同时刻随机变量是相互独立的随机变量，并且同分布称为独立白噪声，记为tI.I.D(0, 2)如

3、果再增加一个条件5）服从正态分布该过程为高斯白噪声（Gaussian white noise process）。 滑动平均模型Moving Average Model 1-阶滑动平均模型 其中1MA模型和为参数或系数。表达式1，是1阶滑动平均模型，Yt是1-阶滑动平均过程。用MA（1）表示例如Yt=0.1+t0.3 t1MA(1)另一种表达方式本质是一个只包括常数项的回归模型，但残差存在自相关。容易知道MA(1)存在一阶自相关。q-阶滑动平均模型定义其中t是白噪声过程2q-阶滑动平均过程称和i, i=1,2,q为参数或系数。表达式2，是q阶滑动平均模型，Yt是q -阶滑动平均过程。用MA（q）

4、表示。注：q0 q-阶滑动平均模型和过程下面是几个MA模型Yt=0.1+t0.2 t1 0.1 t2Yt=0.1+t0.3 t1 0.21 t2 0.1 t3Yt=0.1+t0.3 t4自回归模型Autoregressive Model t=c+1t-1+2t-2+pt-p+t 其中 t 是白噪声过程 p 0表达式3是P-阶自回归模型t 为p-阶自回归过程 ,表示为AR(p)C, 1, p是未知参数或系数。3自回归滑动平均混合模型Mixed Autoregressive Moving Average Model t=c+1t-1 +2t-2+pt-p + t + 1t -1+ qt q其中 t

5、 是白噪声过程 p 0, q 0表达式4是P-阶自回归q阶滑动平均混合模型t 为p-阶自回归q阶滑动平均混合过程 ,表示为ARMA(p,q)C, 1, p， 1， q是未知参数或系数。4三类模型参数特征MA(1)参数特点均值函数：E（t）=自协方差函数： 0= (1+2) 2 1 = 2 k= 0, k1自相关函数：1=/(1+2)，k=0, k1MA(q)的参数特点E（t）=0=(1+12+ q 2) 2k=0, k q ，k=0, k q MA过程例下面是一个MA(2)模型,计算它的自相关函数，并画图t=t +0.2t10.1t21（121）/（11222）（0.2+0.2*0.1）/(1

6、+0.12+0.22)=0.22（2）/（11222）0.1/(1+0.12+0.22)=0.095MA过程ACF图基本结论MA(q)过程的自相关函数q步截尾自回归过程的参数特点均值函数E(t)=c/(1-1-2 +-p)自协方差函数0=11+22+pp +2j =1j-1+ 2j-2+pj-p j=1,2,3,自相关函数j =1j-1+ 2j-2+pj-p j=1,2,3,AR(1)过程的参数AR(1)参数t=0.1+0.5t-1 +t t=0.1-0.5t-1 +t =0.1/(1-0.5)=0.2 = 0.1/(1+0.5)j=0.5j j =(-0.5)j ARMA过程参数=c/(1-

7、1-2 +-p)j =1j-1+ 2j-2+pj-p jqj =1j-1+ 2j-2+pj-p jq偏自相关函数一般的，偏相关系数如下定义：Yt与Yt-k的偏相关系数是去掉Yt-1，Yt-2，。Yt-k+1的线性影响后简单相关系数。用公式表示如下：*k=Corr(yt-E*(yt| yt-1，yt-2，。yt-k+1), yt-k) 三种随机过程偏自相关函数的特点根据定义总有*1=1三类过程的偏自相关函数和自相关函数 MA（q） AR（p） ARMA（p，q）自相关函数 q步截尾 拖尾 拖尾偏自相关函数 拖尾 p步截尾 拖尾 滞后算子平稳条件，可逆条件，模型间变换滞后算子滞后算子(Lag op

8、erators)或延迟算子（Backshift）滞后算子，用L表示。有的书上称为延迟算子，用B表示 LYt=Yt-1 滞后算子(1)L(LYt)=L(Yt-1)= Yt-2,记为L2Yt= Yt-2,一般的Lk Yt= Yt-k(2)与乘法可交换L(a Yt)=a(LYt)(3)加法可分配L(Yt +Xt)= LYt + L Xt(4)对常数列的运算等于他自身Lc=c(5)1Yt=Yt(6) (1-L)-1=1+ L+ 2L2+ kLk 当|p那么估计的偏相关系数近似服从正态分布N（0，1/T）所以近似5%显著水平下，如果-2/T1/2 *k p成立 定阶1根据样本自相关函数和样本偏相关函数定

9、阶一般要求样本长度大于50,才能有一定的精确程度。如果某个j之后，所有的样本自相关系数j在95置信区间内，则自相关函数截尾。适合建立MA模型；如果某个j后，所有样本偏自相关系数*j在95置信区间内，则偏自相关函数截尾。适合建立AR模型；否则都拖尾。适合建立ARMA模型。AIC和 BIC准则评价模型的优劣准则AIC和BIC准则对自由度进行调整k是模型中未知参数的个数,et是估计出的误差 Akaikes information criterion赤池Schwartz Bayesian information criterion(SBC,SC,BIC)施瓦兹 定阶： AIC准则和BIC准则不同的书对

10、AIC和BIC使用不同的变形。经常使用的有两种 AIC（p，q）=ln( )+2(p+q)/TBIC（p，q）=ln( )+(p+q)ln(T)/TT样本长度，如果有常数项p+q 被p+q+1代替，ln表示自然对数。在ARMA模型中需要选择p和q，所以用p+q代替k。 是对噪声项方差的估计定阶： AIC准则和BIC准则AIC（p，q）=2lnL/T+2(p+q)/TBIC（p，q）=-2lnL/T+(p+q)ln(T)/TLnL是模型的对数似然函数值Q是与参数无关的量。因为我们只关心使得AIC或BIC最小的值，所以忽略Q.带入对数似然函数表达式中，可以发现与前面的AIC和BIC的表达是一致的。

11、 AIC和BIC判断步骤（1）给定滞后长度的上限P和Q，一般取为T/10，ln（T）， ,或根据样本ACF和样本PACF判断。（2）假设样本区间1,T,把样本区间修改到p+1,T。（3）对任意一对滞后长度p=0，1，P，q=0，1，Q，分别估计模型ARMA（p，q）（4）带入上面的公式，计算出AIC(p，q)和BIC(p，q)（5）最小值对应的p，q值作为ARMA模型的阶数。用AIC和BIC准则确定阶数AIC准则-MA(1) q 0 1 2 3P 0 -7.415 -7.455 -7.426 -7.373 1 -7.39 -7.395 -7.422 -7.272 2 -7.433 -7.383

12、 -7.174 -7.221 用AIC和BIC准则确定阶数BIC-白噪声 q 0 1 2 3P 0 -7.415 -7.411 -7.338 -7.239 1 -7.346 -7.251 -6.998 -7.001 2 -7.345 -7.251 -6.998 -7.001 AIC和BIC准则选择滞后长度存在以下缺陷：1）选择不同的准则具有主观任意性。不同准则得出矛盾的结论。 BIC准则的大样本性质比AIC好，但是有限样本情况下很难比较AIC和BIC的优劣。在实际确定阶数时，不是一定选择AIC,BIC最小的，还有考虑模型的简洁和残差是否是白噪声。 2）选择方法是确定一个滞后长度的上限P和Q，如

13、果实际的滞后长度大于P或Q，那我们就得不到正确的滞后长度。极大似然估计:以AR(1)为例t=c+t-1 +t 假设 i.i.d.N(0, 2)估计: =( c, , 2) 已知: y1,y2,yTE(1)=c/(1-)E(1-)2=2/(1-2) 极大似然估计当1的观测已知时，2的条件分布2=c+1 +2 （2|1= y1） N(c+y1, 2) 极大似然估计Y1,Y2的联合分布密度函数，是条件密度和边际密度相乘f2，Y1 (y2，y1; )= f2|Y1 (y2|y1; ) f1 (y1; ) 类似的，已知y1,y2，3的条件分布 极大似然估计三者的联合分布f3，2，Y1 (y3，y2，y1

14、; )= f3|Y2，Y1 (y3|y2，y1; ) f2|Y1 (y2|y1; ) f1 (y1; ) 一般给定y1,y2,yt-1，t的条件分布只和yt-1有关 极大似然估计ft,Yt-1，,Y1 (yt, yt-1，,y1; )= f1 (y1; ) ft|Yt-1(yt|yt-1; ) 极大似然估计估计：满足下面的条件的解求解未知参数的方程是非线性的，如果只关心（2，T）的条件联合分布，得到条件极大似然函数。极大似然估计假设观测值是y0, y-1, y-P+1, y1, yT假设01=q+1=0以初始值y0, y-1, y-P+1和0，1，q+1为条件，对t1，2，T，对数条件似然函数

15、是 使用对数条件似然函数对每个未知参数求一阶导数，令其等于0，这时方程组是线性方程组，易于求解。模型的检验检验残差是否是白噪声过程1）画出残差的折线图2）画出残差的ACF,PACF3)计算统计量QBox-Pierce Q-检验Ljung and Box 检验Q检验1）m主观给定，一般在15到30之间，可令m=T1/22）H0：t是白噪声过程3)当零假设成立时，统计量Q渐进(asymptotically distributed)服从2（m-p-q），如果模型中包括常数项，那么Q渐进服从2（m-1-p-q）4）Q检验的缺陷是，经常不能拒绝零假设。把不是白噪声时，也误认为是白噪声。 检验Q检验图示真

16、实临界值计算值卡方分布临界检验练习例m=6，模型中有常数项，考虑下面的几个模型，那个模型是合格的模型？给出其它几个模型Q检验统计量的自由度。(p+q) Q 自由度 P-value(1,0) 15.92 6-1-0-1 0.019(2,0) 11.82 0.249(0,1) 4.12 0.139(0,2) 6.94 0.21(1,1) 7.94 0.047模型选择一个好模型满足的条件每个解释变量都显著不等于0.残差是白噪声过程具有最小的AIC或BIC值练习：从下面的几个模型中选择一个最优模型 AR(1) AR(2) AR(3) ARMA(1,1) MA(2) 1 0.17 0.21 0.3 0.

17、19 ( 0.0000) (0.0004) (0.002) (0.0024) 2 0.06 0.04 (0.0005) (0.003) 3 0.0005 (0.44) 1 0.05 0.48 (0.0007) (0.0034) 2 0.06 (0.009) AIC 607.3 592.5 615 598.4 609.5 BIC 609.9 594.3 607 596.6 612.6Q(8) P-值 0.0000 0.567 0.66 0.6958 0.003Q(16) P-值 0.000 0.4241 0.78 0.8927 0.005预测基本概念事前预测，事后预测，模拟预测假设收集到N个数据

18、，使用1到T来估计模型.对N时刻以后预测事前预测；对T到N预测事后预测或样本外预测；对1到T之间的预测是模拟，或拟和。1TN预测基本概念h步预测：预测变量YT+h的取值，h0，称为h-步预测假设时刻T之前的所有数值YT, YT-1,Y1预测估计量：用 表示基于T时刻之前的观测对YT+h的预测预测误差估计量：预测均方误差 ，记为MSE( )预测最优预测：选择合适的函数形式，使得预测均方误差最小的预测是最优预测。可以证明求YT+h基于YT, YT-1,，Y1，的条件期望是使均方误差最小的预测，条件期望表示为：E（YT+h | YT, YT-1,，Y1）=预测值的计算 t=c+1t-1 +2t-2+

19、pt-p + 不可能知道T时刻前的所有观测，观测值是YT, YT-1,Y1，所以是近似预测。假设参数已知，实际只能用估计的参数代替真实参数。预测是递推进行预测值的计算1步预测2步预测预测值的计算一般预测公式预测值的计算AR（1）模型的h步预测 t=c+t-1 +t预测值的计算MA(q)模型的h步预测 预测值的计算计算残差的估计值，假设0, 1,-q+1=0 根据下面的公式递推计算：预测值的计算ARMA（1，1）模型的预测t=c+ 1Y t-1+t+ 1t-1 预测值的计算残差的计算与MA模型类似，以ARMA(1,1)为例。1 =1-c- 1Y0- 10假设0 =0，0已知。所以实际用的数据个数为T+1个；如果0未知，用样本均值代替。2 =2-c- 1Y1- 11T = T -c- 1Y T -1- 1 T -1ARIMA模型预测ARIMA(0,1,1)预测置信区间ARMA模型表示成MA（）模型t-=t +1t