第八讲平稳时间序列模型的建立

1、第八讲第八讲 平稳时间序列模型的建立平稳时间序列模型的建立 2 本节内容本节内容n第一节第一节 平稳时间序列模型的识别平稳时间序列模型的识别n第二节第二节 模型的定阶模型的定阶n第三节第三节 ARMA模型参数估计模型参数估计n第四节第四节 模型的诊断检验模型的诊断检验3建模建模建立时间序列建立时间序列应用分析应用分析诊断检验诊断检验参数估计参数估计模型识别模型识别平稳序列的平稳序列的ARMA建模步骤建模步骤 4n模型识别模型识别q用自相关图和偏自相关图识别模型形式用自相关图和偏自相关图识别模型形式 (p=? q=?) n参数估计参数估计q确定模型中的未知参数确定模型中的未知参数n模型检验模型检

2、验q包括参数的显著性检验和残差的随机性检验包括参数的显著性检验和残差的随机性检验n模型优化模型优化n序列预测序列预测注解：注解：5第一节第一节 平稳时间序列模型的识别平稳时间序列模型的识别n一、模型识别前的说明一、模型识别前的说明 n二、模型识别方法二、模型识别方法6一、模型识别前的说明一、模型识别前的说明n（一）关于非平稳序列（一）关于非平稳序列n本讲所介绍的是对本讲所介绍的是对零均值平稳序列零均值平稳序列建立建立ARMA模型，因此，在对实际的序列进行模型识别之模型，因此，在对实际的序列进行模型识别之前，应首先检验序列是否平稳，若序列非平稳，前，应首先检验序列是否平稳，若序列非平稳，应先通过

3、适当变换将其化为平稳序列，然后再应先通过适当变换将其化为平稳序列，然后再进行模型识别。进行模型识别。7n序列的非平稳包括序列的非平稳包括均值非平稳均值非平稳和和方差非平方差非平稳。稳。n均值非平稳序列平稳化的方法：差分变换。均值非平稳序列平稳化的方法：差分变换。n方差非平稳序列平稳化的方法：对数变换、方差非平稳序列平稳化的方法：对数变换、平方根变换等。平方根变换等。n序列平稳性的检验方法和手段主要有序列平稳性的检验方法和手段主要有：序序列趋势图、自相关图、单位根检验、非参列趋势图、自相关图、单位根检验、非参数检验方法等等。数检验方法等等。8（二）关于非零均值的平稳序列（二）关于非零均值的平稳序

4、列n非零均值的平稳序列有两种处理方法：非零均值的平稳序列有两种处理方法：n设设xt为一非零均值的平稳序列，且有为一非零均值的平稳序列，且有E(xt)=n方法一方法一: 用样本均值用样本均值 作为序列均值作为序列均值的估计，的估计，建模前先对序列作如下处理：建模前先对序列作如下处理： 令令 然后对零均值平稳序列然后对零均值平稳序列wt建模。建模。xxxwtt9n方法二方法二 在模型识别阶段对序列均值是否为零不予在模型识别阶段对序列均值是否为零不予考虑，而在参数估计阶段，将序列均值作考虑，而在参数估计阶段，将序列均值作为一个参数加以估计。为一个参数加以估计。一般而言，后一种方法拟合的效果较好。一般

5、而言，后一种方法拟合的效果较好。10 判断时间序列是否是零均值的，即判断给出的判断时间序列是否是零均值的，即判断给出的样本序列样本序列与零的差异是否有显著性意义与零的差异是否有显著性意义（是否显著（是否显著为零或显著非零）。为零或显著非零）。 （三）关于平稳序列均值是否为零的检验。（三）关于平稳序列均值是否为零的检验。11若显著非零若显著非零进行零均值化进行零均值化不进行零均值化不进行零均值化判断平稳性、判断平稳性、识别、估计、识别、估计、检验等检验等这时是将均值作为一个未知这时是将均值作为一个未知参数代入模型中，模型的形参数代入模型中，模型的形式也将会有所改变，参数估式也将会有所改变，参数估

6、计时，需估计序列的均值。计时，需估计序列的均值。12n方法一方法一 检验检验 =E(xt)=0 可可将将样本均值样本均值 和均值的标准差和均值的标准差 进行比进行比较，若样本均值落在较，若样本均值落在 的范围内，则可认为的范围内，则可认为是零均值过程。是零均值过程。 xxSxS2013三种模型的均值的方差：三种模型的均值的方差： 110101121NNXVarkk)1)(1()21)(1(2122110NXVar)21(10NXVar)221 (210NXVar)()2(2121210NXVarAR(1)AR(2)MA(1)MA(2)ARMA(1,1)144. 识别：首先，粗略地得到试探性模型

7、（可能是一类，也识别：首先，粗略地得到试探性模型（可能是一类，也可能是几个不同类的模型）；然后对这些模型分别进行拟可能是几个不同类的模型）；然后对这些模型分别进行拟合和检验；最后改进和简化模型，使模型既简约又能最好合和检验；最后改进和简化模型，使模型既简约又能最好地反映序列的特性。地反映序列的特性。 1. 模型识别既是模型建立中的一个重要步骤也是一个过程模型识别既是模型建立中的一个重要步骤也是一个过程 2. 一个具体的时间序列分析问题：一个具体的时间序列分析问题：a.根据所研究问题获得数根据所研究问题获得数据建立时间序列；据建立时间序列；b.根据时间序列的特点建立时间序列模型；根据时间序列的特

8、点建立时间序列模型；c.对通过检验的模型进行应用；对通过检验的模型进行应用；d.对应用结果进行分析。对应用结果进行分析。 3. 模型建立识别估计模型建立识别估计+诊断检验，反复至最后诊断检验，反复至最后 二、模型识别方法二、模型识别方法15（一）平稳序列模型识别要领（一）平稳序列模型识别要领n零均值平稳序列模型识别的主要根据是序列的自相关零均值平稳序列模型识别的主要根据是序列的自相关函数函数(ACF)和偏自相关函数和偏自相关函数(PACF)的特征。的特征。n若序列若序列xt 的偏自相关函数的偏自相关函数 在在k p以后以后截尾，截尾，即即kp 时，时， ，而且它的自相关函数，而且它的自相关函数

9、 拖尾拖尾，则可判，则可判断此序列是断此序列是AR(p)序列序列。kk0kkk16n若序列若序列xt的自相关函数的自相关函数 在在kq以后以后截尾截尾，即，即kq 时，时， ，而且它的偏自相关函数，而且它的偏自相关函数 拖尾拖尾，则可判，则可判断此序列是断此序列是MA(q)序列序列。n若序列若序列xt的自相关函数、偏相关函数都呈的自相关函数、偏相关函数都呈拖尾形态拖尾形态，则可断言此序列是则可断言此序列是ARMA序列序列。n若序列的自相关函数和偏自相关函数若序列的自相关函数和偏自相关函数不但都不截尾不但都不截尾，而且至少有一个下降趋势势缓慢或呈周期性衰减，而且至少有一个下降趋势势缓慢或呈周期性

10、衰减，则可认为它则可认为它也不是拖尾的也不是拖尾的，此时序列，此时序列是非平稳序列是非平稳序列，应先将其转化为平稳序列后再进行模型识别。应先将其转化为平稳序列后再进行模型识别。kk0kk17（二）用自相关函数和偏自相关函数识别（二）用自相关函数和偏自相关函数识别 1. 模型识别的依据模型识别的依据 选择模型选择模型拖尾拖尾P阶截尾阶截尾AR(P)q阶截尾阶截尾拖尾拖尾MA(q)拖尾拖尾拖尾拖尾ARMA(p,q)kkk182. 这种识别方法的优缺点：这种识别方法的优缺点： 优点：优点：简单易懂，易于操作，应用广泛。简单易懂，易于操作，应用广泛。缺点：缺点：精度不够，特别是序列长度不足够长时。精度

11、不够，特别是序列长度不足够长时。 这是因为这是因为（1）识别时用的是自相关函数和自协方差函数的样本）识别时用的是自相关函数和自协方差函数的样本估计值，它们与理论值有一定差异；估计值，它们与理论值有一定差异；（2）对高阶）对高阶ARMA模型的识别，显得有些力不从心。模型的识别，显得有些力不从心。改进措施：改进措施：可利用自相关和自协方差函数做初步识可利用自相关和自协方差函数做初步识别，再结合其他方法确定模型。别，再结合其他方法确定模型。 193. 自相关和偏自相关函数估计值的截尾和拖尾性判断自相关和偏自相关函数估计值的截尾和拖尾性判断 (1)自相关函数和偏自相关函数的估计值的渐近分布自相关函数和

12、偏自相关函数的估计值的渐近分布 )21(1,012qjjkNN)N1, 0(Nkk在进行模型识别在进行模型识别(主要是考虑自相关函数和偏自相关函主要是考虑自相关函数和偏自相关函数的截尾和拖尾性数的截尾和拖尾性)时，要用到自相关和偏自相关估计时，要用到自相关和偏自相关估计的标准差的标准差自相关函数自相关函数q步截尾，步截尾，当当kq时，有时，有偏自相关函数偏自相关函数p步截尾，步截尾，当当kp时，有时，有20截尾：截尾：从某一步从某一步q开始与零是否有显著性差别的显著开始与零是否有显著性差别的显著性检验。若从某一步性检验。若从某一步q开始与零无显著性差别，即为开始与零无显著性差别，即为截尾。观察

13、是否落入截尾。观察是否落入2倍标准差范围内，若是，则与倍标准差范围内，若是，则与零无显著性差别，即为截尾。零无显著性差别，即为截尾。 拖尾：拖尾：在不长时间内收敛，逐渐衰减至零附近。在不长时间内收敛，逐渐衰减至零附近。 既不截尾也不拖尾：无上述特征，呈明显缓慢衰减既不截尾也不拖尾：无上述特征，呈明显缓慢衰减或周期性衰减。这说明序列是非平稳的。或周期性衰减。这说明序列是非平稳的。 (2)截尾、拖尾性的判断截尾、拖尾性的判断21即如果自相关函数是即如果自相关函数是q阶截尾的，当阶截尾的，当kq时，自相关时，自相关估计值的方差满足估计值的方差满足)21 (1)var(12qvvkNr(kq)var(

14、20kr如果自相关估计值在如果自相关估计值在 范围内，可范围内，可看成是截尾的。看成是截尾的。22由前两点，所以可能模型还有：由前两点，所以可能模型还有：ARMA(1,1)-ACF拖尾、拖尾、PACF拖尾拖尾可能模型可能模型 有：有：AR(1)：ACF拖尾、拖尾、PACF一步截尾一步截尾MA(1)：ACF一步截尾、一步截尾、PACF拖尾拖尾23第二节第二节 模型定阶模型定阶 一、自相关和偏自相关函数定阶法一、自相关和偏自相关函数定阶法二、残差方差图定阶法二、残差方差图定阶法三、三、 F检验定阶法检验定阶法四、四、 最佳准则函数定阶法最佳准则函数定阶法(AIC、FPE、BIC准则准则)24一、一

15、、 自相关和偏自相关函数定阶法自相关和偏自相关函数定阶法 模型模型自相关系数自相关系数(ACF)k偏自相关系数偏自相关系数(PACF) kkAR (p)拖尾拖尾p阶截尾阶截尾MA(q)q阶截尾阶截尾拖尾拖尾ARMA(p,q)拖尾拖尾拖尾拖尾n 原理：原理：25n缺点：缺点：理论上理论上ACF和和PACF是未知的是未知的n弥补：弥补：用样本的自相关系数用样本的自相关系数 和偏自相关系数和偏自相关系数 近近似代替似代替n假设序列的样本观测值为假设序列的样本观测值为x1,x2,xT，则有：，则有：kkkn样本自相关系数样本自相关系数n样本偏自相关系数样本偏自相关系数121()()()T ktt kt

16、kTttxxxxxxDDkkk26n基本原则基本原则 选择模型选择模型拖尾拖尾p阶截尾阶截尾AR(p)q阶截尾阶截尾拖尾拖尾MA(q)拖尾拖尾拖尾拖尾ARMA(p,q)kkk27模型定阶的困难n由于样本的随机性，样本的相关系数不会呈现出理论截尾由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的的完美情况，本应截尾的 或或 会呈现出小值振荡的情况。会呈现出小值振荡的情况。n由于平稳时间序列通常都具有短期相关性，随着延迟阶数由于平稳时间序列通常都具有短期相关性，随着延迟阶数k， 与与 都会衰减至零值附近作小值波动。都会衰减至零值附近作小值波动。？当当 或或 在延迟若干阶之后衰

17、减为小值波动时，什么情在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作拖尾呢？况下该看作为相关系数截尾，什么情况下该看作拖尾呢？ kkkkkkkkk28样本相关系数的近似分布nBarlett：nQuenouille：n95的置信区间：的置信区间： 模型定阶的经验方法：模型定阶的经验方法：利用利用2倍标准差辅助判断倍标准差辅助判断1 (0,) ,kNTT 1(0,) ,kkNTT 22P95.5%22P95.5%kkkTTTT29模型定阶经验方法模型定阶经验方法303031318.18.18.132328.18.18.133338.28.234348.38.38

18、.335358.4363626. 06012122T倍的标准差偏37二、残差方差图定阶法二、残差方差图定阶法1. 原理：原理： 最小的残差方差对应真实阶数最小的残差方差对应真实阶数 2. 方法：方法： 利用残差方差图确定阶数利用残差方差图确定阶数 个数实际观察值个数参数Q2a以阶数为横轴、以残差方差为纵轴作图，寻以阶数为横轴、以残差方差为纵轴作图，寻找最小残差方差对应的阶数。找最小残差方差对应的阶数。383. 残差方差的计算：残差方差的计算：个数实际观察值个数参数Q2a),.,., () 1()(),(:),., () 1()(:) 1()()., ()(:21, 2, 12212, 2, 1

19、2mnamanaQmnnNmnARMAQmNmMAnnNQnAR模型的剩模型的剩余平方和余平方和394. 优缺点优缺点： 优点：优点：简单直观，易于理解；简单直观，易于理解；缺点：缺点：有一定的主观性有一定的主观性 40三、三、 F检验定阶法检验定阶法 原理：原理： 用用F检验来检验两个回归模型是否有显著差异检验来检验两个回归模型是否有显著差异) rN, s (FrNQsQQ001单尾检验，拒绝域在右尾单尾检验，拒绝域在右尾当计算得到的当计算得到的F值大于临界值时，拒绝原假设，值大于临界值时，拒绝原假设，认为两模型有显著差异。认为两模型有显著差异。41n1967年，瑞典控制论专家年，瑞典控制论

20、专家K.J.Astrm教授将教授将F检验准则用于对时间序检验准则用于对时间序列模型的定阶。列模型的定阶。n设设Xt(1tN)是零均值平稳序列，用模型是零均值平稳序列，用模型AR模型拟合模型拟合n检验统计量：检验统计量：n结论结论q若若FF，则拒绝原假设，认为，则拒绝原假设，认为AR(p)合适；合适；q若若FF ，则拒绝原假设，模型阶数仍有上升的可能；，则拒绝原假设，模型阶数仍有上升的可能；q若若F2，所以由所以由BIC准则确定的阶数准则确定的阶数不大于由不大于由AIC准则确定的阶数。准则确定的阶数。 536. 实例分析实例分析 n12345残差方差FPEAICBIC10.8921.5471.5

21、630.4460.46321.471-0.6560.8850.903-0.102-0.06931.387-0.471-0.1270.8710.898-0.108-0.05941.383-0.486-0.081-0.0330.8700.906-0.098-0.03351.383-0.483-0.073-0.0590.0190.8700.915-0.089-0.007一个零均值平稳序列的一个零均值平稳序列的200个观察值拟合个观察值拟合AR模型结果模型结果如下：如下：请根据上面的拟合结果确定最优模型请根据上面的拟合结果确定最优模型 54第三节第三节 模型参数估计模型参数估计一、模型参数估计的几种方

22、法一、模型参数估计的几种方法 常用的参数估计方法有：常用的参数估计方法有： 矩估计、极大似然估计、贝叶斯估计、矩估计、极大似然估计、贝叶斯估计、最小二乘估计等最小二乘估计等 55二、模型参数的相关矩估计二、模型参数的相关矩估计 1. 矩估计：矩估计： 用样本矩去估计总体相应的矩。用样本矩去估计总体相应的矩。 是一种简单粗略的估计，但可提供迭代估计时的初值是一种简单粗略的估计，但可提供迭代估计时的初值 优点：优点：简单易懂，便于计算简单易懂，便于计算 缺点：缺点：有效性和精度不够有效性和精度不够 562. 模型参数的矩估计模型参数的矩估计(初估计初估计) （1）AR模型参数的矩估计模型参数的矩估

23、计 (AR(k)过程过程)根据根据Yule-Walker方程方程 kkkkkkkkk2121021201110kkkkkkkkk21102120111021 可以得到：可以得到：,2211kkkkk又有又有57201 122kka 20112201 (1)kakkiii 又有：又有：可得：可得：例例1：求：求AR(1)模型参数的矩估计模型参数的矩估计 )1 (;210110211a58例：求例：求AR( 2)模型参数的矩估计模型参数的矩估计21112121101102111112121222121111)1 ()1 (22110221102a由由可得：可得：59（2）MA模型参数的矩估计模型参

24、数的矩估计 在考察模型的自协方差时我们得到在考察模型的自协方差时我们得到MA(m)模型的自协方差如下：模型的自协方差如下：222201221 122(1)()(4.3.5)1,2,makkkkmm kakm 这是一个由这是一个由m+1个方程构成的非线性方程组。个方程构成的非线性方程组。 常用的求解方法有三种：直接法、线性迭代法和常用的求解方法有三种：直接法、线性迭代法和Newton-Raphson算法。算法。 60直接法直接法例：求例：求MA(1) 模型参数的矩估计模型参数的矩估计2111121141122411 模型参数虽然有模型参数虽然有2个估计值，但符合可逆个估计值，但符合可逆性条件的参

25、数估计值是唯一的。性条件的参数估计值是唯一的。21112114112241101121161n用直接计算法，需要解用直接计算法，需要解2m次方程，在次方程，在m3时，解高阶方时，解高阶方程非常困难，一般只能用数值解法。程非常困难，一般只能用数值解法。n线性迭代法线性迭代法 上式可以等价地写成：上式可以等价地写成： 202211121.amkkkmmka 给定参数的一组初始值，代入上两式的右边，左边给定参数的一组初始值，代入上两式的右边，左边得到的值为一步迭代值，以此类推，直到相邻两次得到的值为一步迭代值，以此类推，直到相邻两次迭代值结果差别不大时停止，得到近似解。迭代值结果差别不大时停止，得到

26、近似解。62（3）ARMA模型参数的矩估计模型参数的矩估计 ARMA(m,n)模型：模型： ntntttmtmtttaaaaXXXX22112211一般矩估计的方法：一般矩估计的方法： 第一步：解自回归部分的参数第一步：解自回归部分的参数m,2163方法：方法：方程两边同乘以方程两边同乘以Xt-k，然后同求数学期望，得到然后同求数学期望，得到:0,0, 1)(,)(, 1)(, 02211112112022112123120111201122211022110nmmnmnmnmnmnnnanmnmnnnannmmannmmmnknkGnkGGGGkGGGGk64第二步：令第二步：令 mtmtt

27、ttXXXXY2211再求其方差和协方差再求其方差和协方差（方程两边同乘以（方程两边同乘以Yt-k，然后同求数学期望）然后同求数学期望） 得：得： )()(000tmjmiijjitYYVar,0( )mktijkj ii jY Y Yt t的协方差记为：的协方差记为：Yt 的的样本自协方差可由样本自协方差可由X X的自协方差和参数的自协方差和参数估计计算得出。估计计算得出。65第三步：解第三步：解 n,21有：有： tntntttYaaaa2211用前面介绍的用前面介绍的MA模型的矩估计可得解：模型的矩估计可得解：nkYYaknnkkktkant, 2 , 1)()()1 ()(222112

28、22221066例：例：ARMA(1,1)模型参数的矩估计模型参数的矩估计 22111210121a221111111)1)(a211kkk211kkk12112a67第四节第四节 模型的适应性检验模型的适应性检验模型的适应性检验：模型的适应性检验： 模型是否完全或基本上解释了系统的动态性；模型是否完全或基本上解释了系统的动态性； at是否是一白噪声序列；是否是一白噪声序列； 关键是关键是at的独立性检验。的独立性检验。 68主要介绍的模型适应性检验的方法有：主要介绍的模型适应性检验的方法有： 一、一、 散点图法散点图法 二、估计相关系数法二、估计相关系数法 三、三、 F检验检验 四、四、 检

29、验法检验法 269一、一、 散点图法散点图法 通过通过at对对at-j和和at对对Xt-j的散点图检验的散点图检验at 的独立性。的独立性。 如果两类散点图都呈现出不相关的趋势，则可如果两类散点图都呈现出不相关的趋势，则可以认为以认为at是独立的，也即模型是适合的。是独立的，也即模型是适合的。优缺点：优缺点：简单易懂，容易操作，但有一定主观性，简单易懂，容易操作，但有一定主观性，较粗略。较粗略。70二、估计相关系数法二、估计相关系数法 计算计算at和和at-j的相关系数以及的相关系数以及at和和Xt-j的相关系数，的相关系数，通过相关系数来判断通过相关系数来判断at的独立性的独立性。 如果相关

30、系数都较小（绝对值小于如果相关系数都较小（绝对值小于0.1），即），即可认为可认为at满足独立性。满足独立性。 优缺点：优缺点：同散点图法。简单易懂，容易操作，但有同散点图法。简单易懂，容易操作，但有一定主观性，较粗略。一定主观性，较粗略。71例例1： N250，由样本的由样本的ACF和和PACF图判断模型为图判断模型为AR模型。模型。（1）拟合）拟合AR(1)模型，模型，然后作残差数据图、然后作残差数据图、 作作at对对at-1和和at对对Xt-2的散点图，的散点图， 计算计算at对对at-1和和at对对Xt-2的相关系数；的相关系数；（2）拟合）拟合AR(2)模型，模型，然后作残差数据图、

31、然后作残差数据图、 作作at对对at-1和和at对对Xt-3的散点图，的散点图， 计算计算at对对at-1和和at对对Xt-3的相关系数；的相关系数；72图图1 拟合拟合AR(1)模型后的残差图模型后的残差图73图图2 拟合拟合AR(1)模型模型at对对at-1的散点图的散点图r0.15374图图3 拟合拟合AR(1)模型模型at对对Xt-2的散点图的散点图r-0.167375AR(1)模型的残差不是白噪声模型的残差不是白噪声AR(1)模型没有通过检验模型没有通过检验AR(1)模型是不适合的模型是不适合的结论：结论：76图图4 拟合拟合AR(2)模型后的残差图模型后的残差图77图图5 拟合拟合

32、AR(2)模型模型at对对at-1的散点图的散点图r-0.00478-10-8-6-4-202468-3271217图图6 拟合拟合AR(2)模型模型at对对Xt-3的散点图的散点图r-0.00979AR(2)模型的残差通过检验模型的残差通过检验AR(2)模型通过检验模型通过检验AR(2)模型是适合的模型是适合的结论：结论：80三、三、 F检验检验 通过检验更高阶模型的残差平方和减小的显著性通过检验更高阶模型的残差平方和减小的显著性来间接地检验来间接地检验at的独立性。的独立性。 可以证明，当阶数不够时，可以证明，当阶数不够时， 是不独立的。是不独立的。若若 是不独立，一定可以通过增加阶数来提

33、高模是不独立，一定可以通过增加阶数来提高模型的解释能力。型的解释能力。 tata 如果检验模型如果检验模型ARMA(2n,2n-1)的适应性，可以的适应性，可以拟合一个更高阶的模型拟合一个更高阶的模型ARMA(2n+2,2n+1)，然后，然后用用F检验判断两模型是否有显著差异（剩余平方和检验判断两模型是否有显著差异（剩余平方和是否有显著减少）。检验方法同前。是否有显著减少）。检验方法同前。 81n构造构造F统计量检验假设（无截距项）：统计量检验假设（无截距项）：100()/4(4,43)/(43)AAFFNnANn其中，其中，A0是无约束模型的残差平方和；是无约束模型的残差平方和； A1是有约束模型的残差平方和；是有约束模型的残差平方和； 若拒绝若拒绝H0，则说明原模型未能通过适应性检验。，则说明原模型未能通过适应性检验。82四、四、 检验法检验法 2将将at的自相关函数记为的自相关函数记为 ),(tkaN可以证明，当可以证明，当N很大时