时间序列分析第六章模型的参数估计

时间序列分析第六章模型的参数估计当前第1页\共有204页\编于星期四\1点

第一节.AR(p)模型的参数估计目的：为观测数据建立AR(p)模型(1.1)假定自回归阶数p已知，考虑回归系数和零均值白噪声的方差的估计。数据的预处理：如果样本均值不为零，需将它们中心化，即将它们都同时减去其样本均值

再对序列按(1.1)式的拟合方法进行拟合。

当前第2页\共有204页\编于星期四\1点

假定数据适合于以下模型(1.2)其中，p为给定的非负整数，为未知参数，记为系数参数，为独立同分布序列，且，与独立，参数满足平稳性条件。当前第3页\共有204页\编于星期四\1点

A.AR(p)模型参数的Yule-Walker估计对于AR(p)模型，自回归系数由AR(p)序列的自协方差函数通过Yule-Walker方程

唯一决定，白噪声方差由

决定。当前第4页\共有204页\编于星期四\1点

AR(p)模型的自回归系数和白噪声方差的矩估计就由样本Yule-Walker方程(1.3)

和(1.4)决定。当前第5页\共有204页\编于星期四\1点

令

则(1.3),(1.4)式可写为当前第6页\共有204页\编于星期四\1点

实际应用中，对于较大的p,为了加快计算速度可采用如下的Levison递推方法

递推最后得到矩估计当前第7页\共有204页\编于星期四\1点上式是由求偏相关函数的公式：导出。当前第8页\共有204页\编于星期四\1点

定理1.1如果AR(p)模型中的是独立同分布的，则当时(1)(2)依分布收敛到p维正态分布。当前第9页\共有204页\编于星期四\1点

注：用表示的第元素时，可知依分布收敛到，于是的95%的渐近置信区间是

在实际问题中，未知，可用的元素代替，得到的近似置信区间当前第10页\共有204页\编于星期四\1点

B.AR(p)模型参数的最小二乘估计如果是自回归系数的估计，白噪声的估计定义为

通常为残差。我们把能使(1.6)达到极小值的称为的最小二乘估计。当前第11页\共有204页\编于星期四\1点

记

则，于是的最小二乘估计为

即

当前第12页\共有204页\编于星期四\1点

相应地，白噪声方差的最小二乘估计

式中为的p个分量。当前第13页\共有204页\编于星期四\1点

定理1.2设AR(p)模型中的白噪声是独立同分布的，是自回归系数的最小二乘估计，则当时，依分布收敛到p维正态分布

注：对于较大的n，最小二乘估计和矩估计(Yule-Walker)估计的差别不大。当前第14页\共有204页\编于星期四\1点

当前第15页\共有204页\编于星期四\1点

C.AR(P)模型的极大似然估计假定模型AR(p)中的为正态分布，则观测向量的高斯似然函数为

相应的对数似然函数为

其中，为的协方差阵，表示的行列式，使得对数似然函数达到极大值的和称为和的极大似然估计。当前第16页\共有204页\编于星期四\1点从另一角度考虑：当前第17页\共有204页\编于星期四\1点

当前第18页\共有204页\编于星期四\1点

注：当n充分大时，AR(p)模型参数的极大似然估计、最小二乘估计和矩估计(Yule-Walker估计)三者都非常接近，即三者渐近相等，它们都可以作为AR(p)模型的参数估计，这是AR(p)模型的独有的优点。当前第19页\共有204页\编于星期四\1点

例1.1.由下列AR(1)序列产生长度为n=300的样本，计算出前5个样本自协方差函数值为求参数的矩估计和最小二乘估计。(1)参数的矩估计分别为将样本自协方差函数值代入得当前第20页\共有204页\编于星期四\1点

(2)参数的最小二乘估计分别为当前第21页\共有204页\编于星期四\1点

例1.2求AR(2)模型

参数的估计，这里n=300,

(1)AR(2)模型的矩估计为当前第22页\共有204页\编于星期四\1点

计算出的前5个样本协方差函数值为将其值代入上式得：(2)最小二乘估计当前第23页\共有204页\编于星期四\1点

注：一般在求高阶AR(p)模型参数的矩估计时，为了避免求高阶逆矩阵，可采用求偏相关函数的递推算法，求出

即为的矩估计，将它们代入的表达式可得。当前第24页\共有204页\编于星期四\1点

D.AR(p)模型的定阶1.偏相关函数的分析方法一个平稳序列是AR(p)序列当且仅当它的偏相关函数是p步截尾的。如果p步截尾：当时，；而，就以作为p的估计。当前第25页\共有204页\编于星期四\1点

定理1.3设由

定义，如果AR(p)模型中的白噪声是独立同分布的，，则对确定的k>p,当时，

依分布收敛到k维正态分布。当前第26页\共有204页\编于星期四\1点

推论：在定理1.3的条件下，对k>p,依分布收敛到标准正态分布N(0,1)。根据推论，对于AR(p)序列和k>p，当样本量n比较大时，以近似于0.95的概率落在区间之内。于是对于某个固定的k，以

作为p的估计。

当前第27页\共有204页\编于星期四\1点

或者根据推论有如下的检验方法：对于某个正整数p,

显著地异于零，而

近似等于零,其满足(或)的个数占的比例近似地为68.3%(或95.5%),则近似地认为在p步截尾，初步判定为AR(p)。当前第28页\共有204页\编于星期四\1点

例1.3（例1.1续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限，样本自相关函数呈拖尾状，而从15个偏相关函数来看,除显著异于零之外，其余14个中绝对值不大于的有10个，于是结论：初步判定为AR(1)模型。当前第29页\共有204页\编于星期四\1点

前15个样本偏相关函数当前第30页\共有204页\编于星期四\1点

例1.4（例1.2续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限，样本自相关函数呈拖尾状，而从15个偏相关函数来看，除显著异于零之外，其余14个中绝对值不大于的有9个,于是结论：初步判定为AR(2)模型。当前第31页\共有204页\编于星期四\1点

前15个样本偏相关函数当前第32页\共有204页\编于星期四\1点

2.AIC准则方法(A-InformationCriterion)为了使拟合残差平方和尽量小，而又不至于引入过多的虚假参数的估计，Akaike于1973年引入如下的准则函数，假定已有阶数p的上阶，

AIC(k)的最小值点(若不唯一，应取小的)称为AR(p)模型的AIC定阶，即当前第33页\共有204页\编于星期四\1点

具体步骤：1.取定p=k时，根据数据使用前一小节所提的任何一种参数的估计方法，给出噪声方差的估计；2.再找出AIC取极小值时，所对应的阶数p.注：AIC定阶并不相合，AIC定阶通常会对阶数略有高估。故在应用中，当样本量不是很大时，使用AIC定阶方法。当前第34页\共有204页\编于星期四\1点

为了克服AIC定阶的不相合性，可使用BIC准则方法。设为AR序列，则BIC准则函数为

将此准则函数达到最小值的解作为p的估计，就是BIC准则方法。注：1.理论上已证明BIC准则的定阶具有相合性。2.当n不是很大时，用BIC定阶有时会低估阶数p，造成模型的较大失真，故在实际问题中，特别当样本量不是很大时,BIC的定阶效果并不如AIC定阶准则。当前第35页\共有204页\编于星期四\1点

例1.5（例1.1续）n=300个观测，定阶。方法：观察偏相关函数，确定上界是P=10，对p=1,2,…,10分别解Yule-Walker方程得到的Yuler-Walker估计，再对p=1,2,…,10分别计算出AIC和BIC函数，计算结果如下：p12345AIC(p)2.98392.99393.00383.00023.0050BIC(p)2.99963.02523.05083.06293.0834当前第36页\共有204页\编于星期四\1点

结果：AIC(1)和BIC(1)分别是AIC和BIC函数的最小值。

结论：由AIC和BIC定阶可知阶数p=1.p678910AIC(P)3.01103.01733.02663.02833.0308BIC(P)3.10513.12713.15203.16943.1876当前第37页\共有204页\编于星期四\1点

AIC函数图

当前第38页\共有204页\编于星期四\1点

BIC函数图当前第39页\共有204页\编于星期四\1点

例1.6（例1.2续）n=300个观测，定阶。方法：观察偏相关函数，确定上界是P=10,对p=1,2,…,10分别求出的估计，再对p=1,2,…,10，计算AIC和BIC函数，计算结果如下：p12345AIC(p)2.84702.72772.73682.72812.7377BIC(p)2.86272.75912.78382.79382.8161当前第40页\共有204页\编于星期四\1点

结果：AIC(2)和BIC(2)分别是AIC和BIC函数的最小值。结论：由AIC和BIC定阶可知阶数p=2。

p678910AIC(p)2.74652.75672.75922.76272.7688BIC(p)2.84062.86652.88462.90382.9256当前第41页\共有204页\编于星期四\1点

AIC函数图

当前第42页\共有204页\编于星期四\1点

BIC函数图当前第43页\共有204页\编于星期四\1点

例1.7：独立重复1000次实验，每次产生符合模型AR(4)

的300个观测，得到AIC和BIC定阶情况如下：12345678910AIC定阶052256741136129211411BIC定阶145559476720000当前第44页\共有204页\编于星期四\1点

在1000次模拟计算中AIC将阶数定为4的有674次，而BIC阶数定为4的有476次。BIC定阶对阶数低估的比率为51.5%增大样本量n=1000，获得如下结果：12345678910AIC定阶0007391244537251218BIC定阶041990500000当前第45页\共有204页\编于星期四\1点

AIC定出的平均阶数是Avc(AIC)=4.593，BIC定出的平均阶数是Avc(BIC)=3.996，故对于较大的样本量有必要综合考虑AIC定阶和BIC定阶。当前第46页\共有204页\编于星期四\1点

E.拟合模型的检验

现有数据，欲判断它们是否符合以下模型式中被假定为独立序列,且与独立。原假设：数据符合AR(p)。故在成立时，下列序列

为独立序列的一段样本值序列。当前第47页\共有204页\编于星期四\1点

步骤：1.首先，根据公式

计算出残差的样本自相关函数，2.利用上一章关于独立序列的判别方法，判断是否为独立序列的样本值3.根据判断结果，如果接受它们为独立序列的样本值，则接受原假设，即接受符合AR(p),否则，应当考虑采用新的模型拟合原始数据序列。当前第48页\共有204页\编于星期四\1点

例1.8（例1.5续）拟合后，给出残差头15个数据，有11个落在之间，

故不能否定原假设，即符合AR(1)模型。当前第49页\共有204页\编于星期四\1点

残差的图形当前第50页\共有204页\编于星期四\1点

残差的自相关函数当前第51页\共有204页\编于星期四\1点

例1.9（例1.6续）拟合后，给出残差头15个数据，有15个落在之间，故不能否定原假设，即符合AR(2)模型。当前第52页\共有204页\编于星期四\1点

残差的图形当前第53页\共有204页\编于星期四\1点

残差的自相关函数当前第54页\共有204页\编于星期四\1点

第二节滑动平均模型拟合对于已给的时间序列数据，用MA(q)式的滑动平均模型去拟合它们，称为滑动平均模型拟合。滑动平均模型拟合主要包括：(1)判断滑动平均模型MA的阶数；(2)估计模型的参数；(3)对拟合模型进行检验。当前第55页\共有204页\编于星期四\1点

一.参数估计假定数据序列适合以下模型

(2.1)其中为独立同分布的序列,且,q为给定的非负整数，为未知参数，并满足可逆性条件。当前第56页\共有204页\编于星期四\1点

1.参数的矩估计方法MA(q)序列的自协方差函数与MA(q)的模型参数有如下公式：

故，和的矩估计和，为

(2.2)当前第57页\共有204页\编于星期四\1点

(1)解析法对于阶数较低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。对于MA(1)模型：,和满足可得和的矩估计分别为当前第58页\共有204页\编于星期四\1点

例4.11由MA(1)模型产生长度n=300的样本，计算出前两个样本自协方差函数值,由上述讨论当前第59页\共有204页\编于星期四\1点

对于MA(2)模型：,其中

满足

可得的估计为:当时

当前第60页\共有204页\编于星期四\1点

当时，从而可得，当前第61页\共有204页\编于星期四\1点

例4.12求MA(2)模型的n=950的样本的参数的矩估计。解：已知前三项的样本自相关函数分别为使用上述公式，可得到如下估计值当前第62页\共有204页\编于星期四\1点

(2).线性迭代算法将(2.2)式表示为(2.3)在可逆域内，给定的初值,代入(2.3)式右边，得到一步迭代值，再将它们代入(2.3)式右边，得出(2.3)式左边的第二不迭代值，同法重复直到某步，当前第63页\共有204页\编于星期四\1点

设有精度,当同时成立时，就停止迭代（否则继续迭代下去），以作为的矩估计。当前第64页\共有204页\编于星期四\1点

(3)Newton-Raphson算法优点：方法简便、收敛速度快缺点：使用该算法得到的解不能保证满足属于可逆域，需要采用调整方法才可做到。详见《时间序列的分析与应用》或《应用时间序列分析》。当前第65页\共有204页\编于星期四\1点

2.极大似然估计若(2.1)中，为正态分布，则服从分布，其中是的协方差矩阵。于是有似然函数：其中，。使似然函数达到极大值之解的和，即为和的极大似然估计。当前第66页\共有204页\编于星期四\1点

近似极大似然估计方法：假定(2.1)式中的初值给定，不妨设为零值。则由(2.1)式和数据可以求出(2.4)

于是可得到如下近似似然函数为：

(2.5)

记

当前第67页\共有204页\编于星期四\1点

由(2.5)式决定的近似极大似然估计和满足以下方程于是为以下方程的解而当前第68页\共有204页\编于星期四\1点

3.自回归逼近方法原理：可逆的MA(q)模型有逆转形式模型，且逆转形式中的无穷阶自回归系数满足以指数衰减到零的趋势，故一个可逆的MA模型可用适当高阶的AR模型近似。用一个高阶的AR模型拟合一个较低的MA序列称为自回归逼近拟合方法。当前第69页\共有204页\编于星期四\1点

步骤：1.对原始数据进行自回归模型拟合。可用AIC定阶，求参数的Yule-Walker估计，在进行检验；或直接拟合AR(p)模型。其中，当n不太大时，取；当n很大时，取。将拟合后模型记为

(2.6)当前第70页\共有204页\编于星期四\1点

2.利用(2.6)式，计算拟合残差：于是(2.1)式的模型可近似写为

记(2.7)当前第71页\共有204页\编于星期四\1点

于是，(2.7)可简记为故，和的最小二乘估计分别为和优点：不涉及非线性代数方程，易于实际应用。当前第72页\共有204页\编于星期四\1点

二.阶数的估计1.自相关函数估计方法依据：一个平稳序列为MA(q)序列的充要条件是它的自协方差函数q步截尾。对于MA(q)模型，当k>q，n充分大时，的分布渐近正态，于是当k>q，n充分大时，下列等式近似成立当前第73页\共有204页\编于星期四\1点

方法：对于每一个正整数q,计算样本自相关函数(M一般取为左右),考察其中满足

的个数是否占M的68.3%(或95.5%)左右,如取某显著地异于零，而近似等于零，并满足上述不等式的个数达到了68.3%(或95.5%)左右比例，则初步认为在步截尾，初步判定为当前第74页\共有204页\编于星期四\1点

例2.3设为MA(1)序列：由它产生长度为n=300样本值，计算出前17个样本自相关函数为，计算出：当前第75页\共有204页\编于星期四\1点

2.AIC准则定阶方法给出模型阶数q的上界，对于按前述的方法逐个拟合MA(m)模型。并给出白噪声方差的估计量，定义AIC函数其中，n是样本个数，AIC(m)的最小值点(如不唯一，应取小的)称为MA(q)模型的AIC定阶。当前第76页\共有204页\编于星期四\1点

例2.3的定阶问题，使用AIC准则，有q123456AIC2.8852.8912.8982.9022.8952.901当前第77页\共有204页\编于星期四\1点

三.拟合模型的检验如果一段时间序列数据符合(2.1)式，则当给定初始值，由(2.2)式计算出，它应当是独立序列的一段样本值。故检验问题就转化为检验是否为独立序列的一段样本值的问题方法：检验和正态检验。当前第78页\共有204页\编于星期四\1点

四.建模例题：产生模型

的n=300个样本数据，建立模型。(1)求出样本均值、样本自协方差函数、样本自相关函数当前第79页\共有204页\编于星期四\1点

样本自相关函数当前第80页\共有204页\编于星期四\1点

(2)观察样本自相关函数为1步结尾，或使用前述的两种定阶方法，初步判定MA(1)(3)使用第二小节的矩估计的解析方法可得(4)检验：给出我们使用检验，给出，计算出当前第81页\共有204页\编于星期四\1点

取值图

当前第82页\共有204页\编于星期四\1点

第三节ARMA模型的拟合根据数据序列，拟合以下ARMA(p,q)模型：(3.1)其中，为独立同分布的序列，且对一切s<t成立，参数和满足平稳性和可逆性条件，且与无公共根。当前第83页\共有204页\编于星期四\1点

一.模型参数的估计1.矩估计方法步骤1.的矩估计，满足如下方程：(3.2)其中，，由(1.19)可知p元线性方程组。当前第84页\共有204页\编于星期四\1点

记于是(3.2)可简写为若满秩，则(3.3)当前第85页\共有204页\编于星期四\1点

步骤2.和满足以下的方程式

(3.4)式中其中，(3.4)式关于的非线性代数方程组。当q=1,2可求出显示解，当，可用数值解法。

当前第86页\共有204页\编于星期四\1点

2.近似极大似然估计方法方法:取初始值对于任意给定的一组参数,由(3.1)迭代算出相应值，即(3.5)定义关于的函数则，近似似然函数为当前第87页\共有204页\编于星期四\1点

使得上式取到极大值的，称它们为的近似极大似然估计，也称最小平方和估计。当q=0，上述极值问题简化为Yule-Walker估计。当p=0，上述极值问题与第三节的近似极大似然估计方法一致。(3.1)式中的的估计为当前第88页\共有204页\编于星期四\1点

3.自回归逼近方法基本思路：(1)为数据建立AR模型，取自回归阶数的上界，采用AIC定阶方法得到AR模型的阶数估计P和自回归系数的估计.。(2)计算残差

写出近似的ARMA(p,q)模型当前第89页\共有204页\编于星期四\1点

(3)对目标函数

(2.6)极小化,得到最小二乘估计,的最小二乘估计由下式定义当前第90页\共有204页\编于星期四\1点

具体算法定义：当前第91页\共有204页\编于星期四\1点

则目标函数(2.6)可写成，可解出最小二乘估计为相应地，的估计为当前第92页\共有204页\编于星期四\1点

二.模型阶数的估计1.相关分析法用于ARMA模型的定阶方法：(1)给定初值(一般取初值为零)将的估计代入(3.2)递推得到残差估计当前第93页\共有204页\编于星期四\1点

(2)作假设检验

来自于白噪声序列长度为n的样本。不是白噪声序列的长度为n的样本。令检验等价于检验是否来自于N(0,1)总体的k个独立抽样问题。当前第94页\共有204页\编于星期四\1点

a.检验的绝对值是否有68.3%左右小于1.b.检验法：在成立条件下，当n充分大时，是k个相互独立N(0,1)随机变量，则

服从自由度为k的中心分布，则以显著水平为的否定域为当前第95页\共有204页\编于星期四\1点

2.AIC准则方法给定ARMA模型阶数的上界和。对于每一对(k,j)，,计算AIC函数取，使

此时称为ARMA模型的阶的估计，其中一般取或中的整数。当前第96页\共有204页\编于星期四\1点

具有相合性的定阶准则BIC,使上式达最小的为ARMA模型的阶。

中的整数。当前第97页\共有204页\编于星期四\1点

三.拟合模型的检验ARMA模型的检验是检验其拟合残差序列是否为独立序列。方法：取初值计算的样本值，即

检验是否为独立序列的样本值。当前第98页\共有204页\编于星期四\1点

四.例子：kejian2由计算机产生模拟时间序列数据。(1)计算出样本均值、自相关函数、自协方差函数和偏相关函数当前第99页\共有204页\编于星期四\1点

样本自相关函数当前第100页\共有204页\编于星期四\1点

样本偏相关函数当前第101页\共有204页\编于星期四\1点

(2)取定阶数

由AIC准则：p=q=1(3)估计参数：(4)检验

结论：数据符合ARMA(1,1)模型。当前第102页\共有204页\编于星期四\1点

当前第103页\共有204页\编于星期四\1点第四节求和模型与季节模型

的处理方法一.求和模型ARIMA的识别与拟合1.求和模型的识别方法方法一直接观察数据图形的方法：根据数据画出数据曲线图，通过观察曲线的形状，可初步判别是否需要拟合求和模型。当前第104页\共有204页\编于星期四\1点

例：数据1当前第105页\共有204页\编于星期四\1点

数据2

当前第106页\共有204页\编于星期四\1点

数据3

当前第107页\共有204页\编于星期四\1点

数据4当前第108页\共有204页\编于星期四\1点

方法二.数据样本自相关函数分析法：当序列含有趋势项时，序列的样本自相关函数的尾部不衰减到零值，特别地，所含趋势项为多项式时，将近似于常数为1的序列。当前第109页\共有204页\编于星期四\1点

例：序列1当前第110页\共有204页\编于星期四\1点

样本自相关函数：当前第111页\共有204页\编于星期四\1点

序列2当前第112页\共有204页\编于星期四\1点

序列2样本自相关函数当前第113页\共有204页\编于星期四\1点

序列3

当前第114页\共有204页\编于星期四\1点

序列3的样本自相关函数当前第115页\共有204页\编于星期四\1点

另外，还可从数据的来源判断使用求和模型的合理性。2.判断求和模型ARIMA(p,d,q)的阶数d对ARIMA(p,d,q)模型的研究焦点是对差分阶数d的判别。d的判别方法：(1)用动态数据的实际背景来确定。若数据围绕着某条曲线变化，而此曲线是近似线性的，则判断差分阶数d=1,若此曲线可由二次多项式近似，则判断阶数d=2,一般地，若该曲线可由d次t的多项式逼近，则可对原序列作d次差分，而可按平稳序列建模。当前第116页\共有204页\编于星期四\1点

(2)采用数据处理的方法：对原动态数据分别作j次差分，，连同原数据共有D+1套动态数据，然后对每套数据求出样本自相关函数和样本偏相关函数为,综合分析它们的截尾性或拖尾性，最后判定为何种模型，再建立相应的模型。

当前第117页\共有204页\编于星期四\1点

2.求和模型的拟合步骤1：判断p值，对原数据进行d次差分运算，即(4.1)例：当d=2时，为的二次差分序列，即，当前第118页\共有204页\编于星期四\1点

步骤2：根据差分后的数据序列按照前几节的方法，拟合AR、MA、ARMA模型，包括模型参数的估计以及对阶数p,q的估计，即(4.2)结合(4.1)和(4.2)，得到ARIMA(p,d,q)的拟合模型为，(4.3)步骤3：对拟合求和模型的检验：即是检验是否符合(4.2)的模型，亦是对拟合后的残差进行白噪声检验.当前第119页\共有204页\编于星期四\1点

步骤3：对拟合求和模型的检验：即是检验是否符合(4.2)的模型，亦是对拟合后的残差进行白噪声检验。当前第120页\共有204页\编于星期四\1点

例：某国1960年至1993年GNP平减指数的季度时间序列。要求对序列进行模型识别。(sample12)当前第121页\共有204页\编于星期四\1点

当前第122页\共有204页\编于星期四\1点

第一步：判断差分阶数d=1,对数据进行一阶差分当前第123页\共有204页\编于星期四\1点

第二步：对差分后序列进行ARMA模型拟合。观察样本自相关函数和偏相关函数，初步判断为AR模型。使用AIC定阶准则和最小二乘估计方法。判断阶数p=2,,即当前第124页\共有204页\编于星期四\1点

拟合后的残差图当前第125页\共有204页\编于星期四\1点

第三步：拟合模型的检验：采用正态检验，

当前第126页\共有204页\编于星期四\1点

于是，拟合模型为：当前第127页\共有204页\编于星期四\1点

二.季节模型的识别与拟合季节ARMA模型：

其中T是周期，是某个ARMA(p,q)模型的特征多项式，实际问题中T经常的取值是4，7或12。当前第128页\共有204页\编于星期四\1点

星期一二三四五六日一周二周n+1周当前第129页\共有204页\编于星期四\1点

上述表中的每一列都可以看成一个时间序列，将数据(4.5)的第j列零均值化(4.6)其中(4.7)首先，用数据(4.6)建立模型：(4.8)其中当前第130页\共有204页\编于星期四\1点

在相隔T步上为白噪声序列，而相隔小于T步时是相关的，即其次，仍为平稳序列，故需对建立ARMA(p,q)模型，(4.9)其中对季节内外为白噪声序列，将(4.9)代入(4.8),得到季节ARMA模型，

(4.10)当前第131页\共有204页\编于星期四\1点

季节模型(4.10)实际上是一个ARMA(p+7P，q+7Q)模型，只是其中又很多的系数是零。季节模型的拟合方法：第一步：设是数据的样本自协方差函数，利用拟合一个

模型：

要求这个模型通过模型检验；第二步：利用拟合一个模型：要求这个模型通过模型检验。于是，

当前第132页\共有204页\编于星期四\1点

为了得到更精确的估计，可将模型看作疏系数的ARMA模型，使用前几节的ARMA模型参数的极大似然估计方法或最小二乘估计法估计模型(4.10)中的参数。当前第133页\共有204页\编于星期四\1点

例：北京市1990.1-2000.12气温数据（sample6）当前第134页\共有204页\编于星期四\1点

差分运算当前第135页\共有204页\编于星期四\1点

观察序列tempx1的样本自相关函数和偏相关函数，建模lstempxar(1)ar(2)ma(1)ma(2)sar(12)sma(12)当前第136页\共有204页\编于星期四\1点

残差检验当前第137页\共有204页\编于星期四\1点

三.乘积模型的拟合如果时间序列既具有趋势项又具有周期项，需采用乘积模型来拟合。在上例中如果每一列的数据需要经过差分后才能进行季节ARMA模型的拟合，模型将改写为，

称之为乘积模型.当前第138页\共有204页\编于星期四\1点

实际问题中，d和D的取值一般很小，例如：D=0或1。季节模型实际上是一个乘积模型。一种简单的乘积模型：(4.11)

其中T为某一正整数，表示周期。为某一平稳可逆的ARMA(p,q)序列。(1)模型的拟合在T和D已知时，首先对进行差分变换

(4.12)当前第139页\共有204页\编于星期四\1点

其中，满足故，只需对拟合形如(4.1)的求和模型，就可得到模型(4.11)的参数估计。(2)T和D的取值判断

a.T表示周期，它有较明显的物理背景，可根据数据的实际背景确定T的大小b.D的确定，可使用逐步尝试的方法。即对D=1,2…逐一尝试，并拟合(4.11),若模型检验通过，则确定该值为D的取值。当前第140页\共有204页\编于星期四\1点

例：航空客流量数据。当前第141页\共有204页\编于星期四\1点

数据的预处理：

(1)xx=log(x)(2)cx=xx-5.542193当前第142页\共有204页\编于星期四\1点

模型的建立：对数据cx:

当前第143页\共有204页\编于星期四\1点

对数据dcx进行一次差分运算当前第144页\共有204页\编于星期四\1点

对数据ddcx建立模型：使用最小二乘估计方法，得到lsddcxma(1)ma(2)ma(3)当前第145页\共有204页\编于星期四\1点

模型的残差检验：当前第146页\共有204页\编于星期四\1点

结论：客流量的模型为当前第147页\共有204页\编于星期四\1点

另一种方法建模：观察序列ddcx的样本自相关函数和偏相关函数。lsd(log(x),1,12)ar(1)ar(2)ar(3)ma(1)sar(12)sma(12)lsddcxar(1)ar(2)ar(3)ma(1)sar(12)sma(12)lsd(log(x),1,12)ar(1)ar(3)ma(1)sar(12)sma(12)lsd(log(x),1,12)ar(3)ma(1)sar(12)sma(12)当前第148页\共有204页\编于星期四\1点lsd(log(x),1,12)ar(3)ma(1)sar(12)sma(12)当前第149页\共有204页\编于星期四\1点

1.设为零均值平稳序列，由它的长度为N=100的样本算得样本自相关函数及样本偏相关函数的前6个数值如下又知，试求：(1)为哪种模型，并说明理由。(2)对模型参数和白噪声方差给出矩估计。(3)判断所建立的模型是否具有平稳性（或可逆性），并给出模型的传递形式（或逆转形式）k123456-0.8000.670-0.1580.390-0.3100.221-0.8000.0850.112-0.046-0.0610.038当前第150页\共有204页\编于星期四\1点

2.全国城镇居民储蓄额年数据序列的建模。下表给出1952年至1991年储蓄额年数据(亿元)8.612.214.316.922.427.925.147.351.139.231.435.644.852.357.759.862.361.064.573.385.194.1105.8114.6122.2135.1154.9202.6282.5354.1447.3572.6776.61057.81471.52067.62659.23734.85192.66790.9当前第151页\共有204页\编于星期四\1点

第五节疏系数自回归模型

的处理方法疏系数自回归模型：(5.1)其中，为白噪声序列，且，为未知的正整数足标值，为未知参数。这里不假定任何平稳性条件成立。当前第152页\共有204页\编于星期四\1点

一.参数估计令其中表示矩阵的第s列矢量，它们的定义为当前第153页\共有204页\编于星期四\1点

使用上述记号，(5.1)可简写为(5.2）其中的P应比大，但比样本长度n要小得多。于是，当已知时，(5.2)式中参数的最小二乘估计为：当前第154页\共有204页\编于星期四\1点

二.足标的估计取定足标上界P,根据数据拟合如下模型：(5.3)满足条件的(5.3)共有个，使用前述的最小二乘估计法，获得这个疏系数自回归模型参数估计，继而得到个使用AIC准则：当前第155页\共有204页\编于星期四\1点

或BIC准则：求出：或从而确定的估计。当前第156页\共有204页\编于星期四\1点第六节回归与自回归混合模型

的处理方法一.并联形式混合回归模型的拟合方法

(6.1)

(6.2)其中，为白噪声序列，且,参数满足平稳性条件。为非随机的可观测的自变元。比如：它们可为多项式，三角函数等。当前第157页\共有204页\编于星期四\1点

对(6.1)的统计分析可分为两种情况：一种是在(6.1)中残差项的协方差阵给定的情况下，对回归系数的统计分析；另一种是，已知的模型具有AR形式，其阶数和参数未知，或阶数已知，而参数未知。当前第158页\共有204页\编于星期四\1点

1.模型回归系数的估计考虑如下形式的回归模型：(6.3)其中为非随机的可观测的自变元，为未知的自回归系数矢量,为零均值的残差，并假定它的协方差阵已知，记为。当前第159页\共有204页\编于星期四\1点

令于是(6.3)的矩阵形式为

(6.4)当前第160页\共有204页\编于星期四\1点

(1)模型参数的最小二乘估计：

（6.5）性质：(I)是的无偏估计；(II)误差

其协方差阵为当前第161页\共有204页\编于星期四\1点

(2)线性最小方差无偏估计线性最小方差无偏估计是线性无偏估计类中方差阵最小的估计，记。它必须具备如下三个条件：线性性质：即，H为矩阵；无偏性：即，等价于最小方差性：即对其他满足上述两条件的估计都有，当前第162页\共有204页\编于星期四\1点

经计算，线性最小方差无偏估计为

(6.6)且最小方差为

(6.7)当前第163页\共有204页\编于星期四\1点

(3)两种估计的比较

(I)和都是线性的，都是的无偏估计；(II)的优点是在计算时不需要知道的协方差阵。(III)线性最小方差无偏估计的优点是在不同的无偏估计中误差的方差最小。(IV)当时,当前第164页\共有204页\编于星期四\1点

2.并联混合模型的分步识别方法第一步：根据所给数据，由(6.5)给出的最小二乘估计，即第二步：求出(6.2)的拟合残差序列，即将视为的样本值序列，用第一节方法对它们进行自回归拟合，包括对模型参数、阶数的估计，以及对拟合模型的检验。当前第165页\共有204页\编于星期四\1点

第三步若检验通过，以此拟合模型作为对(6.2)式的拟合，连同上述对的估计完成对(6.1),(6.2)的拟合。当前第166页\共有204页\编于星期四\1点

例：产生模型：

的n=500个样本值，拟合该时序数据。当前第167页\共有204页\编于星期四\1点

模型的拟合：首先使用最小二乘估计方法对进行传统的回归分析：当前第168页\共有204页\编于星期四\1点

对回归后的残差进行自回归建模：当前第169页\共有204页\编于星期四\1点

模型的检验：对拟合后的最终残差作白噪声检验，这里采用正态检验

16/20=80%当前第170页\共有204页\编于星期四\1点

结论：拟合模型为：当前第171页\共有204页\编于星期四\1点

二.串联形式混合模型的拟合方法

(6.8)令当前第172页\共有204页\编于星期四\1点

则(6.8)可简写为：

(6.9)当前第173页\共有204页\编于星期四\1点

于是的最小二乘估计为

(6.10)残差项的方差的估计为，当前第174页\共有204页\编于星期四\1点

当(6.8)中的p未知时，可应用AIC准则确定适当的p值：p的估计，满足

当前第175页\共有204页\编于星期四\1点

例：由序列,为标准正态白噪声，产生n=500个样本值，拟合该数据当前第176页\共有204页\编于星期四\1点

采用最小二乘估计得到：当前第177页\共有204页\编于星期四\1点

残差的检验：当前第178页\共有204页\编于星期四\1点

结论：拟合的模型为当前第179页\共有204页\编于星期四\1点

三.序列相关与ARMA模型1.序列相关理论与检验涉及时间序列的回归模型，残差序列自相关较常见。模型形式：(6.11)(6.12)其中，是t时刻所观测的解释变量向量；为随机扰动项，称为非条件残差；为改进的随机扰动项，称为一期提前(one-period-ahead)预测误差；是前期已知变量向量，可包括的滞后项；为参数向量。当前第180页\共有204页\编于星期四\1点

残差序列的自相关检验方法：1）.相关图与Q统计量即检验序列任意滞后期的自相关和偏相关系数与0有无显著差异。2）.LM(LagrangeMultiplier)检验该检验可对包含ARMA误差项的模型残差序列进行高阶的自相关检验，并允许存在因变量的滞后项。检验假设为：其中，p=max{r,q}当前第181页\共有204页\编于星期四\1点

对(6.11)中的非条件残差建立辅助回归方程：(6.13)利用方程(6.13)的决定系数构造LM检验统计量：其中，n是计算辅助回归时的样本数据的个数。在零假设下，LM统计量由渐进的分布。对于给定的显著水平和自由度p，如果，则拒绝原假设，即认为序列存在自相关，反之亦然。当前第182页\共有204页\编于星期四\1点

2.残差序列的ARMA模型如果对某个线性回归模型残差序列进行LM检验，发现序列存在自相关，可考虑对残差序列建立