时间序列分析电子科大第六章

§6.4ARMA模型阶的确定

基于假定模型的阶已知的前提下介绍了参数估计的方法.

对动态数据进行相关分析，初步判别模型类别以及阶的初步估计.有各类判定模型阶数的方法一、相关函数定阶法

用相关函数的截尾性判别方法给出模型阶的初步估计.时间序列分析电子科大第六章共38页，您现在浏览的是第1页!

例6.4.1设{εt}是标准正态白噪声，{xt}是满足下AR(4)模型的模拟序列（N=300）直线方程为计算偏相关函数，可初估计时间序列分析电子科大第六章共38页，您现在浏览的是第2页!

对p=1,2,…,10分别求参数和噪声方差的y-w估计，可得时间序列分析电子科大第六章共38页，您现在浏览的是第3页!

类似于统计学中多元回归分析的逐步回归法，通过假设检验来确定阶数.原假设：序列满足AR(k)模型；备择假设：序列满足AR(k+1)模型.二、残差方差图定阶法

结论用一系列阶数逐次递增的AR(k)模型拟合原模型，其残差的方差一般随着k的增大而逐渐下降，当k=p以后变动幅度会趋小.时间序列分析电子科大第六章共38页，您现在浏览的是第4页!3）观察残差方差图，若从k*

始基本保持不变(无明显下降趋势),就可令注1

残差方差图方法是一种观察试验方法，无定量判断的准则.2）画出的残差方差图；定阶步骤:1）分别用AR(k)模型(k=1,2,…,M)拟合观察数据,计算相应的残差方差(k=1,2,…,M)；时间序列分析电子科大第六章共38页，您现在浏览的是第5页!自相关函数图时间序列分析电子科大第六章共38页，您现在浏览的是第6页!模型阶数从1升至2，残差方差大幅度减小，升至5后残差方差反而略有增加.残差方差图时间序列分析电子科大第六章共38页，您现在浏览的是第7页!1.FPE(最终预报误差)准则不足拟合与过度拟合都会使预报误差增大.

日本学者赤池(Akaike)思想

AR模型的阶数估计值不能取过大，也不能过小.过大会导致模型的复杂度增大，使参数估计值的不确定性增大；过小使拟合模型与真实模型差异过大.时间序列分析电子科大第六章共38页，您现在浏览的是第8页!分析

(6.4.2)中有两个因子:1)因子依赖于k,其大小反映了模型与数据的拟合程度；2)个因子随k

增大而增大,放大了残差方差的不确定性影响.时间序列分析电子科大第六章共38页，您现在浏览的是第9页!AIC准则可应用于ARMA模型及其他统计模型(如多项式回归定阶).

能在模型参数极大似然估计的基础上，对于ARMA(p,q)的阶数和相应的参数，同时给出一种最佳估计.时间序列分析电子科大第六章共38页，您现在浏览的是第10页!分析：应使K—L信息量达到最小值.两个函数接近程度越高,K-L信息量越小时间序列分析电子科大第六章共38页，您现在浏览的是第11页!AIC注1

若估计模型与真实模型存在较大的差异时，或阶数估计偏低时，上式中右端的项会显著变大，第二项则作用不大；注2若阶数估计偏高时，上式中第二项起主要作用.

上式是对两方面的加权平均(权系数为2).时间序列分析电子科大第六章共38页，您现在浏览的是第12页!(6.4.7)式中为残差方差.m为参数个数,有ARMA(p,q)模型:m=p+q+1;AR(p)模型:m=p+1;MA(q)模型:m=q+1;注由AIC准则定出的阶数估计不是模型真实阶数的相合估计，一般阶数估计值偏大.在N充分大而且固定的条件下时间序列分析电子科大第六章共38页，您现在浏览的是第13页!

结论当N充分大时,AIC和FPE准则给出的阶数估计值相同,FPE准则也可以用于ARMA模型定阶.四、BIC准则AIC准则避免了统计检验中由于选取置信度而产生的人为性，为模型定阶带来许多方便.但AIC方法未给出相容估计.Akaike（1976）提出新的定阶准则—BIC时间序列分析电子科大第六章共38页，您现在浏览的是第14页!

例6.4.1设{et}是标准正态白噪声，{xt}是满足AR(4)模型的模拟序列（N=300）已初步估计，计算AIC和BIC函数如下两种方法都估计出仅是一次估计结论

现模拟1000条序列，每次N=300，有以下结果时间序列分析电子科大第六章共38页，您现在浏览的是第15页!有Ave(AIC)=4.589;

Ave(BIC)=3.996；

对较大样本长度N，仍应综合考虑两种定阶方法.时间序列分析电子科大第六章共38页，您现在浏览的是第16页!记联合概率密度为

例5.5.1

若样本是零均值正态随机变量，其联合概率密度为

其中是协方差矩阵.对给定样本值时间序列分析电子科大第六章共38页，您现在浏览的是第17页!设{Xt

}是零均值正态ARMA序列，给定样本的样本值联合概率密度为其中协方差矩阵.时间序列分析电子科大第六章共38页，您现在浏览的是第18页!记是ARMA模型的参数向量,均值Eβ

表示是参数向量β的函数.（5.5.2）

注对一般ARMA模型，其参数的似然函数及极大似然估计要复杂许多.时间序列分析电子科大第六章共38页，您现在浏览的是第19页!N充分大时，的极值点与（5.5.3）的极值点几乎一样.近似似然函数定义称是平方和函数.时间序列分析电子科大第六章共38页，您现在浏览的是第20页!

若时间序列{Xt

}实际是p阶有限自回归模型AR(p),其噪声方差为,如果选择AR(k)模型进行拟合，则1）若k<p(称为不足拟合),其剩余平方和Q必然增大，有2）若k>p(称为过拟合),不会显著减小，有可能还略有增大.时间序列分析电子科大第六章共38页，您现在浏览的是第21页!Jenkins—Whitt方法：利用残差方差图判定AR模型阶数.残差方差的估计式为(6.4.1)其中时间序列分析电子科大第六章共38页，您现在浏览的是第22页!注2

若观察数据不是来自AR模型时,常常不是单调下降的.例6.4.2下图是一磨轮剖面资料的数据图时间序列分析电子科大第六章共38页，您现在浏览的是第23页!偏相关函数图时间序列分析电子科大第六章共38页，您现在浏览的是第24页!二、最佳准则函数定阶法

通常是先定义一个与模型参数有关的准则函数:1)考虑拟合时对数据的接近程度；2）考虑模型中待定系数的个数.使准则函数达到最小值的模型是最佳模型.取使准则函数为最小的阶数值作为估计值.时间序列分析电子科大第六章共38页，您现在浏览的是第25页!

Akaike提出用最终预报误差准则(FinalPredictionError,记为FPE)来判定AR模型的阶数.导出目标函数(6.4.2)其中N为样本长度,k为模型阶数，为相应的残差方差估计.时间序列分析电子科大第六章共38页，您现在浏览的是第26页!Akaike准则选择使(6.4.3)

成立的p为AR模型的阶数估计值,若有多个则取其中最小者.Akaike从信息论的概念导出适用面广泛的统计模型准则—AIC准则(AkaikeInformationCriterion).2.最小信息准则(AIC)时间序列分析电子科大第六章共38页，您现在浏览的是第27页!1）最小信息准则AIC的一般形式

设是随机向量,其概率密度为，属于概率密度族，是模型的参数向量，且基本思想：利用K—L(Kull-back,Leibler)信息量(6.4.4)来刻划与的接近程度.时间序列分析电子科大第六章共38页，您现在浏览的是第28页!使K—L信息量达到最小值,即(6.4.5)可求出最小信息准则AIC的一般形式为(6.4.6)结论可证明AIC的一般形式是K—L信息量的渐近无偏相容估计.m为参数个数时间序列分析电子科大第六章共38页，您现在浏览的是第29页!Akaike原则从一组可供选择的模型中，应选取AIC为最小的模型.2）ARMA、AR、MA模型

在一定条件下(参见公式5.5.3),ARMA模型的对数似然函数可近似为其中因见公式（5.5.4）时间序列分析电子科大第六章共38页，您现在浏览的是第30页!3.AIC准则与FPE准则的关系AIC准则与FPE准则有渐近等价关系：证时间序列分析电子科大第六章共38页，您现在浏览的是第31页!(6.4.8)式中m=p+q+1表示自由参数个数.注1AIC和BIA的差别是用mlnN替代2m，使利用多余参数的代价增大.一般BIC阶数估计值比AIC阶数估计值低.注2BIC准则可以给出阶数的相容估计.时间序列分析电子科大第六章共38页，您现在浏览的是第32页!有Ave(AIC)=4.413;

Ave(BIC)=3.039；BIC定阶对阶数的低估比例达51.1%；增大样本长度N可改善这种情况.

模拟1000条序列，每次N=1000，有以下结果时间序列分析电子科大第六章共38页，您现在浏览的是第33页!§5.5ARMA模型参数的精估计

—极大似然估计(最小平方和估计)一、极大似然估计（ML估计）建立在极大似然准则上的估计.设随机序列{Yt}的有限维概率密度存在,由一组参数惟一确定,联合概率密度是参数向量β和样本的函数.时间序列分析电子科大第六章共38页，您现在浏览的是第34页!为对数似然函数.

的极大似然估计.定义注必需已知联合概率密度.二、ARMA序列参数的极大似然函数时间序列分析电子科大第六章共38页，您现在浏览的是第35页!对数似然函数为为显含参数,令（5.5.1）时间序列分析电子科大第六章共38页，您现在浏览的是第36页!三、ARMA序列参数的近似极大似然方法应选择βML