时间序列分析(电子科大)第六章-4.ppt

1、6.4 ARMA模型阶的确定,基于假定模型的阶已知的前提下介绍了参数估计的方法.,对动态数据进行相关分析，初步判别模型类别以及阶的初步估计.,有各类判定模型阶数的方法,一、相关函数定阶法,用相关函数的截尾性判别方法给出模型阶的初步估计.,例6.4.1 设t是标准正态白噪声，xt 是满足下AR(4)模型的模拟序列（N=300）,直线方程为,计算偏相关函数，可初估计,对p = 1, 2 , , 10 分别求参数和噪声方差的y-w估计，可得,若时间序列 Xt 实际是 p 阶有限自回归模型AR( p ), 其噪声方差为 ,如果选择AR(k) 模型进行拟合，则,1）若k p (称为不足拟合), 其剩余平

2、方和Q 必然增大，有,2）若k p (称为过拟合), 不会显著减小， 有可能还略有增大.,类似于统计学中多元回归分析的逐步回归法，通过假设检验来确定阶数.,原假设：序列满足AR(k)模型；,备择假设：序列满足AR(k+1)模型.,二、残差方差图定阶法,结论 用一系列阶数逐次递增的AR(k)模型拟合原模型，其残差的方差一般随着 k 的增大而逐渐下降，当 k = p 以后变动幅度会趋小.,JenkinsWhitt方法：,利用残差方差图判定AR模型阶数.,残差方差的估计式为,(6.4.1),其中,3）观察残差方差图，若 从 k* 始基本保持 不 变 (无明显下降趋势), 就可令,注1 残差方差图方法

3、是一种观察试验方法， 无定量判断的准则.,2）画出的残差方差 图；,定阶步骤:,1）分别用AR(k)模型 (k=1, 2 , , M)拟合观察 数据,计算相应的残差方差 (k=1,2,M)；,注2 若观察数据不是来自AR模型时, 常常不 是单调下降的.,例6.4.2 下图是一磨轮剖面资料的数据图,自相关函数图,偏相关函数图,模型阶数从1升至2，残差方差大幅度减小，升至 5后残差方差反而略有增加.,残差方差图,二、最佳准则函数定阶法,通常是先定义一个与模型参数有关的准则函数:,1) 考虑拟合时对数据的接近程度；,2）考虑模型中待定系数的个数.,使准则函数达到最小值的模型是最佳模型.,取使准则函数

4、为最小的阶数值作为估计值.,1. FPE(最终预报误差)准则,不足拟合与过度拟合都会使预报误差增大.,日本学者赤池(Akaike) 思想 AR模型的阶 数估计值不能取过大，也不能过小.,过大 会导致模型的复杂度增大，使参数估 计值的不确定性增大；,过小 使拟合模型与真实模型差异过大.,Akaike提出用最终预报误差准则(Final Prediction Error,记为FPE)来判定AR模型 的阶数.,导出目标函数,(6.4.2),其中N为样本长度, k 为模型阶数， 为相应 的残差方差估计.,分析 (6.4.2)中有两个因子:,1) 因子 依赖于k, 其大小反映了模型与 数据的拟合程度；,2

5、) 第一个因子随 k 增大而增大, 放大了残 差方差的不确定性影响.,Akaike 准则 选择使,(6.4.3),成立的 p 为AR模型的阶数估计值, 若有多个 则取其中最小者.,Akaike 从信息论的概念导出适用面广泛 的统计模型准则AIC准则(Akaike Infor mation Criterion) .,2. 最小信息准则(AIC),AIC准则可应用于ARMA模型及其他统计模型(如多项式回归定阶).,能在模型参数极大似然估计的基础上，对于ARMA(p, q)的阶数和相应的参数，同时给出一种最佳估计.,1）最小信息准则AIC的一般形式,设 是随机向量, 其概率密度为 ，属于概率密度族

6、， 是模型的参数向量，且,基本思想：利用KL(Kull-back, Leibler)信息量,(6.4.4),来刻划 与 的接近程度.,分析：,应使KL信息量达到最小值.,两个函数接近程度越高,K-L信息量越小,使KL信息量达到最小值, 即,(6.4.5),可求出最小信息准则 AIC 的一般形式为,(6.4.6),结论 可证明AIC的一般形式是KL信息量 的渐近无偏相容估计.,m为参数个数,AIC,注1 若估计模型与真实模型存在较大的差异 时，或阶数估计偏低时，上式中右端的 第一项会显著变大，第二项则作用不大；,注2 若阶数估计偏高时，上式中第二项起主 要作用.,上式是对两方面的加权平均(权系数

7、为2).,Akaike原则 从一组可供选择的模型中， 应选取AIC为最小的模型.,2）ARMA、AR、MA模型,在一定条件下(参见公式5.5.3), ARMA模型的对数似然函数可近似为,其中因,见公式（5.5.4）,(6.4.7),式中 为残差方差. m为参数个数, 有,ARMA(p, q)模型: m=p+q+1;,AR (p)模型: m = p+1;,MA(q)模型: m = q+1;,注 由AIC准则定出的阶数估计不是模型真实阶数的相合估计，一般阶数估计值偏大.,在N充分大而且固定的条件下,3. AIC准则与FPE准则的关系,AIC准则与FPE准则有渐近等价关系：,证,结论 当 N 充分大

8、时, AIC和FPE准则给出的 阶数估计值相同, FPE准则也可以用于ARMA 模型定阶.,四、BIC准则,AIC准则避免了统计检验中由于选取置信度而产生的人为性，为模型定阶带来许多方便. 但AIC方法未给出相容估计.,Akaike（1976）提出新的定阶准则BIC,(6.4.8),式中 m = p+q+1表示自由参数个数.,注1 AIC 和BIA的差别是用 m lnN 替代2 m， 使利用多余参数的代价增大.,一般BIC阶数估计值比AIC 阶数估计值低.,注2 BIC准则可以给出阶数的相容估计.,例6.4.1 设et是标准正态白噪声， xt 是满足AR(4)模型的模拟序列（N=300）,已初

9、步估计 ，计算AIC和BIC函数如下,两种方法都估计出,仅是一次估计结论,现模拟1000条序列，每次N=300，有以下结果,有 Ave(AIC)=4.413;,Ave(BIC)=3.039；,BIC定阶对阶数的低估比例达51.1%；,增大样本长度N可改善这种情况.,模拟1000条序列，每次N=1000，有以下结果,有 Ave(AIC)=4.589;,Ave(BIC)=3.996；,对较大样本长度N，仍应综合考虑两种定阶方法.,5.5 ARMA模型参数的精估计极大似然估计(最小平方和估计),一、极大似然估计（ML估计）,建立在极大似然准则上的估计.,设随机序列 Yt 的有限维概率密度存在,由一组

10、参数 惟一确定,联合概率密度是参数向量和样本的函数.,记联合概率密度为,例5.5.1 若样本 是零均值正态随机变量，其联合概率密度为,其中 是协方差矩阵.,对给定样本值,为对数似然函数.,的极大似然估计.,定义,注 必需已知联合概率密度.,二、ARMA序列参数的极大似然函数,设 Xt 是零均值正态ARMA序列，给定样本,的样本值,联合概率密度为,其中 协方差矩阵.,对数似然函数为,为显含参数 ,令,（5.5.1）,均值 E 表示是参数向量的函数.,（5.5.2）,注 对一般ARMA模型，其参数的似然函 数及极大似然估计要复杂许多.,三、ARMA序列参数的近似极大似然方法,应选择ML使(5.5.2)能取极大值.,很难,得不出极值的解析表示，数值求解也很困难.