《时间序列分析-基于Python》 课件 第4、5章 平稳序列拟合与预测、无季节效应的非平稳序列分析

平稳序列拟合与预测04建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN单位根检验单位根检验是构造统计量进行序列平稳性检验的最常用方法。它的理论基础是：如果序列是平稳的，那么该序列的所有特征根都应该在单位圆内。基于这个性质构造的序列平稳性检验方法叫作单位根检验。最早的单位根检验方法是由统计学家Dickey和Fuller提出来的，所以人们以他们名字的首字母DF命名了最早的平稳性检验方法——DF检验。随着学科的发展，后续又产生了很多种单位根检验方法，比如ADF检验，PP检验等等。DF检验的构造原理DF检验是从最简单的一种情况着手进行构造的单位根检验方法。它假设序列的确定性部分可以只由过去一期的历史数据描述，即序列可以表达为式中，为序列的随机部分，常常假设显然该序列只有一个特征根，且特征根为通过检验特征根是在单位圆内还是单位圆上（外）可以检验序列的平稳性。由于现实生活中绝大多数序列都是非平稳序列，所以单位根检验的原假设为序列非平稳，备择假设是序列平稳DF统计量统计量的渐进分布为标准正态分布

统计量的渐近分布不是我们熟知的任何参数分布，Dickey和Fuller通过随机模拟的方法，得到该统计量的经验分布DF检验的等价表达等价假设检验统计量检验结果判定当显著性水平取为时，记为DF检验的分位点，则当时，拒绝原假设，认为序列平稳。等价判别是统计量的P值小于等于显著性水平；当时，接受原假设，认为序列非平稳。等价判别是统计量的P值大于显著性水平。DF检验的三种类型类型一：无漂移项自回归结构类型二：有漂移项自回归结构类型三：带趋势回归结构例2-3续对1915-2004年澳大利亚自杀率序列（每10万人自杀人口数）进行DF检验，判断该序列的平稳性。该序列DF检验统计量等于-1.31，P值为0.62，大于显著性水平0.05，所以基于DF检验，我们不能拒绝该序列非平稳的原假设，即可以判断1915-2004年澳大利亚自杀率序列为非平稳序列。ADF检验的构造原理ADF检验产生背景DF检验只适用于最简单的、确定性部分只由上一期历史数据描述的序列平稳性检验。为了使DF检验能适用于任意期确定性信息提取，人们对DF检验进行了一定的修正，得到了增广DF检验（augmentedDickey-Fuller）,简记为ADF检验ADF检验原理假设序列的确定性部分可以由过去p期的历史数据描述，即序列可以表达为如果序列平稳，它必须满足所有非零特征根都在单位圆内。假如有一个单位根存在，不妨假设，则序列非平稳。把代入特征方程，得到这意味着，如果序列非平稳，存在特征根，那么序列回归系数之和恰好等于1。因而，对于序列的平稳性检验，可以通过检验它的回归系数之和的性质进行判断。ADF检验假设条件检验统计量检验结果判定和DF检验一样。通过蒙特卡洛方法，可以得到ADF检验统计量的临界值表。当显著性水平取为时，记为ADF检验的分位点，则当时，拒绝原假设，认为序列平稳。等价判别是统计量的P值小于等于显著性水平；当时，接受原假设，认为序列非平稳。等价判别是统计量的P值大于显著性水平。例2-5续对1900—1998年全球7.0级以上地震发生次数序列进行ADF检验，判断该序列的平稳性。该序列延迟2阶ADF检验统计量等于-3.18，P值为0.02，小于显著性水平0.05，所以基于ADF检验，我们能显著拒绝该序列非平稳的原假设，即可以判断1900—1998年全球7.0级以上地震发生次数序列为平稳序列。建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN计算样本相关系数样本自相关系数样本偏自相关系数建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN平稳序列拟合模型识别自相关系数偏自相关系数选择模型拖尾P阶截尾AR(P)q阶截尾拖尾MA(q)拖尾拖尾ARMA(p,q)模型定阶的困难因为由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的或仍会呈现出小值振荡的情况由于平稳时间序列通常都具有短期相关性，随着延迟阶数，与都会衰减至零值附近作小值波动当或在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢？这实际上没有绝对的标准,在很大程度上依靠分析人员的主观经验。但样本自相关系数和偏自相关系数的近似分布可以帮助缺乏经验的分析人员做出尽量合理的判断。样本相关系数的近似分布BarlettQuenouille模型定阶经验方法样本自相关系数和样本偏自相关系数的95％置信区间模型定阶的经验方法如果样本自相关系数（偏自相关系数）在最初的d阶明显大于两倍标准差范围，而后几乎95％的自相关系数都落在2倍标准差的范围以内，而且通常由非零自相关系数衰减为小值波动的过程非常突然。这时，通常视为自相关系数（偏自相关系数）截尾。截尾阶数为d。如果有超过5%的样本自相关系数（偏自相关系数）落入2倍标准差范围之外,或者由显著非零的自相关系数（偏自相关系数）衰减为小值波动的过程比较缓慢或者非常连续,这时,通常视为自相关系数拖尾。例4-1选择合适的模型拟合1900—1998年全球7.0级以上地震年发生次数序列。在例2-5的分析中,我们已经判断该序列是平稳非白噪声序列。现在考察该序列的自相关图和偏自相关图,给该序列的拟合模型定阶例4-1模型定阶从自相关图可以看出,自相关系数是以一种有规律的方式,按指数函数轨迹衰减的,这说明自相关系数衰减到零不是一个突然截尾的过程,而是一个连续渐变的过程,这时自相关系数拖尾的典型特征,我们可以把拖尾特征形象地描述为“坐着滑梯落水”。从偏自相关图可以看出,除了1阶偏自相关系数在2倍标准差范围之外,其他阶数的偏自相关系数都在2倍标准差范围内,这是一个偏自相关系数1阶截尾的典型特征。我们可以把这种截尾特征形象地描述为“1阶之后高台跳水”。本例中,根据自相关系数拖尾,偏自相关系数1阶截尾的属性,我们可以初步确定拟合模型为AR(1)模型。例3.10选择合适的模型拟合美国科罗拉多州某一加油站连续57天的每日盈亏序列

例4-2序列自相关图和偏自相关图对序列进行ADF检验和白噪声检验，检验结果显示该序列为平稳非白噪声序列。现在考察该序列的自相关图和偏自相关图,给该序列的拟合模型定阶例4-2模型定阶自相关图显示除了延迟1阶的自相关系数在2倍标准差范围之外，其它阶数的自相关系数都在2倍标准差范围内波动。根据这个特点可以判断该序列具有短期相关性，进一步确定序列平稳。同时，可以认为该序列自相关系数1阶截尾。偏自相关系数显示出典型非截尾的性质。综合该序列自相关系数和偏自相关系数的性质，为拟合模型定阶为MA(1)。例3.11选择合适的模型拟合1880-1985全球气表平均温度改变值差分序列

例4-3对序列进行ADF检验和白噪声检验，检验结果显示该序列为平稳非白噪声序列。现在考察该序列的自相关图和偏自相关图,给该序列的拟合模型定阶序列自相关图和偏自相关图自相关系数显示出不截尾的性质。偏自相关系数也显示出不截尾的性质。综合该序列自相关系数和偏自相关系数的性质，可以尝试使用ARMA(1,1)模型拟合该序列。例4-3模型定阶建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN参数估计待估参数个未知参数常用估计方法矩估计极大似然估计最小二乘估计矩估计原理样本自相关系数估计总体自相关系数样本一阶均值估计总体均值，样本方差估计总体方差例4-4求AR(2)模型系数的矩估计AR(2)模型的Yule-Walker方程用样本自相关系数代入Yule-Walker方程，得到AR(2)模型参数的矩估计例4-5求MA(1)模型系数的矩估计MA(1)模型的Yule-Walker方程用样本自相关系数代入Yule-Walker方程，得到MA(1)模型参数的矩估计矩估计例4-6求ARMA(1,1)模型系数的矩估计ARMA(1,1)模型的Yule-Walker方程用样本自相关系数代入Yule-Walker方程，得到ARMA(1,1)模型参数的矩估计对矩估计的评价优点估计思想简单直观不需要假设总体分布计算量小（低阶模型场合）缺点信息浪费严重，只用到了p+q个样本自相关系数信息，其他信息都被忽略估计精度差通常矩估计方法被用作极大似然估计、最小二乘估计等其它估计方法迭代计算的初始值极大似然估计原理在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计就是使得似然函数（即联合密度函数）达到最大的参数值

似然方程组似然方程组实际上是由p+q+1个超越方程构成，需要使用迭代算法求出未知参数的极大似然估计值对极大似然估计的评价优点极大似然估计充分应用了每一个观察值所提供的信息，因而它的估计精度高同时还具有估计的一致性、渐近正态性和渐近有效性等许多优良的统计性质缺点需要假定总体分布最小二乘估计令残差项为残差平方和为使残差平方和达到最小的那组参数值即为最小二乘估计值最小二乘估计的特征与评价由于随机扰动不可观测，所以也不是的显性函数，未知参数的最小二乘估计值通常也得借助迭代法求出。在实际中，最常用的是条件最小二乘估计方法。它假定过去未观测到的序列值等于零，即，这个假定条件下进行的最小二乘估计称为条件最小二乘估计。最小二乘估计方法的优点原理简单，方法普适，估计精度高例4-1续使用最小二乘估计方法确定1900-1998年全球７级以上地震发生次数序列拟合模型的口径。根据参数估计结果，确定该AR(1)模型口径为例4-2续确定美国科罗拉多州某一加油站连续57天的每日盈亏序列拟合模型的口径

拟合模型：MA(1)模型口径：例4-3续确定1880-1985全球气表平均温度改变值差分序列拟合模型的口径

拟合模型：ARMA(1,1)拟合模型常数项不显著非零，删除常数项得到拟合模型的口径为：建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN模型检验对序列进行模型拟合之后，我们还要对该拟合模型进行必要的检验。检验内容模型的显著性检验确保序列中蕴含的相关信息被充分提取，拟合模型的残差序列必须是白噪声序列参数的显著性检验确保拟合模型的精简，每个保留在拟合模型中的参数必须显著非零模型的显著性检验目的检验拟合模型的有效性（对相关信息的提取是否充分）检验对象残差序列判定原则一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息，即残差序列应该为白噪声序列反之，如果残差序列为非白噪声序列，那就意味着残差序列中还残留着相关信息未被提取，这就说明拟合模型不够有效模型显著性检验的假设条件原假设：残差序列为白噪声序列备择假设：残差序列为非白噪声序列检验统计量例3.9续检验1900-1998年全球７级以上地震发生次数序列拟合模型的显著性残差序列的白噪声检验结果显示：由于各阶延迟下ＬＢ统计量的Ｐ值都显著大于0.05，可以认为拟合模型的残差序列属于白噪声序列，即该拟合模型显著有效。例4-1续参数显著性检验目的检验每一个未知参数是否显著非零。删除不显著参数使模型结构最精简

假设条件检验统计量例3.9续检验1900-1998年全球７级以上地震发生次数序列拟合模型的参数显著性

参数显著性检验结果例4-1续因为每个参数的Z统计量的P值都小于显著性水平（0.05），所以我们可以认为AR(1)模型的两个参数都显著非零。例3.9续对美国科罗拉多州某一加油站连续57天的每日盈亏序列拟合模型进行检验模型显著性检验

结论：模型显著成立，参数显著非零例4-2续参数显著性检验例3.9续对1880—1985年全球气表平均温度改变值差分序列拟合模型进行检验模型显著性检验结论：模型显著成立参数显著非零例4-3续参数显著性检验建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN模型优化问题提出当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。优化的目的选择相对最优模型

例4-7等时间间隔连续读取７０个某次化学反应的过程数据，构成一时间序列。预处理显示该序列为平稳非白噪声序列。序列的样本自相关图和偏自相关图根据自相关图的特征，可能有人会认为自相关系数２阶截尾，那么可以对序列拟合MA(2)模型。根据偏自相关图的特征，可能有人会认为偏自相关系数１阶截尾，那么可以对序列拟合AR(1)模型。拟合模型拟合模型一：根据自相关系数2阶截尾，拟合MA(2)模型拟合模型二：根据自相关系数2阶截尾，拟合AR(1)模型模型检验这两个模型均显著有效这两个模型的所有参数均显著非零问题同一个序列可以构造两个甚至多个拟合模型，每个模型都显著有效，那么到底该选择哪个模型用于统计推断呢？解决办法确定适当的比较准则，构造适当的统计量，确定相对最优模型优化标准AIC准则最小信息量准则（AnInformationCriterion）指导思想似然函数值越大越好未知参数的个数越少越好

AIC统计量SBC准则AIC准则的缺陷在样本容量趋于无穷大时，由AIC准则选择的模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多SBC统计量例3.15续用AIC准则和SBC准则评判例4-7中两个拟合模型的相对优劣结果最小信息量检验显示，无论是使用AIC准则还是使用SBC准则，AR(1)模型都要优于MA(2)模型，所以本例中AR(1)模型是相对最优模型。例4-7模型AICBICMA(2)538.706547.700AR(1)537.958544.703建模步骤0102单位根检验模型识别参数估计模型检验050403本章内容模型优化06序列预测07建模步骤平稳非白噪声序列计算样本相关系数模型识别参数估计模型检验模型优化序列预测YN序列预测线性预测函数预测方差最小原则线性预测函数根据平稳ARMA模型的可逆性，可以用AR结构表达任意一个平稳ARMA模型其中：这意味着使用递推法，基于现有的序列观察值可以预测未来任意时刻的序列值例4-8假设序列可以用ARMA(1,1)模型拟合，请确定该序列未来２期预测值中第t期和第t-1期序列值的权重。根据拟合模型结构，求出逆函数未来两期递推公式预测方差最小原则预测误差预测方差根据预测方差最小原则，得序列分解预测误差预测值预测序列分解误差分析估计误差期望方差AR(p)序列的预测预测值预测方差95％置信区间例3.16已知某超市月销售额近似服从AR(2)模型（单位：万元/每月）今年第一季度该超市月销售额（万元）分别为：101，96，97.2请确定该超市第二季度每月销售额的95％的置信区间例4-8例4-8解预测值的计算预测方差的计算预测值95%置信区间例4-1续根据1900-1998年全球７+级地震发生次数的观察值，预测1999-2008年全球７+级地震发生次数。例4-1续:地震序列拟合与预测效果图MA(q)序列的预测预测值预测方差已知某地区每年常驻人口数量近似服从MA(3)模型（单位：万人）：最近3年的常驻人口数量及一步预测数量如下：预测未来5年该地区常住人口的95％置信区间例4-10例4-10解预测方差的计算预测值95%置信区间的计算ARMA(p,q)序列预测预测值预测方差已知ARMA(1,1)模型为：且

预测未来3期序列值的95％的置信区间。例4-11例4-11解预测值的计算预测方差的计算例4-11解预测值95%置信区间的计算修正预测定义所谓的修正预测就是研究如何利用新的信息去获得精度更高的预测值方法在新的信息量比较大时——把新信息加入到旧的信息中，重新拟合模型在新的信息量很小时——不重新拟合模型，只是将新的信息加入以修正预测值，提高预测精度修正预测原理在旧信息的基础上，的预测值为假设新获得一个观察值，则的修正预测值为修正预测误差为预测方差为一般情况假设新获得p个观察值，则的修正预测值为修正预测误差为预测方差为一般情况例3.16续假如四月份的真实销售额为100万元，求二季度后两个月销售额的修正预测值计算四月份的预测误差计算修正预测值计算修正方差例4-9续修正结果修正预测值修正预测方差修正置信区间THANKS04无季节效应的非平稳序列分析05本章内容Cramer分解定理0102差分平稳ARIMA模型疏系数模型0403

Cramer分解定理Cramer分解定理HaraldCramer(1893-1985)。瑞典人，斯德哥尔摩大学教授，著名的统计学家和保险精算学家。Cramer分解定理是Wold分解定理的推广。Wold分解定理是平稳序列的理论基础，Cramer分解定理是非平稳序列的理论基础。Cramer分解定理说明任何一个序列的波动都可以视为同时受到了确定性影响和随机性影响的综合作用。平稳序列要求这两方面的影响都是稳定的，而非平稳序列产生的机理就在于它所受到的这两方面的影响至少有一方面是不稳定的。

Cramer分解定理任何一个时间序列都可以分解为两部分的叠加：一部分是由时间ｔ的多项式决定的确定性成分另一部分是由白噪声序列决定的随机性成分确定性影响随机性影响本章内容Cramer分解定理0102差分平稳ARIMA模型疏系数模型0403差分运算一阶差分p阶差分k步差分差分运算的实质差分方法是一种非常简便、有效的确定性信息提取方法Cramer分解定理在理论上保证了适当阶数的差分一定可以充分提取确定性信息差分运算的实质是使用自回归的方式提取确定性信息

趋势平稳序列实现平稳的方法比较假定序列为一元线性趋势序列对该序列拟合线性模型：对该序列进行一阶差分差分平稳序列实现平稳的方法比较假定序列为差分平稳序列对该序列进行一阶差分：对该序列拟合线性模型差分方式的选择无论是趋势平稳还是差分平稳序列，通常都用差分方式提取非平稳信息。序列蕴含着显著的线性趋势，通常一阶差分就可以实现趋势平稳序列蕴含着曲线趋势，通常低阶（二阶或三阶）差分就可以提取出曲线趋势的影响对于蕴含着固定周期的序列，进行步长为周期长度的差分运算，通常可以较好地提取周期信息

例5-1尝试提取1964-1999年中国纱年产量序列中的确定性信息

。例5-1一阶差分提取确定性信息中国纱产量序列蕴涵着显著的线性递增趋势。对该序列进行１阶差分提取线性趋势信息。1阶差分后时序图如下图所示差分后时序图显示：1阶差分后序列呈现出非常平稳的波动特征，这说明１阶差分运算非常成功地从原序列中提取出线性趋势。例4.2尝试提取1950—1999年北京市民用车辆拥有量序列的确定性信息例5-2差分后序列时序图一阶差分二阶差分1阶差分没有实现趋势平稳2阶差分实现趋势平稳，但方差非齐例4.3利用差分运算提取1962年1月至1975年12月平均每头奶牛的月产奶量序列中的确定性信息

。例5-3差分后序列时序图一阶差分1阶－12步差分１阶差分后线性递增信息被提取，残留稳定的季节波动和随机波动。周期步长差分可以非常好地提取周期信息过差分

从理论上而言，足够多次的差分运算可以充分地提取原序列中的非平稳确定性信息。但应当注意的是，差分运算的阶数并不是越多越好。因为差分运算是一种对信息的提取、加工过程，每次差分都会有信息的损失。在实际应用中差分运算的阶数得适当，应当避免过度差分的现象。例4.4假设序列如下

考察一阶差分后序列和二阶差分序列的平稳性与方差

例5-4比较一阶差分平稳方差小二阶差分（过差分）平稳方差大本章内容Cramer分解定理0102差分平稳ARIMA模型疏系数模型0403ARIMA模型结构使用场合差分平稳序列的拟合模型结构ARIMA模型族d=0ARIMA(p,0,q)=ARMA(p,q)p=0ARIMA(0,d,q)=IMA(d,q)q=0ARIMA(p,d,0)=ARI(p,d)d=1,P=q=0ARIMA(0,1,0)=randomwalkmodel（随机游走模型）特殊的ARIMA模型随机游走模型(randomwalk)模型结构模型使用场合KarlPearson(1905)在《自然》杂志上提问：假如有个醉汉醉得非常严重，完全丧失方向感，把他放在荒郊野外，一段时间之后再去找他，在什么地方找到他的概率最大呢？这个醉汉的行走轨迹就是一个随机游走模型。传统的经济学家普遍认为投机价格的走势类似于随机游走模型，随机游走模型也是有效市场理论的核心。随机游走模型ARIMA模型的平稳性ARIMA(p,d,q)模型共有p+d个特征根，其中p个在单位圆内，d个在单位圆上。

所以当

时ARIMA(p,d,q)模型非平稳。ARIMA(0,1,0)拟合序列时序图

ARIMA模型的方差齐性（以ARIMA(0,1,0）为例）时，原序列方差非齐性d阶差分后，差分后序列方差齐性ARIMA模型建模步骤获得观察值序列平稳性检验差分运算YN白噪声检验Y分析结束N拟合ARMA模型例4.9对1889—1970年美国国民生产总值平减指数序列建模例5-6差分平稳一阶差分时序图ADF检验结论：平稳非白噪声序列白噪声检验模型定阶一阶差分后序列自相关图一阶差分后序列偏自相关图１阶差分后序列的自相