应用时间序列分析

应用时间序列分析(讲稿)白鹏时间序列§1.1时间序列的分解A.时间序列所谓(随机)时间序列,简单地说,就是按某种次序排列的一族随机变量:(1.1)例如,以表示某股票在第个交易日的最高价,那么得时间序列:(1.2)当获得了时间序列中每一随机变量的观测值后,就得到了该序列的〞一次实现〞或〞一条轨道〞:(1.3)时间序列分析的主要任务就是,依据观测数据的特点,为之建立尽可能合理的统计模型,然后利用模型的统计特性,去揭示数据的统计规律,以到达控制或预测的目的.B.时间序列的分解在经验上,可以将时间序列分解为(1.4)其中和分别表示趋势项,季节项和随机项.C.时间序列和随机过程定义1.1设为一指标集,假设对每一,均有一随机变量与之对应,那么称随机变量的集合:(1.5)为随机过程.当随机过程中表示时间指标集时,称为时间序列.对连续时间序列离散采样以得到.§1.2平稳序列A.时间序列的自协方差和自相关函数定义2.1设为一复值随机变量(即和为实值随机变量),假设和的均值和都存在,那么定义的均值为(2.1)定义的方差为(2.2)对于复值随机变量和,定义与的协方差为(假设存在的话)(2.3)易知性质2.1设和为复值随机变量,那么.定义2.2设为复值时间序列(即为复值随机变量,),假设的均值(2.4)在上存在,那么称为的均值函数.假设与的协方差(2.5)在上存在,那么称二元函数为的自协方差函数.假设与的相关系数(2.6)在上存在,那么称二元函数为的自相关函数.B.平稳序列及其自协方差和自相关函数定义2.3设为复值时间序列,假设(1)是常数,,(2)只与有关,,那么称是(二阶)平稳的.平稳序列的轨道是由在某一水平线附近等幅波动的点构成的.假设平稳,那么这说明了,平稳序列的一和二阶矩对指标的〞平移变换〞具有不变性.当平稳时,可分别简记其自协方差和自相关函数为(2.7)有(2.8)显有定理2.1设为复值时间序列,那么平稳(1)是常数,,(2)只与有关,.性质2.2设是平稳复值时间序列,那么(1)(2)序列非负定.(3)证明:(1)由的意义(见(2.7))和性质2.1知(2)需证:对任意正整数及,阶自协方差阵是非负定阵.为此,任取复数,记,有故是非负定阵.(3)由Cauchy-Schwarz不等式.∎推论2.1设是平稳实值时间序列,那么(1)是偶函数,(2)序列非负定.例2.1(调和平稳序列)设和为实常数,在上均匀分布,令(2.9)其中表示整数集.由于故由定理2.1知,平稳.∎图2.1的一次实现C.白噪声序列定义2.4设为一复值时间序列,假设(1)是常数,,(2),其中表示Kronecker符号,即(2.10)那么称为白噪声序列,记为.假设,那么称为标准白噪声序列.由此定义可知,白噪声序列是由两两不相关的,具有相同均值和方差的随机变量构成的平稳序列.白噪声序列在时间序列分析中起着〞构件〞的作用.例2.2设和为实常数,独立同分布,在上均匀分布,令(2.11)那么独立,且故是独立的∎图2.2的一次实现D.序列的正交与不相关定义2.5对于序列和,(1)假设与正交(即),,那么称和正交.(2)假设与不相关,,那么称和不相关.易知,当和中之一为零均值序列时,和正交和不相关.显有定理2.2设序列和平稳,和为复常数,令那么(1)当和正交时,平稳,且其中和分别表示和的均值,和分别表示,和的自协方差函数.(2)当和不相关时,平稳,且§1.3线性平稳序列和线性滤波A.有限移动平均定义3.1设,为复常数,,令(3.1)称为的有限移动或滑动平均.下面考虑的平稳性.由于(3.2)(3.3)因此,平稳,且其自协方差函数为(3.4)这说明了,的自协方差函数是步截尾的(即).B.线性平稳序列定义3.2设,为复常数,数列绝对可和(即),令(假设下式右端的级数收敛的话)(3.5)称为的线性序列.下面考虑(3.5)右端级数的收敛性.为此,需要以下引理.引理3.1(单调收敛定理,[1])假设是非负可测函数序列,且,那么∎推论3.1假设随机变量序列非负不减(即),而,那么.∎将此推论应用于单调不减的非负随机变量序列,有(3.6)因此,,故.下面考虑由(3.5)定义的线性序列的平稳性.为此,需要以下引理.引理3.2(控制收敛定理,[1])设可测函数序列满足:,,,而或,那么,因而∎推论3.2设随机变量序列满足:,,而,那么,且.∎将此推论应用于随机变量序列,有由此及(3.6)知(3.7)令那么因此,.而且由单调收敛定理有故由控制收敛定理得由此及(3.7)知,线性序列平稳,且其自协方差函数为(3.8)进而有定理3.1设,为复常数,数列平方可和(即),那么序列均方收敛于某一随机变量(当时)(即),记作且由(3.12)定义的序列为一零均值平稳序列,其自协方差函数由(3.8)给出.证明从略.∎引理3.3(Cauchy准那么)设为一复值随机变量序列,那么均方收敛于某一随机变量时,有.∎C.线性滤波定义3.3设平稳,为复常数,数列绝对可和,令(假设下式右端的级数收敛的话)(3.9)称为的线性滤波.仿照上述对线性序列的讨论可知,(3.9)右端的无穷级数几乎必然收敛,由其定义的序列平稳,此序列的均值为(3.10)自协方差函数为(3.11)定理3.2设平稳序列的自协方差函数由(3.8)给出,而数列平方可和,那么.证明:利用Cauchy不等式有∎§1.4正态时间序列A.多元正态分布定义4.1设随机变量独立同分布,,记,和分别为维实常数列向量和实常数矩阵,令(4.1)称服从参数为的元正态分布,记为.易知,假设,那么(4.2)定理4.1设,那么的特征函数为(4.3)此定理和(4.2)说明了,多元正态分布由其均值和协方差阵唯一确定.定理4.2证明:由特征函数.∎B.正态序列定义4.2设为一实值序列,假设对任意正整数及,维随机向量都服从正态分布,那么称是正态的.假设平稳序列是正态的,那么称是正态平稳的.引理4.1假设正态序列依分布收敛于,那么也是正态的,且定理4.3设是正态，为实常数,数列绝对可和(即),令(4.4)那么线性平稳序列是正态的.证明:由定义4.2知,欲证是正态的,需证:对任意正整数及,维随机向量都服从正态分布.而由定理4.1知,这等价于证明:对任意实常数向量,都是正态的.注意到由(4.4)得而由于是正态的,因此,序列是正态的,故由引理4.1知,是正态的.∎§1.5严平稳序列定义5.1设为一序列,假设对任意正整数及,随机向量与都同分布,那么称是严平稳的.序列的严平稳性意味着分布对指标的〞平移变换〞具有不变性.一般地,平稳性与严平稳性两者之间无确定的关系.显有定理5.1设为一正态序列,那么平稳严平稳.§1.6Hilbert空间中的平稳序列从略.§1.7平稳序列的谱分析A.平稳序列的谱分布函数当复值平稳序列有周期(即)时,有这说明了,自协方差函数也有周期.故可通过研究平稳序列自协方差函数的周期性去揭示平稳序列的周期性.定理7.1(Herglotz定理)设为一复值平稳序列,那么有定义在上的唯一的右连续非降函数,满足:及(7.1)此定理说明了,对复值平稳序列的自协方差函数总是可以进行Fourier分析的.定义7.1称定理7.1中的为的谱分布函数.平稳序列的谱分布函数在附近的变化反映了相应的周期函数对自协方差函数的〞奉献〞.例7.1设随机变量和η满足:为常数,令(7.2)易知,序列平稳,其自协方差函数为(7.3)假设引入集合的示性函数:(7.4)定义上的函数为(7.5)那么,作为阶梯函数,在和两处均跃迁了,故因此,由定义7.1知,是的谱分布函数.∎由定理2.2立得定理7.2设序列和平稳,和为复常数,令那么当和不相关时,平稳,且其中分别表示,和的谱分布函数.∎图7.1B.平稳序列的谱密度函数定义7.2设是复值平稳序列的谱分布函数,假设有定义在上的非负函数,致(7.6)那么称为的谱密度函数.平稳序列的谱密度函数在处的数值反映了相应的周期函数对自协方差函数的〞奉献〞.显知,复值平稳序列的谱密度函数(假设存在的话)是唯一的.定理7.3定义在上的非负函数是复值平稳序列的谱密度函数⇔(7.7)MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\h证明:〞⇒〞:显然.“⇐〞:令那么,在上右连续非降,且由(7.7)知故由定义7.1知,为的谱分布函数,从而,由定义7.2知,是的谱密度函数.∎定理7.4实值平稳序列的谱密度函数(假设存在的话)是偶函数.证明:设非负函数是实值平稳序列的谱密度函数,那么有因此,由定理7.3知,是的谱密度函数,故,即是偶函数.∎定理7.5设为一复值平稳序列,假设其自协方差函数绝对可和,那么有以下谱密度函数:(7.8)MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\h证明:由于因此,由控制收敛定理3.2知(7.9)而将其代入(7.9)中得(7.10)往证在上非负,从而由(7.10)知,是的谱密度.为此,令(7.11)那么有(7.12)利用Kronecker引理可得由此及(7.12)得(7.13)而由(7.11)知由此及(7.13)即得∎附注(Kronecker引理)假设复值级数收敛,数列单调上升趋于(),那么(7.14)推论7.1设,那么的谱密度函数为:定理7.6设为一复值平稳序列,为复常数,数列绝对可和,令(7.15)(1)的谱分布函数可表为其中表示的谱分布函数.(2)当有谱密度函数时,有以下谱密度函数:证明:(1)注意到的自协方差函数为(7.16)而因此,由控制收敛定理3.2和(7.16)得这说明了是的谱分布函数.(2)当有谱密度函数时,由(1)知故由定义7.2知,有谱密度函数∎由此定理和推论7.1得推论7.2设是由定义3.2给出的线性平稳序列,那么的谱密度函数为例7.2设,令,那么由推论7.2知,线性平稳序列的谱密度函数为谱分布函数为图7.2序列的谱密度函数图7.3序列的谱分布函数定理7.7设为一复值平稳序列,假设其自协方差函数绝对可和,为的谱密度函数,那么MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\h证明:由定理7.5知因此而因此,由控制收敛定理3.2知∎自回归模型§2.1后移算子和常系数线性差分方程A.后移算子设为一复值序列,定义后移算子为(1.1)定义的次幂为(1.2)定义的多项式(系数为复数)为(1.3)定义的无穷级数(系数为复数)为(假设下式右端级数收敛的话)(1.4)定理1.1设关于的次多项式(系数为复数,)在复数集中的零点为,那么可将后移算子的多项式表为(1.5)上式右端的算子定义为(1.6)MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\h证明:对用数学归纳法.∎B.常系数线性差分方程定义1.1设和为两个复值序列,为复数,,称以下关系式(1.7)为满足的阶常系数线性差分方程.假设,那么称(1.7)为阶常系数齐次线性差分方程.设为一复值序列,定义(一阶)差分算子为(1.8)即.定义阶差分算子为(1.9)即.由定理1.1知(1.10)此外,可证(1.11)故(1.12)由此可将阶常系数线性差分方程表为其中,即(1.13)上式右端最高阶差分的系数为.这正是(1.7)被称为阶常系数线性差分方程的原因.称的次多项式(1.14)为方程(1.7)的特征多项式.可将阶常系数线性差分方程(1.7)表为(1.15)注意到由(1.7)知因此,阶常系数线性差分方程(1.7)的解由初始值唯一确定.由于初始值可任意选定,因此,阶常系数线性差分方程(1.7)有无穷多个解(这是用递推法求解线性差分方程的解).定理1.2假设阶常系数齐次线性差分方程(1.16)的特征多项式在复数集中互异的零点为,的重数为,,那么此方程的通解为(1.17)其中为常数,由初始值唯一确定.且方程(1.16)的任一解皆可表示为(1.17)的形式.由此定理可证:假设特征多项式的零点都在单位圆之外(即),那么有常数,致(1.18)称被负指数函数控制.例1.1试求以下线性差分方程的通解:(1)(2)(3)解:(1)所给二阶齐次线性差分方程的特征多项式为其零点为故所求通解为其中和为常数.(2)所给二阶齐次线性差分方程的特征多项式为其零点为故所求通解为其中和为常数.(3)所给二阶齐次线性差分方程的特征多项式为其零点为故所求通解为其中和为常数.定理1.3假设阶常系数齐次线性差分方程(1.16)中系数均为实常数,那么对应于特征多项式的重共轭零点方程(1.16)有个实解而方程(1.16)的实通解是形如上式中实解的线性组合.例1.2试求三阶线性差分方程的通解.解:所给三阶齐次线性差分方程的特征多项式为其零点为故所求通解为其中和为常数.§2.2自回归模型及其平稳性定义2.1(AR()模型)设,为常数,,那么称序列所满足的阶常系数线性差分方程:(2.1)为阶自回归模型,记为AR()模型(AutoregressiveModelofOrder).满足阶自回归模型的平稳序列称为阶自回归序列,记为AR()序列(AutoregressiveSeriesofOrder).当时,称(2.1)为中心AR()模型.定理2.1假设阶常系数线性差分方程(2.1)的特征多项式有零点位于单位圆上,那么不存在AR()序列满足AR()模型(2.1).证明:设的零点为,那么由定理1.1和(1.15),可将AR()模型(2.1)表为(2.2)当有零点位于单位圆上时,不失一般性,设.令(2.3)那么由(2.2)得(2.4)这说明了,序列满足一AR(1)模型.注意到由(2.3)知,假设平稳,那么也平稳.因此,只要能证明不存在AR(1)序列满足AR(1)模型(2.4),就证明了不存在AR()序列满足AR()模型(2.1).用反证法.为此,反复利用(2.4)有因此,假设平稳,那么即注意到,可记.再记,那么由上式知即故这是不可能的.∎定理2.2对于AR(1)模型(2.5)有(1)当时,有以下唯一的AR(1)序列满足此模型:(2.6)(2)当时,有以下唯一的AR(1)序列满足此模型:(2.7)证明:(1)当时,反复利用(2.5)得由此可知,假设是满足模型(2.5)的AR(1)序列,那么有故注意到绝对可和,从而由上式得(2)当时,反复利用(2.5)得由此可知,假设是满足模型(2.5)的AR(1)序列,那么有故注意到绝对可和,从而由上式得∎此定理说明了,当时,在AR(1)序列中,“现在〞时刻的是通过在〞现在〞时刻及〞过去〞时刻的数值表示的,因此,称是〞因果的〞.而当时,在AR(1)序列中,“现在〞时刻的是通过在〞将来〞时刻的数值表示的,因此,称是〞非因果的〞.从逻辑上讲,非因果的序列是不能被接受的.定理2.3对于AR(p)模型(2.1),假设特征多项式的零点都不位于单位圆上,那么有唯一的AR()序列满足此模型,且当有零点位于单位圆内时,满足模型的AR()序列是非因果的.定义2.2(AR()模型的平稳域)称集合为AR(p)模型(2.1)的平稳域.例2.1实系数AR(2)模型(2.8)的平稳域为例2.2实系数AR(3)模型(2.9)的平稳域为定理2.4设是满足AR(p)模型(2.1)的(因果)AR(p)序列,那么有(2.10)其中序列称为Wold系数,由下式确定:(2.11)在定理2.4中,从出发,通过递推依次得到,再通过求解阶常系数齐次线性差分方程:(2.12)得到,由初始值确定通解中的常数.由于方程(2.12)的特征多项式的零点都在单位圆之外,因此由上所述,Wold系数被负指数函数控制,从而，AR(p)序列是线性平稳序列.由第一章§1.3知,AR(p)序列的均值为(2.13)自协方差函数为(2.14)例2.3满足AR(1)模型(2.5)的AR(1)序列由(2.6)给出,其自协方差函数为(2.15)自相关函数为(2.16)§2.3AR序列的谱密度和Yule-Walker方程A.AR序列的谱密度定理3.1设是满足AR(p)模型(2.1)的(因果)AR(p)序列,那么其谱密度为(3.1)证明:由定理2.4和第一章§1.7推论7.2知,有以下谱密度(3.2)记,,那么有而由定理2.4知故,由此及(3.2)即得(3.1).∎例3.1满足实系数AR(1)模型(2.5)的AR(1)序列的谱密度为(3.3)定理3.2假设平稳序列有谱密度其中为常数,为的次多项式,那么为一AR()序列.证明:令那么是的线性滤波,因此,平稳,且由第一章定理7.5(2)知,的谱密度为故为一白噪声序列,从而由知,为一AR()序列.∎B.Yule-Walker方程设是满足AR(p)模型(2.1)的AR(p)序列,用与(2.1)两边求协方差得(3.4)注意到而由及Cauchy-schwarz不等式有故有这里约定,将其带入(3.4)中得(3.5)在上式中分别取可得Yule-Walker方程(3.6)及(3.7)在Yule-Walker方程(3.6)中,假设自回归系数和方差,可据之求出,然后,再通过求解齐次线性差分方程(3.7)以得到.反之,假设,那么可由Yule-Walker方程(3.6)求出.C.自协方差函数的正定性定理3.3设平稳,是其阶自协方差阵.(1)假设有谱密度,那么.(2)假设,那么.证明:(1)用反证法.假设有,致不正定,那么有不全为零的复常数,致故(3.8)假设记,那么作为的至屡次多项式,在复数集中至多有个零点,从而,作为的函数在中至多有个零点,因此,由(3.8)得从而这与矛盾.(2)用反证法.注意到当某一不正定时,所有都不正定(这是因为由不正定,有,致,从而,,,所以,都不正定),因此,假设不成立,那么有,致都正定,而都不正定,从而有,致.记,,那么有,致,因此且(这是因为假设,那么而,这与正定矛盾),故,这说明了,在序列相邻的个随机变量中,最后一个可被前个线性表示,反复利用这一结果,有(3.9)设的谱分解为其中为阶酉阵(即满足),是的依升序排列的特征值,,那么由(3.9)得故,故由(3.9)有这与矛盾.∎推论3.1线性平稳序列的自协方差阵总是正定的.由此推论即知,AR(p)序列的自协方差阵总是正定的.§2.4平稳序列的偏相关函数和Levinson递推公式在时间序列中,由于之间存在着随机变量,因此之间的相关性会受到的影响.此时,使用普通的相关系数就往往无法反映出随机变量之间〞真实的〞相关程度.为了消除对相关性的影响,令(4.1)其中和由下式确定:(4.2)与之间的相关系数度量了在消除对相关性的影响后,之间〞真实的〞相关程度.定义4.1在上述记号下,称与之间的相关系数(假设存在的话)为序列的偏相关函数.定理4.1序列的偏相关函数为证明:首先证明(4.1)中的由下式确定:即其实,这是由于且上式中等号成立当且仅当同理可得关于的结论.其次,由上所述有(当可逆时)故由此及定义4.1明所欲证.∎推论4.1平稳序列的偏相关函数,其中由下式确定:(4.3)此定理说明了,平稳序列的偏相关函数对时间坐标的平移变换具有不变性.定理4.2(Levinson递推公式)对于平稳序列,定理4.1中的有以下递推计算公式:(4.4)证明:由得(4.5)和(4.6)由(4.5)及(4.7)可得(4.8)引入矩阵那么将以上两式代入(4.8)中,并利用(4.7)得(4.9)将其代入(4.6)得由此及(4.9)即得(4.4).∎定理4.3平稳序列是AR()序列的偏相关函数是步截尾的(即).证明:〞〞:当是AR()序列时,由(3.6)和(3.7)知注意到AR()序列自协方差阵总是正定的,因此由上式及(4.3)即得故偏相关函数是步截尾的.〞〞:当平稳序列的偏相关函数步截尾时,设由下式确定:(4.10)那么有(4.11)因此,.令(4.12)往证是一白噪声序列,从而,是AR()序列.首先,由平稳知,平稳.由(4.10)得(4.13)其中.由(4.3)有(4.14)由此及可得由此及(4.14)知(4.15)由此及和(4.11)得故由(4.14)有由此及(4.12)知综合上式和(4.13)得故由(4.12)得故是一白噪声序列.∎§2.5AR序列举例从略.滑动平均与自回归滑动平均模型§3.1滑动平均模型A.MA模型定义1.1(MA()模型)设,为常数,,那么称为阶滑动平均模型,记为MA()模型(MovingAverageModelofOrder),而称阶滑动平均序列,记为MA()序列(MovingAverageSeriesofOrder).由第一章§1.3A知,MA()序列平稳,其均值函数为其中,自协方差函数为这说明了,的自协方差函数是步截尾的(即).由第一章推论7.2知,作为线性平稳序列,的谱密度函数为其中.定理1.1平稳序列是MA()序列有谱密度其中为常数,为的次多项式.定理1.2假设平稳序列有恒正的谱密度,那么当的自协方差函数步截尾的时,是MA()序列.定义1.2对于MA()模型(1.1),假设能将其中表为那么称模型(1.1)是可逆的,并称(1.5)是此模型的逆转形式.定理1.3假设MA()模型(1.1)有逆转形式(1.5),那么(1)(2)由下式确定:(1.6)证明:(1)当MA()模型(1.1)有逆转形式(1.5)时,有故有(2)当MA()模型(1.1)有逆转形式(1.5)时,有因此,由(1)得故从而有由此即得(1.6).∎在定理1.3(2)中,从,通过递推依次得到,再求解阶齐次线性差分方程(1.7)得到通解,以初始值确定通解中的常数.进而有定理1.4模型(1.1)可逆次多项式的零点都在单位圆外.定义1.3称集合为MA()模型(1.1)的可逆域.例1.1实系数MA(2)模型(1.8)的可逆域为B.MA序列举例例1.2对实系数MA(1)模型(1.9)MA(1)序列的自协方差函数是(1.10)自相关函数是(1.11)偏相关函数是(1.12)谱密度函数为(1.13)图1.1MA(1)序列的谱密度图1.2MA(1)序列的偏相关函数§3.2自回归滑动平均模型A.ARMA模型定义2.1(ARMA()模型)设,,为常数,,,多项式与无公共零点,那么称序列所满足的阶常系数线性差分方程:(2.1)为阶自回归阶滑动平均模型,记为ARMA()模型(AutoregressiveandMovingAverageModelofOrder()).满足ARMA()模型的平稳序列称为阶自回归阶滑动平均序列,记为ARMA()序列(AutoregressiveandMovingAverageSeriesofOrder()).当时,称(2.1)为中心ARMA()模型.仿照对AR()模型的讨论(第二章定理2.1),我们有定理2.1对于ARMA()模型(2.1),当特征多项式有零点在单位圆上时,不存在ARMA()序列满足此模型.定理2.2对于ARMA()模型(2.1),当特征多项式的零点都不在单位圆上时,有ARMA()序列满足此模型;且当有零点在单位圆内时,满足此模型的ARMA()序列是非因果的.定义2.2称集合为ARMA()模型(2.1)的平稳域.定理2.3对于ARMA()模型(2.1),当特征多项式的零点都在单位圆外时,满足此模型唯一的(因果)ARMA()序列由下式确定:(2.2)其中称为Wold系数,由下式确定:(2.3)在定理2.3中,(1),从出发,通过递推依次得到,然后求解阶齐次线性差分方程以得到通解,以初始值确定通解中常数.(2),从出发,通过递推依次得到,然后求解阶齐次线性差分方程以得到通解,以初始值确定通解中常数.(3),从出发,通过递推依次得到,然后求解阶齐次线性差分方程以得到通解,以初始值确定通解中常数.由上述,(2.2)中的Wold系数被负指数函数控制,从而,绝对可和,故ARMA()序列是线性平稳序列,其均值函数为(2.4)自协方差函数为(2.5)定义2.3对于ARMA()模型(2.1),假设能将其中表为(2.6)那么称模型(2.1)是可逆的,并称(2.6)是此模型的逆转形式.定理2.4ARMA()模型(2.1)可逆次多项式的零点都在单位圆外.定义2.4称集合为ARMA()模型(2.1)的可逆域.定理2.5当次多项式的零点都在单位圆外时,ARMA()模型(2.1)有逆转形式(2.6),其中由下式确定:(2.7)B.ARMA序列的自协方差函数设是满足ARMA()模型(2.1)的ARMA()序列,用与(2.1)两边求协方差得(2.8)注意到而由及Cauchy-schwarz不等式有故有这里约定.将上式代入(2.8)得(2.9)由此可得(2.10)这是关于序列的阶齐次线性差分方程,以为初始值.例2.1求满足实系数ARMA()模型(2.11)的ARMA()序列的自协方差和自相关函数.解:在(2.9)中取得(2.12)在上式中分别取得而由定理2.3知,,将其代入上式,并解所得方程组得在(2.12)中取得这是一阶齐次线性差分方程,以为初始值,有故图2.2ARMA()序列的自相关函数C.ARMA序列的谱密度设是满足ARMA()模型(2.1)的ARMA()序列,那么由定理2.3和第一章推论7.2知,有谱密度(2.13)记,,,,,那么有而由定理2.3知故因此,,从而由(2.13)得(2.14)这说明了ARMA()序列具有有理谱密度.例2.2满足实系数ARMA()模型(2.11)的ARMA()序列具有谱密度图2.2ARMA()序列的谱密度定理2.6平稳序列为ARMA序列具有有理谱密度.§3.3求和自回归滑动平均模型定义3.1对于序列,假设其阶差分序列满足ARMA()模型(2.1),即(3.1)那么称满足的阶线性差分方程(3.1)为阶求和阶自回归阶滑动平均模型,记为ARIMA()模型(IntegratedAutoregressiveandMovingAverageModelofOrder(p,d,q)),而称为阶求和阶自回归阶滑动平均序列,记为ARIMA()序列(IntegratedAutoregressiveandMovingAverageSeriesofOrder(p,d,q)).定理3.1设序列满足ARIMA()模型(3.2)那么当不是的零点时,不平稳.证明:当不是的零点时,(3.2)为一ARMA()模型:其中有零点1,因此,由定理2.1知,不平稳.∎均值和自协方差函数的估计§4.1均值的估计假设已获得了平稳序列在相邻个时刻的观测值,那么可用样本均值(1.1)估计序列均值.定理1.1沿用以上记号,有(1)是的无偏估计.(2)假设,那么.证明:(1)显然.(2)由于(1.2)因此(1.3)故,有这说明了,.∎定理1.2设是独立同分布的,绝对可和,是由(1.4)定义的线性平稳序列,假设其谱密度在处连续,且,那么(1.5)其中,表示依分布收敛.证明:见[2]推论5.2.∎§4.2自协方差函数的估计假设已获得了平稳序列在相邻个时刻的观测值,那么可用样本自协方差函数(2.1)估计自协方差函数,相应地,可用样本自相关函数(2.2)估计自相关函数.假设平稳序列是零均值的,那么可用样本自协方差函数(2.3)估计自协方差函数.易知,此时,是的无偏估计.定理2.1沿用以上记号,假设,那么(2.1)中的是的渐近无偏估计,.证明:由(2.1)有(2.4)而由Cauchy-Schwarz不等式得故由(2.4)和定理1.1证明中(1.3)得∎定理2.2设是独立同分布的,平方可和,是由(2.5)定义的平稳序列,当其谱密度(2.6)平方可积(即)时,对于独立同分布的正态,定义正态时间序列和如下:(2.7)(2.8)其中,那么有(1).(2).引理2.1设平稳,假设自协方差函数平方可和,那么有谱密度(2.9)且(2.10)反之,假设的谱密度平方可积,那么自协方差函数平方可和.推论2.1在定理2.2中,假设,且自协方差函数平方可和,那么定理2.2的结论成立.定理2.3设是独立同分布的,由(2.5)定义.假设自协方差函数平方可和,且对某个常数,有(2.11)那么,(2.12)其中由(2.8)定义.证明:见[3].∎推论2.2假设是独立同分布的中,那么有(1).(2)当时,有.§4.3白噪声检验由推论2.2有定理3.1假设是独立同分布的中,那么(3.1)据此定理,可以考虑检验假设(3.2)使用检验统计量(3.3)当时,在水平下拒绝原假设,其中是分布的上侧分位点.时间序列的预报§5.1最正确线性预测A.最正确线性预测假设随机变量,需对随机变量进行预测(实为估计),那么可考虑用的线性函数作为的线性预测,这里为常数,.此时,可用预测的均方误差(MeanSquareError)说明预测的效果.定义1.1沿用上述记号,假设(1.1)是在的所有线性预测中均方误差最小者,那么称之为的最正确线性预测.定理1.1设的二阶矩存在且有限,那么的最正确线性预测存在且a.s.唯一,相应的和由以下预测方程确定:(1.2)证明:首先证明关于和的方程(1.2)有解,这只需要证明第一个方程有解.设非负定阵的谱分解为(1.3)其中,,为的秩,为阶酉阵(即满足).令,那么方程(1.2)中第一个方程可等价地表为(1.4)其中.而由(1.3)得因此由此可将方程(1.4)表为此方程显然有解.从而,预测方程(1.2)有解.其次证明假设和是方程(1.2)的解,那么是的最正确线性预测.其实,对任意常数,,有(1.5)故由定义1.1知,是的最正确线性预测.最后证明的最正确线性预测是a.s.唯一的.设和是方程(1.2)的解,从而是的最正确线性预测,假设也是的最正确线性预测,那么由(1.5)必有从而故.∎由定理1.1立得定理1.2(1)(2)设是随机变量,和为常数,那么(3)假设随机变量是的线性函数,即,为常数,那么设随机向量与随机向量不相关,那么(5)是的最正确线性预测(6)假设,那么,且.(7)设和分别是和维随机向量,,和为常数阵,和为常向量,那么.证明:只证(6)和(7).(6)由于因此,由(5)知,.由定义1.1及的意义即得.(7)由(5).∎B.最正确预测定义1.2沿用上述记号,假设是在的所有预测中均方误差最小者,那么称之为的最正确预测.定理1.3的最正确预测为.定理1.4假设服从正态分布,那么的最正确线性预测即为的最正确预测.§5.2非决定性平稳序列对于平稳序列,记及(2.1)由定理1.2之(5)知,是的单调递减函数,因此(2.2)存在.定理2.1及与无关.证明:由定理1.1及平稳可知,在的表达式中,的系数及常数项均与无关,因此,由定义的序列平稳,从而及与无关.∎定义2.1沿用上述记号,称为步预测的均方误差.假设,那么称平稳序列是决定性的,否那么,称平稳序列是非决定性的.例2.1假设平稳序列的某阶自协方差阵是退化的,那么此序列是决定性的.例2.2白噪声序列是非决定性的.定理2.2是的单调不减函数.证明:由定理1.1之(5)和2.1有故∎定义2.2设平稳序列是非决定性的,假设,那么称平稳序列是纯非决定性的.定理2.3设平稳序列是纯非决定性的,那么证明:由定理1.2(1)知因此∎§5.3时间序列的递推预测设是方差有限的时间序列,考虑时,对进行预测的问题.令(3.1)即以表示用对进行最正确线性预测时得到的预测误差,.由定理1.2(1)和(5)可知,新息序列为一零均值正交序列.此外有(3.2)此式和(3.1)说明了,与可互相线性表示,因此由定理1.2(7)知(3.3)由上所述,与可互相线性表示,因此由定理1.2(7)可记(3.4)那么由定理1.2(2),(3)和(6)知(3.5)记(3.6)那么由定理1.2(1)知(在(3.4)中取为)(3.7)进而,用与(3.4)两边求协方差得(3.8)而将其代入(3.8)中得(3.9)定理3.1(新息递推算法)设时间序列方差有限,其在相邻个时刻的观测值,令(3.10)那么当的阶自协方差阵正定时,可将表为(3.11)其中系数和预测的均方误差由以下递推关系式确定:(3.12)递推的次序是(3.13)∎附注用表示的关系式为(3.14)推论3.1设时间序列平稳,其在相邻个时刻的观测值,令(3.15)那么当的阶自协方差阵正定时,可将表为(3.16)其中系数和预测的均方误差由以下递推关系式确定:(3.17)递推的次序是(3.18)∎§5.4序列的递推预测A.序列的预测设是满足模型(4.1)的序列,其中.时,的最正确线性预测为由于与不相关,因此从而有(4.2)这是关于的阶常系数线性差分方程,以为初始值.当时,有(4.3)(4.2)和(4.3)说明了,当时,只与有关,从而(4.4)例4.1设是满足模型(4.5)的序列,其中.时,有由此可得故这说明了序列是纯非决定性的.B.序列的预测例4.2设是满足模型(4.6)的序列,其中.将推论3.1应用于可得C.序列的预测从略.模型的参数估计§6.1模型的参数估计设平稳序列满足以下中心模型():(1.1),在相邻个时刻的观测值,需对未知参数和进行估计.A.模型的Yule-Walker估计在Yule-Walker方程中,用样本自协方差函数代替,得到和的Yule-Walker估计(实为矩估计)和满足的方程:(1.2)利用计算平稳序列偏相关函数的Levinson递推公式(§2.4定理4.2)可得(1.3)据此递推计算求出(1.4)进而由(1.2)第一式得(1.5)B.模型的最小二乘估计在中心模型(1.1)中,假设将看成用估计得到的误差,,那么误差平方和为选择的估计(称为最小二乘估计)为以下极值问题的解:假设记那么易知满足以下线性方程组可以证明,方程(1.9)总是有解的.特别地,当可逆时,方程(1.9)有唯一解当得到了后,选择的最小二乘估计为C.模型的极大似然估计在中心模型(1.1)中,假设是正态的,那么序列也是正态的,从而其中.由此可知,的对数似然函数为(1.13)记用对作最正确线性预测得到的误差为,那么为两两正交的零均值随机变量,且由新息递推算法(§5.3定理3.1)有(1.14)记(1.15)那么由(1.14)可得(1.16)因此故将其代入(1.13)中得(1.17)据此考虑极值问题即得和的极大似然估计.例1.1考虑以下中心模型其中是正态的.设是满足模型(1.1)的序列,其在相邻的个时刻的观测值.此时有可得对数似然函数为由此可得由此解关于的方程可得时,的极大似然估计(MLE)为(1.18)故由此可得由此令可知,的MLE为以下一元三次方程的解:解此方程可得的MLE,然后代入(1.18)中得的MLE为D.模型的定阶问题在平稳序列满足中心模型(1.1),而阶数未知时,需要研究模型的定阶问题.1.(相关分析法)由于序列的特征是偏相关函数步截尾,因此确定的最自然的方法是:假设样本偏相关函数致,而,那么以作为的估计.2.(AIC准那么(AkaikeInformationCriterion))假定已有阶数的上界,引入AIC函数(1.19)其中是在时的某一估计,那么取在上的(从小到大的)第一个最小点作为的估计.3.(BIC准那么(BayesianInformationCriterion))假定已有阶数的上界,引入BIC函数(1.20)其中是在时的某一估计,那么取在上的(从小到大的)第一个最小点作为的估计.4.(FPE方法(FinalPredictionError))假定已有阶数的上界,引入FPE函数(1.21)其中是在时的极大似然估计,那么取在上的(从小到大的)第一个最小点作为的估计.E.模型的拟合检验依据观测数据,在得到了中心模型(1.1)中的阶数和自回归系数的估计和后,定义残差(1.22)根据残差序列检验是否为白噪声序列.F.序列谱密度的估计注意到满足中心模型(1.1)的序列的谱密度为因此在得到了阶数,自回归系数和方差的估计,和后,即得的估计(1.23)§6.2模型的参数估计设序列满足以下中心模型():(2.1)其中.在相邻个时刻的观测值,需对未知参数和进行估计.A.模型的矩估计在确定的未知参数的等式中,用样本自协方差函数代替,以得到和的矩估计和满足的方程组(2.2)这是关于和的非线性方程组.当时,(2.2)变为(2.3)从(2.3)中第二个方程解出得(2.4)将其代入(2.3)中第一个方程得(2.5)解之得(2.6)将其代入(2.4)中得(2.7)假设模型可逆,那么,选择和为(2.8)当时,(2.2)变为(2.9)从(2.9)后两个方程中解出和得(2.10)将其代入(2.9)中第一个方程得(2.11)这是关于的四次方程,有四个解,因此和有四个可能的解.当模型可逆时,有,选择为(2.12)式中〞〞依或而分别取〞〞或〞“.由(2.10)得(2.13)对于一般的,按照上述从到逐步消元解方程组(2.2),需要解关于的一元次代数方程.在时,只能用数值解法.一种数值解法:先将(2.2)改写为(2.14)给出和的一组初值和.然后,按照下面的迭代公式(2.15)得到和的第步迭代值和.最后,对于给定的精度,假设(2.16)那么停止迭代,以和作为和的估计.B.模型的定阶方法假设为一序列,而阶数未知,那么需对作出估计.1.当样本自相关函数从某点后均很小时,可以作为的估计.2.(AIC准那么)假定已有阶数的上界,引入AIC函数(2.17)其中是在时的某一估计,那么取在上的(从小到大的)第一个最小点作为的估计.C.序列的谱密度估计假设为满足模型(2.1)的中心序列,而已得到了滑动平均系数,方差和阶数的估计,和,那么可用(2.18)作为的谱密度的估计.§6.3模型的参数估计设平稳序列满足以下中心模型():(3.1)其中.在相邻个时刻的观测值,需对未知参数和进行估计.A.模型的矩估计在§3.2(2.10)中,分别取可得将上式中分别用样本自协方差函数代替,即得到的矩估计满足的线性方程组(3.2)令(3.3)那么由(3.1)得(3.4)这说明了为一序列.而由(3.3)可知,平稳,其自协方差函数为其中.由此可得的矩估计(3.5)其中.由此根据是满足模型(3.4)的序列,用§6.2中的方法得到和的矩估计.B.模型的极大似然估计参见§6.1中C.C.模型的定阶方法对于模型(3.1),当阶数未知时,需对其进行估计.１.(AIC准那么)假设和的上界分别为和,计算AIC函数(3.6)其中是时,的估计.取的最