非平稳有限参数模型

1、 第四节 求和模型一 求和模型的定义及解的形式n用平稳的ARMA(p,q)序列的求和所得到的非平稳时间序列，称为求和序列，它所满足的模型，称为求和模型。 n定义4.1 设 为随机序列，若满足下列条件：(1) 对任意t，(2) 存在正整数d,使得令 为ARMA(p,q)序列，即满足因此 满足 (4.1)则称(4.1)式为自回归求和滑动平均模型(Autoregressiveintegrated moving average).记为ARIMA(p,d,q),相应的序列 被称为ARIMA(p,d,q)序列。tX2|tXE., 2 , 1, 0dtEXtdjjtjdtdtdtXCXBw0,)1 (twt

2、tBwB)()(tXttdBXBB)()1)(tX n例4.1 设 为ARIMA(1,1,0)序列，有如下表达式令 ，则而 为AR(1)序列，即tXttXBB)1)(8 . 01 (ttXBw)1 ( 1,10 twXXtjjttwtttww18 . 0 nX序列的图形(sample2.4.1)-150-100-5005050100 150 200 250 300 350 400 450 500X n差分后(1-B)X，所得到的序列W-6-4-2024650100 150 200 250 300 350 400 450 500W nW的前15个ACF和PACF-0.20.00

3、.81.02468101214ACF-0.20.00.81.02468101214PACF n例4.2 ARIMA(1,2,1)(sample2.4.2) 令 则125 . 0)1)(8 . 01 (tttXBBttXBw2)1( 1,)1()()(110011100 twstXXtXwXXtXXtsstssiit -50000-40000-30000-20000-1000001000050100 150 200 250 300 350 400 450 500X n经过两次差分运算之后的序列W-8-404850100 150 200 250 300 350 400 450 5

4、00W nW的前15个ACF和PACF0.00.81.02468101214ACF-0.4-0.20.00.81.02468101214PACF ARIMA(p,d,q)的通解：是随机变量。是随机变量。，其中，其中，11011111101211 dtnnnnjjddtCCCwtCtCCXd n注1、以上两例的共同特征：具有较大的、不衰减的自相关函数并滞后一期特别大。非平稳的主要特征使得这些模型潜在的拖尾性不显著，我们可对各序列作差分使之显著。2、ARIMA(p,d,q)模型与多项式趋势的ARMA(p,q)模型 的区别。序列序列是是其中其中),(,10qpAR

5、MAYYtctccXttmmt 二、ARIMA模型的方差和自协方差 以ARIMA(0,1,1)为例： 000)1()1()1(,)1()1(1212110011nnttnttttttttttttttXXXXntnXXBXB 迭代得迭代得观察序列，当观察序列，当对从时间点对从时间点或或 )1)(1(1)1)(1(1)1)(1()1()()()()()1)(1()1()()1)(1(1)()1)(1(1)(,)1()1(2020202202202200 nktntnktXVarXVarXXCovXXCorrnktXXCovnktXVarntXVarnBXBktttkttkttktktttt从而从而

6、，有，有经计算，对时间点经计算，对时间点n特征：增增长长慢慢慢慢消消失失。随随这这说说明明自自相相关关函函数数很很大大，可可知知若若相相对对的的函函数数和和观观察察起起始始点点的的函函数数，也也是是时时间间点点时时间间差差异异仅仅是是变变化化的的。换换言言之之，它它不不从从而而不不是是不不随随时时间间推推移移的的，相相关关函函数数也也是是时时间间依依赖赖该该过过程程的的自自协协方方差差和和自自是是无无界界的的；时时，方方差差当当的的，即即对对过过程程的的方方差差是是时时间间依依赖赖kXXCorrkntkXVartXVarXVarktkttktt, 1)(43)(2);()(, 0 ARIMA1

7、0 三 方差平稳化变换 通常非平稳过程的方差随其水平变化而变化，即 问题：对一些正常数c和函数f，找到一个函数G使其变换 有不变方差。 )()(ttucfXVar )(tXG )uln(uu1)G(uuc)():)f(u1)(uG)G(X)()(uG)X()(uG )G(X)u)(X(uG)G(u)G(XTaylor)G(Xutt2tt2t2ttt2tt2ttttttttt dXVaraufcVarVartt，则取，则取若若例如例如下的方差平稳变换下的方差平稳变换的方差为常数，须选以的方差为常数，须选以欲使欲使于是，于是，展开，得展开，得进行一阶进行一阶处，对处，对在在 变换。变换。上式称为上

8、式称为方差表示如下方差表示如下一般的，用幂变换平稳一般的，用幂变换平稳，则取，则取若若，则取，则取若若CoxBoxXdXVarcdXVarbttt 1)(X)G(Xu1uu1)G(uuc)()u2uu1)G(ucu)()tttt4tt4t2ttttt n例4.3：美国人口总数（1790-1980）(sample2.4.3)0.0E+005.0E+071.0E+081.5E+082.0E+082.5E+082468101214161820X n对x作两次差分运算得到-10000000-50000000500000010000000150000002468101214161820zt n作变换x1

9、=log(x)1516171819202468101214161820X1 n对对x1x1作两次差分运算得到作两次差分运算得到-0.15-0.10-0.050.000.050.102468101214161820Z 二. 单位根过程n当d=1时的求和ARIMA(p,d,q)模型又被称为单位根过模型，相应的时间序列被称为单位根序列。n如果一个时间序列的算子方程的根很接近1，则没有足够的数据量，在很多情况下很难与单位根序列区分开来。 例: sample2.4.4 三. 平稳ARIMA(0,d,0)模型n人们称ARMA(p,q)序列是短记忆的，对短记忆的序列不宜进行中长期预测。只有长记忆序列才具有作

10、中长期预测的基础。通常可以按自协方差函数收敛到零的速度把平稳序列分为短记忆序列和长记忆序列。n对实数d0.5,如果自协方差函数 就称 该序列 是长记忆序列。n对于ARIMA(0,d,0)序列，由于 故它是长记忆序列。kkrdk,12kdddkrdk,)1 ()()21 (212 第五节第五节 乘积模型乘积模型n随机序列的变化规律含有明显的周期性规律，例如气温、雨量、用水量、耗电量、交通运输、经济问题等都是由于季节变化或其他周期因素的物理机制所引起的，我们称这类随机序列为季节性序列。 n例5.1：某储蓄所1988年和1989年的各月储蓄额4550556065707588:01 88:04 88:

11、07 88:10 89:01 89:04 89:07 89:10X n例5.2：美国月事故数据，1973-1978 (sample2.2.5)6000700080009000100001100012000197319741975197619771978X n需要考虑两个问题：1. 季节之间的统计规律，2. 季节之内的统计规律。如果季节差分和趋势差分后是平稳序列，则为简单季节模型。乘积季节模型分为简单和既有趋势又有季节的 一一. . 纯季节模型纯季节模型首先建立模型 (5.1)其中并且， 的根都在单位圆外， 在相隔T步上为白噪声序列，而相隔小于T步时是相关的，即tTtTwBXB)()(0)(,

12、0)(TTBBqTqTTTpTpTTTBBBBBBBB2212211)(1)(twTjkmTjkwEwEwjkt| , 0| , 0, 0 其次， 仍为平稳序列，故需对 建立ARMA(p,q)模型， (5.2)其中 对季节内外为白噪声序列，将(5.2)代入(5.1)中，有即 (5.3)称(5.3)为季节为T的纯季节性模型，简记为模型，又称(5.3)为乘积模型。twtwttBwB)()(ttTtTBBBXB)()()()(1tTtTBBXBB)()()()(TQPqp),(),( n例5.3：1985至2000年北京平均气温(sample2.4.6) -100102030868890929496

13、9800TEMPX n差分-6-4-20249091929394959697989900ZXB )1 (12 二二. . 既有季节又有趋势模型既有季节又有趋势模型 定义 ， 表示间隔T步的D阶差分,D为正整数。于是，有季节为T又有趋势性的模型为 (5.4)在季节之内也具有趋势性的模型为 (5.5)综合(5.4),(5.5)，得到既有季节为T又有趋势性的统一模型为 (5.6)称(5.6)为既有季节为T又有趋势性的乘积模型，简记为 模型。 )1 (TTBDTDTB )1 ( tTtDTTwBXB)()(ttdBwB)()(tTtDTdTBBXBB)()()()(TQDPqdp),(),( n例5.

14、4： 模型可表示为即可以看出， 为ARIMA(13,1,1)序列，但自回归部分阶数较高,且 的系数为零，所以有时称乘积模型为高阶疏系数模型。12)0 , 0 , 1 () 1 , 1 , 1 (ttBXBBB)1 ()1)(1)(1 (11211ttBXBBB)1 ()1 (113111211tX1132,BBB n例5.4：1990年1月至1997年12月我国工业生产总值(单位：亿元)sample2.4.701000200030004000500060009091929394959697X n为消除趋势同时减小序列的波动，对原序列做一阶自然对数逐期差分 xc=log(x)-log(x(-1)

15、，-0.6-0.4-0.20.00.20.49091929394959697XC n对序列xc做季节差分：sxc=xc-xc(-12)-0.3-0.2-0.10.00.10.29091929394959697SXC三、三、广义ARMA模型与疏系数模型 模型：模型： 式中 为白噪声序列，而且 ,对一切st成立，记 与 没有公共根。 的根不加限制， 的根都在单位圆上和圆外。qtqttptptttXXXX112211t0tsEXqqpquuuuuu1111)()()(u)(u)(u)(u分解：其根分别在单位圆内、上和外。1）q=0，广义AR模型2） 的根不在单位圆上， 求和模型；3） 的根不在单位圆

16、上， 纯季节模型)()()()(uuuu321,)()(,)(dBBB1121)(u,)()(,)(DTBBB1121)(u 模型：模型： 式中 为白噪声序列，而且 ,对一切st成立。qpjtjqjtjtitipitiititXXXX121121t0tsEX第六节 时序中的回归模型一一. . 普通回归模型普通回归模型 (6.1)其中， 为白噪声序列， 为非随机的可观测的时变量。其均值函数为 (6.2)tssttfatfatfaX)()()(2211t)(,),(),(21tftftfs)()()(2211tfatfatfaEXsstt 二二. . 回归与自回归混合模型回归与自回归混合模型n定义

17、6.1 如下模型称为回归与自回归混合模型(并联模型)： (6.3) (6.4)其中， 为白噪声序列，且 ,参数 满足平稳性条件。 为非随机的可观测的自变元。比如：它们可为多项式，三角函数等。tsstwtfatfatfaX)()()(2211tptptttwwww2211t)( , 0tswEstp,21)(,),(),(21tftftfs n定义6.2 另外一种混合形式(串联模型)为 (6.5)其中, 为白噪声序列,且参数 满足平稳性条件，是非随机的，时变的和可记录的。比如：它们可为多项式，三角函数等。tssptptttgbtgbXXX)()(1111t)( , 0)(tsEXXEsst)(,

18、),(),(21tgtgtgsp,21 三三 . . 两者的联系和区别两者的联系和区别n共同之处：都表示一个平稳序列与非随机序列之和。 对(6.3)令 于是， 对(6.5)令 于是， n不同之处：(6.3),(6.4)待估参数以非线性形式出现；(6.5)待估参数以线性形式出现。)()()(2211tfatfatfaEXsstttttwX)()(1111tgbtgbssptptttptptpttttXXX)()(111tptpttttttwwwwpARXw 2211)(序列，即序列，即为一平稳为一平稳 n例6.1：回归与自回归混合模型p=s=1其中 为模型参数，且 为白噪声序列。ttttXXco

19、s1,);(cos, 1|1tgt tttjtjttBtBtEXjjjjjttttsincos21sincoscos21cos1)sinsincos(coscoscos)1 (,cos220011则有.,sincos21sincoscos21cos1,) 1 ()(,)(12211tttttttttttttttttwwwttwXXwARXXX其中则序列，令为平稳即故， n特例：p=s=1, , 为正态噪声，sample25ttg2 . 0cos)(1tttttXX2 . 0cos8 . 01-8-404850100 150 200 250 300 350 400 450 500Y第七节第七节

20、非线性时间序列模型非线性时间序列模型n例7.1 考察某一经济系统，设第t年某一产品产量为 ，把它投入再生产，第t年的回收率为 ，经济学理论认为 为MA(1)序列，即 其中 为相互独立的白噪声序列，而回收率 为tXtt11ttttt11ttttXXX 故第t年该产品产量 满足如下模型 (7.1)我们称(7.1)式为双线性模型双线性模型。tX11111ttttttXXXX另一例子：式中 为正态白噪声序列312211ttttttXt一般的双线性模型：式中 为正态白噪声序列，而且 与 独立。, jtitijjtitijjtitijjtjtjtjtXXXXXtt,tsXs n例7.2 门限自回归模型如下

21、(sample26) (7.2)其中， 为白噪声序列，且特点：既无趋势性又不太像有季节性，图形是由一些宽窄不大相同的“锯齿形”组成的。其它,0 . 35 . 35 . 3,5 . 011tttttXXXt)4/1, 0( Nt -4-2024620406080100 120 140 160 180 200Xn另一例子：tttttaattaattaaaataattttttxxXxIxIxIxxxxIxaXxIXaXXX)()(),()(),()(),()(,|,)(,|,),(),(),(),(),(122111121121121111111101则令其它当定义其它当更一般形式： tsttpps

22、ttstttxxxxxxx),(),(),(1122111元函数。个为已知的，独立与为白噪声，且其中sptsxpstt,21 n最一般的非线性模型如下形式： (7.3)其中，f为满足某些解析条件的非线性函数， 是相互独立白噪声序列或白噪声。),(2121tttttXXfXt 一一. . 非线性序列的模型非线性序列的模型 1. 1. 非线性自回归（非线性自回归（NARNAR）模型）模型 xt=(xt-1,xt-2,xt-p)+et,t=1,2, (7.4) 其中()为p元可测函数, et为i.i.d.序列, 且Eet=0. 这里和后面还总假定et与 xt-1,xt-2,独立。 经计算，得经计算，

23、得 ExExt t x xt-1t-1,x,xt-2t-2, , = Ex = Ext t x xt-1t-1,x,xt-2t-2, ,x,xt-pt-p =E =E (x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p)+e)+et t x xt-1t-1,x,xt-2t-2, ,x,xt-pt-p = = (x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p)+E e)+E et t x xt-1t-1,x,xt-2t-2, ,x,xt-pt-p = = (x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p). ). (7.5) (7.5)( (此处依此

24、处依e et t与与 x xt-1t-1,x,xt-2t-2, , 独立和独立和EeEet t=0)=0)而且而且, , Varx Varxt t x xt-1t-1,x,xt-2t-2, , = Ex = Ext t- - (x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p)2 2 x xt-1t-1,x,xt-2t-2, , = Ee = Eet t2 2 x xt-1t-1,x,xt-2t-2, , = Ee = Eet t2 2= = 2 2. (by Ee. (by Eet t2 2= = 2 2) ) 1 1）指数自回归模型）指数自回归模型(Exponential A

25、utoregressive Model)(Exponential Autoregressive Model)n由 T.Ozaki, 1978年提出n它的形式可表为 (7.6)其中， 都是模型的待估参数， 为白噪声序列，模型(7.6)简记为EAR(p)。特别地，当 时，(7.6)退化为线性p阶自回归模型。 tjtpjtjjtXrXX121)exp(0,rjjtpjj1, 0 2 2） 时变系数时变系数AR(p)AR(p)模型模型(time varying coefficient AR)(time varying coefficient AR)n例：其中， 是模型在时刻t的系数，且独立于而 是Ga

26、ussian白噪声，均值为零。 tpiititXtbX 1)()(,),(1tbtbptt 2. 2. 条件异方差条件异方差NARNAR模型模型 xt=(xt-1,xt-2,xt-p)+s(xt-1,xt-2,xt-p)et, t=1,2, (7.7) 其中()和s()为p元可测函数, et为i.i.d.序 列且E et=0. ExExt t x xt-1t-1,x,xt-2t-2, , = Ex = Ext t x xt-1t-1,x,xt-2t-2, ,x,xt-pt-p =E =E (x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p)+s(x)+s(xt-1t-1,x,xt

27、-2t-2, ,x,xt-pt-p)e)et t x xt-1t-1,x,xt-t-2 2, ,x,xt-pt-p = = (x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p)+s(x)+s(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p)Ee)Eet t x xt-1t-1,x,xt-t-2 2, ,x,xt-pt-p = = (x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p). ). (7.8) (7.8) VarxVarxt t x xt-1t-1,x,xt-2t-2, , =Ex=Ext t- - (x(xt-1t-1,x,xt-2t-2, ,

28、x,xt-pt-p)2 2 x xt-1t-1,x,xt-2t-2, , = s= s2 2(x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p )Ee )Eet t2 2 x xt-1t-1,x,xt-2t-2, , =s=s2 2(x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p )Ee )Eet t2 2= s= s2 2(x(xt-1t-1,x,xt-2t-2, ,x,xt-pt-p ). ( ). (不再是常数不再是常数!) !) 3. 3. 非可加噪声非可加噪声NARNAR模型模型 一般说来, 非可加噪声NAR模型太广泛了, 以至无法研究,甚至于没有研究价

29、值。 比如 xt=(xt-1,xt-2,xt-p; et), t=1,2, (7.9)又如 ( xt,xt-1,xt-p+1; et)=0, t=1,2, 二二. . 组合模型组合模型 例: xt=txt-1+et, (7.10) t=t-1+t, (7.11) 其中et和t为相互独立的i.i.d.序列。 此时模型(7.10)可称为时变系数的1阶AR模型, 其系数又满足另一个1阶AR模型。 后一模型是变化相对缓慢的, 即小于1, 但接近1。 1 1. . 双重线性模型双重线性模型( Biliner Model)( Biliner Model)nC.W.Granger和A.P.Anderson,

30、 1978年n它的一般形式为 (7.12)其中， 为严格(相互独立)白噪声序列,模型(7.12)简记为BL(p,q,m,n)。itktpjqjmknikijtjjtjtXXX1010t 2. 2. 门限自回归模型门限自回归模型 ( Threshold Autoregressive Model)( Threshold Autoregressive Model)n由 H.Tong, 1978年提出。n它的形式可表为： (7.13) 其中 ，称 为门限值，称d为延迟时间，对每个固定j, 是方差为 的白噪声序列；当 时, 与 相互独立。模型(7.13)简记为：ljrXrXXjdtjjtktpkjkjt

31、j, 2 , 1,1)(1)()(0 当当 llrrrr1101, 2 , 1,ljrj)( jt2jij )(it )( jt ),(1lppldSETAR 例如: xt= 其中1t 和 2t为相互独立的 i.i.d. 序列, 而且 E1t=E2t=0,E1t2=12, E2t=22，且 ,112111axifaxifxxtttttt 独独立立与与,21tsXstt 三三. . 状态依赖模型状态依赖模型(State Dependent Model)(State Dependent Model)n该模型是M.B.Priestley在综合上述模型基础上于1980年提出的。n该模型的定义为 (7.

32、14)其中 函数 事先不作类型假定，只要求它们具有一定的光滑性，我们将模型(7.14)简记为SD(p,q)。pjqjtjttjjttjttXX11111)()()(XXX),(111tpttqttXXX)(),(),(jj ;)(),(,1exp)(,1 , 0)(0)()2;),(),(1),(,1)()() 1211模型变为这时，若模型变为通常的为常数，这时，若pEARqpSDpjrXaqjqpARMAqpSDqjpjtjjtjjjjX.),(),(),max(, 2 , 100),max(, 2 , 1,)(,1 ,)(0)()4),;,(),(, 2 , 1,1 ,)(,)(,1 ,

33、0)()3111110)(01)(011)(模型变为则，时，；当时，当，若模型；变为这时且当若nmqpBLqpSDnqjnqnqnqjXpjppldSETARqpSDrrrljpjrrRXqjkjjmkktkjjtjjjtjtlljtkjtjjjdtjXXXXX 模型。，即为其中：展开，则上式可改写为在上式右端固定点做足够光滑是实值函数，并假定是白噪声，其中，考虑如下非线性模型SDXXXXTaylorffXXfXtpttqttpjqjtjttjjttjttttqttpttt),()()()(.,),(:111111111XXXX 四四. . 条件异方差模型条件异方差模型1. 自回归条件异方差模型(Autoregressive Conditional He