非线性时间序列

1、近代时间序列分析选讲:一. 非线性时间序列二. GARCH 模型三. 多元时间序列四. 协整模型第一章.非线性时间序列浅释1. 从线性到非线性自回归模型2. 线性时间序列定义的多样性第二章.非线性时间序列模型1. 概述2. 非线性自回归模型3. 带条件异方差的自回归模型4. 两种可逆性5. 时间序列与伪随机数第三章.马尔可夫链与 AR模型1. 马尔可夫链2. AR模型所确定的马尔可夫链3. 若干例子第四章.统计建模方法1. 概论2. 线性性检验3. AR模型参数估计4. AR模型阶数估计第五章.实例和展望1. 实例2. 展望第一章.非线性时间序列浅释1.从线性到非线性自回归模型时间序列Xt是一

2、串随机变量序列， 它有广泛的实际背景，特别是在经济与金融 领域中尤其显著.关于它们的从线性与非线 性概念，可从以下的例子入手作一浅释的说 明.考查一阶线性自回归模型-LAR(1):xt=° xt-i +et, t=1,2,(1.1)其中et为 i.i.d.序列，且 Eet=0, Eet=。2v“ ,而 且 et与xt-1,Xt-1,独立.反复使用(1.1)式的 递推关系，就可得到Xt= xt-1 +et=et + xt-1=et + et-1 + xt-2=et + et-1 + 2 xt-2一2=et + et-1 +et-2+ + a n-1et-n+1 +a nxt-n.(1.

3、2)如果当卜8时，nxt-n 0,(1.3)Gt + a ©t-1 + a 2et-2 + + n-1et-n+1) >、j=0 jet-j .(1.4)虽然保证以上的收敛是有条件的 ，而且要涉 及到具体收敛的含义，但是，对以上的简单 模型，不难相信，当h |<1时，(1.3)(1.4)式成 立.于是，当|。|<1时，模型LAR(1)有平稳 解，且可表达为xt=' j=ojet-j .(1.5)通过上面叙述可见求 LAR(1)模型的解有简 便之优点，此其一.还有第二点，容易推广 到LAR(p)模型.为此考查如下的 p阶线性 自回归模型LAR(p):xt= l

4、Xt-l+ 2Xt-2+.+ pXt-p+et, t=1,2,(1.6)其中et为 i.i.d.序列，且 Eet=0, Eet=。2v* ,而 且et与xt-i, xt-i,独立.虽然反复使用(1.6) 式的递推式，仍然可得到(1.2)式的类似结果, 但是,用扩张后的一阶多元 AR模型求解时， 可显示出与LAR(1)模型求解的神奇的相似. 为此记X1Xt= X；，U=；0:, X”0，ctaa12p |A= 100 ,(1.7) A A,000于是(1.6)式可写成如下的等价形式Xt=A Xt-i+ etU.(1.8)反复使用此式的递推关系,形式上仿照（1.2） 式可得Xt=AX t-1+et

5、U=etU+ et-1AU+A 2xt-2 =etU+et-1AU+et-2A2U+et-n+1An-1U+A nxt-n.(1.10)如果矩阵 A的谱半径（A的特征值的最大 模户（A）,满足如下条件(A)<1,由上式可猜想到（1.8）式有如下的解：Xt= k=o AkUet-k.(1.11)其中向量Xt的第一分量xt形成的序列xt, 就是模型（1.6）式的解.由此不难看出，它有以下表达方式xt= k=oket-k.其中系数中k由(1.6)式中的。1产2, . /p确定, 细节从略.不过，(1.11)式给了我们重要启发， 即考虑形如Xt=' k=0 ' ket-k, &#

6、39; k=0k2, (1.12)的时间序列类(其中系数平k能保证(1.12)式 中的Xt有定义).在文献中，这样的序列Xt 就被称为线性时间序列.虽然以上给出了线性时间序列的定义 ， 以下暂时不讨论什么是非线性时间序列，代 之先讨论一阶非线性自回归模型 -NLAR(1),以便与 LAR(1)模型进行比较 分析.首先写出NLAR(1)模型如下xt (xt-1)+et, t=1,2,(1.13)其中et为 i.i.d.序列，且 Eet=0, Eb 2<* ,而 且et与xt-i,xt-2,独立,这些假定与 LAR(1)模型相同，但是，e(Xt-i)不再是xt-1的线性函数,代之为非线性函数

7、，比如(xt-i)=xt-i/a+bxt-i2.此时虽然仍可反复使用(i.i3)式进行迭代，但是所得结果是xt=(xt-i) +et=et+(xt-i)=et+( et-i+(xt-2)=et+( et-i+( et-2+(xt-3)=et+( et-i+( et-2+ +(xt-n).(i.i4)根据此式，我们既不能轻易判断p (xt-i)函数 满足怎样的条件时，上式会有极限，也不能 猜测其极限有怎样的形式.对于p阶非线性自回归模型xt=。(xt-i,xt-2, ,xt-p)+et,t=1,2,(1.15)仿照(1.6)至(1.9)式的扩张的方法，我们引入 如下记号(X-,X_2,.,X.，

8、一 X(xt-1,xt-2,xt-p)-,X”(1.16)我们得到与(1.15)式等价的模型Xt=、Xt-1) +etU,t=1,2,(1.17)但是，我们再也得不出(1.9)至(1.14)式的结 果，至此我们已将看出，从线性到非线性 自回归模型有实质性差异，要说清楚它们, 并不是很简单的事情.从数学角度而言，讨 论线性自回归模型可借用泛函分析方法，然 而，讨论非线性自回归模型，则要借用马尔 可夫链的理论和方法.这也正是本讲座要介 绍的主要内容.2.线性时间序列定义的多样性现在简单叙述一下非线性时间序列定 义的复杂性，它与线性时间序列的定义有关 前一小节中(1.12)式所显示的线性时间序列,

9、只是一种定义方式.如果改变对系数甲k的 限制条件，就会给出不同的定义.更为重要 的是，在近代研究中，将(1.12)式中的i.i.d. 序列et放宽为平稳鞅差序列，这在预报理 论中很有意义.无论引用哪一种线性时间序列定义，都 对相应的序列的性质有所研究，因为其研究 成果可用于有关的线性时间序列模型解的 特性研究.事实上，已经有丰富的成果被载 入文献史册.依上所述可知，由于线性时间序列定义 的多样性，必然带来非线性时间序列定义的 复杂性.这里需要强调指的是，对于非线性时间序列，几乎没有文章研究它们的一般性 质，这与线性时间序列情况不同.于是人们 要问，我们用哪些工具来研究非线性时间 序列模型解的特

10、性呢？这正是本次演讲要回答的问题.确切地说，我们将介绍马尔可 夫链,并借助于此来讨论非线性自回归模型 解的问题.第二章.非线性时间序列模型1.概论从(1.12)式可见，一个线性时间序列 xt, 被et的分布和全部系数* i所决定.在此有 无穷多个自由参数，这对统计不方便，因此 人们更关心只依赖有限个自由参数的线性 时间序列，这就是线性时间序列的参数模型.其中最常用 的如ARMA模型.对于非线性 时间序列而言，使用参数模型方法几乎是唯 一的选择.由于非线性函数的多样性，带来 了非线性时间序列模型的多样性.但是，迄今为止被研究得较多，又有应用价值的非线性时序模型，为数极少,而且主要是针对非 线性自

11、回归模型.在介绍此类模型之前，我 们先对非线性时序模型的分类作一概述.通用假定:3为i.i.d.序列，且 Et=0,而 且8t与Xt-1, Xt-2,独立.可加噪声模型：Xt= (Xt-1,Xt-2,)+ t,t=1,2,(2.1)其中M)是自回归函数.当它仅依赖于有 限个未知参数时，记此参数向量为a ,其相 应白(2.1)模型常写成Xt=(Xt-1,Xt-2,；)+ t,t=1,2,(2.2)否则，称(2.1)式称为非参数模型.关于(2.1)(2.2)的模型的平稳性，要在下一章讨论，但是，它有类似于线性 AR模型的几个简单性质，是重要的而且容易获得 的，它们是：E(xt|xt-i,xt-2,

12、)=E (Xt-1,Xt-2,)+，t|Xt-1,Xt-2,=甲(Xt-1,Xt-2,. )+E( ' t|xt-1 ,Xt-2,)=(xt-1,Xt-2,)(2.3)varxt|xt-1, xt-2 ,三 EXt-甲(Xt-1,)2|Xt-1, Xt-2 ,=E£t2|xt-1, Xt-2，=E t22.=2.(2.4)PXt<X|Xt-1,Xt-2,=P甲(Xt-1,)+ 8 t<X|Xt-1,Xt-2,=PR<X-* (Xt-1,)|Xt-1,Xt-2,=Fs(x(xt-1,- ).(2.5)其中巳是的分布函数.带条件异方差的模型:xt= (Xt-1,

13、Xt-2,)+S(Xt-1,Xt-2,)R, t=1,2,(2.6)其中。()和S()也有限参数与非参数型之 分，这都是不言自明的.另外，(2.6)式显然 不属于可加噪声模型.但是，它比下面的更 一般的非可加噪声模型要简单得多.这可通过推广(2.3)(2.4)(2.5)式看出,即有,E(Xt|Xt-1,Xt-2,)=E甲(Xt-1,Xt-2,)+S(Xt-1,Xt-2,pt|Xt-1,Xt-2，=(Xt-1,Xt-2,)+S(Xt-1,Xt-2,)Ep t|Xt-1,Xt-2,=“(Xt-1,Xt-2,) .(2.3)'varXt|Xt-1, Xt-2 ,三 EXt-甲(xt-1,)2

14、|xt-1, Xt-2 ,= ES2(Xt-1,Xt-2,pt2|xt-1, Xt-2， =S2(xt-1,xt-2, . )E t2|xt-1, Xt-2，=S2（Xt-i,Xt-2,尸2.（2.4），PXt<X|Xt-1,Xt-2,）=P。（Xt-1,）+S（Xt-1,尸 t<X|Xt-1, Xt-2，）=Pt<X（Xt-1,- ）/S（Xt-1, ） =F，（X"（Xt-1, ）/S（Xt-1,）.（2.5），-般非线性时序模型 ：Xt= (Xt-1,Xt-2,；t, t-1, ) t=1,2,(2.7)其中w ()也有参数与非参数型之区别，这也是不言自明的.

15、显然，(2.7)式既不是可加 噪声模型，也不属于(2.6)式的带条件异方差 的模型.虽然，它可能具有条件异方差性质. 相反，后两者都是(2.7)式的特殊类型.虽说 (2.7)式是更广的模型形式，在文献中却很少 被研究.只有双线性模型作为它的一种特殊 情况，在文献中有些应用和研究结果出现.现写出其模型于后，可供理解其双线性模型 的含义xt=' j=P jXt-j+' j=iq j t-j + j=1 j=iQ ij t-iXt-j.2.非线性自回归模型在前一小节中的(2.1)和(2.2)式就是非线 性自回归模型，而且属于可加噪声模型类 在这一小节里，我们将介绍几种(2.2)式的常

16、 见的模型.函数后的线性自回归模型：f(xt)= lf(xt-1)+ 2f(Xt-2)+.+ pf(xt-p)+ t,(2.8)t=1,2,其中f(.)是一元函数，它有已知和未知的不 同情况，不过总考虑单调增函数的情况,a =(a a 2,.,a p是未知参数.在实际应用中， (xt是可获得量测的序列.当f(.)是已知函数时，(f(xt)也是可获得量测的序列,于是只需考虑 yt=f(xt)所满足 的线性AR模型yt= iyt-i+ 2yt-2+.+ pyt-p+ t,t=1,2,(2.9)此时可不涉及非线性自回归模型概念.在宏 观计量经济分析中，常常对原始数据先取对 数后，再作线性自回归模型统

17、计分析，就属于此种情况.这种先取对数的方法，不仅简 单,而且有经济背景的合理解释，它反应了经济增长幅度的量化规律.虽然在统计学中 还有更多的变换可使用，比如Box-Cox变换, 但是，由于缺少经济背景的合理解释，很少 被使用.由此看来，当f(.)有实际背景依据 时，可以考虑使用(2.7)式的模型.当f(.)是未知函数时，(f(xt)不是可量测的 序列，于是只能考虑(2.8)模型.注意f(.)是单 调函数，可记它的逆变换函数为 f-1(.),于是 由(2.8)模型可得xt= f"( 1f(xt-1)+ 2f(xt-2)+.+ pf(xt-p)+ t), t=1,2,(2.9)'

18、此式属于(2.7)式的特殊情况，此类模型很少 被使用.取而代之是考虑如下的模型Xt= lf(Xt-l)+ 2f(Xt-2)+.+ pf(Xt-p)+ t,t=1,2,(2.10)其中f(.)是一元函数，也有已知和未知之分 可不限于单调增函数.此式属于(2.1)式的特 殊情况，有一定的使用价值.当(2.10)式中的f(.)函数是已知时，此式 还有更进一步的推广模型，Xt=a 1f1(Xt-1,Xt-s)+a 2f2(Xt-1,Xt-s) + . + a pfp(Xt-1,Xt-s)+R, t=1,2,(2.11)其中fk(- )(k=1,2, - ,p)是已知的s元函数.例如，以后将要多次提到的

19、如下的模型：xt= ll(xt-1<0)xt-l+ 2l(xt-1 0)xt-l+ t, t=1,2,(2.12)其中I(.)是示性函数.此模型是分段线性的 是著名的TAR模型的特殊情况.为了有助 于理解它，我们写出它的分段形式：« V +1 x1xt=2Xt.t 乂:t=1,2,请注意(2.8)(2.10)和(2.11)式具有一个共同的特征,就是未知参数都以线性形式出 现在模型中.这一特点在统计建模时带来极大的方便.此类模型便于实际应用.但是,对于xt而言不具有线性特性，所以，讨论 它们的平稳解的问题，讨论它们的建模理论 依据问题，都需要借助于马尔可夫链的工具.已知非线性自回归函数的模型：xt= (xt-1,xt-2,xt-p； )+ t,t=1,2,（2.13）其中（）是p元已知函数，但是其