统计学选讲综述

非线性时间序列分析的综述1、时间序列与线性时间序列分析从较广的意义上来说，时间序列是指被观测到的依时间次序排列的数据序列。人们为了解周围的世界，常常依时间顺序做一系列的观测。将来的数据通常以某种随机的方式依赖于现在得到的观测值。时间序列分析不仅可以从数量上揭示某一现象的发展变化规律或从动态的角度刻画某一现象与其他现象之间的内在数量关系及其变化规律性，达到认识客观世界之目的，而且运用时间序列模型还可以预测和控制现象的未来行为。许多经济、金融、商业等方面的数据都是时间序列数据,对这些数据进行分析、处理和研究，从中挖掘有用信息。从20世纪20年代开始,学术界利用数理统计学原理分析时间序列，研究的重心从表面现象的总结转移到分析序列值内在的相关关系上。时间序列分析方法最早起源于1927年数学家Yule提出建立自回归模型（AR模型）来预测市场变化的规律。1931年，另一位数学家在AR模型的启发下，建立了移动平均模型（MA模型），初步奠定了时间序列分析方法的基础。20世纪60年代后，时间序列分析方法迈上了一个新的台阶，在工程领域方面的应用非常广泛。近几年，随着计算机技术和信号处理技术的迅速发展，时间序列分析理论和方法更趋完善。时间序列分析，正是根据客观事物发展的连续规律性，运用过去的历史数据，通过统计分析，进一步推测未来的发展趋势，依据不同的应用，数据的收集可以逐小时，逐天，逐周，逐月，或逐年，等等。事物的过去会延续到未来这个假设前提包含两层含义：一是不会发生突然的跳跃变化，是以相对小的步伐前进；二是过去和当前的现象可能表明现在和将来活动的发展变化趋向。这就决定了在一般情况下，时间序列分析法对于短、近期预测比较显著，但如延伸到更远的将来，就会出现很大的局限性，导致预测值偏离实际较大而使决策失误。时间序列中的每个观察值大小，是影响变化的各种不同因素在同一时刻发生作用的综合结果。这些因素可以分为趋势性、周期性、随机性、综合性四种类型。在过去的七十多年里，时间序列分析，尤其是线性时间序列分析，发展迅速、成果系统而丰富，而且得到了广泛而且非常成功的应用。目前已经拥有仅通过时间序列变量的自身历史观测值来反映有关因素对预测目标的影响和作用，不受模型变量相互独立的假设条件约束的自回归AR模型;把时间序列表示成白噪声过程的滑动平均的MA模型；利用AR和MA模型的形式进行组合，构建具有更复杂动态特性的时间序列的ARMA模型，自回归求和滑动平均ARIMA模型等等多种线性时间序列模型。2、非线性时间序列分析从Yule关于太阳黑子数的AR建模的开拓性工作到Box和Jenkins标志着ARMA建模的理论和方法成熟的工作，线性高斯时间序列模型研究得到极大的发展，支配着理论探索和实际应用。线性时间序列仅是时间序列最简单的一种类型，七十多年来，线性时间序列模型一直被深入研究和广泛应用。然而在很多领域，例如在金融、环境、气象和生物等诸多领域，存在着大量涉及非线性时间序列的问题，用线性时序分析方法去研究和解决这些问题，易丢失信息，效果欠佳。另一方面，诸如神经网络、混沌和分形等领域都与非线性时间序列分析有着密切的联系。这也说明非线性时间序列比线性时间序列更能充分表达客观现象的复杂性，也更可能成功地应用于许多实际问题。正因如此，近年来对于非线性时间序列模型的研究已经受到广泛关注。早在上世纪50年代，P.A.P.Moran在建模加拿大山猫数据的经典文章中就曾暗示了线性模型的局限性。他注意到了数据中的“怪异”特征，即大于均值的样本点的残差显著地小于那些小于均值的样本点的残差。这正好能够解释为在种群波动的不同阶段有所谓的“控制效应”。建模控制效应或者含别的非标准特征的模型超出高斯时间序列模型的范围，我们称这些非标准特征为非线性特征，例如：包括非正态性，非对称循环，双形态，延迟变量间的非线性关系，状态空间上进行的预报的变化，时间不可逆性，对初值的敏感性，等等。Tong在1990年总结了当时非线性时序方法的前沿工作于其专著《非线性时间序列》中，尤其是参数非线性模型族，包括TAR模型族与ARCH模型族。Granger和Terasvirta在1993年于其专著《非线性经济的建模》中总结了当时金融领域非线性时序分析方法的最新成果，书中也介绍了许多非线性时序分析方法实证研究金融数据的案例。随着关于非线性时间序列分析的文献的不断丰富，安鸿志、陈敏等人在非线性时间序列模型的平稳解、遍历性等理论方面，以及非线性性检验方法和随机条件方差的应用方面，取得了某些研究成果。他们主编的《非线性时间序列分析》主要包括两部分的内容，一是论述各种非线性时间序列模型的平稳解、遍历性、高阶矩和可逆性；二是给出了非线性时间序列建模方法和预报方法、非线性性检验方法以及与其相关领域之间的联系。范剑青的《 NonlinearTimeseries-nonparameterandparametermethods》着重介绍非线性时间序列理论和方法中的非参数和半参数技术。不仅介绍这些技术在时间序列状态空间、频域和时域等方面的应用，同时，为了体现参数和非参数方法在时间序列分析中的整合性，还系统地阐述了一些主要参数非线性时间序列模型（比如ARCH/GARCH模型和门限模型等）的近期研究成果。借助很多源于实际问题的具体数据说明如何运用非参数技术来揭示高维数据的局部结构。这对统计学的其他分支以及经济计量学、实证金融学、总体生物和生态学的研究有参考价值。建模以上这些非线性特征可以分成两类一一隐式的和显式的。对前一种情形，我们保持一般的ARMA框架，并适当地选择白噪声的分布使所得的过程表现出指定的非线性特征。尽管模型的形式还是线性的，但是，比如说给定延迟值的随机变量的条件期望却可以是非线性的。这种形式上的线性表示可对任何具有非确定分量的平稳时间序列进行表述。虽然这种方法潜在的建模能力是强大的，但是，一般说来，由观测数据识别白噪声的“正确的”分布函数是困难的。这一方向上的研究已落后于把随机变量表示成为它的延迟变量的非线性函数的显式模型。在线性范围之外，尚有无穷多的非线性形式。非线性时间序列分析的早期发展的重点是在各种非线性参数模型。成功的例子包括金融数据的波动波幅性的ARCH模型（和生态及经济数据的门限模型等等。另一方面，非参数回归方法的最新进展为建模非线性时间序列提供了另一种手段。这种方法的一个即得的优点是模型结构的先验信息要求很少，而且为进一步的参数拟合提供有用的感性认识。3、参数非线性时间序列模型参数时间序列模型最简单的情形是：假设时间序列具有稳定的协方差结构，并且线性相依，而且这种相依关系迅速减弱。适应于此种过程的模型族是ARMA模型族，其是线性模型。如果过程具有明显的非线性特征，如非线性自相依、变方差等，ARMA族显然不再是合适的候选族，此时需要对ARMA模型族进行推广。3.1门限自回归模型（TAR）在几乎所有学科中，线性逼近作为一个强有力的工具用于大量的科学研究中。然而，当我们处理非线性问题时，比如建模非线性动态，全局线性律常常是不适合的。例如，假定在经济或动物种群中扩张相被作为收缩相的同一个线性动态所控制的情况。由于全局二次或高阶的自回归形式实际上是不稳定的，一个自然的替代也许是把全局线性逼近分成几段；在状态空间的每个子集上有一个线性逼近。在门限原理中，有一类非线性时间序列模型，它建模非线性动态是基于分段线性逼近，即把状态空间分割成几个子空间，每个子空间上使用线性逼近。分割实际上由所谓的门限变量来指定。门限自回归（TAR）模型由H.Tong提出。TAR模型将状态空间进行划分，在状态空间的不同区域上模型有不同的线性形式，而状态空间的划分由门限变量描述。如果时间序列｛x｝满足tX=a+aX+…+aX+8,r<Z<r,j=1,2,…，kt j0 j1 t-1 jPj t-Pj jt j-1 t-d j则称时间序列｛x｝满足一个门限自回归模型，其中t｛rI一8<r<r<<r=o)｝j 0 1 k是门限值，Zfd是门限变量。TAR模型能够建模许多非线性特征，如不对称性、周期性、波动聚集性、时间不可逆性、波动性跳跃现象等。也与其它模型可以组合使用，建立叠合模型。如TAR-GARCH模型，这种混合模型，可以建模变方差的波动性跳跃，进而增强TAR模型与GARCH模型拟合实际数据的能力。TAR模型的有用性归因于逐段线性函数实际上可以为更复杂的非线性函数提供简单和易于操作的逼近。3.2ARCH模型和GARCH模型ARCH和GARCH模型主要是考虑条件二阶矩的相依性的建模。这很有希望适应解释和建模金融时间序列的风险和不确定性方面日益增长的要求。ARCH模型首先由Engle(1982)为建模英国的通货膨胀的预报方差而引进。从此这个模型被广泛地用来建模金融和经济时间序列的波动率。如果｛x｝满足t:广h81h2=c+^LbX2t0jt-j1 j=1则称｛x｝为ARCH(p)过程。其中c>0,b>0是常数，｛8｝〜IID(0,1)，对所有的t,8t 0 j t t与｛Xk,k>1｝独立。GARCH模型由Bollerslev和Taylor两人提出。GARCH模型实际上是ARCH模型的一个最重要的扩展。如果｛X｝满足tX=h&h2=c+2bX2+Eah2t0 jt-j jt—jj=1 j=1则称｛x｝为GARCH(p,q)过程。其中c>0,b>0和a>0是常数，｛8｝〜IID(0,1)，t 0 i j t且对所有的t,81与｛Xfk,k>1｝独立。3.3双线性模型双线性模型的基本想法是在ARMA模型中添加序列本身与信息序列的有限历史的一些乘积项，即X=£bX+£+A£+尤乙X£t jt-j t kt-k jkt-jt-kj=1 k=1 j=1k=1其中£〜IID(0Q2)，b,a和c是未知参数。这个模型称为阶为(P，q，P，Q)的双线t jkjk性模型。双线性模型之所以叫双线性模型，因为其分别关于X.和£，.是线性的。其优点是模型结构相对简单，利于分析与计算，一方面超越了简单的线性形式，一方面又保持了线性ARMA模型简单结构的大部分特性，因而能应用于某些非线性数据。事实上双线性模型能建模时序数据中的突变事件，因而其在地震记录等数据中是有应用价值的。对双线性模型，我们知道的概率性质和能够执行的解析计算比别的非线性时间序列模型更多。已知双线性模型能够建模时间序列中的偶然爆发事件，在潜在的应用方面，对建模诸如爆炸发生和地震记录这样的地震学数据可能都是有用的。双线性模型具有如下概率性质：（1）平稳性对定义在上式中的双线性过程｛X｝，如果在给定的状态空间过程t｛Zt｝是严平稳的，则由X=hTZ1+£和｛£t｝是i.i.d的事实可知｛Xt｝也是严平稳的。（2） 矩性质双线性模型的一个重要的特征是它不一定存在所有阶矩。条件E（£4）＜8对下三角及一般双线性过程有有限的二阶矩是必要的。当矩的阶增加时，所要求的条件也会随之变得更强。（3） 混合性双线性过程的混合性可以利用它们的马尔可夫表示来建立。由于｛£t｝是i.i.d.，故｛Xt｝也有由马尔可夫链亿」所拥有的混合性质。因此，｛Zt｝的遍历性保证了｛Xt｝是P混合的。几何遍历性也蕴涵了具有指数衰减混合系数的P混合性。4、参数非线性时间序列模型一般而言，我们可以假定X=f(X「...,X)+b(x「...,X)8其中{e}~IID(0,1),f(口)和川是未知的光滑函数。模型也被称为非参数自回归条件异方差(Non-parameterAutoregressiveConditionalHeteroscedastic,NARCH)模型，如果假定q(□)是常数，则称其为非参数自回归 (Non-parameterAutoregressive,NAR)模型。NARCH模型与NAR模型通常也叫做是饱和的非参数模型。但饱和模型仅在低维是适用的，因为估计高维饱和模型需要天文数字的样本。所以人们通常给饱和模型中的自回归函数f假设一些特殊的形式。例如函数系数自回归(Functional-CoefficientAutoregressive,FAR)模型具有如下形式X=f(X)X+…+f(X)X+Q(X)8t1t—dt—1 pt—d t—p t—dt其中d>0和f、项,…,f(项是未知的函数系数，记为{x}〜FAR(p\可加自回归(AdditionalAutoregressive,AAR)模型是AR(p)模型的一个推广，它假设自回归函数具有如下形式f(X],…x^)=/(%1)+…+fp(x^)这是一个比AR模型更灵活，更能适应数据的模型。再比如广义指数自回归(GeneralizedExponentialAutoregressive,EXPAR)模型，其具有如下形式X=UL+(p+yX)exp(—0X2)}x+8t jjjt—d jt—d t—j tj=15、非参数密度估计在非参数函数估计中，平滑是最基本的方法之一，通常被称为一维散点图平滑和密度估计。在多维框架下，平滑是建立非参数估计的有用的构建模块。平滑首先从时间序列中的谱密度估计中产生。平滑问题的理论和方法由Bartlett于20世纪40年代系统地发展起来。平滑问题在时间序列分析的各个方面经常出现。平滑方法为概述一个给定的时间序列的边缘分布提供了有用的图解工具。它们还可用于估计和消除慢变时间趋势.这就产生了时域平滑。研究一个时间序列和它的延迟序列联系的需要产生了状态域平滑。这些方法能够容易地推广到估计一个时间序列的条件方差。为了检验周期形式和别的特征，比如时间序列的功率谱，平滑方法常常用来估计谱密度。

在拟合一个时间序列数据时，一个重要的问题是拟合模型的残差的行为是否像白噪声。对这类非参数拟合优度检验，非参数函数估计提供了有用的工具。5.1核密度估计直方图常用于进行观察某变量的分布情况，核密度估计是对传统直方图方法的改善，用来验证数据集合的所有分布特征。这些特征包括密度峰和谷的数目和位置以及密度的对称性。核密度估计是目前揭示非参数函数估计基本特性的最简单的工具之一。核密度估计需要选择核函数和带宽，常用的核函数包括Gauss核K(u)=(\：'2兀)-iexp(-u2/2)和对称Beta族1K(u)= -_(1-u2)〃(|ul<1)y Beta(1/2，y+1)选择y=0』,2和3，则分别对应于均匀核函数、Epanechnikov核函数、双权核函数和三权核函数。但是只要保证核函数是对称的而且是单峰的，具体的核函数形式并不是十分重要。决定结果优劣的更重要的因素则是带宽。小的带宽会导致平滑不足的估计，产生一个具有不自然摆动样式的密度函数，而大的带宽则会给出一条过度平滑的曲线，使得原来分布好的结构变得模糊，遗漏一些可能的细节。5.2加窗、白化和带宽选择如果数据｛X」：］是来自具有边缘密度f的平稳过程的实现，则通过变量变换，我们有E[f(x)=EK(X-x)=j+8k(u)f(u+hx)duh ht -8这样，估计的偏度瓦^3)—f3不依赖于数据的相依结构。但是估计的方差仍受h数据相依结构的影响。由于在状态域中通过局部加窗所得的白化性质，使得混合过程的核密度估计所表现的行为非常像独立样本的情形。因此，对独立样本的所有方法都可推广到混合平稳过程。当数据｛XJ是来自平稳过程的实现时，对f支撑的内点x，核密度估计的均方误差(MSE)能够表示为MSE(x)三E{fh(x)-f(x)}2=4J+8u2K(u)du'{f"(x))2h4+j+8K2(u)duf-8-8通过使用平均平方积分误差(MISE),可获得全局度量如下-8MISE三EJ{f内(x)-f(x)}2dx4[+8u2K(u)du}j+8{f"(x)}2dxh4+j+8K2(u)duT—TOC\o"1-5"\h\z-8 -8 -8通过调整带宽参数h来渐进MISE，得到渐进最优带宽，最优带宽可以表示为2 1ht=a