第5章非平稳随机过程

1、第5章非平稳随机过程5.1引言5.2平稳余差过程5.3*随机过程的线性变换5.4*随机过程的Fourier变换5.5小结5.1引言现实世界中很多研究对象不仅表现出一定的随机性，而且随时间的推移还会呈现出上升或下降的趋势，当这种趋势用时间的非线性函数表达的时候，基于弱平稳随机过程理论的建模方法就不适用了。这样的对象应该用非平稳随机过程的理论来支持模型的建立。此外，在很多情况下要求对象的协方差函数只与时间差有关也不一定合理。如果不能确认对象是平稳过程，那么就不能套用第4章讨论的方法来建立模型。研究对象的非平稳特性要求继续研究新的建模理论和方法，然而目前数学理论对于非平稳过程的研究还没有多少成果能够

2、帮助解决建模过程中碰到的种种难题，只是由于实际需要在工程领域出现了一些关于处理非平稳过程的方法，本章将主要围绕这些实用的数据处理方法来探讨其数学原理。现有处理非平稳过程的方法主要是把某些非平稳过程经过数据处理后变为平稳过程，然后再用平稳过程的建模方法对它们建模。这种处理问题的方法尽管只能处理一些比较简单的非平稳过程，或者在某些特殊的条件下建立非平稳对象的模型，但是这些处理问题的方法具有较强的工程性，能够解决实际问题，弥补平稳过程建模方法的不足。 在一些情况下，对象的非平稳性是和对象的时变性联系在一起的。这一类系统往往不能用一个恒定不变的模型来描述，要求所建立的模型具有较好的跟踪能力，例如用新息

3、来修改模型，不仅修改模型的参数，有时也要求修改模型结构。应该说，这种建模思想更符合客观实际情况，但是无论在理论上还是在实际建模过程中，仍然存在一些技术难点。本书第57章将介绍与非平稳过程有关的一些理论和方法。5.2平稳余差过程5.2.1平稳余差过程的基础5.2.2ARIMA模型5.2.3季节性模型5.2.4函数生成理论5.2.1平稳余差过程的基础1.模型描述2.参数估计的统计分析1.模型描述应用的观点出发对非平稳过程最简单的理解是认为它的均值函数呈现某种规律性，而协方差只与时间差有关。这一类过程又称为具有平稳余差的非平稳过程，或简称为平稳余差过程。2.参数估计的统计分析当式(5-2)中回归变量

4、k(t)不含未知参数，这时依据序列y(t)估计回归系数(或模型参数)在前面几章已经进行了比较详细的讨论，其中重点讨论了最小二乘法。可以把前面的方法用来求解平稳余差过程模型。为此，定义向量和矩阵Yy(1),y(2),y(n)，Xx(1),x(2),x(n)1,2,m1(1)m(1)1(n)m(n)则，得到矩阵方程Y=+(5-3)可以利用最小二乘法的批处理公式求解式(5-3)表达的模型。把用最小二乘法求解的参数估计值记为LS，那么LS(T)-1TY(5-4)定理5-1LS是的线性无偏估计。5.2.2ARIMA模型20世纪70年代Box和Jenkins提出一种研究平稳余差序列的方法，建立了积分自回归

5、滑动平均模型，记为ARIMA。差分法是这种方法的基础，通过差分消除序列中的趋势成分和周期成分而得到一个弱平稳序列。尽管新的弱平稳序列与原来的余差序列并不等价，但是它们之间有密切的关系，从新序列的统计特性可以推测原来的余差序列的统计特性。当序列的均值函数m(t)为多项式时，用简单的差分方法就可以把趋势成分消除，使序列变成一个弱平稳序列。5.2.3季节性模型利用差分方法也可以消除均值函数中的周期分量或季节性分量，使平稳余差序列变成弱平稳序列，称这一类模型为季节性模型。季节性模型可以用于描述有周期性变化的对象，如电力负荷、水文气象、保温或降温的消费品需求等。 季节性模型首先应该把握变化周期，根据变化

6、周期建模。周期性变化可能是季节、月、天。不同的周期还有可能叠加在一起。比较简单的季节模型是只包含季节分量或者只包含月度分量的模型。5.2.4函数生成理论通过差分可以把一个平稳余差过程转化为弱平稳过程，那么反过来能否用累加的办法把一个弱平稳过程变为平稳余差过程呢？灰色系统理论研究了这一问题，提出了函数生成的概念和函数生成的规律。 灰色系统理论认为由于环境中存在干扰，而使研究对象的观测数据出现比较大的离散情况，不能直接从散点图中发现模型的线索。但是，只要用适当的方式处理原始数据，就可以削弱其中的随机成分并强化其规律性，得到一个较为规则的时间序列。灰色系统理论称它为灰色过程的生成，简称为生成。 生成

7、有两种操作方式，一种是累加生成，记为AGO；另一种是累减生成，记为IAGO。实际上累减生成(IAGO)就是前面讨论的差分概念的推广。下面简单介绍累加生成。5.3*随机过程的线性变换5.3.1基本概念5.3.2第一类线性变换5.3.3第二类线性变换5.3.1基本概念把随机过程xt()，tN视为一个二元泛函。一方面它可以看成定义于N而取值于概率空间(,F,P)的抽象函数；另一方面它可以看成定义于概率空间(,F,P)，取值于广义函数空间D的广义函数。因此研究xt()的线性变换应该从两方面考虑：一种变换与参数t有关，研究对于函数xt的线性变换；另一种变换以x为基本元，研究对x的线性变换。当以t为参考变

8、量时，对xt施以线性变换，有y=L(xt)(5-26)显然，若xt是以t为参数的随机过程，那么y则应该是以为参数的随机过程，这类变换称为随机过程的第一类线性变换。当以x为变换的基本元时，为了不引起误解，记t=xt()，于是就变成以t为基本元，研究t=A(t)(5-27)式中，t为定义于N取值于概率空间(,F,P)的随机过程。这就是说，变换A把概率空间(,F,P)变成它自身。称式(5-27)为随机过程的第二类线性变换。5.3.2第一类线性变换Fourier变换属于第一类线性变换，然而在一般函数意义下，不能对随机过程进行Fourier变换，如果把随机过程同广义函数联系起来，利用广义函数的Fouri

9、er变换，可以发现若干比谱分解定理更有实用价值的结论。随机过程的第一类线性变换改变参数空间的属性。例如，对时间序列进行Fourier变换，可以认为参数由时间域映射到复频域，称时间序列经Fourier变换后所得到函数为谱函数。当时间序列是一个随机过程时，它所对应的谱函数是随机谱函数。现有的平稳随机过程理论把研究的视野局限在H空间，因此无法定义随机过程的Fourier变换。为了克服研究中的困难，在谱分解定理中引出正交增量过程来与弱平稳过程对应。如果把研究的视野由H空间扩大到D空间，那么可能解决的问题会更多一些，例如可以直接证明弱平稳过程谱函数的正交性，还可以找到分离平稳余差过程均值函数的方法。5.

10、3.3第二类线性变换 第二类线性变换是建立动态回归方程或时变参数回归方程的基础。前面曾谈到这样一个观点：现实世界中的大部分对象都会随时间的变化而改变。可能存在两种情况，一种情况是对象因为服从其运动规律而发生的变化，而运动规律本身并不改变；另一种情况是运动规律也发生了变化，这样根据历史样本建立的模型就会失去作用。如果对象运动规律改变的速度比较慢，那么依靠历史数据建立的模型还可以表达对象近期的运动规律，如果对象运动规律改变的速度比较快，那么依靠历史数据建立的模型就不一定能表达对象未来的运动规律。本书研究对模型参数建模，希望通过参数的改变来表达对象运动规律的变化。此外，本书前面还谈到可以用时变参数的

11、线性模型来描述复杂的非线性模型。5.4*随机过程的Fourier变换5.4.1均值函数的Fourier变换5.4.2零均值随机过程的Fourier变换5.4.3离散Fourier变换5.4.4噪声分离技术5.4.5方差滤波5.4.1均值函数的Fourier变换研究对象往往在存在增长或下降的趋势同时具有随机特征。当去掉趋势成分后余下的随机过程可以认为是零均值随机过程，在很多情况下它是系统受到的多种干扰的综合结果，通常希望选择好的参数估计方法尽量减少它们对模型的影响。即使系统本身就是随机的，也可以按照前面介绍的时间序列分析的方法建立模型。如果能够在参数估计之前分离系统观测值中的趋势成分和随机成分，

12、那么可以降低对于参数估计方法的要求。5.4.2零均值随机过程的Fourier变换假定过程xt是零均值、方差有界，而且是各态历经的，那么它的Fourier变换为X=1TT0eitxtdt(5-46)考虑当=时，有X0=1TT0 xtdt(5-47)按照各态历经的概念，式(5-47)计算的应该是随机过程xt的均值，所以0为0，也就是说，零均值弱平稳随机过程的谱函数在零谱点上取值为0。把这个结论和上面提到的均值函数的谱完全集中在零谱点上合在一起考虑，可以看出在频率域内，可以很容易地把增长趋势的均值函数同零均值的随机噪声分离开。当采用数值计算方法分离噪声时，要引入离散Fourier变换(DFT)，其计

13、算方法比上面提到的结论略微复杂一点，但是没有本质的区别，都是利用在频率域内均值函数和随机干扰在不同谱点上信息的不同分配来分离它们。5.4.3离散Fourier变换设有时间序列x0,x1,xN-1，其中N为序列长度，把它的离散Fourier变换记为Xk=DFTxr(5-48)其反变换记为xr=IDFTXk(5-49)若用wN=exp-2iN(5-50)表示DFT运算符，那么正变换定义为Xk=1NN-1k=0 xrwrkN(5-51)反变换定义为xr=1NXkwrkN(5-52)离散Fourier变换具有线性分配性，因此对式(5-38)的离散Fourier变换可以写成DFTytDFTmt+DFTx

14、t(5-53)5.4.4噪声分离技术1.噪声分离的原理2.计算方法3.仿真计算例子1.噪声分离的原理图5-1用时间窗截取时间序列1.噪声分离的原理图5-2时间窗的谱函数2.计算方法1)设时间序列为y(n),n=0,1,2,N-1，对它进行离散Fourier变换运算2)利用式(5-64)计算(0)3)计算矩型窗口的离散Fourier变换4)利用式(5-61)和式(5-62)计算噪声的谱函数5)利用离散Fourier反变换计算原时间序列中的噪声分量6)分离原时间序列中的均值分量3.仿真计算例子设仿真模型为yt=mt+xt式中，mt为均值函数，由线性方程mt=26.15+2.017t(5-65)产生

15、。随机分量xt由计算机产生，取均值为0，方差为20，正态分布。把mt和xt相加就得到用于试验的观测数据yt，共取得20个数据，列于表5-1。根据表5-1提供的数据，直接用最小二乘法建立线性模型，得到t33.17+1.34t(5-66)其相关系数为r=0.33，从统计学原理看，不能用这个模型。直接比较式(5-65)和式(5-66)也可以看出，参数差别比较大。用噪声分离技术对表5-1所示的数据进行处理。处理后的数据列于表5-2。根据表5-2所示的数据利用最小二乘法求解出模型t26.04+2.028t(5-67)其相关系数达到r=0.989，其他统计指标也通过。比较式(5-67)与式(5-65)，发

16、现估计的精度相当高。由此可见，Fourier变换的滤波方法能充分地分离噪声，以建立较准确的趋势模型。3.仿真计算例子表5-1仿真数据tyty1254671139867255480128586936624813322394267701454394547238155775863518166141474461217672378924718933579451231911519105544820617823.仿真计算例子表5-2噪声分离后的数据tyty13149911474782333391249793333344135162343371514538225346361556636635660165951

17、2738323176263884020818651449428771963733104562720671405.4.5方差滤波1.方差滤波的基本原理2.方差滤波的统计检验3.方差滤波的工作步骤1.方差滤波的基本原理设有时间序列x1,x2,xN，把N分成n组，每组k个数据，显然N=nk。分组后对数据重新编号，第一组数据记为x11,x12,x1k，第二组数据记为x21,x22,x2k,。对于任意的新编号数据xij，i表示分组的编号，j表示数据在i组内的序号。为了考察小组内数据容量是否恰好反映原始序列数据周期的长度，可以对不同组别但组内序号相同的数据进行平均运算，并计算离差。设组内序号为j的数据平均

18、值为Xj=1nni=1xij(5-68)那么组内数据离差平方和为Se=kj=1ni=1(xij-Xj)(5-69)为了分析方便，先假定序列中没有趋势分量和随机分量，也就是说认为时间序列是纯周期性的。在这样的情况下，如果小组的数据容量等于周期长度，那么不同小组内序号相同的数据应该相等，即x1j=x2j=xnj=Xj由式(5-69)不难看出，此时Se=0。如果分组时小组内的样本容量不等于周期长度，一般来讲，由式(5-69)计算的Se应该大于0。2.方差滤波的统计检验设时间序列的总平均值为X=1NNr=1xr1nkkj=1ni=1xij(5-70)相对于X时间序列的总离差平方和为ST=kj=1ni=1(xij-X)(5-71)如果时间序列中的随机变量为独立正态分布时，ST为具有自由度fT=N-1的2分布，式(5-69)计算的Se为具有自由度fe=N-k的分布。为了消除统计量ST和Se的相关关系，定义新的统计量SaSa=ST-Se=nkj=