时间序列分析-估计

第七章潜周期模型的参数估计潜周期模型的参数估计混合自回归潜周期模型的参数估计二维随机场的潜周期模型及其参数估计潜周期模型通常的余弦信号是用潜周期模型描述的.其中正数是相应于第个j角频率的振幅.是一个零均值的线性平稳序列，被称为有色噪声.第一节潜周期模型的参数估计A.复值潜周期模型的初估计B.角频率的精估计C.实值模型（1.1）的参数估计D.模型的预测它是对周期叠加项的随机干扰.满足（1.1）的时间序列被称为潜频率或潜周期序列.模型（1.1）还可以写成复的形式-复值潜周期模型定理1.1（见文献[13]）设是独立同分布的线性滤波器满足平稳噪声由定义.则有如下的结果其中是的谱密度.A.复值潜周期模型的参数估计对于来自复值潜周期模型（1.3）的观测数据引入函数类似地定义于是

于是，当N充分大以后，实值连续函数在区间上的图形具有如下的形状：（1）在每个的邻域内有一峰群，其最高峰的高度大于最高峰的下面隐藏着角频率；（2）在所有的的邻域外（3）峰群的个数就是潜周期模型中的周期（或角频率)个数的估计.根据的图形形状，可以给出对潜周期模型（1.3）中的角频率个数，角频率向量和振幅向量进行估计得方法.一般采用下面三种离散化的方法.方法1

当潜周期模型中的各振幅的绝对值差别不大，并且平稳噪声的谱密度没有明显的峰值时可以采用本方法.取满足：当时，第一步定义计算

第二步计算的最大值.当，定义，停止计算.否则，定义在中计算的最大值.当,定义，停止计算.以此类推.当在的最大值，在的最大值时，定义q的估计为并将最大值点按从小到大重排后得到的角频率向量的初估计

方法2

当潜周期模型中的各振幅的绝对值有较大的差别，但是平稳噪声的谱密度没有明显的峰值时可以采用本方法.

取正整数满足：当时，和第一步定义计算第二步和方法1中的第二步相同.最后得到角频率向量的初估计（1.9）.方法3

当潜周期模型中的各振幅的绝对值有较大的差别，但是平稳噪声的谱密度有陡峭的峰值时可以采用本方法.第一步取正数，定义计算第二步和方法1中的第二步相同.最后得到角频率向量的初估计(1.9).定理1.2（见文献[25]）设模型(1.3)中的平稳噪声满足定理1.1中的条件，则几乎必然的当N充分大后，由上面的三种方法定义的和初估计满足

有了角频率的估计量(1.9)，就可以定义振幅的估计如下：B.角频率的精估计得到角频率的初估计（1.9）后，可以用以下的方法改进估计得精度，得到精度更高的估计量.方法1周期图的最大估计对每一，在它的8/N邻域中用加密计算函数的方法来得到经加密计算后的最大值点如果计算的密度可以达到，就称为的周期图最大估计.用代替（1.12）中的，从而得到振幅的精估计：定理1.3（见文献[25]）设模型（1.3）中的平稳噪声满足定理1.1中的条件，则有如下的结果：方法2

角频率估计得二次分析法用表示c的辐角.取正整数，则存在正整数m，满足对于定义最后将改进的初估计代入（1.13），就得到的估计.C.实值模型（1.1）的参数估计由于观测数据是实值的，所以是偶函数，因而只需在上找出峰值的个数作为角频率个数k的估计.每个峰群中的最高峰下对应一个角频率的估计设由（1.13）或（1.14）定义.定义的估计如下：如果，取如果，取初始相位的估计取作D.模型的检测对于实值模型（1.1），在得到周期个数的估计，角频率的估计，振幅的估计和初始相位的估计后，为了检测模型是否合理，需要计算残差和它的样本自相关函数这里是的样本均值.如果有收敛到零的性质，就认为模型合适.第二节混合自回归潜周期模型的参数估计A.混合自回归潜周期模型B.模型（2.5）的参数估计C.模型（2.5）的拟合检验和预测D.混合ARMA潜周期模型的参数估计A.混合自回归潜周期模型在模型（1.3）中，如果有色噪声是AR（p）序列，则可以写成其中是，实系数多项式A（z）满足最小相位条件当利用（2.1）可以将（1.6）写成在上式两边同时乘上，取，就得到其中于是可以将（2.3）写成混合自回归潜周期模型（2.4）描述的时间序列比自回归模型或潜周期模型更加广泛.它不仅考虑多个频率成分的叠加，还考虑了历史对现状的影响.实值得混合自回归潜周期模型具有如下的一般形式：设是多项式A（z）的所有互异根，

是的重数，则满足模型（2.4）的任何时间序列具有如下的形式：其中由的Taylor展开式决定.B.模型（2.5）的参数估计设观测数据

满足模型（2.5），定义

（2.8）利用（2.8）和（2.6）可以把（2.5）改写成这是一个潜周期模型，只是多出了一个加项.利用定理1.1可得所以模型（2.4）中的潜频率个数和潜频率的估计可以利用上节的方法得到.注意，计算时也要先对数据进行零均值化处理.假设已经得到潜周期个数q的估计和角频率的初估计（或周期图最大估计）定义定义按6.1节的方法对进行AR(p)拟合，可以得到自回归的介绍p，自回归系数和白噪声方差的估计定义模型（2.4）的振幅的估计最后，对于实值模型（2.5），定义k的估计如下模型（2.5）中的振幅角频率和初始相位的估计按第一节的C中的方法得到：如果，取如果，取初始相位的估计取作C.模型（2.5）的拟合检验和预测得到明显（2.5）的参数估计后就可以计算残差如果残差（2.14）可以通过白噪声的检验，就认为模型参数的选择是合理的.这时可以用对进行预测.对依次定义后，可以用对进行递推预测.D.混合ARMA潜周期模型的参数估计更一般地还可以对数据拟合混合ARMA潜周期模型（2.15）其中，除了要求自回归和潜周期部分满足模型（2.5）中的所有条件外，还要求运动平均部分的系数满足可逆条件当模型（2.15）的参数估计方法和自回归潜周期模型的参数估计方法相同.首先将明显（2.15）改写成（2.16）利用观测数据计算出（2.10）和（2.11）的和后，对用（2.12）定义的按6.3节的方法建立模型.设得到的ARMA模型的参数估计是在利用（2.13）估计（2.16）的振幅.最后得到模型（2.15）中k的估计振幅，角频率和初相位的估计按如下的方法给出：如果，取如果，取初始相位的估计取作第三节二维随机场的潜周期模型及其参数估计二维随机场也称为二维时空序列，它是定义在平面格点上的随机变量的集合如果对中的任何和，有就称是平稳随机场或平稳时空序列.二维离散信号场是定义在的信号矩阵这里是点的信号.最简单的二维复三角信号场就是一个重要的例子，它具有如下形式其中，和是中的分数，分别称作水平角频率和垂直角频率.

类似一维复三角信号，当输入信号是p个复三角成分的叠加时，经过（绝对可和的）线性滤波器后的输出信号仍然是p个具有相同角频率的复三角信号的叠加.在上述的输入输出系统中如果有随机干扰的存在，输出信号就变成（3.2）其中是一个二维零均值实值噪声，满足

（3.3）满足（3.3）的时空序列被称为二维白噪声.模型（3.2）被称为二维潜周期模型，它是一维潜周期模型（1.6）在随机场上的体现.我们的统计问题是对观测数据建立模型（3.2）.设观测数据（3.4）满足模型（3.2）.经简单计算得到(3.5)对充分大的N，M勾画出函数的大致图形.连续函数在每个角频率的附近处都有一个峰群，最高峰的高度约为.在所有角频率点的邻域外，被某一致控制.于是，潜频率个数p的估计就是函数在的峰群数.在每个峰群的最高峰下面是一个角频率点的估计.因此，可以定义的估计如下：

（3.7）第八章时间序列的谱估计平稳序列的谱表示平稳序列的周期图加窗谱估计加窗谱估计得比较第一节平稳序列的谱表示

A.随机积分的定义B.随机积分的性质C.平稳序列的谱表示D.线性平稳序列的谱表示E.离散谱序列的特征F.离散谱序列的随机测度G.平稳序列的频谱性质H.平稳序列的分解A.随机积分的定义

定义1.1称复值时间序列是正交增量过程，如果它满足（1）对一切（2）对任何有其中表示的共轭.

定义1.2

称正交增量过程是右连续的，如果时，对任何，有

定理1.1

设是正交增量过程，则有唯一的分布函数，使得在任何，有证明取，则对，利用正交增量性得到

例1.1

设是上的独立增量过程，对，这时是上的布朗运动，因而是正交增量过程，B.随机积分的性质

定理1.2设是正交增量过程，有相应的分布函数.对于随机积分I（g）有如下的性质：（1）（2）这里a，b是复常数（3）（4）证明设阶梯函数使得当时，利用内积的连续性得到（2）因为阶梯函数在中收敛到，随机变量在中收敛到所以按随机积分的定义得到(2).（3）利用内积的连续性和（7）得到最后一个等号用到中内积的连续性.

(4)在(3)中将f,g都取成（f-g）,再利用(2)得到

C.平稳序列的谱表示

定理1.3（谱表示定理）对零均值平稳序列，有右连续的正交增量过程，使得和并且相应于的分布函数恰好是的谱密度函数.如果另有右连续的正交增量过程也满足上述的条件，则在上述定理中，称正交增量过程为的随机测度.

定义1.2(接例1.1)对于布朗运动定义平稳序列则有谱函数，有谱密度于是是白噪声.又从随机积分的定义知道，是一个复值得正态白噪声.D.线性平稳序列的谱表示设是，从谱表示定理知道，存在惟一的正交增量过程，使得设实数列平方可和，是由生成的线性平稳序列

则它有谱密度和谱函数如下：

由于级数在中均方收敛，所以在中

其中是右连续的正交增量过程，有分布函数.于是，是的随机测度.E.离散谱序列的特征设平稳序列的谱函数是阶梯函数，则可以证明是离散谱序列.定理1.4

如果平稳序列的谱函数是阶梯函数，且只在有跳跃高度，则当时，存在零均值随机变量序列，使得和成立.特别，当谱函数只p个跳跃点时，F.离散谱序列的随机测度如果离散谱序列由定义，其中满足可以证明

是的随机测度.G.平稳序列的谱性质设平稳序列有谱表示，谱函数.当绝对连续时，有谱密度

如果在处有一个峰值，则在有增量这是正交增量过程在集中的能量.H.平稳序列的分解从实变函数论知道，每个分布函数可以唯一分解成绝对连续部分，跳跃部分和奇异部分:这种分解被称为Lebesgue分解.定理1.5设零均值平稳序列有谱函数.相应于的Lebesgue分解,可以惟一分解成三个相互正交的零均值平稳序列的和其中有谱函数

.第二节平稳序列的周期图A.周期图的定义B.周期图的性质

由于平稳序列的谱密度形状能体现该平稳序列的频率特性,所以对于平稳序列的谱密度进行估计,特别是估计谱密度的峰值情况是应用时间序列分析的重要任务之一.平稳序列的周期图中蕴含了谱密度的信息，所以有必要对周期图详加考察.本节假设所述的平稳序列是零均值的和实值的.A.周期图的定义设平稳序列有谱密度和自协方差，则如果绝对可和：，则于是从观测数据出发，谱密度的估计应当定义为

下面研究的基本性质.

定义

引理2.1

证明记用表示元素都是1的N维列向量，则定义2.1

称由定义的为观测数据的周期图.定理2.2

对于时间序列的观测值，定义则B.周期图的性质定理2.3如果零均值平稳序列的自协方差绝对可和：，则是的渐进无偏估计：证明利用定理2.2和Kronecker引理得到定理2.4

设是独立同分布的，实数列满足.线性平稳序列由定义.用表示的周期图，则有如下的结果其中是的谱密度.例2.1

设是标准正态白噪声，则有谱密度则服从标准正态白噪声N(0,1).于是的分布于N无关.因而不依概率收敛到零.也就是说，不是f(0)的弱相合估计.例2.2

平稳AR（2）序列的谱密度是从120个观测数据的周期图可知，它围绕剧烈摆动.第三节加窗谱估计A.时窗B.谱窗C.几种常见的谱窗和时窗A.时窗对周期图加上权函数后得到加权谱估计为了克服周期图的振动，应当是的单调减少函数.通常上式中的权函数称为时窗.称此式是加时窗谱估计，简称为加窗谱估计.例3.1

在例2.2中，如果取时窗就得到由（2.11）定义的谱估计.对于序列来讲，这个加窗谱估计要比周期图好得多.一般来讲，如果时窗取得合适，都会得到相合的加窗谱估计.例3.2

设是MA（q)序列，满足由于自协方差函数q后截尾，所以的谱密度是对正整数，取时窗则加窗谱估计为如果是独立分布的白噪声，则当时，收敛到.于是这表明加窗谱估计是的强相合估计.B.谱窗定义3.1

如果谱密度的估计可以写成就称是的加谱窗谱估计，也简称为加窗谱估计.称权函数为谱窗.加窗谱估计的时窗和谱窗之间有以下的换算关系：C.几个常用的谱窗和时窗设是经过零均值化的观测样本.样本的自协方差函数是周期图是取正整数，满足和.实际应用时可以将取成，这里A是正常数，一般取值在1和3之间.常见的谱窗有：截断窗，Bartlett窗，Daniell窗，Turkey窗，Parzen窗，Bartlett-Priestley窗第四节加窗谱估计的比较A.方差的比较B.分辨率的比较A.方差的比较定理4.1

设是平稳正态序列，有连续可微的谱密度谱窗函数满足第三节中的条件（1）—（5）.加窗谱估计有（3.4）定义，则有如下的结果：（1）是的渐近无偏估计：（2）是的均方相合估计：（3）当N充分大后，有其中B.分辨率的比较设谱密度连续，在处有一个明显的峰值，如果有满足当称是在处的带宽,完全类似的可以定义谱密度在处有一明显低谷时的带宽.用表示谱窗，关于谱窗的带宽有以下几种常用的定义.B1半功率带宽.其中由决定.B2Parzen带宽.B3Jenkin带宽第九章多维平稳序列介绍多维平稳序列多维平稳序列的均值和自协方差函数的估计多维AR(p)序列第一节多维平稳序列一、二阶矩有穷的多维时间序列定义1.1设为m维随机向量序列，其中

若，则称为二阶矩有穷的m维随机向量序列，简称为m维随机序列。记分别称为的均值向量函数和协方差阵函数，其中*表示共轭转置。

二、多维平稳时间序列定义1.2：设为m维二阶矩有穷随机序列，若均值向量函数和协方差函数满足则称为m维平稳序列，称为平稳相关。

定理1.1为m维平稳序列的协方差阵函数，则(i)(ii)(iii)

(iv)对任意正整数,m维复向量,有即为非负定阵。

定义1.3：若m维平稳序列满足

(1.1)

其中S>0(正定阵)，则称是m维平稳白噪声序列，简称m维白噪声序列。

定义1.4：若m维随机序列满足：

(1.2)其中为满足(1.1)的s维白噪声序列，为常值阵序列，满足

则称为m维平稳线性序列。可证(1.2)中的每个分量都均方收敛，且有常见多维平稳模型1、多维滑动平均模型2、多维自回归模型第二节多维平稳序列的均值和

自协方差函数的估计一.均值的估计设是m维平稳序列，是观测值，均值的点估计定义为

相合性：定理2.1如果的每个分量序列都是严平稳遍历序列，则当时定理2.2如果自协方差函数满足条件

则其中

定理2.3如果则当时，有

定理2.4如果为以下的m维平稳线性序列

二.自协方差函数的估计设是m维平稳序列，是观测值，的估计为

相关系数的估计为

其中表示的第(i,j)元素，自相关系数矩阵的估计是

第三节多维AR(p)序列一.多维ARMA模型定义3.1设为实m维平稳序列，称它为m维ARMA(p,q)序列，如果满足如下m维随机差分方程

(3.1)

其中为实系数阵，为实m维白噪声序列，记

(3.2)

且满足如下条件：(i)(ii)和是左互质，即若，则(iii),rank表示秩。若满足条件(i)，则称(3.1)具有平稳性和可逆性，且有当p=0时，称(3.1)为m维MA(q)模型，当q=0时，称(3.1)为m维AR(p)模型。

多维ARMA(p,q)模型(3.1)的传递形式和逆转形式分别为：

且

注：对多维ARMA(p,q)模型建模时遇到两大困难，(1)多维ARMA(p,q)模型的参数不可由唯一决定，当然也不可由的自协方差函数唯一决定称之为多维ARMA模型的不可识别性。(2)一维ARMA模型中，对滑动平均参数的估计常要采用非线性最小二乘估计，对于多维情形就更复杂、更困难。二.多维AR模型定义3.2设为实m维平稳序列，称它为m维AR(p)序列，如果满足如下m维随机差分方程

(3.3)

其中为实系数阵，为实m维白噪声序列，记

(3.4)

且满足如下条件：(i)(ii)VAR(1)模型的解:VAR(1)序列的自协方差函数:

三.多维AR模型的参数估计目的：假定自回归的阶数p已知，求出自回归系数阵和白噪声方差阵S的估计。1.自回归系数阵的矩估计设为VAR(p)序列

(3.3)

对(3.3)等式两边右乘，再求数学期望得，

(3.5)式取n=1,2,…,p可表为矩阵型的线性方程组：

(3.7)

令

称(3.6)式为Yule-Walker方程，它可表为

(3.7)设为的长度为n的样本，当n充分大时，m维样本自协方差阵

(3.8)

可作为的估计。于是，系数阵的估计：AR(p)模型的系数阵的估计

(3.9)称为的矩估计，又称为Yule-Walker估计。

白噪声方差S的矩估计为(3.10)

2.多维AR(p)模型系数的最小二乘估计求使得，

(3.11)达最小，则必须满足：

(3.12)其中是的第行第j列的元素。

则有，

(3.13)记

(3.14)

则(3.13)为

(3.15)当n充分大时，渐近相等。

系数阵的最小二乘估计：由(3.15)解出，记称之为的最小二乘估计。m维白噪声序列的方差阵S的最小二乘估计：

(3.16)

3.多维AR(p)模型系数阵的递推估计1).m维AR模型系数阵随阶数p的递推算法为了表示自回归系数阵随着模型阶数p而变，将它表示为则模型表示为：

(3.17)相应的记为，它满足

(3.18)

记，并定义