过程建模3-时间序列模型

上篇线性系统建模3.1问题的提出3时间序列模型在实际建模应用中，有一类系统不能完全用前面章节所介绍的输入/输出关系模型来描述，如生物系统中的生物电信号（心电、脑电…),经济系统中的市场价格，机械系统中的机械振动，社会上的某种疾病的发病率等。这些系统变量的特征：一是系统不存在明确的因果关系，或者说“因”不清楚，能观测到的只是“果”；二是这些量随时间推移而变化的观测值相关的；三是观测值受随机干扰影响，具有随机性，属于随机过程。我们将这种随时间顺序排列的一个观测序列称为时间序列或随机时间序列。3.1问题的提出3时间序列模型时间序列自身所具有的相关性，即任何时刻的观测值都受过去观测值的影响，是对其进行研究的基础。

我们可以：通过时间序列的历史数据,得出关于其过去行为的有关结论，进而对时间序列未来行为进行推断。

建立随机时间序列模型的目的，就是要通过序列过去的变化特征来预测未来的变化趋势。3.1问题的提出3时间序列模型根据不同的研究对象所表现的时间统计特性，随机时间序列可以分为两类：平稳时间序列：平稳时间序列是平稳序列，它满足期望为零，且任意两个时刻的相关函数与时间t无关，仅与两个时刻的时间差相关。非平稳时间序列：不满足平稳随机过程的统计特征，序列的相关函数与时间起源点有关。有季节性周期时间序列、线性趋势时间序列、指数趋势时间序列及不规则时间序列等不同的时间序列，其建模过程有所不同。3.1问题的提出3时间序列模型

随机时间序列模型（TimeSeriesModeling）一般形式为

yt=F(yt-1,yt-2,…,t)

建立具体的时间序列模型的三个问题：

(1)模型的具体形式（线性/非线性？定常/时变？）

(2)时序变量的滞后期

(3)随机扰动项的结构3.1问题的提出3时间序列模型

例如，取线性方程、一阶滞后以及白噪声随机扰动项（t=vt），模型将是一个1阶自回归过程AR(1)：

yt=yt-1+vt

(vt特指白噪声)一般的p阶自回归过程AR(p)是：

yt=1yt-1+2yt-2+…+pyt-p+t(*)

(1)如果随机扰动项是一个白噪声(t=vt)，则称(*)式为一纯AR(p)过程(pureAR(p)process)，记为

yt=1yt-1+2yt-2+…+pyt-p+vt3.1问题的提出3时间序列模型

(2)如果t不是一个白噪声，通常认为它是一个q阶的滑动平均(movingaverage)过程MA(q)：

t=vt

−

1vt-1−

2vt-2−−

qvt-q

该式给出了一个纯MA(q)过程(pureMA(q)process)。

将纯AR(p)与纯MA(q)结合，得到一个一般的自回归滑动平均(autoregressivemovingaverage)过程ARMA(p,q)：

yt=1yt-1+2yt-2+…+pyt-p

+

vt

-

1vt-1-

2vt-2--

qvt-q3.1问题的提出3时间序列模型

yt=1yt-1+2yt-2+…+pyt-p

+

vt

-

1vt-1-

2vt-2--

qvt-qARMA(p,q)：该式表明：（1）一个随机时间序列可以通过一个自回归滑动平均过程生成，即该序列可以由其自身的过去以及随机扰动项来解释。（2）如果该序列是平稳的，即它的行为并不会随着时间的推移而变化，那么我们就可以通过该序列过去的行为来预测未来。平稳时间序列的建模就是指用动态数据来拟合ARMA模型。3时间序列模型结构阶数序列样本确定估计参数预测未来行为时间序列分析的过程：时间序列建模3.1问题的提出检验3.2ARMA模型建立

线性时不变随机时间序列模型包括AR、MA和ARMA模型。模型的建立，就是对于一个平稳的随机时间序列，找出生成它的合适的随机过程或模型，即判断该时间序列是遵循一纯AR过程、还是遵循一纯MA过程或ARMA过程，并估计过程的参数。具体包括：3.2.1ARMA模型结构识别3.2.2ARMA模型参数估计所使用的工具主要是时间序列的自相关函数（ACF）、偏自相关函数（PACF）及最小二乘估计（LS）。3时间序列模型3.2.1

ARMA模型结构识别ARMA模型结构识别即是初步确定适合于给定样本的ARMA模型形式，即确定p,q的取值。常用的结构识别方法有：损失函数检验法F检验法AIC准则自相关图和偏自相关图法

见第4章“模型阶的辨识”3时间序列模型3时间序列模型3.2.1

ARMA模型结构识别AR(p)模型的识别原则：若yt的偏自相关函数k*在p以后截尾,即k>p时，k*=0，而它的自相关函数k是拖尾的，则此序列是自回归AR(p)序列。MA(q)模型的识别规则：

若yt的自相关函数k在q以后截尾,即k>q时，k=0，而它的偏自相关函数k*是拖尾的,则此序列是滑动平均MA(q)序列。3时间序列模型3.2.1

ARMA模型结构识别

从识别上看，通常：

ARMA(p,q)过程的偏自相关函数(PACF)可能在p阶滞后前有几项明显的尖柱，但从p阶滞后项开始逐渐趋向于零；而它的自相关函数(ACF)则是在q阶滞后前有几项明显的尖柱,从q阶滞后项开始逐渐趋向于零。ARMA(p,q)的自相关函数，可以看作MA(q)的自相关函数和AR(p)的自相关函数的混合。3时间序列模型3.2.1

ARMA模型结构识别ARMA(p,q)模型的ACF与PACF理论模式模型ACFPACF白噪声kk*AR(p)衰减趋于零(几何型或震荡型)p阶后截尾：k*=0，k>pMA(q)q阶后截尾：k=0，k>p衰减趋于零(几何型或震荡型)ARMA(p,q)q阶后衰减趋于零(几何型或震荡型)p阶后衰减趋于零(几何型或震荡型)3时间序列模型3.2.1

ARMA模型结构识别3时间序列模型3.2.1

ARMA模型结构识别3时间序列模型3.2.1

ARMA模型结构识别3时间序列模型3.2.1

ARMA模型结构识别3时间序列模型3.2.2

ARMA模型参数估计ARMA模型参数估计，是在模型结构确定后，估计模型的参数，即确定常用的参数估计方法有：矩估计最小二乘估计极大似然估计

…….

1，2，…

，p和1，2，，q3时间序列模型3.2.2

ARMA模型参数估计矩估计，也叫YuleWalker方程估计。它只需要样本的自相关函数的估计值，求解YuleWalker线性方程组获得参数估计值，简单方便。但矩估计的精度较低，一般用来获得最小二乘估计的初始值。最小二乘估计。对于AR模型，用普通最小二乘法。对于MA和ARMA模型，需要用增广最小二乘法。（参见第1章）3.3非平稳时间序列模型

当随机时间序列模型

yt=F(yt-1,yt-2,…,t)函数F中包含时间的确定性趋势项时，该模型所确定的随机序列不再是平稳序列。这时，序列的统计特性与时间原点有关。3时间序列模型3.3非平稳时间序列模型若F为线性函数，则表现为ARMA模型的一些参数为时变参数。此时，模型参数估计可采用：限定记忆或渐消记忆最小二乘法卡尔曼滤波逼近法若F为非线性函数，可尝试用非线性最小二乘法估计模型参数或用动态神经网络建模。（参见第9章）3时间序列模型3.3非平稳时间序列模型用卡尔曼滤波估计时变ARMA模型参数：Kalman滤波器时变ARMA模型其中，w(k)表示人为设定的时变参数的“假”噪声，假设它是零均值、正态白噪声，且与v(k)独立。w(k)的方差为可调参数，根据待估计参数随时间变化的快慢取值。由于时变参数的动态变化规律未知，将其假设为不相关的随机漂移向量3时间序列模型3.3非平稳时间序列模型用逼近法估计时变ARMA模型参数：3时间序列模型将模型中随时间变化的参数表示成一个时间的函数，该函数能逼近原参数的时间动态性能，如用时间t的n次多项式逼近：其中为未知参数，需要估计。时变参数逼近式原模型方程重构时变参数LS举例时不变参数估计3.3非平稳时间序列模型逼近法中，关键是根据时变参数的特性选择合适的逼近函数，除了多项式逼近，还有小波函数逼近、傅立叶级数逼近等。有时也将逼近函数称为时变参数展开的基函数，基函数的选择目前没有形成统一的理论框架。3时间序列模型平稳时间序列建模过程1、检验时间序列的平稳性2、零均值化3、模型的初步识别4、模型的定阶5、模型的参数估计6、模型的适应性检验

3.4应用实例3时间序列模型化学反应产出量

(每次观测间隔两小时)

476423713864554159487135574058448055377451575060455750452559507156745058455436544855455750624464435238595541534934355445

68385060395940575423

共70个数据3.4应用实例3时间序列模型时序数据文件建立和数据的观察一、工作文件的建立化学反应产出量时序是每隔两小时采集的数据，可把此数据看作无规则的数据，而且，共有70个数据，建立工作文件应选择

3.4应用实例3时间序列模型二、建立数据对象三、输入数据四、对数据进行浏览观察

1、观察其数据图，看序列是否具有趋势性、周期性、季节性，以判断序列是否平稳序列？本序列的数据图如下：3.4应用实例3时间序列模型本图展示了连续观测一项化学反应的70笔产量的观测值，这70笔的数列数据的明显特征就是大约在一固定的水准为50测量单位左右，并且都在20到80的测量单位固定范围内变动，整体来说此数列不论何时皆具有大致相同的统计特征，此序列是一个平稳序列。在此例中，所预测的产量的平均水准应为50，且都在20到80之间。若再仔细观察数列的行为可发现一趋势：若观测值大于平均数，则下一个观测值即小于平均数，反之亦然，于是两两邻近的观测呈现负相关，如能适当利用此相关性可使我们的预测更精确。3.4应用实例3时间序列模型五、看数据的统计特性，观察此序列是否正态序列：从其统计特征可以看出该序列均值为51.12857,Jarque-Bera为0.065419，Probalility为0.967819，说明此序列为正态序列。3时间序列模型六、看序列的自相关函数和偏自相关函数从序列的相关图可以看出ACF具有拖尾性，而PACF具有截尾性。说明此序列也是平稳序列。3.4应用实例3时间序列模型时序模型的初步识别一、数据的零均化

二、观察序列的相关函数图，以判断此序列初步判别序列是何种模型。通过相关图观察，我们发现自相关函数具有拖尾性，而偏自相关函数具有截尾性，可初步判定一步截尾，即AR(1)。另外考虑ARMA模型，从相关图上可看出为ARMA(1,2)

3.4应用实例3时间序列模型时序模型定阶和参数估计我们依据初步识别的结果，利用第4章介绍的模型阶估计法对模型进行进一步分析定阶。首先对本数据分别用最小二乘法拟合AR(1),AR(2),AR(3),AR(4)模型,其结果如下：3.4应用实例3时间序列模型3.4应用实例3时间序列模型3.4应用实例3时间序列模型接下来针对