第四讲 时间序列分析的预处理

1、第四节第四节 时间序列数据的预处理时间序列数据的预处理 一、动态数据的正态性检验一、动态数据的正态性检验 二、动态数据的离群点二、动态数据的离群点 三、动态数据的缺失值填充三、动态数据的缺失值填充 四、动态数据的平稳性检验四、动态数据的平稳性检验 五、动态数据的纯随机性检验五、动态数据的纯随机性检验 1 获获 得得 观观 察察 值值 序序 列列 平稳性平稳性 检验检验 差分差分 运算运算 Y N 纯随机纯随机 检验检验 Y 分分 析析 结结 束束 N 拟合拟合 ARMA 模型模型 时间序列的预处理时间序列的预处理(续续) 1.平稳性定义平稳性定义知识回顾知识回顾 若时间序列有有穷的二阶矩，且若

2、时间序列有有穷的二阶矩，且 Xt 满足如下两个条件：满足如下两个条件： ) 0 ,()(),() 2( ) 1 ( stcXcXEst cEX st tt 则称该时间序列为平稳序列。则称该时间序列为平稳序列。 包括严平稳序列和宽平稳序列。包括严平稳序列和宽平稳序列。 四、四、 平稳性检验平稳性检验 在对实际的时间序列进行建模之前，应首先检验在对实际的时间序列进行建模之前，应首先检验 序列是否平稳，若序列非平稳，应先通过适当变序列是否平稳，若序列非平稳，应先通过适当变 换将其化为平稳序列，然后再进行模型的建立。换将其化为平稳序列，然后再进行模型的建立。 2. 关于非平稳序列的处理关于非平稳序列的

3、处理 序列的非平稳包括序列的非平稳包括均值非平稳均值非平稳和和方差非平方差非平 稳。稳。 均值非平稳序列平稳化的方法：均值非平稳序列平稳化的方法：差分变换。差分变换。 方差非平稳序列平稳化的方法：方差非平稳序列平稳化的方法：对数变换、对数变换、 平方根变换平方根变换等。等。 3. 平稳性检验方法平稳性检验方法 非参数检验法非参数检验法 特征根检验法特征根检验法 单位根检验法单位根检验法 (1)通过时间序列的趋势图来判断通过时间序列的趋势图来判断 (2)通过自相关函数通过自相关函数(ACF)判断判断 图检验方法图检验方法 非参数检验法：非参数检验法：游程检验游程检验 一个游程定义为一个具有相同符

4、号的连续串，在它前一个游程定义为一个具有相同符号的连续串，在它前 后相接的是与其不同的符号或完全无符号。后相接的是与其不同的符号或完全无符号。 例如，观察的结果用加、减标志表示，得到一组这样例如，观察的结果用加、减标志表示，得到一组这样 的记录顺序：的记录顺序： + + - - - + - - - - + + - + 这个样本的观察结果共有这个样本的观察结果共有7个游程。个游程。 (1) 什么是游程什么是游程 (2) 游程检验的基本思想游程检验的基本思想 , , , . t xx xx 对于一个时间序列设其样本均值为 对序列中比 小的观察值记为号 比 大 的观察值记为号 这样就形成了一个符 号

5、序列 并可求出这个序列的游程数 如果符号序列是随机的，那么如果符号序列是随机的，那么“+”和和“-”将随机出将随机出 现，因此它的游程数既不会太多，又不会太少；反现，因此它的游程数既不会太多，又不会太少；反 过来说如果符号序列的游程总数太少或太多，我们过来说如果符号序列的游程总数太少或太多，我们 就可以认为时间序列存在某种趋势性或周期性就可以认为时间序列存在某种趋势性或周期性。 .) 1 , 0( )( )( :)15( ) 1( ) 12(2 )( 1 2 )( : : , 21 2 2121 21 21 2121 服布渐近服从 有大于或在大样本情况下 的期望和方差分别如下数 游程总明，对于

6、随机序列可以证总数为 出现的次数，游程与为记号序列中 分别和设序列长度为 N rD rEr Z NN NN NNNN rD NN NN rE r r NNNNNN a.小样本情况小样本情况 零假设零假设H0：加号和减号以随机的方式出现：加号和减号以随机的方式出现 检验方法：取显著性水平检验方法：取显著性水平(一般取一般取0.05), 查单样本游程检验查单样本游程检验 表，得出抽样分布的临界值表，得出抽样分布的临界值rL、rU 判定判定：若：若rL r rU 或或r rL则拒绝零假设，序列是非平稳的。则拒绝零假设，序列是非平稳的。 (3)检验方法检验方法 b.大样本情况大样本情况 零假设零假设H

7、0：加号和减号以随机的方式出现：加号和减号以随机的方式出现 检验方法：给定显著性水平检验方法：给定显著性水平(一般取一般取0.05)查标准正态分布查标准正态分布 表，得出抽样分布的临界值表，得出抽样分布的临界值-z,+z。并计算统计量。并计算统计量: )( )( rD rEr Z 判定：若判定：若-z z3时都落入置信区间时都落入置信区间，且，且 逐渐趋于零，则该时间序列具有逐渐趋于零，则该时间序列具有平稳性平稳性； 若时间序列的自相关函数更多地若时间序列的自相关函数更多地落在置信区间外面落在置信区间外面，则，则 该时间序列就该时间序列就不具有平稳性不具有平稳性。 l 若序列无趋势，但是具有季

8、节性，若序列无趋势，但是具有季节性，那末对于按月采那末对于按月采 集的数据，时滞集的数据，时滞12，24，36的自相关系数达到的自相关系数达到最最 大大(如果数据是按季度采集，则最大自相关系数出现在如果数据是按季度采集，则最大自相关系数出现在 4，8，12， )，并且随着，并且随着时滞的增加变得较小时滞的增加变得较小。 n若序列是有趋势的，且具有季节性若序列是有趋势的，且具有季节性，其自相关函数特，其自相关函数特 性类似于有趋势序列，但它们是摆动的，对于按月数性类似于有趋势序列，但它们是摆动的，对于按月数 据，在时滞据，在时滞12，24，36，等处具有等处具有峰态峰态；如果时；如果时 间序列数

9、据是按季节的，则峰出现在时滞间序列数据是按季节的，则峰出现在时滞4，8， 12， 等处。等处。 应用举例应用举例 例例1 时序图时序图 检验检验1951年年2005年我国居民住院消费价格指数年我国居民住院消费价格指数 的平稳性的平稳性 例例2 时序图时序图 检验检验1990年年1月月1997年年12月我国药品总产值序月我国药品总产值序 列的平稳性列的平稳性 例例1 居民住院消费价格指数时序图居民住院消费价格指数时序图 平稳序列平稳序列 例例2 药品总产值时序图药品总产值时序图 非平稳序列非平稳序列 （1）选择菜单）选择菜单GraphSequence。 绘制序列图的基本操作绘制序列图的基本操作

10、（2）将需绘图的序列变量选入）将需绘图的序列变量选入Variables框中。框中。 （3）在）在Time Axis Labels框中指定横轴（时间轴）标志变量。框中指定横轴（时间轴）标志变量。该标志变量该标志变量 默认的是日期型变量。默认的是日期型变量。 （4）在）在Transform框中指定对变量进行怎样的变化处理。框中指定对变量进行怎样的变化处理。其中其中Natural log transform表示对数据取自然对数，表示对数据取自然对数，Difference表示对数据进行表示对数据进行n阶（默阶（默 认认1阶）差分，阶）差分，Seasonally difference表示对数据进行季节差

11、分。表示对数据进行季节差分。 （5）单击）单击Time Lines 按钮定义序列图中需要特别标注的时间按钮定义序列图中需要特别标注的时间 点点，给出了无标注（，给出了无标注（No reference Lines）、在某变量变化时）、在某变量变化时 标注（标注（Line at each change of）、在某个日期标注（）、在某个日期标注（Line at date）三项供选择。）三项供选择。 （6）单击）单击Format 按钮定义图形的格式，按钮定义图形的格式，可选择横向或纵向可选择横向或纵向 序列图；对于单变量序列图，可选择绘制线图或面积图，还序列图；对于单变量序列图，可选择绘制线图或面积

12、图，还 可选择在图中绘制序列的均值线；对多变量的序列图，可选可选择在图中绘制序列的均值线；对多变量的序列图，可选 择将不同变量在同一时间点上的点用直线连接起来。择将不同变量在同一时间点上的点用直线连接起来。 通过自相关函数通过自相关函数(ACF)进一步判断进一步判断 一个时间序列的一个时间序列的样本自相关函数样本自相关函数定义为：定义为： 可以证明：可以证明：随着随着k的增加，样本自相关函数下降且趋的增加，样本自相关函数下降且趋 于零。于零。 ()() () n t t kn t ktt XX XXXX 1 2 1 k 序列的自相关函数序列的自相关函数(ACF)要么是要么是截尾的截尾的，要么是

13、，要么是拖拖 尾的尾的。因此我们可以根据这个特性来判断时间序。因此我们可以根据这个特性来判断时间序 列是否为平稳序列。列是否为平稳序列。 从下降速度来看，平稳序列要比非平稳序列快得多。从下降速度来看，平稳序列要比非平稳序列快得多。 平稳序列的自相关系数常常表现出平稳序列的自相关系数常常表现出截尾截尾，而非平，而非平 稳序列的自相关系数常常是稳序列的自相关系数常常是拖尾的拖尾的。 应用举例应用举例 例例3 自相关图自相关图 检验检验1951年年2005年我国居民住院消费价格指数年我国居民住院消费价格指数 的平稳性的平稳性 例例4 自相关图自相关图 检验检验1990年年1月月1997年年12月我国

14、药品总产值序月我国药品总产值序 列的平稳性列的平稳性 例例2 居民住院消费价格指数自相关图居民住院消费价格指数自相关图 平稳序列自相关图平稳序列自相关图 例例3 药品总产值相关图药品总产值相关图 非平稳序列自相关图非平稳序列自相关图 （1）选择菜单）选择菜单GraphTimeSeriesAutocorrelations。 （2）将需绘制的序列变量选入）将需绘制的序列变量选入Variables框框 （3）在）在Display框选择绘制哪种图形，框选择绘制哪种图形，其中其中 Autocorrelations表示绘制自相关函数图；表示绘制自相关函数图；Partial autocorrelations

15、表示绘制偏自相表示绘制偏自相 关函数图。一般可同时绘制两种图形。关函数图。一般可同时绘制两种图形。 （4）单击）单击Options按钮定义相关参数，按钮定义相关参数，Maximum Number of Lags表示相关表示相关 函数值包含的最大滞后期函数值包含的最大滞后期(时间间隔时间间隔h)。一般选择两个最大周期以上的数。一般选择两个最大周期以上的数 据。在据。在Standard Error Method框中指定计算相关系数标准差的方法，确框中指定计算相关系数标准差的方法，确 定相关函数图形中的置信区间。其中定相关函数图形中的置信区间。其中Independence model表示假设序列表示

16、假设序列 是白噪声的过程；是白噪声的过程；Bartletts approximation表示用估计自相关系数和偏自表示用估计自相关系数和偏自 相关系数方差的近似式计算方差。该方法适合序列是相关系数方差的近似式计算方差。该方法适合序列是k-1阶的移动平均过阶的移动平均过 程，且标准差随阶数的增大而增大的情况。程，且标准差随阶数的增大而增大的情况。 （5）选中）选中Display autocorrelation at periodic lags表示只显示时表示只显示时 间序列周期整数倍处的相关函数值。一般如果只考虑序列中间序列周期整数倍处的相关函数值。一般如果只考虑序列中 的周期因素可选中该项。否

17、则该步可略去。最后就的周期因素可选中该项。否则该步可略去。最后就OK了。了。 AutocorrelationsAutocorrelations Series: gnp -.006.192.0011.975 -.813.18818.7382.000 .044.18318.7953.000 .806.17939.0574.000 .000.17439.0575.000 -.683.17055.2206.000 .014.16555.2277.000 .611.16069.7958.000 -.010.15569.7999.000 -.568.15084.16810.000 -.003.14484.

18、16811.000 .445.13994.48212.000 -.043.13394.58813.000 -.382.127103.67814.000 -.030.120103.74015.000 .295.113110.50616.000 Lag 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Autocorrel ationStd.Error a ValuedfSig. b Box-Ljung Statistic The underlying process assumed is independence (white noise). a. Based on

19、the asymptotic chi-square approximation. b. 五五 纯随机性检验纯随机性检验 （一）纯随机序列的定义（一）纯随机序列的定义 （二）纯随机性的性质（二）纯随机性的性质 （三）纯随机性检验（三）纯随机性检验 （一）纯随机序列的定义（一）纯随机序列的定义 纯随机序列也称为纯随机序列也称为白噪声序列白噪声序列，它满足如下两，它满足如下两 条性质条性质 2 (1), , (2) ( , ), 0, t EXtT ts t st sT ts 并不是所有平稳序列都值得建模！并不是所有平稳序列都值得建模！ 纯随机序列无法预测，无法进一步建模！纯随机序列无法预测，无法进

20、一步建模！ 方差方差 齐性齐性 纯随纯随 机性机性 0 标准正态白噪声序列时序图标准正态白噪声序列时序图 （二）白噪声序列的性质（二）白噪声序列的性质 纯随机性纯随机性 各序列值之间没有任何相关关系，即为各序列值之间没有任何相关关系，即为 “没有记忆没有记忆”的的 序列序列 方差齐性方差齐性(平稳平稳) 根据马尔可夫定理，只有方差齐性假定成立时，用最小二根据马尔可夫定理，只有方差齐性假定成立时，用最小二 乘法得到的未知参数估计值才是准确的、有效的乘法得到的未知参数估计值才是准确的、有效的 00k(k)， )0( 2 t DX （三）纯随机性检验（三）纯随机性检验 1.检验原理检验原理 2.假设

21、条件假设条件 3.检验统计量检验统计量 4.判别原则判别原则 5.应用举例应用举例 1. 检验原理检验原理: Barlett定理定理 如果一个时间序列是纯随机的，得到一个观察期如果一个时间序列是纯随机的，得到一个观察期 数为数为 的观察序列，那么该序列的延迟非零期的的观察序列，那么该序列的延迟非零期的 样本自相关系数将近似服从样本自相关系数将近似服从均值为零均值为零，方差为序方差为序 列观察期数倒数列观察期数倒数的的正态分布正态分布 n Bartlett公式公式 若若 在在 时趋于零，则在时趋于零，则在N足够大的足够大的 情况下其方差为情况下其方差为 并且，当并且，当 时，时， 近似于正态分布

22、近似于正态分布。 )(rMr )()( 1 ) ( 2 Mrm N rD M Mm Mr )( r 自相关自相关 系数系数 ktt k E X X 协方差函数协方差函数 自相关函数自相关函数 0 k k 2. 假设条件假设条件 原假设：原假设：延迟期数小于或等于延迟期数小于或等于 期的序列值之期的序列值之 间相互独立间相互独立 备择假设：备择假设：延迟期数小于或等于延迟期数小于或等于 期的序列值期的序列值 之间有相关性之间有相关性 1, 0 210 mH m ： mkmH k ，：至少存在某个1, 0 1 m m 3. 检验统计量检验统计量 Q统计量统计量 （大样本）（大样本） LB统计量统计

23、量 （小样本）（小样本） )( 2 1 2 mnQ m k k )() ()2( 2 1 2 m kn nnLB m k k 4. 判别原则判别原则 拒绝原假设拒绝原假设 当检验当检验统计量大于统计量大于 分位点分位点，或该统计量的，或该统计量的P 值小于值小于 时时，则可以以，则可以以 的置信水平拒绝原假设，的置信水平拒绝原假设， 则认为该序列为非白噪声序列则认为该序列为非白噪声序列 接受原假设接受原假设 当检验统计量当检验统计量小于小于 分位点，或该统计量的分位点，或该统计量的P值值 大于大于 时，则认为在时，则认为在 的置信水平下无法拒绝原假的置信水平下无法拒绝原假 设，即不能拒绝序列为

24、纯随机序列的假定设，即不能拒绝序列为纯随机序列的假定 2 1 ( )m 1 2 1 ( )m 1 若若 为白噪声的自相关系数，则在为白噪声的自相关系数，则在M=0 根据统计检验的根据统计检验的 准则，当准则，当 时，便可认为时，便可认为 为为0的可能性是的可能性是95%，从而接受，从而接受 这一估计，即数据是独立的这一估计，即数据是独立的。 0(0) r r 1 ( )(0)Drr N 2 )( r 11 | ( )| 1.962| ( )|2rNr NN 或或 )( r 5. 应用举例应用举例 例例3：标准正态白噪声序列纯随机性检验。：标准正态白噪声序列纯随机性检验。 例例4 对对19491998年北京市流感发病率序列年北京市流感发病率序列 做白噪声检验。做白噪声检验。 例例5 对对1950年年1998年北京市城乡居民医年北京市城乡居民医 疗保险占比例序列的平稳性与纯随机性进疗保险占比例序列的平稳性与纯随机性进 行检验。行检验。 例例3：标准正态白噪声序列纯随机性检验：标准正态白噪声序列纯随机性检验 样本自相关图样本自相关图 检验结果检验结果 延迟延迟 Q统计量检验统计量检验 Q统计量值统计量值P值值 延迟延迟6期期4.34350.63 延迟延迟12期期14.1710.