统计建模-秩和相关,灰色系统,时间序列分析

1、数数 学学 建建 模模 华中农业大学数学建模基地系列课件华中农业大学数学建模基地系列课件 华中农业大学数学建模基地 网站 8.8.秩和相关系数秩和相关系数 Spearman秩相关系数与秩相关系数与Kendall秩相关系数秩相关系数 Spearman秩相关系数为秩相关系数为 华中农业大学数学建模基地 网站 Kendall(肯德尔肯德尔)系数的定义系数的定义 : Kendall秩相关系数秩相关系数rk也可反映两组变量的也可反映两组变量的 等级或秩相关的程度。等级或秩相关的程度。 Kendall秩相关系数秩相关系数rk又称为一致性系数或又称为一致性系数或 和谐系数。和谐系数。 其中其中n是项目的数量

2、，是项目的数量，P为所有排位的总和，为所有排位的总和， 对所有的项目，项目的数量排名后，给予对所有的项目，项目的数量排名后，给予 这两个项目的排名。这两个项目的排名。 8.8.秩和相关系数秩和相关系数 华中农业大学数学建模基地 网站 例例6 调查某个专业篮球队调查某个专业篮球队9名球员（包括替补名球员（包括替补 队员）投篮率，弹跳力，球队配合这三个方面队员）投篮率，弹跳力，球队配合这三个方面 能力的等级关系，具体数据见下表能力的等级关系，具体数据见下表： 8.8.秩和相关系数秩和相关系数 华中农业大学数学建模基地 网站 试分别根据试分别根据Spearman相关系数和相关系数和Kendall 相

3、关系数分析这三方面能力的等级有无相相关系数分析这三方面能力的等级有无相 关关系。关关系。 data ex; input x y ; cards; 2 5 6 6 4 3 7 8 3 1 8 7 5 2 1 4 9 9 ; proc corr spearman kendall; run; 8.8.秩和相关系数秩和相关系数 华中农业大学数学建模基地 网站 8.8.秩和相关系数秩和相关系数 华中农业大学数学建模基地 网站 运行结果分析：运行结果分析： 从从Simple Statistics中可以得出中可以得出x和和y 的数量，的数量， 均值，标准差，中值，最小值及最大值；从均值，标准差，中值，最小值

4、及最大值；从 Spearman Correlation Coefficients可得出可得出 Spearman相关系数为相关系数为0.71667，显著性概率，显著性概率 为为0.0298；从；从Kendall Tau b Correlation Coefficients得出得出Kendall相关系数相关系数0.55556， 显著性概率为显著性概率为0.0371；从；从P值可知，投篮率与值可知，投篮率与 弹跳率的这两方面能力等级有较高的相关关弹跳率的这两方面能力等级有较高的相关关 系系 8.8.秩和相关系数秩和相关系数 华中农业大学数学建模基地 网站 9. 9. 灰色预测灰色预测: :概述概述

5、9.1 概述概述 灰色系统灰色系统是指是指“部分信息已知部分信息已知, ,部分信息部分信息 未知未知”的的“小样本小样本”,“,“贫信息贫信息”的不确定性的不确定性 系统系统, ,它通过对它通过对“部分部分”已知信息的生成、开已知信息的生成、开 发去了解、认识现实世界，实现对系统运行行发去了解、认识现实世界，实现对系统运行行 为和演化规律的正确把握和为和演化规律的正确把握和描述描述. . 灰色系统模型的特点：对试验观测数据及灰色系统模型的特点：对试验观测数据及 其分布没有特殊的要求和限制，是一种十分简其分布没有特殊的要求和限制，是一种十分简 便的新理论，具有十分宽广的应用领域。便的新理论，具有

6、十分宽广的应用领域。 华中农业大学数学建模基地 网站 灰色系统理论灰色系统理论经过经过2020年的发展，已基本建年的发展，已基本建 立起一门新兴的结构体系，其研究内容主要包立起一门新兴的结构体系，其研究内容主要包 括：灰色系统建模理论、灰色系统控制理论、括：灰色系统建模理论、灰色系统控制理论、 灰色关联分析方法、灰色预测方法、灰色规划灰色关联分析方法、灰色预测方法、灰色规划 方法、灰色决策方法方法、灰色决策方法等。等。 我们我们主要主要介绍灰色介绍灰色GM(1.1)GM(1.1)模型预测。即灰模型预测。即灰 色生成、色生成、GMGM（1.11.1）模型建模机理、）模型建模机理、GM(1.1)G

7、M(1.1)模模 型的精度检验型的精度检验 9. 9. 灰色预测灰色预测: :概述概述 华中农业大学数学建模基地 网站 9.2 生成数生成数 9.9.灰色预测灰色预测: :生成数生成数 (1) 累加累加生成数生成数 1-AGO指一次累加生成。指一次累加生成。 记原始序列为记原始序列为 (0)(0)(0)(0) (1),(2),.,( )Xxxxn 一次累加生成序列为一次累加生成序列为 (1)(1)(1)(1) (1),(2),.,( )Xxxxn (1)(0)(1)(0) 0 ( )( )(1)( ) k i xkxixkxk 其中其中， 华中农业大学数学建模基地 网站 (2) 累减生成数累减

8、生成数(IAGO) 是累加生成的逆运算。是累加生成的逆运算。 记原始序列为记原始序列为 (1)(1)(1)(1) (1),(2),.,( )Xxxxn 一次累减生成一次累减生成序列序列 (0)(0)(0)(0) (1),(2),.,( )Xxxxn 其中其中 (0)(1)(1) ( )( )(1)xkxkxk 规定规定 (1) (0)0 x 9.9.灰色预测灰色预测: :生成数生成数 华中农业大学数学建模基地 网站 1.令令 (0) X为为GM(1,1)建模序列，建模序列， (0)(0)(0)(0) (1),(2),.,( )Xxxxn (1) X (0) X为为的的1-AGO序列，序列， (

9、1)(1)(1)(1) (1),(2),.,( )Xxxxn (1)(0) 1 ( )( ) k i xkxi 1,2,.,kn 9.9.灰色预测灰色预测:GM:GM（1,11,1）模型）模型 9.3 GM(1,1)模型模型 华中农业大学数学建模基地 网站 (1) Z (1) X令令 为为的紧邻均值（的紧邻均值（MEAN）生成序列）生成序列 (1)(1)(1)(1) (2),(3),.,( )Zzzzn )( )1( kz )( )1( kx) 1( )1( kx=0.5+0.5 则则GM(1,1)的灰微分方程模型为的灰微分方程模型为 bkazkx)()( )1()0( 9.9.灰色预测灰色预

10、测:GM:GM（1,11,1）模型）模型 华中农业大学数学建模基地 网站 ( , )Ta b 记记 n TT YBBB 1 )( 则灰微分方程的最小二乘估计参数列满足则灰微分方程的最小二乘估计参数列满足 其中其中 B (1) (1) (1) (2)1 (3)1 . ( )1 z z zn n Y (0) (0) (0) (2) (3) . ( ) x x xn 9.9.灰色预测灰色预测:GM:GM（1,11,1）模型）模型 华中农业大学数学建模基地 网站 (1) (1) dx axb dt 称称 为灰色微分方程为灰色微分方程 bkazkx)()( )1()0( 的白化方程，也叫影子方程。的白化

11、方程，也叫影子方程。 综上所述，则有综上所述，则有 (1) (1) dx axb dt 1.白化方程白化方程的解也称的解也称 时间响应函数为时间响应函数为 (1)(1) ( )(0) at bb xtxe aa 9.9.灰色预测灰色预测:GM:GM（1,11,1）模型）模型 华中农业大学数学建模基地 网站 bkazkx)()( ) 1 ()0( 2.GM(1,1)灰色微分方程灰色微分方程 的时间响应序列为的时间响应序列为 (1) (1)xk (1) (0) b x a ak e b a 1,2,.,kn 3.取取 (1)(0) (0)(1)xx，则，则 (1) (1)xk ak e b a (

12、0) (1) b x a 1,2,.,kn 9.9.灰色预测灰色预测:GM:GM（1,11,1）模型）模型 华中农业大学数学建模基地 网站 4.还原值还原值 (0) (1)xk (1) (1)xk (1) ( )xk 上式即为预测方程。上式即为预测方程。 GM(1,1)模型的检验分为三个方面：模型的检验分为三个方面： 残差检验；残差检验； 关联度检验；关联度检验； 后验差检验。后验差检验。 9.9.灰色预测灰色预测:GM:GM（1,11,1）模型）模型 华中农业大学数学建模基地 网站 后验差检验判别参照表后验差检验判别参照表 C模型精度 0.35优 0.5合格 0.65不合格 其中其中 2 1

13、 S S C 残差序列均方差残差序列均方差 原序列均方差原序列均方差 9.9.灰色预测灰色预测:GM:GM（1,11,1）模型）模型 华中农业大学数学建模基地 网站 9.9.灰色预测灰色预测: :案例分析案例分析 华中农业大学数学建模基地 网站 9.9.灰色预测灰色预测: :案例分析案例分析 华中农业大学数学建模基地 网站 9.9.灰色预测灰色预测: :案例分析案例分析 华中农业大学数学建模基地 网站 华中农业大学数学建模基地 网站 9.9.灰色预测灰色预测: :案例分析案例分析 华中农业大学数学建模基地 网站 9.9.灰色预测灰色预测: :案例分析案例分析 华中农业大学数学建模基地 网站 进

14、入进入http:/ 网站，点击网站，点击 9.9.灰色预测灰色预测: :计算程序计算程序 下载第九章里的灰色系统代码，保存在下载第九章里的灰色系统代码，保存在 MATLAB文件夹里文件夹里 华中农业大学数学建模基地 网站 9.9.灰色预测灰色预测: :计算程序计算程序 x=19519,19578,19637,19695,16602,25723,30 379,34473,38485,40514,42400,48337;gm(x) 敲击敲击“Enter”键就可键就可 以得出结果以得出结果 华中农业大学数学建模基地 网站 10 10 时间序列分析时间序列分析 1. 时间序列数据的预处理：平稳性检时间

15、序列数据的预处理：平稳性检 验、纯随机性检验验、纯随机性检验 1学时学时 2. 平稳时间序列数据分析平稳时间序列数据分析 2.5学时学时 3. 非平稳平稳时间序列数据分析非平稳平稳时间序列数据分析 1.5学时学时 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 特征统计量特征统计量 平稳时间序列的定义平稳时间序列的定义 平稳时间序列的统计性质平稳时间序列的统计性质 平稳时间序列的意义平稳时间序列的意义 平稳性的检验平稳性的检验 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 概率分布的意义概率分布的意义 随机变量族的统计特性完全由它们的联合分布随机变量族的统计特

16、性完全由它们的联合分布 函数或联合密度函数决定函数或联合密度函数决定 时间序列概率分布族的定义时间序列概率分布族的定义 几个重要数字特征：几个重要数字特征：均值均值 、方差、自协方差、方差、自协方差、 自相关系数自相关系数 Ttttmm xxxF m mttt m ,), 2 , 1 ( ),( 21 21, 21 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 均值均值 方差方差 自协方差自协方差 自相关系数自相关系数 )(xxdFEX ttt )()()( 2 2 xdFxXEDX ttttt )(),( sstt XXEst st DXDX st st ),( ),( 华

17、中农业大学数学建模基地 网站 平稳时间序列的定义平稳时间序列的定义 严平稳严平稳 严平稳是一种条件比较苛刻的平稳性定义，它严平稳是一种条件比较苛刻的平稳性定义，它 认为只有当序列所有的统计性质都不会随着时认为只有当序列所有的统计性质都不会随着时 间的推移而发生变化时，该序列才能被认为平间的推移而发生变化时，该序列才能被认为平 稳。稳。 宽平稳宽平稳 宽平稳是使用序列的特征统计量来定义的一种宽平稳是使用序列的特征统计量来定义的一种 平稳性。它认为序列的统计性质主要由它的低平稳性。它认为序列的统计性质主要由它的低 阶矩决定，所以只要保证序列低阶矩平稳（二阶矩决定，所以只要保证序列低阶矩平稳（二 阶

18、），就能保证序列的主要性质近似稳定。阶），就能保证序列的主要性质近似稳定。 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 满足如下条件的序列称为宽平稳序列满足如下条件的序列称为宽平稳序列 Ttskksttskkst TtEX TtEX t t 且， 为常数， ,),(),() 3 ,) 2 ,) 1 2 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 常数均值常数均值 自协方差函数和自相关函数只依赖于时间自协方差函数和自相关函数只依赖于时间 的平移长度而与时间的起止点无关的平移长度而与时间的起止点无关 延迟延迟k自协方差函数自协方差函数 延迟延迟k自自相关系数

19、相关系数 )0( )( k k 为整数kkttk),()( 华中农业大学数学建模基地 网站 平稳时间序列的意义平稳时间序列的意义 时间序列数据结构的特殊性时间序列数据结构的特殊性 可列多个随机变量，而每个变量只有一个样本可列多个随机变量，而每个变量只有一个样本 观察值观察值 平稳性的重大意义平稳性的重大意义 极大地减少了随机变量的个数，并增加了待估极大地减少了随机变量的个数，并增加了待估 变量的样本容量变量的样本容量 极大地简化了时序分析的难度，同时也提高了极大地简化了时序分析的难度，同时也提高了 对特征统计量的估计精度对特征统计量的估计精度 华中农业大学数学建模基地 网站 10.1 平稳性检

20、验平稳性检验 （图检验方法）（图检验方法） 时序图检验时序图检验 根据平稳时间序列均值、方差为常数的根据平稳时间序列均值、方差为常数的 性质，平稳序列的时序图应该显示出该序性质，平稳序列的时序图应该显示出该序 列始终在一个常数值附近随机波动，而且列始终在一个常数值附近随机波动，而且 波动的范围有界、无明显趋势及周期特征波动的范围有界、无明显趋势及周期特征 自相关图检验自相关图检验 平稳序列通常具有短期相关性。该性质平稳序列通常具有短期相关性。该性质 用自相关系数来描述就是随着延迟期数的用自相关系数来描述就是随着延迟期数的 增加，平稳序列的自相关系数会很快地衰增加，平稳序列的自相关系数会很快地衰

21、 减向零减向零 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 例例1.1 检验检验1964年年1999年中国纱年产量序列年中国纱年产量序列的平稳性的平稳性 例例1.1.2 检验检验1962年年1月月1975年年12月平均每头奶牛月产奶月平均每头奶牛月产奶 量序列的平稳性量序列的平稳性 例例1.1.3 检验检验19491949年年19981998年北京市每年最高气温序列的平年北京市每年最高气温序列的平 稳性稳性 华中农业大学数学建模基地 网站 data a;input sha; year=intnx(year,1964,_n_-1);format year year4.; di

22、f=dif(sha); cards; 97 130 156.5 135.2 137.7 180.5 205.2 190 188.6 196.7 180.3 210.8 196 223 238.2 263.5 292.6 317 335.4 327 321.9 353.5 397.8 436.8 465.7 476.7 462.6 460.8 501.8 501.5 489.5 542.3 512.2 559.8 542 567 ; proc gplot;plot sha*year=1 dif*year=2; symbol1 v=circle i=join c=black; symbol2 v=

23、star i=join c=red; proc arima data=a;identify var=sha nlag=22; run; 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 华中农业大学数学建模基地 网站 10.1 平稳性检验平稳性检验 华中农业大学数学建模基地 网站 例例1.2 自相关图自相关图 华中农业大学数学建模基地 网站 例例1.3时序图时序图 华中农业大学数学建模基地 网站 例例1.3自相关图自相关图 华中农业大学数学建模基地 网站 10.2 纯随机性检验纯随机性检验 纯纯随机序列的定义随机序列

24、的定义 纯随机性的性质纯随机性的性质 纯随机性检验纯随机性检验 华中农业大学数学建模基地 网站 纯随机序列的定义纯随机序列的定义 纯随机序列也称为白噪声序列，它满足如纯随机序列也称为白噪声序列，它满足如 下两条性质下两条性质 Tst st st st TtEX t , , 0 , ),()2( ,) 1 ( 2 华中农业大学数学建模基地 网站 标准正态白噪声序列时序图标准正态白噪声序列时序图 华中农业大学数学建模基地 网站 白噪声序列的性质白噪声序列的性质 纯随机性纯随机性 各序列值之间没有任何相关关系，即为各序列值之间没有任何相关关系，即为 “ “没有记忆没有记忆” 的序列的序列 方差齐性方

25、差齐性 根据马尔可夫定理，只有方差齐性假定成立时，用最根据马尔可夫定理，只有方差齐性假定成立时，用最 小二乘法得到的未知参数估计值才是准确的、有效的小二乘法得到的未知参数估计值才是准确的、有效的 00k(k)， )0( 2 t DX 00k(k)， )0( 2 t DX 华中农业大学数学建模基地 网站 纯随机性检验纯随机性检验 检验原理检验原理 假设条件假设条件 检验统计量检验统计量 判别原则判别原则 华中农业大学数学建模基地 网站 Barlett定理定理 如果一个时间序列是纯随机的，得到一个如果一个时间序列是纯随机的，得到一个 观察期数为观察期数为 的观察序列，那么该序列的延的观察序列，那么

26、该序列的延 迟非零期的样本自相关系数将近似服从均迟非零期的样本自相关系数将近似服从均 值为零，方差为序列观察期数倒数的正态值为零，方差为序列观察期数倒数的正态 分布分布 0, ) 1 , 0(k n N k n 华中农业大学数学建模基地 网站 假设条件假设条件 原假设：延迟期数小于或等于原假设：延迟期数小于或等于 期的序列值期的序列值 之间相互独立之间相互独立 备择假设：延迟期数小于或等于备择假设：延迟期数小于或等于 期的序期的序 列值之间有相关性列值之间有相关性 1, 0 210 mH m ： mkmH k ，：至少存在某个1, 0 1 m m 华中农业大学数学建模基地 网站 检验统计量检验

27、统计量 Q统计量统计量 LB统计量统计量 )( 2 1 2 mnQ m k k )() ()2( 2 1 2 m kn nnLB m k k 华中农业大学数学建模基地 网站 判别原则判别原则 拒绝原假设拒绝原假设 当检验统计量大于当检验统计量大于 分位点，或该统计分位点，或该统计 量的量的P值小于值小于 时，则可以以时，则可以以 的置信水的置信水 平拒绝原假设，认为该序列为非白噪声序列平拒绝原假设，认为该序列为非白噪声序列 接受原假设接受原假设 当检验统计量小于当检验统计量小于 分位点，或该统计分位点，或该统计 量的量的P值大于值大于 时，则认为在时，则认为在 的置信水的置信水 平下无法拒绝原

28、假设，即不能显著拒绝序列平下无法拒绝原假设，即不能显著拒绝序列 为纯随机序列的假定为纯随机序列的假定 2 1 ( )m 1 2 1 ( )m 1 华中农业大学数学建模基地 网站 例例1.4： 标准正态白噪声序列纯随机性检验标准正态白噪声序列纯随机性检验 样本自相关图样本自相关图 10.2 纯随机性检验纯随机性检验 华中农业大学数学建模基地 网站 检验结果检验结果 LB Q LB Q 延迟延迟 统计量检验统计量检验 统计量值统计量值P值值 延迟延迟6期期2.360.8838 延迟延迟12期期5.350.9454 由于P值显著大于显著性水平 ，所以该序列不能拒 绝纯随机的原假设。 华中农业大学数学

29、建模基地 网站 10.3 平稳时间序列分析平稳时间序列分析 华中农业大学数学建模基地 网站 10.3.1 差分运算差分运算 一阶差分一阶差分 阶差分阶差分 步差分步差分 p k 1 ttt xxx 1 11 t p t p t p xxx kttk xx 差分运算差分运算 延迟算子延迟算子 线性差分方程线性差分方程 华中农业大学数学建模基地 网站 延迟算子延迟算子 延迟算子类似于一个时间指针，当前序列延迟算子类似于一个时间指针，当前序列 值乘以一个延迟算子，就相当于把当前序值乘以一个延迟算子，就相当于把当前序 列值的时间向过去拨了一个时刻列值的时间向过去拨了一个时刻 记记B为延迟算子，有为延迟

30、算子，有 1, pxBx t p pt 华中农业大学数学建模基地 网站 延迟算子的性质延迟算子的性质 ，其中其中 1 0 B 为任意常数cxcxBcxcB ttt ,)()( 1 11 )( tttt yxyxB ntt n xxB i n i i n nn BCB 0 ) 1()1 ( )!( ! ! ini n C i n 华中农业大学数学建模基地 网站 10.3.2 ARMA模型的性质模型的性质 AR模型（模型（Auto Regression Model） MA模型（模型（Moving Average Model） ARMA模型（模型（Auto Regression Moving Ave

31、rage model） 华中农业大学数学建模基地 网站 AR模型的定义模型的定义 具有如下结构的模型称为具有如下结构的模型称为 阶自回归模阶自回归模 型，简记为型，简记为 特别当特别当 时，称为中心化时，称为中心化 模型模型 tsEx tsEVarE xxxx ts sttt p tptpttt , 0 , 0)(,)(0)( 0 2 22110 ， p )(pAR 0 0 )(pAR 华中农业大学数学建模基地 网站 AR(P)序列中心化变换序列中心化变换 称称 为为 的中心化序列的中心化序列 ，令，令 p 1 0 1 tt xy t y t x 华中农业大学数学建模基地 网站 自回归系数多项

32、式自回归系数多项式 引进延迟算子，中心化引进延迟算子，中心化 模型又可以模型又可以 简记为简记为 自回归系数多项式自回归系数多项式 )(pAR tt xB)( p p BBBB 2 21 1)( 华中农业大学数学建模基地 网站 均值均值 如果如果AR(p)模型满足平稳性条件，则有模型满足平稳性条件，则有 根据平稳序列均值为常数，且根据平稳序列均值为常数，且 为白噪声序列，为白噪声序列， 有有 推导出推导出 p 1 0 1 )( 110tptptt xxEEx TtEEx tt ,0)(, t 华中农业大学数学建模基地 网站 AR模型自相关系数的性质模型自相关系数的性质 拖尾性拖尾性 呈复指数衰

33、减呈复指数衰减 1 ( ) p k ii i kc 不能恒等于零 p ccc, 21 1 ( ) p k ii i kc 0 华中农业大学数学建模基地 网站 例例:考察如下考察如下AR模型的自相关图模型的自相关图 tttt tttt ttt ttt xxx xxx xx xx 21 21 1 1 5 . 0)4( 5 . 0)3( 8 . 0)2( 8 . 0) 1 ( 华中农业大学数学建模基地 网站 例例 自相关系数按复指数单调收敛到零自相关系数按复指数单调收敛到零 1 (1)0.8 ttt xx 华中农业大学数学建模基地 网站 例例: 1 (2)0.8 ttt xx 华中农业大学数学建模基

34、地 网站 例例 自相关系数呈现出自相关系数呈现出“伪周期伪周期”性性 12 (3)0.5 tttt xxx 华中农业大学数学建模基地 网站 例例 自相关系数不规则衰减自相关系数不规则衰减 12 (4)0.5 tttt xxx 华中农业大学数学建模基地 网站 偏自相关系数偏自相关系数 定义定义 对于平稳对于平稳AR(p)序列，所谓滞后序列，所谓滞后k偏自相关系偏自相关系 数就是指在给定中间数就是指在给定中间k-1个随机变量个随机变量 的条件下，或者说，在剔除了中间的条件下，或者说，在剔除了中间k-1个随机个随机 变量的干扰之后，变量的干扰之后， 对对 影响的相关度量。用影响的相关度量。用 数学语

35、言描述就是数学语言描述就是 121 , kttt xxx kt x t x 2 , ) ( ) )( ( 11 ktkt ktkttt xxxx xExE xExxExE kttktt 华中农业大学数学建模基地 网站 偏自相关系数的计算偏自相关系数的计算 滞后滞后k偏自相关系数实际上就等于偏自相关系数实际上就等于k阶自回阶自回 归模型第个归模型第个k回归系数的值。回归系数的值。 02211 202112 112011 kkkkkkk kkkkk kkkkk ) ( ) )( ( 2 ktkt ktkttt kk xExE xExxExE 华中农业大学数学建模基地 网站 偏自相关系数的截尾性偏自

36、相关系数的截尾性 AR(p)模型偏自相关系数模型偏自相关系数P阶截尾阶截尾 pk kk ,0 华中农业大学数学建模基地 网站 例例2.5续续:考察如下考察如下AR模型的偏自相关图模型的偏自相关图 tttt tttt ttt ttt xxx xxx xx xx 21 21 1 1 5 . 0)4( 5 . 0)3( 8 . 0)2( 8 . 0) 1 ( 华中农业大学数学建模基地 网站 例例2.5 理论偏自相关系数理论偏自相关系数 样本偏自相关图样本偏自相关图 1 (1)0.8 ttt xx 0.8,1 0,2 kk k k 华中农业大学数学建模基地 网站 例例2.5: 理论偏自相关系数理论偏自

37、相关系数 样本偏自相关图样本偏自相关图 1 (2)0.8 ttt xx 0.8,1 0,2 kk k k 华中农业大学数学建模基地 网站 例例2.5: 理论偏自相关系数理论偏自相关系数 样本偏自相关图样本偏自相关图 12 (3)0.5 tttt xxx 2 ,1 3 0.5,2 0,3 kk k k k 华中农业大学数学建模基地 网站 例例2.5: 理论偏自相关系数理论偏自相关系数 样本偏自相关系数图样本偏自相关系数图 12 (4)0.5 tttt xxx 2 ,1 3 0.5,2 0,3 kk k k k 华中农业大学数学建模基地 网站 10.3.4 MA模型的定义模型的定义 具有如下结构的

38、模型称为具有如下结构的模型称为 阶自回归模阶自回归模 型，简记为型，简记为 特别当特别当 时，称为中心化时，称为中心化 模型模型 q )(qMA 0)(qMA 1122 2 0 ( )0( ),()0, ttttqt q q ttts x EVarEst ， 华中农业大学数学建模基地 网站 移动平均系数多项式移动平均系数多项式 引进延迟算子，中心化引进延迟算子，中心化 模型又可以模型又可以 简记为简记为 阶移动平均系数多项式阶移动平均系数多项式 )(qMA tt Bx)( q q q BBBB 2 21 1)( 华中农业大学数学建模基地 网站 MA模型的统计性质模型的统计性质 常数均值常数均值

39、 常数方差常数方差 ）（ qtqtttt EEx 2211 222 1 2211 )1 ( )()( q qtqtttt VarxVar 华中农业大学数学建模基地 网站 MA模型的统计性质模型的统计性质 偏自相关系数拖尾偏自相关系数拖尾 )( 11111 qktqktqtqtkk 零不会在有限阶之后恒为不恒为零 kkq , 1 华中农业大学数学建模基地 网站 例例2.6:考察如下考察如下MA模型的相关性质模型的相关性质 21 21 1 1 16 25 4 5 )4( 25 16 5 4 )3( 5 . 0)2( 2) 1 ( tttt tttt ttt ttt x x x x 华中农业大学数学

40、建模基地 网站 MA模型的自相关系数截尾模型的自相关系数截尾 1 12 ttt x （） 1 20.5 ttt x （ ） 华中农业大学数学建模基地 网站 MA模型的自相关系数截尾模型的自相关系数截尾 12 416 3 525 tttt x （ ） 12 525 4 416 tttt x （ ） 华中农业大学数学建模基地 网站 MA模型的偏自相关系数拖尾模型的偏自相关系数拖尾 1 12 ttt x （） 1 20.5 ttt x （ ） 华中农业大学数学建模基地 网站 MA模型的偏自相关系数拖尾模型的偏自相关系数拖尾 12 416 3 525 tttt x （ ） 12 525 4 416 t

41、ttt x （ ） 华中农业大学数学建模基地 网站 10.3.5 ARMA模型的定义模型的定义 具有如下结构的模型称为自回归移动平具有如下结构的模型称为自回归移动平 均模型，简记为均模型，简记为 特别当特别当 时，称为中心化时，称为中心化 模模 型型 ),(qpARMA tsEx tsEVarE xxx ts sttt qp qtqttptptt , 0 , 0)(,)(0)( 00 2 11110 ， ， 0 0 ),(qpARMA 华中农业大学数学建模基地 网站 系数多项式系数多项式 引进延迟算子，中心化引进延迟算子，中心化 模型又模型又 可以简记为可以简记为 阶自回归系数多项式阶自回归系

42、数多项式 阶移动平均系数多项式阶移动平均系数多项式 ),(qpARMA tt BxB)()( q q q BBBB 2 21 1)( p p pB BBB 2 21 1)( 华中农业大学数学建模基地 网站 ARMA(p,q)模型的统计性质模型的统计性质 均值均值 协方差协方差 自相关系数自相关系数 p t Ex 1 0 1 )( 0 2 i kiiG Gk 0 2 0 )0( )( )( j j j kjj G GG k k 华中农业大学数学建模基地 网站 ARMA模型的相关性模型的相关性 自相关系数拖尾自相关系数拖尾 偏自相关系数拖尾偏自相关系数拖尾 华中农业大学数学建模基地 网站 例例2.

43、7:考察考察ARMA模型的相关性模型的相关性 拟合模型拟合模型ARMA(1,1):ARMA(1,1): 并直观地考察该模型自相关系数和偏自相并直观地考察该模型自相关系数和偏自相 关系数的性质。关系数的性质。 1 0.50.8 tttt xx 华中农业大学数学建模基地 网站 自相关系数和偏自相关系数拖尾性自相关系数和偏自相关系数拖尾性 样本自相关图样本自相关图 样本偏自相关图样本偏自相关图 华中农业大学数学建模基地 网站 ARMA模型相关性特征模型相关性特征 模型模型自相关系数自相关系数偏自相关系数偏自相关系数 AR(P)拖尾拖尾P阶截尾阶截尾 MA(q)q阶截尾阶截尾拖尾拖尾 ARMA(p,q

44、)拖尾拖尾拖尾拖尾 华中农业大学数学建模基地 网站 10.3.6 平稳序列建模平稳序列建模 建模步骤建模步骤 模型识别模型识别 参数估计参数估计 模型检验模型检验 模型优化模型优化 序列预测序列预测 华中农业大学数学建模基地 网站 建模步骤建模步骤 平平 稳稳 非非 白白 噪噪 声声 序序 列列 计计 算算 样样 本本 相相 关关 系系 数数 模型模型 识别识别 参数参数 估计估计 模型模型 检验检验 模模 型型 优优 化化 序序 列列 预预 测测 Y N 华中农业大学数学建模基地 网站 计算样本相关系数计算样本相关系数 样本自相关系数样本自相关系数 样本偏自相关系数样本偏自相关系数 n t

45、t kn t ktt k xx xxxx 1 2 1 )( )( D Dk kk 华中农业大学数学建模基地 网站 模型定阶的困难模型定阶的困难 因为由于样本的随机性，样本的相关系数不会呈因为由于样本的随机性，样本的相关系数不会呈 现出理论截尾的完美情况，本应截尾的现出理论截尾的完美情况，本应截尾的 或或 仍仍 会呈现出小值振荡的情况会呈现出小值振荡的情况 由于平稳时间序列通常都具有短期相关性，随着由于平稳时间序列通常都具有短期相关性，随着 延迟阶数延迟阶数 ， 与与 都会衰减至零值附近作都会衰减至零值附近作 小值波动小值波动 ？当当 或或 在延迟若干阶之后衰减为小值波动时，在延迟若干阶之后衰减

46、为小值波动时， 什么情况下该看作为相关系数截尾，什么情况下什么情况下该看作为相关系数截尾，什么情况下 该看作为相关系数在延迟若干阶之后正常衰减到该看作为相关系数在延迟若干阶之后正常衰减到 零值附近作拖尾波动呢？零值附近作拖尾波动呢？ k k kk k kk k kk 华中农业大学数学建模基地 网站 样本相关系数的近似分布样本相关系数的近似分布 Barlett Quenouille n n N k ,) 1 , 0( n n N kk ,) 1 , 0( 华中农业大学数学建模基地 网站 模型定阶经验方法模型定阶经验方法 95的置信区间的置信区间 模型定阶的经验方法模型定阶的经验方法 如果样本如果

47、样本(偏偏)自相关系数在最初的自相关系数在最初的d阶明显大于两倍标阶明显大于两倍标 准差范围，而后几乎准差范围，而后几乎95的自相关系数都落在的自相关系数都落在2倍标准倍标准 差的范围以内，差的范围以内，而且通常由非零自相关系数衰减为小而且通常由非零自相关系数衰减为小 值波动的过程非常突然。值波动的过程非常突然。这时，通常视为这时，通常视为(偏偏)自相关系自相关系 数截尾。截尾阶数为数截尾。截尾阶数为d。 22 Pr0.95 22 Pr0.95 k kk nn nn 华中农业大学数学建模基地 网站 例例2.5续续 选择合适的模型选择合适的模型ARMA拟合拟合1950年年 1998年北京市城乡居

48、民定期储蓄比例序列。年北京市城乡居民定期储蓄比例序列。 华中农业大学数学建模基地 网站 序列偏自相关图序列偏自相关图 华中农业大学数学建模基地 网站 拟合模型识别拟合模型识别 自相关图显示延迟自相关图显示延迟3阶之后，自相关系数全部衰减到阶之后，自相关系数全部衰减到2 倍标准差范围内波动，这表明序列明显地短期相关。倍标准差范围内波动，这表明序列明显地短期相关。 但序列由显著非零的相关系数衰减为小值波动的过程但序列由显著非零的相关系数衰减为小值波动的过程 相当连续，相当缓慢，该自相关系数可视为不截尾相当连续，相当缓慢，该自相关系数可视为不截尾 偏自相关图显示除了延迟偏自相关图显示除了延迟1阶的偏

49、自相关系数显著大阶的偏自相关系数显著大 于于2倍标准差之外，其它的偏自相关系数都在倍标准差之外，其它的偏自相关系数都在2倍标准倍标准 差范围内作小值随机波动，而且由非零相关系数衰减差范围内作小值随机波动，而且由非零相关系数衰减 为小值波动的过程非常突然，所以该偏自相关系数可为小值波动的过程非常突然，所以该偏自相关系数可 视为一阶截尾视为一阶截尾 所以可以考虑拟合模型为所以可以考虑拟合模型为AR(1) 华中农业大学数学建模基地 网站 例例2.8 美国科罗拉多州某一加油站连续美国科罗拉多州某一加油站连续57天的天的OVERSHORT序列序列 华中农业大学数学建模基地 网站 序列自相关图序列自相关图

50、 华中农业大学数学建模基地 网站 序列偏自相关图序列偏自相关图 华中农业大学数学建模基地 网站 拟合模型识别拟合模型识别 自相关图显示除了延迟自相关图显示除了延迟1阶的自相关系数在阶的自相关系数在2倍倍 标准差范围之外，其它阶数的自相关系数都在标准差范围之外，其它阶数的自相关系数都在2 倍标准差范围内波动。根据这个特点可以判断倍标准差范围内波动。根据这个特点可以判断 该序列具有短期相关性，进一步确定序列平稳。该序列具有短期相关性，进一步确定序列平稳。 同时，可以认为该序列自相关系数同时，可以认为该序列自相关系数1阶截尾阶截尾 偏自相关系数显示出典型非截尾的性质。偏自相关系数显示出典型非截尾的性

51、质。 综合该序列自相关系数和偏自相关系数的性质，综合该序列自相关系数和偏自相关系数的性质， 为拟合模型定阶为为拟合模型定阶为MA(1) 华中农业大学数学建模基地 网站 例例2.9 1880-19851880-1985全球气表平均温度改变值差分序列全球气表平均温度改变值差分序列 华中农业大学数学建模基地 网站 序列自相关图序列自相关图 华中农业大学数学建模基地 网站 序列偏自相关图序列偏自相关图 华中农业大学数学建模基地 网站 拟合模型识别拟合模型识别 自相关系数显示出不截尾的性质自相关系数显示出不截尾的性质 偏自相关系数也显示出不截尾的性质偏自相关系数也显示出不截尾的性质 综合该序列自相关系数

52、和偏自相关系数的综合该序列自相关系数和偏自相关系数的 性质，可以尝试使用性质，可以尝试使用ARMA(1,1)模型拟合模型拟合 该序列该序列 华中农业大学数学建模基地 网站 参数估计参数估计 待估参数待估参数 个未知参数个未知参数 常用估计方法常用估计方法 矩估计矩估计 极大似然估计极大似然估计 最小二乘估计最小二乘估计 2pq 2 11 , , pq 华中农业大学数学建模基地 网站 例例2.5续续 确定确定1950年年1998年北京市城乡居民定年北京市城乡居民定 期储蓄比例序列拟合模型的口径期储蓄比例序列拟合模型的口径 拟合模型：拟合模型：AR(1) 估计方法：极大似然估计估计方法：极大似然估

53、计 模型口径模型口径 ttt xx 1 69. 017.25 17.16)( 2 Var 华中农业大学数学建模基地 网站 例例2.8续续 确定美国科罗拉多州某一加油站连续确定美国科罗拉多州某一加油站连续57天天 的的OVERSHORTS序列拟合模型的口径序列拟合模型的口径 拟合模型：拟合模型：MA(1) 估计方法：条件最小二乘估计估计方法：条件最小二乘估计 模型口径模型口径 tt Bx)82303. 01 (40351. 4 929.2178)( 2 Var 华中农业大学数学建模基地 网站 例例2.9续续 确定确定1880-19851880-1985全球气表平均温度改变值差全球气表平均温度改变

54、值差 分序列拟合模型的口径分序列拟合模型的口径 拟合模型：拟合模型：ARMA(1,1) 估计方法：条件最小二乘估计估计方法：条件最小二乘估计 模型口径模型口径 11 9 . 0407. 0003. 0 tttt xx 016. 0)( 2 Var 华中农业大学数学建模基地 网站 模型检验模型检验 模型的显著性检验模型的显著性检验 整个模型对信息的提取是否充分整个模型对信息的提取是否充分 参数的显著性检验参数的显著性检验 模型结构是否最简模型结构是否最简 华中农业大学数学建模基地 网站 模型的显著性检验模型的显著性检验 目的目的 检验模型的有效性检验模型的有效性（对信息的提取是否充分）（对信息的

55、提取是否充分） 检验对象检验对象 残差序列残差序列 判定原则判定原则 一个好的拟合模型应该能够提取观察值序列中几乎一个好的拟合模型应该能够提取观察值序列中几乎 所有的样本相关信息，即残差序列应该为白噪声序所有的样本相关信息，即残差序列应该为白噪声序 列列 反之，如果残差序列为非白噪声序列，那就意味着反之，如果残差序列为非白噪声序列，那就意味着 残差序列中还残留着相关信息未被提取，这就说明残差序列中还残留着相关信息未被提取，这就说明 拟合模型不够有效拟合模型不够有效 华中农业大学数学建模基地 网站 假设条件假设条件 原假设：残差序列为白噪声序列原假设：残差序列为白噪声序列 备择假设：残差序列为非

56、白噪声序列备择假设：残差序列为非白噪声序列 012 0,1 m Hm： mkmH k ，：至少存在某个1, 0 1 华中农业大学数学建模基地 网站 检验统计量检验统计量 LB统计量统计量 2 2 1 (2)() ( ) m k k LBn nm nk 华中农业大学数学建模基地 网站 例例2.5续续 检验检验1950年年1998年北京市城乡居民定年北京市城乡居民定 期储蓄比例序列拟合模型的显著性期储蓄比例序列拟合模型的显著性 残差白噪声序列检验结果残差白噪声序列检验结果 延迟阶数延迟阶数LB统计量统计量P值值检验结论检验结论 65.830.3229 拟合模型拟合模型 显著有效显著有效 1210.

57、280.5050 1811.380.8361 华中农业大学数学建模基地 网站 参数显著性检验参数显著性检验 目的目的 检验每一个未知参数是否显著非零。删除不显检验每一个未知参数是否显著非零。删除不显 著参数使模型结构最精简著参数使模型结构最精简 假设条件假设条件 检验统计量检验统计量 mjHH jj 10:0: 10 )( ) ( mnt Qa mnT jj jj 华中农业大学数学建模基地 网站 例例2.5续续 检验检验1950年年1998年北京市城乡居民定期储蓄年北京市城乡居民定期储蓄 比例序列极大似然估计模型的参数是否显著比例序列极大似然估计模型的参数是否显著 参数检验结果参数检验结果 检

58、验参数检验参数t统计量统计量P值值结论结论 均值均值46.120.0001显著显著 6.720.0001显著显著 1 华中农业大学数学建模基地 网站 模型优化模型优化 问题提出问题提出 当一个拟合模型通过了检验，说明在一定的置当一个拟合模型通过了检验，说明在一定的置 信水平下，该模型能有效地拟合观察值序列的信水平下，该模型能有效地拟合观察值序列的 波动，但这种有效模型并不是唯一的。波动，但这种有效模型并不是唯一的。 优化的目的优化的目的 选择相对最优模型选择相对最优模型 华中农业大学数学建模基地 网站 AIC准则准则 最小信息量准则（最小信息量准则（An Information Criteri

59、on） 指导思想指导思想 似然函数值越大越好似然函数值越大越好 未知参数的个数越少越好未知参数的个数越少越好 AIC统计量统计量 )(2)ln( 2 未知参数个数 nAIC 华中农业大学数学建模基地 网站 SBC准则准则 AIC准则的缺陷准则的缺陷 在样本容量趋于无穷大时，由在样本容量趋于无穷大时，由AIC准则选择的准则选择的 模型不收敛于真实模型，它通常比真实模型所模型不收敛于真实模型，它通常比真实模型所 含的未知参数个数要多含的未知参数个数要多 SBC统计量统计量 )(ln()ln( 2 未知参数nnSBC 华中农业大学数学建模基地 网站 例2.13续 用用AIC准则和准则和SBC准则评判例准则评判例2.13中两个拟中两个拟 合模型的相对优劣合模型的相对优劣 结果结果 AR(1)优于优于MA(2) 模型模型AICSBC MA(2)536.4556542.2011 AR(1)535.7896540.2866 华中农业大学数学建模基地 网站 序列预测序列预测 线性预测函数线性预测函数 预测方差最小原则预测方差最小原则 1 0 tit