第六章 动态数据分析模型

第六章动态数据分析模型内容动态数据及其的特点动态数据的模型分类动态数据建模方法和建模步骤周期分析时间序列预测灰色系统建模系统动力学建模一、动态数据是指观察或记录下来的一组按时间先后顺序排列起来的数据序列1.1数据特征构成时间反映现象在一定时间条件下的数量特征的指标值表示x(t)时间t为自变量整数：离散的，等间距的非整数：连续的。实际分析时必须进行采样处理时间单位秒，分，小时，日，周，月，年1.2动态数据分类-按照指标值的表现形式绝对数序列时期序列可加性

时点序列不可加性

相对数/平均数序列绝对数时期绝对数时点平均数/相对数时间数据分类-按照时间的表现形式连续离散时间序列中，时间必须是等间隔的河流水位时间10425482112河流水位时间10426482110?离散序列内插连续序列采样动态数据的特点数据取值随时间变化在每一时刻取什么值，不可能完全准确地用历史值预报前后时刻（不一定是相邻时刻）的数值或数据点有一定的相关性整体存在某种趋势或周期性1.3动态数据的构成与分解时间序列=趋势+周期+平稳随机成分+白噪声线性季节性的其他自回归模型回归分析，人工识别二、动态数据分析模型分类动态数据建模需要回答的问题是确定的序列还是随机的序列？变量的变化有规律吗？周期、趋势、相关这种变化与其他变量的变化有什么关系？不同的因素相互影响、相互作用，使得系统目标发生了什么变化？动态数据分析模型分类研究单变量或少数几个变量的变化随机过程周期分析和时间序列分析灰色系统关联分析，GM模型研究多变量的变化系统动力学建模时间序列模型动态系统模型2.1时间序列模型研究一个或多个被解释变量随时间变化规律的模型模型主要用于预测分析目的精确预测未来变化数据要求序列平稳研究角度时间域频率域模型内容周期分析时间序列预测时间序列模型的表示相关的检验参数白噪声2.2动态系统模型研究具有时变特点的多个因素之间的相互作用，以及这些作用与系统整体发展之间的关系的模型。模型主要用于模拟和情景分析重点各种因素是如何相互作用影响系统总体发展的特点系统反馈系统动力学模型表示因果反馈逻辑图未来系统要素变化趋势图因果反馈逻辑图未来系统要素变化趋势图3建模步骤分析数据的动态特征进行数据序列分解数据预处理模型构建模型确认建模方法统计学方法随机过程理论灰色系统方法动态系统仿真方法时间序列模型动态系统模型建模步骤研究目标和内容一个序列几个序列序列之间的关系预测模拟选择使用的模型数据预处理结果分析验证建立模型进行分析4时间序列模型4.1基本概念1）平稳随机过程如果一个随机过程的均值和方差在时间过程上是常数，并且在任何两时期之间的协方差值仅依赖于该两时期间的距离和滞后，而不依赖于计算这个协方差的实际时间，那么，这个随机过程称为平稳的随机过程。特点过程的统计特性不随时间的平移而变化严平稳和宽平稳

严平稳一种条件比较苛刻的平稳性定义。认为只有当序列所有的统计性质都不会随着时间的推移而发生变化时，该序列才能被认为平稳。宽平稳宽平稳是使用序列的特征统计量来定义的一种平稳性。认为序列的统计性质主要由它的低阶矩决定，所以只要保证序列低阶矩平稳（二阶），就能保证序列的主要性质近似稳定。平稳序列的统计性质常数均值自协方差函数和自相关函数只依赖于时间的平移长度而与时间的起止点无关如果是平稳的，那么2）自相关函数同一序列不同时间间隔的相关性自相关函数的性质规范性对称性理解计算过程3）白噪声纯随机过程随机过程由无关的随机变量序列构成T时刻的值与过去的值没有关系研究中可供对比的背景白噪声检验时间域和频率域时间域时间t作为自变量离散使用差分方程和相关函数进行研究自回归模型频率域假设随机过程是不同的正弦函数和余弦函数叠加（积分）的结果基于傅里叶变换谱分析周期分析4.2周期分析提取单时间序列中存在的周期的方法时间域离散频率域连续方法谐波分析周期图谱分析1)谐波分析利用傅立叶级数把时间序列表示成无数个不同周期的简谐波和的形式来分析序列变化规律的一种方法

序列长度为N的时间序列数据假设N为一个完整的周期，而且由K个谐波组成序列的长度nk为谐波个数，最大取n/2的整数部分TK为第k个波的周期周期功率谱振幅AK2预测模型t:连续的时间，＝1，2，3…n:样本数m:周期显著的谐波个数Kj:与j对应的谐波数K2)周期图谐波分析只考虑了整个序列的时间区间内的整数谐波振动，波数是整数，而对应的周期则不一定是整数。周期图方法估计功率谱则以整数为周期，由它所构成的谱图横轴常用整数周期表示。假设序列是给定的周期的叠加结果给定一个周期，将序列分解为m各子序列。将各个子序列加和求平均，得到新的序列，然后对新的序列计算参数ak和bk等。谱分析最大熵谱分析在频率域内进行计算对短序列具有较高的分辨率问题准周期周期叠合3）滤波输入信号x(t)（原序列），经过一个过滤系统（通过脉冲响应函数进行数字运算），得到一个新的输出g(t)（过滤后的时间序列）

Wt三项平滑

wt=1/3,k=-1,0,1高斯滤波

wt是高斯函数窗口函数4）数据平滑三点平滑：X(t)=(x(t-1)+x(t)+x(t+1))/3t=1,…,N5）差分按照求导原理，对于线性趋势，那么，其一阶差分近似为常数，对于二次曲线变化趋势，则二阶差分近似等于常数。对于蕴含着固定周期的序列，差分的间隔设为周期长度通常可以较好地去除周期。过差分足够的差分运算可以充分地提取原序列中的非平稳确定性信息但过度的差分会造成有用信息的浪费如果差分后序列的方差增加，那么该差分为过差分。

过差分在实际建模过程中，对原序列做了一阶和二阶差分，两次差分处理后序列都满足平稳性计算了两次差分后得到的两个新序列的方差，比较后如果二阶差分后的序列的方差值大于一阶差分后的序列的方差值，那么二阶差分是过差分。差分计算一阶差分：

dx(t)=x(t)-x(t-k)二阶差分: d’x(t)=dx(t)-dx(t-k)k:滞后值适用于长序列4.3确定性时间序列分析可以使用确定性函数进行拟合未来趋势趋势分析季节变化分析4.3.1趋势分析线性趋势非线性趋势趋势线的选择趋势现象在较长时期内持续发展变化的一种趋向或状态由影响时间序列的基本因素作用形成时间序列的主要构成要素有线性趋势和非线性趋势1）线性趋势现象随时间的推移呈现出稳定增长或下降的线性变化规律方法线性模型法移动平均法线性模型法现象的发展按线性趋势变化时，可用线性模型表示线性模型的形式为—时间序列的趋势值

t—时间标号

a—趋势线在Y轴上的截距

b—趋势线的斜率，表示时间t变动一个单位时观察值的平均变动数量线性模型法-趋势图05010015020019811985198919931997汽车产量趋势值

汽车产量直线趋势（年份）汽车产量（万辆）移动平均法(MovingAverageMethod)测定长期趋势的一种较简单的常用方法通过扩大原时间序列的时间间隔，并按一定的间隔长度逐期移动，计算出一系列移动平均数由移动平均数形成的新的时间序列对原时间序列的波动起到修匀作用，从而呈现出现象发展的变动趋势移动步长为K(1<K<n)的移动平均序列为移动平均法-趋势图05010015020019811985198919931997产量五项移动平均趋势值五项移动中位数汽车产量（万辆）

汽车产量移动平均趋势图（年份）移动平均法-应注意的问题移动平均后的趋势值应放在各移动项的中间位置对于偶数项移动平均需要进行“中心化”移动间隔的长度应长短适中如果现象的发展具有一定的周期性，应以周期长度作为移动间隔的长度若时间序列是季度资料，应采用4项移动平均若为月份资料，应采用12项移动平均2)非线性趋势指数曲线二次曲线用于描述以几何级数递增或递减的现象一般形式为指数曲线(Exponentialcurve)a、b为未知常数若b>1，增长率随着时间t的增加而增加若b<1，增长率随着时间t的增加而降低若a>0，b<1，趋势值逐渐降低到以0为极限指数曲线-趋势图05010015020025019811985198919931997汽车产量趋势值汽车产量指数曲线趋势（年份）汽车产量（万辆）现象的发展趋势为抛物线形态一般形式为二次曲线(SecondDegreeCurve)a、b、c为未知常数根据最小二乘法求得4.3.2季节变动分析季节变动分析原理季节变动指数季节变动现象在一年内随着季节更换形成的有规律变动各年变化强度大体相同、且每年重现指任何一种周期性的变化时间序列的又一个主要构成要素测定目的确定现象过去的季节变化规律消除时间序列中的季节因素季节变动分析原理将季节变动规律归纳为一种典型的季节模型季节模型由季节指数所组成季节指数的平均数等于100%根据季节指数与其平均数(100%)的偏差程度测定季节变动的程度如果现象没有季节变动，各期的季节指数等于100%如果某一月份或季度有明显的季节变化，各期的季节指数应大于或小于100%季节变动的分析原理

季节模型时间序列在各年中所呈现出的典型状态，这种状态年复一年以相同的形态出现由季节指数组成，各指数刻划了现象在一个年度内各月或季的典型数量特征以各个指数的平均数等于100%为条件而构成如果分析的是月份数据，季节模型就由12个指数组成；若为季度数据，则由4个指数组成季节指数反映季节变动的相对数以全年月或季资料的平均数为基础计算的平均数等于100%月(或季)的指数之和等于1200%(或400%)指数越远离其平均数(100%)季节变动程度越大计算方法有按月(季)平均法和趋势剔出法按月(季)平均法

根据原时间序列通过简单平均计算季节指数假定时间序列没有明显的长期趋势和循环波动计算季节指数的步骤计算同月(或同季)的平均数计算全部数据的总月(总季)平均数计算季节指数(S)

按月(季)平均法(实例)表11-151978～1983年各季度农业生产资料零售额数据年份销售额(亿元)一季度二季度三季度四季度19781979198019811982198362.671.574.875.985.286.588.095.3106.3106.0117.6131.179.188.596.495.7107.3115.464.068.768.569.978.490.3已知我国1978～1983年各季度的农业生产资料零售额数据如表11.15。试用按季平均法计算各季的季节指数按月(季)平均法

(计算表)表11-16农业生产资料零售额季节指数计算表年份销售额(亿元)一季度二季度三季度四季度全年合计19781979198019811982198362.671.574.875.985.286.588.095.3106.3106.0117.6131.179.188.596.495.7107.3115.464.068.768.569.978.490.3293.7324.0346.0347.5388.5423.3合计456.5644.3582.4439.82123.0同季平均76.08107.3897.0773.3088.46季节指数(%)86.01121.39109.7382.86100.004.4随机性时间序列分析数据随时间的变化具有随机性无法用确定的函数进行拟合序列必须具有平稳性4.4.1数据检验数据平稳性分析差分平滑滤波时间序列模型1）正态性检验检查数据的分布是否为正态使用统计学中相同的正态检验方法偏斜系数和峰态系数卡方检验2）独立性检验对正态分布的随机变量的自相关函数进行检验。目的纯随机序列为白噪声序列,常数均值，各序列值之间没有任何相关关系。所分析的序列不能是纯随机序列3）平稳性检验必须满足平稳性的假设时序图检验 根据平稳时间序列均值、方差为常数的性质，平稳序列的时序图中，序列应始终在一个常数值附近随机波动，而且波动的范围有界、无明显趋势及周期特征。平稳性的判断图示检验相关图单位根法4.4.2时间序列建模任何时间序列都可以看作是一个平稳的过程。所看到的数据集可以看作是该平稳过程的一个实现。平稳随机过程模型分类单维多维混合回归线性非线性门限回归叠合模型1）主要方法和步骤自回归AR(p)移动平均MA(q)自回归移动平均ARMA(p,q)步骤2）自回归模型AR时间序列可以表示成它的先前值和一个冲击值的函数

P3）滑动平均模型MA序列值是现在和过去的误差或冲击值的线性组合

Q4)自回归滑动平均模型ARMA序列值是现在和过去的误差或冲击值以及先前的序列值的线性组合P,Q识别条件模型自相关函数偏自相关函数AR(P)几何衰减拖尾延迟p后截止为0截尾MA(Q)延迟q后截止为0截尾几何衰减拖尾ARMA(P,Q)延迟q-p后几何衰减延迟p-q后几何衰减拖尾和截尾9以后拖尾2以后截尾自相关函数变化偏相关函数变化应用实例模型辩识使用自相关和偏自相关函数法模型求解利用软件进行计算模型验证和确认建模实例机场旅客数量的时间变化模型4.5灰色系统建模上网下载并参阅DPS1)关联分析分析随时间变化的多个指标之间的关系可用来分析指标之间变化的敏感性关系的显著性没有严格的数学检验2)灰色预测模型GM时间序列数据具有累加性，而且累加后为指数结果的可用性没有严格的定量描述用于国民经济指标的预测步骤将数据累加，生成新的序列使用指数模型或微分方程来求解就数据累减还原5、动态系统模型过程系统＝（过程单元）十（单元间联结关系）5.1系统与仿真过程系统＝过程单元＋单元连接关系系统结构过程系统随时间变化系统模型过程系统的模型化结果根据实际系统建立系统模型，利用模型实验推断实际系统的工作。系统仿真系统由两个以上相互区别又相互作用的单元有机地结合起来，完成某一功能的整体，就称为系统。所以说系统是结构与功能的统一体。系统仿真根据研究对象的结构特征建立系统模型，利用计算机进行实验研究的方法。模拟仿真，数字仿真，混合仿真系统定义是否用仿真构造模型数据准备模型转化使用其它方法模型运行结果分析接受结果停止模型有效修改参数重复运行修改模型是是否否是否计算机模拟计算机模拟是数值分析方法的一种。它用计算机程序直接建立真实系统的模型，并且通过计算机的计算了解系统随时间变化的行为或系统的特性。为什么要进行计算机模拟？数学方法用解析式子反映变量之间的精确关系。数学模型方法例如运筹学的方法，以及概率统计的方法，对研究复杂系统问题，最优化问题以及各种决策问题都起到了巨大的作用。但是在寻求数学表达式及求解的时候，都会遇到很多问题。这些问题有的可以设法解决，有些根本解决不了。而计算机模拟采用了一种全新的思想，它充分利用计算机的优势，只凭经验数据，直接模仿客观现象，不仅利用数据关系，还利用逻辑关系描述复杂的现象。它可以利用程序把难以用数学式子表示的事件、活动、进程都模仿下来。5.2系统动力学模型

美国麻省理工学院J.W福雷斯特(JayW.Forrester)教授创立的一门新兴学科。它是一门分析研究信息反馈系统的学科，也是一门认识系统问题和解决系统问题交叉的新学科。系统动力学主要用来解决社会、经济、企业管理、生态平衡、环境与人口等领域的动态变化问题。简单地说，系统动力学是研究社会系统动态行为的计算机仿真方法。概述系统动力学一种以反馈控制理论为基础，以计算机仿真技术为手段，通常用以研究复杂的社会经济系统的定量方法。适用于处理长期性和周期性的问题。如自然界的生态平衡、社会问题中的经济危机等都呈现周期性规律并需通过较长的历史阶段来观察。5.2.1基本原理动态行为的性质主要取决于系统的内部结构系统结构：系统组成的各个子结构及其间的联系；系统内部的反馈回路；系统内部，存在一个或几个主要回路，决定了系统的主要结构和动态趋势；系统内的参数和结构随时间变化；系统由相互连接的子系统组成。基本思想系统动力学的基本思想是充分认识系统中的反馈和延迟，并按一定的规则从因果关系图逐步的建立系统动力学流式图的结构模式。反馈“反馈”是指信息的传送和返回。“反馈”一词的重点是在“返回”上。反馈的概念是普遍存在的。以取暖系统产生热量温暖房间为例，屋内一个和它相连的探测器将室温的信息返回给取暖系统，以此来控制系统的开关，因此也控制了屋内的温度。室温探测器是反馈装置，它和炉子、管道、抽风机一起组成了一个反馈系统。负反馈室温高，则热风量应减小，可在室温对热风调节影响的箭头上加一个负号。反之，热风量大，则室温增加，可在热风调节对室温影响的箭头上加一个正号。从整体上看，室温影响热风量，热风量又影响了室温。从室温回到了室温，这就是一个反馈关系。另一方面，这些互相影响是相互制约的。因为温度高，则热风量减小，使室温降低。反之，室温低，则增大热风量，使室温升高。这种关系称为负反馈。图中用一个带负号的环来表示，这个环称为负反馈环，此处，负反馈环的目的是使室温接近恒定的温度。热风调节室温_正反馈相反，正反馈环总是加大环内的偏差或扰动，它具有不平衡、不断增长的特性。例如在人口系统中，人口数增加了，每年所出生的人就增加，这就使人口数按指数规律很快的增长下去。这样，从“人口数”到“每年出生的人”又返回到“人口数”之间就存在一个正反馈。增强而不是抵消环中某个元素的变化是所有正反馈环的共同特征。人口每年出生人口++延迟系统动力学的另一个基本点是延迟。延迟也是