害虫预测预报方法

1、害虫预测预报方法第1页，共77页，2022年，5月20日，1点18分，星期三害虫预测预报方法第2页，共77页，2022年，5月20日，1点18分，星期三（专题二）其它数理统计法1.时间序列分析法2.灰色系统预测3.列联表分析法4.判别分析5.1马尔科夫链预报法5.2模糊数学法6.神经网络预测法第3页，共77页，2022年，5月20日，1点18分，星期三1.时间序列分析法1.1 虫情测报中的应用：方差分析周期外推预报法周期图分析预报法平稳随机时间序列预报法第4页，共77页，2022年，5月20日，1点18分，星期三1.2时间序列分析法数学模型简介时间序列的定义时间序列分析方法简介 时间序列分析软

2、件 第5页，共77页，2022年，5月20日，1点18分，星期三时间序列的定义时间序列分析是概率统计学科中应用性较强的一个分支，在金融经济、气象水文、信号 处理、机械振动等众多领域有着广泛的应用按照时间的顺序把随机事件变化发展的过程记录下来就构成了一个时间序列。对时间序列进行观察、研究，找寻它变化发展的规律，预测它将来的走势就是时间序列分析。简单的说时间序列即:指将某一统计指标数据按照时间顺序排列起来而形成的统计序列，也称时间数列或动态数列。第6页，共77页，2022年，5月20日，1点18分，星期三例子重复掷一枚骰子，按先后次序纪录点数昨日上证综合指数一天的变化情况最近1年来人民币兑美元汇率

3、的变化1900年以来上海市年最高气温记录同一对象在不同时刻的表现(注意: 它与回归分析的区别)第7页，共77页，2022年，5月20日，1点18分，星期三1.2 时间序列的定义 随机序列(随机过程):按时间顺序排列的一组随机变量观察值序列:随机序列的 个有序观察值，称之为序列长度为 的观察值序列随机序列和观察值序列的关系观察值序列是随机序列的一个实现我们研究的目的是想揭示随机时序的性质实现的手段都是通过观察值序列的性质进行推断第8页，共77页，2022年，5月20日，1点18分，星期三描述性时序分析案例德国业余天文学家施瓦尔发现太阳黑子的活动具有11年左右的周期第9页，共77页，2022年，5

4、月20日，1点18分，星期三频域分析方法原理假设任何一种无趋势的时间序列都可以分解成若干不同频率的周期波动发展过程早期的频域分析方法借助富里埃分析从频率的角度揭示时间序列的规律 后来借助了傅里叶变换，用正弦、余弦项之和来逼近某个函数 20世纪60年代，引入最大熵谱估计理论，进入现代谱分析阶段 特点非常有用的动态数据分析方法，但是由于分析方法复杂，结果抽象，有一定的使用局限性第10页，共77页，2022年，5月20日，1点18分，星期三时域分析方法原理事件的发展通常都具有一定的惯性，这种惯性用统计的语言来描述就是序列值之间存在着一定的相关关系，这种自相关关系通常具有某种统计规律。目的寻找出序列值

5、之间相关关系的统计规律，并拟合出适当的数学模型来描述这种规律，进而利用这个拟合模型预测序列未来的走势特点理论基础扎实，操作步骤规范，分析结果易于解释，是时间序列分析的主流方法 第11页，共77页，2022年，5月20日，1点18分，星期三时域分析方法的分析步骤考察观察值序列的特征根据序列的特征选择适当的拟合模型根据序列的观察数据确定模型的口径检验模型，优化模型利用拟合好的模型来推断序列其它的统计性质或预测序列将来的发展 第12页，共77页，2022年，5月20日，1点18分，星期三1.4 时间序列分析软件 常用软件S-plus，Matlab，Gauss，TSP，Eviews, Spss 和SA

6、S 推荐软件SAS在SAS系统中有一个专门进行计量经济与时间序列分析的模块：SAS/ETS。SAS/ETS编程语言简洁，输出功能强大，分析结果精确，是进行时间序列分析与预测的理想的软件由于SAS系统具有全球一流的数据仓库功能，因此在进行海量数据的时间序列分析时它具有其它统计软件无可比拟的优势 第13页，共77页，2022年，5月20日，1点18分，星期三2.灰色系统预测-2.1灰色系统理论的产生和发展动态1982邓聚龙发表第一篇中文论文灰色控制系统标志着灰色系统这一学科诞生。1985灰色系统研究会成立，灰色系统相关研究发展迅速。1989海洋出版社出版英文版灰色系统论文集，同年，英文版国际刊物灰

7、色系统杂志正式创刊。目前，国际、国内200多种期刊发表灰色系统论文，许多国际会议把灰色系统列为讨论专题。国际著名检索已检索我国学者的灰色系统论著500多次。灰色系统理论已应用范围已拓展到工业、农业、社会、经济、能源、地质、石油等众多科学领域，成功地解决了生产、生活和科学研究中的大量实际问题，取得了显著成果。 第14页，共77页，2022年，5月20日，1点18分，星期三2.2灰色系统理论的主要内容灰色系统理论经过10多年的发展，已基本建立起了一门新兴学科的结构体系，其主要内容包括以“灰色朦胧集”为基础的理论体系、以晦涩关联空间为依托的分析体系、以晦涩序列生成为基础的方法体系，以灰色模型（G，M

8、）为核心的模型体系。以系统分析、评估、建模、预测、决策、控制、优化为主体的技术体系。重要数据处理方法有： 灰色关联分析 灰色统计 灰色聚类第15页，共77页，2022年，5月20日，1点18分，星期三2.3灰色系统预测模型灰色系统预测模型建立对原始序列 作1-AGO ，作紧邻均值生成 。确定模型与时间响应式 ，求 的模拟值 。灰色系统模型的检验误差检验 ，计算X与 的灰色关联度第16页，共77页，2022年，5月20日，1点18分，星期三3.列联表分析法列联表是观测数据按两个或更多属性（定性变量）分类时所列出的频数表 一般,若总体中的个体可按两个属性A与B分类，A有r个等级A1,A2,Ar，B

9、有c个等级B1,B2,Bc,从总体中抽取大小为n的样本，设其中有nij个个体的属性属于等级Ai和Bj，nij称为 频数，将rc个nij排列为一个r行c列的二维列联表，简称rc表。若所考虑的属性多于两个，也可按类似的方式作出列联表,称为多维列联表。 第17页，共77页，2022年，5月20日，1点18分，星期三第18页，共77页，2022年，5月20日，1点18分，星期三第19页，共77页，2022年，5月20日，1点18分，星期三第20页，共77页，2022年，5月20日，1点18分，星期三第21页，共77页，2022年，5月20日，1点18分，星期三4.判别分析判别分析又称“分辨法”，是在分

10、类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。据此即可确定某一样本属于何类。判别分析有二级判别、多级判别、逐步判别等多种方法，在气候分类、农业区划、土地类型划分中有着广泛的应用。判别分析主要的数学方法：马氏距离判别法、Bayes判别法、Fisher判别法。第22页，共77页，2022年，5月20日，1点18分，星期三5.马尔科夫链预报法与模糊数学法5.1 模糊数学简介：模糊数学是研究和处理模糊性现象的一种数学理论和方法 。 1965 年

11、美国控制论学者L.A.扎德发表论文模糊集合，标志着这门新学科的诞生。现代数学建立在集合论的基础上。一组对象确定一组属性，人们可以通过指明属性来说明概念，也可以通过指明对象来说明。符合概念的那些对象的全体叫做这个概念的外延，外延实际上就是集合。一切现实的理论系统都有可能纳入集合描述的数学框架。经典的集合论只把自己的表现力限制在那些有明确外延的概念和事物上，它明确地规定：每一个集合都必须由确定的元素所构成，元素对集合的隶属关系必须是明确的。对模糊性的数学处理是以将经典的集合论扩展为模糊集合论为基础的，乘积空间中的模糊子集就给出了一对元素间的模糊关系。对模糊现象的数学处理就是在这个基础上展开的。第2

12、3页，共77页，2022年，5月20日，1点18分，星期三模糊集合与隶属度在模糊集合中，给定范围内元素对它的隶属关系不一定只有“是”或“否”两种情况，而是用介于0和1之间的实数来表示隶属程度，还存在中间过渡状态。比如“老人”是个模糊概念，70岁的肯定属于老人，它的从属程度是 1，40岁的人肯定不算老人，它的从属程度为 0，按照查德给出的公式，55岁属于“老”的程度为0.5，即“半老”，60岁属于“老”的程度0.8。查德认为，指明各个元素的隶属集合，就等于指定了一个集合。当隶属于0和1之间值时，就是模糊集合。第24页，共77页，2022年，5月20日，1点18分，星期三模糊数学研究对象和发展模糊

13、数学是以不确定性的事物为其研究对象的。模糊集合的出现是数学适应描述复杂事物的需要，查德的功绩在于用模糊集合的理论找到解决模糊性对象加以确切化，从而使研究确定性对象的数学与不确定性对象的数学沟通起来，过去精确数学、随机数学描述感到不足之处，就能得到弥补。在模糊数学中，目前已有模糊拓扑学、模糊群论、模糊图论、模糊概率、模糊语言学、模糊逻辑学等分支。 第25页，共77页，2022年，5月20日，1点18分，星期三模糊数学的应用 模糊数学是一门新兴学科，它已初步应用于模糊控制、模糊识别、模糊聚类分析、模糊决策、模糊评判、系统理论、信息检索、医学、生物学等各个方面。在气象、结构力学、控制、心理学等方面已

14、有具体的研究成果。然而模糊数学最重要的应用领域是计算机职能，不少人认为它与新一代计算机的研制有密切的联系。目前，世界上发达国家正积极研究、试制具有智能化的模糊计算机，1986年日本山川烈博士首次试制成功模糊推理机，它的推理速度是1000万次/秒。1988年，我国汪培庄教授指导的几位博士也研制成功一台模糊推理机分立元件样机，它的推理速度为1500万次/秒。这表明我国在突破模糊信息处理难关方面迈出了重要的一步。第26页，共77页，2022年，5月20日，1点18分，星期三5.马尔科夫链预报法与模糊数学法5.2 马尔科夫链模型简介：马尔科夫分析法的基本模型为： X(k+1)=X(k)P 公式中：X(

15、k)表示趋势分析与预测对象在t=k时刻的状态向量，P表示一步转移概率矩阵， X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。 必须指出的是，上述模型只适用于具有马尔科夫性的时间序列，并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化，不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率，故此法一般适用于短期的趋势分析与预测。 第27页，共77页，2022年，5月20日，1点18分，星期三马尔科夫过程的稳定状态在较长时间后，马尔科夫过程逐渐处于稳定状态，且与初始状态无关。马尔科夫链达到稳定状态的概率就是稳定状态概率，也称稳定概率。趋势分析中，要设

16、法求解得到分析对象的稳态概率，并以此做趋势分析。 在马尔科夫分析法的基本模型中，当X=XP时，称X是P的稳定概率，即系统达到稳定状态时的概率向量，也称X是P的固有向量或特征向量，而且它具有唯一性。 第28页，共77页，2022年，5月20日，1点18分，星期三 时间：tn 状态：xn 即为过程X(tn)的所有可能取值 状态空间：I=x1 ,x2 ,xn-1 ,xn 马尔可夫过程具有如下属性（马尔可夫性） 第29页，共77页，2022年，5月20日，1点18分，星期三马尔可夫过程分类马尔可夫链马尔可夫序列第30页，共77页，2022年，5月20日，1点18分，星期三纯不连续马尔可夫过程连续马尔可

17、夫过程第31页，共77页，2022年，5月20日，1点18分，星期三马尔可夫链离散的时间对应离散的状态 状态空间 I=i1 ,i2 ,in-1 ,in n时刻Xn的概率分布向量 PXn = i PXn = j | Xn-1= in-1 一步转移概率第32页，共77页，2022年，5月20日，1点18分，星期三齐次马尔可夫链齐次马尔可夫链: 如果转移概率与所处的时刻n无关: Pij PXn = j | Xn-1= i 第33页，共77页，2022年，5月20日，1点18分，星期三例子 晴天 阴天 下雨晴天 0.50 0.25 0.25阴天 0.375 0.25 0.375下雨 0 0 1第34页

18、，共77页，2022年，5月20日，1点18分，星期三分 析初始分布: 假设第一天出现三种天 气的概率相等P0=( )2. Pij :表示天气从状态i转到j的概率 第35页，共77页，2022年，5月20日，1点18分，星期三 转移概率矩阵 状态转移图1230.50.25第36页，共77页，2022年，5月20日，1点18分，星期三第四天天气概率分布如果An趋向于定值, 马氏链具有稳定状态第37页，共77页，2022年，5月20日，1点18分，星期三6.神经网络预测法-概述Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学

19、习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart 第38页，共77页，2022年，5月20日，1点18分，星期三BP神经网络模型三层BP网络第39页，共77页，2022年，5月20日，1点18分，星期三2.4.1 BP神经网络模型激活函数必须处处可导一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系输入输出第40页，共77页，2022年，5月20日，1点18分，星期三2.4.1 BP神经网络模型输出的导数根据S型激活

20、函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内 第41页，共77页，2022年，5月20日，1点18分，星期三BP网络的标准学习算法学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。第42页，共77页，2022年，5月20日，1点18分，星期三BP网络的标准学习算法-算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播 误差的反向传

21、播将误差分摊给各层的所有单元各层单元的误差信号修正各单元权值第43页，共77页，2022年，5月20日，1点18分，星期三BP网络的标准学习算法-学习过程正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止第44页，共77页，2022年，5月20日，1点18分，星期三附：支持向量机及应用简介机器学习的基本问题和方法从给定的函数集中选择出能够最好地逼近系统响应的函数系统（S）学习机器（LM）输入x输出y第45页，共77页，2022年

22、，5月20日，1点18分，星期三有指导机器学习的目的是根据给定的训练样本，求出对某系统输入输出之间依赖关系的估计，使它能够对未知输入作出尽可能准确的预测。可以一般地表示为：变量y与x存在一定的未知依赖关系，即遵循某一未知的联合概率F(x,y)（x 和y 之间的确定性关系可以看作是其特例），有指导机器学习问题就是根据N个独立同分布观测样本在一组函数f (x,w)中求一个最优的函数 f (x,w0)对依赖关系进行估计，使期望风险最小第46页，共77页，2022年，5月20日，1点18分，星期三支持向量机（SVM）支持向量机(Surpport Vector Machines)简称SVM，是统计学习理

23、论中最年轻的内容，也是最实用的部分。其核心内容是在1995 年左右,由Vapnik和Chervonenkis提出的，目前仍处在不断发展阶段。第47页，共77页，2022年，5月20日，1点18分，星期三支持向量分类(Classification) 线性分类器第48页，共77页，2022年，5月20日，1点18分，星期三分类面点x0到平面+b=0的距离为第49页，共77页，2022年，5月20日，1点18分，星期三最优分类面第50页，共77页，2022年，5月20日，1点18分，星期三最大间隔(margin)分类面方程为支撑面之间的距离叫做分类间隔第51页，共77页，2022年，5月20日，1点

24、18分，星期三线性可分的最优分类模型作广义Lagrange乘子函数由KKT条件,有第52页，共77页，2022年，5月20日，1点18分，星期三非支持向量的系数为0 b*也由支持向量求得,事实上第53页，共77页，2022年，5月20日，1点18分，星期三将 代入目标函数，由对偶理论知，系数可由如下二次规划问题解得给定x的分类结果特点:稳定性、鲁棒性、稀疏性等第54页，共77页，2022年，5月20日，1点18分，星期三最大间距:由于对则第55页，共77页，2022年，5月20日，1点18分，星期三线性不可分(软间隔)第56页，共77页，2022年，5月20日，1点18分，星期三线性不可分的情

25、况引入松弛变量第57页，共77页，2022年，5月20日，1点18分，星期三不可分的解方程subject to作Lagrange函数第58页，共77页，2022年，5月20日，1点18分，星期三最优性条件由KKT条件若若第59页，共77页，2022年，5月20日，1点18分，星期三max系数的解方程第60页，共77页，2022年，5月20日，1点18分，星期三C不同带来的影响第61页，共77页，2022年，5月20日，1点18分，星期三支持向量回归(Regression)问题线性回归:给定训练集(xi,yi),找个线性函数f(x)=wTx+b,来拟合数据最小二乘法(Least Square)其

26、中 为回归误差.记 ,则目标函数可写为解为第62页，共77页，2022年，5月20日，1点18分，星期三最小二乘解的不足:数值稳定性问题,增加新数据对解都有影响,为使模型尽量简单需进行假设检验.脊回归(Ridge Regression)数值稳定性较好.还可写为第63页，共77页，2022年，5月20日，1点18分，星期三敏感损失回归敏感损失函数(-Insensitive Loss)第64页，共77页，2022年，5月20日，1点18分，星期三 支持向量机算法的应用领域SVM的应用主要于模式识别领域贝尔实验室对美国邮政手写数字库进行的实验分类器错误率人工表现2.5%决策树C4.516.2%最好的

27、两层神经网络5.9%SVM4.0%第65页，共77页，2022年，5月20日，1点18分，星期三SVM与神经网络（NN）的对比SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明）SVM 严格的数学推理NN 强烈依赖于工程技巧推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。NN设计者用高超的工程技巧弥补了数学上的缺陷设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。第66页，共77页，2022年，5月20日，1点18分，星期三“我们必须从一开始就澄清一个观点，就是如果某事不是科学，它并不一定不好。比如说，爱情就不是科学

28、。因此，如果我们说某事不是科学，并不是说它有什么不对，而只是说它不是科学。” by R. Feynman from The Feynman Lectures on Physics, Addison-Wesley同理，与SVM相比，NN不像一门科学，更像一门工程技巧，但并不意味着它就一定不好！第67页，共77页，2022年，5月20日，1点18分，星期三主要应用领域手写数字识别语音识别人脸识别文本分类第68页，共77页，2022年，5月20日，1点18分，星期三支持向量机研究如何针对不同的问题选择不同的核函数仍然是一个悬而未决的问题。标准的SVM对噪声是不具有鲁棒性的,如何选择合适的目标函数以实现鲁棒性是至关重要的。第69页，共77页，2022年，5月20日，1点18分，星期三支持向量机算法研究支持向量机的本质是解一个二次规划问题,虽然有一些