误差分析 数据判别分析

误差分析课件数据判别分析第1页，共52页，2023年，2月20日，星期日判别分析概念及应用概念应用第2页，共52页，2023年，2月20日，星期日判别分析概念在自然科学与社会科学等众多领域中,研究对象往往用某种方式已划分为若干类型,当得到一个新的样品,要确定该样品属于已知类型的哪一类,这类问题就属于判别分析.第3页，共52页，2023年，2月20日，星期日判别分析的应用在工业生产中判断产品的等级;在经济发展中判断一个国家经济发展程度;医学中根据化验结果判断病人的疾病类型等.第4页，共52页，2023年，2月20日，星期日相似性测度判断样品之间的相似性常采用近邻准则，就是把待分类样品与标准模版进行比较，看和哪个模版匹配程度更好，从而确定待测样品的分类。计算模式相似性测度有欧式距离、马氏距离、夹角余弦距离、Tanimoto测度等多种距离算法。第5页，共52页，2023年，2月20日，星期日近邻准测分类的两种计算方法1通过与样品库所有样品特征分别作相似性测度，找出最接近的样品，取该样品所属类别作为待测样品的类别。2待测样品与样品库中不同类别的中心或重心作相似性测度，找出最接近类的中心，以该类作为待测样品的类别。第6页，共52页，2023年，2月20日，星期日距离算法样品与样品之间的距离样品与类之间的距离类内距离类与类之间的距离第7页，共52页，2023年，2月20日，星期日样品间距离示意图同类内样品间的距离不同类内样品间的距离第8页，共52页，2023年，2月20日，星期日样品与样品之间的距离A:B:第9页，共52页，2023年，2月20日，星期日样品间的距离计算公式第10页，共52页，2023年，2月20日，星期日样品与类之间的距离W为代表某类样品的集合，其中有n个样品，x为待测样品。第11页，共52页，2023年，2月20日，星期日样品与类的距离的计算方法1计算待测样品和类中每个样品之间的距离后求平均值。2计算类的中心点，以类中所有的样品特征的平均值作为类的中心，然后计算待测样品到中心点的距离。第12页，共52页，2023年，2月20日，星期日类内距离同一个类内任意样品之间距离之和的平均值第13页，共52页，2023年，2月20日，星期日类与类之间的距离最短距离法、最长距离法、重心法、平均距离法第14页，共52页，2023年，2月20日，星期日数据判别的方法——模版匹配把未知样品和一个标准模版相比，看它们是否相同或者相似。两类别多类别第15页，共52页，2023年，2月20日，星期日两类别有两个标准样品模版为A和B，其特征向量分别为X和Y，任何一个待识别的样品为M,可以用距离判别来判断它属于A或者B,如果M和A的距离近则属于A，否则属于B。这就是最小距离判别法。第16页，共52页，2023年，2月20日，星期日多类别多种类别，每类有N个样品，计算待测样品到各类中心的马氏距离，比较各距离，取最小的距离值，则待测样品就属于该类。第17页，共52页，2023年，2月20日，星期日马氏距离在判别分析中最常用到马氏距离，此方法考虑到了欧式分布中没有考虑到的总体分布的分散性信息。设x，y是来自均值向量为、协方差矩阵的总体G的两个样品，则x，y之间的马氏距离是而两个总体G1和G2,其均值向量分别为和，G1和G2的协方差距阵相等，皆为，则总体G1和G2间的马氏距离是第18页，共52页，2023年，2月20日，星期日马氏距离的性质123第19页，共52页，2023年，2月20日，星期日马氏距离判别的合理性设G1为正态总体它们的概率密度为：G2为正态总体第20页，共52页，2023年，2月20日，星期日马氏距离判别的合理性两个总体的协方差矩阵相等，对于新产品X，要判别X属于哪个总体，根据统计学似然比准则，很自然应将X判归在该样品观测处其概率密度较大的那个总体。即有下列判别准则：第21页，共52页，2023年，2月20日，星期日马氏距离判别的合理性而的充分必要条件是：即，（马氏距离）因此，当两个总体G1和G2为正态总体且其协方差矩阵相等时，采用马氏距离判别准则和似然比准则时一致的。第22页，共52页，2023年，2月20日，星期日具体讨论两个总体协方差矩阵相等或不等的情况1当两个总体协方差矩阵相等时，考虑样品X到两总体的马氏平方距离的差：第23页，共52页，2023年，2月20日，星期日具体讨论两个总体协方差矩阵相等或不等的情况记则第24页，共52页，2023年，2月20日，星期日具体讨论两个总体协方差矩阵相等或不等的情况这样，距离判别准则化为其中W1和W2都是线性判别函数，在实际问题中，通常以来自总体的训练样本的均值和协方差来估计线性判别函数。第25页，共52页，2023年，2月20日，星期日具体讨论两个总体协方差矩阵相等或不等的情况2当两个总体协方差矩阵不等的时候第26页，共52页，2023年，2月20日，星期日多个总体的距离判别N个总体均值向量和协方差矩阵已知，计算待测样品X到各总体的马氏距离，比较这N个距离，判断X属于其马氏距离最小的总体，如果最小距离在不止一个总体达到，则可将X判给具有最小距离总体的任何一个。第27页，共52页，2023年，2月20日，星期日判别准则的评价1误判率回代估计法2误判率的交叉确认估计法第28页，共52页，2023年，2月20日，星期日误判率回代估计法设G1和G2为两个总体，容量分别为n1、n2，以全体训练样本作为n1＋n2个新样品，逐个代入已建立的判别准则中判别其归属。第29页，共52页，2023年，2月20日，星期日误判率回代估计法其中n12是将属于G1的样品误判为属于G2的个数，n21是将属于G2的样品误判为属于G1的个数，总的误判个数是n12＋n21，而总体n1＋n2，误判率回代估计为第30页，共52页，2023年，2月20日，星期日误判率的交叉确认估计法误判率的交叉估计确认估计是每次剔除训练样本中的一个样品，利用其余容量为n1+n2-1的训练样本建立相应的判别准则，再用所建立的判别准则对剔除的那个样品作判别。对训练样本中的每个样品作上述分析，以其误判的比例作为误判概率的估计。第31页，共52页，2023年，2月20日，星期日误判率的交叉确认估计法－步骤从总体G1的容量为n1的训练样本开始，依次剔除其中一个样品，用剩余的容量为n1－1的训练样本和总体G2的容量为n2的训练样本建立相应的判别函数。用建立的判别函数对剔除的那个样品作判别重复以上步骤，直到G1的训练样本中的n1的样品依次被剔除，记录其误判的样品个数对G2重复以上步骤，确定误判率。第32页，共52页，2023年，2月20日，星期日两种误判率确认方法的比较误判率的交叉确认估计法，所得到的估计称为误判率的交叉确认估计，此方法较回代法更合理，但计算量较大。误判率的回代估计法作出的误判率是建立判别函数的数据反过来用作评价准则的数据得到，因此由此得出的估计往往比真实误判率小，当训练样本较大的时候，此法可以作为真实误判率的一种近似估计。第33页，共52页，2023年，2月20日，星期日其他分类判别准则基于概率统计的贝叶斯分类准则判别函数分类设计（线性、非线性、支持向量机……）神经网络分类决策树分类粗糙集分类第34页，共52页，2023年，2月20日，星期日数据判别分析

第二部分实例分析——距离判别分析法在岩体质量等级分类中的应用主讲人：吴佳欢第35页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用研究意义

工程岩体质量反映了岩体结构固有的物理力学特性，为工程稳定分析、岩体的合理利用以及正确选择各类岩体力学参数等提供了可靠的依据。第36页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用对象特征在岩石力学与工程系统中，许多情况下由于系统具有1.复杂性2.模糊性3.高度非线性数据分布形式和变量之间的关系是难以准确获知的第37页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用发展趋势1.单因素定性分级2.由于应用和分析侧重点不同，相应地采用不同的评价指标和分级标准3.采用静态和动态等多种评价方法从不同侧面进行岩体质量的综合评价4.岩体质量评价与岩体稳定性分析的有机结合多因素定性分级多因素定量综合模式第38页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用发展概况1.早期方法（统计方法、回归方法等）2.RMR分类3.马氏距离判别分析法第39页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用马氏距离判别分析法第40页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用马氏距离判别分析法==注释：S第41页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用岩体质量等级判定的距离判别分析模型1.判别参数的确定岩体质量等级的影响因素

（1）岩石性质（2）岩体结构（3）储存环境以单轴抗压强度（X1）岩体声波纵波速度(X2)体积节理数(X3)节理面粗糙度系数(X4)节理面风化变异系数(X5)透水性系数(X6)第42页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用岩体质量等级判定的距离判别分析模型2.距离判别分析模型的建立距离判别分析模型示意图第43页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用岩体质量等级判定的距离判别分析模型2.距离判别分析模型的建立

第44页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用岩体质量等级判定的距离判别分析模型3.判别结果的检验

第45页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用岩体质量等级判定的距离判别分析模型4.结论

采用距离判别分析法能够解决传统分类方法中考虑的因素不够、实用性窄以及使用起来有局限性等缺陷。该模型在判别分类中具有较强的判别能力，为解决岩体质量等级判定和分类提供了一条新的途径。

第46页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用

谢谢大家！第47页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用发展概况早期方法的不足：

这些方法需要已知数据分布形式和对变量之间关系的假定，分级效果的好坏很大程度上取决于对模型的认识，人为因素很大。

返回第48页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用发展概况RMR分类：R1：岩石抗压强度R2：岩石质量指标R3：节理间距R4：节理状态R5：地下水状态第49页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用发展概况RMR分类：

第50页，共52页，2023年，2月20日，星期日数据判别实例分析

——距离判别分析法在岩体质量等级分类中的应用发展概况RMR分类的不足：

实用性窄，使用起来有局限性，对采集数据依赖较大。