《判别分析》PPT课件

1、第一节 判别分析方法第二节 以直线划分的判别法第三节 以曲线划分的判别法第四节 费歇尔判别法第五节 逐步判别法,判别分析,第一节 判别分析方法,分类： 1、按判别的组数来分，有两组判别分析和多组判别分析 2、按区分不同总体所用的数学模型来分，有线性判别和非线性判别 3、按判别对所处理的变量方法不同有逐步判别、序贯判别。 4、按判别准则来分，有费歇尔判别准则、贝叶斯判别准则,判别分析是根据观察或测量到若干变量值，判断研究对象如何分类的方法。实际上是根据表明事物特点的变量值和它们所属的类求出判别函数，根据判别函数对未知所属类别的事物进行分类的一种分析方法。,第二节 以直线划分的判别法,一、判别的基

2、本思想 把观测到的n个样本看作p维空间的n个点，以某种方法将p维空间划分为互不相交的q个区域，每个区域对应着一个类，对于给定的新样本点，必然要落入其中某个类中。 对于满足类内样本点接近、类间样本点疏远的性质，可以通过统计量来表现。 比值越大说明类与类间差异越大，分类效果越好,二、两个类别的判别 步骤： 1、计算两类(A,B)各自的均值 2、计算类内离差平方和与类间离差平方和 3、求出判别函数 4、计算待判样本的三个值y, , 5、判断 先建立判别临界值y0,在两总体先验概率相等的假设下，一般常取 如果 ，则判定准则为： yy0,x属于A组； yy0,x属于B组；yy0, x属于A组,例1：为研

3、究某地区育龄妇女的生育状况，根据生育峰值年龄，一胎生育率，二胎生育率、多胎生育率及总和生育率5项指标，将12个已知样本点分为两组，根据已知样本建立判别函数，并判定另外3个待判个体属于何组。数据见spssex/ex601,三、三个类别情形的判别 1、三条线都有通过所有点的重心 2、三条线相交组成一个三角形,第三节 以曲线划分的判别法,一、判别原理 马氏距离： 判别函数： 判别原则： 二、马氏距离导出的二次曲线判别,例3.研究某年全国各地区农民家庭收支的分布规律，根据抽样调查资料进行分类，共抽取28个省、市、自治区的六个指标数据。先采用聚类分析，将28个省、市、自治区分为三组，其中北京、上海、广州

4、3个城市属于孤立样本单位，未归属于已分的三组中，现采用曲线判别法来判定北京、上海、广州归属于哪个组。原始数据见spssex/ex603,第四节 费歇尔判别法,费歇尔判别方法是历史上最早提出的判别方法之一，也叫线性判别法 费歇尔判别的思想是通过将多维数据投影到某个方向上，投影的原则是将类与类之间尽可能的分开，然后再选择合适的判别准则，将待判的样本进行分类判别。,一、判别原理 设有q个总体G1,G2,Gq,每类中含有样本数分别为n1,n2,nq 假定所建立的判别函数为 其中 a表示p维空间的一个方向,如果按这个方向做一条直线， 表示向量x在这条直线上投影坐标,将各组样本均值投影到某条直线上，得到各

5、组样本均值在该直线的投影坐标，投影坐标值距离越远越容易判断待判样本属于哪个组。,a,b,费歇尔方法就是要找一由p变量组成的线性函数，使得各组内点的函数值尽可能接近，而不同组间的函数值尽可能远 (a),是Q-1 B的特征根，a是Q-1 B的特征向量,二、判别的准则 1、一维判别 对于待判样本，计算 和 若 ，则x属于第k组 2、多维判别 多维判别函数建立后，把p维空间的点转换成m维空间的点 则x属于第k组,三、判别的步骤 1、由各组样本资料，计算各组样本均值 2、计算离差矩阵B 3、计算各组样本离差平方和Q 4、计算矩阵Q-1 B的前m个特征向量 5、组成线性变换a，并计算各样本平均向量在m维空

6、间中的点 6、判断,例2：为研究某地区人口死亡状况，已按某种方法将15个已知样本单位分为三组，选择判别变量为2个：55岁组死亡概率q55和80岁组死亡概率q80。建立判别函数，判定另外4个待判样本属于何组。数据见 spssex/ex602,SPSS,Discriminant过程根据已知的观测量分类和表明观测量特征推导出的判别函数，并把各观测量的变量值回代到判别函数，根据判别函数对观测量所属类别进行判别。对比原始数据的分类和按判别函数所羊的分类，给出错分概率。,功能,给出各类观测量的单变量的描述统计量。 给出费歇尔判别函数的系数或标准化及未标准化的典则判别函数的系数。 给出类内相关矩阵，类内、类

7、间协方差矩阵和总协方差矩阵。 给出按判别函数判别的各观测量所属类别。 带有错分率的判别分析小结。 生成表明各类分布的区域图和散点图。,建立判别函数的方法,全模型法： 把用户指定的变量全部放入判别函数中，不管变量对判别函数是否起作用，作用的大小如何。 逐步选择法：,判别分析的基本步骤：,1、选择自变量及组变量 2、计算各组单变量的描述统计量 3、推导判别系数，给出标准化或未标准化的典则判别系数，并对函数显著性进行检验 4、建立Fisher线性判别函数 5、进行判别分组 6、进行样本回判分析，计算错分率 7、输出结果,第五节 逐步判别分析,一、逐步判别原理 逐步判别分析从模型没有变量开始，每一步都

8、对模型进行检验，把模型外对模型的判别力贡献最大的变量加到模型中，同时考虑已经在模型中但又不符合留在模型中条件的变量从模型中剔除。 一个变量能否进入模型主要取决于协方差分析的F检验的显著性水平,F统计量的构造：,根据筛选后得到的变量，建立贝叶斯判别函数进行判别分析： 判别原则：对每个待判样本x，分别计算各类判别函数值，比较值的大小，x属于值最大组。,二、选择变量方法 1、Wilks 最小法 2、RaoV最大法 3、马氏距离最大法 4、F统计量最大法 5、剩余离差平方和最小法,Wilks 最小法,U统计量 =组内平方和/总平方和，每一步都是统计量最小的进入判别函数 容许度=1-Ri2 (Ri2为偏相关系数）,RaoV最大法,每步都是使RaoV统计量产生最大增量的变量进入判别函数 P模型中的变量数，g分类数，nk第k组样本大小，Wij*组间协方差矩阵的逆矩阵 V两组均值之差,组间的F检验,每步都使任何两类间的最小的F值最大的变量进入判别函数,例4：为研究某地区人口死亡状况，已按某种方法将15