聚类分析与判别分析

1、聚类分析与判别分析聚类分析与判别分析第一页，共21页。概述概述n聚类分析：顾名思义是一种分类的多元统计分析方法。按聚类分析：顾名思义是一种分类的多元统计分析方法。按照个体或样品照个体或样品(individuals, objects or subjects)的特征将的特征将它们分类，使同一类别内的个体具有尽可能高的同质性它们分类，使同一类别内的个体具有尽可能高的同质性(homogeneity)，而类别之间则应具有尽可能高的异质性，而类别之间则应具有尽可能高的异质性(heterogeneity)。第二页，共21页。基本思想基本思想n指标：描述研究对象（样本或变量，常用的是样本）之间指标：描述研究对

2、象（样本或变量，常用的是样本）之间的联系的紧密程度。的联系的紧密程度。“距离距离”和和“相似系数相似系数”，假定研究，假定研究对象均用所谓的对象均用所谓的“点点”来表示。来表示。n一般的规则是将一般的规则是将“距离距离”较小的点或较小的点或“相似系数相似系数”较大的较大的点归为同一类，将点归为同一类，将“距离距离”较大的点或较大的点或“相似系数相似系数”较小较小的点归为不同的类！的点归为不同的类！n严格说来聚类分析并不是纯粹的统计技术，它不像其它多严格说来聚类分析并不是纯粹的统计技术，它不像其它多元分析法那样，需要从样本去推断总体。聚类分析一般都元分析法那样，需要从样本去推断总体。聚类分析一般

3、都涉及不到有关统计量的分布，也不需要进行显著性检验。涉及不到有关统计量的分布，也不需要进行显著性检验。聚类分析更像是一种建立假设的方法，而对假设的检验还聚类分析更像是一种建立假设的方法，而对假设的检验还需要借助其它统计方法。需要借助其它统计方法。第三页，共21页。n分类：分类：nQ型聚类型聚类对样本进行分类处理；对样本进行分类处理；nR型聚类型聚类对变量进行分类处理。对变量进行分类处理。n方法：方法：n系统聚类法系统聚类法nK-均值聚类法均值聚类法n有序样品聚类法有序样品聚类法第四页，共21页。个体之间距离的度量方法个体之间距离的度量方法n针对连续变量的距离测量：针对连续变量的距离测量：n欧式

4、距离；欧式距离；n欧式距离平方；欧式距离平方；n切比雪夫距离；切比雪夫距离；n布洛克距离；布洛克距离；n明可夫斯基距离；明可夫斯基距离；n自定义距离；自定义距离；n夹角余弦；夹角余弦；n皮尔逊相关系数皮尔逊相关系数第五页，共21页。n针对计数变量的距离测度：针对计数变量的距离测度：n卡方距离；卡方距离；nPhi方距离；方距离；n针对二值变量的距离测度：针对二值变量的距离测度：n二值欧式距离；二值欧式距离；n二值欧式距离平方；二值欧式距离平方；n不对称指数；不对称指数；n不相似性测度；不相似性测度；n方差方差一般聚类个数在46类，不宜太多，或太少；第六页，共21页。聚类分析应注意的问题聚类分析应

5、注意的问题n所选择的变量应符合聚类的要求；所选择的变量应符合聚类的要求；n各变量的变量值不应有数量级上的差异；各变量的变量值不应有数量级上的差异；n各变量间不应有较强的线性相关关系。各变量间不应有较强的线性相关关系。第七页，共21页。系统聚类系统聚类/层次聚类层次聚类n凝聚式聚类凝聚式聚类和分解式聚类。和分解式聚类。n基本思想：距离相近的样品（或变量）先聚成类，距离相基本思想：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中。能聚到合适的类中。n步骤：步骤：n第一步：每个样品独自聚成

6、类，共第一步：每个样品独自聚成类，共n个类；个类；n第二步：把距离较近的两个样品聚合为一类，形成第二步：把距离较近的两个样品聚合为一类，形成n-1类；类；n第三步：将第三步：将n-1个类中个类中“距离距离”最近的两个类进一步聚成一类，形成最近的两个类进一步聚成一类，形成n-2类；类；n直至所有样品全聚成一类。直至所有样品全聚成一类。第八页，共21页。个体与小类，小类与小类个体与小类，小类与小类“亲疏程度亲疏程度”度量方法度量方法n组间平均连接距离：个体与小类中每个个体距离的平均值；组间平均连接距离：个体与小类中每个个体距离的平均值；n组内平均连接距离：组内平均连接距离：个体与小类中每个个体距离

7、以及小类内个体与小类中每个个体距离以及小类内各个体间距离的平均值各个体间距离的平均值；n最近邻距离：个体与小类中每个个体距离的最小值；最近邻距离：个体与小类中每个个体距离的最小值；n最远邻距离：个体与小类中每个个体距离的最大值；最远邻距离：个体与小类中每个个体距离的最大值；n重心距离：该个体与小类的重心点的距离；重心距离：该个体与小类的重心点的距离；n中位数距离；中位数距离；n离差平方和法：使小类内离差平方和增加最小的两小类应首先离差平方和法：使小类内离差平方和增加最小的两小类应首先合并为一类。合并为一类。第九页，共21页。案例案例9.3 系统聚类分析系统聚类分析n案例案例9.3.sav的资料

8、是我国的资料是我国2005年各地城镇居民平均每人全年各地城镇居民平均每人全年家庭收入来源统计表。试对全国各地区的收入来源结构年家庭收入来源统计表。试对全国各地区的收入来源结构进行分类。进行分类。第十页，共21页。二阶段聚类分析二阶段聚类分析n二阶段聚类分析是一种新型的分层聚类方法，主要用于一二阶段聚类分析是一种新型的分层聚类方法，主要用于一般的数据挖掘和多元统计的交叉领域般的数据挖掘和多元统计的交叉领域模式分类，其算法模式分类，其算法适用于任何尺度的变量。适用于任何尺度的变量。第十一页，共21页。案例案例9.2 二阶段聚类分析二阶段聚类分析n案例案例9.1.sav的资料是美国的资料是美国22个

9、公共团体的数据。试以个公共团体的数据。试以“是是否使用核能源否使用核能源”为分类变量对这些团体进行聚类分析，其为分类变量对这些团体进行聚类分析，其中中“1”表示使用核能源，表示使用核能源，“0”表示没有使用核能源，观测表示没有使用核能源，观测这两类企业所属类别的情况。这两类企业所属类别的情况。第十二页，共21页。K-均值聚类均值聚类n是一种快速聚类法。适合处理大样本数据。是一种快速聚类法。适合处理大样本数据。n基本思想是：将每个样品分配给最近中心（均值）的类中，基本思想是：将每个样品分配给最近中心（均值）的类中，具体步骤：具体步骤：n指定聚类数目指定聚类数目Kn确定确定K个初始类中心（用户指定

10、或系统指定）；个初始类中心（用户指定或系统指定）；n根据距离最近原则进行分类（欧式距离）；根据距离最近原则进行分类（欧式距离）；n重新确定重新确定K个类中心；个类中心；判断是否已满足终止聚类分析的条件：迭代次数或类中心偏移程判断是否已满足终止聚类分析的条件：迭代次数或类中心偏移程度（度（0.02）。第十三页，共21页。案例案例9.2 K中心聚类分析中心聚类分析n案例案例9.2.sav的资料是我国的资料是我国2006年各地区能源消耗的情况。年各地区能源消耗的情况。根据不同省市的能源消耗情况，进行分类，以了解我国不根据不同省市的能源消耗情况，进行分类，以了解我国不同地区的能源消耗情况。同地区的能源

11、消耗情况。第十四页，共21页。判别分析概述判别分析概述n根据已有的划分类别的有关历史资料，确定一种判定方法，根据已有的划分类别的有关历史资料，确定一种判定方法，判定一个新的样本归属哪一类。判定一个新的样本归属哪一类。n设定有设定有k个样本，对每个样本测得个样本，对每个样本测得p项指标的数据，已知每项指标的数据，已知每个样本属于个样本属于k个类别中的每一类。利用这些数据，找出一种个类别中的每一类。利用这些数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来，并对测得同样同类别的样本点尽可能地区别开来，并对

12、测得同样p项指标项指标数据的一个新样本，能判定这个样本属于哪一类。数据的一个新样本，能判定这个样本属于哪一类。第十五页，共21页。距离判别法距离判别法n两个总体两个总体G1和和G2，均值向量：，均值向量： ；协差阵：；协差阵：n数据点数据点X到总体到总体Gi的马氏距离定义为：的马氏距离定义为：n设判别函数：设判别函数：n若若W(X)0，则，则 ；若；若W(X)0，则，则 ；若若W(X)=0，则待判断。，则待判断。n各总体协方差阵相等，判别函数为线性判别函数；各总体协方差阵相等，判别函数为线性判别函数；n各总体协方差阵不相等，判别函数为二次判别函数；各总体协方差阵不相等，判别函数为二次判别函数；

13、21和21和)2 , 1)()()(),()(1)()(2iXXGXDiiii),(),()(1222GXDGXDXW1GX 2GX 第十六页，共21页。Fisher判别分析判别分析n借助方差分析思想构造一个线性判别函数：借助方差分析思想构造一个线性判别函数：n系数系数 确定的原则是使得各总体之间区别确定的原则是使得各总体之间区别最大，而使得每个总体内部的离差最小。最大，而使得每个总体内部的离差最小。n判别规则：待判样品的典型判别函数值判别规则：待判样品的典型判别函数值ux与第与第G类中心的类中心的典型判别函数值典型判别函数值u(i)的绝对离差的绝对离差 最小，则可以最小，则可以将该样品判入第

14、将该样品判入第G类。类。XuXuXuXuXUpp2211)(21),(puuuu)(iuxu第十七页，共21页。Bayes判别分析判别分析n基本思想：首先计算待判样品属于各个总体的条件概率基本思想：首先计算待判样品属于各个总体的条件概率, ,然后比较这然后比较这k个概率值的大小，将待判个概率值的大小，将待判样本归为条件概率最大的总体。样本归为条件概率最大的总体。n在观测到一个样品在观测到一个样品x的情况下，利用的情况下，利用Bayes公式，可以计算公式，可以计算它来自第它来自第g个总体的后验概率：个总体的后验概率： 。n当当 时，则可将时，则可将x判入第判入第h类。类。 n先验概率取法有两种：

15、一是用样品频率代替；二是令各总体先验概率取法有两种：一是用样品频率代替；二是令各总体先验概率相等。先验概率相等。 klxlP, 2 , 1),|(kiiiggxfqxfqxgP1)()()|()|(max)|(1xgPxhPkg第十八页，共21页。案例案例9.4 判别分析判别分析n案例案例9.4.sav的资料为三种不同种类豇豆豆荚的质量、宽度的资料为三种不同种类豇豆豆荚的质量、宽度和长度的统计表，每种类型都为和长度的统计表，每种类型都为20个样本，共个样本，共60个样本。个样本。试根据不同种类豇豆豆荚的特征，建立鉴别不同种类豇豆试根据不同种类豇豆豆荚的特征，建立鉴别不同种类豇豆判别方程。判别方程。第十九页，共21页。nFisher判别函数判别函数ny1=-11.528+0.21质量质量-1.95宽度宽度+0.186长度长度ny2=-15.935+0.112质量质量+2.246宽度宽度+0.092长度长度典型判别式函数系数函数12质量.210.112宽度.9502.246长度.186.092(常量)-11.528-15.935非标准化系数第二十页，共21页。n三个类别的三个类别的Bayes判别函数判别函数n类别类别1=-90