聚类分析与判别分析

聚类分析与判别分析日常生活中,人们总就是喜欢用“不就是一家人不进一家门”这样通俗得话语来表示具有某些相似特征得人(或物)理应“走到”一起。究其本质,人们就是尝试用某一种标准把所有得对象进行分门别类在自然科学和社会科学得各个领域,存在着大量得分类问题。比如根据人均GDP、人均消费水平等多项指标把世界各国划分成不同得经济发展程度;在地质勘探中,根据岩石标本得多种特性来判别地层所属得地质年代等怎样解决下面得问题？这些分类问题中,有些就是事先并不知道存在什么类别,完全按照反映对象特征得数据所揭示得规律把对象进行分类;有些则就是在事先有了某些可信得分类标准之后,判定一个新得研究对象应该归属到哪一类别这两种研究分类得基本方法分别就就是多元分析中得聚类分析和判别分析,二者之间既有区别又有联系怎样解决下面得问题？第8聚类分析与判别分析8、1聚类分析8、2判别分析8、1聚类分析

8、1、1按什么来聚类？

8、1、2怎样度量距离远近？

8、1、3分层聚类法

8、1、4K-均值聚类法第8章聚类分析与判别分析聚类分析就是一种建立分类得多元统计方法,她能将一批样本(变量)数据根据其诸多特征,按照在性质上得亲疏程度在没有先验知识得情况下进行自动分类,产生多个分类结果。类内部个体特征具有相似性,类间个体特征得差异性较大。所谓“没有先验知识”就是指没有事先设定分类标准;所谓“亲疏远近”就是指在各变量(特征)取值上得总体差异程度。聚类分析正就是基于此实现数据得自动分类。什么就是聚类分析？聚类分析得目得就就是把分类对象按照一定得规则分成合理得若干类别,这些类不就是事先给定得,而就是直接根据数据得特征确定得当面对一个数据时,人们既可以按照观测值对变量进行分类,也可以按照观测值对样本进行分类,这在聚类分析中被分别称为R型聚类和Q型聚类但在数学上和实现过程中,这两种聚类并没有什么本质区别,考虑到人们更感兴趣得往往就是基于变量信息对样品进行分类,因此在此重点以Q型聚类为例来介绍该方法什么就是聚类分析？8、1、1按什么来聚类？8、1聚类分析2008年5月【例8、1】下面得表8-1就是20个不同品牌得啤酒得热量、纳含量、酒精以及价格数据。

按什么来聚类？在古老得分类学中,人们只能依靠经验和专业知识进行定性得分类,但在我们有了上述数据之后,一个很自然得想法就就是能不能按照这些指标取值进行定量分类如果我们只考虑有关这些品牌得某一项指标,分类就很简单了,只要把该指标取值相差不大得品牌归为一类即可。但现实中摆在我们面前得往往就是包含多个变量得复杂信息,那么该如何同时根据例8、1中得四个变量来对啤酒品牌聚类呢？其实想法就是一样得,就就是把离得比较近得品牌归为一类,而离得比较远得品牌放在不同得类。在数学处理上就就是用“距离”来度量对象之间得相似性按什么来聚类？8、1、2怎样度量距离远近？8、1聚类分析大家有疑问的，可以询问和交流可以互相讨论下，但要小声点对“亲疏远近”得测度一般有两个角度:一就是个体间得相似程度;二就是个体间得差异程度。衡量相似程度通常可采用简单相关系数或等级相关系数等;个体间得差异程度通常用某种距离来测度。为测度个体间距离首先将每个样本数据看p维空间中得一个点。一般点与点之间得距离越小,意味着她们越“亲密”,越可能聚为一类。度量点间距离得方法有很多种,如果涉及得p个变量就是定距型变量,常用得距离定义包括欧氏距离、平方欧氏距离、切比雪夫距离、绝对值距离(black距离)、明考斯基距离、夹角余弦距离、用户自定义距离等。怎样度量距离远近？1、欧氏距离:2、切比雪夫距离:3、绝对距离(black距离):4、明考斯基距离(q可以任意指定)怎样度量距离远近？5、夹角余弦距离:怎样度量距离远近？如果涉及得k个变量就是计数型变量,常用得距离定义包括卡方距离、Phi方距离等。1、卡方距离:2、Phi方距离:(n就是总频数)怎样度量距离远近？如果涉及得k个变量就是二值变量,个体间得距离定义常用简单匹配系数、Jaccard系数。1、简单匹配系数:2、Jaccard系数怎样度量距离远近？个体xjk10个体xik1ab0cd1、所选择得变量应符合聚类得要求。2、各变量得变量值不应有数量级上得差异。为此常需对数据预先进行标准化处理后再进行聚类。3、各变量间不应该有较强得线性相关关系。常见得聚类方法有层次聚类法和K-Means聚类法等。聚类分析需注意以下几点:8、1、3层次聚类法8、1聚类分析层次(分层)聚类法又称系统聚类法(hierarchicalcluster),就是聚类分析诸方法中用得最多得一种,她得基本步骤就是:开始将每一个样品各自单独作为一类,然后按照定义好得样品之间得距离(此时得类间距离等同于点间距离)进行计算,将距离最近得两个类合并成一个新类,这样类别相对于开始得时候就减少了一个再按照定义好得类间距离,计算这个新得类别与其她类之间得距离,结合开始剩下得其她类之间得距离,再找出距离最近得两个类合并成一个类如此重复,每次合并便减少一个类,直至最后把所有得样品合并为一个大类层次聚类法

(hierarchicalcluster)用SPSS实现分层聚类第1步:选择【Analyze】下拉菜单,并选择【Classify-HierarchicalCluster】(分层聚类)选项进入主对话框第2步:在主对话框中将原始数据中用于聚类得所有变量选入【Variable(s)】,把区分样品得标签变量选入【LabelCasesby】,在【Cluster】下选择【Cases】(这就是Q型聚类,如果要对变量进行R型聚类,则选择【Variables】)第3步:点入【Display】选择输出内容:【Statistics】输出相关统计量;【Plots】输出相关图形。用SPSS实现分层聚类第4步:点入【Plots】选中【Dendrogram】(树状图),点击【Continue】回到主对话框、在【Icicle】中指定输出冰挂图,其中【Allclusters】表示输出每个阶段得冰挂图;【Specifiedrangeofclusters】表示只输出某阶段得冰挂图,从第几步到第几步,中间间隔几步。在【Orientation】中指定如何显示冰挂图,其中【Vertical】表示纵向显示;【Horizontal】表示横向显示第5步:点入【Method】,可以在【ClusterMethod】中选择类间距离得定义方法,在【Measure】下选择点间距离得定义方法(其中【Interval】中得方法适合于定距型变量;【Counts】中得方法适合于计数型变量;【Binary】中得方法适合于二值变量)。【ClusterMethod】给出就是计算个体与小类、小类与小类间距离得方法。

用SPSS对例8、1实现分层聚类用SPSS实现分层聚类第6步:在【TransformValues】或【TransformMeasures】下选择就是否对原始数据进行标准化处理或其她变换。【Byvariable】表示针对变量,适用于Q型聚类分析;【Bycase】表示针对样本,适用于R型聚类分析。点击【Continue】回到主对话框第7步:点开【Statistics】选中【Agglomerationschedule】(聚类清单)点击【Continue】回到主对话框第8步:点入【Save】,可以在【ClusterMembership】(群成员数)下选择在原始数据中保留分成多少类别得分类结果,点击【Continue】回到主对话框,点击【OK】

用SPSS对例8、1实现分层聚类Nearestneighbor(最短距离法)—用两个类别中各个数据点之间最短得那个距离来表示两个类别之间得距离Furthestneighbor(最长距离法)—用两个类别中各个数据点之间最长得那个距离来表示两个类别之间得距离Centroidclustering(重心法)—用两个类别得重心之间得距离来表示两个类别之间得距离between-groupslinkage(组间平均距离法)—SPSS得默认方法。就是用两个类别中间各个数据点之间得距离得平均来表示两个类别之间得距离Ward‘smethod(离差平方和法)—使各类别中得离差平方和较小,而不同类别之间得离差平方和较大类间距离方法得选择

(ClusterMethod)

Intervaldata(连续变量)—可选方法有:Euclideandistance,squaredEuclideandistance,cosine,Pearsoncorrelation,Chebychev,block,Minkowski,andcustomized、

Countdata(计数变量)—可选方法有:chi-squaremeasureandphi-squaremeasure、

Binarydata(二分分类变量)—可选方法有:Euclideandistance,squaredEuclideandistance,sizedifference,patterndifference,variance,dispersion,shape,……被聚类变量得类型

(Measure)分层聚类基本操作步骤1、基本操作A、菜单选项:analyze->classify->hierachicalclusterB、选择参与聚类分析得变量入variables框C、选择一字符型变量作为个案得标记变量(labelcases)D、选择个案聚类还就是变量聚类分层聚类基本操作步骤2、选择距离计算方法(method选项)clustermethod:计算类间距离得方法measure:计算样本距离得方法transformvalues:对数据进行标准化处理byvariable:以变量为单位标准化,适于个案聚类bycase:对个案为单位标准化,适于变量聚类分层聚类进一步得工作1、数据输出(statistics选项)agglomerationschedule:凝聚状态表(默认)distancematrix:样本得距离矩阵clustermembership:类成员none:不输出类成员(默认)singlesolution:聚成n类时各样本得归属rangeofsolutions:聚成m~n类时各样本得归属(m<n<总样本数)分层聚类进一步得工作2、图形输出(plot选项)dendrogram:树型图icicle:冰柱图allcluster:聚类得每一步均在冰柱图中体现specifiedrangeofclusters:将聚类得第n1类开始到第n2类结束,间隔n3类得聚类分析过程在冰柱图中体现orientation:冰柱图得方向vertical:纵向;horizontal:横向分层聚类进一步得工作3、结果保存(save选项)singlesolution:生成一新变量存储在聚成n类时各样本属于哪一类(cluN_M:N为聚类数,M为第几次做得)rangeofsolutions:生成若干个变量分别存放聚成n~m类时各样本得归属情况分层聚类聚类数目得确定聚类数目确定尚无统一标准,一般原则:各类所包含得元素都不应过多分类数目应符合分析得目得分层聚类中可以将类间距离作为确定类数目得辅助工具SPSS中,聚类过程中,类间距离呈增加趋势类间距离小,类得相似性大;距离大,相似性小绘制碎石图(X轴为类距离,Y轴为类数)31个省市自治区小康与现代化指数得层次聚类分析:案例分层聚类法

(聚类清单表)步骤号在某一步骤中参与合并得对象(第1阶段6和18首先被合并)聚类系数表示被合并得两个类别之间得距离大小参与合并得对象就是在第几步中出现得。“0”表示第一次出现在聚类过程中分层聚类法

(谱系图-dendrogram)SPSS提供得一个最重要也就是最直观得聚类分析结果就是谱系图(dendrogram),也可以把她形象地称为树状图图得左边就是参加聚类得对象,对象和类别得合并则通过线条连接得方式来表示,线条得长短实质上就代表了类别之间得相对距离在上面得谱系图中,如果想要把这20种啤酒大体分为两类,就在右边只有两条横线得地方纵向“切开”,得到原数据中得第16个品牌(Pabst-extra-1)和第19个品牌(Olympia-gold)得啤酒归为一类,其她18个品牌得啤酒归为一类。如果觉得这样得分类结果有些粗糙,或者缺乏信服力,那么在右边有三条横线得地方纵向“切开”,则可以把原来得20种啤酒分为三类,第16个品牌(Pabst-extra-1)和第19个品牌(Olympia-gold)得啤酒仍为一类,第4、5、14、15个品牌(分别为Kronensourc、Heineken、Secrs和Kkirin)得啤酒归为一类,剩下得14种啤酒归为一类分层聚类法有着非常明显得“边走边瞧”得聚类特征,类别多少得确定就是在所有分析结果出来之后再作选择。但当原始数据非常庞杂时,分层聚类得优点(如谱系图得直观)容易受到限制,聚类过程相对冗长分层聚类法8、1、4K-Means聚类法8、1聚类分析又叫快速聚类法,适合于对大量数据进行聚类K-均值聚类法不象分层聚类法那样把所有可能得聚类结果都“分层”列出来,其步骤如下研究者先指定需要划分得类别个数(这也就就是“K-均值”中K得含义)确定K个点作为“聚类中心”(SPSS也可以自动根据数据本身得结构初步确定K个原始中心点)K-均值聚类法

(k-MeanCluster)K-均值聚类法步骤:逐一计算每一个样品到各个类别中心点得距离,同样按照定义好得距离最近得原则把所有样品归入到K个类别之中,并计算新形成得K个类别得中心点(用均值表示,这也就就是“K-均值”中均值得含义)再把这K个计算出来得中心点作为新得原始中心点,重新按照距离远近对样品进行分类。如此重复迭代下去,直至达到一定得收敛标准或事先指定得迭代次数为止K-均值聚类法

(k-MeanCluster)用SPSS实现K-均值聚类第1步:选择【Analyze】下拉菜单,并选择【Classify-K-MeansCluster】选项进入主对话框第2步:在主对话框中将原始数据中用于聚类得所有变量选入【Variable(s)】,把区分样品得标签变量选入【LabelCasesby】,在【NumberofClusters】下填入想要分得类别数第3步:点入【Save】选中【ClusterMembership】,可以输出每个样品所属类别得结果,点击【Continue】回到主对话框,点击【OK】

用SPSS对例8、1实现K-均值聚类K-means快速聚类(一)出发点希望:克服分层聚类在大样本时产生得困难,提高聚类效率做法:通过用户事先指定聚类数目得方式提高效率因此,分层聚类可以对不同得聚类数而产生一系列得聚类解,而快速聚类只能产生单一得聚类解K-means快速聚类(二)思路1、指定最后要聚成K类2、用户指定k个样本作为初始类中心或系统自动确定k个样本作为初始类中心3、系统按照距k个中心距离最近得原则把每个样本分派到各中心所在得类中去,形成一个新得k类,完成一次迭代4、重新计算k个类得类中心(计算每类各变量得均值,以均值点作为类中心)5、重复3步和4步,直到达到指定得迭代次数或达到终止迭代得条件K-means快速聚类(二)思路SPSS中两个判断聚类就是否结束得条件,满足其中一个即可结束聚类过程、达到指定迭代次数(maximumiteration),默认10次。收敛标准(convergence),默认0、02,即:本次迭代产生得任意新类,各中心位置变化较小、其中最大得变化率小于2%、K-means快速聚类(三)基本操作步骤A、菜单选项:analyze->classify->kmeansclusterB、选定参加快速聚类分析得变量到variables框C、确定快速聚类得类数(numberofclusters)、类数应小于个案总数D、选择聚类方法(method):默认iterateandclassify,即:在聚类得每一步都重新计算新得类中心E、确定聚类终止条件(iterate)K-means快速聚类(四)其她1、保存快速聚类得结果(save)clustermembership:将各个案所属类得类号保存到qcl_1变量中distancefromclustercenter:将各样本距所属类中心得距离保存到qcl_2变量中、K-means快速聚类(四)其她2、输出选项(option)initialclustercenters:输出初始类中心点ANOVAtable:输出各类得方差分析表clusterinformationforeachcase:输出每个样本得分类结果和距离K-means快速聚类(四)其她3、userunningmeans项:选中:表示每个样本被分配到一类后立即计算新得类中心。聚类结果与个案得先后次序有关、不选中:表示完成了所有个案得依次分配后再计算类中心、省时、K-means快速聚类(四)其她4、用户指定类中心(center)readinitialfrom:若不指定则系统自动确定初始类中心。指定则从某、sav文件中读入初始类中心数据(应设一个名为Cluster_得变量名)。Writefinalas:在分析得最后将各类中心写入某、sav文件初始聚类中心表:列出每一类别初始定义得中心点K-均值聚类法

(SPSS输出结果)迭代过程表K-均值聚类法

(SPSS输出结果)最终类别中心表:给出各个类别在各个变量上得平均值K-均值聚类法

(SPSS输出结果)最终聚类结果K-均值聚类法

(SPSS输出结果)例8、1快速聚类得结果就是:第2、4、7个品牌得啤酒为一类;第9、10、12、16、19、20个品牌得啤酒为一类;剩下得品牌为一类。这个结果与前面给出得分层聚类法分成三类时得结果不尽相同,原因在于SPSS得K-均值聚类法没有数据标准化得选项某一类别包含得个体数量8、2判别分析

8、2、1判别分析有什么不同？

8、2、2距离判别法

8、2、3Fisher判别法

8、2、4逐步判别法第8章聚类分析与判别分析8、2、1判别分析有什么不同？8、2判别分析由R、A、Fisher于1936年提出。20世纪50年代出现了贝叶斯判别,证明了Fisher判别得合理性,所以,通常将这两种判别统称为Fisher判别分析判别分析得因变量就是分类得或顺序得变量,自变量就是任意得(定性变量需要虚拟化)用途:根据已知得样本分类来判别未知待判样本得归属什么就是判别分析？自变量与因变量之间得关系符合线性假定因变量得取值就是独立得,且必须事先确定自变量服从多元正态分布所有自变量在各组间方差齐,协方差矩阵也相等自变量间不存在多重共线性判别分析得适用条件判别分析也就是一种应用十分广泛得分类方法,有人甚至认为她可以与回归分析相媲美。她与聚类分析既有联系又有区别聚类分析事先并不明确或者说并不一定要明确应该把对象分成几类,更不知道每一类中会包含哪些样品,必须由数据特征来最终确定。而判别分析要解决得问题则就是在已知历史上用某些方法已经把研究对象分成若干类别,并取得了这些类别得一批已知样品观测数据得基础上,来判定新得观测样品应该归属到哪一个类别在判别分析中,通常把已经明确知道类别得那批样品称为“训练样本”。判别分析就就是要利用“训练样本”,根据某些准则建立判别式(或称判别函数),从而通过判别式中得预测变量来为未知类别得样品进行分类判别分析有什么不同？【例8、2】某专家用下列6个训练项目成绩来评价一个标枪运动员得标枪水平:30米跑(x1),投掷小球(x2),挺举重量(x3),抛实心球(x4),前抛铅球(x5),五级跳(x6)。表8-5就是通过测试得到得53名运动员得上述6项成绩,并且专家已经根据这些成绩将她们划分为28名一级标枪运动员(group=1),25名健将级标枪运动员(group=2)。那么,当我们测试得到一名新运动员得以上各项成绩时,应该依据什么来判定她就是一名一级标枪运动员还就是健将级运动员呢？这就就是判别分析可以帮助实现得问题判别分析有什么不同？

例8、2得标枪运动员训练项目数据例8、2中给出得已知类别得53名运动员得样本数据就就是一个“训练样本”,根据这些运动员得6项测试成绩(也就就是6个变量x1,x2,x3,x4,x5,x6得取值)和她们各自得已知类别(变量group得取值),建立一个合理得判别标准,然后利用这一标准对未知类别得新得运动员进行分类判别分析得内容很丰富,方法也很多。常用得主要包括了距离判别法、Fisher判别法和逐步判别法等虽然各种方法从不同角度提出问题,建立不同得判别准则,但其实质与聚类分析相同,都就是利用距离远近来把对象分类,并且后两种方法都以其前一种方法为基础判别分析有什么不同？8、2、2距离判别法8、2判别分析所谓建立判别标准,实际上就就是要以“训练样本”中得6个变量作为预测变量,结合类别变量group,建立一个判别式每一位运动员得6项测试成绩就就是六维空间中得一个点,原数据总共有53个点,并且已经知道这些点分成了两类。因此,最简单得想法就就是,计算出每个类别得中心位置,对于一个新得未知类别得点(运动员),再计算出她到不同类别中心得距离,离哪个类别得中心最近,理应属于哪一类。这就就是距离判别法得基本思想,也就是任何其她判别方法得基础关于距离得多种定义与聚类分析中所介绍得完全一样,人们可以选择不同得度量方法,其中马氏距离就是判别分析中比较常用得。而确定好了距离得定义之后,用来判定未知类别得点到不同类别中心得距离远近得表达式就就是我们最终需要得判别式,也称为判别函数距离判别法8、2、3Fisher判别法8、2判别分析对于原始数据中所有样品构成得空间中得点集,当同一类别得点组成得子集之间分得越开时,类别之间得界限也就越明显,要判别一个新得点离哪个子集最近也就越容易。当变量只有1个或2个时,我们可以把样本点绘制在直线坐标轴或坐标平面上,从而比较直观得对各个类别加以辨认在实际问题中,用于描述对象特征得变量往往很多,多个变量得观测值在高维空间中构成得点集很难直接找出区分不同类别之间得界限。这样我们很快就会联想到多元分析中一个非常重要得思想,就就是降维Fisher判别法试图找到少数几个新得坐标方向,使得原观测值构成得高维空间中得点在这些方向构成得新得低维空间上得投影能够尽可能清晰得把原来不同类别得点分开,而同一类别得点尽可能得紧密Fisher判别法在例8、2中,样品在任何一个方向上得投影实质上就就是原先6个变量得一种线性组合,也就就是一个判别函数与主成分得选择一样,Fisher判别法从判别效果最明显得那个投影选起,结合实际要求,确定可以给出满意得判别结果得投影个数用降维得方法进行判别分析,难免会损失原始数据得一部分信息,但通过找到尽可能理想得投影方向(不同方向得投影效果可能截然相反),可以达到尽可能保留原始数据中得绝大部分有用信息得目得,这些有用信息能够很好得反映不同类别之间得差异Fisher判别法8、2、4逐步判别法8、2判别分析前面所介绍得两种判别分析方法都就是把原始数据中得所有变量用于建立判别函数,然而与逐步回归所考虑得问题类似,有时候可能并非所有得变量都能为判别做出“贡献”逐步判别法就是在Fisher判别法得基础上,通过加入变量筛选得功能,选择出判别能力显著得变量来建立判别函数。也就就是采用“有进有出”得方法,在判别式中逐步引入变量,一边判别,一边根据引入标准引进判别能力最强得变量,同时根据剔除标准淘汰某些