第十章-聚类分析

第十章聚类分析10.1聚类分析的一般问题10.2层次聚类10.3K-Means聚类10.1聚类分析的一般问题聚类分析是统计学中研究“物以类聚”问题的多元统计分析方法。聚类分析是一种建立分类的多元统计分析方法，它能够将一批样本（或变量）数据根据其诸多特征，按照在性质上的亲疏程度（各变量取值上的总体差异程度）在没有先验知识（没有事先指定的分类标准）的情况下进行自动分类，产生多个分类结果。类内部的个体在特征上具有相似性，不同类间个体特征的差异性较大。10.1.1聚类分析的意义聚类分析的应用不同地区城镇居民收入和消费状况的分类研究。

区域经济及社会发展水平的分析及全国区域经济综合评价产品市场细分：按照消费者的需求特征分成不同的细分市场在儿童生长发育研究中，把以形态学为主的指标归于一类，以机能为主的指标归于另一类例如，学校里有些同学经常在一起，关系比较密切，而他们与另一些同学却很少来往，关系比较疏远。究其原因可能会发现，经常在一起的同学的家庭情况、性格、学习成绩、课余爱好等方面有许多共同之处，而关系比较疏远的同学在这些方面有较大的差异性。为了研究家庭情况、性格、学习成绩、课余爱好等是否会成为划分学生小群体的主要决定因素，可以从有关这些方面的数据入手，进行客观分组，然后比较所得的分组是否与实际相吻合。对学生的客观分组就可采用聚类分析方法。例：下表是同一批客户对经常光顾的五座商场在购物环境和服务质量两方面的平均得分，现希望根据这批数据将五座商场分类。聚类分析中，个体之间的“亲疏程度”是极为重要的，它将直接影响最终的聚类结果。对“亲疏”程度的测度一般有两个角度：第一，个体间的相似程度；第二，个体间的差异程度。衡量个体间的相似程度通常可采用简单相关系数或等级相关系数。个体间的差异程度通常通过某种距离来测度。为定义个体间的距离应先将每个样本数据看成k维空间的一个点，通常，点与点之间的距离越小，意味着他们越“亲密”，越有可能聚成一类，点与点之间的距离越大，意味着他们越“疏远”，越有可能分别属于不同的类。10.1.2聚类分析中“亲疏程度”的度量方法

1、定距型变量个体间距离的计算方式

8

9

欧氏（Euclidian

）距离实例计算品距离矩阵绝对值距离品Euclidian距离的平方2Euclidian距离明氏（Minkowski

）距离q=1q=2q=∞当q=1，为绝对值距离，SPSS称为block当q=2，即为欧式距离当q=∞，有,称为切比雪夫（Chebychev）距离明氏距离的缺点各指标同等对待（权数相同），不能反映各指标变异程度上的差异距离的大小与各指标的观测单位有关，有时会出现不合理结果没有考虑指标之间的相关性当各指标的测量值相差悬殊时，可以先对数据标准化，然后用标准化后的数据计算距离

2、计数变量个体间距离的计算方式17

18

3、二值（Binary）变量个体间距离的计算方式

所选择的变量应符合聚类的要求：所选变量应能够从不同的侧面反映我们研究的目的；各变量的变量值不应有数量级上的差异（对数据进行标准化处理）：聚类分析是以各种距离来度量个体间的“亲疏”程度的，从上述各种距离的定义看，数量级将对距离产生较大的影响，并影响最终的聚类结果。对投入经费分别以“元”和“十万元”为计量单位，计算两两学校之间的欧式距离：10.1.3聚类分析的几点说明20当以“元”为单位时，（2,3）距离最小，其次（1,2），最后（1,3）当以“十万元”为单位时，（1,2）距离最小，其次（1,3），最后（2,3）因此，聚类分析之前首先消除数量级对聚类的影响，常用方法是标准化处理各变量间不应有较强的线性相关关系10.2层次聚类层次聚类又称系统聚类，简单地讲是指聚类过程是按照一定层次进行的。层次聚类有两种类型，分别是Q型聚类和R型聚类；层次聚类的聚类方式又有两种，分别是凝聚方式聚类和分解方式聚类。Q型聚类：对样本进行聚类，使具有相似特征的样本聚集在一起，差异性大的样本分离开来。R型聚类：对变量进行聚类，使具有相似性的变量聚集在一起，差异性大的变量分离开来，可在相似变量中选择少数具有代表性的变量参与其他分析，实现减少变量个数，达到变量降维的目的。10.2.1层次聚类的两种类型和两种方式凝聚方式聚类：其过程是，首先，每个个体自成一类；然后，按照某种方法度量所有个体间的亲疏程度，并将其中最“亲密”的个体聚成一小类，形成n-1个类；接下来，再次度量剩余个体和小类间的亲疏程度，并将当前最亲密的个体或小类再聚到一类；重复上述过程，直到所有个体聚成一个大类为止。这种聚类方式对n个个体通过n-1步可凝聚成一大类。分解方式聚类：其过程是，首先，所有个体都属一大类；然后，按照某种方法度量所有个体间的亲疏程度，将大类中彼此间最“疏远”的个体分离出去，形成两类（其中一类只有一个个体）；接下来，再次度量类中剩余个体间的亲疏程度，并将最疏远的个体再分离出去；重复上述过程，不断进行类分解，直到所有个体自成一类为止。这种聚类方式对包含n个个体的大类通过n-1步可分解成n个个体。SPSS中提供了多种度量个体与小类、小类与小类间“亲疏程度”的方法。与个体间“亲疏程度”的测度方法类似，应首先定义个体与小类、小类与小类的距离。距离小的关系亲密，距离大的关系疏远。这里的距离是在个体间距离的基础上定义的，常见的距离有：10.2.2个体与小类、小类与小类间“亲疏程度”的度量方法最近邻居（NearestNeighbor）距离：个体与小类中每个个体距离的最小值。最远邻居（FurthestNeighbor）距离：个体与小类中每个个体距离的最大值。组间平均链锁（Between-groupslinkage）距离：个体与小类中每个个体距离的平均值。组内平均链锁（Within-groupslinkage）距离：个体与小类中每个个体距离以及小类内各个体间距离的平均值。5个商厦，D和E的距离最小，现将它们聚为一个小类O={D,E}A、B、C与O的最近邻居距离：26.907、34.655、9.22A、B、C与O的最远邻居距离：30.414、38.21、12.806A、B、C与O的组间平均链锁距离：(26.907+30.414)/2、(34.655+38.21)/2、(9.22+12.806)/2A、B、C与O的组内平均链锁距离：(26.907+30.414+3.606)/3、(34.655+38.21+3.606)/3、(9.22+12.806+3.606)/36个民族的粗死亡率与期望寿命哈萨克与藏族的距离最短，最先合并形成新类CL7新类CL7和其余四类的距离第二次合并新类和各类的距离第三次合并第四次合并最后合并成一类谱系图不显示实际距离，显示0-25的比例距离树状图3310.2.3层次聚类的基本操作商厦评分.sav

【分析】-【分类】-【系统聚类】35变量：购物环境、服务质量个案标注依据：商厦编号

2、把参与层次聚类分析的变量选到【变量】框中。

3、把一个字符型变量作为标记变量选到【个案标注依据】框中，它将大大增强聚类分析结果的可读性。

4、在【聚类】框中选择聚类类型。其中【个案】表示进行Q型聚类（默认类型）；【变量】表示进行R型聚类。

5、在【显示】框中选择输出内容。其中【统计】表示输出聚类分析的相关统计量；【图】表示输出聚类分析的相关图形。

6、单击【方法】按钮指定距离的计算方法。【测量】框中给出的是不同变量类型下的个体距离的计算方法。其中【区间】框中的方法适用于连续型定距变量；【计数】框中的方法适用于品质型变量；【二元】框中的方法适用于二值变量。【聚类方法】框中给出的是计算个体与小类、小类与小类间距离的方法。7、如果参与聚类分析的变量存在数量级上的差异，应在【转换值】框中的【标准化】选项中选择消除数量级差的方法。并指定处理是针对变量的还是针对样本的。【按变量】表示针对变量，适于Q型聚类分析；【按个案】表示针对样本，适于R型聚类分析。

8、单击【统计】按钮指定输出哪些统计量【集中计划】表示输出聚类分析的凝聚状态表；【近似值矩阵】表示输出个体间的距离矩阵；【聚类成员】框中，【无】表示不输出样本所属类，【单个解】表示指定输出当分成n类时各样本所属类，是单一解。【解的范围】表示指定输出当分成m至n类（m小于等于n）时各样本所属类，是多个解。上表中，第一列表示聚类分析的第几步；第二、三列表示本步聚类中哪两个样本或小类聚成一类；第四列式个体距离或小类距离；第五、六列表示本步聚类中参与聚类的是个体还是小类，0表示样本，非0表示由第n步聚类生成的小类参与本步聚类；第七列表示本步聚类的结果将在以下第几步中用到。聚成3类时：A、B为一类；C为一类；D、E为一类聚成2类时：A、B为一类；C、D、E为一类

9、单击【图】按钮指定输出哪种聚类分析图。【谱系图】选项表示输出聚类分析树形图；在【冰柱图】框中指定输出冰挂图，其中，【全部聚类】表示输出聚类分析每个阶段的冰挂图，【指定范围内的聚类】表示只输出某个阶段的冰挂图，输入从第几步开始，到第几步结束，中间间隔几步；在【方向】框中指定如何显示冰挂图，其中，【垂直】表示纵向显示，【水平】表示横向水平显示。45首先：D、E聚在一类，其次：A、B聚在一类；然后：C和{D、E}聚在一类；最后：{A、B}和{C、D、E}聚在一类。因此，聚成2类时：{A、B}和{C、D、E}两类；聚成3类时：{A、B}、{D、E}、{C}三类冰挂图：聚成4类时：{A}、{B}{C}、{D、E}四类聚成3类时：{A、B}、{D、E}、{C}三类聚成2类时：{A、B}和{C、D、E}两类；10.2.3层次聚类的应用举例48

1、利用31个省市自治区小康和现代化指数数据进行层次聚类分析。利用SPSS层次聚类Q型聚类对31个省市自治区进行分类分析。其中个体距离采用平方欧式距离，类间距离采用平均组间链锁距离，由于数据不存在数量级上的差异，因此无需进行进行标准化处理。4950较早聚为一类省份有：甘肃、江西、贵州一类；安徽、广西、河南、云南一类；黑龙江、吉林一类；河南、四川一类；湖北、陕西、内蒙古、山西、重庆一类；北京、上海一类；浙江、广东一类；5152将所有省份聚为3类，统计它们各个指数的均值、标准差、最大值和最小值532、利用裁判打分数据进行聚类分析。

利用SPSS层次聚类R型聚类进行分类分析。其中变量个体距离采用平方欧式距离，类间距离采用平均组间链锁距离，由于数据不存在数量级上的差异，因此无需进行进行标准化处理。5455如果将裁判聚为3类：热心观众为一类；美国、法国、韩国为一类；俄罗斯、中国、罗马尼亚、意大利为一类如果将裁判聚为4类：热心观众为一类；美国、法国、韩国为一类；俄罗斯、中国、罗马尼亚为一类；意大利为一类；10.3K-Means聚类K-Means聚类也称快速聚类，仍将数据看成k维空间上的点，仍以距离作为测度个体“亲疏程度”的指标，并通过牺牲多个解为代价换得高的执行效率，其核心步骤是：第一，指定聚类数目K第二，确定K个初始类中心。SPSS中初始类中心的指定方式有两种：一是用户指定方式；二是系统指定方式。10.3.1K-Means聚类分析的核心步骤第三，根据距离最近原则进行分类。依次计算每个样本数据点到K个类中心点的欧式距离，并按距K个类中心点距离最短的原则将所有样本分成K类。第四，重新确定K个类中心。中心点的确定原则是，依次计算各类中k个变量的均值，并以均值点作为K个类的中心点。第五，判断是否已满足中止聚类分析的条件。条件有两个：一是迭代次数（SPSS默认为10）；二是类中心点偏移程度，即新确定的类中心点距上个类中心点的最大偏移量小于指定的量（SPSS默认为0.02）时中止聚类。58596010.3.2K-Means聚类分析的应用举例31个省市自治区小康和现代化指数的K-Means聚类分析10.3.2K-Means聚类分析的应用举例【分析】-【分类】-【K-均值聚类】622.选定参与K-Means聚类的变量放入【变量】框中。3.选择一个字符型变量作为标记变量放入【个案标注依据】框中，增加分析结果的可读性。4.在【聚类数】框中输入聚类数目，该数应小于样本数。5.如果用户自行指定初始类中心点，则单击【读取初始聚类中心】按钮，并给出存放初始类中心的SPSS数据文件名；否则本步可略去。6.在【方法】框中指定聚类过程是否调整类中心点。其中，【迭代与分类】表示在聚类分析的每一步都重新确定类中心点（SPSS默认）；【仅分类】表示聚类分析过程中类中心点始终为初始类中心点，此时仅进行一次迭代。7.单击【迭代】按钮确定中止聚类的条件。在【最大迭代次数】框后输入最大迭代次数，在【收敛条件】框后输入类中心的偏移量。另外，【使用运行平均值】选项，选中表示每当一个样本被分配到一类时便立即重新计算新的类中心点，此时类中心点与样本分配的前后顺序有关；不选该项表示只有当完成了所有样本的类分配后再计算类中心，该方式可节省运算时间，通常不选中该选项。8.