第十聚类分析

第十聚类分析第一页，共十页，编辑于2023年，星期一2023/6/5210.1聚类分析概述10.1.1聚类分析的内涵聚类分析是研究分类问题的一种多元统计分析方法，在经济社会研究中有着广泛的应用。以往的分类方法多半依靠经验和专业知识作定性分类，导致许多分类带有主观性和随意性，不能很好地揭示客观事物内在的本质差别和联系，特别是对于多因素、多指标的分类问题，仅凭经验和专业知识往往难以实现准确分类。为克服定性分类不足，人们把数学方法引入分类学中，形成了数值分类学。后来随着多元统计分析的发展，聚类分析逐渐从数值分类学中分离出来，形成了一个新的分支。第二页，共十页，编辑于2023年，星期一2023/6/5310.1聚类分析概述10.1.2聚类分析原理我们认为，所研究的样品或指标（变量）之间存在着程度不同的相似性（亲属关系）。于是根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间的相似程度的统计量，以其作为划分类型的依据，把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）聚合为另一类……关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到把所有的样品（或指标）聚合完毕，把不同的类型一一划分出来，形成一个由小到大的分类系统。最后再把整个分类系统画成一张谱系图，用它把所有样品（或变量）间的亲疏关系表示出来。第三页，共十页，编辑于2023年，星期一2023/6/5410.1聚类分析概述10.1.3聚类分析的分类根据聚类对象的不同，分为：Q型聚类——对样品进行分类处理；K型聚类——对变量进行分类处理。Q型聚类分析的优点可综合利用多个变量的信息对样本进行分类；分类结果直观，聚类谱系图能清晰表现数据分类结果；数据分类结果比传统分类方法更细致、全面、合理。第四页，共十页，编辑于2023年，星期一2023/6/5510.1聚类分析概述根据聚类方法的不同，聚类分析分为：系统聚类法模糊聚类法K-均值法有序聚类法分解法……我们重点介绍系统聚类的理论与方法。第五页，共十页，编辑于2023年，星期一2023/6/5610.2系统聚类的理论与方法10.2.1系统聚类的基本思想系统聚类方法是一种最常用和最基本的聚类方法。其基本思想是认为我们所研究的样品或指标（变量）之间存在着程度不同的相似性（亲疏关系）。关系密切的先聚成类，关系疏远的后聚成类，如此一直进行下去，直到把所有样品（或变量）聚合完毕。第六页，共十页，编辑于2023年，星期一2023/6/5710.2.2系统聚类的过程首先，将n个样品（变量）看成n类，即一类只包含一个样品（变量）；其次根据所确定的“距离”公式，将“距离”最近的两类合并为一个新类，这样得到n-1类；再次从n-1类中找出“距离”最近的两类加以合并，变为n-2类；以此类推……直到所有样品（变量）归为一类为止。把上述分类过程画成一张谱系图，通过它可以把所有样品（变量）间的亲疏关系表示出来。第七页，共十页，编辑于2023年，星期一2023/6/5810.2.3个体之间“距离”的度量方法聚类分析中，个体之间的“亲疏程度”极为重要，它直接影响最终的聚类结果，这种“亲疏程度”可以用某种“距离”来衡量。根据变量类型的不同，“距离”的度量方法也各不相同：连续变量（欧氏距离、欧氏距离平方、切比雪夫距离、皮尔逊相关系数、夹角余弦……）计数（离散）变量（卡方距离、Phi距离）二值变量（二值欧氏距离、二值欧氏距离平方、方差…）第八页，共十页，编辑于2023年，星期一2023/6/5910.2.4类之间距离的度量方法系统聚类不仅需要度量个体间的距离，还要度量类与类之间的距离，距离最小的类首先被聚合为一类。类间距离的测度有以下方法：组间平均连接距离（Between-grouplinkage）组内平均连接距离（Within-grouplinkage）最近邻距离（Nearestneighbor）最远邻距离（Furthestneighbor）重心距离（Centroidcluster）中位数距离（Mediancluster）