K-means聚类算法

1、聚类K-means算法n聚类n聚类算法nK-means聚类算法n聚类的评价n聚类分析是一种重要的人类行为，早在孩提时代，一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗、动物植物。聚类背景什么是聚类分析n聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同数据尽量分离。 n层次聚类算法nSOM聚类算法nFCM聚类算法nK-means聚类算法四种常用的聚类算法层次聚类算法n根据层次分解的顺序是自底向上的还是自上向下的，层次聚类算法分为凝聚

2、的层次聚类算法和分裂的层次聚类算法。n凝聚型层次聚类的策略是先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。绝大多数层次聚类属于凝聚型层次聚类，它们只是在簇间相似度的定义上有所不同。SOM聚类算法nSOM神经网络是由芬兰神经网络专家Kohonen教授提出的，该算法假设在输入对象中存在一些拓扑结构或顺序，可以实现从输入空间(n维)到输出平面(2维)的降维映射，其映射具有拓扑特征保持性质,与实际的大脑处理有很强的理论联系。nSOM网络包含输入层和输出层。输入层对应一个高维的输入向量，输出层由一系列组织在2维网格上的有序节点构成，输入节点与

3、输出节点通过权重向量连接。 学习过程中，找到与之距离最短的输出层单元，即获胜单元，对其更新。同时，将邻近区域的权值更新，使输出节点保持输入向量的拓扑特征。FCM聚类算法n1965年美国加州大学柏克莱分校的扎德教授第一次提出了集合的概念。经过十多年的发展，模糊集合理论渐渐被应用到各个实际应用方面。为克服非此即彼的分类缺点，出现了以模糊集合论为数学基础的聚类分析。用模糊数学的方法进行聚类分析，就是模糊聚类分析。nFCM算法是一种以隶属度来确定每个数据点属于某个聚类程度的算法。该聚类算法是传统硬聚类算法的一种改进。K-means聚类算法nK-means算法是最为经典的基于划分的聚类方法，是十大经典数

4、据挖掘算法之一。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。n k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。n假设要把样本集分为K个类别，算法描述如下：1）适当选择K个类的初始中心；2）在第N次迭代中，对任意一个样本，求其到c个中心的距离，将该样本归到距离最短的中心所在的类；3）利用均值等方

5、法更新该类的中心值；4）对于所有的c个聚类中心，如果利用（2）（3）的迭代法更新后，值保持不变，则迭代结束，否则继续迭代。nK-means中注意问题：1.C值如何确定值如何确定；2.初始质心的选取；初始质心的选取；3.距离的度量距离的度量；4.质心的计算；质心的计算；5.算法停止条件；算法停止条件；6.空聚类的处理；空聚类的处理；n四种广泛采用的簇间距离度量方法如下：Kmeans算法的适用范围及缺陷nKmeans算法试图找到使平凡误差准则函数最小的簇。当潜在的簇形状是凸面的，簇与簇之间区别较明显，且簇大小相近时，其聚类结果较理想。前面提到，该算法时间复杂度为O(tKmn)，与样本数量线性相关，所以，对于处理大数据集合，该算法非常高效，且伸缩性