模糊均值聚类算法及实现

Cc：cFuzzyc-MeansClusteringAlgorithmand:Fuzzyclusteringisapowerfulunsupervisedmethodfortheysisofdataandconstructionofmodels.Thispaperpresentsanoverviewoffuzzyclusteringanddosomestudyoffuzzyc-meansclusteringalgorithmintermsoftheoryandexperiment.Thisalgorithmissimpleindesign,canbewidelyused,buttherearestillsomeproblemsinit,andtherefore,itisnecessarytobestudiedfurther.:fuzzyc-Megorithm；fuzzyclustering；clustering20世纪90年代以来，随着和数据库技术的迅猛发展，人们可以非将物理或抽象对象的集合分组成由类似的对象组成的多个类的过程称为聚此相似，与其它簇中的对象相异。助市场分析从客户基本信息库中发现不同的客户群并且用模式来刻画Web上的文档进行分类，以发现信息。基于层次的聚类算法文献中最早出现的Single-Linkage层次聚类算1957LloydMacQueen独立提出了经典的模糊C均值聚类算法，FCM算法中模糊划分的概念最早于Ruspini的文章中，但关于FCMDunn和Bezdek完成的。没有类别标记的样本集按某种准则划分为若干个子集(类)，使相似的样本尽可[23]。在众多的模糊聚类算法中，模糊c均值聚类算法(FCM)应用最为广泛。它按照某，数据挖掘中的聚类分析主要集中在针对海量数据的有一效和实用的聚类方法研究聚类方法的可伸缩性聚类分析分类属性数据聚类和具有混合属;可伸缩性，能够处理不同类型属性，强抗噪性，性，对输入顺序不敏感性可解释性和可用性等。，模糊聚类算法模糊聚类算法的模糊聚类分析算法大致可分为三类聚类的，称为模c均值聚类。模糊c（FCM）算法描 程序见附cc均值聚类（FCM，即众所周知的模糊ISODATA，是用隶属度确定每个数据点属于某个聚类的程度的FCMnxi（i=1,2,…,n）c个模糊组，并求每组的聚类中心，使得非相似性指标的价值函数达到最小。FCMHCM的主要区别在于FCM用0，1间的隶属度来确定其属于各个组的1：ccuij1,j那么，FCM的价值函数（或目标函数）

J(U,c,...,c)Jumd

i1

这里uij介于0，1间；ci为模糊组I的聚类中心，dij=||ci-xj||为第I个聚类中心与第j个数据点间的 距离；且m1,是一个

,

)J(U,

)j)

cc

umd2

ij i1 j

这里j，j=1到n，是（3.1）式的n个约束式的日乘子。对所有输入uum ci

nuijnuj和uij

12/(cdij k1dkj 由上述两个必要条件，模糊c均值聚类算法是一个简单的迭代过程。在批处理方式运行时，FCM用下列步骤确定聚类中心ciU[1]：步骤1：用值在0，1间的随机数初始化隶属矩阵U，使其满足式（3.1）中2：用式（3.4）计算cci，i=1,…,c3（3.2对上次价值函数值的改变量小于某个阀值，则算法停止。4：用（3.5）计算新的U2FCM收敛于一个最优解。算法的性能依赖于初始聚类中心。因此，我们要么用法，多次运行FCM。设被分类的对象的集合为：X={x1，x2，…，xN}，其中每一个对象xk有n个特性指标，设为xkx1k，x2kxnkT,如果要把X分成c类，则它的每一个分类结果都对应一个c×NBoolean矩阵U=[uik]c×N，对应的模糊c划分空间为：Mfc=

U

NN|uik∈[0，1]，i，k；uikk

NN=1，k;0<uikki}在此空间上，模糊cRepeatforl=1Step1：computethecluseterp(lpi

NN(u(l1))mnk ,1icn(u(l1)kStep2：competethe

Step3：Updatethepartition

1kIf(d)2

forallu(l

(

c)Ac)djk

(u(l)=0

u(l)∈[0，1]

u u AA

||U(l)U(l1)||<实采用著名的iris数据集对算法进试实现，其中样本总数m=150，样本属性数n=4，设定的划分内别k=3。10FCM算法优缺通过实验和算法的研究学习，不难发现FCM算法的优缺点[5-cJmcJ1的自然推广。J1是Jm的其次，从数学上看，Jm与Rs的空间结构(正交投影和均方近理论)有密切的关联，因此Jm比其他泛函有更深厚的数学基础。最后，FCM法为基础，又提出基于其他原型的模糊聚类算法，形成了一大批FCM类型的算c线FCLc面(FCP)c壳(FCS)等聚类算法，分别实现了对呈线状、超平面状和“薄壳”状结构模式子集(或聚类)的检测。模糊c例如强烈依赖初始化数据的好坏和容易陷入局部鞍点等，仍然需要进一步的研究。参考文献 SpraginsJ.Learningwithoutateacher[J].IEEETransactionsofInformationTheory，2005，23(6)：223-230.BabuskR.FUZZYANDNEURALCONTROL[M].Netherlands：UniversityofTechnologyThridisS.PatternRecongnition[M].SecondEdition.USA：ElsevierScinece，2003.高新波.FCM聚类算法中模糊指数m的优选方法[J].模糊系统与数学2005，19（1：1431992，1（2：57高新波.模糊聚类分析及其应用[M].西安：西安电子科学，，.模糊c均值聚类算法[J].重庆工学院学报，2007-21-1，，function[center, ]=FCMClust(data,cluster_n,% 采用模糊C均值对数据集data聚为cluster_n%% ]= ]=%% nxm矩阵,n个样本,每个样本具有m 4x1 隶属度矩阵U的指数，>1 (缺省值: 隶属度最小变化量,迭代终止条件 (缺省值: (缺省值:% data= ]= plot(data(:,1), hold maxU= index1find(U(1maxU index2find(U(2maxU plot([center([12],1)],[center([1 holdifnargin~=2&nargin~= %23error('Toomanyortoofewinputarguments!');data_nsize(data,1);%求出data的第一维(rows)数,in_nsize(data, %求出data的第二维(columns)%default_options=[2;%隶属度矩阵U % %隶属度最小变化量, %ifnargin==options= %分析有options%如果输入参数个数是二那么就调用默认的iflength(options4如果用户给的opition4个那么其他用默认值;tmp=default_options;tmp(1:length(options))=options;options=tmp;%返回options0(NaN),1nan_index=find(isnan(options)==1);%将denfault_options中对应位置的参数赋值给options中不是数的位置.options(nan_index)=default_options(nan_index);ifoptions(1)11error('Theexponentshouldbegreaterthan1!');%将options中的分量分别赋值给四个变量expo= %隶属度矩阵Umax_iter= %min_impro %隶属度最小变化量,display= %zeros(max_iter1);%Uinitfcm(cluster_n, %初始化模糊分配矩阵,使U%Main fori=%在第k步循环中改变聚类中心ceneter,和分配函数U的隶属度值;[U,center, (i)]=stepfcm(data,U,cluster_n,expo);iffprintf('FCM:Iterationcount=%d,obj.fcn=%f\n',i, %ifi>ifabs( (i)- (i-1))<min_impro,iter_n=i;%(iter_n+1:max_iter)=%functionU=initfcm(cluster_n,%初始化fcm%输入 % U=rand(cluster_n,data_n);col_sum=sum(U);U=U./col_sum(ones(cluster_n,1),%function[U_new, ]=stepfcm(data,U,cluster_n,%模糊C% nxm矩阵,n个样本,每个样本具有m ----隶属度矩 隶属度最大的值就是属于第几 标量,表示聚合中心数目, 隶属度矩阵U%%----%----%----mf%center=mf*data./((ones(size(data,2),1)*sum(mf'))');%新聚类中心(dist=distfcm(center,data); %计算距离矩阵=su