Matlab记录文本模糊聚类分析基本知识及实现023

1、23.模糊聚类分析原理及实现聚类分析，就是用数学方法研究和处理所给定对象， 按照事物间 的相似性进行区分和分类的过程。传统的聚类分析是一种硬划分，它把每个待识别的对象严格地划 分到某个类中，具有非此即彼的性质，这种分类的类别界限是分明的。随着模糊理论的建立，人们开始用模糊的方法来处理聚类问题， 称为模糊聚类分析。由于模糊聚类得到了样本数与各个类别的不确定 性程度，表达了样本类属的中介性，即建立起了样本对于类别的不确 定性的描述，能更客观地反映现实世界。本篇先介绍传统的两种（适合数据量较小情形，及理解模糊聚类 原理）：基于择近原则、模糊等价关系的模糊聚类方法。（一）预备知识一、模糊等价矩阵定义1

2、设R=（rj）n xn为模糊矩阵，I为n阶单位矩阵，若R满足i）自反性：I R （等价于rii =1 ）;ii）对称性：RT=R;则称R为模糊相似矩阵，若再满足niii）传递性：R2 R （等价于k 1（rk債）山）则称R为模糊等价矩阵。定理1设R为n阶模糊相似矩阵，则存在一个最小的自然数k(kn),使得Rk为模糊等价矩阵，且对一切大于 k的自然数I，恒 有RI=Rk. Rk称为R的传递闭包矩阵，记为t(R).二、模糊矩阵的入-截矩阵定乂 2 设 A = ( aij)n xm 为模糊矩阵，对任意的入 0,1,作矩阵(aij其中,haij0,aij称为模糊矩阵A的入-截矩阵。显然，A入为布尔矩阵

3、，且其等价性与 与A 一致意义：将模糊等价矩阵转化为等价的布尔矩阵， 可以得到有限论 域上的普通等价关系，而等价关系是可以分类的。因此，当入在 0,1 上变动时，由A得到不同的分类。若入i v入2,则A入i疋，从而由A ?2确定的分类是由A入i确定的分 类的加细。当入从1递减变化到0时，A的分类由细变粗，逐渐归并， 形成一个分级聚类树。例1设U= ui, U2, U3, U4, U5,对给定的U上的模糊等价关系(1G4吓0.510.40.40.4R =0.80,410.50.50.50.40,510.6凶50.40.50.61丿让入从1到0变化，观察分类过程。(1)当入 =1时,1000001

4、000Ri001000001000001分类结果为5类：（每行代表-类，1代表对应元素在该类）ui, U2, U3, U4, U5(2)当入 =0.8时，1010001000R0.8101000001000001分类结果为4类:U1, U3, U2,U4，U5(3)当入 =0.6时，1010001000&.6101000001100011分类结果为3类:u1, U3, U2,U4,u3(4)当入 =0.5时，1011101000&.5101111011110111分类结果为 2 类：ui, U3, U4, U5, u2(4)当入 =0.4 (R中的最小值)时,1111111111&.4 111

5、111111111111分类结果为1类：u1, U2, U3, U4, U5整个动态分类过程如下:(二) 基于择近原则的模糊聚类择近原则就是利用贴近度来实现分类操作，贴近度用来衡量两个 模糊集A和B的接近程度，用N(A,B)表示。贴近度越大，表明二者 越接近。设论域有限或者在一定区间，即U=u1, U2,，un或U=a,b,常用的贴近度有以下三种：(1) 海明贴近度1 nN(A,B) 1 |A(Ui) B(Ui)|n i 11 bN(A,B) 1| A(Ui) B(uJ|dub a a(2) 欧氏贴近度n(a,b)1 TnA(uJ12B(Ui)1 bN (A, B) 1aA(Ui)：b a12

6、 2B(Ui) du(3) 格贴近度N(A,B) (A：IB) (Ac；lBc)n其中，B i 1 A(Ui) B(Ui)Matlab实现：格贴近度的实现函数fuz_closing.mfun ctio n y=fuz_closi ng(A,B,type)%要求A与B列数相同的行向量m, n=size(A);switch typecase 1%海明贴近度y=1-sum(abs(A-B)/n;case 2%欧氏贴近度y=1-(sum(A-B).A2)A(1/2)/sqrt( n);case 3%格贴近度y1=max(mi n(o nes(m, n)-A,on es(m, n)-B);%ones(m

7、,n)-A 等于Zcy2=max(mi n(A,B);y=mi n(y1,y2);end例2设某产品的质量等级分为5级，其中一级有5种评判因素ui, U2,U3, U4, U5. 每一等级的模糊集为Bi二0.5 0.5 0.6 0.4 0.3B2=0.3 0.3 0.4 0.2 0.2B3=0.2 0.2 0.3 0.1 0.1B4=0.1 0.1 0.2 0.1 0B5=0.1 0.1 0.1 0.1 0假设某产品各评判因素的值为A二0.4 0.3 0.2 0.1 0.2,问该产品属于哪个等级？代码：A=0.4 0.3 0.2 0.1 0.2;B=0.5 0.5 0.6 0.4 0.3;0.

8、3 0.3 0.4 0.2 0.2;0.2 0.2 0.3 0.1 0.1;0.1 0.1 0.2 0.1 0;0.1 0.1 0.1 0.1 0;for i=1:5haimi ng(i)=fuz_closi ng(A,B(i,:),1);oushi(i)=fuz_clos in g(A,B(i,:),2);ge(i)=fuz_closi ng(A,B(i,:),3);endhai ming oushi ge 运行结果：haimi ng =0.78000.92000.90000.86000.8400oushi =0.50810.91060.86580.68700.6422ge =0.40000

9、.30000.20000.20000.1000可见样本A与各等级的格贴近度分别为0.4, 0.3, 0.2, 0.2, 0.1, 故可 认为该产品属于Bi等级。若按令两种贴近度判断，该产品属于 B2等 级。(三) 基于模糊等价关系的模糊聚类一、算法步骤1. 样本数据归一化设X= xi, X2,，xn为要分类的n个样本，每个样本有m个指 标，即卩Xi= Xil, Xi2,，Xim,i = 1,2,., n得到原始数据矩阵X=( Xij)n xm .由于不同指标的数据量纲不同，为了使数据能够比较，要先对X 做归一化处理。2. 建立模糊相似矩阵R先建立样本xi与xj相似程度rij,进而构造模糊相似矩

10、阵R=(rij)n xn建立rij常用的方法有:(1)相似系数法mXikXjk夹角余弦法：r k 1j ，m 2 m 2 XikXjkk 1k 1m| XikXi | | Xjk Xj |相关系数法：rk 1ij mm.(XikXi)2(Xjk Xj)2k 1k 1(2)距离法般取rj = 1- C(d(Xi,Xj) a,其中c和a为适当选取的参数，使得m| Xik Xjk |k 10 rij 1.常用的距离有： 海明距离：d(xi,xj) 欧氏距离：d(Xi,Xj) 切比雪夫距离：d(Xi,xJ max|Xik Xjk |1km(3)贴近度法最大最小法：ijm(XikXjk)k 1m(Xik

11、Xjk)k 1m(Xik Xjk)k 1算术平均最小法:rj1 m1 (Xk Xjk)2 k 1(XkXjk)k 1几何平均最小法：ijF JXjk Xjk k 13. 求出R的传递闭包t(R)即改造相似关系为等价关系：令R2RR,再令R4 R20r2,直到满足R21R；：R与R1相等，即为t(R),仍记为R.4. 选取合适的入，利用入-截矩阵R入进行分类(参考例1 )。二、Matlab 实现求模糊相似矩阵R的函数：fuz_distance.mfun ctio n R=fuz_dista nce(x,type)%x为归一化的数据矩阵，type选择计算相似程度的方法%返回模糊相似矩阵Rn,m =

12、size(x);%距离法的选择参数c和a,需要根据具体情况修改以保证R(i,j)属于0,1c=0.1;a=1;for i=1: nfor j=1: nswitch typecase 1%夹角余弦法R(i,j)=(x(i,:)*x(j,:)/( no rm(x(i,:),2)* norm(x(j,:),2);case 2%相关系数法Dxi=abs(x(i,:)-mea n( x(i,:);Dxj=abs(x(j,:)-mea n( x(j,:);R(i,j)=(Dxi*Dxj)/( norm(Dxi,2)* norm(Dxj,2);case 3%海明距离法d=sum(abs(x(i,:)-x(j

13、,:);R(i,j)=1-c*dAa;case 4%欧氏距离法d=norm(x(i,:)-x(j,:),2);R(i,j)=1-c*dAa;case 5%切比雪夫距离法d=max(abs(x(i,:)-x(j,:);R(i,j)=1-c*dAa;case 6 最大最小(贴近度)法R(i,j)=sum(mi n( x(i,:);x(j,:)/sum(max(x(i,:);x(j,:);case 7算术平均最小(贴近度)法R(i,j)=2*sum(mi n( x(i,:);x(j,:)/sum(x(i,:)+x(j,:);case 8%几何平均最小(贴近度)法R(i,j)=sum(mi n( x(

14、i,:);x(j,:)/sum(sqrt(x(i,:).*x(j,:);endendend求R的传递闭包t(R)的函数：tran_R.mfun ctio n B,k=tran_R(R)%R为模糊相似矩阵,循环构造满足传递性的t(R)%k为满足RA2k = RAk的最小的自然数kn=len gth(R);B=zeros( n,n);flag=0;k=1/2;while flag=0B=fco(R,R);%做模糊合成运算k=2*k;if B=Rflag=1;elseR=B; %循环计算R传递闭包endend上面的函数tran_R.m调用函数矩阵模糊合成算子函数：fco.mfun ctio n B=

15、fco(Q,R)%实现模糊合成算子的计算,要求Q的列数等于R的行数n,m =size(Q);m,l=size(R);B=zeros( n, l);for i=1: nfor k=1:lB(i,k)=max(mi n( Q(i,:);R(:,k);endend求t(R)的入-截矩阵的函数：fuz_lamda.mfun ctio n y=fuz_lamda(X,m)%用入-截矩阵将样本分成m类,m w总样本数lamda=u nique(X); %根据R中的值取入值%unique函数取矩阵不重复元素组成向量并从小到大排好序X(fi nd(X=lamda(m)=1;y=X;例3某地区设有11个雨量站，

16、其分布如图所示:io年来各雨量站测得的年降雨量表如下:宇号23456739102qI1922154&G25S153I頑324a髯斗2374332321開3273閃271406x31丹31929024302234：口？35741Q瓶xl1133445632B1删178401452JOB520妨292310479M733016436139428344225S50231041020S381120410520in2S52212TS3o2i02aoi磁2013o8xB30345122031S2673304132281793J3曲t75磁3205632-W4023閒43&231KlO243307411吝囚

17、29027S1&9sie342232ill320KO郦3老2923Q421252155371现因经费问题，希望撤销几个雨量站，问撤销哪些雨量站而不会太多地减少降雨信息？分析：对ii个雨量站进行模糊聚类，同一类的只需保留一个即 可。比如，已知该市决定撤销 6个只保留5个雨量站，则模糊聚类 为5类。代码：load data ;%数据归一化X,ps=mapm inm ax(data,0,1);X=X;%选择计算相似程度的方法type=3; %c=0.1, a=1, 此时也称绝对值减数法%求模糊相似矩阵R0R0=fuz_dista nce(X,type)%将模糊相似矩阵R0改造成模糊等价矩阵RR,k=

18、tran_R(R0)%求将样本分成8类的入-截矩阵Ramda=fuz_lamda(R,8)运行结果及说明：归一化后的数据矩阵X:X 11x10 double12345e7s9W10.4606000.11670.07140.8Q53O.?53?0.88 M?0(U1Z120.64360.16440.64960OA31000.5494033940.AL5 斗0,6000300.44750.26420,09170.6940,191910.50790.92650斗0.4247104000.36010.05810.867DQ.&8190.5515150.52360.26940.7736029170.1B

19、7S0.0170.69530.61420459G07263b0JH980.92690.8356O.fcbOOU425f0J308D.7B110.75590.9265170.59&40.15530.0782034170.25301G.437810.15810.4316呂0.56&90,91320,07550.69170Q+47090.918500.0772&37S990.06300.68950.34500.4417L0.25010.&7120.519710.05611C0.33070 25570 59OJ0 79170.00.34 HH0a.34faS0 b76S0 lt491110.1078I

20、0.0 ?44055H10环兀 .0A450阳M0.777模糊相似矩阵R0:ROm 11x11 double123456781011110.65800.5108C 476?0 613ft0.42430.85410.61390 44170.61S J0.57402(J bS8010K2J70 71470 88SS0.&3S70.590703S330.5WS0,碱90.S70S30.51084L623710.55700.6298O.&1990.51640.5383O.8W7o.toa;09*9 J斗0.47620.71470.S57O1Q. B0G707756O.57S?0.50690.55210

21、.5240-444150.61580 &29BO.BtXJ710.7463U&770D.&D070 502&QW130.5745042430.63 &70,61990.77560.7-1691049880.&B7B0,67110320.5Mal70 8110 6070 51&40 57820 677ftCAMS10&4620.49240.59580.62fiSS0.61390.S8330 S3&1C 50690.6007050730.&46210.57080.G225o.g妙90.4417055650.86470.55310.6026Q.&7H0.49240.570010.61840.5291

22、0ogsgg0 6C870 5424D 6siaD.6032062230,61841O.5Q5?110.57400.57050.499 J0 49410 5745O.56J50.62860.90950.5249a595Z1由RO改造成的模糊等价矩阵R:K11x11 ciciubl?123A5&76S10li1| 耳0.69070.671116907(16907O.G9O70.BS410.64620.67110.69070.646220.690710.67110.A007077560.63070.64620.5711o.egia0 646230.67110 67111.67110.6711067

23、110 &711064620.86470.67110 646240.69070.80D70,67111asoo?Q.775G0.69070,64620.67110.6913(1646250.69070.S8B80.6711HHOO 了10 77560.69070.646；0.67110 646260.69070,77560-67110L77560,775610.6S070,64620157110,69 IBQ.&16270-B510.690?0.67110169070.69070690710.6462asm0.69070.646280.64620 6452064620.6420.64620&4620.6462iD.64620.64520 909590.67110.67110.8647.67110.6711Q&7110.67110.&46210.67110.6462100.69(170.S918Q.67110.6918Q69180.691B0.69070.64620.671110 546?110.64620 J4620