聚类算法简介

聚类算法简介

报告人：刘铭

mliu@

什么是聚类？

聚类就是对大量未知标注的数据集，按

数据的内在相似性将数据集划分为多个

类别，使类别内的数据相似度较大而类

别间的数据相似度较小；

为什么需要聚类?

网页密讯音乐图片博客人物更多▼

中国11虎知识国g搜索吃二

对相似的liSI网页结果

文档或超相关搜索：知识-维基百科

奥运知识知识是对某个主题确信的认识，并且这些认识拥有潜在的能力为特定目的而使用。认知

事物的能力是哲学中克莉争议的中心议题之一，并且拥有它自己的分支一知识论。从更

链接进行汽车知识

加实用的层次来看，知识通常被某些人的群体所共享，在这种情况下，知识可以通过不

聚类，由股票知出同的方式…序多信息

奥运会知正

于类别数电脑知识雅虎知识堂

雅虎知识堂，提供互动问答信息月艮务平台,包含我要提问、我要回答、我要投票'知识专

美容知识

远小于文题、知识推荐、知识专家、知识分类、帮助中心等内容。

档数，能期货知识yahoocom2天前快照

百科知识

设为首页网站地图收藏学知识

够加快用国家知识产权局

首页软件教室设计教室网络教室英语教室开发救室考试教室范文教室管理救

户寻找相法律知识室营消教室视频教室社区…新生报名规则新生必看！《学知以互动社区管理婉则》

您是通过什么渠道知道学知识？招聘版主管理条例…

关信息的2008-03-25快瞪

速度；爱问知识人

新浪爱问知识人网站，开设推荐问题、最新问题、新手问题、问题分类、精彩回答等版

块。

taskcn2天前快啰

汽车知识之底盘频道-搜狐汽车

底盘知以传动系统行驶系统转向系统制动系统看点栏目全时四轮驱动差速决

空气悬挂主动转向系统ABSSAB.汽车底盘相关知识>>更多舒适宁隐新境界消

费者赞凯越底盘新升级(09/131458)..

ajtosohucom/s2006/zhistTi-dpan2008-03-26快呼

电脑知识网-电脑知识的集中营.互联网人的绎站

电脑知识教程CopyrightAllRightsReserved..互联网如有侵犯

您的权益，清通知本站,本站将及时处理.coolnie#163.com国ICP备07017146号电脑知

识网…

4天前快照

聚类图示

聚类中没有任何指导信息，完全按照数据的分布进行类别划分

什么是分类?

■数据集合。，类别标记集合。

VxeData,CIass(x)GC

•数据集合：训练数据TrainData

待分类数据ClassData

•已知VxeTrainData;konwCIass(x)&&Class(x)

*|可是贝:VZeClassData',Class(t)?

•方法：根据训练数据获得类别划分标准

V/eClassData;Class(t)=f(t)

分类图示

:•训练数据•••

•••••

•待分类数据•2

1•■

••■*

•­・••

•

••

••

•■

•3•4•.

••••••

••

•・■•

聚类与分类的区别

•有类别标记和无类别标记；

•有监督与无监督；

（有训练语料与无训练语料）

•TrainAndClassification（分类）;

•NoTrain（聚类）;

聚类的基本要素'

•定义数据之间的相似度；

•聚类有效性函数（停止判别条件）；

1.在聚类算法的不同阶段会得到不同的类别划分结果，可以通过聚类有效性函数

来判断多个划分结果中哪个是有效的；

2.使用有效性函数作为算法停止的判别条件，当类别划分结果达到聚类有效性函

数时即可停止算法运行；

•类别划分策略（算法）；

通过何种类别划分方式使类别划分结果达到有效性函数；

相似度分类(一)

•Euclideandistance

Euclidean(Ai,Aj)=

•交叉嫡e

〃(/而+4川)1「〃”

H(Ai,Aj)=-工--------------log2(y4/m+Ajm)4-—Z(力〃”*log24w)+Z(彳川*l°g?4注)

22..；=i

•Cosine

Cos(Ai9Aj)=

数据表示为向量，向量中某一维对应数据某一特征或属性

仅计算了数据向量中属于同一维度特征的权值差距；

相似度分类(二)

•BasedonSemantic

2

Semantic(Ai,Aj)=EESemantic{Aim,Ajn)(Aim-Ajn)

in=1n=1

Sem

属于不同维度的特征的关系以antic{Aim,Ajn）表不

•UnbalanceSimilarity

r

2

Unbalance(Ai,Aj)=”(力而-4/m)

不同特征在数据相似度计算中的作用不同

聚类有效性函数（一）

•最小误差（人）:

c个类别，待聚类数据x,mi为类别C,的中心，

Zxc

m,=三一Je=£EIIx-mII2人越小聚类结果越好

ICiII=iXGCi

人衡量属于不同类别的数据与类别中心的的误差和;

・最小方差:

一1-2

s'=丁zZu%-％II

xeCixeCi

S,衡量同一类别内数据的平均误差和；

聚类的有效性函数（二）

聚类嫡（CE）：

k

Ep：

j=i

9

nj

En

=（ZEe（p：,p：））+£e（p：,C°）

J=\/=1j=1

第一部分衡量算法的类内相似度，类内相似度越大越好;

En

第二部分衡量算法的类间相似度，类间相似度越小越好;

聚类评价

•PrecisionandRecall

•Purity

•RandValue

•Intra-clustersimilarity

Inter-clustersimilarity

Purity

测试数据首先被人工标注为不同的类别；

测试数据在聚类结果中又被重新划分为多个类别：

g测试语料中被标记为第n在聚类结果中被划分到

〃夕个类别的数据数；,第『个类别的数据数；

(/(/聚类结果的第「个类别中，被标记为第夕个

c七类别的数据数；

寻找具有最大数据数的<作为类别的代表；

1c

类别C,的P“。：P(C,.)=—max(〃；)

ng=i

r

聚类算法的，nrq

Purity=Z~~max(n)

Rand'

•Setanytwodataintestingcorpusasapair-point;

•Iftestingcorpushasndata,thereisn1)/2pair-points

•a)Onepair-pointisinsameclusterintestingcorpus,andin

clusteringresultsitisinsamecluster;

•b)Onepair-pointisinsameclusterintestingcorpus,andin

clusteringresultsitisn'tindifferentcluster;

•c)Onepair-pointisindifferentclusterintestingcorpus,

andinclusteringresultsitisindifferentcluster;

•d)Onepair-pointisindifferentclusterintestingandin

clusteringresultsitisinsamecluster;

a+c

Rand-----------------------

Intraclustersimilarity

Interclustersimilarity

£Cos(di,dj)

dteC,djwC

类别c，类内相似度Sima(Ci)=

|C/|

ZSim(C,)

i=]

算法的类内相似度A1gorithm-Sima=---------------------

ICI

ZCos(di,dj)

d/€Ci,djeCj

类别类间相似度Simc(Ci,Cj)=---------------------------------

Cl*Cl

算法的类间相似度Sime(Ci,Cj)

A1gorithm-Simc=Z-------------

』,=i&&fI*IC，I

聚类结果：类内相似度越大越好，类间相似度越小越好；

数据集

•UCI

beyond100datasets;

eachcaseineachdatasetisrepresentsbysome

attributes;

•attribute：

continuous,numerical,Boolean,missingattribute,

•oftenuse：

iris,zoo,glass,wine;

numericalcontinuousBooleanFeaturecase

Datasetclassnumber

featurefeaturefeaturenumbernumber

Glass-9-92147

Zo°1-15161017

Wine-13-131783

'Iris

4--41504

聚类算法的简单分类

•基于戈U分：K-means,K-medoids

•基于层次：HFC

•基于密度：DBSCAN

•基于网格：CL工QUE,STING

K-means

•初始参数-类别数&初始类别中心;

•聚类有效性函数-最小误差；

•优点：

聚类时间快；

•缺点：

对初始参数敏感；

容易陷入局部最优；

VORONI图、

K-mans每一种划对应一个VORONI图；VORON工图中将数据看作空间中

的点；

•Data7x*Dafa,m一个戈“分Classi9xeClassi

VpwClassi9\/tGDataDistance(p.x)<Distance(pyt)

K-means步骤

•1设置初始类别中心和类别数；

•2根据类别中心对数据进行类别划分；

•3重新计算当前类别划分下每类的中心；

•4在得到类别中心下继续进行类别划分；

•5如果连续两次的类别划分结果不变则停止算法;否则

循环2〜5;

Update

the

cluster

means

▼reassign

Update

the

cluster

means

初始值敏感

初始化4个类别中心；

左侧的全体数据仅与第一个类别中心相似;

K-mcans公式

•目标:最小化」—2

，e=ZZIIX-"人||

i=1xeCi

•固定类别划分情况下求人最小值

•偏导数为0时，Je达到最小值8Je

=0I=1...C

dmi

•人达到最小值时，类别中心为类别内的数据质心

E%

Zi-x)=0nmi='(-

Cl

局部极小值

・5、

K-means每一次类别划分均选择人解空间的局部极小值;

层次聚类

•分裂或凝聚

犀家的

(ANGNES>

(DIANA>

算法运行到某一阶段，类别划分结果达到聚类标准时

即可停止分裂或凝聚；

密度聚类（一）

•将数据看作空间中的点，将数据间的相似度

看作数据间的距离；

•按密度对数据进行类别划分，将类别看作是

被低密度区域分割的高密度区域；

•任意形状的类别分布；

•速度快，对噪声不敏感；

•初始参数：

邻域半径-8；

乱vn£邻域内最小对象数；

密度聚类（二）

★★

★★

密度聚类（三）

pts

ptsG(p)

圆心以£为半径的圆为P的邻域-乃6（,）；density（p）=

"Mp)

Minpts

nsity{p}>--------------,piscore;3o,oiscore&&oG\p,oG密度相连.

兀<P)

密度聚类即通过寻找一系列密度相连的核心对象进行类别;

相对密度（一）

问题：

高密度区

域与低密度,1

区域是相对

的；•2二

•*3**

相对密度（二）

•改变对固定OWS的依赖

•P的近邻密度：「£-P,。）1

।0G*-rfrstanre（p）

〃〃d-（p）（P）=1/|-----------------------|

•p的相对密度：['J

「〃〃d,…z(p)/nndL,,、(。)]

Zk-distance(p)vr'k-aistunce(o)vzJ

°-distance(p)

(P)=------------------------------------------------------------------------------------------------------------------------------------------------

k-disiance(p)vr/

k

•……（Pi说明「与其周围数据的密度相差不多，。

一能与周围数据很好的融合在一起，夕大致位于类别中

基于密度的网格聚类（一）

•1将数据空间划分为有限个网格单元；

・2计算每个网格单元的密度；

•3如果网格单元的密度大于一定阈值则此网

格单元为密集网格；

-4将临近的密集网格单元合并为一个类别；

基于密度的网格聚类（二）

A

B

U

2025303540455055606570

SOM

•SOM（自组织映射）的由来:

1991,Kohoncn提出，模拟人脑中的神经元层；,

•人脑中不同的神经元区域负责不同的功能；1

•一旦有外部刺激，与刺激相关的神经元会被激

励，并且其附近神经元也会受到激励；

SOM两层结构图

X1

SOM聚类步骤论

•1确定神经元分布结构及神经元数，每个神经元代表

一个类别；J

-2随机初始化神经元向量；/

•3随机选择输入数据；\

•4计算输入数据与每个神经元的相似度；)

•5选择具有最大相似度的神经元为获胜神经元；\

-6调整获胜神经元向量，及位于获胜神经元邻域范围

内的神经元向量；/J

-7判断是否满足收敛条件，如不满足，反复运行3〜7;\

SOM聚类（一）

SOM聚类（二）

调整邻近神经元作用

侧的

右

类

别

中

心

会

向

左

侧

的

数

据

移

动

；

一

避

免

初

定

的

敏

始

值

感

；

初始值敏感

m

左

K中-

ns的

ea侧

据

数

右

对

的

侧

别

类

心

中

有

没

何

任

整

调

用

作

；

神经元激励关系

侧向距离

临近神获胜神临近神

经元经元经元

激励成“墨西哥帽”形状分布;

获胜神经元受到的激励作用最大；

离获胜神经元距离越远的神经元其受到的激励作用越小;

神经元结构的作用

1通过对相邻神经元进行调整使相邻的神经

元反映相似的信息；

2使神经元分布密度与数据的分布密度具有

一定的对应关系；

神经元结构

•一维层次

layer0

CXXXDlayer1

layer2

layer3

SOM步骤分析（一）

C

­聚类有效性函数（最小误差）入=zz

•SOM同样也是在寻找使人最小的类别划分

•人的梯度方向代表人的最陡下降方向

•人偏导数代表人的梯度方向

dJe

VJe=------=Z(〃？/(，)-x)

梯度下降

mi(t+1)=mi(t)+〃(/)>(mt(t)—x)

•随机梯度下降近似模拟梯度下降

i(t+1)=m((/)+hi(t)—x)

人⑺代表梯度下降的步长；

随机梯度下降通过单一数据调整梯度下降的方向不容易陷入局部最优;

SOM步骤分析(二)

〃⑺代表梯度下降的步长；

。⑺学习数率，主要控制梯度下降的步长；

，⑺临域函数，反映了神经元调整的范围；

0(/)3⑷均随时间增加单调递减；

…第，•个神经元的位置；

。⑺获胜神经元的序号；_

c(x)=argmin{||x-mi\\}

2

||r,-rc(x)||

h(t)=Ac(x),/(/)=a(/)exp(----------------)

2b2⑺

梯度下降

ns

s-

aj。

S

CD

QJ」

6

(

D

JC

差

神经元分布密度（一）

•输入数据的分布密度为P（x）

•调整获胜神经元临近的N个神经元

•N=0,不调整临近神经元

2/3

神经元分布密度：尸）

•调节临近的N个神经元

神经元分布密度:22

C/2/3-1/(372+3(〃+1))、

尸(X)

神经元分布密度与数据分布密度不成正比，某些数据分布密度较

高的区域神经元分布密度较稀疏，某些数据分布密度较稀疏的区

域神经元分布密度较高

神经元分布密度(二)'

•输入数据分布密度q(x)

•神经元分布密度

■神经元竞争获胜的概率：

输入数据中与W相似的数据的比例

*推论：

1p")q(X。

，VW/,Wj/(W/)=/(vt?7)=>--------------=Xi=Wz；Xj=Wj

夕(吗)q

/0，)<7(X()

2VWi,WJ=Xi=Wi-.XJ=Wj==>/2(W/)=p(W/)

/(w./)夕(打)

SOM密度分布（三）

夕（w，）qg）

VWI,Wjf（W/）=------------=Xi=W/;Xj=w

1.数据分布比：

3：2：1;

2.初始化6个神经

元模拟数据分布；

3.每个矩形内神经

元获胜的比率：

1：1：1;

4.神经元分布比：

3二：1；

123

SOM密度分布（四）

/(w/)q(xi)

Vw<•,wj---------------=--------------Xi=W<；Xy=Wj=/?(W/)夕O./)

/(Wy)q(Xj)

1.数据分布比：

3：2：1;

2.初始化6个神经

元模拟数据分布；

3.每个矩形内神经

元的获胜比率：

3：2：1;

4.神经元分布比:

1：1：1；

123

SOM优点

•对初始值不敏感；

•不容易陷入局部最优；

•神经元分布能够近似模拟数据分布;

SOM不足

•算法迭代时间较长；

•初始参数（类别数）在实际应用中不容

易获得；

SOM算法的改进（一）

•GSOM

•VSOM

GSOM

•计算每个神经元的

AQE(mj)=2\\x-mj\\

Xjj

•选择具有最大的，QE的神经元，将此神经元记

为e,如果e的4QE超过一定阈值则在e和e最不

相似的邻居d间插入新的神经元；

SOM算法的改进（二）

•PSOM

•DASH

PSOM(-)

i初始两个神经元；

2随机选择输入数据；

3计算数据与每个神经元相似度；

4如最大相似度小于阈值，初始化新的神经元；否则更改

最相似神经元向量的权值及邻域内神经元向量的权值；

5寻找及S5A健立〃成，记录〃成的建立时间Zge=0；

6其它〃成，Age=Age+1；

7某Jink的Zge大于一定值删除此〃〃匕

8检查神经元集合，某神经元无〃成相连，去掉此神经元;

翊坏2〜8至类别划分结果满足收敛条件；

PSOM

1次迭代1500次迭代

DASH

•DASH

•引入误差4。万

•IfAQE>Threshold

插入新的神经元或分层

•生长系数B：

控制是否在同一层内插

入新的神经元

•分层系数0：

〜控制是