模式识别-聚类分析(集群)_第1页
模式识别-聚类分析(集群)_第2页
模式识别-聚类分析(集群)_第3页
模式识别-聚类分析(集群)_第4页
模式识别-聚类分析(集群)_第5页
已阅读5页,还剩35页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

模式识别

PatternClassification

第七章:聚类分析(集群)基本概念有师识别:由学习过程和识别过程两部分组成,且用于学习的样本类别是已知的。无师识别:缺少样本类别的先验知识,在样本类别未知的情况下进行分类(非监督学习方法)应用:语音识别、图像分割、遥感图像分类、数据挖掘3AppliedPatternRecognitionCSE616基本概念聚类(集群):根据模式之间的相似度(相似程度)对模式进行无师识别的方法相似度:衡量模式之间相似程度的尺度。聚类准则:聚类分析的同一类模式相似程度的标准或不同类模式差异程度的标准。聚类效果取决于模式的特征空间中的分布!4AppliedPatternRecognitionCSE616相似度测量相似度测量欧氏距离(衡量两个样本之间的距离)设x1,x2为d维特征空间的模式向量,则欧氏距离直观地反映了两个样本的相似程度5AppliedPatternRecognitionCSE616相似度测量马氏距离(衡量单个样本与某类样本,或两类样本之间的距离)

6AppliedPatternRecognitionCSE616相似度测量设x为某样本,则该样本与均值向量为μ,协方差矩阵Σ为的模式类的马氏距离为:

7AppliedPatternRecognitionCSE616相似度测量D1D2马氏距离与样本与均值向量之间的距离成正比8AppliedPatternRecognitionCSE616相似度测量马氏距离与协方差成反比9AppliedPatternRecognitionCSE616相似度测量而均值分别为μ1和μ2,协方差为Σ的两模式类的马氏距离为:

10AppliedPatternRecognitionCSE616聚类准则聚类准则的类型聚类准则阀值准则函数准则11AppliedPatternRecognitionCSE616聚类准则阀值准则根据规定的距离阀值或类别数进行分类函数准则定义一个准则函数,把聚类分析问题转化为准则函数求极值的问题12AppliedPatternRecognitionCSE616基于阀值准则的聚类方法合并聚类法定义样本间的距离:欧氏距离定义类与类之间的距离:近点距离(最短距离)远点距离(最长距离)均值距离马氏距离13AppliedPatternRecognitionCSE616基于阀值准则的聚类方法最近距离14AppliedPatternRecognitionCSE616基于阀值准则的聚类方法最远距离15AppliedPatternRecognitionCSE616基于阀值准则的聚类方法均值距离16AppliedPatternRecognitionCSE616基于阀值准则的聚类方法合并聚类法首先假设每个样本自成一类,并计算各类之间的距离。然后将具有最近距离的两类样本合并成一类重复上述过程,直至合并的类别数等于给定的数目,或各类别间的距离大于某规定的距离阀值为止

17AppliedPatternRecognitionCSE616基于阀值准则的聚类方法合并聚类法18AppliedPatternRecognitionCSE616基于阀值准则的聚类方法合并聚类法-聚为3类19AppliedPatternRecognitionCSE616基于阀值准则的聚类方法合并聚类法-聚为2类基于阀值准则的聚类方法

C-均值算法(动态聚类法)指定群数C,选取C个代表点作为群的聚类中心。(可选各类的均值位置为聚类中心)遍历所有的样本,将每个样本归入与之最近的聚类中心所的代表的群(成批样本修正法)重新计算C个群的中心,将其作为各群新的聚类中心,重复第2步,直至分类结果不变逐个样本修正法21AppliedPatternRecognitionCSE616基于阀值准则的聚类方法

C-均值算法22AppliedPatternRecognitionCSE616基于阀值准则的聚类方法C-均值算法的局限性最终的聚类结果依赖于初始类中心的选择需要事先指定聚类的类别数23AppliedPatternRecognitionCSE616基于阀值准则的聚类方法问题:如何确定聚类群数,初始聚类重心?改进的C-均值算法①首先计算各样本的密度,并将样本按密度顺序排列②给定距离阀值T,挑选出可能的样本作为初始聚类中心应用:1、语音识别

2、图像分类

24AppliedPatternRecognitionCSE616基于阀值准则的聚类方法改进的C-均值算法25AppliedPatternRecognitionCSE616基于阀值准则的聚类方法理论上可以证明,不论初始类中心如何选择,动态聚类算法总是可以收敛的。26AppliedPatternRecognitionCSE616基于阀值准则的聚类方法核函数的聚类算法样本x与聚类Ki间相似性度量:样本集Ki

={xj(i)}用一个所谓的“核函数”Ki,如样本集的某种统计量27AppliedPatternRecognitionCSE616基于阀值准则的聚类方法核函数的聚类算法28AppliedPatternRecognitionCSE616基于准则函数的聚类方法

误差平方和准则

定义误差平方和准则函数为:其中C为类别数,为第i类样本,为第i类样本的均值向量,即:

29AppliedPatternRecognitionCSE616基于准则函数的聚类方法为第i类样本总数表示样本聚为C个类别(群)后,所有样本到各类中心之间误差的平方和。当最小时,即是希望的聚类结果。30AppliedPatternRecognitionCSE616基于准则函数的聚类方法上述准则函数的值,只有在知道聚类群数,及各样本属于那一群后,才能计算欲求极小值,用穷举法是行不通的通常是应用迭代的方法来实现

31AppliedPatternRecognitionCSE616基于准则函数的聚类方法基本思想:根据一定的先验知识确定聚类的群数,并粗略找到一个初始划分结果,再由迭代算法得到最优聚类结果。

32AppliedPatternRecognitionCSE616基于准则函数的聚类方法原理:采用误差平方和准则函数

33AppliedPatternRecognitionCSE616基于准则函数的聚类方法现假定在初始划分后,将中的样本搬到中去则变为:

34AppliedPatternRecognitionCSE616基于准则函数的聚类方法则增加到35AppliedPatternRecognitionCSE616基于准则函数的聚类方法同理,则减小到36AppliedPatternRecognitionCSE616基于准则函数的聚类方法若减小的大于增加的,即则这次搬动改进了准则函数。37AppliedPatternRecognitionCSE616其它聚类方

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论