模式识别学习心得

模式识别学习心得模式识别学习心得什么是模式呢?广义地说，存在于时刻和空间中可观察的事物，若是咱们能够区别它们是不是相同或是不是相似，都能够称之为模式。模式识别就是按照观察到的事物的模式对事物进行分类的进程。在图像识别技术中，模式识别占有核心的地位。所以的图像处置技术都是为了更好地进行模式识别做预备。模式识别是图像识别的实质性阶段。2。有两种大体的模式识别方式，即统计模式识别方式和结构（句法）模式识别方式，与此相应的模式识别系统都由两个进程所组成，即设计和实现。设计是指用必然数量的样本（叫做训练集或学习集）进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。模式识别系统（如图6-2）中，信息获取和预处置部份大致能够与图像的获取与处置对应。一般情形下，模式识别技术主要包括"特征提取和选择"和"分类器的设计"。近几十年来，模式识别技术进展专门快。但是，进展较成熟、应用较普遍的主如果统计模式识别技术。统计模式识别从一个广义的角度看，模式识别能够看成是一种机械学习的进程。依照机械学习进程的性质，能够将模式识别方式分成有监督的模式识别方式和非监督的模式识别方式，后者又称为聚类分析方式。这两种方式在图像识别中都有普遍的应用。（1）有监督的模式识别方式从识别技术的大体思路和方式看，有监督的模式识别能够分成两类：基于模型的方式和直接分类的方式基于模型的方式的基础是贝叶斯(Bayes)决策理论方式，它对模式分析和分类器的设计有实在际的指导意义，是统计模式识别中的一个大体方式，用那个方式进行分类时要求：各类别整体的概率散布(即所谓的先验概率和类条件概率)是已知的；要决策分类的类别数是必然的。假设要研究的分类问题有c个类别，各类别状态用曲来表示，i=1,2,…，c；对应于各个类别曲出现的先验概率P@i)和类条件概率密度函数p(x|3i)是已知的。若是在特征空间已观察到某一贯量x,那么应该把x分到那一类中去才最合理呢?最大体的想法是按照观察到的信息，选择适当的分类策略，使分类可能出现的错误最少，即：若是对于任意jHi,都有P@i|x)P(3j|x)，则将x归入类曲这就是"最小错误率的贝叶斯决策"。一个例子是国际体育联合会对运动员兴奋剂检查的策略。由于对服用兴奋剂的运动员发生漏检，最多只是丧失某一次比赛的结果的公平；而错怪没有服用兴奋剂的运动员有可能毁掉那个运动员的整个运动生涯。所以，当出现疑问时，国际体育联合会的原则是：宁可使一千人漏网，也不能错怪一个好人。类似的思想体此刻模式识别中，即是"基于最小风险的贝叶斯决策"。设X(ai|wj)是将wj类中的样本归入ai类所带来的损失，则当观察到x时，将x归入ai类的风险能够概念为：。最小风险的贝叶斯决策就是把x归入使最小的类中，即：若是对于任意jHi,都有R(ai|x)R(aj|x)，则将x归入类wi基于模型的识别技术中，关键就是要估量概率密度函数。其方式可分为参数估量和非参数估量两类在许多实际问题中，由于样本特征空间的类条件概率密度的形式常常很难肯定，利用Parzen窗等非参数方式估量散布又往往需要大量样本，而且随着特征空间维数的增加所需样本数急剧增加。由此，在实际问题中，咱们往往不去恢复类条件概率密度，而是利用样本集直接设计分类器。具体说就是第一给定某个判别函数类，然后利用样本集肯定出判别函数中的未知参数。这种方式就是有监督的模式识别方式中的另一类重要的方式：直接分类方式。这种方式有3个要素：分类函数的类型(线性仍是非线性)、分类目标函数、优化算法。下面别离介绍线性判别函数法和非线性判别函数法。线性判别函数法利用一类较为简单的判别函数。它第一假定判别函数g(x)是x的线性函数，即g(x)二wTx十wO,对于c类问题，能够概念c个判别函数。这里关键的问题是如何利用样本集求得w和wO。不同的实际情形,往往提出不同的设计要求。这些设计要求，在数学上一般表现为特定的函数形式,咱们称之为准则函数。"尽可能好"的结果相应于准则函数取最优值。这实际上是将分类器设计问题转化为求准则函数极值的问题了,如此就可以够利用最优化技术解决模式识别问题。线性判别函数法的代表有：Fisher线性判别法、感知准则函数法。Fisher线性判别法应用统计方式解决模式识别问题时,一再碰着的问题之一是维数问题。在低维空间里解析上或计算上行得通的方式,在高维空间里往往行不通。因此,降低维数有时就成为处置实际问题的关键。Fisher准则函数的大体思想是,构造评价函数,使适当评价函数最优时被分类的类别之间的距离尽可能大,同时各类内部样本间距离尽可能小。下式就是Fisher准则函数：式中分子代表类间距离；分子代表类内离散度。分类器的设计进程就是通过已知样本求得w和w0使JF(w)取得最大值感知准则函数法设有一组样本y1,y2,・・・，yn,其中yn是规范化增广样本向量，咱们的目的是找一个解向量a*，使得显然，对于线性可分情形，问题才有解：为此这里第一考虑处置线性可分问题的算法。此刻先构造如此一个准则函数式中求和是对所有被权向量a错分的样本进行的。当y被错分时就有-aTy>0,因此，上式中的，JP(a)老是大于等于0。当且仅当错分集为空集时.JP(a)=minJP(a)=0,这时将不存在错分样本，"就是咱们要寻觅的解向量"。这一准则函数是20世纪50年代由Rosenblatt提出来，试图用于脑模型感知器上的，故一般称为感知准则函数。近邻法最初的近邻法是由Cover和Hart于1968年提出的。由于对该方式在理论上进行了深切分析，直至此刻仍是模式识别非参数法中最重要的方式之一。最简单的近邻决策规则是最近邻决策规则。所谓最近邻决策，是寻觅与待分类样本最近的已知样本，以为待分类样本与后者同属一类。最近邻法的一个显然的推行是k近邻法。从字义上看，那个方式就是取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。近邻法的一个缺点是计算量大。解决的途径之一是采用快速算法，称之为快速搜索近邻法。其大体考虑是将样本分级分成一些不相交的子集，并在子集的基础上进行搜索。该算法对最近邻法和近邻法都适用。(2)非监督的模式识别方式在很多实际应用中由于缺少形成模式类进程的知识.或由于实际工作中的困难（例如卫星遥感照片上各像元的分类问题），咱们往往只能用没有类别标签的样本集进行工作。这就是通常所说的非监督学习方式。一般来讲非监督学习方式能够分成两大类，即基于概率密度函数估量的直接方式和基于样本间相似性气宇的间接聚类方式。不论是哪一种方式，在把样本集划分为若干个子集（类别）后，咱们或直接用它解决分类问题.或把它作为训练样本集进行分类器设计。单峰子集（类）的分离方式：在没有任何类条件概率散布的先验知识情形下，咱们只能把特征空间划分为若干个区域Si,i=l,2,…，c,在每一个区域中的混合密度应该是单峰的，如图6-3所示。咱们把这些区域叫作单峰区域。假定每一个单峰区域Si和一个类别曲相对应。有各类算法来实现这些单峰区域的划分。在应用中,单峰子集（类）的分离方式,需要估量概率密度函数。为了避免估量概率密度函数的困难,咱们能够在必然条件下,依照样本间的相似性把集合划分成若干个子集,划分的结果应使某种表示聚类质量的准则函数为最大。当用距离来表示两个样本间的相似度时,如此做的结果就把特征空间划分成若干个区域,每一个区域相当于一个类别。一些常常利用的距离气宇都能够作为这种相似件气宇,在工程中,之所以常常常利用距离来表示样本间的相似度,是因为从经验上看,凡是同一类的样本,其特征向量应该是彼此靠近的,而不同类的样本其特征向量之间的距离要大得多。这种方式虽然看起来似乎和上述的基于混合概率密度函数估量的聚类分离方式没有联系,可是由于概率密度的估量也是在样本间距离的基础上进行的,距离很近的两个特征向量常常是属于同一单峰子集。所以两种方式在概念上仍然是彼此关联的。常常利用的对数据集进行聚类的方式有两种，迭代的动态聚类算法和非迭代的分级聚类算法。动态聚类方式是一种普遍采用的方式，它具有以下3个要点：选定某种距离气宇作为样本间的相似性气宇；肯定某个评价聚类结果质量的准则函数；约定某个