分类器设计-第五章.ppt

1、第五章 分类器设计,本章主要内容,分类器设计准则 分类器设计基本方法 判别函数 训练与学习,分类器设计准则,分类问题是根据待识别对象所呈现的观察值，将其分到某个类别中去。具体步骤是： 1.建立特征空间中的训练集，已知训练集里某个点所属类别。 2.从这些条件出发寻求某种判别函数或判别准则，设计判别函数模型。 3.根据训练集中的样品确定模型中的参数，得到完善的判别函数模型 4.利用完善的判别函数或判别准则去判别每个未知类别的点应该属于哪类,分类器设计准则,在统计模式识别中，讨论的主要问题不是决策正误，而是决策正误的概率问题。模式识别所强调的“最佳”“最优”，这种最优是针对某一设计原则讲的，这种原则

2、成为准则。 这种准则包括： 最小错误率准则：以减少分类错误为原则 最小风险准则：引入风险损失概念，赋予不同权值，使总的风险最小 近邻准则：依据同类物体在空间中具有聚类特性的原理进行区分。 Fisher准则：寻求最好的直线方向以及如何实现向最好方向投影的变换 感知准则：感知准则函数使错分类样品到分界面距离之和最小为原则。,分类器设计基本方法,1.模板匹配法 通常采用最近邻原则，最简单的一种分类方法，缺点是计算量大、存储量大。 2.判别函数法 （1）基于概率统计的分类法 往往取决于前期统计分布的相关知识，最经典的BAYES分类器，利用先验概率和类条件概率密度函数，计算出后验概率，以此设计出判别函数

3、与判决面。 （2）几何分类法 不依赖于条件概率密度的知识，通过几何的方法把特征空间分解为对应于不同类别的子空间。,模式识别的基本问题,一.模式(样本)表示方法 向量表示 : 假设一个样本有n个变量(特征) = (X1,X2,Xn)T 2. 矩阵表示: N个样本，每一个样本n个变量(特征),几何表示 一维表示 X1=1.5 X2=3 二维表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三维表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T,分类的过程,判别函数,假设对一模式X已抽取n个特征，表示为： 模式识

4、别问题就是根据模式X的n个特征来判别模式属于1 ,2 , , m 类中的那一类。,例如下图：三类的分类问题，它们的边界线就是一个判别函数,判别函数,判别函数包含两类： 一类 是线性判别函数： 线性判别函数 广义线性判别函数 （所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数） 分段线性判别函数 另一类是非线性判别函数,判别函数,线性判别函数,我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即: 1. 二维情况 ：取两个特征向量 这种情况下 判别函数:,在两类别情况，判别函数 g (x) 具有以下性质： 这是二维情况下判别由判别边界分类. 情况如图：,1.

5、二维情况,2. n维情况,现抽取n个特征为： 判别函数： 另外一种表示方法：,模式分类： 当 g1(x) =WTX=0 为判别边界 。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n3时，则判别边界为一超平面。,2. n维情况模式分类,(二) 多类问题,对于多类问题，模式有 1 ,2 , , m 个类别。可分三种情况： 1.第一种情况：每一模式类与其它模式类间可用单个判别平面把一个类分开。这种情况，M类可有M个判别函数，且具有以下性质：,下图所示，每一类别可用单个判别边界与其它类别相分开 。 如果一模式X属于1，则由图可清楚看出:这时g1(x) 0而g2(x) 0 ，

6、g3(x) 0 。 1 类与其它类之间的边界由 g1(x)=0确定.,1.第一种情况(续)：,作图如下：,1.第一种情况(续)：,这样 有 M(M _ 1)/2个判别平面。 对于两类问题，M=2，则有一个判别平面。 同理，三类问题则有三个判别平面。,判别函数： 判别边界： 判别条件：,2. 第二种情况：,每个模式类和其它模式类间可分别用判别平面分开。,3.第三种情况,判别函数： 判别规则： 判别边界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。 类与 类之间的边界可由 gi(x)

7、=gj(x) 或gi(x) -gj(x) =0来确定。,每类都有一个判别函数,存在M个判别函数,线性判别函数的性质,1、模式空间与加权空间 模式空间：由 构成的n维欧氏空间。 W是此空间的加权向量，它决定模式的分界面H，W与H正交。 加权空间：以 为变量构成的欧氏空间 模式空间与加权空间的几何表示如下图：,广义线性判别函数,这样一个非线性判别函数通过映射，变换成线性判别函数。,判别函数的一般形式：,广义线性判别函数（续）,广义线性判别函数（续）,要用二次判别函数才可把二类分开：,若设计分类器，一是选定所用的判别函数类型，二是确定方程的两个参数（权向量及阈值）。 分类器设计任务是在给定的训练样本条件下，确定线性判别函数的各项系数，在进行未知样本分类中，能满足相应的准则函数为最优的要求。可总结为以下几步： 1.确定使用的判别函数或决策面方程类型。 2.按需要确定一准则函数。 3.确定准则函数达到极值时 具体数值。,分类器设计中的参数选择,训练与学习是指从训练样品提供的数据中找出某种数学式的最优解，这个最优解使分类器得到一组参数，按