模式识别中的模式判别

1、第二章 模式判别 模式判别的基本任务：判断一个未知模式判别的基本任务：判断一个未知类别的样本属于哪一个待选类别。类别的样本属于哪一个待选类别。 模式判别的基本思路：模式判别的基本思路：对待选的对待选的c个类别有个基本的了解个类别有个基本的了解给出每个类别的代表样本，也就是训练给出每个类别的代表样本，也就是训练样本，这些样本分别代表的待选类别的样本，这些样本分别代表的待选类别的典型特征典型特征选择选择n个合适的特征对提供的训练样本进个合适的特征对提供的训练样本进行描述行描述将特征进行量化描述，则每个训练样本将特征进行量化描述，则每个训练样本就可以用特征空间中的一个点来表示。就可以用特征空间中的一

2、个点来表示。 模式判别的基本思路（续）：模式判别的基本思路（续）：所有的训练样本都表示为特征空间中的所有的训练样本都表示为特征空间中的点的形式点的形式1232x1x 模式判别的基本思路（续）：模式判别的基本思路（续）：对于空间中的训练样本，希望能够找到对于空间中的训练样本，希望能够找到合适的分界面将各个类别所在的空间分合适的分界面将各个类别所在的空间分割开来割开来1232x1x 模式判别的基本思路（续）：模式判别的基本思路（续）：获得合适的分界面后，分界面将整个空获得合适的分界面后，分界面将整个空间分割成若干个区域，这样空间中每个间分割成若干个区域，这样空间中每个区域分别属于一个类别区域分别属

3、于一个类别当出现未知类别样本时，也将其特征量当出现未知类别样本时，也将其特征量化，表示成空间中的点化，表示成空间中的点根据点落在空间中的具体区域，来判别根据点落在空间中的具体区域，来判别该未知类别样本属于哪一类别。该未知类别样本属于哪一类别。这样判别未知类别样本该属于哪一类的这样判别未知类别样本该属于哪一类的工作就转换为获取合适的分界面的问题工作就转换为获取合适的分界面的问题1232x1x维空间的一个向量是n),.,(321XxxxxXTn决策函数决策函数 假设对一模式假设对一模式X已抽取已抽取n个特征，表示为：个特征，表示为： 模式识别问题就是根据模式模式识别问题就是根据模式X的的n个特征来

4、个特征来判别模式属于判别模式属于1 ,2 , , m 类中的那一类中的那一类。类。/表示类别的符号是表示类别的符号是，不是，不是w123边界2x1x决策函数决策函数(续续) 例如下图：三类的分类问题，它们的例如下图：三类的分类问题，它们的边界线就是一个决策函数边界线就是一个决策函数决策函数决策函数(续续) 决策函数包含两类决策函数包含两类线性决策函数线性决策函数 线性决策函数线性决策函数 广义线性决策函数广义线性决策函数 分段线性决策函数分段线性决策函数非线性决策函数非线性决策函数线性线性决策决策函数函数 两类问题两类问题 即即 两个特征，组成二维特征向量两个特征，组成二维特征向量 这种情况下

5、线性决策函数可表示为这种情况下线性决策函数可表示为: 直线的参数用直线的参数用WT=(w1,w2)表示，表示，注意是注意是w不是不是/课本课本P.21有印刷错误有印刷错误12(,),2C ,() ,T12Xx xn2X此时 代表一个样本1 12 23( )g Xwxw xwl两类别情况，要求决策函数两类别情况，要求决策函数 g (X) 具有以下性质：具有以下性质：l二维情况下判别由判别边界分类二维情况下判别由判别边界分类. .120,()0,iXgXX()0,g XX不 定1 1223()g Xw xw xw211x2x 推广至两类、推广至两类、n个特征个特征 决策函数决策函数 TnxxxxX

6、),.,(3211 12211212n1nT1().nnnnng Xw xw xw xwxxwwwwxwW X1212(,.,)( ,.,)TnTnWw wwXx xx向向量量特特征征向向量量为权为*121*12(,.,)( ,.,1)TnnTnWw ww wXx xx增广权向量， 增广特征向量 另外一种表示方法另外一种表示方法1 12211212n1n*T*().,1nnnng Xw xw xw xwxxwwwwxWXl两类问题分类两类问题分类l当当 g(X) =W*TX*=0 为决策边界为决策边界 。l当当n=2时，二维情况的决策边界为一直线。时，二维情况的决策边界为一直线。l当当n=3时

7、，决策边界为一平面时，决策边界为一平面l当当n3时，决策边界为一超平面。时，决策边界为一超平面。1*20 ,()0 ,TXgXWXX 求取合适的决策函数的基本原理求取合适的决策函数的基本原理对于用对于用g(X)表示的分界面表示的分界面 当点落在分界面上时当点落在分界面上时g(X)=0； 当点落在分界面正侧时，当点落在分界面正侧时， g(X)0； 当点落在分界面负侧时，当点落在分界面负侧时， g(X)0 另一类训练样本落在另一类训练样本落在g(X)表示的分界面的另一侧；表示的分界面的另一侧；即对该类所有的训练样本即对该类所有的训练样本Y, g(Y)0,i=1k 它对于代表另外一类的训练样本集它对

8、于代表另外一类的训练样本集Y=Y1,Y2,Ym，有，有g(Yi)0,W指向指向1，为，为H的正侧，反之为的正侧，反之为H的负侧的负侧.1121120()0TTnnTWwWwWXXXX性质一性质一1X2x1x2XWH12g(x)0g(x)0,则决策面则决策面H在原点正侧在原点正侧 若若wn+10，否则，反之，否则，反之2x1xpXWXH( )grWX1nwqW 要想求得决策函数要想求得决策函数g(X),就需要求解权向量就需要求解权向量W*，其实也就是分类器的训练过程，使用，其实也就是分类器的训练过程，使用已知类别的训练样本来获得分类器的权向已知类别的训练样本来获得分类器的权向量被称为有监督的分类

9、量被称为有监督的分类 利用已知类别学习样本来获得权向量的原利用已知类别学习样本来获得权向量的原理：理： 已知已知X1*1, 通过检测调整增广权向量通过检测调整增广权向量W* ，最终使，最终使W*TX1* 0 ； 已知已知X2*2, 通过检测调整增广权向量通过检测调整增广权向量W* ，最终使，最终使W *TX2*0，则，则W*保持不变保持不变 若若Y*2，而，而W*TY*0,对样本对样本Y1Yn,g(Yi)0,则则Z 1 ,若g(Z)0,g2(X) 0,g3(X) 0 ， g2(Z) 0 ， g3(Z) 0 则该则该模式属于模式属于1类。相应类。相应1类的区域由直类的区域由直线线-x2+1=0的

10、正边、直线的正边、直线-x1+x2-5=0 和和直线直线-x1+x2=0的负边来确定。的负边来确定。3121x2x4IR3IR1IR2IR0)(0)(0)(321xgxgxg0)(0)(0)(321xgxgxg0)(0)(0)(321xgxgxg 0)(1xg0)(2xg0)(3xg 问当问当Z1 =(6,5)T, Z2 =(0,8)T时属于那一类时属于那一类 g1(Z1)0,g3(Z1) 0,g2(Z2)0,g3(Z2) 0 无法判无法判别别Z2类别类别11221232()()5()1gXxxgXxxgXx 112131122232()1,()6,()4()8,()3,()7gZgZgZgZ

11、gZgZ 得：成对可分成对可分 有C(C-1)/2个决策面ij0X()0XijgXij当当212()0gX23()0gX13()0gX 3 1212()0gX23()0gX13()0gX 3 1特征空间尺度特征空间尺度 度量两个特征向量度量两个特征向量(即两个样本即两个样本)X,Y之间的之间的距离的度量准则距离的度量准则d(X,Y)具有以下性质才能具有以下性质才能称为尺度称为尺度 d(X,Y)d0 等号仅当等号仅当X=Y时成立时成立 非负性非负性 d(X,Y)=d(Y,X) 对称性对称性 d(X,Y)d(X,Z)+d(Z,Y) 三角不等式三角不等式 若若d(aX,aY)=|a|d(X,Y) a

12、为实数则称为范数为实数则称为范数 p 是控制各维之间差异的权重是控制各维之间差异的权重 r 是控制样本之间逐渐分开时，它们之是控制样本之间逐渐分开时，它们之间距离增长的速度间距离增长的速度rdipiirpMXMX11/)|(1；rp样本之间的距离,离量的加和为两个直接定义每个维度上分1r2,p增长速度更快,随着样本的分离，和欧几里得范数相比，几2pr义方式,是我们最常见的距离定diiicdiiisdiiiemxmXmxmXmxmX1122112|)()(棋盘格范数：欧几里得范数：；里得平方范数：欧)()()()(max111mXmXmXmxmXmxmXTMrdiriimiiiC：马哈拉诺必斯范数闵可夫斯基范数：车比雪夫范数：pr 样本间的距离；那一维的距离来衡量用所有维上分离最大的 欧几里得距离尺度下的等距面欧几里得距离尺度下的等距面到原点的欧几里德距离:(x1-0)2+(x2-0)2)1/2=111-1-1x1 棋盘格距离下的等距面棋盘格距离下