判别函数性判别函数线性判别函数的

1、 2-1、判别函数 2-2、线性判别函数 2-3、线性判别函数的性质 2-4、广义线性判别函数 2-5、非线性判别函数第二章 判别函数v假设对一模式x已抽取n个特征，表示为：v模式识别问题就是根据模式x x的n n个特征来判别模式属于1 ,2 , , m 类中的那一类。 2-1 判别函数 维空间的一个向量是n),.,(321xxxxxxtnv例如下图：三类的分类问题，它们的边界线就是一个判别函数123边界2x1x2.1 判别函数（续）v判别函数包含两类：v一类 是线性判别函数：线性判别函数广义线性判别函数 （所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数）分段线性判

2、别函数v另一类是非线性判别函数2.1 判别函数（续） 2-2 线性判别函数v我们现在对两类问题和多类问题分别进行讨论。v(一)两类问题 即: v v1. 二维情况 ：取两个特征向量v 这种情况下 判别函数:2,),(21mti2,)(2,1nxxxt32211wxwxw)x(g为坐标向量为参数，21, xxwv在两类别情况，判别函数 g (x) 具有以下性质：v这是二维情况下判别由判别边界分类.v情况如图：1. 二维情况21, 0, 0)(xxxgi不定xxg,0)(32211)(wxwxwxg211x2x2. n维情况v现抽取n个特征为：v判别函数： v另外一种表示方法：tnxxxxx),.

3、,(32112211.)(nnnwxwxwxwxg10nwxw为增值模式向量。，为增值权向量，tnntnnxxxxxwwwww) 1,.,(),.,(21121xwxgt)(为模式向量。为权向量，tntnxxxxwwww),.,(),.,(21210v模式分类：v当 g1(x) =wtx=0 为判别边界 。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n3时，则判别边界为一超平面。21,0,0)(xxxwxgt2. n维情况(二) 多类问题。其它mixxwxgitii,.,2 , 1, 0, 0)(v对于多类问题，模式有 1 ,2 , , m 个类别。可分三种情况：1。

4、第一种情况：每一模式类与其它模式类间可用单第一种情况：每一模式类与其它模式类间可用单个判别平面把一个类分开。个判别平面把一个类分开。这种情况，m类可有m个判别函数，且具有以下性质：权向量。个判别函数的为第式中iwwwwwtininiii) ,.,(121v右图所示，每一类别可用单个判别边界与其它类别相分开 。v如果一模式x属于1，则由图可清楚看出:这时g1(x) 0而g2(x) 0 ， g3(x) 0 ， g2(x) 0 ， g3(x) 0 。则此模式x就无法作出确切的判决。如图中 ir1,ir3，ir4区域。v另一种情况是ir2区域，判别函数都为负值。ir1，ir2，ir3，ir4。都为不确

5、 定区域。1 1。第一种情况（续）第一种情况（续）30)(0)(0)(321xgxgxg12000321)x(g)x(g)x(g0)(0)(0)(321xgxgxg 4ir3ir1ir2ir1x2x0)(1xg0)(2xg0)(3xg551v问当x=(x1,x2)t=(6,5)t时属于那一类v结论： g1(x) 0 ， g3(x) g2(x) 和 g1(x) g3(x) 。v假设判别函数为：v则判别边界为：23212211)(1)()(xxgxxxgxxxg012)()(02)()(012)()(21322131121xxxgxgxxxgxgxxgxg2)()(21xgxg)()(32xgxg

6、)()(31xgxg133。第三种情况（续）v结论：不确定区间没有了，所以这种是最好情况。v用上列方程组作图如下：3。第三种情况（续）1)()()()(3121xgxgxgxg2)()()()(3212xgxgxgxg)()()()(1323xgxgxgxg30)()(32xgxg0)()(21xgxg0)()(31xgxg0.15.05.0v问假设未知模式x= (x1,x2)t= (1,1)t ，则x属于那一类。v把它代入判别函数：v得判别函数为：v因为v所以模式x= (1,1)t属于 类。3。第三种情况（续）2)()(),()(1232xgxgxgxg1)(, 1)(, 0)(321xgx

7、gxg).(),(),(321xgxgxg1)()()()(3121xgxgxgxg2)()()()(3212xgxgxgxg)()()()(1323xgxgxgxg30)()(32xgxg0)()(21xgxg0)()(31xgxg0.15.05 . 02-3、线性判别函数的性质v1、模式空间与加权空间v模式空间：由 构成的n维欧氏空间。vw是此空间的加权向量，它决定模式的分界面h，w与h正交。v加权空间：以 为变量构成的欧氏空间v模式空间与加权空间的几何表示如下图：xwxgti)(tnxxxxx),.,(321121,.,nwww模式空间 2x1x121x3x4x0)(xg边界2xhw模式

8、空间加权空间判别界面1、模式空间与加权空间（续）v该式表示一个通过加权空间原点的平面，此平面就是加权空间图中的平面,同样令g (x2) =g (x3) =g (x4)=0，分别作出通过加权空间原点的平面图中用阴影表示的部分是各平面的正侧。v加权空间的构造：v设 是加权空间分界面上的一点，代入上式得：这是加权空间的边界, 0)(31221111wxwxwxg1、模式空间与加权空间txxx),(1211123422411332231100wxwxwwxwxw13222211312211100wxwxwwxwxw243121,xxxx设：最终形成图多面锥210)(xxxg32211)(wxwxwxg

9、v这是一个不等式方程组，它的解 处于由1类所有模式决定的平面的正边和由2类所有模式决定的平面的负边，它的解区即为凸多面锥。v如图所示：(b)为加权空间，（c）为正规化后的加权空间。v由上可以得到结论：加权空间的所有分界面都通过坐标原点。这是加权空间的性质。v为了更清楚，下面用二维权空间来表示解向量和解区。1、模式空间与加权空间（续）twwww),(321v在三维空间里，令w3 = 0 则为二维权空间。如图：v给定一个模式x，就决定一条直线：v即分界面h，w与h正交，w称为解向量。v解向量的变动范围称为解区。v因x1,x21， x3,x42由图可见x1,x3离的最近，所以分界面h可以是x1,x3

10、之间的任一直线，由垂直于这些直线的w就构成解区，解区为一扇形平面，即阴影区域。v如右图:2、解向量和解区0)(xwxgt1w2w1x4x3x2x解区w解向量分界面h解向量与解区v把不等式方程正规化：v正规化：00003422411332231132222113122111wxwxwwxwxwwxwxwwxwxw) ,.,(0)(121nntiwwwwwxwxg2、解向量的解区（续）1w2w1x4x3x2x解区解向量分界面h3x4x正规化vg(x)=wtx=0决定一个决策界面，当g(x)为线性时，这个决策界面便是一个超平面h，并有以下性质：v性质：w与h正交（如图所示）v假设x1,x2是h上的两

11、个向量v所以 vw 与(x1-x2) 垂直，即w与h正交。v一般说，超平面h把特征空间分成两个半空间。即1,2空间，当x在1空间时g(x)0,w指向1，为h的正侧，反之为h的负侧.上矢量一定在hxxxxwwxwwxwtntnt)( , 0)(0212112113、超平面的几何性质1x2x1x2xwh12g(x)0g(x)03、超平面的几何性质v 矢量到h的正交投影 与 值成正比v其中： x p： x在h 的投影向量，vr是x 到h 的垂直距离。v 是w方向的单位向量。3、超平面的几何性质（续）w)x(grv性质 ：wwrxrxxpp)(xgxrwwq2x1xpxwxhprv另一方面:11)()

12、(nptntwrxwwxwxg1ntptwrwxw)(,)()()(021wwwrwxgrwrwwwrwwrwrwxgwxwhpttttnpt是投影的绝对值上。在因为3、超平面的几何性质（续）v这是超平面的第二个性质，矢量x到超平面的正交投影 正比与g(x)的函数值。rwwqqrhxxqwwwxgrxwwxwxgnnnnt11110)()0()(的投影为到时因因原点因为成正比的距离与原点到11nnwh,wwqv性质：3、超平面的几何性质（续）q2x1x0hv性质：通过原点。，说明超平面则若在原点负侧。则在原点正侧，若则若hxwxgwhwhwtnnn)(, 0, 0, 0111否则，反之。的正侧

13、，在代数距离。到正比于来决定。的位置由超平面决定正交，方向由的平面与）超平面（结论：, 0)()()()(1xghxhxxgcwhbwwhan3、超平面的几何性质（续）v一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为n的样本集，线性可分的概率多大呢？v（如下图（a），线性不可分）v例：4个样本有几种分法。v图（b）直线把x1分开，每条直线可把4个样本分成1 2 类，4个样本分成二类的总的可能的分法为24=16类，其中有二种是不能用线性分类实现的线性可分的是14。即概率为14/16。4。二分法能力（a）x1x2x3x4 （b）v结论：n个样品线性可分数目(条件：样本

14、分布良好）：4。二分法能力（续）为特征数为样本数其中nnknknckn,)!1( !)!1(1nkknnnncnnnnd011,21,2),(若若v对n和n各种组合的d(n,n)值，表示在下表中，从表中可看出，当n，n缓慢增加时d(n,n)却增加很快。12345612222222444444368888848141616161651022303232324。二分法能力（续）n),(nndnnkknnnnncnnnndnnp0111,21, 12),(),(若若v线性可分概率：),(nnp0 .15 .00543211n5n15nn1nn强。说明样本少时二分能力范围，即在。时，线性可分概率为时，

15、即值，对于任意。处出现明显的门限效应时，曲线急剧下降，在由当, 1),(),1(22: )(21),() 1(22: )(21: )(nnpnncnnpnnnbnav把上式用曲线表示成下图：图中横坐标用=n/n+1表示。v由图讨论：4。二分法能力（续）.2),1(2: )(,),1(22: )(0是最好情况即二分能力）的估计：个样本的线性可分性（对多线性可分能力越差。说明样品越线性可分概率急剧下降范围，即在nnnennd),(nnp0 . 15 .00543211n5n15nn1nnv结论：在实际工作中，分类的训练非常重要，由已知样本来训练。因为已知样本有限，而未知样本无限。选择已知类别的训练

16、样本数方法如下：4。二分法能力（续）v：如果训练样本n n0，设计分类器的分类能力太差，因为训练样本太少。v：如果训练样本n太多时，则样本太多，运算量、存储量太大。v：因此实际工作中应该取：n)1)(2010(),2010(nn训练样品4。二分法能力（续）2-4、广义线性判别函数kixfwwxfwxfwxfwxgkiiikkk,.,2 , 1, )()(.)()()(1112211v这样一个非线性判别函数通过映射，变换成线性判别函数。1)(,)(1xfxfki是单值函数式中v判别函数的一般形式：2111,0,0)()()(xxygywxfwxgtyxkiii空间变换空间0ywt判别平面：)(

17、,)(.)()()( ,., 0, 0)()()(21212111增广模式向量。广义权向量其中：空间变换空间xfxfxfywwwwxxygywxfwxgkktyxkiii2-4、广义线性判别函数（续）21,xaxbxbxorax则则v例：如右图。0bax二次判别函数2122321212123211,0,0)()(,0,0)(xxyaaawxxygywxgxxxaxaaxgt映射：2-4、广义线性判别函数（续）v要用二次判别函数才可把二类分开：)1 , 1, 1()25.0 ,5 .0 , 1(),0 ,0 , 1(321yyy05 .011y3y2yw平面oywt212x015 . 012)(

18、1,2112, 1, 12123212321321ywyxxxxxgyyyxxyaaawaaaxt空间判别平面：即：空间它的判别边界：设讨论在推出2-4、广义线性判别函数（续）v从图可以看出：在阴影上面是1类，在阴影下面是2类，v结论：在x空间的非线性判别函数通过变换到y空间成为线性的，但x变为高维空间05.011y3y2yw平面oywt212xv1.分段线性判别函数分段线性判别函数（用线性无法分开,可用分段线性判别函数） 、基于距离的分段线性判别函数基于距离的分段线性判别函数。（用均值代表一类，通过均值连线中点的垂直线分开） 把i类可以分成li个子类: 分成l个子类。现在定义子类判别函数：在

19、同类的子类中找最近的均值。判别规则：这是在m类中找最近均值。则把x归于j类完成分类。),.,(21liiii2-5、非线性判别函数 2 :线性判别 ：分段线性判别 ：二次判别 11lillixxg,.,2,1min)(mixgxgij,.,2 , 1),(min)(2-5、非线性判别函数（续）v例：未知x,如图：v先与1类各子类的均值比较，即 ，找一个最近的 与2各子类均值比较取最近的 因g2(x) g1(x) ，所以x2类 。 211)( xxglx1322)( xxg22123221111112322221xv设 1, 2 ,mv而每一类又可以分为 子类。v对每个子类定义一个线性判别函数为

20、：v则定义i类的线性判别函数为：、基于函数的分段线性判别函数 利用均值代表一类有时有局限性，如图所示。若用 线性判别函数代表一类，就会克服上述情况。121x2xx1、分段线性判别函数),.,(21liiii子类的权向量。为其中lilililiwxwxg,)()(max)(,.,2, 1xgxglilliv在各子类中找最大的判别函数作为此类的代表，则对于m类，可定义m个判别函数gi(x),i=1,2,.m,因此，决策规则：v对未知模式x，把x先代入每类的各子类的判别函数中，找出一个最大的子类判别函数，m类有m个最大子类判别函数，在m个子类最大判别函数中，再找一个最大的，则x就属于最大的子类判别函

21、数所属的那一类。jimijxxgxg则),(max)(,.,2, 11、分段线性判别函数（续）、基于凹函数的并分段线性判别函数（针对多峰情况） 设li子类判别函数，i=1,2,.r则分段线性判别函数有如下特性：1、分段线性判别函数（续）v(a)：l1,l2,lr都是分段线性判别函数v(b)：若a,b都是分段线性判别函数，则： ab ，ab也是分段线性判别函数。 ab取最小 ，ab取最大。v(c)：对任何分段线性函数都可以表示成如下二种形式：v1)、析取范式(这是经常采用的形式)p=(l11l12l1m)(lq1lq2lqm)v2)、合取范式q= (l11 l12 l1m) (lq1 lq2 lqm)v每个(l11 l12 l1m) 都称为凹函数。每个子类的判别函数数子类。mjxqixxwlijij,.,2 , 1, 0,.,2 , 1, 0211、分段线性判别函数（续）v对于多峰二类问题：设第一类有q个峰，则有q个凹函数。v即p=p1p2pqv每个凹函数pi由m 个线性判别函数来构成。vpi=li1li2limv假设对于每个子类线性判别函数lij都设计成：21, 0, 0 xpxp则则判别规则：v例、设如图个分段判别函数有判别