模式识别第4章课件

第四章线性判别函数2010.11第四章线性判别函数2010.111第四章线性判别函数4.1引言4.2Fisher线性判别4.3感知准则函数4.4最小错分样本数准则4.5最小平方误差准则函数4.6随机最小错误率线性判别准则函数4.7多类问题第四章线性判别函数4.1引言引言设计贝叶斯分类器的方法：即已知先验概率P(i)和类条件概率密度p(x/i)的情况下，按一定的决策规则确定判别函数和决策面。类条件概率密度的形式常常难以确定，利用非参数估计分布需要大量样本，且所需样本数随维数升高急剧增加。线性判别函数法引言设计贝叶斯分类器的方法：即已知先验概率P(i)和类条件线性判别函数我们现在对两类问题和多类问题分别进行讨论。(一)两类问题即:

1.二维情况：取两个特征向量这种情况下判别函数:线性判别函数在两类别情况，判别函数g

(x)

具有以下性质：这是二维情况下判别由判别边界分类.情况如图：1.二维情况在两类别情况，判别函数g(x)具有以下性质：1.二2.n维情况现抽取n个特征为：判别函数：

另外一种表示方法：2.n维情况现抽取n个特征为：模式分类：当g1(x)=WTX=0为判别边界。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n>3时，则判别边界为一超平面。2.n维情况模式分类：2.n维情况(二)

多类问题对于多类问题，模式有ω1,ω2,

…,

ωc个类别。可分三种情况：1。第一种情况：每一模式类与其它模式类间可用单个判别平面把一个类分开。这种情况，M类可有M个判别函数，且具有以下性质：(二)多类问题对于多类问题，模式有ω1,ω2,…每一类别可用单个判别边界与其它类别相分开。如果一模式X属于ω1，则由图可清楚看出:这时g1(x)>0而g2(x)<0，g3(x)<0。ω1类与其它类之间的边界由g1(x)=0确定.1。第一种情况每一类别可用单个判别边界与其它类别相分开。1。第一种情况例：已知三类ω1,ω2,ω3的判别函数分别为：因此三个判别边界为：1。第一种情况（续）例：已知三类ω1,ω2,ω3的判别函数分别为：因此三个判别边作图如下：1。第一种情况（续）作图如下：1。第一种情况（续）对于任一模式X如果它的g1(x)>0，g2(x)<0，g3(x)<0则该模式属于ω1类。相应ω1类的区域由直线-x2+1=0

的正边、直线-x1+x2-5=0和直线-x1+x2=0的负边来确定。1。第一种情况（续）对于任一模式X如果它的g1(x)>0，g2(x)<必须指出，如果某个X使二个以上的判别函数gi(x)>0。则此模式X就无法作出确切的判决。如图中

IR1,IR3，IR4区域。另一种情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都为不确定区域。1。第一种情况（续）必须指出，如果某个X使二个以上的判别函数gi(x)>0问当x=(x1,x2)T=(6,5)T时属于那一类结论：g1(x)<0，g2(x)>0，g3(x)<0所以它属于ω2类1。第一种情况（续）问当x=(x1,x2)T=(6,5)T时属于那一类1。第一种这样有M(M_1)/2个判别平面。对于两类问题，M=2，则有一个判别平面。同理，三类问题则有三个判别平面。

判别函数：判别边界：判别条件：2。第二种情况：每个模式类和其它模式类间可分别用判别平面分开。这样有M(M_1)/2个判别平面。判别函数：判别函数性质：假设判别函数为：判别边界为：2。第二种情况（续）用方程式作图：判别函数性质：判别边界为：2。第二种情况（续）用方程式作图：问:未知模式X=(x1,x2)T=(4,3)T属于那一类代入判别函数可得:把下标对换可得:因为结论：所以X属于ω3类结论：判别区间增大，不确定区间减小，比第一种情况小的多.2。第二种情况（续）问:未知模式X=(x1,x2)T=(4,3)T属于那一类代入3。第三种情况判别函数：

判别规则：判别边界：gi(x)=gj(x)

或gi(x)-gj(x)=0就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。类与类之间的边界可由gi(x)=gj(x)

或gi(x)-gj(x)=0来确定。每类都有一个判别函数,存在M个判别函数3。第三种情况判别函数：每类都有一个判别函数,存在M个判别函右图所示是M=3的例子。对于ω1类模式，必然满足g1(x)>g2(x)

和g1(x)>g3(x)

。假设判别函数为：则判别边界为：3。第三种情况（续）右图所示是M=3的例子。对于ω1类模式，3。第三种情况（续结论：不确定区间没有了，所以这种是最好情况。用上列方程组作图如下：3。第三种情况（续）结论：不确定区间没有了，所以这种是最好情况。用上列方程组作图问假设未知模式x=(x1,x2)T=(1,1)T

，则x属于那一类。把它代入判别函数：得判别函数为：因为所以模式x=(1,1)T属于类。3。第三种情况（续）问假设未知模式x=(x1,x2)T=(1,1)T，则x广义线性判别函数这样一个非线性判别函数通过映射，变换成线性判别函数。判别函数的一般形式：广义线性判别函数这样一个非线性判别函数通过映射，变换成线性判广义线性判别函数（续）例：如右图。广义线性判别函数（续）例：如右图。广义线性判别函数（续）要用二次判别函数才可把二类分开：ω2ω1ω2广义线性判别函数（续）要用二次判别函数才可把二类分开：ω2ω广义线性判别函数（续）从图可以看出：在阴影上面是ω1类，在阴影下面是ω2类，结论：在X空间的非线性判别函数通过变换到Y空间成为线性的，但X变为高维空间ω2ω1ω2广义线性判别函数（续）从图可以看出：在阴影上面是ω1类，在阴Fisher线性判别出发点应用统计方法解决模式识别问题时，一再碰到的问题之一就是维数问题。在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。因此，降低维数有时就会成为处理实际问题的关键。Fisher线性判别出发点Fisher线性判别问题描述考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，当把它们投影到一条直线上时，也可能会是几类样本混在一起而变得无法识别。但是，在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分得开。Fisher线性判别问题描述Fisher线性判别问题描述问题：如何根据实际情况找到一条最好的、最易于分类的投影线，这就是Fisher判别方法所要解决的基本问题。Fisher线性判别问题描述Fisher线性判别从d维空间到一维空间的一般数学变换方法假设有一集合Г包含N个d维样本x1,x2,…,xN，其中N1个属于ω1类的样本记为子集Г1，N2个属于ω2类的样本记为子集Г2。若对xn的分量做线性组合可得标量：

yn=wTxn,n=1,2,…,N这样便得到N个一维样本yn组成的集合，并可分为两个子集Г1’和Г2’。Fisher线性判别从d维空间到一维空间的一般数学变换方法Fisher线性判别从d维空间到一维空间的一般数学变换方法实际上，w的值是无关紧要的，它仅是yn乘上一个比例因子，重要的是选择w的方向。w的方向不同，将使样本投影后的可分离程度不同，从而直接影响的分类效果。因此，上述寻找最佳投影方向的问题，在数学上就是寻找最好的变换向量w*的问题。Fisher线性判别从d维空间到一维空间的一般数学变换方法Fisher线性判别Fisher线性判别Fisher线性判别我们希望投影后，在一维Y空间中各类样本尽可能分得开些，即希望两类均值之差越大越好，同时希望各类样本内部尽量密集，即希望类内离散度越小越好。Fisher线性判别我们希望投影后，在一维Y空间中各类样本尽Fisher线性判别Fisher线性判别模式识别第4章课件模式识别第4章课件模式识别第4章课件Fisher线性判别基于最佳变换向量w*的投影w*是使Fisher准则函数JF(w)取极大值时的解，也就是d维X空间到一维Y空间的最佳投影方向。有了w*，就可以把d维样本x投影到一维，这实际上是多维空间到一维空间的一种映射，这个一维空间的方向w*相对于Fisher准则函数JF(w)是最好的。利用Fisher准则，就可以将d维分类问题转化为一维分类问题，然后，只要确定一个阈值T，将投影点yn与T相比较，即可进行分类判别。Fisher线性判别基于最佳变换向量w*的投影感知器算法出发点一旦判别函数的形式确定下来，不管它是线性的还是非线性的，剩下的问题就是如何确定它的系数。在模式识别中，系数确定的一个主要方法就是通过对已知样本的训练和学习来得到。感知器算法就是通过训练样本模式的迭代和学习，产生线性（或广义线性）可分的模式判别函数。感知器算法出发点感知器算法基本思想采用感知器算法(PerceptionApproach)能通过对训练模式样本集的“学习”得到判别函数的系数说明这里采用的算法不需要对各类别中模式的统计性质做任何假设，因此称为确定性的方法。感知器算法基本思想感知器算法感知器的训练算法感知器算法实质上是一种赏罚过程对正确分类的模式则“赏”，实际上是“不罚”，即权向量不变。对错误分类的模式则“罚”，使w(k)加上一个正比于Xk的分量。当用全部模式样本训练过一轮以后，只要有一个模式是判别错误的，则需要进行下一轮迭代，即用全部模式样本再训练一次。如此不断反复直到全部模式样本进行训练都能得到正确的分类结果为止。感知器算法感知器的训练算法感知器算法感知器算法的收敛性只要模式类别是线性可分的，就可以在有限的迭代步数里求出权向量。感知器算法感知器算法的收敛性采用感知器算法的多类模式的分类采用多类情况3，将感知器算法推广到多类模式。感知器算法判别函数的推导采用感知器算法的多类模式的分类采用多类情况3，将感知器算法推采用感知器算法的多类模式的分类讨论这里的分类算法都是通过模式样本来确定判别函数的系数，但一个分类器的判断性能最终要受并未用于训练的那些未知样本来检验。要使一个分类器设计完善，必须采用有代表性的训练数据，它能够合理反映模式数据的整体。采用感知器算法的多类模式的分类讨论采用感知器算法的多类模式的分类讨论要获得一个判别性能好的线性分类器，究竟需要多少训练样本？直观上是越多越好，但实际上能收集到的样本数目会受到客观条件的限制；过多的训练样本在训练阶段会使计算机需要