模式识别第4章线性判别函数

1、第四章 线性判别函数模式识别 Pattern Recognition第四章 线性判别函数67 4.2 Fisher线性判别34.3 感知器准则4.5 多类问题4.6 分段线性判别函数 5 4.1 引言144.4 最小平方误差准则4.7 讨论234.1 引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数MAXg1.g2gc.x1x2xna(x)最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。 训练样本集样本分布的统计特征：概率密度函数决策规则：判别函数决策面方程分类

2、器功能结构4直接确定判别函数基于样本的直接确定判别函数方法：设定判别函数形式，用样本集确定参数。使用准则函数，表达分类器应满足的要求。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。 实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w?引言训练样本集决策规则：判别函数决策面方程选择最佳准则5线性判别函数d维空间中的线性判别函数的一般形式： 式中，x是样本向量，即样本在d维特征空间中的描述， w是权向量，w0是一个常数(阈值权)。引言6两类问题的分类决策规则引言7线性判别函数的几何意义决策面(decision bo

3、undary)H方程：g(x)=0向量w是决策面H的法向量g(x)是点x到决策面H的距离的一种代数度量引言x1x2wxxprH: g=0R1: g0R2: g0 对样本y错误分类，则有：aTy0, i=1,N线性分类器设计求一组N个线性不等式的解样本集增广矩阵Y及一组N个线性不等式的的矩阵表示：引入余量(目标向量) b=b1, b2, , bNT， bi任意给定正常数， aTyi = bi 0N个线性方程的的矩阵表示：33平方误差准则函数定义误差向量 e=Ya-b：定义平方误差准则函数Js(a):MSE准则最小二乘近似解（MSE解）：MSE方法的思想：对每个样本，设定一个“理想”的判别函数输出

4、值，以最小平方误差为准则求最优权向量34MSE准则函数的伪逆解MSE准则Y的伪逆矩阵35MSE方法与Fisher方法的关系与Fisher方法的关系：当MSE准则N1个N2个MSE解等价于Fisher解36MSE方法与Bayes方法的关系MSE准则当N，b=uN= 1,1, , 1T 时，则它以最小均方误差逼近Bayes判别函数：37MSE方法的迭代解a*=Y+b, Y+=(YTY)-1YT，计算量大实际中常用梯度下降法：MSE准则批量样本修正法单样本修正法384.5 多类问题两类别问题可以推广到多类别问题i/i 法：将C类别问题化为(C-1)个两类（第i类与所有非i类）问题，按两类问题确定其判

5、别函数与决策面方程 i/j 法：将C类中的每两类别单独设计其线性判别函数，因此总共有C(C-1)/2个线性判别函数 R1R3R21非12非2R1R3R212133240多类线性判别函数将特征空间确实划分为c个决策域，共有c个判别函数多类问题决策规则：决策域的边界由相邻决策域的判别函数共同决定，此时应有gi(x)=gj(x) 线性分类器的决策面是凸的，决策区域是单连通的多类分类器的分界面是分段线性的41多类线性决策面图例R1R3R2g1g2g1g3g3g1g3g2g2g3g2g1R1R3R2R5R4多类问题434.6 讨论基于样本的直接确定判别函数方法主要包含两个步骤：确定使用的判别函数类型或决策面方程类型，如线性分类器，分段线性分类器等；在选定函数类型的条件下，确定相应的参数，从而完成整个分类器的设计。线性判别函数计算简单，在一定条件下能实现最优分类，经常是一种“有限合理”的选择。习题已知：1: x1, x2=(1 0 1)T, (0 1 1)T，2: x3, x4=(1 1