模式识别第4章课件

1、第4章 Fisher线性判别4.1 判别域界面方程分类的概念4.2 线性判别函数4.3 判别函数值的鉴别意义、权空间及解空间4.4 Fisher线性判别4.1 判别域界面方程分类的概念1.分类的基本原理 不同模式对应特征点在不同的区域中散布。运用已知类别的训练样本进行学习，产生若干个代数界面 ，将特征空间划分成一些互不重叠的子区域。2.判别函数 表示界面的函数 称为判别函数。两类的分类问题，它们的边界线就是一个判别函数4.2 线性判别函数 在n维特征空间中，特征矢量 ，线性判别函数的一般形式是： 其中称为权矢量或系数矢量。简化为：和分别称为增广特征矢量和增广权矢量。4.3 判别函数数值的鉴别意

2、义、权空间及解空间4.3.1 判别函数值的大小，正负的数学意义n维特征空间 中，两类问题的线性判别界面方程为：此方程表示一超平面 。2x1xo+-0)(=xdrnrprpxrr-点面距离及界面的正负侧示意图4.3.2 权空间、解矢量与解空间权空间： 增广特征矢量与增广权矢量是对称的，判别函数可以写成：这里 则应视为相应的 的“权”。 指向平面 的正侧，即该半空间中的任一点 都使 背向的半子空间中任一点 都有 。解矢量： 对于两类问题，在对待分类模式进行分类之前，应根据已知类别的增广训练模式 确定线性判别函数：当训练模式 时有当训练模式 时有 这时的 称为解矢量，记为解矢量：对于一个训练模式 ，

3、界面通过增广权空间原点且将其分成两个子空间，界面的法矢量 指向正半子空间，所谓正半子空间是指该子空间中任一点 都使 。显然，解矢量 必在正半子空间中。 N个训练模式将确定N个界面，每个界面都把权空间分为两个半空间，N个正的半空间的交空间是以权空间原点为顶点的凸多面锥。易知，满足上面各不等式的 必在该锥体中，即锥中每一点都是上面不等式组的解，解矢量不是唯一的，上述的凸多面锥包含了解的全体，称其为解空间。解空间：解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0 ，w1。w0w1 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2

4、 求将w1和w2区分开的w0 ，w1。w0w1解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0 ，w1。w0w1解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0 ，w1。w0w1解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0 ，w1。w0w1解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0 ，w1。w0w1解空间4.4 Fisher线性判别思维：多维 Fisher变换 利于分类的

5、一维方法：求权矢量 求满足上述目标的投影轴的方向 和在一维空间中确定判别规则。18二维模式向一维空间投影示意图uroxy19二维模式向一维空间投影示意图uroxy20二维模式向一维空间投影示意图oxyoxy求Fisherer准则函数设给定n维训练模式 ，其中有 和个模式分属 类和 类，分别记为和 ，各类模式均值矢量为各类类内离散度矩阵 和总类内离散度矩阵 分别为：类间离散度矩阵为：对 的分量做线性组合可得到标量：变换后在一维y空间中各类模式的均值为：样本类内离散度 和总类内离散度 为：类间离散度为：希望经投影后，类内离差度 越小越好，类间离差度越大越好，根据这个目标作准则函数：并使其最大，上式称为Fisher准则函数。Fisher方法实现步骤：（1）把来自两类 的训练样本集 分成与 对应 的子集和对应的子集和与对应