【学习课件】第七章特征提取与选择

1、第七章 特征提取与选择 特征形成特征提取特征选择目的：7.1 概 述编辑ppt直接选择法分支定界法；用回归建模技术确定相关特征等方法。变换法在使判据Jmax的目标下，对n个原始特征进行变换降维，即对原n维特征空间进行坐标变换，然后再取子空间。主要方法有：基于可分性判据的特征选择基于误判概率的特征选择离散K-L变换法(DKLT)基于决策界的特征选择等方法。编辑ppt7 .2 类别可分性判据(Class Separability Measures) 准则类别可分性判据:刻划特征对分类的贡献。 构造的可分性判据Jij应满足下列要求：(1)与误分概率P(e)(或误分概率的上界、下界)有单调关系， Ji

2、j最大值时， P(e)最小。 (2)当特征相互独立时，判据有可加性，即式中xk，是对象不同种类特征的测量值， Jij()表示使用括号中特征时第i类与第j类的可分性判据函数。 编辑ppt(3)判据具有“距离”的某些特性： Jij0，当ij 时 Jij=0，当i=j 时 Jij= Jji(4) Jij 对特征数目单调不减，即加入新的特征后，判据值不减 所构造的可分性判据并不一定要求同时具有上述四个性质。 编辑ppt7.2.1 基于几何距离的可分性判据 可以用距离或离差测度(散度)来构造类别可分性判据 (一)点与点的距离在n维特征空间中，点 与 点之间的欧氏距离为(二)点到点集的距离点 到点集 之间

3、的均方欧氏距离为 编辑ppt(三)类内及总体的均值矢量 设N个模式分属c类,则各类的均值矢量分别为所有各类模式的总体均值矢量为式中Pi为相应类的先验概率。当用统计量代替先验概率时，有 编辑ppt(四)类内距离 类内均方欧氏距离为类内均方距离也可定义为(五)类内离差（散布）矩阵(Scatter) 类内离差矩阵定义为类内离差矩阵SWi的迹等于类内的均方欧氏距离，即类内离差矩阵表示各类模式在类的均值矢量周围的散布情况。 编辑ppt(六)两类之间的距离 当式中的距离取欧氏距离时,有(七)各类模式之间的总的均方距离 当取欧氏距离时 编辑ppt(八)多类情况下总的类内、类间及总体离差（散布）矩阵 总的类内

4、离差矩阵定义为总的类间离差矩阵定义为总体离差矩阵为 易导出 编辑ppt可分性判据 （类内紧，类间开）可以证明J1、J2与J4在任何非奇异线性变换下是不变的， J3与坐标系有关。 编辑ppt7.2.2 基于类的概率密度函数的可分性判据 用两类概密函数的重迭程度来度量可分性，构造基于类概密的可分性判据Jp ，它应满足：(1) Jp 0；(2)当两类密度函数完全不重迭时， Jp =max；(3)当两类密度函数完全重合时， Jp =0；(4)相对两个概密具有“对称性”。 (a)(b)编辑ppt(一)Bhattacharyya判据(JB) 在最小误分概率准则下，误分概率(受相关定义与应用的启发，构造B-

5、判据)编辑ppt(二)Chernoff判据(JC) 性质：(1)对一切0s1，Jc0；(2)对一切0s1 的那个节点，则转入与当前节点左邻的s深度的那个节点，使该节点成为当前节点，按前面的方法沿它最右边的子树继续搜索。在搜索过程中先要判该节点的J值是否比B值大。若不大于B值，该节点以下的各子节点J值均不会比B大，故无需对该子树继续进行搜索。编辑pptBAB算法7.7.2 最优搜索法如果搜索到叶节点，且该叶节点代表的特征的可分性判据JB，则更新界值，即B=J；否则不更新界值。到达叶节点后，要向上回溯。重复上述过程，直到JB为止。而对应当前（最大）界值B的叶节点对应的d个特征组合就是所求的最优的选择。编辑pptBAB算法效率高的原因：(1)在构造搜索树时，同一父节点的各子树的右边的边要比左边的少，即树的结构右边比左边简单；(2)在同一级中按最小的J值从左到右挑选舍弃的特征，即节点的J值是左小右大，而搜索过程是从右至左进行的；(3)因J