第6章 特征的选择与提取

第6章特征选择和特征提取6.1类别可分离性判据6.2特征提取6.3

特征的选择返回本章首页以前我们假定给出了维数为n的确定的模式样本集，代表模式的特征是选择好的。但在实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征。而为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确。要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征。下面我们看一下本章中设计到的基本概念。返回本章首页特征形成根据被识别的对象产生出来的一组基本特征。特征提取在原始特征的维数很高的情况下，通过映射（或变换）的方法用低维空间来表示样本，这个过程叫特征提取。

特征选择从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，称为特征选择。返回本章首页6.1类别可分离性判据返回本章首页我们可以依据某种准则进行特征提取和选择，为此，应当首先构造这样的准则——类别可分离性判据。这些判据应能反映各类在特征空间中的分布情况，应能刻画各特征分量在分类识别中的重要性或贡献。1类别可分离性判据满足的要求（1）与错误概率（或其的上下界）有单调关系；（2）当特征独立时有可加性返回本章首页（3）具有“距离”的某些特性，即（4）对特征数目是单调不减，即加入新的特征后，判据值不减。这里指出，所构造的可分离性判据并不一定同时具有上述的四个性质，但这并不影响它在实际使用中的性质。下面对几种常用的判据进行讨论。返回本章首页2用于可分离性判据的类内类间距离我们说，各类样本可以分开是因为它们位于特征空间中的不同的区域，显然这些区域之间的距离越大类别可分离性就越大。两个类区和之间的平均距离多类情况下，各类之间的平均距离返回本章首页定义第i

类样本集的均值向量所有各类的样本集总平均向量各类之间的平均距离又可表示为

返回本章首页返回本章首页返回本章首页3基于概率分布的可分性判据下面我们以两类问题为例，来分析一下基于概率分布的可分性判据。先来看一下面的一个简单的例子。由上启发我们可用两类概率密度函数的重叠程度（相似程度）来度量可分性，构造基于类概率的可分性判据。它可以是概率密度函数的乘积、比或差的积分来刻画重叠程度。返回本章首页构造的基于类概率的可分性判据应满足的条件：（1）；（2）当两类不重叠时，；（3）当两类概率密度完全重合时，；（4）相对于两个概率密度具有“对称性”；下面我们介绍三个判据（部分可以参考p38）一、（Bhattacharyya判据）它与错误率的上界有直接关系：返回本章首页二、（Chernoff判据）（1）对一切，；（2）对一切，；（3）当的各分量彼此独立时，（4）当的各分量彼此独立时，返回本章首页三、（D—判据）返回本章首页散度具有的性质：（1）；（2）；（3）当的各分量彼此独立时，（4）当的各分量彼此独立时，（5）；返回本章首页下面我们求正态分布时的表达式。已知返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页6.2特征提取返回本章首页前面我们提到了基于类内类间矩阵的可分离性判据和基于概率分布的可分离性判据。我们可以依据这些判据进行特征的提取，为此，设原特征向量，对作线性变换，产生d

维向量，即

矩阵，称为特征提取矩阵或变换矩阵，称为二次特征。按欧氏距离度量的特征提取返回本章首页返回本章首页下面我们着重讨论选择的情况。在线性变换矩阵的作用下在变换后的子空间非奇异线性变换的不变性返回本章首页这里不加证明的给出一下结论：和分别为和对应的本征值。这样，要选则最佳变换是要选择一个d维子空间，使得在此子空间中，的本征值同样是这样选择。参考教材P188例题8-1返回本章首页例题6-1已知有两类数据,分别为

试求：该组数据的类内及类间离散矩阵。解：返回本章首页返回本章首页例题6-2

1）已知两个正态分布时的散度公式为

试将其转换成用于两个一维正态分布及时的公式。2）两个一维正态分布，其期望与方差分别为

第一组：

第二组：

求其散度。

返回本章首页解：

返回本章首页例题6-3

对上题给出的数据，求使达到最大的特征提取。解：由前面所得由于秩为1，故只有一个非零本征值，是矩阵，即，为求的本征值应解方程：返回本章首页由于为标量，所以返回本章首页习题讲解（P81）习题3-1解：极大似然估计返回本章首页Bayes估计返回本章首页习题讲解（P81）习题3-4求Bayes估计量解：由样本集求出样本联合分布返回本章首页的后验分布Bayes估计量返回本章首页返回本章首页6.3特征选择返回本章首页设在D个可用作分类的特征中，为在不降低分类精度的前提下，从中直接选出d个作为分类特征。解决两个问题（1）选择的标准；（2）选择的算法；选择的标准（分两种情况进行讨论）（1）对于独立特征的选择准则—基于距离的可分性判据（2）一般特征的选择准则

1离散度矩阵判据

2散度和变换散度判据选择的算法分支定界搜索法返回本章首页对于独立特征的选择准则—基于距离的可分性判据类别可分性判据的一般性质：对于基于距离的可分性判据来说，不同模式特征的均值向量之间的距离应最大，而属于同一类的模式特征，其方差和应最小。定义可分性判别函数返回本章首页

——均值向量在k

维方向的分量

——在k

维方向的方差

按大小排列，选出开头最大的d个作为特征向量，就达到了特征选择的目的。上述的判据虽然简单，但其使用范围与模式特征的概率分布有关，几种特殊的情况。返回本章首页返回本章首页一般特征的选择准则由于特征分量之间的相关性，各分量单独判别并不能获得最优的选择结果。这时可采用类内类间的离散度矩阵、散度等可分性判据。（1）离散度矩阵判据类内：类间：总体：离散度矩阵可分离性判据：返回本章首页（2）散度和变换散度对于类概率密度为正态分布的两类问题，散度为使最大的子集，就是最适于分离和两类模式的特征。推广到c类，可以计算平均散度选出平均散度为最大的子集作为c类的分类特征，是合理，但不是最优的。同时，若其中有一种类对的散度很大，就使平均散度显著偏离，因而掩盖了对散度小的那些类对的判别，这里引入变换散度来改善这种情况。返回本章首页变换散度平均变换散度从图可以看出，当类对的散度很大，其变换散度最大也只能趋于100%；对于散度小的情况，变换散度却比较敏感。因此，变换平均散度比平均散度有更可靠的可分性判别能力。同时和是单调的，和并不一定是单调的。返回本章首页分支定界法（BAB法）1先确定寻求最优特征选择的搜索过程的树结构，即确定搜索树或解树；2然后根据搜索树丛上至下，从右至左进行搜索，包含的几个子过程：向下搜索、更新界值、向上回溯、停止回溯再向下搜索。注：开始时，置界值，首先从树的根节点沿最右边的一支自上而下搜索。对于一个节点，它的子树最右边的一支总是无分支的，此时可直接到达叶节点。计算该节点特征组的可分性判据，更新界值，然后向上回溯。一旦遇到有分支的那个节点则停止回溯转入向下搜索。从这一节点向下首先搜索右边的子树，当某节点的值不大于当