第六章 模式特征的选择与提取.ppt

1、1，第6章特征提取和选择，模式识别Pattern Recognition，武汉理工高等院校信息工程学院，2，内容列表，第6章特征提取和选择，6.1特征提取和选择的基本概念，3，2，4，5。 6.1特征提取和选择的基本概念、特征的选择和提取是模式识别中重要而艰巨的一环：分析每个特征的有效性，选择最有代表性的特征往往是模式识别的重要一头地，降低特征维数，是有效建立分类器的三个重要课题，因此整合起来特征的形成特征形成(acquisition ) :信号获取或测量原始测量特征示例：数字成像中各像素灰度值人体的各种大姨妈指标原始特征分析：原始测量不能反映对象本质的高维原始特征不利于分类器设置校正：校正量

2、大、冗馀、样本分布非常稀疏，引言，5、 提取特征选择和提取两种有效的信息，压缩特征空间的方法：特征提取和特征选择特征提取：用映射(或变换)方法提取原始特征较少的新特征选择：原始特征中最具代表性的， 分类性能最好的特征选择和提取以及具体的选择目前对于任何问题都有效的特征选择和提取方法，引言，6，特征选择和提取实例，细胞球自动识别：(正常和异常)细胞球的数字成像原始特征(特征的形成，发现代表细胞球性质的特征):细胞球面积，细胞核面积， 为了便于形状系数分类特征的选择，需要进行压缩：选择分类信息最多的特征提取：利用数学变换傅里叶变换或小波变换用PCA方法(主元分析法)进行特征压缩，引言，7， 6.2

3、种分离性的判断标准分类分离性判断标准：测量不同特征及其组合在分类中是否有效的定量标准理想标准：某一组特征应满足使分类器的错误概率最小化的实际分类分离性判断标准的条件：测量特性：与错误率有单调关系的特征独立时有加性：单调性：一般分类分离性判定标准：基于距离、概率分布、熵函数的8，6类间分离性：=所有采样间的平均距离：分离性判定标准、四等式(squared Euclidian )、类内平均距离、类间距离、9、基于距离的分离性判定标准沉积基质形式、分离性判定标准， 基于距离的判定基准概念是直观的，补正算是方便的，但作为基于错误的6.2.2概率的分性判定基准、基于概率的分性判定基准：在概率分布函数间的

4、距离测定、分性判定基准、分散度： 11、正态概率分布分散度、分性判定基准，Mahalanobis，12，6.2类分离性基准的应用例图像分割： Otsu灰度图像阈值算法图像是l灰度，ni是灰度I的像素数，图像总像素数N=n1 n2 nL灰度I的像素概率： pi=ni/N级间方差：灰度图像阈值3:分辨率判定基准、Otsu灰度图像二值化算法演示及计程仪解析3360、15， 6.3特征提取方法、特征提取：利用映射(或变换)的方法将原始特征转换成较少的新特征点PCA (主组件)找到能量最集中的变换方法使损失最小化的K-L (Karhunen-Loeve )变换：最佳正交线性变换，对应的特征提取方法称为P

5、CA方法，16，K-L变换，离散K-L变换：对向量x决定的完全正交归一向量系有限项18、求出最小平均误差正交化学基，把Lagrange乘法：特征提取、结论：相关矩阵r的d个本征矢作为基矢量而展开了x时，其平均误差为：k-，把由这d个本征矢构成的正交坐标系作为x所在的d维度空间的d维K-L变换坐标系， 将x在K-L坐标系上的展开系数向量y称为x的K-L变换、19、K-L变换的表现、K-L变换的向量展开表现：特征提取、K-L变换的矩阵表现的特征提取，K-L坐标系通过对矩阵r进行对角化、即K-L变换消除原来的向量x的各成分间的相关用于消除具有较少信息的成分以减少特征维数的目的，22，K-L变换图解、

6、二次曲线方程、标准二次曲线方程、特征提取器，23，的x的K-L变换y可以实现如下公式： y=UTx=u1T x=y1变换的能量损耗由特征提取器，24，K-L变换的发生矩阵数据定径套KN=xi的K-L变换的发生矩阵由数据的二次统校正量决定，即，K-L坐标系的基矢量是基于某数据x的二次统校正量的生成矩阵的本征矢K-L变换的生成矩阵是x的相关函数矩阵R=ExxT x的协方差矩阵C=E(x-) (x-) K-L坐标系U=u1，u2， K-L坐标系U=u1，u2， K-L坐标系U=u1，u2， K-L坐标系U=u1，u2， ud按照c的特征值的下降顺序进行选择例：将相同的固有定径套的协方差矩阵设为：求出

7、最佳的2x1特征的特征值d=24.736、2.263t，特征向量：为12，因此，最佳的2x1特征萃取器时的K-L变换式为，特征提取、26、6.4特征选择方法、特征选择： 如果不限定用于选择分类性能的特征选择个数，则修正2D种类的组合特征选择的方法大致可分为2种： Filter方法：利用独立于分类器的指标j对所选择的特征子定径套s进行评价，在所有可能的特征子定径套中搜索j最大的特征子定径套作为最佳特征子定径套。 不考虑使用的学习算法。 Wrapper方法：结合特征选择和分类器，在学习过程中显示优秀特征的特征子定径套被选择。、27、经典特征选择算法，许多特征选择算法以解决探索问题为目标，经典算法如下：分岔边界法单独最佳特征组合法序退法仿真退火法Tabu探索法遗传算法，特征选择，28， 单个最佳特征组合的前d个作为选择结果对于每个特征(不一定是最佳的)具有加权，因而该方法可选择最佳的特征。 例如，具有各种正态概率分布的各特征综合修正独立附加性基准，基于Mahalanobis距离、特征选择、29、顺序后退法，根据特征子定径套的分类表现来选择化学基特征探索，一个一个地去除特征，使剩下的特征集合具有最大的分类分辨率， 在分辨率开始下降之前，用“leave-one-out”方法估计平均分辨率：用N-1样本判断下