模式识别 第七章 特征提取与选择

1、1第七章 特征提取与选择n 类别可分性判据类别可分性判据n 离散离散K-LK-L变换及其在特征提取变换及其在特征提取 与选择中的应用与选择中的应用2第七章第七章 特征提取与选择特征提取与选择 7.1 7.1 概概 述述3 模式识别的三大核心问题模式识别的三大核心问题: :第七章第七章 特征提取与选择特征提取与选择7.1概述概述特征数据采集特征数据采集分类识别分类识别特征提取与选择特征提取与选择 分类识别的正确率取决于对象的表示、训练学分类识别的正确率取决于对象的表示、训练学习和分类识别算法，我们在前面各章的介绍中详细习和分类识别算法，我们在前面各章的介绍中详细讨论了后两方面的内容。本章介绍的特

2、征提取与选讨论了后两方面的内容。本章介绍的特征提取与选择问题则是对象表示的一个关键问题。择问题则是对象表示的一个关键问题。4 通常在得到实际对象的若干具体特征之通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类间距离较大），而同类模式点相距较近（类内距离较小）。（类内距

3、离较小）。 第七章第七章 特征提取与选择特征提取与选择7.1概述概述57.1概述概述特征提取与选择的两个基本途特征提取与选择的两个基本途径径主要方法有：主要方法有：分支定界法分支定界法、用回归建模技术确定相用回归建模技术确定相关特征关特征等方法。等方法。（1 1）直接选择法：）直接选择法：当实际用于分类识别的特征数目当实际用于分类识别的特征数目d d 确定后，直接从已获得的确定后，直接从已获得的n n 个原始特征中选出个原始特征中选出d d 个特征个特征 ，使可分性判据，使可分性判据J J 的值满足下的值满足下式：式：dxxx,21J x xxJ xxxdiiid1212,max,式中式中 是

4、是n 个原始特征中的任意个原始特征中的任意d 个特征，个特征，上式表示直接寻找上式表示直接寻找n 维特征空间中的维特征空间中的d 维子空间。维子空间。idiixxx,216（2 2）变换法）变换法，在使判据，在使判据J J 取最大的目标下，对取最大的目标下，对n n 个原始特征进行变换降维，即对原个原始特征进行变换降维，即对原n n 维特征空间维特征空间进行坐标变换，然后再取子空间。进行坐标变换，然后再取子空间。7.1概述概述特征提取与选择的两个基本途特征提取与选择的两个基本途径径主要方法有：主要方法有：基于可分性判据的特征选择基于可分性判据的特征选择、基于基于误判概率的特征选择误判概率的特征

5、选择、离散离散K-LK-L变换法变换法(DKLT)(DKLT)、基于决策界的特征选择基于决策界的特征选择等方法。等方法。77.2 7.2 类别可分性判据类别可分性判据第七章第七章 特征提取与选择特征提取与选择87.2 类别可分性判据类别可分性判据 为确立特征提取和选择的准则：引入类别可分性为确立特征提取和选择的准则：引入类别可分性判据，来刻划特征对分类的贡献。为此希望所构造判据，来刻划特征对分类的贡献。为此希望所构造的可分性判据满足下列要求：的可分性判据满足下列要求：构造可分性判据构造可分性判据(1) (1) 与误判概率与误判概率( (或误分概率的上界、下界或误分概率的上界、下界) )有单调关

6、系。有单调关系。 (2) (2) 当特征相互独立时，判据有可加性，即当特征相互独立时，判据有可加性，即 ： Jx xxJxi jdi jkdk(,)()121式中，式中，x xxd12,是对不同种类特征的测量值，是对不同种类特征的测量值，Ji j( ) 表示使用括号中特征时第表示使用括号中特征时第i 类与第类与第j类可分性判据函数。类可分性判据函数。97.2 类别可分性判据类别可分性判据构造可分性判据构造可分性判据(3) (3) 判据具有判据具有“距离距离”的某些特性，即的某些特性，即 ：Ji j 0，当，当ij时；时；Ji j 0，当，当ij时；时；JJi jji(4) (4) 对特征数目是

7、单调不减，即加入新的特征后，对特征数目是单调不减，即加入新的特征后，判据值不减。判据值不减。 Jx xxJx xxxi jdi jdd(,)(,)12121107.2 类别可分性判据类别可分性判据构造可分性判据构造可分性判据值得注意的是值得注意的是：上述的构造可分性判据的要求，即：上述的构造可分性判据的要求，即“单调性单调性”、“叠加性叠加性”、“距离性距离性”、“单调不单调不减性减性”。在实际应用并不一定能同时具备，但并不。在实际应用并不一定能同时具备，但并不影响它在实际使用中的价值。影响它在实际使用中的价值。 117.2 类别可分性判据类别可分性判据7.2.17.2.1基于几何距离的可分性

8、判据基于几何距离的可分性判据一般来讲，不同类的模式可以被区分是由于它们一般来讲，不同类的模式可以被区分是由于它们所属类别在特征空间中的类域是不同的区域。所属类别在特征空间中的类域是不同的区域。显然，区域重叠的部分越小或完全没有重叠，类显然，区域重叠的部分越小或完全没有重叠，类别的可分性就越好。别的可分性就越好。因此可以用距离或离差测度（散度）来构造类别因此可以用距离或离差测度（散度）来构造类别的可分性判据。的可分性判据。 12( (一一) ) 点与点的距离点与点的距离 d a babababkkkn( , )() ()()/T1 2211 2( (二二) ) 点到点集的距离点到点集的距离),(

9、1) ,()(12)(2ikNkiikaxdNaxdi用用均方欧氏距离均方欧氏距离表示表示7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据13( (三三) ) 类内及总体的均值矢量类内及总体的均值矢量 ciiimPm1)(各类模式的总体均值矢量各类模式的总体均值矢量 iNkikiixNm1)()(1类的均值矢量：类的均值矢量： ci, 2 , 1 Pi为相应类的先验概率，为相应类的先验概率，当用统计量代替先验概当用统计量代替先验概率时，总体均值矢量可表示为：率时，总体均值矢量可表示为：NllciNkikiciiiciixNxNmNNmPmi111)()(1)(1117.2.

10、17.2.1基于几何距离的可分性判据基于几何距离的可分性判据14( (四四) ) 类内距离类内距离 )()(1)()()(T)()(12iikiikNkiimxmxNdi类内均方欧氏距离类内均方欧氏距离 类内均方距离也可定义为：类内均方距离也可定义为： iiNkNlilikiiicxxdNNd11)()(22),() 1(1)(7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据15( (五五) ) 类内离差矩阵类内离差矩阵 T)()()()(1)(1iikiikNkimxmxNSii)(2iSTrdi显然显然( (六六) ) 两类之间的距离两类之间的距离 ),(1),()(1

11、1)(22jlNkNlikjijixxdNNdij)()(1),()()(T)(11)(2jlikjlNkNlikjijixxxxNNdij7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据16( (七七) )各类模式之间的总的均方距各类模式之间的总的均方距离离 ijNkNljlikjicjjciixxdNNPPxd11)()(2112),(121)(当取欧氏距离时，总的均方距离为当取欧氏距离时，总的均方距离为)()(121)()()(11T)()(112jlikNkNljlikjicjjciixxxxNNPPxdij7.2.17.2.1基于几何距离的可分性判据基于几何距离的

12、可分性判据17( (八八) ) 多类情况下总的类内、类间及总体离差矩阵多类情况下总的类内、类间及总体离差矩阵 iiNkiikiikiciiciiWmxmxNPSPS1T)()()()(11)(1类内离差类内离差ciiiiBmmmmPS1T)()()(类间离差类间离差总体离差总体离差 BWNlllTSSmxmxNS1T)(1易导出易导出dxTr SSTr SWBT2( )7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据187.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据JTr SSWB11JSSBW2lnJTr STr SBW3JSSSSSWBWTW419

13、7.2.17.2.1基于几何距离的可分性判据基于几何距离的可分性判据在特征空间中，当类内模式较密聚，而不同类的在特征空间中，当类内模式较密聚，而不同类的模式相距较远时，从直觉上我们知道分类就较容模式相距较远时，从直觉上我们知道分类就较容易，由各判据的构造可知，这种情况下所算得的易，由各判据的构造可知，这种情况下所算得的判据值也较大。由判据的构造我们还可以初步了判据值也较大。由判据的构造我们还可以初步了解运用这类判据的原则和方法。解运用这类判据的原则和方法。207.2 7.2 类别可分性判据类别可分性判据7.2.27.2.2基于类的概率密度函数的可分性判据基于类的概率密度函数的可分性判据考虑两类

14、问题。上图是一维的两类概率分布密度。考虑两类问题。上图是一维的两类概率分布密度。 (a) (a) 表示两类是完全可分的。表示两类是完全可分的。(b)(b)是完全不可分的。是完全不可分的。 21可用两类概密函数的重叠程度来度量可分性，可用两类概密函数的重叠程度来度量可分性，构造基于类概密的可分性判据。此处的所谓重叠构造基于类概密的可分性判据。此处的所谓重叠程度是指两个概密函数相似的程度。程度是指两个概密函数相似的程度。7.2.27.2.2基于类的概率密度函数的可分性判据基于类的概率密度函数的可分性判据227.2.27.2.2基于类的概率密度函数的可分性判据基于类的概率密度函数的可分性判据( (一

15、一) ) BhattacharyyaBhattacharyya 判据判据( (J JB B) )受相关概念与应用的启发，我们可以构造受相关概念与应用的启发，我们可以构造B- -判判据，它的计算式为据，它的计算式为 W W xdxpxpJB 2121)()(ln 式中式中W W表示特征空间。在最小误判概率准则下，误判表示特征空间。在最小误判概率准则下，误判概率有概率有 BJPPeP exp)()()(21210 237.2.27.2.2基于类的概率密度函数的可分性判据基于类的概率密度函数的可分性判据（二）（二） Chernoff 判据判据 ( (JC) )WxdxpxpJssC121)()(ln

16、1s0， 1。不同的值可得不同的可分性度量。ciiipppH1)1(log)(当当1时，由洛必达法则可得时，由洛必达法则可得Shannon熵熵ciippH12)2(1 2)(当当 =2时，可得平方熵时，可得平方熵34JH使用使用 判据进行特征提取与选择时，我们的目标是使判据进行特征提取与选择时，我们的目标是使JH min。 同理，我们亦可用点熵在整个特征空间的概率平均同理，我们亦可用点熵在整个特征空间的概率平均)(,),(),(21)(xpxpxpJEJcxH作为可分性判据。作为可分性判据。7.2.3 7.2.3 基于后验概率的可分性判据基于后验概率的可分性判据35第七章第七章 特征提取与选择

17、特征提取与选择7.5 7.5 离散离散K-LK-L变换及其在变换及其在 特征提取与选择中的应用特征提取与选择中的应用367.5.1 离散离散K-L变换（变换（DKLT）DKLT的性质：的性质：1. 使变换后产生的新的分量正交或不相关使变换后产生的新的分量正交或不相关;2. 以部分新分量表示原矢量均方误差最小以部分新分量表示原矢量均方误差最小;3. 使变换矢量更趋确定、能量更趋集中。使变换矢量更趋确定、能量更趋集中。有限离散有限离散K-LK-L变换（变换（DKLTDKLT）, ,又称霍特林又称霍特林( (HotellingHotelling) )变换或主分量分解变换或主分量分解, ,它是一种基于

18、目标它是一种基于目标统计特性的最佳正交变换。统计特性的最佳正交变换。377.5.1 离散离散K-L变换（变换（DKLT）设设n维随机矢量维随机矢量 xx xxn ( ,)12T，其均，其均值矢量值矢量 xE x ，相关阵，相关阵 RE xxx T，协方，协方差阵差阵 CE xx xxx ()()T， x经正交变换后经正交变换后产生矢量产生矢量 yy yyn (,)12T，38设有标准正交变换矩阵设有标准正交变换矩阵T，（即，（即 TT=I）),( )(2121nnyyyxtttxTyniiityyTyTx11) (xtyii),2 , 1(ni取前取前m项为项为 的估计值的估计值xxy tii

19、im1nm 1（称为（称为 的的K-LK-L展开式）展开式）x其均方误差为其均方误差为)()()(T2xxxxEmnmiiinmiiyyEyE11239nmiiinmiiyyEyE112nmiixinmiiitRttxxEt11)()(2mxtyii 在在TT=I的约束条件下的约束条件下,要使均方误差要使均方误差min)( )()(12nmiixitRtxxxxEmnmiiiinmiixitttRtJ11) 1(为此作准则函数为此作准则函数nmi,.,10itJ0)(iixtIR由由 可得可得iiixttRnmi,.,1即即40iiixttRnmi,.,1xRit i是是 的特征值，而的特征值

20、，而 是相应的特征矢量。是相应的特征矢量。由由表明表明:nmiinmiiiinmiixitttRtm1112)(利用上式有利用上式有:7.5.1 离散离散K-L变换（变换（DKLT）在上述的估计式中，如果不是简单地舍弃后在上述的估计式中，如果不是简单地舍弃后(n-m)项，而是用预选的常数项，而是用预选的常数bi代替代替yi, i=m+1,n，此时的估计式为此时的估计式为:xy tb tiiimiii mn11417.5.1 离散离散K-L变换（变换（DKLT）xy tb tiiimiii mn11的均方误差为的均方误差为:nmiiibyExxxxEm122)()( )()(（1）最佳的）最佳的

21、bi可通过可通过 求得求得 20bibEybiii()20 xtxEtyEbiiiinmiixinmiiinmiiinmiiitCttxxxxEtxtxtEbyEm1112122)()()()(427.5.1 离散离散K-L变换（变换（DKLT）437.5.1 离散离散K-L变换（变换（DKLT）因为因为TxxxxCR为非负定阵，故有为非负定阵，故有)()(xixiCRni, 2 , 1上述的讨论可归纳为上述的讨论可归纳为: : 当我们用简单的当我们用简单的“截断截断”方式产生估计式时方式产生估计式时, ,使使均方误差最小的正交变换矩阵是随机矢量均方误差最小的正交变换矩阵是随机矢量x x的相关

22、阵的相关阵R Rx x的特征矢量矩阵的特征矢量矩阵; ; 当估计式除了选用当估计式除了选用m m个分量个分量y yi i(i(i=1,2,=1,2,m),m)之外之外, ,还用余下的各还用余下的各y yi i的均值的均值b bi i代替相应的分量时代替相应的分量时, ,使均方使均方误差最小的正交变换矩阵是误差最小的正交变换矩阵是x x的协方差阵。的协方差阵。这表明对于相同的这表明对于相同的m m，第一种估计，第一种估计式比第二种估计式的均方差大。式比第二种估计式的均方差大。44DKLTDKLT的性质的性质(1) (1) 变换后各特征分量正交或不相关变换后各特征分量正交或不相关 的自相关阵和协方

23、差阵为变换后的矢量的各分量是正交的,或不相关的(因为C=R-E(x)E(x)，当E(x)=0时，不相关即是正交)；i=E(yi2),或i=Eyi -E(yi)2 (方差)ynxyTRTxTxTEyyER21T )(nxyTCTyyyyEC21 )(45 妈妈新开了个淘宝店，欢迎前来捧场妈妈新开了个淘宝店，欢迎前来捧场 妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，但生意一直不是很好，感觉妈妈还是很用心的，花了不少功夫，但是就是没但生意一直不是很好，感觉妈妈还是很用心的，花了不少功夫，但是就是没有人气，所以我也来出自己的一份力，帮忙宣传一下。有人气，所以我也来出自己的一份力，帮忙宣传一下。 并且妈妈总是去五亭龙挑最好的玩具整理、发货，质量绝对有保证。并且妈妈总是去五